WO2017213055A1 - 音声認識装置及びコンピュータプログラム - Google Patents

音声認識装置及びコンピュータプログラム Download PDF

Info

Publication number
WO2017213055A1
WO2017213055A1 PCT/JP2017/020689 JP2017020689W WO2017213055A1 WO 2017213055 A1 WO2017213055 A1 WO 2017213055A1 JP 2017020689 W JP2017020689 W JP 2017020689W WO 2017213055 A1 WO2017213055 A1 WO 2017213055A1
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
probability
word
speech recognition
subword
Prior art date
Application number
PCT/JP2017/020689
Other languages
English (en)
French (fr)
Inventor
直之 神田
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Priority to US16/097,250 priority Critical patent/US10909976B2/en
Publication of WO2017213055A1 publication Critical patent/WO2017213055A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Definitions

  • the present invention relates to a speech recognition device, and more particularly to a speech recognition device that performs highly accurate speech recognition using a neural network and a computer program thereof.
  • voice input / output is also used to operate a mobile phone.
  • speech input / output the recognition accuracy of the speech recognition device that forms the basis of the input / output needs to be as high as possible.
  • a general technique for speech recognition uses a model obtained by statistical machine learning.
  • HMM Hidden Markov Model
  • the word pronunciation dictionary for calculating the probability that a phoneme sequence can be obtained from the character string generated in the process of speech recognition, and the probability that a word string in a certain language will appear A language model or the like for calculating is also used.
  • the conventional speech recognition apparatus calculates a feature value such as a mel frequency cepstrum coefficient from each frame by a framing processing unit that frames the speech signal, and generates a multi-dimensional feature vector sequence.
  • a feature amount generating unit, and a decoder that uses the feature amount vector sequence and outputs a word string having the highest likelihood of giving the feature amount sequence using an acoustic model and a language model as a speech recognition result.
  • likelihood calculation the output probabilities and state transition probabilities from the states of the HMM constituting the acoustic model play an important role. All of these are obtained by machine learning.
  • the output probability is calculated by a Gaussian mixture model obtained by learning.
  • a basic concept of speech recognition in a speech recognition apparatus using a conventional HMM will be described with reference to FIG.
  • the word string 30 (word string W) is observed as an input sequence 36 (observation sequence X) through various noise effects, and the likelihood of giving the final observation sequence X is the highest.
  • a word string is output as a result of speech recognition.
  • P (W) the probability that the word string W is generated is represented by P (W).
  • W) be the probability that an HMM state sequence S (state sequence 34) is generated from the word sequence W via the pronunciation sequence 32, which is an intermediate product.
  • the probability that the observation series X is obtained from the state series S is represented by P (X
  • the first item of the numerator of this formula can be obtained by HMM as follows.
  • the state sequence S 1: T indicates the state sequence S 1 ,..., S T of the HMM.
  • the first term on the right side of Equation (3) indicates the output probability of the HMM.
  • S 1: T ) of the HMM in the equation (4) can be calculated by the following equation.
  • s t ) is calculated by a Gaussian mixture model (GMM).
  • Equation (4) P (S 1: T
  • the denominator P (X 1: T ) is a common value for each hypothesis and can therefore be ignored when performing the arg max operation.
  • the DNN-HMM hybrid method in which the output probability in the HMM is calculated not by the GMM but by the deep neural network (DNN), has been studied.
  • the DNN-HMM hybrid system has been attracting attention because it achieves higher accuracy than the acoustic model using GMM.
  • the output of the DNN represents the posterior probability P (S t
  • it does not conform to the conventional framework using an HMM that uses the output probability P (X t
  • Bayes's law is applied to the posterior probability P (S t
  • the DNN-HMM hybrid method has yielded excellent results.
  • a method using a convolutional neural network (CNN), a recurrent neural network (RNN), or a long short term memory network (LSTM) is used.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • LSTM long short term memory network
  • Non-patent Document 1 an end-to-end neural network (NN) as an acoustic model for speech recognition (Non-patent Document 1).
  • the end-to-end type NN directly represents the posterior probability P (s
  • the end-to-end type NN will be described later in connection with the embodiment.
  • the end-to-end type NN generally used in the end-to-end type NN is described. Explain the concept of speech recognition by type RNN. Note that the present invention is applicable to all end-to-end NNs and is not necessarily limited to RNNs.
  • RNN is not only a unidirectional connection between nodes from the input layer side to the output layer side, but also a connection between nodes from the output layer to the adjacent input layer, a connection between nodes in the same layer And a structure including self-feedback coupling. Because of this structure, the RNN has the character that a normal neural network does not have, which can represent time-dependent information. Speech is typical for time-dependent information. Therefore, RNN is considered suitable for acoustic models.
  • the label output by the End-to-End type RNN is an arbitrary subword such as a phoneme or a syllable. However, in principle, it is not limited to a subword, and may indicate a character or an HMM state.
  • the end-to-end type RNN can be expected to improve the recognition accuracy because it is not necessary to forcefully change the output of the neural network compared to the case where the HMM is used for the acoustic model.
  • the end-to-end type RNN learns a direct mapping from the input observation sequence X to the subword sequence s.
  • a typical example of an end-to-end type RNN is a model called Connectionist Temporal Classification (CTC).
  • CTC Connectionist Temporal Classification
  • the observation sequence X is much longer than the normal subword sequence s
  • an empty label ⁇ is added to the output of the RNN to absorb the difference in length. That is, a node corresponding to the empty label ⁇ is provided in the output layer.
  • This subword sequence c is converted into a subword sequence s independent of the number of frames by a function called mapping function ⁇ .
  • the mapping function ⁇ outputs a subword sequence s independent of the number of frames by deleting the empty label ⁇ from the subword sequence c in units of frames and regarding the repetition of the label as one output.
  • X) that the observation sequence X is the subword sequence s can be formulated as follows.
  • y t ct is the output score for output label c t of RNN at time T.
  • ⁇ ⁇ 1 is an inverse function of the mapping function ⁇ . That is, ⁇ ⁇ 1 (s) represents a set of all phoneme sequences c that can be mapped to the subword sequence s by the mapping function ⁇ .
  • Non-Patent Document 2 uses a model called Attention-based Recurrent Sequence Generator.
  • the end-to-end type NN directly learns the probability P (s
  • This NN also has the characteristics of both an acoustic model and a language model. Therefore, at first, it was attempted to decode using only NN without using language model. However, it has been found that decoding without an independent language model does not give the best results, and recently, the use of a language model in addition to the end-to-end type NN is the mainstream. In this case, however, how to combine the two becomes a problem.
  • an acoustic model based on an end-to-end type NN is usually learned in subword units (characters, phonemes, etc.), the output score is also in subword units. Since the score of the language model is at the word level, there is a problem in that it is difficult to combine both.
  • the word string to W are calculated by simple interpolation of both scores as shown in the following equation.
  • Non-Patent Document 1 proposes to divide the posterior probability by the prior probability P (c t ) in each frame.
  • Non-Patent Document 1 a WFST is created by synthesizing a token FST, a lexicon FST, and a grammar FST as follows.
  • T is a token FST for converting the subword sequence c in frame units from the NN for each frame into a subword sequence s independent of the number of frames.
  • L is a lexicon FST that converts a subword sequence s into a word string W.
  • G is a grammar FST that converts the word string W into the word string W to which the weight P (W) is added.
  • an object of the present invention is to provide a speech recognition device that can improve speech recognition accuracy by utilizing the characteristics of a neural network.
  • the speech recognition apparatus calculates a probability that an observation sequence is a symbol sequence when given an observation sequence including a predetermined speech feature amount obtained from a speech signal.
  • a decoder that decodes an audio signal based on a probability calculated by an acoustic model for a plurality of symbol sequences selected based on the a posteriori probability calculated by a posteriori probability calculating unit for each of the plurality of symbol sequences; including.
  • the acoustic model may be an acoustic model based on CTC.
  • the posterior probability calculation means is configured to generate a word string occurrence probability based on a word level language model, a posterior probability of a symbol string candidate for each word string, and a symbol level language model when a symbol sequence candidate is given.
  • a word sequence posterior probability calculating means for calculating the posterior probability of the word sequence for each symbol sequence candidate based on the occurrence probability of the symbol sequence candidate.
  • the word sequence posterior probability calculating means divides a value obtained by multiplying the occurrence probability of the word sequence by the posterior probability of the symbol sequence candidate by the occurrence probability of the symbol sequence, thereby obtaining a word sequence for each symbol sequence candidate. Calculate the posterior probability of.
  • the decoder converts the subword sequence s into a word string W to which a subword posterior probability P (s
  • a grammar FST which is converted into an added word string W and output; and a WFST which is synthesized by using the subword FST which is output by adding the occurrence probability P (s) - ⁇ by a subword level language model to the subword sequence s;
  • Hypothesis selection means for outputting a hypothesis having the highest score among the hypotheses of the word string accepted by the WFST as a decoding result may be included.
  • ⁇ is a predetermined scaling factor.
  • the decoder adds a token FST for converting a label sequence output from the CTC into a subword sequence s, and a subword posterior probability P (s
  • a lexicon FST that converts the word string W into a converted word string W and outputs the word string W, a grammar FST that converts the word string W into a word string W to which an occurrence probability P (W) based on a word string level language model is added, and a subword sequence A WFST obtained by synthesizing a subword FST that is output by adding the occurrence probability P (s) - ⁇ based on a subword level language model to s may be used.
  • the decoder has the following formula
  • the computer program according to the second aspect of the present invention causes a computer to function as any of the voice recognition devices described above.
  • FIG. 1 It is a figure which shows the concept of the conventional speech recognition. It is a figure which shows the structure of normal DNN typically. It is a figure which shows typically the example of the coupling
  • DNN 70 includes an input layer 72 and an output layer 78, and a plurality of hidden layers 74 and 76 provided between input layer 72 and output layer 78.
  • Each layer has a plurality of nodes.
  • the number of nodes in each layer is the same, which is five, but these numbers are usually various.
  • Adjacent nodes are coupled to each other. However, data flows only in one direction from the input layer side to the output layer side.
  • Each combination is assigned a weight and a bias. These weights and biases are learned from the learning data by the error back propagation method using the learning data.
  • the state estimated value S t of the HMM is output from the output layer 78.
  • the number of nodes in the output layer 78 is often designed to match the number of phonemes in the target language.
  • the output of each node in the output layer is the input speech.
  • the probability that the feature quantity is the phoneme represented by the node is shown. Therefore, when the predicted state value output from each node of the output layer 78 is added, it becomes 1.
  • P (x t ) is common to the states of each HMM and can therefore be ignored in the arg max operation.
  • P (s t ) can be estimated by counting the number of each state in the aligned learning data.
  • X t ) is divided by the probability P (S t ) to obtain the recognition score using the DNN in the framework using the conventional HMM. I will be calculating.
  • FIG. 3 shows the relationship between RNN 100 (t ⁇ 1) at time t ⁇ 1, RNN 100 (t) at time t, and RNN (t + 1) at time t + 1.
  • each node in the hidden layer of RNN 100 (t) receives its own output of RNN 100 (t ⁇ 1) as well as each node in the input layer. That is, the RNN 100 can generate an output for a time series of input voice feature values.
  • the output layer of the RNN is a node corresponding to the empty label ⁇ in addition to the node corresponding to the label (for example, phoneme) (Fig. 3 is shown at the right end). That is, the number of nodes in the output layer is the number of labels + 1.
  • the End-to-End type RNN as shown in FIG. 3 directly models the probability P (s
  • the output of the RNN is formulated as shown in the above formulas (6) and (7). These formulas are reprinted.
  • FIG. 4 shows such a new framework.
  • the present embodiment relates to an apparatus for performing speech recognition along this framework.
  • CTC is adopted as an end-to-end type RNN, and a pronunciation sequence is adopted as a subword unit.
  • a new framework for speech recognition utilizing the characteristics of end-to-end RNN.
  • the probability of a plurality of phoneme sequences c (label sequence 110) including a label sequence including empty label ⁇ is obtained from input sequence 36 (observation sequence X) using RNN.
  • This probability is modeled as shown in Equation (7) above.
  • a mapping function ⁇ is applied to these phoneme sequences c to obtain a plurality of pronunciation sequences s (symbol sequences 112) as intermediate products.
  • the label sequence “AA ⁇ B ⁇ CC ⁇ ” and the label sequence “ ⁇ A ⁇ BB ⁇ C ⁇ ” are both mapped to the subword sequence “ABC” by the mapping function ⁇ .
  • the probability of the pronunciation string s when the observation sequence X is given is modeled as shown in Equation (6) above.
  • the probabilities of a plurality of word strings 30 obtained from the pronunciation string s are further obtained. This probability is modeled by a word-level language model as P (W). Finally, the word string 30 with the highest probability is output as the speech recognition result. From the above relationship, the word string to W of the speech recognition result for the observation sequence X 1: T is obtained by the following equation.
  • Equation (13) P (s
  • s) can be calculated by the following formula (14).
  • P (s) is a language model probability in units of subwords
  • ⁇ is a scaling factor.
  • P (s) can be calculated in the same manner as a conventional language model. That is, it can be realized by an N-gram language model or a neural network.
  • the language model in units of subwords needs to be learned with a subword corpus.
  • the subword corpus can be easily realized by a method of converting words into subwords with respect to a normal text corpus.
  • W) indicates the word-subword conversion probability.
  • the conversion from word to subword is often a one-to-one conversion (eg, breaking a word into characters).
  • W) becomes 1, and the expression (14) is simplified as the following expression (15).
  • the recognition score is calculated by interpolating the posterior probability output from RNN and the language model probability.
  • W) related to a certain hypothesis a word obtained from a language model at the same word level as in the past
  • the hypothesis score is calculated by dividing the product of the language model score P (W) and the subword posterior probability P (s
  • the decoder for this purpose can be realized by WFST, similar to TLG-WFST represented by the formula (10) of the conventional method.
  • This WFST can be realized by synthesizing FST (represented by “s”) corresponding to P (s) ⁇ with WFST of TLG.
  • FST represented by “s”
  • this WFST is expressed by the following equation (17) according to the notation of equation (10). .
  • This WFST is called TS- ⁇ LG-WFST.
  • WWFST is preferably used when CTC is used as an end-to-end neural network.
  • an end-to-end type model other than CTC it is possible to use only the portion excluding T in equation (17).
  • speech recognition apparatus 280 has a function of performing speech recognition on input speech 282 and outputting it as speech recognition text 284.
  • the voice recognition device 280 performs analog / digital (A / D) conversion on the input voice 282 and outputs it as a digital signal, and the digitized signal output from the A / D conversion circuit 300
  • a frame processing unit 302 that frames an audio signal using a window that partially overlaps with a predetermined length and a predetermined shift amount, and performs predetermined signal processing on each frame output from the frame processing unit 302
  • a feature quantity extraction unit 304 that extracts a voice feature quantity of the frame and outputs a feature quantity vector is included.
  • MFCC Mel-Frequency Cepstrum Coefficient
  • An observation sequence is composed of feature vectors obtained in time series.
  • the speech recognition apparatus 280 further receives a feature quantity storage unit 306 for temporarily storing the feature quantity vector output from the feature quantity extraction unit 304 and a feature quantity vector stored in the feature quantity storage unit 306 as input, at each time point.
  • An acoustic model 308 composed of an end-to-end type RNN based on CTC that outputs a vector indicating the posterior probability corresponding to a certain phoneme for each frame, and a vector output from the acoustic model 308, TS ⁇ A decoder 310 for outputting a word string having the highest score (probability) as the speech recognition text 284 corresponding to the input speech 282 by ⁇ LG-WFST.
  • an end-to-end acoustic model 308 based on CTC is employed and that a WFST preconfigured according to a direct decoding method is used as a speech recognition decoder.
  • the element of the vector output from the acoustic model 308 is a value indicating the probability that the frame is each phoneme for each phoneme. From this vector obtained in time series, one phoneme is selected and connected for each frame, and each phoneme is represented by a corresponding label to obtain a label string candidate.
  • This label column candidate may include an empty label ⁇ .
  • the posterior probability of each label string candidate can be calculated from the posterior probabilities of phonemes constituting the label string candidate.
  • the decoder 310 calculates a plurality of hypotheses that can be represented by the input observation sequence using the a posteriori probability of the label sequence candidate calculated by the acoustic model, together with the probabilities, and outputs it as a recognition score TS - ⁇ LG- WFST 320 and a hypothesis selection unit 322 that outputs a hypothesis having the highest score (probability) as speech recognition text 284 based on the recognition score calculated by TS ⁇ LG-WFST 320.
  • a finite automaton is known as a model of a state transition machine.
  • a finite automaton is a concept that forms the basis of computational theory, and as one type, a state transition is performed based on a predetermined rule for an input symbol string, and the input symbol string is converted according to the result of the state transition. There is something that decides whether to accept or not.
  • FST is derived from such an automaton, and is a conversion machine that accepts a symbol string and makes a state transition, and at the same time outputs another symbol string.
  • FTS can be represented as a graph composed of nodes and arcs connecting the nodes. Nodes represent states and arcs represent state transitions. Each arc is given an input symbol and an output symbol.
  • the WFST is a weight added to each arc.
  • the concept of probability can be expressed by this weight.
  • a hypothesis is generated by following each arc from the root node, and the occurrence probability of the hypothesis can be calculated by multiplying the weight (probability) assigned to the arc.
  • the HMM, word pronunciation dictionary, and language model can all be expressed in WFST.
  • triphone HMMs based on phonemes have been used to represent phoneme context, which can also be represented by WFST.
  • the word pronunciation dictionary is a WFST that converts a phoneme string into a word string, and is used to obtain a vocabulary.
  • the language model is, for example, a trigram language model, which is a WFST that outputs an output word string that is the same as an acceptable input word string with a weight corresponding to the probability, and represents a language grammar.
  • composition there is an operation called composition.
  • a theory has been established for a method of synthesizing a plurality of WFSTs, and an algorithm for synthesizing WFSTs by the methodology and a computer program has also been established.
  • the process of applying the two WFSTs in stages can be performed once by one post-synthesis WFST. Therefore, in addition to the above-described T, L, and G, a combination of S - ⁇ can be synthesized into one WFST and used for decoding.
  • the decoder 310 is a decoder that uses WFST that has been learned and synthesized in advance.
  • L is different from conventional lexicon FST in units of subwords, and the subword sequence s is converted into a word string W with a probability P (s
  • the grammar FST (G) is an FST that adds a language model probability P (W) as a weight to an input word string W and receives and outputs the word string according to the language model. is there.
  • S - ⁇ -FST adds P (s) - ⁇ as a weight to the input subword sequence. Therefore, S - ⁇ -FST can be generated in the same manner as grammar FST (G).
  • the number of nodes in the input layer of the RNN constituting the acoustic model 308 matches the number of elements in the feature vector.
  • the number of nodes in the output layer of the RNN is equal to the number of subwords in the target language plus one. That is, the node of the output layer represents each subword (for example, phoneme) of the acoustic model by the HMM and the empty label ⁇ .
  • Each node of the output layer outputs a probability that the voice input at a certain time is a subword (including an empty label) represented by the node. Therefore, the output of the acoustic model 308 is a vector whose element is the probability that the input speech at that time is a subword represented by each node. The sum of the values of the elements of this vector is 1.
  • the TS- ⁇ LG decoder 310 calculates the probability of the word string W for each element of the vector output from the acoustic model 308 by the above-described WFST 320 by TS- ⁇ LG, and traces the WFST graph while pruning appropriately.
  • the recognition score including hypothesis and probability calculation is calculated by going.
  • the hypothesis selection unit 322 outputs the word string having the highest recognition score (high occurrence probability) as the speech recognition text 284 among the word strings finally accepted by the WFST 320.
  • the WFST 320 calculates the recognition score while directly using the output of the RNN.
  • X) is calculated by combining the posterior probability P (s
  • the recognition accuracy can be increased theoretically.
  • the above embodiment relates to a direct decoding speech recognition apparatus using an end-to-end type NN instead of the DNN-HMM hybrid method. According to the experimental results, it was found that the speech recognition method of the direct decoding method shows the same or better performance with a smaller configuration than the DNN-HMM hybrid method. It was also confirmed that the direct decoding method using the end-to-end type NN has higher accuracy than that obtained by calculating the recognition score by interpolation as shown in equation (8).
  • the speech recognition apparatus 280 can be realized by computer hardware and a computer program executed on the computer hardware.
  • FIG. 6 shows the external appearance of the computer system 330
  • FIG. 7 shows the internal configuration of the computer system 330.
  • the computer system 330 includes a computer 340 having a memory port 352 and a DVD (Digital Versatile Disc) drive 350, a keyboard 346, a mouse 348, and a monitor 342.
  • DVD Digital Versatile Disc
  • the computer 340 includes a CPU (Central Processing Unit) 356, a bus 366 connected to the CPU 356, the memory port 352, and the DVD drive 350, and a boot program.
  • a read-only memory (ROM) 358 for storing etc., a random access memory (RAM) 360 connected to the bus 366 for storing program instructions, system programs, work data, etc., and a hard disk 354 are included.
  • the computer system 330 further includes a network interface (I / F) 344 that provides a connection to a network 368 that allows communication with other terminals.
  • I / F network interface
  • a computer program for causing the computer system 330 to function as each function unit of the speech recognition apparatus 280 according to the above-described embodiment is stored in the DVD 362 or the removable memory 364 attached to the DVD drive 350 or the memory port 352, and further the hard disk 354.
  • the program may be transmitted to the computer 340 through the network 368 and stored in the hard disk 354.
  • the program is loaded into the RAM 360 when executed.
  • the program may be loaded directly from the DVD 362 to the RAM 360 from the removable memory 364 or via the network 368.
  • This program includes an instruction sequence including a plurality of instructions for causing the computer 340 to function as each functional unit of the speech recognition apparatus 280 according to the above embodiment.
  • Some of the basic functions necessary to cause the computer 340 to perform this operation are an operating system or a third party program running on the computer 340 or various dynamically linkable programming toolkits or programs installed on the computer 340 Provided by the library. Therefore, this program itself does not necessarily include all the functions necessary for realizing the system, apparatus, and method of this embodiment.
  • the program is a system as described above by dynamically calling an appropriate program in an appropriate function or programming toolkit or program library in a controlled manner to obtain a desired result among instructions, It is only necessary to include an instruction for realizing a function as an apparatus or a method. Of course, all necessary functions may be provided only by the program.
  • the present invention can be applied to a wide range of devices having interfaces with humans, such as mobile phones, computers, drive navigators, home appliances, automatic voice response devices, and services using these devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Evolutionary Computation (AREA)

Abstract

【課題】ニューラルネットワークの特性を活かして、音声認識精度を高めることができる音声認識装置を提供する。 【解決手段】音声認識装置２８０は、入力音声２８２から特徴量抽出部３０４により得られた音声特徴量からなる観測系列が与えられたときに、当該観測系列があるシンボル系列である確率を算出するための、End-to-End型ニューラルネットワークに基づく音響モデル３０８と、シンボル系列候補が与えられたときに、当該シンボル系列候補に対する単語列の事後確率、観測系列に基づいて選択される複数のシンボル系列について、音響モデル３０８により算出される確率、及び、複数のシンボル系列の各々に対して算出される事後確率に基づいたＷＦＳＴ３２０により音声信号をデコードするデコーダ３１０とを含む。

Description

音声認識装置及びコンピュータプログラム
　この発明は音声認識装置に関し、特に、ニューラルネットワークを用いて高精度な音声認識を行う音声認識装置及びそのコンピュータプログラムに関する。
　人間とコンピュータとのインターフェイスとして音声による入出力を用いる装置及びサービスが増えている。例えば携帯電話の操作にも音声による入出力が利用されている。音声による入出力では、その基盤をなす音声認識装置の認識精度はできるだけ高くする必要がある。
　音声認識として一般的な技術は統計的機械学習により得られたモデルを用いる。例えば音響モデルとしてはHMM（隠れマルコフモデル）が使用されることが多い。また、音声認識の過程で生成される文字列から、音素系列がどの程度の確率で得られるかを算出するための単語発音辞書、及び、ある言語の単語列がどの程度の確率で出現するかを算出するための言語モデル等も使用される。
　こうした処理を行うために、従来の音声認識装置は、音声信号をフレーム化するフレーム化処理部と、各フレームからメル周波数ケプストラム係数等の特徴量を算出し、多次元の特徴量ベクトルの系列を生成する特徴量生成部と、この特徴量ベクトルの系列を用い、音響モデルと言語モデルとを用いてその特徴量ベクトルの系列を与える尤度が最も高い単語列を音声認識結果として出力するデコーダを含む。尤度計算では、音響モデルを構成するHMMの各状態からの出力確率と状態遷移確率とが重要な役割を果たす。これらはいずれも機械学習により得られる。出力確率は学習により得たガウス混合モデルにより算出される。
　従来のHMMを用いた音声認識装置における音声認識の基本的考え方について図１を参照して説明する。従来は、単語列３０（単語列Ｗ）が様々なノイズの影響を経て入力系列３６（観測系列Ｘ）として観測されると考え、最終的な観測系列Ｘを与える尤度が最も高くなるような単語列を音声認識の結果として出力する。この過程では、単語列Ｗが生成される確率をＰ（Ｗ）で表す。その単語列Ｗから、中間生成物である発音列３２を経てHMMの状態系列Ｓ（状態系列３４）が生成される確率をＰ（Ｓ｜Ｗ）とする。さらに状態系列Ｓから観測系列Ｘが得られる確率をＰ（Ｘ｜Ｓ）で表す。
　音声認識の過程では、先頭から時刻Tまでの観測系列Ｘ１：Ｔが与えられたときに、そのような観測系列を与える尤度が最大となるような単語列が音声認識の結果として出力される。すなわち、音声認識の結果の単語列～Ｗは次の式１により求められる。なお、数式において文字の直上に記されている記号「～」は、明細書中では文字の直前に記載している。
Figure JPOXMLDOC01-appb-M000001
　この式の右辺をベイズの式により変形すると次が得られる。
Figure JPOXMLDOC01-appb-M000002
　さらにこの式の分子の第１項目はHMMにより次のように求めることができる。
Figure JPOXMLDOC01-appb-M000003
　この式で状態系列Ｓ１：ＴはHMMの状態系列Ｓ１，…，ＳＴを示す。式（３）の右辺の第１項はHMMの出力確率を示す。式（１）～式（３）より、音声認識の結果の単語列～Ｗは次の式で求められる。
Figure JPOXMLDOC01-appb-M000004
　HMMでは、時刻ｔにおける観測値ｘｔは状態ｓｔにしか依存しない。したがって、式（４）における、HMMの出力確率Ｐ（Ｘ１：Ｔ｜Ｓ１：Ｔ）は次の式によって算出できる。
Figure JPOXMLDOC01-appb-M000005
　確率Ｐ（ｘｔ｜ｓｔ）は、ガウス混合モデル（GMM）により算出される。
　式（４）の他の項のうち、Ｐ（Ｓ１：Ｔ｜Ｗ）はHMMの状態遷移確率と単語の発音確率との積により算出され、Ｐ（Ｗ）は言語モデルにより算出される。分母のＰ（Ｘ１：Ｔ）は各仮説について共通する値であり、したがってarg　max演算の実行時には無視できる。
　最近、HMMにおける出力確率を、GMMではなくディープニューラルネットワーク（DNN）により算出するという、DNN-HMMハイブリッド方式と呼ばれるフレームワークについて研究がされている。DNN-HMMハイブリッド方式により、GMMを用いた音響モデルより高い精度が達成され、注目されている。その際、DNNの出力は事後確率Ｐ（Ｓｔ｜Ｘｔ）を表すため、そのままでは、出力確率Ｐ（Ｘｔ｜Ｓｔ）を用いるHMMを用いた従来の枠組みに適合しない。この問題を解決するため、DNNの出力する事後確率Ｐ（Ｓｔ｜Ｘｔ）に対してベイズの法則を適用し、出力確率Ｐ（Ｘｔ｜Ｓｔ）を用いる形に変形して用いている。
　さらに、DNN-HMMハイブリッド方式が優れた結果をもたらしていることから、DNNに替えて 畳み込みニューラルネットワーク（CNN）、リカレント型ニューラルネットワーク（RNN）、又はロングショートタームメモリネットワーク（LSTM）等を用いる方式が提案されている。これら方式により音声認識の精度がより高くなることが期待できる。しかし、DNN-HMMハイブリッド方式では、ニューラルネットワークの出力が事後確率であるため、ベイズの法則を適用して無理に式（５）に適合するようニューラルネットワークの出力を変形して用いる必要がある。このような変形を用いないような音声認識方式が実現できれば、さらなる精度の向上が期待できる。
Y.　Miao,　M.　Gowayyed,　and　F.　Metze,　"EESEN:　End-to-end　speech　recognition　using　deep　RNN　models　and　WFST-based　decoding,"　in　Proc.　ASRU,　2015,　pp.　167-174. Dzmitry　Bahdanau,　Jan　Chorowski,　Dmitriy　Serdyuk,　Philemon　Brakel　and　Yoshua　Bengio,　"End-to-end　attention-based　large　vocabulary　speech　recognition",　in　Proc.　ICASSP,　2016,　pp　4945-4949.
　最近、音声認識のための音響モデルとして、End-to-End型のニューラルネットワーク（NN）を用いることが提案されている（非特許文献１）。End-to-End型NNとは、観測（音声特徴量）系列Ｘに対するシンボル系列(発音記号列など)ｓの事後確率Ｐ（ｓ｜Ｘ）を、HMM等を介さずに直接表現する。したがって、DNN－HMMハイブリッドのような無理な変形を行うことなく音声認識に適用できる可能性がある。End-to-End型NNについては実施の形態に関連して後述するが、ここでは従来の方式の問題点について述べるために、End-to-End型NNで一般に利用されるEnd-to-End型RNNによる音声認識の考え方を説明する。なお、本発明はEnd-to-End型NN全般に対して適用可能なものであり、必ずしもRNNに限定されるものではない。
　RNNは、入力層側から出力層側への一方向のノード間の結合だけではなく、出力側の層から、隣接する入力側の層へのノード間の結合、同じ層内のノード間の結合、及び自己帰還結合等を含む構造を持つ。この構造のため、RNNは時間に依存する情報を表すことができるという、通常のニューラルネットワークにはない性格を備えている。音声は、時間に依存する情報としては典型的である。したがってRNNは音響モデルに適していると考えられる。
　End-to-End型RNNの出力するラベルは、例えば音素又は音節等の任意のサブワードである。しかし、原理的にはサブワードに限らず、文字又はHMMの状態等を示すものでもよい。End-to-End型RNNは、音響モデルにHMMを用いた場合と比較して、ニューラルネットワークの出力を無理に変形する必要がないと考えられるので、認識精度の向上が期待できる。
　End-to-End型RNNは、前述したとおり、入力される観測系列Ｘからサブワード系列ｓへの直接的なマッピングを学習する。End-to-End型RNNの代表例はConnectionist Temporal Classification (CTC) と呼ばれるモデルである。CTCでは、観測系列Ｘは通常サブワード系列ｓよりも遥かに長いので、その長さの相違を吸収するためにRNNの出力に空ラベルφを追加する。すなわち、出力層に空ラベルφに対応するノードを設ける。この結果、RNNの出力にはフレーム単位のサブワード系列ｃ＝｛ｃ１,...,ｃＴ｝（空ラベルφを含む。）が得られる。このサブワード系列ｃをマッピング関数Φと呼ばれる関数によりフレーム数に依存しないサブワード系列ｓに変換する。マッピング関数Φは、フレーム単位のサブワード系列ｃから空ラベルφを削除し、さらにラベルの繰返しを１出力とみなすことでフレーム数に依存しないサブワード系列ｓを出力する。マッピング関数Φを用いることで、以下のように観測系列Ｘがサブワード系列ｓである確率Ｐ（ｓ｜Ｘ）を定式化できる。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｙｔ ｃｔは、時刻ＴにおけるRNNの出力ラベルｃｔに対する出力スコアである。Φ－１はマッピング関数Φの逆関数である。すなわち、Φ－１（ｓ）は、マッピング関数Φによりサブワード系列ｓにマッピングされうる全ての音素系列ｃの集合を表す。
　End-to-End型NNは観測系列Ｘがサブワード系列ｓを表す確率Ｐ（ｓ｜Ｘ）をニューラルネットワークで直接学習している点が特徴である。CTC以外の方式として、非特許文献２ではAttention-based　Recurrent　Sequence　Generatorと呼ばれるモデルで表現している。
　End-to-End型NNは、HMMと異なり、観測系列Ｘがサブワード系列ｓを表す確率Ｐ（ｓ｜Ｘ）を直接学習しているため、従来のHMMを用いたデコード方式を採用できない。このNNはまた、音響モデルと言語モデルとの双方の性格を持つ。そのために当初は言語モデルを用いずにNNのみを用いてデコードを行うことが試みられた。しかし、独立した言語モデルなしのデコードでは最良の結果が得られないことが判明し、最近ではEnd-to-End型NNに加えて言語モデルを用いたものが主流である。しかし、この場合には両者をどのように組み合わせるかが問題となる。さらに、End-to-End型のNNに基づく音響モデルは、通常はサブワード単位（文字、音素等）での学習が行われるため、出力されるスコアもサブワード単位である。言語モデルのスコアは単語レベルであるため、この点でも両者を組み合わせることが難しいという問題がある。
　従来は、両者のスコアを組み合わせる手法として、次式に示すような両スコアの単純な内挿により単語列～Ｗを計算していた。
Figure JPOXMLDOC01-appb-M000007
　ただしこの計算は以下の制約の下で行う。
Figure JPOXMLDOC01-appb-M000008
　関数Ψは、単語列Ｗを全ての可能なサブワード系列ｓの集合に変換する関数である。ここにワード挿入ペナルティを組み合わせることも多い。非特許文献１では、各フレームにおいて事後確率を事前確率Ｐ（ｃｔ）で除算することを提案している。
　デコードでは、単語列Ｗとサブワード系列ｓの間に、単語とサブワードという関係（式（９））が成立しなければならない。そうした制約は、WFST（重み付き有限状態トランスデューサ）を用いたデコード方式により表すことができる。非特許文献１では、トークンFST、レキシコンFST及びグラマーFSTを以下のように合成することでそのためのWFSTを作成している。
Figure JPOXMLDOC01-appb-M000009
　ＴはフレームごとのNNからのフレーム単位のサブワード系列ｃをフレーム数に依存しないサブワード系列ｓに変換するトークンFSTである。Ｌはサブワード系列ｓを単語列Ｗに変換するレキシコンFSTである。Ｇは、単語列Ｗを重みＰ（Ｗ）が付加された単語列Ｗに変換するグラマーFSTである。音声特徴量からなる観測系列Ｘが与えられると、この探索グラフ上でビームサーチアルゴリズムを用いて最も良い（確率の高い）仮説を探索し、それを音声認識の結果として出力する。式（１０）に示すようにＴ、Ｌ及びＧを合成したWFSTをここではTLG-WFSTと呼ぶ。
　しかし、このような内挿方式で計算したスコアを利用することには理論的根拠がなく、十分に高い認識性能も得られていない。
　それ故に本発明の目的は、ニューラルネットワークの特性を活かして、音声認識精度を高めることができる音声認識装置を提供することである。
　本発明の第１の局面に係る音声認識装置は、音声信号から得られた所定の音声特徴量からなる観測系列が与えられたときに、当該観測系列があるシンボル系列である確率を算出するための、End-to-End型NNに基づく音響モデルと、シンボル系列候補が与えられたときに、当該シンボル系列候補に対する単語列の事後確率を算出する事後確率算出手段と、入力される観測系列に基づいて選択される複数のシンボル系列について、音響モデルにより算出される確率、及び、複数のシンボル系列の各々に対して事後確率算出手段により算出される事後確率に基づいて音声信号をデコードするデコーダとを含む。
　音響モデルは、CTCに基づく音響モデルでもよい。
　好ましくは、事後確率算出手段は、シンボル系列候補が与えられたときに、単語レベルの言語モデルによる単語列の生起確率と、各単語列に対するシンボル系列候補の事後確率と、シンボルレベルの言語モデルによるシンボル系列候補の生起確率とにより、各シンボル系列候補に対する単語列の事後確率を算出するための単語列事後確率算出手段を含む。
　より好ましくは、単語列事後確率算出手段は、単語列の生起確率と、シンボル系列候補の事後確率とを乗算した値を、シンボル系列の生起確率により除算することにより、各シンボル系列候補に対する単語列の事後確率を算出する。
　デコーダは、サブワード系列ｓをサブワード事後確率Ｐ（ｓ｜Ｗ）が付加された単語列Ｗに変換して出力するレキシコンFST、単語列Ｗを単語列レベルの言語モデルによる生起確率Ｐ（Ｗ）が付加された単語列Ｗに変換して出力するグラマーFST、及びサブワード系列ｓにサブワードレベルの言語モデルによる生起確率Ｐ（ｓ）-βを付加して出力するサブワードFSTを要素として合成したWFSTと、WFSTが受理する単語列の仮説のうち、スコアが最も高い仮説をデコード結果として出力する仮説選択手段とを含んでもよい。βは所定のスケーリングファクタである。
　さらにEnd-to-End型NNとしてCTCを用いる場合には、デコーダは、CTCの出力するラベル系列をサブワード系列ｓに変換するトークンFST、サブワード系列ｓをサブワード事後確率Ｐ（ｓ｜Ｗ）が付加された単語列Ｗに変換して出力するレキシコンFST、単語列Ｗを単語列レベルの言語モデルによる生起確率Ｐ（Ｗ）が付加された単語列Ｗに変換して出力するグラマーFST、及びサブワード系列ｓにサブワードレベルの言語モデルによる生起確率Ｐ（ｓ）-βを付加して出力するサブワードFSTを合成したWFSTを利用してもよい。
　好ましくは、デコーダは、以下の式
Figure JPOXMLDOC01-appb-M000010
 により観測系列に対する音声認識結果の単語列～Ｗを算出する。
　本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの音声認識装置として機能させる。
従来の音声認識の考え方を示す図である。 通常のDNNの構成を模式的に示す図である。 RNNの構成と、異なる時刻のRNNのノード間の結合の例を模式的に示す図である。 本発明の１実施の形態における音声認識の考え方を示す図である。 本発明の１実施の形態に係る音声認識装置の構成を示すブロック図である。 本発明の１実施の形態に係る音声認識装置を実現するコンピュータの外観を示す図である。 図６に示すコンピュータのハードウェア構成を示すブロック図である。
　以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
　最初に、従来の技術で使用されていたDNNとRNNとの相違について説明する。図２を参照して、DNN７０は、入力層７２及び出力層７８と、入力層７２と出力層７８との間に設けられた複数の隠れ層７４及び７６とを含む。この例では隠れ層は２層のみ示したが、隠れ層の数は２には限定されない。各層は複数個のノードを持つ。図２では各層におけるノード数はいずれも５個で同じであるが、これらの数は通常は様々である。隣り合うノード間は互いに結合されている。ただし、データは入力層側から出力層側へと一方向にしか流れない。各結合には重み及びバイアスが割り当てられている。これら重み及びバイアスは、学習データを用いた誤差逆伝搬法により学習データから学習される。
　DNN７０においては、時刻ｔにおいて入力層７２に時刻ｔにおける音声特徴量Ｘｔが与えられると、出力層７８からHMMの状態予測値Ｓｔが出力される。音響モデルの場合、出力層７８のノード数は、対象となる言語の音素の数と一致するよう設計されることが多く、その場合には、出力層の各ノードの出力は、入力された音声特徴量がそのノードの表す音素である確率を示す。したがって、出力層７８の各ノードの出力する状態予測値を加算すると１になる。
　図２に示すDNNにより求められるものは、Ｐ（Ｓｔ｜Ｘｔ）である。すなわち、時刻ｔに音声特徴量Ｘｔを観測したときの、HMMの状態Ｓｔの確率である。この例では、HMMの状態Ｓｔは音素に対応する。これを前記した式（５）と比較すると、DNNの場合、その出力をそのまま式（５）に適用（代入）できないことが分かる。そのため、従来は、以下に示すようにベイズの法則を用いてDNNの出力をＰ（Ｘｔ｜Ｓｔ）に変換している。
Figure JPOXMLDOC01-appb-M000011
　式（１１）において、Ｐ（ｘｔ）は各HMMの状態に共通であり、したがってarg　max演算では無視できる。Ｐ（ｓｔ）はアライメントされた学習データにおいて各状態の数を数えることで推定できる。
　結局、DNN-HMMハイブリッド方式の場合、DNNの出力Ｐ（Ｓｔ｜Ｘｔ）を確率Ｐ（Ｓｔ）で割ることにより、従来のHMMを用いた枠組みの中でDNNを用いて認識スコアを計算していることになる。
　一方、End-to-End型RNNの構成の例を図３に示す。図３は、時刻ｔ－１におけるRNN１００（ｔ－１）と、時刻ｔにおけるRNN１００（ｔ）と、時刻ｔ＋１におけるRNN（ｔ＋１）の間の関係を示す。この例では、RNN１００（ｔ）の隠れ層内の各ノードは、入力層の各ノードだけではなく、RNN１００（ｔ－１）の自分自身の出力を受けている。すなわち、RNN１００は入力される音声特徴量の時系列に対する出力を生成できる。さらに、End-to-End型RNNのうち、CTC（Connectionist　Temporal　Classification）と呼ばれるモデルでは、RNNの出力層は、ラベル（例えば音素）に対応するノードに加えて空ラベルφに対応するノード（図３においては右端に示す）を含む。すなわち出力層のノード数はラベル数＋１である。
　図３に示すようなEnd-to-End型RNNは、音声（音声特徴量）Ｘが発音列ｓである確率Ｐ（ｓ｜Ｘ）を直接モデル化する。したがってこうしたRNNを用いる音声認識はHMMには依存しない。RNNの出力は前掲の式（６）及び式（７）のように定式化される。これら式を再掲する。
Figure JPOXMLDOC01-appb-M000012
　End-to-End型RNNの特徴を活かして精度の高い音声認識を行うためには、DNN-HMMハイブリッド方式以外の枠組みを用いることが必要である。図４に、そのような新しい枠組みについて示す。本実施の形態はこの枠組に沿って音声認識を行う装置に関する。本実施の形態では、End-to-End型RNNとしてCTCを採用し、またサブワードの単位として発音系列を採用している。End-to-End型RNNの特性を活かして音声認識を行う新しい枠組みに基づいてCTCを用いたデコーディング方式を改良する。
　図４を参照して、本実施の形態では、入力系列３６（観測系列Ｘ）からRNNを用いて空ラベルφを含むラベル列からなる複数の音素系列ｃ（ラベル列１１０）の確率を求める。この確率は前掲の式（７）のようにモデル化される。これら音素系列ｃにマッピング関数Φを適用して中間生成物である複数の発音列ｓ（シンボル系列１１２）を得る。例えばラベル系列「ＡＡφφＢφＣＣφ」及びラベル系列「φＡφＢＢφＣφ」はマッピング関数Φによりいずれもサブワード系列「ＡＢＣ」にマッピングされる。このマッピング関数により、観測系列Ｘが与えられたときの発音列ｓの確率は前掲の式（６）のようにモデル化される。ここでさらに発音列ｓ（シンボル系列１１２）から得られる複数の単語列３０の確率を求める。この確率はＰ（Ｗ）として単語レベルの言語モデルによりモデル化される。最終的に確率が最大となる単語列３０が音声認識結果として出力される。以上の関係から、以下の式によって観測系列Ｘ１：Ｔに対する音声認識結果の単語列～Ｗが得られる。
Figure JPOXMLDOC01-appb-M000013
　この式は以下のように変形・近似できる。
Figure JPOXMLDOC01-appb-M000014
　式（１３）において、Ｐ（ｓ｜Ｘ）はCTCによる音響モデルの事後確率を表す。αはそのスケーリングファクタである。発音列ｓ及び観測系列Ｘは式（９）の制約を満たす必要がある。式（１３）の近似にはビタビ・アルゴリズムを用いる。なお、RNNの学習時には、式（１３）の第２式にしたがってＰ（Ｗ｜ｓ）を全てのｓにわたって計算するが、デコード時には第３式のように近似することが多い。
　式（１３）中で、Ｐ（Ｗ｜ｓ）は以下の式（１４）により計算できる。
Figure JPOXMLDOC01-appb-M000015
　式（１４）のうち、Ｐ（ｓ）はサブワード単位の言語モデル確率であり、βはそのスケーリングファクタである。Ｐ（ｓ）は従来の言語モデルと同様に計算できる。すなわち、Ｎグラム言語モデルでも、ニューラルネットワークでも実現できる。ただし、サブワード単位の言語モデルはサブワードコーパスで学習する必要がある。サブワードコーパスは、通常のテキストコーパスに対して単語をサブワードに変換する方法で容易に実現できる。
　式（１４）の分子の第１項、Ｐ（ｓ｜Ｗ）は単語‐サブワード変換確率を示す。単語からサブワードへの変換は、多くの場合１対１変換（例えば単語を各文字に分解すること）である。そうした場合には、Ｐ（ｓ｜Ｗ）は１になり、式（１４）は次の式（１５）のように簡略化される。
Figure JPOXMLDOC01-appb-M000016
　以上をまとめると、以下のようになる。式（１３）のＰ（Ｗ｜ｓ）に式（１４）の右辺を代入すると以下の式（１６）が得られる。この式（１６）に従って仮説のスコアを計算し、最もよいスコアの仮説を音声認識結果として選択する。
Figure JPOXMLDOC01-appb-M000017
　結局、RNNを用いる従来法では、式（６）～式（９）に示されるように、RNNの出力する事後確率と言語モデル確率とを内挿して認識スコアを算出している。これに対し、本実施の形態に係る手法では、式（１６）に示すように、ある仮説に関する単語‐サブワード変換確率Ｐ（ｓ｜Ｗ）、従来と同様の単語レベルの言語モデルから得られる単語言語モデルスコアＰ（Ｗ）、及びRNNの出力するサブワード事後確率Ｐ（ｓ｜Ｘ）αの積を、サブワードレベルの言語モデルから得られる確率Ｐ（ｓ）βで割ることにより仮説のスコアを算出する。各仮説についてこのスコアを算出し、最もよいスコアが得られる仮説を音声認識結果として選択する。このためのデコーダは、従来手法の式（１０）により表されるTLG- WFSTと同様、WFSTにより実現できる。このWFSTは、TLGのWFSTにＰ（ｓ）βに対応するFST（「ｓ」で表す。）を合成することで実現できる。式（１６）に示すように、Ｐ（ｓ）の－β乗を乗算しているので、このWFSTは、式（１０）の記法によると、次の式（１７）により表されるものになる。このWFSTをTS-βLG‐WFSTと呼ぶ。
Figure JPOXMLDOC01-appb-M000018
 なお、WFST TはEnd-to-End型ニューラルネットワークとしてCTCを用いる場合に利用するのが好ましい。CTC以外のEnd-to-End型モデルを用いる場合、式（１７）でＴを除いた部分だけを利用することも可能である。
　図５を参照して、本実施の形態に係る音声認識装置２８０は、入力音声２８２に対する音声認識を行って、音声認識テキスト２８４として出力する機能を持つ。音声認識装置２８０は、入力音声２８２に対してアナログ／デジタル（Ａ／Ｄ）変換を行ってデジタル信号として出力するＡ／Ｄ変換回路３００と、Ａ／Ｄ変換回路３００の出力するデジタル化された音声信号を、所定長及び所定シフト量で一部重複するようなウィンドウを用いてフレーム化するフレーム化処理部３０２と、フレーム化処理部３０２の出力する各フレームに対して所定の信号処理を行うことにより、そのフレームの音声特徴量を抽出し特徴量ベクトルを出力する特徴量抽出部３０４とを含む。各フレーム及び特徴量ベクトルには、入力音声２８２の例えば先頭に対する相対時刻等の情報が付されている。音声特徴量としては、MFCC（Mel-Frequency　Cepstrum　Coefficient：メル周波数ケプストラム係数）、その一次微分、二次微分、及びパワー等が用いられるが、フィルタバンクの出力をそのまま特徴量として用いても良い。時系列で得られる特徴量ベクトルにより観測系列が構成される。
　音声認識装置２８０はさらに、特徴量抽出部３０４が出力する特徴量ベクトルを一時記憶するための特徴量記憶部３０６と、特徴量記憶部３０６に記憶された特徴量ベクトルを入力として、各時刻における各フレームがある音素に対応する事後確率を音素ごとに示すベクトルを出力する、CTCに基づくEnd-to-End型RNNからなる音響モデル３０８と、音響モデル３０８の出力するベクトルを用いて、TS-βLG-WFSTにより、入力音声２８２に対応する音声認識テキスト２８４として最もスコア（確率）の高い単語列を出力するためのデコーダ３１０とを含む。CTCに基づくEnd-to-End型音響モデル３０８を採用した点、及び音声認識デコーダとして直接デコード方式にしたがって予め構成したWFSTを用いる点が従来と異なる。音響モデル３０８が出力するベクトルの要素は、そのフレームが各音素である確率を音素ごとに示す値である。時系列で得られるこのベクトルから、フレームごとに１音素を選択して連結し、各音素を対応するラベルで表すことにより、ラベル列候補が得られる。このラベル列候補には空ラベルφも含まれることがある。各ラベル列候補の事後確率は、そのラベル列候補を構成する音素の事後確率から算出できる。
　デコーダ３１０は、音響モデルにより算出されたラベル列候補の事後確率を用いて、入力された観測系列が表しうる複数の仮説を、それらの確率とともに算出して認識スコアとして出力するTS-βLG-WFST３２０と、TS-βLG-WFST３２０により算出された認識スコアに基づき、最もスコア（確率）の高い仮説を音声認識テキスト２８４として出力する仮説選択部３２２とを含む。
　WFSTによる音声認識とは以下の様なものである。状態遷移機械のモデルとして、有限オートマトンが知られている。有限オートマトンは計算理論の基礎をなす概念であり、その一種に、入力される記号列に対して予め定められている規則に基づく状態遷移を行い、状態遷移の結果により、入力された記号列を受理するか否かを決定するものがある。FSTはそうしたオートマトンから派生したものであり、ある記号列を受理して状態遷移を行うと同時に、別の記号列を出力する変換機械である。FTSはノードとノード間を結ぶアークとからなるグラフとして表すことができる。ノードは状態を表し、アークは状態遷移を表す。各アークには入力記号と出力記号とが付与される。各アークにさらに重みを付加したものがWFSTである。この重みにより確率という概念を表すことができる。ルートノードから各アークをたどっていくことで仮説が生成され、それらのアークに割り当てられた重み（確率）を乗算することでその仮説の生起確率が計算できる。
　音声認識では種々のモデルが用いられる。HMM、単語発音辞書及び言語モデルはいずれもWFSTで表すことができる。さらに近年では、音素の文脈を表すために音素単位によるトライフォンHMMが利用されており、これもWFSTで表すことができる。単語発音辞書は、音素列を単語列に変換するWFSTであり、語彙を求めるために使用する。言語モデルは例えばトライグラムの言語モデルであり、入力単語列のうち受理可能なものと同一の出力単語列を、その確率に対応する重み付きで出力するWFSTであって、言語の文法を表す。
　WFSTには、前述したとおり、合成という演算が存在する。複数のWFSTを合成する方法については理論が確立され、その方法論及びコンピュータプログラムでWFSTを合成するアルゴリズムも確立されている。２つのWFSTを合成することにより、２つのWFSTを段階的に適用する処理を１つの合成後WFSTにより１回で行うことができる。したがって、上記したＴ、Ｌ、及びＧに加えてS-βの組合せを合成して１つのWFSTにしてデコードに用いることができる。デコーダ３１０は、そのように予め学習を行い合成されたWFSTを用いるデコーダである。ただし、Ｌは従来と異なり、サブワード単位でのレキシコンFSTであり、サブワード系列ｓを単語列Ｗに確率Ｐ（ｓ｜Ｗ）で変換する。
　また、前述したとおり、グラマーFST（Ｇ）は、入力される単語列Ｗに対して重みとして言語モデル確率Ｐ（Ｗ）を付加し、言語モデルにしたがった単語列を受理して出力するFSTである。S-β‐FSTは、この逆で、入力されるサブワード系列に対してＰ（ｓ）-βを重みとして付加する。したがって、S-β‐FSTはグラマーFST（Ｇ）と同様に生成できる。
　本実施の形態に係る音響モデル３０８を構成するRNNの入力層のノードの数は、特徴量ベクトルの要素の数と一致する。RNNの出力層のノードの数は、対象となる言語のサブワードの数に１を加算したものと一致する。すなわち、出力層のノードは、HMMによる音響モデルの各サブワード（例えば音素）と、空ラベルφとを表す。出力層の各ノードには、ある時刻で入力された音声が、そのノードの表すサブワード（空ラベルを含む）である確率が出力される。したがって音響モデル３０８の出力は、その時刻での入力音声が、各ノードの表すサブワードである確率を要素とするベクトルである。このベクトルの要素の値を合計すると１になる。
　TS-βLGデコーダ３１０は、音響モデル３０８が出力するベクトルの各要素について、前記したTS-βLGによるWFST３２０によって単語列Ｗの確率計算をし、適宜枝刈りを行いながらWFSTのグラフをたどっていくことにより仮説と確率計算を含めた認識スコアの計算をする。仮説選択部３２２が、WFST３２０が最終的に受理する単語列の中で最も認識スコアが高い（生起確率の高い）単語列を音声認識テキスト２８４として出力する。この際、WFST３２０はRNNの出力を直接使いながら認識スコアを計算する。従来のDNN-HMMフレームワークのようにHMMの出力形式にあわせてRNNの出力を変換することが不要であり、認識の効率を高めることができる。また、End-to-End型NNから得られた事後確率Ｐ（ｓ｜Ｘ）と、確率Ｐ（Ｗ｜ｓ）とを組み合わせて単語事後確率Ｐ（Ｗ｜Ｘ）を算出することで、単語事後確率Ｐ（Ｗ｜Ｘ）が最大となる仮説を探索する。End-to-end型NNを用いる従来の方式のように理論的根拠のない内挿スコアを用いるものと異なり、理論的にも認識の精度を高めることが可能となる。
　［実施の形態の効果］
　上記実施の形態は、DNN-HMMハイブリッド方式に代えて、End-to-end型NNを用いた直接デコード方式の音声認識装置に関するものである。実験結果によれば、直接デコード方式の音声認識手法の方が、DNN-HMMハイブリッド方式よりも小さな構成で同等以上の性能を示すことがわかった。また、End-to-End型NNを用いた直接デコード方式でも、認識スコアを式（８）に示すような内挿により計算するものと比較して精度が高くなることが確認できた。
　［コンピュータによる実現］
　本発明の実施の形態に係る音声認識装置２８０は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図６はこのコンピュータシステム３３０の外観を示し、図７はコンピュータシステム３３０の内部構成を示す。
　図６を参照して、このコンピュータシステム３３０は、メモリポート３５２及びＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
　図７を参照して、コンピュータ３４０は、メモリポート３５２及びＤＶＤドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、メモリポート３５２及びＤＶＤドライブ３５０に接続されたバス３６６と、ブートプログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、ハードディスク３５４を含む。コンピュータシステム３３０はさらに、他端末との通信を可能とするネットワーク３６８への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）３４４を含む。
　コンピュータシステム３３０を上記した実施の形態に係る音声認識装置２８０の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ３５０又はメモリポート３５２に装着されるＤＶＤ３６２又はリムーバブルメモリ３６４に記憶され、さらにハードディスク３５４に転送される。又は、プログラムはネットワーク３６８を通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＤＶＤ３６２から、リムーバブルメモリ３６４から又はネットワーク３６８を介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
　このプログラムは、コンピュータ３４０を、上記実施の形態に係る音声認識装置２８０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ３４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ３４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。
　今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
　この発明は、携帯電話、コンピュータ、ドライブナビゲータ、家庭電化機器、自動音声応答装置等、人間とのインターフェイスを持つ幅広い範囲の装置及びそれら装置を用いたサービスに適用できる。
３０　単語列
３２　発音列
３４　状態系列
３６　観測系列
７０　DNN
７２　入力層
７４，７６　隠れ層
７８　出力層
１００　RNN
１１０　ラベル列（音素系列）
１１２　シンボル系列
２８０　音声認識装置
２８２　入力音声
２８４　音声認識テキスト
３００　Ａ／Ｄ変換回路
３０２　フレーム化処理部
３０４　特徴量抽出部
３０６　特徴量記憶部
３０８　音響モデル
３１０　デコーダ
３２０　TS-βLG-WFST
３２２　仮説選択部
３３０　コンピュータシステム
３４０　コンピュータ
３５４　ハードディスク
３５６　ＣＰＵ
３５８　ＲＯＭ
３６０　ＲＡＭ

Claims (6)

  1. 　音声信号から得られた所定の音声特徴量からなる観測系列が与えられたときに、当該観測系列があるシンボル系列である確率を算出するための、End-to-End型ニューラルネットワークに基づく音響モデルと、
    　シンボル系列候補が与えられたときに、当該シンボル系列候補に対する単語列の事後確率を算出する事後確率算出手段と、
    　入力される観測系列に基づいて選択される複数のシンボル系列について、前記音響モデルにより算出される確率、及び、前記複数のシンボル系列の各々に対して前記事後確率算出手段により算出される事後確率に基づいて前記音声信号をデコードするデコーダとを含む、音声認識装置。
  2. 　前記音響モデルは、CTCに基づく音響モデルである、請求項１に記載の音声認識装置。
  3. 　前記事後確率算出手段は、シンボル系列候補が与えられたときに、単語レベルの言語モデルによる単語列の生起確率と、各単語列に対する前記シンボル系列候補の事後確率と、シンボルレベルの言語モデルによるシンボル系列候補の生起確率とにより、各シンボル系列候補に対する単語列の事後確率を算出するための単語列事後確率算出手段を含む、請求項１又は請求項２に記載の音声認識装置。
  4. 　前記単語列事後確率算出手段は、前記単語列の生起確率と、シンボル系列候補の事後確率とを乗算した値を、シンボル系列の生起確率により除算することにより、各シンボル系列候補に対する単語列の事後確率を算出する、請求項３に記載の音声認識装置。
  5. 　前記デコーダは、サブワード系列ｓをサブワード事後確率Ｐ（ｓ｜Ｗ）が付与された単語列Ｗに変換して出力するレキシコンFST、単語列Ｗを単語列レベルの言語モデルによる生起確率Ｐ（Ｗ）が付与された単語列Ｗに変換して出力するグラマーFST、及びサブワード系列ｓにサブワードレベルの言語モデルによる生起確率Ｐ（ｓ）-βを付与して出力するサブワードFSTを要素として合成したWFSTと、
    　前記WFSTが受理する単語列の仮説のうち、スコアが最も高い仮説をデコード結果として出力する仮説選択手段とを含み、前記βは所定のスケーリングファクタである、請求項１～請求項４のいずれかに記載の音声認識装置。
  6. コンピュータを、請求項１～請求項５のいずれかに記載の全ての手段として機能させる、コンピュータプログラム。
PCT/JP2017/020689 2016-06-09 2017-06-02 音声認識装置及びコンピュータプログラム WO2017213055A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/097,250 US10909976B2 (en) 2016-06-09 2017-06-02 Speech recognition device and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016115515A JP6727607B2 (ja) 2016-06-09 2016-06-09 音声認識装置及びコンピュータプログラム
JP2016-115515 2016-06-09

Publications (1)

Publication Number Publication Date
WO2017213055A1 true WO2017213055A1 (ja) 2017-12-14

Family

ID=60578069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020689 WO2017213055A1 (ja) 2016-06-09 2017-06-02 音声認識装置及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US10909976B2 (ja)
JP (1) JP6727607B2 (ja)
WO (1) WO2017213055A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159654A (ja) * 2018-03-12 2019-09-19 国立研究開発法人情報通信研究機構 時系列情報の学習システム、方法およびニューラルネットワークモデル
EP3624114A1 (en) * 2018-09-13 2020-03-18 Samsung Electronics Co., Ltd. Method and apparatus for speech recognition

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024302B2 (en) * 2017-03-14 2021-06-01 Texas Instruments Incorporated Quality feedback on user-recorded keywords for automatic speech recognition systems
US10706840B2 (en) 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
US10395647B2 (en) * 2017-10-26 2019-08-27 Harman International Industries, Incorporated System and method for natural language processing
CN110364171B (zh) * 2018-01-09 2023-01-06 深圳市腾讯计算机系统有限公司 一种语音识别方法、语音识别系统及存储介质
JP6970345B2 (ja) * 2018-08-21 2021-11-24 日本電信電話株式会社 学習装置、音声認識装置、学習方法、音声認識方法およびプログラム
TWI666558B (zh) * 2018-11-20 2019-07-21 財團法人資訊工業策進會 語意分析方法、語意分析系統及非暫態電腦可讀取媒體
JP7028203B2 (ja) * 2019-02-07 2022-03-02 日本電信電話株式会社 音声認識装置、音声認識方法、プログラム
US11501761B2 (en) 2019-04-05 2022-11-15 Samsung Electronics Co., Ltd. Method and apparatus for speech recognition
JP7092953B2 (ja) * 2019-05-03 2022-06-28 グーグル エルエルシー エンドツーエンドモデルによる多言語音声認識のための音素に基づく文脈解析
CN112133292A (zh) * 2019-06-25 2020-12-25 南京航空航天大学 一种针对民航陆空通话领域的端到端的自动语音识别方法
EP3977446A4 (en) 2019-06-28 2022-07-06 Samsung Electronics Co., Ltd. USER VOICE INPUT RECOGNITION DEVICE AND METHOD OF OPERATION THEREOF
KR20210062838A (ko) * 2019-11-22 2021-06-01 엘지전자 주식회사 인공지능 기반의 음성처리 방법
CN110910885B (zh) * 2019-12-12 2022-05-27 思必驰科技股份有限公司 基于解码网络的语音唤醒方法和装置
WO2021145893A1 (en) 2020-01-17 2021-07-22 Google Llc Alphanumeric sequence biasing for automatic speech recognition
US20230046763A1 (en) 2020-02-19 2023-02-16 Nec Corporation Speech recognition apparatus, control method, and non-transitory storage medium
WO2022198474A1 (en) 2021-03-24 2022-09-29 Sas Institute Inc. Speech-to-analytics framework with support for large n-gram corpora
US11049502B1 (en) 2020-03-18 2021-06-29 Sas Institute Inc. Speech audio pre-processing segmentation
US11145309B1 (en) * 2020-03-18 2021-10-12 Sas Institute Inc. Dynamic model selection in speech-to-text processing
CN112185352B (zh) * 2020-08-31 2024-05-17 华为技术有限公司 语音识别方法、装置及电子设备
CN112509557B (zh) * 2020-11-24 2023-03-31 杭州一知智能科技有限公司 一种基于非确定化词图生成的语音识别方法及其系统
CN112542162B (zh) * 2020-12-04 2023-07-21 中信银行股份有限公司 语音识别方法、装置、电子设备及可读存储介质
US11257503B1 (en) * 2021-03-10 2022-02-22 Vikram Ramesh Lakkavalli Speaker recognition using domain independent embedding
WO2022204218A1 (en) * 2021-03-26 2022-09-29 Google Llc Multilingual re-scoring models for automatic speech recognition
CN113362812B (zh) * 2021-06-30 2024-02-13 北京搜狗科技发展有限公司 一种语音识别方法、装置和电子设备
US20230111052A1 (en) * 2021-10-13 2023-04-13 International Business Machines Corporation Self-learning annotations to generate rules to be utilized by rule-based system
CN115862600B (zh) * 2023-01-10 2023-09-12 广州小鹏汽车科技有限公司 语音识别方法、装置及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017016131A (ja) * 2015-06-30 2017-01-19 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音声認識装置及び方法と電子装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6397179B2 (en) * 1997-12-24 2002-05-28 Nortel Networks Limited Search optimization system and method for continuous speech recognition
US20070255755A1 (en) * 2006-05-01 2007-11-01 Yahoo! Inc. Video search engine using joint categorization of video clips and queries based on multiple modalities
JP2009080309A (ja) 2007-09-26 2009-04-16 Toshiba Corp 音声認識装置、音声認識方法、音声認識プログラム、及び音声認識プログラムを記録した記録媒体
US8972253B2 (en) 2010-09-15 2015-03-03 Microsoft Technology Licensing, Llc Deep belief network for large vocabulary continuous speech recognition
WO2012039686A1 (en) * 2010-09-24 2012-03-29 National University Of Singapore Methods and systems for automated text correction
US8442821B1 (en) * 2012-07-27 2013-05-14 Google Inc. Multi-frame prediction for hybrid neural network/hidden Markov models
US9431008B2 (en) * 2013-05-29 2016-08-30 Nuance Communications, Inc. Multiple parallel dialogs in smart phone applications
US10438581B2 (en) * 2013-07-31 2019-10-08 Google Llc Speech recognition using neural networks
CN103578464B (zh) * 2013-10-18 2017-01-11 威盛电子股份有限公司 语言模型的建立方法、语音辨识方法及电子装置
US9697475B1 (en) * 2013-12-12 2017-07-04 Google Inc. Additive context model for entity resolution
US9412365B2 (en) * 2014-03-24 2016-08-09 Google Inc. Enhanced maximum entropy models
US9378731B2 (en) * 2014-09-25 2016-06-28 Google Inc. Acoustic model training corpus selection
US9824684B2 (en) * 2014-11-13 2017-11-21 Microsoft Technology Licensing, Llc Prediction-based sequence recognition
US20160284349A1 (en) * 2015-03-26 2016-09-29 Binuraj Ravindran Method and system of environment sensitive automatic speech recognition
JP6614639B2 (ja) 2015-05-22 2019-12-04 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
US10733979B2 (en) * 2015-10-09 2020-08-04 Google Llc Latency constraints for acoustic modeling

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017016131A (ja) * 2015-06-30 2017-01-19 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音声認識装置及び方法と電子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAJIE MIAO: "Mohammad Gowayyed, Florian Metze, EESEN: END-TO-END SPEECH RECOGNITION USING DEEP RNN MODELS AND WFST-BASED DECODING", ASRU, IEEE, 13 December 2015 (2015-12-13), pages 167 - 174, XP032863541 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159654A (ja) * 2018-03-12 2019-09-19 国立研究開発法人情報通信研究機構 時系列情報の学習システム、方法およびニューラルネットワークモデル
JP7070894B2 (ja) 2018-03-12 2022-05-18 国立研究開発法人情報通信研究機構 時系列情報の学習システム、方法およびニューラルネットワークモデル
EP3624114A1 (en) * 2018-09-13 2020-03-18 Samsung Electronics Co., Ltd. Method and apparatus for speech recognition
CN110895928A (zh) * 2018-09-13 2020-03-20 三星电子株式会社 语音识别方法和设备

Also Published As

Publication number Publication date
JP2017219769A (ja) 2017-12-14
US10909976B2 (en) 2021-02-02
US20190139540A1 (en) 2019-05-09
JP6727607B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
WO2017213055A1 (ja) 音声認識装置及びコンピュータプログラム
CN107615376B (zh) 声音识别装置及计算机程序记录介质
US6154722A (en) Method and apparatus for a speech recognition system language model that integrates a finite state grammar probability and an N-gram probability
JP6884946B2 (ja) 音響モデルの学習装置及びそのためのコンピュータプログラム
JP6495850B2 (ja) 情報処理装置、情報処理方法、プログラムおよび認識システム
JP6580882B2 (ja) 音声認識結果出力装置、音声認識結果出力方法及び音声認識結果出力プログラム
CN112435654A (zh) 通过帧插入对语音数据进行数据增强
JP7222153B1 (ja) デリバレーションモデルベースの２パスのエンド・ツー・エンド音声認識
JP2004246368A (ja) テキストから単語誤り率を予測するための方法および装置
JPWO2009081895A1 (ja) 音声認識システム、音声認識方法、および音声認識用プログラム
JP5249967B2 (ja) 音声認識装置、重みベクトル学習装置、音声認識方法、重みベクトル学習方法、プログラム
JP6876543B2 (ja) 音素認識辞書生成装置および音素認識装置ならびにそれらのプログラム
JP2023175029A (ja) アテンションベースのジョイント音響およびテキストのオンデバイス・エンド・ツー・エンドモデル
Razavi et al. Acoustic data-driven grapheme-to-phoneme conversion in the probabilistic lexical modeling framework
JP2010139745A (ja) 統計的発音変異モデルを記憶する記録媒体、自動音声認識システム及びコンピュータプログラム
US20040006469A1 (en) Apparatus and method for updating lexicon
JP2002342323A (ja) 言語モデル学習装置およびそれを用いた音声認識装置ならびに言語モデル学習方法およびそれを用いた音声認識方法ならびにそれらの方法を記憶した記憶媒体
JP2008026721A (ja) 音声認識装置、音声認識方法、および音声認識用プログラム
KR20040069060A (ko) 양방향 ｎ-그램 언어모델을 이용한 연속 음성인식방법 및장치
JP4741452B2 (ja) 言語モデル作成装置及び言語モデル作成プログラム並びに音声認識装置及び音声認識プログラム
JP2006243213A (ja) 言語モデル変換装置、音響モデル変換装置、及びコンピュータプログラム
JP2005156593A (ja) 音響モデル作成方法、音響モデル作成装置、音響モデル作成プログラムおよび音声認識装置
JP2005250071A (ja) 音声認識方法及び装置及び音声認識プログラム及び音声認識プログラムを格納した記憶媒体
Robeiko et al. Real-time spontaneous Ukrainian speech recognition system based on word acoustic composite models
JP6995967B2 (ja) 生成装置、認識システム、および、有限状態トランスデューサの生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810233

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17810233

Country of ref document: EP

Kind code of ref document: A1