WO2020162238A1 - 音声認識装置、音声認識方法、プログラム - Google Patents

音声認識装置、音声認識方法、プログラム Download PDF

Info

Publication number
WO2020162238A1
WO2020162238A1 PCT/JP2020/002648 JP2020002648W WO2020162238A1 WO 2020162238 A1 WO2020162238 A1 WO 2020162238A1 JP 2020002648 W JP2020002648 W JP 2020002648W WO 2020162238 A1 WO2020162238 A1 WO 2020162238A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
sequence
utterance
word sequence
model parameter
Prior art date
Application number
PCT/JP2020/002648
Other languages
English (en)
French (fr)
Inventor
亮 増村
智大 田中
隆伸 大庭
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/428,959 priority Critical patent/US20220139374A1/en
Publication of WO2020162238A1 publication Critical patent/WO2020162238A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning

Definitions

  • the present invention relates to a voice recognition device, a voice recognition method, and a program.
  • Speech recognition which has been widely used so far, has three types: an acoustic model that models the relationship between speech and phoneme sequences, a pronunciation model that models the relationship between phoneme sequences and words, and a language model that models the relationship between words.
  • the speech recognition algorithm (device) is configured by combining models, and learning each model independently using different data.
  • the speech recognition algorithm (device) can be configured with only one model that models the relationship between speech and text, and the data used for learning is only the paired data of speech and text. Is.
  • the word sequence W ⁇ of the voice recognition result when the acoustic feature amount sequence X is input is determined based on the following formula.
  • Non-Patent Document 1 and Non-Patent Document 2 can be used.
  • the above-mentioned conventional technology models the problem of recognizing voices of a single utterance, and even in the case of recognizing a voice sequence composed of a plurality of continuous utterances, the respective voices in a plurality of utterances are voiced.
  • the relationship between utterances of multiple utterances cannot be used at all. That is, there is a problem that information such as what word sequence has been output in response to the voice input of the past utterance cannot be taken into consideration when performing the voice recognition of the current utterance.
  • an object of the present invention is to provide a voice recognition device that can realize context-sensitive end-to-end voice recognition.
  • the voice recognition device of the present invention includes a model parameter learning unit and a spoken voice recognition unit.
  • the model parameter learning unit based on the learning data consisting of a word sequence acquired in chronological order and a set of corresponding acoustic feature quantity sequences, sets the observed word sequence as the observed word sequence, and The maximum likelihood estimation is performed for the likelihood function of the probability that the observed value will occur under the parameters, using the acoustic feature quantity sequence corresponding to the past word sequence and the focused word sequence, and the model parameter ⁇ as parameters.
  • the model parameter ⁇ is learned.
  • the utterance speech recognition unit based on the recognition data consisting of a set of acoustic feature amount sequences acquired in time-series, sets the word sequence that is the recognition target as an observation value, and recognizes a word sequence that is past the word sequence that is the recognition target and has already been recognized.
  • the estimated word sequence, the acoustic feature amount sequence corresponding to the word sequence to be recognized, and the learned model parameter ⁇ as parameters, and the maximum likelihood criterion is used for the likelihood function of the probability that an observed value occurs under the parameter.
  • the process of recognizing the word sequence to be recognized is repeated in chronological order.
  • FIG. 3 is a block diagram showing the configuration of the voice recognition device according to the first embodiment.
  • FIG. 3 is a flowchart showing the operation of the voice recognition device in the first embodiment.
  • 3 is a block diagram showing a configuration of an utterance voice recognition unit of the voice recognition device according to the first embodiment.
  • FIG. 3 is a flowchart showing the operation of the uttered voice recognition unit of the voice recognition device in the first embodiment.
  • the voice recognition device 1 of the present embodiment (minimum configuration, see the configuration inside the broken line frame in FIG. 1) will be described.
  • the model parameter ⁇ is previously learned by a device different from the voice recognition device 1.
  • ⁇ may be added after the character for the convenience of the document creation software, but this " ⁇ " is treated as being displayed above the character. For example, if you write W L ⁇
  • the speech recognition apparatus 1 receives L series of acoustic feature quantity sequences X 1 ,..., X L of continuous utterances and a model parameter ⁇ as input, and performs probability calculation according to the model parameter ⁇ to obtain L. Outputs a sequence W 1 ⁇ ,..., W L ⁇ of consecutive word sequences.
  • X 1 ,..., X L be sequences of acoustic feature quantity sequences that can be automatically extracted from the speech sequences of L continuous utterances that are inputs for end-to-end speech recognition.
  • the output word sequence is W 1 ⁇ ,..., W L ⁇ , where W l ⁇ is the word sequence of the l-th utterance,
  • an arbitrary feature amount sequence that can be calculated from speech can be used as the acoustic feature amount sequence, but a feature amount sequence such as a mel filter bank cepstrum coefficient or a logarithmic mel filter bank can be used.
  • a feature amount sequence such as a mel filter bank cepstrum coefficient or a logarithmic mel filter bank can be used.
  • Mel filter bank Cepstrum coefficient and logarithmic Mel filter bank are not explained.
  • the word series may be, for example, a space-separated expression in the case of English, an expression automatically divided by morphological analysis in the case of Japanese, or an expression separated in character units.
  • the model parameter ⁇ is assumed to be learned in the voice recognition device 1.
  • the speech recognition apparatus 1 of this embodiment includes a model parameter learning unit 11, a model parameter storage unit 11a, a speech recognition unit 12, and a word sequence storage unit 12a.
  • the model parameter learning unit 11 and the model parameter storage unit 11a may be constituent elements of different devices. The operation of each component will be described below with reference to FIG.
  • ), the observed word sequence (W l in the following equation) is used as the observed value, and the word sequence in the past (W 1 in the following equation) ,...,W l-1 ), a sequence of acoustic features (X l of the following equation) corresponding to the word sequence of interest (W l of the following equation), and a model parameter ⁇ , and parameters ( The model is calculated by performing maximum likelihood estimation on the likelihood function of the probability that the observed value (W l in the following equation) occurs under the following formula W 1 , ,,, W l-1 , X l , ⁇ ). The parameter ⁇ is learned (S11). Note that (A m ,B m ) ⁇ (W 1 ,
  • the ⁇ learned here is used as ⁇ in the speech recognition unit 12.
  • Model parameter storage unit 11a stores the learned ⁇ .
  • the uttered speech recognition unit 12 recognizes a word sequence (W 1 of the following formula) based on the recognition data composed of a set (X 1 ,..., X L ) of acoustic feature amount sequences acquired in chronological order. ) as the observed value, recognition is the object word sequence (the following formula of W l) than in the past, already recognized the word sequence (W of the following formula 1 ⁇ , ..., W l- 1 ⁇ ), and the recognition target
  • the acoustic feature quantity sequence (X l in the following equation) corresponding to the word sequence (W l in the following equation) and the trained model parameter ⁇ are used as parameters, and the parameters (W 1 ⁇ ,..., W l in the following equation) -1 ⁇ ,X l , ⁇ ), the likelihood function of the probability that the observed value (W l in the following equation) occurs, the word sequence to be recognized (W l ⁇ in the following equation) by the maximum likelihood criterion.
  • the process of recognizing is repeated in chronological
  • the uttered voice recognition unit 12 recognizes the acoustic feature quantity sequence X l of the l-th utterance and the recognized word sequence W 1 ⁇ ,..., From the 1st to the (l-1)th utterance obtained as the voice recognition result.
  • W l-1 ⁇ is input, the posterior probability distribution for the l-th utterance is calculated by the probability calculation according to the model parameter ⁇ .
  • the word sequence W l ⁇ of the speech recognition result of the l-th utterance is determined by the maximum likelihood criterion. That is, the determination according to the maximum likelihood criterion follows the following equation.
  • the speech recognition unit 12 recursively executes step S12 in chronological order. For example, by using the word sequence W l ⁇ of the speech recognition result of the lth utterance as a known recognition result, the posterior probability distribution for the l+1th utterance is obtained.
  • the word sequence W l+1 ⁇ of the speech recognition result of the l+1-th utterance is determined as follows.
  • the word sequence storage unit 12a stores a word sequence used recursively by the speech recognition unit 12. For example, in step S12, when the word series W 1 ⁇ is recognized, the word series storage unit 12a stores the word series W 1 ⁇ , and when the word series W 1 ⁇ is recognized, the word series storage unit 12a. Stores the word sequence W l ⁇ , and when the word sequence W L ⁇ is recognized, the word sequence storage unit 12a stores the word sequence W L ⁇ .
  • the speech recognition unit 12 includes a speech vector calculation unit 121, a speech sequence embedded vector calculation unit 122, a context vector calculation unit 123, and a posterior probability calculation unit 124.
  • the speech recognition unit 12 As described above, the speech recognition unit 12
  • the utterance vector calculation unit 121 transforms the already recognized l-1 th utterance word sequence W l-1 ⁇ , which is earlier than the l-th utterance word sequence W l to be recognized, based on the model parameter ⁇ . It is converted into a speech vector u l-1 of the l-1th speech by the function (S121). At this time, the word sequence W l-1 ⁇ of the l-1 th utterance includes one or more words.
  • the utterance vector represents a vector in which the information included in the word sequence is embedded, and the semantic information of the utterance necessary for speech recognition of the next utterance is embedded. The larger the number of dimensions of a vector, the more information can be embedded.
  • the number of dimensions is manually determined as a 512-dimensional vector.
  • any conversion function can be used as long as it is a function that converts a variable length symbol string into a single vector.
  • u 0 of the output may be a vector in which all the elements are 0.0.
  • step S121 is performed for each of W 1 ⁇ ,..., W l-1 ⁇ . Therefore, the utterance vector calculation unit 121 outputs u 1 ,..., U l ⁇ 1 , respectively.
  • the utterance sequence embedded vector calculation unit 122 uses the conversion function based on the model parameter ⁇ to convert the utterance vector sequences u 1 ,..., U l-1 of past utterances to the l-1th utterance sequence embedded vector v l-1. (S122).
  • This utterance sequence embedding vector is a single vector, and the semantic information necessary for speech recognition of the next utterance is embedded. The larger the number of dimensions of a vector, the more information can be embedded. For example, the number of dimensions is manually determined as a 512-dimensional vector.
  • the conversion function any function can be used as long as it is a function for converting a variable length vector sequence into a single vector.
  • a recurrent neural network or each vector of an utterance vector series is averaged. Functions can be used. In the case of averaging, the number of dimensions of the utterance sequence embedded vector depends on the number of dimensions of the utterance vector sequence.
  • v 0 of the output may be a vector in which all elements are 0.0.
  • ⁇ Context vector calculator 123> Input 1: Word sequence w l 1 ,..., W l n-1 past the n-th word w l n in the word sequence W l of the l-th utterance
  • the context vector calculation unit 123 determines a word sequence w l 1 ,..., W l n-1 (word sequence) that is earlier than the n-th word w l n in the l-th utterance word sequence W l to be recognized. And the l-th acoustic feature sequence X l corresponding to the l-th word sequence W l to be recognized by the conversion function based on the model parameter ⁇ . It is converted into the context vector s l n for the n-th word w l n in the word sequence W l (S123). This context vector is embedded with information that integrates semantic information and phonological information necessary for speech recognition of the next word.
  • any function can be used as long as it is a function that converts two types of variable length vector sequences into a single vector.
  • an acoustic feature amount sequence and a word sequence are used.
  • a function that is expressed as a single context vector by providing a recurrent neural network for each and adding a caution mechanism.
  • ⁇ Posterior probability calculation unit 124> Input 1: l-1st utterance sequence embedded vector v l-1 Input 2: context vector s l n for the nth word of the lth utterance Input 3: Model parameter ⁇ Output: posterior probability for the nth word in the lth utterance
  • the posterior probability calculation unit 124 transforms the utterance vector sequence u 1 ,..., U l-1 up to one past the word sequence W l to be recognized, into the l-1th utterance sequence embedded vector v l. -1 and the context vector s l n for the n-th word of the l-th word sequence W l to be recognized by the conversion function based on the model parameter ⁇ , the n-th word of the l-th word sequence W l Posterior probability for
  • the posterior probability can be represented as a vector having each word as an element, and the posterior probability distribution can be represented by vector conversion.
  • the conversion function any function can be used as long as it is a function that converts two types of vectors into a posterior probability distribution. For example, an operation of performing conversion using a softmax function on a combined vector of two vectors is performed. It can be realized by a function that does. Other than that, a function that can convert the sum of the elements of the output vector corresponding to the posterior probability distribution to 1.0 can be applied.
  • the model of the end-to-end voice recognition that handles the utterance sequence is introduced, instead of the end-to-end voice recognition that handles the single utterance as in the related art.
  • end-to-end speech recognition considering the context when the input is expressed as a speech sequence. That is, when recognizing a certain utterance in the utterance sequence, information from the first utterance in the utterance sequence to the utterance immediately before the target utterance can be used as the context. For example, similar to the above, it is assumed that the speech of about 10 minutes is recognized, and the speech of 200 minutes is included when the speech is divided every 0.5 second.
  • all the related context information before a certain utterance in 200 consecutive utterances can be used for the current voice recognition.
  • the voice recognition device 1 can use the voice recognition result from the first utterance to the 99th utterance as the context when recognizing the 100th utterance.
  • the voice recognition device 1 can improve the recognition performance of voice recognition such as a lecture, a telephone call, and a conference.
  • the device of the present invention is, for example, as a single hardware entity, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity.
  • a communication device for example, a communication cable
  • Connectable communication unit CPU (Central Processing Unit, cache memory and registers may be provided), memory RAM and ROM, hard disk external storage device and their input unit, output unit, communication unit , A CPU, a RAM, a ROM, and a bus connected so that data can be exchanged among external storage devices.
  • the hardware entity may be provided with a device (drive) capable of reading and writing a recording medium such as a CD-ROM.
  • a device having such hardware resources there is a general-purpose computer or the like.
  • the external storage device of the hardware entity stores a program necessary to realize the above-described functions and data necessary for the processing of this program (not limited to the external storage device, for example, the program is read). It may be stored in a ROM that is a dedicated storage device). In addition, data and the like obtained by the processing of these programs are appropriately stored in the RAM, the external storage device, or the like.
  • each program stored in an external storage device or ROM, etc.
  • data necessary for the processing of each program are read into the memory as necessary, and interpreted and executed/processed by the CPU as appropriate. ..
  • the CPU realizes a predetermined function (each constituent element represented by the above,... Unit,... Means, etc.).
  • the present invention is not limited to the above-mentioned embodiments, and can be modified as appropriate without departing from the spirit of the present invention. Further, the processes described in the above-described embodiments are not only executed in time series in the order described, but may be executed in parallel or individually according to the processing capability of the device that executes the processes or as necessary. ..
  • the processing function of the hardware entity (the device of the present invention) described in the above embodiment is realized by a computer
  • the processing content of the function that the hardware entity should have is described by the program.
  • the processing functions of the hardware entity are realized on the computer.
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, or the like.
  • a magnetic recording device a hard disk device, a flexible disk, a magnetic tape, etc.
  • an optical disc a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only). Memory), CD-R (Recordable)/RW (ReWritable), etc. as magneto-optical recording medium, MO (Magneto-Optical disc) etc. as semiconductor memory, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory) etc. Can be used.
  • Distribution of this program is carried out by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage device. Then, when executing the processing, this computer reads the program stored in its own recording medium and executes the processing according to the read program.
  • a computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be sequentially executed.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by an electronic computer and that is equivalent to the program (data that is not a direct command to a computer, but has the property of defining computer processing).
  • the hardware entity is configured by executing a predetermined program on the computer, but at least a part of the processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

文脈を考慮したend-to-end音声認識を実現できる音声認識装置を提供する。注目している単語系列を観測値とし、注目している単語系列よりも過去の単語系列、および注目している単語系列に対応する音響特徴量系列、およびモデルパラメータθをパラメータとし、パラメータの下で観測値が生起する確率の尤度関数について最尤推定を行うことにより、モデルパラメータθを学習するモデルパラメータ学習部と、認識対象である単語系列を観測値とし、認識対象である単語系列よりも過去の、既に認識済みの単語系列、および認識対象である単語系列に対応する音響特徴量系列、および学習済みのモデルパラメータθをパラメータとし、パラメータの下で観測値が生起する確率の尤度関数について最尤基準により、認識対象である単語系列を認識する処理を時系列順に繰り返す発話音声認識部を含む。

Description

音声認識装置、音声認識方法、プログラム
　本発明は、音声認識装置、音声認識方法、プログラムに関する。
　深層学習技術の進展に伴い、入力を音声とし、出力をテキストとするend-to-end音声認識と呼ばれる音声認識のモデル化方法が登場し、技術的な進展が進んでいる。これまで広く用いられてきた音声認識は、音声と音素系列の関係をモデル化した音響モデル、音素系列と単語の関係をモデル化した発音モデル、単語間の関係をモデル化した言語モデルという３つのモデルの組み合わせにより構成され、各モデルをそれぞれ異なるデータを用いて独立に学習しておくことで音声認識アルゴリズム（装置）を構成していた。一方、end-to-end音声認識は、音声とテキストの関係をモデル化したモデル１つのみで音声認識アルゴリズム（装置）を構成することができ、学習に用いるデータも音声とテキストのペアデータのみである。
　従来技術の構成について述べる。end-to-end音声認識の入力となる音声から自動抽出できる音響特徴量系列をX=(x1,…,xT)、出力となる単語系列をW=(w1,…,wN)とし、P(W|X,θ)をモデル化する。ここで、θはモデルパラメータを表す。P(W|X,θ)のモデル化は次式で表される。
Figure JPOXMLDOC01-appb-M000001
　このモデル化による音声認識アルゴリズム（装置）では、音響特徴量系列Xが入力された時の音声認識結果の単語系列W^を次式に基づき決定する。
Figure JPOXMLDOC01-appb-M000002
　モデルパラメータθは、複数(２つ以上)の単語系列と音響特徴量系列の組の集合からなる学習データD=(W1,X1),…,(W|D|,X|D|)（ただし、|D|は学習データDの要素数）に基づいて、事前に学習することにより決定される。Dにより最適化されたパラメータθ^は次式に従う。
Figure JPOXMLDOC01-appb-M000003
　詳細なモデル化には、様々な方法を採用することができる。例えば、ニューラルネットワークを用いた方法が代表的であり、非特許文献１や非特許文献２の方法を用いることができる。
Jan Chorowski, Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio, "End-to-end continuous speech recognition using attention-based recurrent NN: first results," in NIPS: Workshop Deep Learning and Representation Learning Workshop, 2014. Jan Chorowski, Dzmitry Bahdanau, Dmitriy Serdyuk, Kyunghyun Cho, and Yoshua Bengio, "Attention-based models for speech recognition," in Advances in Neural Information Processing Systems (NIPS), 2015, pp. 577-585.
　上述の従来技術は単一発話の音声を音声認識する問題をモデル化したものであり、連続した複数発話から構成される音声系列を音声認識する場合においても、複数発話中のそれぞれの音声を音声認識する場合において、複数発話の発話間の関係を全く利用することができない。すなわち、過去の発話の音声入力に対してどのような単語系列を出力してきたかといった情報を、現在の発話の音声認識を行う際に考慮することができないという課題がある。
　具体例を挙げて説明する。例えば、10分程度の講演音声を音声認識する場面において、この講演音声を無音が0.5秒存在するごとに区切り、合計200発話の音声が含まれていた場合を想定する。この200発話は連続した系列であり、連続した発話は互いに関連する情報についての発話である可能性が高いと考えられる。しかしながら、従来技術を適用すると200発話を各発話それぞれ独立に音声認識することになり、文脈情報を音声認識に利用できない。例えば、100発話目が「今期の業績は素晴らしいですね」という発話であったものとし、101発話目が「すばらしいせいかです」という発話であった場合、100発話目を文脈として考慮できれば、101発話目を「素晴らしい成果です」と音声認識できる可能性が高いが、100発話目を文脈として考慮できない場合は、101発話目を「素晴らしい製菓です」や「素晴らしい聖火です」などと誤認識する可能性がある。
　例えば、すべての発話（上述の例では200発話）をまとめて、発話長が長い１発話として扱うことで上記の課題を解決することを想定する。この場合、end-to-end音声認識アルゴリズム（装置）は音声全体をベクトルに変換して扱う仕組みであるために、発話長が長い発話に対してうまく動作しない問題が招来する。すべての発話をまとめて１発話として、end-to-end音声認識アルゴリズム（装置）で扱うことは、非現実的である。従って従来は、文脈を考慮したend-to-end音声認識が実現できない点が課題であった。
　そこで本発明では、文脈を考慮したend-to-end音声認識を実現できる音声認識装置を提供することを目的とする。
　本発明の音声認識装置は、モデルパラメータ学習部と、発話音声認識部を含む。
　モデルパラメータ学習部は、時系列順に取得された単語系列と、対応する音響特徴量系列の組の集合からなる学習データに基づき、注目している単語系列を観測値とし、注目している単語系列よりも過去の単語系列、および注目している単語系列に対応する音響特徴量系列、およびモデルパラメータθをパラメータとし、パラメータの下で観測値が生起する確率の尤度関数について最尤推定を行うことにより、モデルパラメータθを学習する。
　発話音声認識部は、時系列順に取得された音響特徴量系列の集合からなる認識用データに基づき、認識対象である単語系列を観測値とし、認識対象である単語系列よりも過去の、既に認識済みの単語系列、および認識対象である単語系列に対応する音響特徴量系列、および学習済みのモデルパラメータθをパラメータとし、パラメータの下で観測値が生起する確率の尤度関数について最尤基準により、認識対象である単語系列を認識する処理を時系列順に繰り返す。
　本発明の音声認識装置によれば、文脈を考慮したend-to-end音声認識を実現できる。
実施例１の音声認識装置の構成を示すブロック図。 実施例１の音声認識装置の動作を示すフローチャート。 実施例１の音声認識装置の発話音声認識部の構成を示すブロック図。 実施例１の音声認識装置の発話音声認識部の動作を示すフローチャート。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下、本実施例の音声認識装置１（最小構成、図１の破線枠内の構成を参照）を説明する。ここでは、モデルパラメータθを音声認識装置１とは別の装置で予め学習してあるものとする。
　なお、この明細書では、文書作成ソフトの都合上、文字の後ろに「^」を付す場合があるが、この「^」は、当該文字の上に表示されているものとして扱う。例えば、WL^と表記する場合
Figure JPOXMLDOC01-appb-M000004
を意味するものとする。
＜音声認識装置１（最小構成）の入力、出力、動作の概要＞
入力１：L個の連続した発話の音響特徴量系列の系列X1,…,XL
入力２：モデルパラメータθ（別装置で学習し、本装置に入力）
出力：L個の連続した単語系列の系列W1^,…,WL^
　本実施例の音声認識装置１は、L個の連続した発話の音響特徴量系列の系列X1,…,XLと、モデルパラメータθを入力とし、モデルパラメータθに従った確率計算により、L個の連続した単語系列の系列W1^,…,WL^を出力する。ここでは、end-to-end音声認識の入力となるL個の連続した発話の音声系列から自動抽出できる音響特徴量系列の系列をX1,…,XLとする。ここでXlはl番目の発話の音響特徴量系列であり、Xl=(xl 1,…,xl Tl)として表される。出力となる単語系列の系列をW1^,…,WL^、ここでWl^はl番目の発話の単語系列であり、
Figure JPOXMLDOC01-appb-M000005
として表される。
　ここで、音響特徴量系列には、音声から計算できる任意の特徴量系列を利用することができるが、例えばメルフィルタバンクケプストラム係数や、対数メルフィルタバンクといった特徴量系列を用いることができる。メルフィルタバンクケプストラム係数や対数メルフィルタバンクの説明は割愛する。
　単語系列は、英語の場合は例えばスペース区切りの表現、日本語であれば例えば形態素解析により自動分割された表現、または文字単位に区切った表現を単語系列としてもよい。
　次に、図１を参照して実施例１の音声認識装置の一般的な構成について説明する。なお、ここでは、モデルパラメータθを音声認識装置１内で学習するものとする。同図に示すように本実施例の音声認識装置１は、モデルパラメータ学習部１１とモデルパラメータ記憶部１１ａと、発話音声認識部１２と、単語系列記憶部１２ａを含む。ただし上述したように、モデルパラメータ学習部１１とモデルパラメータ記憶部１１ａは別装置の構成要件としてもよい。以下、図２を参照して各構成要件の動作を説明する。
＜モデルパラメータ学習部１１＞
入力：複数(２つ以上)の単語系列の系列と音響特徴量系列の系列の組の集合である学習データD=(A1,B1),…,(A|D|,B|D|)
出力：モデルパラメータθ
　モデルパラメータ学習部１１は、複数(２つ以上)の時系列順に取得された単語系列と、対応する音響特徴量系列の組の集合からなる学習データD=(A1,B1),…,(A|D|,B|D|)に基づき、注目している単語系列（次式のWl）を観測値とし、注目している単語系列よりも過去の単語系列（次式のW1,...,Wl-1）、および注目している単語系列（次式のWl）に対応する音響特徴量系列（次式のXl）、およびモデルパラメータθをパラメータとし、パラメータ（次式のW1,...,Wl-1,Xl,θ）の下で観測値（次式のWl）が生起する確率の尤度関数について最尤推定を行うことにより、モデルパラメータθを学習する（Ｓ１１）。なお(Am,Bm)={(W1,X1),…,(WLm,XLm)}である。Dにより最適化されたパラメータθ^は次式に従う。
Figure JPOXMLDOC01-appb-M000006
ここで学習されたθ^を発話音声認識部１２におけるθとして用いる。
＜モデルパラメータ記憶部１１ａ＞
　モデルパラメータ記憶部１１ａは、学習されたθ^を記憶する。
＜発話音声認識部１２＞
入力１：l番目の発話の音響特徴量系列Xl
入力２：既に音声認識結果として得られた1番目からl-1番目の発話までの単語系列W1^,…,Wl-1^
入力３：モデルパラメータθ
出力：l番目の発話の単語系列Wl^
　発話音声認識部１２は、時系列順に取得された音響特徴量系列の集合（X1,...,XL）からなる認識用データに基づき、認識対象である単語系列（次式のWl）を観測値とし、認識対象である単語系列（次式のWl）よりも過去の、既に認識済みの単語系列（次式のW1^,…,Wl-1^）、および認識対象である単語系列（次式のWl）に対応する音響特徴量系列（次式のXl）、および学習済みのモデルパラメータθをパラメータとし、パラメータ（次式のW1^,…,Wl-1^,Xl,θ）の下で観測値（次式のWl）が生起する確率の尤度関数について、最尤基準により、認識対象である単語系列（次式のWl^）を認識する処理を時系列順に繰り返す（Ｓ１２）。
　すなわち、発話音声認識部１２は、l番目の発話の音響特徴量系列Xlと音声認識結果として得られた1番目からl-1番目の発話までの認識済みの単語系列W1^,…,Wl-1^が入力された時に、モデルパラメータθに従った確率計算により、l番目の発話についての事後確率分布
Figure JPOXMLDOC01-appb-M000007
を得て、最尤基準によりl番目の発話の音声認識結果の単語系列Wl^を決定する。すなわち、最尤基準による決定は次式に従う。
Figure JPOXMLDOC01-appb-M000008
　上述したように、発話音声認識部１２は、ステップＳ１２を時系列順に再帰的に実行する。例えば、l番目の発話の音声認識結果の単語系列Wl^を既知の認識結果とすることにより、l+1番目の発話についての事後確率分布
Figure JPOXMLDOC01-appb-M000009
を得ることができ、同様に以下のようにl+1番目の発話の音声認識結果の単語系列Wl+1^を決定する。
Figure JPOXMLDOC01-appb-M000010
なお、
Figure JPOXMLDOC01-appb-M000011
の詳しい定式化と詳細な計算方法は、この後に述べる。
＜単語系列記憶部１２ａ＞
　単語系列記憶部１２ａは、発話音声認識部１２が再帰的に用いる単語系列を記憶する。例えば、ステップＳ１２において、単語系列W1^が認識された場合、単語系列記憶部１２ａは、当該単語系列W1^を記憶し、単語系列Wl^が認識された場合、単語系列記憶部１２ａは、当該単語系列Wl^を記憶し、単語系列WL^が認識された場合、単語系列記憶部１２ａは、当該単語系列WL^を記憶する。
＜発話音声認識部１２の詳細な構成＞
　図３に示すように、発話音声認識部１２は、発話ベクトル計算部１２１と、発話系列埋め込みベクトル計算部１２２と、文脈ベクトル計算部１２３と、事後確率計算部１２４を含む。
　発話音声認識部１２は前述のとおり、
Figure JPOXMLDOC01-appb-M000012
を計算する。この詳細な定式化は次式で表される。
Figure JPOXMLDOC01-appb-M000013
なお、
Figure JPOXMLDOC01-appb-M000014
の計算は、発話音声認識部１２内の発話ベクトル計算部１２１と、発話系列埋め込みベクトル計算部１２２と、文脈ベクトル計算部１２３と、事後確率計算部１２４により実現される。以下では、図４を参照し、l番目の発話のn番目の単語についての確率
Figure JPOXMLDOC01-appb-M000015
を計算するための詳細な処理を表す。
＜発話ベクトル計算部１２１＞
入力１：l-1番目の発話の単語系列Wl-1^
入力２：モデルパラメータθ
出力：l-1番目の発話の発話ベクトルul-1
　発話ベクトル計算部１２１は、認識対象であるl番目の発話の単語系列Wlよりも過去の、既に認識済みのl-1番目の発話の単語系列Wl-1^をモデルパラメータθに基づく変換関数により、l-1番目の発話の発話ベクトルul-1に変換する（Ｓ１２１）。この時、l-1番目の発話の単語系列Wl-1^は1つ以上の単語を含む。発話ベクトルは単語系列に含まれる情報を埋め込んだベクトルを表し、次発話の音声認識に必要な発話の意味的な情報が埋め込まれている。ベクトルの次元数を大きくするほどたくさんの情報を埋め込むことができ、例えば512次元のベクトルとして人手で次元数を決定する。このとき変換関数には、可変長数の記号列を単一ベクトルに変換する関数であれば任意のものを利用できるが、例えば、発話中の単語の頻度ベクトルを構成するような関数を用いることができるし、リカレントニューラルネットワークや双方向リカレントニューラルネットワーク等も用いることができる。
　なお、l=1の場合は入力となる単語系列W0は存在しなないため、出力のu0はすべての要素が0.0のベクトルとすればよい。
　なお、ステップＳ１２１は、W1^,…,Wl-1^のそれぞれに対して行われることになる。したがって、発話ベクトル計算部１２１は、u1,…,ul-1をそれぞれ出力することなる。
＜発話系列埋め込みベクトル計算部１２２＞
入力１：過去の発話についての発話ベクトルの系列u1,…,ul-1
入力２：モデルパラメータθ
出力：l-1番目の発話系列埋め込みベクトルvl-1
　発話系列埋め込みベクトル計算部１２２は、過去の発話についての発話ベクトルの系列u1,…,ul-1をモデルパラメータθに基づく変換関数により、l-1番目の発話系列埋め込みベクトルvl-1に変換する（Ｓ１２２）。この発話系列埋め込みベクトルは単一のベクトルであり、次発話の音声認識に必要な意味的情報が埋め込まれている。ベクトルの次元数を大きくするほどたくさんの情報を埋め込むことができ、例えば512次元のベクトルとして人手で次元数を決定する。このとき変換関数には、可変長数のベクトル列を単一ベクトルに変換する関数であれば任意のものを利用できるが、例えばリカレントニューラルネットワークや、発話ベクトル系列の各ベクトルを平均化するような関数を用いることができる。なお、平均化する場合は、発話系列埋め込みベクトルの次元数は、発話ベクトル系列の各次元数に依存する。
　なお、l=1の場合は、入力となる過去発話系列についての発話ベクトル系列は存在しないため、出力のv0はすべての要素が0.0のベクトルとすればよい。
＜文脈ベクトル計算部１２３＞
入力１：l番目の発話の単語系列Wlの中のn番目の単語wl nよりも過去の単語列wl 1,…,wl n-1
入力２：l番目の発話の音響特徴量系列Xl
入力３：モデルパラメータθ
出力:l番目の発話のn番目の単語向けの文脈ベクトルsl n
　文脈ベクトル計算部１２３は、認識対象であるl番目の発話の単語系列Wlの中のn番目の単語wl nよりも過去の単語列wl 1,…,wl n-1（単語系列と意味を区別するため単語列と呼称する）と、認識対象であるl番目の単語系列Wlに対応するl番目の音響特徴量系列Xlをモデルパラメータθに基づく変換関数によりl番目の発話の単語系列Wlの中のn番目の単語wl n向けの文脈ベクトルsl nに変換する（Ｓ１２３）。この文脈ベクトルは、次の単語の音声認識に必要な意味的情報と音韻的情報を統合した情報が埋め込まれている。このとき変換関数には、２種類の可変長数のベクトル列を単一ベクトルに変換する関数であれば任意のものを利用できるが、例えば非特許文献２のように音響特徴量系列と単語系列のそれぞれにリカレントニューラルネットワークを設けて、注意機構を加えることにより単一の文脈ベクトルとして表現する関数を用いることもできる。また、最も単純なものであれば、l番目の発話のn番目の単語よりも過去の単語系列の頻度ベクトルとl番目の発話の音響特徴量系列を平均化したベクトルの結合ベクトルを構成するような関数を用いることもできる。
＜事後確率計算部１２４＞
入力１：l-1番目の発話系列埋め込みベクトルvl-1
入力２：l番目の発話のn番目の単語向けの文脈ベクトルsl n
入力３：モデルパラメータθ
出力:l番目の発話のn番目の単語についての事後確率
Figure JPOXMLDOC01-appb-M000016
　事後確率計算部１２４は、認識対象である単語系列Wlよりも一つ過去までの発話ベクトル系列u1,…,ul-1を変換してなるl-1番目の発話系列埋め込みベクトルvl-1、および認識対象であるl番目の単語系列Wlのn番目の単語向けの文脈ベクトルsl nから、モデルパラメータθに基づく変換関数により、l番目の単語系列Wlのn番目の単語についての事後確率
Figure JPOXMLDOC01-appb-M000017
を計算する（Ｓ１２４）。事後確率は各単語を要素としたベクトルとして表すことができ、ベクトル変換により事後確率分布を表現することが可能である。このとき変換関数には、２種類のベクトルを事後確率分布に変換する関数であれば任意のものを利用できるが、例えば、２つのベクトルの結合ベクトルにソフトマックス関数を用いた変換を行う動作を行う関数により実現することができる。それ以外でも、事後確率分布に相当する出力ベクトルの要素の総和が1.0に変換可能な関数が適用可能である。
　本実施例の音声認識装置１によれば、従来のような単一発話を扱うend-to-end音声認識ではなく、発話系列を扱うend-to-end音声認識のモデル化を導入したため、音声入力が発話系列と表される場合に、文脈を考慮したend-to-end音声認識を実現できる。すなわち発話系列中のある発話を音声認識する際に、発話系列の最初の発話から対象発話の１つ前の発話までの情報を文脈として利用することが可能となる。例えば前述と同様に、１０分程度の講演音声を音声認識することを想定し、この講演音声を無音が0.5秒存在するごとに区切ると、200発話の音声が含まれていた場合を想定する。この場合、本実施例の音声認識装置１によれば、連続した200発話中のある発話より前の全ての関連する文脈情報を現在の音声認識に利用することができる。例えば、音声認識装置１は、100発話目を音声認識する際に、1発話目から99発話目までの音声認識結果を文脈として利用することができる。
　本実施例の音声認識装置１は、例えば講演、電話、会議などの音声認識の認識性能を高めることができる。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 　時系列順に取得された単語系列と、対応する音響特徴量系列の組の集合からなる学習データに基づき、注目している単語系列を観測値とし、注目している単語系列よりも過去の単語系列、および注目している単語系列に対応する音響特徴量系列、およびモデルパラメータθをパラメータとし、前記パラメータの下で前記観測値が生起する確率の尤度関数について最尤推定を行うことにより、前記モデルパラメータθを学習するモデルパラメータ学習部と、
    　時系列順に取得された音響特徴量系列の集合からなる認識用データに基づき、認識対象である単語系列を観測値とし、認識対象である単語系列よりも過去の、既に認識済みの単語系列、および認識対象である単語系列に対応する音響特徴量系列、および学習済みの前記モデルパラメータθをパラメータとし、前記パラメータの下で前記観測値が生起する確率の尤度関数について最尤基準により、認識対象である単語系列を認識する処理を時系列順に繰り返す発話音声認識部
    　を含む音声認識装置。
  2. 　請求項１に記載の音声認識装置であって、
    　前記発話音声認識部は、
    　認識対象である単語系列よりも過去の、既に認識済みの単語系列を前記モデルパラメータθに基づく変換関数により、次発話の音声認識に必要な意味的情報を含むベクトルである発話ベクトルに変換する発話ベクトル計算部と、
    　前記発話ベクトルの系列を前記モデルパラメータθに基づく変換関数により、次発話の音声認識に必要な意味的情報を含む発話系列埋め込みベクトルに変換する発話系列埋め込みベクトル計算部と、
    　認識対象である単語系列中の注目している単語よりも過去の、認識対象である前記単語系列中の単語列と、認識対象である単語系列に対応する音響特徴量系列とを、前記モデルパラメータθに基づく変換関数により、認識対象である単語系列中の単語の音声認識に必要な意味的情報と音韻的情報を統合した情報を含む文脈ベクトルに変換する文脈ベクトル計算部と、
    　認識対象である単語系列よりも一つ過去までの発話ベクトル系列を変換してなる前記発話系列埋め込みベクトルと、認識対象である単語系列中の単語向けの文脈ベクトルから、前記モデルパラメータθに基づく変換関数により、認識対象である単語系列の単語についての事後確率を計算する事後確率計算部を含む
    　音声認識装置。
  3. 　時系列順に取得された単語系列と、対応する音響特徴量系列の組の集合からなる学習データに基づき、注目している単語系列を観測値とし、注目している単語系列よりも過去の単語系列、および注目している単語系列に対応する音響特徴量系列、およびモデルパラメータθをパラメータとし、前記パラメータの下で前記観測値が生起する確率の尤度関数について最尤推定を行うことにより、前記モデルパラメータθを学習するモデルパラメータ学習ステップと、
    　時系列順に取得された音響特徴量系列の集合からなる認識用データに基づき、認識対象である単語系列を観測値とし、認識対象である単語系列よりも過去の、既に認識済みの単語系列、および認識対象である単語系列に対応する音響特徴量系列、および学習済みの前記モデルパラメータθをパラメータとし、前記パラメータの下で前記観測値が生起する確率の尤度関数について最尤基準により、認識対象である単語系列を認識する処理を時系列順に繰り返す発話音声認識ステップ
    　を含む音声認識方法。
  4. 　請求項１に記載の音声認識方法であって、
    　前記発話音声認識ステップは、
    　認識対象である単語系列よりも過去の、既に認識済みの単語系列を前記モデルパラメータθに基づく変換関数により、次発話の音声認識に必要な意味的情報を含むベクトルである発話ベクトルに変換するステップと、
    　前記発話ベクトルの系列を前記モデルパラメータθに基づく変換関数により、次発話の音声認識に必要な意味的情報を含む発話系列埋め込みベクトルに変換するステップと、
    　認識対象である単語系列中の注目している単語よりも過去の、認識対象である前記単語系列中の単語列と、認識対象である単語系列に対応する音響特徴量系列とを、前記モデルパラメータθに基づく変換関数により、認識対象である単語系列中の単語の音声認識に必要な意味的情報と音韻的情報を統合した情報を含む文脈ベクトルに変換するステップと、
    　認識対象である単語系列よりも一つ過去までの発話ベクトル系列を変換してなる前記発話系列埋め込みベクトルと、認識対象である単語系列中の単語向けの文脈ベクトルから、前記モデルパラメータθに基づく変換関数により、認識対象である単語系列の単語についての事後確率を計算するステップを含む
    　音声認識方法。
  5. 　コンピュータを請求項１または２に記載の音声認識装置として機能させるプログラム。
PCT/JP2020/002648 2019-02-07 2020-01-27 音声認識装置、音声認識方法、プログラム WO2020162238A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/428,959 US20220139374A1 (en) 2019-02-07 2020-01-27 Speech recognition device, speech recognition method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-020396 2019-02-07
JP2019020396A JP7028203B2 (ja) 2019-02-07 2019-02-07 音声認識装置、音声認識方法、プログラム

Publications (1)

Publication Number Publication Date
WO2020162238A1 true WO2020162238A1 (ja) 2020-08-13

Family

ID=71947641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002648 WO2020162238A1 (ja) 2019-02-07 2020-01-27 音声認識装置、音声認識方法、プログラム

Country Status (3)

Country Link
US (1) US20220139374A1 (ja)
JP (1) JP7028203B2 (ja)
WO (1) WO2020162238A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259079A (zh) * 2020-10-19 2021-01-22 北京有竹居网络技术有限公司 语音识别的方法、装置、设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109760A (ja) * 2017-01-04 2018-07-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音声認識方法及び音声認識装置
JP2018132678A (ja) * 2017-02-16 2018-08-23 日本電信電話株式会社 ターンテイキングタイミング識別装置、ターンテイキングタイミング識別方法、プログラム、記録媒体
JP2018528458A (ja) * 2015-12-04 2018-09-27 三菱電機株式会社 発話を処理する方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574358B2 (en) * 2005-02-28 2009-08-11 International Business Machines Corporation Natural language system and method based on unisolated performance metric
US8972268B2 (en) * 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US10332509B2 (en) * 2015-11-25 2019-06-25 Baidu USA, LLC End-to-end speech recognition
JP6727607B2 (ja) * 2016-06-09 2020-07-22 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
US11043214B1 (en) * 2018-11-29 2021-06-22 Amazon Technologies, Inc. Speech recognition using dialog history

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018528458A (ja) * 2015-12-04 2018-09-27 三菱電機株式会社 発話を処理する方法
JP2018109760A (ja) * 2017-01-04 2018-07-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音声認識方法及び音声認識装置
JP2018132678A (ja) * 2017-02-16 2018-08-23 日本電信電話株式会社 ターンテイキングタイミング識別装置、ターンテイキングタイミング識別方法、プログラム、記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANAKA, TOMOHIRO ET AL.: "Rescoring of recognition hypotheses with an end-to-end voice recognition system", LECTURE PROCEEDINGS OF 2018 AUTUMN RESEARCH CONFERENCE OF THE ACOUSTICAL SOCIETY OF JAPAN, 12 September 2018 (2018-09-12), pages 913 - 916; 1-2-4; 913-914 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112259079A (zh) * 2020-10-19 2021-01-22 北京有竹居网络技术有限公司 语音识别的方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
US20220139374A1 (en) 2022-05-05
JP7028203B2 (ja) 2022-03-02
JP2020129015A (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
JP6622505B2 (ja) 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム
CN112435654B (zh) 通过帧插入对语音数据进行数据增强
JP6622681B2 (ja) 音素崩れ検出モデル学習装置、音素崩れ区間検出装置、音素崩れ検出モデル学習方法、音素崩れ区間検出方法、プログラム
JP6680933B2 (ja) 音響モデル学習装置、音声合成装置、音響モデル学習方法、音声合成方法、プログラム
KR101026632B1 (ko) 포먼트 트랙킹 방법 및 컴퓨터 판독가능 기록 매체
EP1693826B1 (en) Vocal tract resonance tracking using a nonlinear predictor
US20230343319A1 (en) speech processing system and a method of processing a speech signal
Hourri et al. A novel scoring method based on distance calculation for similarity measurement in text-independent speaker verification
CN113674733A (zh) 用于说话时间估计的方法和设备
JP7409381B2 (ja) 発話区間検出装置、発話区間検出方法、プログラム
JP7192882B2 (ja) 発話リズム変換装置、モデル学習装置、それらの方法、およびプログラム
JP5807921B2 (ja) 定量的ｆ０パターン生成装置及び方法、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム
WO2020162238A1 (ja) 音声認識装置、音声認識方法、プログラム
Viacheslav et al. System of methods of automated cognitive linguistic analysis of speech signals with noise
Yousfi et al. Holy Qur'an speech recognition system Imaalah checking rule for warsh recitation
Saha Development of a bangla speech to text conversion system using deep learning
JP7160170B2 (ja) 音声認識装置、音声認識学習装置、音声認識方法、音声認識学習方法、プログラム
JP2005157350A (ja) 区分的線形近似を用いた連続値声道共鳴追跡の方法および装置
US11670292B2 (en) Electronic device, method and computer program
JP6137708B2 (ja) 定量的ｆ０パターン生成装置、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム
Schnell et al. Neural VTLN for speaker adaptation in TTS
Paul et al. Bangla Spoken Numerals Recognition by Using HMM
Seki et al. Diversity-based core-set selection for text-to-speech with linguistic and acoustic features
US20240038213A1 (en) Generating method, generating device, and generating program
Frikha et al. Hidden Markov models (HMMs) isolated word recognizer with the optimization of acoustical analysis and modeling techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20753081

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20753081

Country of ref document: EP

Kind code of ref document: A1