WO2020039728A1 - 学習装置、音声認識装置、学習方法、音声認識方法およびプログラム - Google Patents

学習装置、音声認識装置、学習方法、音声認識方法およびプログラム Download PDF

Info

Publication number
WO2020039728A1
WO2020039728A1 PCT/JP2019/024826 JP2019024826W WO2020039728A1 WO 2020039728 A1 WO2020039728 A1 WO 2020039728A1 JP 2019024826 W JP2019024826 W JP 2019024826W WO 2020039728 A1 WO2020039728 A1 WO 2020039728A1
Authority
WO
WIPO (PCT)
Prior art keywords
language
model parameter
sequence
parameter group
phoneme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/024826
Other languages
English (en)
French (fr)
Inventor
亮 増村
智大 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/269,705 priority Critical patent/US12148418B2/en
Publication of WO2020039728A1 publication Critical patent/WO2020039728A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Definitions

  • Non-native speakers appear include international conferences. At international conferences, it has become common for non-native speakers of English to communicate via English. However, the pronunciation of a non-native speaker is significantly different from the pronunciation of a native speaker, which can make communication difficult. In particular, communication may be difficult when non-native speakers having different native languages talk. For example, it is known that Indians have difficulty hearing English spoken by Japanese people, and that Japanese people have difficulty hearing English spoken by Indian people. Therefore, in the case where non-native speakers of a certain language communicate with each other, it is expected that communication can be facilitated by using voice recognition. That is, even if it is difficult to hear the voice as it is, if it can be converted into text, it can be expected that the utterance content can be easily understood. For that purpose, it is necessary to improve speech recognition for non-native speakers.
  • the acoustic model used in recent speech recognition systems is an acoustic model using Deep Neural Network (including Convolutional Neural Network and Recurrent Neural Network) (hereinafter, referred to as “DNN acoustic model”).
  • DNN acoustic model is a known technique, and details such as a typical model structure and a calculation method are described in, for example, Non-Patent Documents 1 and 2.
  • Non-Patent Document 3 describes a technique for learning a DNN acoustic model using both native audio data and non-native audio data.
  • Non-Patent Document 3 As background technology will be described in more detail.
  • ⁇ DNN acoustic model learning> The input and output in the learning of the DNN acoustic model are as follows.
  • Input: D set of non-native audio data + set of native audio data
  • Output: ⁇ model parameter group of DNN acoustic model for non-native
  • the audio data set D is a pair (S) of audio data X and its phoneme sequence S , X) are one or more data sets.
  • the model parameter group ⁇ is determined based on the following equation (1).
  • Input: X non-native speech, DNN acoustic model having model parameter group ⁇
  • Output: O posterior probability sequence for phoneme Speech recognition is performed based on the output (posterior probability sequence O).
  • a method for performing speech recognition based on the posterior probability sequence O is known, and is described in, for example, the above-mentioned Non-Patent Document 1 and Non-Patent Document 2, and a description thereof will be omitted.
  • Non-Patent Document 3 is a technology that uses a group of model parameters learned so as to maximize the speech recognition performance (phoneme identification performance) for both non-native speech data and native speech data. is there. Therefore, according to the technology described in Non-Patent Document 3, when the pronunciation of the non-native speech to be subjected to speech recognition is close to the pronunciation of the native speech, high speech recognition performance can be obtained. On the other hand, according to the technology described in Non-Patent Document 3, if the pronunciation of a non-native voice to be subjected to voice recognition is significantly different from the pronunciation of a native voice, the voice recognition performance for the non-native voice deteriorates. There are issues.
  • Non-Patent Document 3 For example, if a non-native voice spoken in English by a Japanese is targeted for speech recognition, non-native voice by a speaker who studies English sufficiently and can pronounce near native is described in Non-Patent Document 3. A high voice recognition performance can be realized by the technology used. On the other hand, in the case of non-native speech by a speaker who has just studied English and pronounces Japanese phonemes, the technique described in Non-Patent Document 3 cannot achieve high speech recognition performance. .
  • Non-Patent Document 3 cannot use speech data of a non-native speaker's native language for learning an acoustic model. For example, when constructing an acoustic model for English spoken by Japanese, the technology described in Non-Patent Document 3 cannot utilize Japanese voice data spoken by Japanese. This is because the phoneme set included in the non-native speaker's native language speech data is different from the phoneme set of the language targeted for speech recognition. This is because they are not suitable as learning data.
  • An object of the present invention made in view of the above problems is to improve speech recognition performance even when the pronunciation of non-native speech data to be subjected to speech recognition is significantly different from the pronunciation of native speech data. It is an object of the present invention to provide a learning device, a voice recognition device, a learning method, a voice recognition method, and a program that can perform the above.
  • a learning device is a learning device that learns parameters used for voice recognition of an input voice, wherein the input voice includes information for identifying phonemes in a first language.
  • a first model parameter group for converting into a feature amount sequence with phonological consciousness for a first language, which is a feature amount sequence including a first language, is defined by a speaker whose native language is the first language in the first language.
  • a first model parameter group learning unit that learns using a set of speech data to be uttered; and a second language that is a series of feature amounts including information for identifying phonemes in a second language.
  • a second model parameter group for converting into a phoneme-conscious feature amount sequence is learned using a set of voice data spoken in the second language by a speaker whose native language is the second language.
  • 2 models A meter group learning unit, a third model parameter group for generating a posterior probability sequence for a phoneme of the first language from the input speech, the first model parameter group, the second model parameter group, And a third model parameter group learning unit that learns using a set of voice data spoken in the first language by a speaker whose native language is the second language.
  • a speech recognition apparatus for performing speech recognition of the input speech using the first to third model parameter groups learned by the learning apparatus.
  • a first phoneme-inspired feature amount extracting unit that converts an audio feature-value sequence of the input voice into the phoneme-inspired feature-value sequence for the first language using the first model parameter group;
  • a second phoneme-inspired feature amount extracting unit configured to convert the audio feature-value sequence of the input speech into the phoneme-inspired feature value sequence for the second language using the second model parameter group;
  • the posterior probability sequence from the acoustic feature amount sequence of the input speech, the phoneme-attention feature amount sequence for the first language, and the phoneme-attention feature amount sequence for the second language.
  • Generate Perform a phoneme recognizer a speech recognition based on the posterior probability sequence comprises a speech text conversion unit for outputting a text of the speech recognition result.
  • a learning method is a learning method in a learning device for learning a parameter used for speech recognition of an input speech, wherein the input speech is converted to a phoneme in a first language.
  • a first group of model parameters for converting into a first-language phonetic-aware feature amount sequence which is a sequence of feature values including information for identification, is defined by a speaker whose native language is the first language. Learning using a set of voice data uttered in a first language, and converting the input voice into a phoneme for a second language, which is a sequence of features including information for identifying phonemes in the second language.
  • a voice recognition method uses the first to third model parameter groups learned by the learning method according to claim 3 to perform voice recognition of the input voice. Converting a sound feature sequence of the input speech into the first speech-oriented feature sequence with use of the first model parameter group. Using the second model parameter group to convert an acoustic feature sequence of the input speech into the phoneme-attentive feature sequence for the second language; and using the third model parameter group, Generating the posterior probability sequence from the audio feature sequence of the input speech, the phonetic feature sequence for the first language, and the phonemic feature sequence for the second language; , Pre performs speech recognition based on the posterior probability sequence, comprising the steps of outputting a text of the speech recognition result.
  • a program according to the present invention causes a computer to function as the above learning device.
  • a program according to the present invention causes a computer to function as the above speech recognition device.
  • the voice recognition device even when the pronunciation of non-native voice data to be subjected to voice recognition is significantly different from the pronunciation of native voice data, voice recognition can be performed. Performance can be improved.
  • FIG. 3 is a diagram for describing learning of a model parameter group by a first model parameter group learning unit illustrated in FIG. 2.
  • 2 is a flowchart for explaining a speech recognition method in the speech recognition device shown in FIG. 3 is a flowchart illustrating a learning method in the learning device illustrated in FIG. 2.
  • FIG. 1 is a diagram showing a configuration example of a speech recognition device 10 according to an embodiment of the present invention.
  • the speech recognition device 10 according to the present embodiment uses speech uttered by a non-native speaker for a language to be speech-recognized as input speech and outputs a text as a speech recognition result for the input speech.
  • Language 1 as the first language is a language for speech recognition to be spoken by a non-native speaker.
  • language 1 is English.
  • Language 2 as the second language is the native language of the non-native speaker for the language for speech recognition.
  • the language 2 is Japanese.
  • Data set A is a set of voice data spoken in language 1 by a speaker whose native language is language 1.
  • Data set B is a set of voice data spoken in language 2 by a speaker whose native language is language 2.
  • Data set C is a set of voice data spoken in language 1 by a speaker whose native language is language 2. That is, the data set C is a set of non-native audio data.
  • the speech recognition device 10 shown in FIG. 1 includes a phoneme-aware feature amount extraction unit 11 for language 1, a phoneme-aware feature amount extraction unit 12 for a language 2, a phoneme identification unit 13 for a non-native speaker, and a speech text conversion unit 14. And
  • the phoneme-aware feature value extraction unit 11 for language 1 as a first phoneme-aware feature value extraction unit uses the model parameter group ⁇ 1 as the first model parameter group to convert the acoustic feature value sequence X of the input speech into It is converted into a phoneme-attached feature amount sequence A for language 1 as a phoneme-attached feature amount sequence for the first language.
  • the second phoneme-aware feature value extraction unit 12 for language 2 as the second phoneme-aware feature value extraction unit uses the model parameter group ⁇ 2 as the second model parameter group to convert the audio feature sequence X of the input speech into It is converted into a phoneme-attached feature amount sequence B for language 2 as a phoneme-attached feature amount sequence for the second language.
  • the non-native speaker phoneme identification unit 13 serving as a phoneme recognition unit uses the model parameter group ⁇ 3 as the third model parameter group to input the audio feature sequence X of the input speech and the phoneme-conscious feature value for language 1.
  • a posterior probability sequence O for a phoneme in language 1 is generated from the sequence A and the phoneme-noticable feature amount sequence B for language 2.
  • the speech-to-text converter 14 performs speech recognition based on the posterior probability series O, and outputs a text as the speech recognition result.
  • the input speech is converted into an audio feature quantity sequence X and input to the speech recognition device 10.
  • Any acoustic feature can be used, for example, a mel frequency cepstrum coefficient, a mel frequency cepstrum coefficient obtained by performing a transformation such as normalization, or a plurality of temporally successive features. Anything can be used, such as combined quantities.
  • the acoustic features are extracted at short time intervals (for example, every 0.01 seconds), and the speech can be treated as a sequence of acoustic features (an acoustic feature sequence).
  • the acoustic feature sequence X (x 1 ,..., X T ). Note that xt is the acoustic feature amount of the t-th frame.
  • a phoneme-aware feature amount is a feature amount including information for identifying a phoneme. More specifically, the phoneme-aware feature amount is a feature amount that can be extracted by using a model that has been learned to discriminate phonemes.
  • Both the acoustic feature amount sequence X and the phoneme-aware feature amount sequence A for language 1 have a length T.
  • the phoneme-oriented feature amount extraction unit 11 for language 1 converts the acoustic feature amount sequence X into a phoneme-based feature amount sequence A for language 1 according to the following equation (2).
  • DNN () is a non-linear conversion function using the above-described DNN, and various configurations can be used.
  • DNN () can be realized using a three-layer neural network.
  • Model parameter groups theta 1 is a model parameter group to be estimated by learning described later.
  • the sequence B is converted to (b 1 ,..., B T ).
  • the length of both the acoustic feature amount sequence X and the feature amount sequence B with phoneme notice for language 2 is T.
  • the feature amount extraction unit for phoneme-attention for language 2 converts the acoustic feature amount sequence X into a feature-value sequence B for phoneme-attention for language 2 according to the following equation (3).
  • DNN () is a non-linear conversion function using the above-described DNN, and various configurations can be used.
  • DNN () can be realized using a three-layer neural network.
  • Model parameter groups theta 2 is a model parameter group to be estimated by learning described later.
  • non-native speakers for phoneme identification part 13 generates according to the equation (4) below c t.
  • T is a transposed symbol. That, c t is expressed as a vector obtained by arranging x t a t b t.
  • the non-native speaker phoneme identification unit 13 generates the posterior probability sequence O for the phoneme from the vector sequence C according to the following equation (5).
  • INPUTtoPosteriorgram () is a non-linear conversion function using the DNN described above, and can use various configurations.
  • INPUTtoPosteriorgram () can be realized by using a five-layer neural network and setting the last layer as a softmax function.
  • Model parameter groups theta 3 is a model parameter group to be estimated by learning described later.
  • a method of speech recognition based on the posterior probability sequence O for a phoneme is known, and is described in, for example, the above-mentioned Non-Patent Document 1 and Non-Patent Document 2, and thus the description thereof will be omitted.
  • FIG. 2 is a diagram illustrating a configuration example of the learning device 20 according to an embodiment of the present invention.
  • the learning device 20 according to the present embodiment learns the model parameter groups ⁇ 1 to ⁇ 3 used in the speech recognition device 10 described with reference to FIG.
  • the learning device 20 illustrated in FIG. 2 includes a first model parameter group learning unit 21, a second model parameter group learning unit 22, and a third model parameter group learning unit 23.
  • the first model parameter group learning unit 21 receives the data set A and learns the model parameter group ⁇ 1 used in the above-described phoneme-noticeable feature value extraction unit 11 for language 1. That is, the first model parameter group learning unit 21 converts the input speech into a phoneme-oriented feature amount sequence A for language 1 (a feature amount sequence including information for identifying phonemes in language 1). The parameter group ⁇ 1 is learned from the data set A.
  • the second model parameter group learning unit 22 receives the data set B, and learns the model parameter group ⁇ 2 used in the above-described phoneme-noticeable feature amount extraction unit 12 for language 2. That is, the second model parameter group learning unit 22 converts the input speech into a phoneme-oriented feature amount sequence B for language 2 (a feature amount sequence including information for identifying phonemes in language 2). The parameter group ⁇ 2 is learned from the data set B.
  • the third model parameter group learning unit 23 generates a model parameter group ⁇ 3 for generating a posterior probability sequence for a phoneme from an input speech in the above-described non-native speaker phoneme identification unit 13, a model parameter group ⁇ 1 , Learning is performed using the model parameter group ⁇ 2 and the data set C.
  • First model parameter group learning unit 21 the data set A: as input D A, and outputs a model parameter groups theta 1.
  • the first model parameter group learning unit 21 learns a model parameter group ⁇ 1 from the data set A (data set D A ).
  • FIG. 3 shows a specific structure of such a network.
  • INPUTtoPosteriorgram () is a non-linear conversion function using the DNN described above, and can use various configurations.
  • INPUTtoPosteriorgram () can be realized by a three-layer neural network with the final layer being a softmax function.
  • the first model parameter group learning unit 21 learns the model parameter group ⁇ 1 according to the following equation (7).
  • ⁇ with the symbol ⁇ means that ⁇ satisfies the right side (estimated by the right side).
  • o t, s represents a value of dimension corresponding to the t-th phoneme in the phoneme string S in o t.
  • the learning according to the equation (7) can use, for example, a known back propagation method.
  • Second model parameter group learning unit 22 the data set B: as input D B, and outputs a model parameter group theta 2.
  • Second model parameter group learning unit 22 the data set B (data set D B), to learn the model parameter groups theta 2.
  • Such a network structure is represented by the following equation (8).
  • INPUTtoPosteriorgram () is a non-linear conversion function using the DNN described above, and can use various configurations.
  • INPUTtoPosteriorgram () can be realized by using a three-layer neural network and setting the last layer as a softmax function.
  • o t, s represents a value of dimension corresponding to the t-th phoneme in the phoneme string S in o t.
  • the learning according to the equation (9) can use, for example, a known back propagation method.
  • the third model parameter group learning unit 23 receives the data set C: D C , the model parameter group ⁇ 1 and the model parameter group ⁇ 2 , and outputs a model parameter group ⁇ 3 .
  • the third model parameter group learning unit 23 learns the model parameter group ⁇ 3 from the data set C (data set D C ) using the model parameter group ⁇ 1 and the model parameter group ⁇ 2 .
  • the third model parameter group learning unit 23 will first advance the audio data X in the data set D C, using the determined model parameter group theta 1 ⁇ and the model parameter groups theta 2 ⁇ , vector Convert to series C.
  • the third model parameter group learning unit 23 converts the data into a vector sequence C according to the following equation (10).
  • the third model parameter group learning unit 23 learns the model parameter group ⁇ 3 using the created vector sequence C.
  • the third model parameter group learning unit 23 learns the model parameter group ⁇ 3 according to the following equation (11).
  • o t, s represents a value of dimension corresponding to the t-th phoneme in the phoneme string S in o t.
  • the learning according to the equation (11) can use, for example, a known back propagation method.
  • the speech recognition device 10 and the learning device 20 are described separately, but these devices may be integrally formed. Therefore, the voice recognition device 10 may include each unit included in the learning device 20. Further, the learning device 20 may include each unit included in the speech recognition device 10.
  • step S11 and the processing of step S12 may be performed first, or may be performed in parallel.
  • the first model parameter group learning unit 21 converts the model parameter group ⁇ 1 for converting the input speech into the feature quantity sequence A with phonology for language 1 into a data set D A (for a speaker whose native language is language 1 Learning is performed using a set of voice data uttered in language 1 (step S21). Specifically, the first model parameter group learning unit 21 learns the model parameter group ⁇ 1 according to the above-described equation (7).
  • the second model parameter group learning unit 22 converts the model parameter group ⁇ 2 for converting the input voice into the phoneme-noticable feature amount sequence B for language 2 into a data set D B (for a speaker whose native language is language 2 Learning is performed using a set of voice data uttered in language 2 (step S22). Specifically, the second model parameter group learning unit 22 in accordance with above equation (9), to learn the model parameter groups theta 2.
  • any one of the processing in step S21 and the processing in step S22 may be performed first, or may be performed in parallel.
  • the third model parameter group learning unit 23 converts the model parameter group ⁇ 3 for generating the posterior probability sequence O for the phoneme from the input speech into the model parameter group ⁇ 1 , the model parameter group ⁇ 2, and the data set D C (language Learning is performed using a set of voice data spoken in a first language by a speaker whose native language is 2 (step S23). Specifically, the third model parameter group learning unit 23 learns the model parameter group ⁇ 3 according to the above-described equation (11).
  • the speech recognition device 10 uses the model parameter group ⁇ 3 to set the acoustic feature quantity sequence X of the input speech, the feature quantity sequence A for phoneme 1 for language 1, and the phoneme note A for language 2
  • the posterior probability sequence O for the phoneme is generated from the feature amount sequence B.
  • the model parameter group ⁇ 3 is learned from a set of voice data spoken in language 1 by a speaker whose native language is language 2, that is, a set of non-native voice data. Therefore, when non-native speech is used as input speech, high speech recognition performance can be obtained.
  • the model parameter groups theta 2 learned from a set of audio data spoken languages 2. Therefore, even when the pronunciation of the non-native speech is significantly different from the pronunciation of the native speech, and the pronunciation is close to the native language of the non-native speaker, high speech recognition performance can be obtained. Therefore, even when the pronunciation of the non-native speech data to be subjected to speech recognition is significantly different from the pronunciation of the native speech data, the speech recognition performance can be improved.
  • model parameter when the learning of the model parameter groups theta 3, speaker of the language 1 and native language is used also the model parameter groups theta 2 learned from a set of audio data spoken languages 1 . Therefore, high speech recognition performance can be obtained even for native speech and non-native speech whose pronunciation is similar to that of native speech.
  • a computer may be used to function as the speech recognition device 10 and the learning device 20.
  • Such a computer stores a program describing processing contents for realizing the functions of the speech recognition device 10 and the learning device 20 in a storage unit of the computer, and reads out and executes the program by the CPU of the computer. It can be realized by doing.
  • the program may be recorded on a computer-readable recording medium.
  • a recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM and a DVD-ROM.
  • Speech Recognition Device 11
  • Phoneme-Aware Feature Amount Extraction Unit for Language 1 First Phoneme-Aware Feature Amount Extraction Unit
  • Phoneme-aware feature value extractor for language 2 second phoneme-aware feature value extractor
  • Phoneme identification unit for non-native speakers phoneme recognition unit
  • Reference Signs List 14
  • speech text converter 20
  • learning device 21 first model parameter group learning unit 22

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

音声認識性能の向上を図るために、音声認識装置１０は、言語１を母国語とする話者が言語１で発話する音声データを用いて学習される第１のモデルパラメータ群を用いて、入力音声の音響特徴量系列を言語１向け音韻気付き特徴量系列に変換する言語１向け音韻気付き特徴量抽出部１１と、言語２を母国語とする話者が言語２で発話する音声データを用いて学習される第２のモデルパラメータ群を用いて、入力音声の音響特徴量系列を、言語２向け音韻気付き特徴量系列に変換する言語２向け音韻気付き特徴量抽出部１２と、第３のモデルパラメータ群を用いて、入力音声の音響特徴量系列と、言語１向け音韻気付き特徴量系列と、言語２向け音韻気付き特徴量系列とから事後確率系列を生成する音韻認識部１３と、事後確率系列に基づき音声認識を行い、音声認識結果のテキストを出力する音声テキスト変換部１４と、を備える。

Description

学習装置、音声認識装置、学習方法、音声認識方法およびプログラム
　本発明は、学習装置、音声認識装置、学習方法、音声認識方法およびプログラムに関する。
　国際化の進展とともに、母国語でない言語を人が話す機会が増えてきている。特に、英語は世界的な共通語として、全世界で人が英語を話す様々な場面が見られる。以下では、ある言語を対象とした場合に、その言語を母国語とする話者をネイティブ話者と称し、その言語を母国語としない話者をノンネイティブ話者と称する。また、ネイティブ話者がその言語で発話した音声データをネイティブ音声データと称し、ノンネイティブ話者がその言語で発話した音声データをノンネイティブ音声データと称する。
　ノンネイティブ話者が登場する具体的な場面として、国際会議などが挙げられる。国際会議では、英語についてのノンネイティブ話者同士が英語を介してコミュニケーションをとることが一般的になってきている。しかしながら、ノンネイティブ話者の発音は、ネイティブ話者の発音とは大きく異なるため、コミュニケーションが困難となることがある。特に、母国語が異なるノンネイティブ話者同士が会話する際にコミュニケーションが困難となることがある。例えば、インド人は日本人が話す英語を聞きとることが難しく、日本人はインド人が話す英語を聞きとることが難しいことなどが知られている。そこで、ある言語についてのノンネイティブ話者同士がコミュニケーションをとる場合において、音声認識を用いることでコミュニケーションの円滑化を図ることが期待される。すなわち、音声のままでは聞きとることが困難であっても、テキストに変換することができれば、発話内容を容易に理解できることが期待できる。そのためには、ノンネイティブ話者向けの音声認識の高度化が必要となる。
Figure JPOXMLDOC01-appb-I000001
　近年の音声認識システムで用いられている音響モデルは、Deep Neural Network（Convolutional Neural NetworkおよびRecurrent Neural Networkなどを含む）を用いた音響モデル（以下、「ＤＮＮ音響モデル」と称する）である。ＤＮＮ音響モデルは公知技術であり、代表的なモデル構造および計算方法などの詳細は、例えば、非特許文献１および非特許文献２に記載されている。
　上述した背景から、ノンネイティブ話者向けの音声認識システムには、ノンネイティブ音声データから学習した音響モデルを用いることが有効である。しかしながら、ノンネイティブ話者向けの音響モデルを構築するために、ノンネイティブ音声データを大量に集めることは困難である。そこで、ノンネイティブ音声データとネイティブ音声データとを併用して音響モデルを学習することがしばしば行われる。例えば、非特許文献３には、ネイティブ音声データとノンネイティブ音声データとを併用してＤＮＮ音響モデルを学習する技術が記載されている。
　背景技術としての非特許文献３に記載されている技術をより詳細に説明する。
　＜ＤＮＮ音響モデルの学習＞
　ＤＮＮ音響モデルの学習における入出力は以下の通りである。
　入力：Ｄ＝ノンネイティブ音声データの集合＋ネイティブ音声データの集合
　出力：θ＝ノンネイティブ向けＤＮＮ音響モデルのモデルパラメータ群
　音声データの集合Ｄは、音声データＸとその音素列Ｓとのペア（Ｓ，Ｘ）が１個以上含まれたデータ集合である。学習では、以下の式（１）に基づき、モデルパラメータ群θが決定される。
Figure JPOXMLDOC01-appb-M000002
　＜ノンネイティブ話者向けの音声認識＞
　ノンネイティブ話者向けの音声認識における入出力は以下の通りである。
　入力：Ｘ＝ノンネイティブ音声、モデルパラメータ群θを有するＤＮＮ音響モデル
　出力：Ｏ＝音素に対する事後確率系列
　出力（事後確率系列Ｏ）をもとに音声認識が行われる。事後確率系列Ｏをもとに音声認識を行う方法は、公知であり、例えば、上述した非特許文献１および非特許文献２などに記載されているため、説明を省略する。
G. Hinton, L. Deng, D. Yu, G. Dahl, A. rahman Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, B. Kingsbury, and T. Sainath, "Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups," IEEE Signal Processing Magazine, pp. 82？97, 2012. G. E. Dahl, D. Yu, L. Deng, and A. Acero, "Context-dependent pretrained deep neural networks for large-vocabulary speech recognition," IEEE transactions on Audio, Speech and Language Processing, vol. 20, pp. 30？42, 2012. 木菱裕志, 中川聖一, "DNN-HMMによる日本人英語音声の認識", 日本音響学会講演論文集, 2013年
　上述した非特許文献３に記載されている技術は、ノンネイティブ音声データおよびネイティブ音声データの両方に対して音声認識性能（音素識別性能）が最大になるように学習したモデルパラメータ群を用いる技術である。そのため、非特許文献３に記載されている技術では、音声認識対象とするノンネイティブ音声の発音が、ネイティブ音声の発音と近い場合には、高い音声認識性能を得ることができる。一方、非特許文献３に記載されている技術では、音声認識対象とするノンネイティブ音声の発音が、ネイティブ音声の発音と大きく異なる場合には、ノンネイティブ音声に対する音声認識性能が低くなってしまうという課題がある。
　例えば、日本人が英語で発話したノンネイティブ音声を音声認識対象とする場合、英語を十分に勉強し、ネイティブに近い発音が可能な話者によるノンネイティブ音声であれば、非特許文献３に記載されている技術により高い音声認識性能を実現することができる。一方、英語を勉強したばかりで日本語の音素をつないだような発音の話者によるノンネイティブ音声の場合、非特許文献３に記載されている技術では、高い音声認識性能を実現することができない。
　なお、非特許文献３に記載されている技術では、ノンネイティブ話者の母国語の音声データを音響モデルの学習に活用することができない。例えば、日本人が話す英語向けの音響モデルを構築する場合に、非特許文献３に記載されている技術では、日本人が話す日本語の音声データを活用することができない。これは、ノンネイティブ話者の母国語の音声データに含まれる音素集合と、音声認識の対象としている言語の音素集合とが異なるため、ノンネイティブ話者の母国語の音声データが、音響モデルの学習データとして適合していないからである。
　上記のような問題点に鑑みてなされた本発明の目的は、音声認識対象とするノンネイティブ音声データの発音が、ネイティブ音声データの発音と大きく異なる場合にも、音声認識性能の向上を図ることができる学習装置、音声認識装置、学習方法、音声認識方法およびプログラムを提供することにある。
　上記課題を解決するため、本発明に係る学習装置は、入力音声の音声認識に用いられるパラメータを学習する学習装置であって、前記入力音声を、第１の言語において音素を識別するための情報を含む特徴量の系列である第１の言語向け音韻気付き特徴量系列に変換するための第１のモデルパラメータ群を、前記第１の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習する第１のモデルパラメータ群学習部と、前記入力音声を、第２の言語において音素を識別するための情報を含む特徴量の系列である第２の言語向け音韻気付き特徴量系列に変換するための第２のモデルパラメータ群を、前記第２の言語を母国語とする話者が前記第２の言語で発話する音声データの集合を用いて学習する第２のモデルパラメータ群学習部と、前記入力音声から前記第１の言語の音素に対する事後確率系列を生成するための第３のモデルパラメータ群を、前記第１のモデルパラメータ群、前記第２のモデルパラメータ群、および、前記第２の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習する第３のモデルパラメータ群学習部と、を備える。
　また、上記課題を解決するため、本発明に係る音声認識装置は、上記の学習装置により学習された前記第１から第３のモデルパラメータ群を用いて、前記入力音声の音声認識を行う音声認識装置であって、前記第１のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第１の言語向け音韻気付き特徴量系列に変換する第１の音韻気付き特徴量抽出部と、前記第２のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第２の言語向け音韻気付き特徴量系列に変換する第２の音韻気付き特徴量抽出部と、前記第３のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列と、前記第１の言語向け音韻気付き特徴量系列と、前記第２の言語向け音韻気付き特徴量系列とから前記事後確率系列を生成する音韻認識部と、前記事後確率系列に基づき音声認識を行い、音声認識結果のテキストを出力する音声テキスト変換部と、を備える。
　また、上記課題を解決するため、本発明に係る学習方法は、入力音声の音声認識に用いられるパラメータを学習する学習装置における学習方法であって、前記入力音声を、第１の言語において音素を識別するための情報を含む特徴量の系列である第１の言語向け音韻気付き特徴量系列に変換するための第１のモデルパラメータ群を、前記第１の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習するステップと、前記入力音声を、第２の言語において音素を識別するための情報を含む特徴量の系列である第２の言語向け音韻気付き特徴量系列に変換するための第２のモデルパラメータ群を、前記第２の言語を母国語とする話者が前記第２の言語で発話する音声データの集合を用いて学習するステップと、前記入力音声から前記第１の言語の音素に対する事後確率系列を生成するための第３のモデルパラメータ群を、前記第１のモデルパラメータ群、前記第２のモデルパラメータ群、および、前記第２の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習するステップと、を含む。
　また、上記課題を解決するため、本発明に係る音声認識方法は、請求項３に記載の学習方法により学習された前記第１から第３のモデルパラメータ群を用いて、前記入力音声の音声認識を行う音声認識装置における音声認識方法であって、前記第１のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第１の言語向け音韻気付き特徴量系列に変換するステップと、前記第２のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第２の言語向け音韻気付き特徴量系列に変換するステップと、前記第３のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列と、前記第１の言語向け音韻気付き特徴量系列と、前記第２の言語向け音韻気付き特徴量系列とから前記事後確率系列を生成するステップと、前記事後確率系列に基づき音声認識を行い、音声認識結果のテキストを出力するステップと、を含む。
　また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上記の学習装置として機能させる。
　また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上記の音声認識装置として機能させる。
　本発明に係る学習装置、音声認識装置、学習方法、音声認識方法およびプログラムによれば、音声認識対象とするノンネイティブ音声データの発音が、ネイティブ音声データの発音と大きく異なる場合にも、音声認識性能の向上を図ることができる。
本発明の一実施形態に係る音声認識装置の構成例を示す図である。 本発明の一実施形態に係る学習装置の構成例を示す図である。 図２に示す第１のモデルパラメータ群学習部によるモデルパラメータ群の学習について説明するための図である。 図１に示す音声認識装置における音声認識方法について説明するためのフローチャートである。 図２に示す学習装置における学習方法について説明するためのフローチャートである。
　以下、本発明を実施するための形態について、図面を参照しながら説明する。各図中、同一符号は、同一または同等の構成要素を示している。
　図１は、本発明の一実施形態に係る音声認識装置１０の構成例を示す図である。本実施形態に係る音声認識装置１０は、音声認識対象の言語についてのノンネイティブ話者が発話した音声を入力音声とし、その入力音声に対する音声認識結果のテキストを出力するものである。
　以下では、２つの言語（言語１、言語２）と、３つのデータ集合（データ集合Ａ、データ集合Ｂ、データ集合Ｃ）を定義する。
　第１の言語としての言語１は、ノンネイティブ話者が発話する音声認識対象の言語である。例えば、日本人が英語で発話する音声の音声認識を行う例では、言語1は英語である。第２の言語としての言語２は、音声認識対象の言語についてのノンネイティブ話者の母国語である。上述した、日本人が英語で発話する音声の音声認識を行う例では、言語２は日本語である。
　データ集合Ａは、言語１を母国語とする話者が言語１で発話する音声データの集合である。データ集合Ｂは、言語２を母国語とする話者が言語２で発話する音声データの集合である。データ集合Ｃは、言語２を母国語とする話者が言語１で発話する音声データの集合である。すなわち、データ集合Ｃは、ノンネイティブ音声データの集合である。
　図１に示す音声認識装置１０は、言語１向け音韻気付き特徴量抽出部１１と、言語２向け音韻気付き特徴量抽出部１２と、ノンネイティブ話者向け音韻識別部１３と、音声テキスト変換部１４とを備える。
　第１の音韻気付き特徴量抽出部としての言語１向け音韻気付き特徴量抽出部１１は、第１のモデルパラメータ群としてのモデルパラメータ群θ1を用いて、入力音声の音響特徴量系列Ｘを、第１の言語向け音韻気付き特徴量系列としての言語１向け音韻気付き特徴量系列Ａに変換する。
　第２の音韻気付き特徴量抽出部としての言語２向け音韻気付き特徴量抽出部１２は、第２のモデルパラメータ群としてのモデルパラメータ群θ2を用いて、入力音声の音響特徴量系列Ｘを、第２の言語向け音韻気付き特徴量系列としての言語２向け音韻気付き特徴量系列Ｂに変換する。
　音韻認識部としてのノンネイティブ話者向け音韻識別部１３は、第３のモデルパラメータ群としてのモデルパラメータ群θ3を用いて、入力音声の音響特徴量系列Ｘと、言語１向け音韻気付き特徴量系列Ａと、言語２向け音韻気付き特徴量系列Ｂとから、言語１の音素に対する事後確率系列Ｏを生成する。
　音声テキスト変換部１４は、事後確率系列Ｏに基づき音声認識を行い、音声認識結果のテキストを出力する。
　なお、入力音声は、音響特徴量系列Ｘに変換して、音声認識装置１０に入力される。音響特徴量としては任意のものを利用することができ、例えば、メル周波数ケプストラム係数、メル周波数ケプストラム係数に対して、正規化などの変換をしたもの、あるいは、時間的に前後する複数個の特徴量を結合したものなど、任意のものを利用することができる。音響特徴量は、短時間のインターバル（例えば、０．０１秒ごと）で抽出されるものであり、音声は、音響特徴量の系列（音響特徴量系列）として扱うことできる。以下では、音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）と表す。なお、ｘtは、ｔフレーム目の音響特徴量である。
　また、音韻気付き特徴量とは、音素を識別するための情報を含む特徴量である。具体的には、音韻気付き特徴量は、音素を弁別するように学習されたモデルを用いることで抽出できる特徴量である。
　以下では、音声認識装置１０が備える各部の動作について、より詳細に説明する。まず、言語１向け音韻気付き特徴量抽出部１１について説明する。
　言語１向け音韻気付き特徴量抽出部１１は、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）およびモデルパラメータ群θ1を入力とし、言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）を出力する。 言語１向け音韻気付き特徴量抽出部１１は、モデルパラメータ群θ1を用いて、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）を、言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）に変換する。音響特徴量系列Ｘおよび言語１向け音韻気付き特徴量系列Ａはともに、長さがＴである。言語１向け音韻気付き特徴量抽出部１１は、以下の式（２）に従い、音響特徴量系列Ｘを言語１向け音韻気付き特徴量系列Ａに変換する。
Figure JPOXMLDOC01-appb-M000003
　DNN()は、上述したＤＮＮを用いた非線形変換関数であり、様々な構成を用いることが可能である。例えば、DNN()は、３層のニューラルネットワークを用いて実現することができる。モデルパラメータ群θ1は、後述する学習により推定されるモデルパラメータ群である。
　次に、言語２向け音韻気付き特徴量抽出部１２について説明する。
　言語２向け音韻気付き特徴量抽出部１２は、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）およびモデルパラメータ群θ2を入力とし、言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）を出力する。言語２向け音韻気付き特徴量抽出部１２は、モデルパラメータ群θ2を用いて、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）を、言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）に変換する。ここで、音響特徴量系列Ｘおよび言語２向け音韻気付き特徴量系列Ｂはともに、長さがＴである。言語２向け音韻気付き特徴量抽出部１２は、以下の式（３）に従い、音響特徴量系列Ｘを言語２向け音韻気付き特徴量系列Ｂに変換する。
Figure JPOXMLDOC01-appb-M000004
　DNN()は、上述したＤＮＮを用いた非線形変換関数であり、様々な構成を用いることが可能である。例えば、DNN()は、３層のニューラルネットワークを用いて実現することができる。モデルパラメータ群θ2は、後述する学習により推定されるモデルパラメータ群である。
　次に、ノンネイティブ話者向け音韻識別部１３について説明する。
　ノンネイティブ話者向け音韻識別部１３は、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）、言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）、言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）およびモデルパラメータ群θ3を入力とし、音素に対する事後確率系列Ｏ＝（ｏ1，．．．，ｏT）を出力する。ノンネイティブ話者向け音韻識別部１３は、モデルパラメータ群θ3を用いて、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）と、言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）と、言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）とから、音素に対する事後確率系列Ｏ＝（ｏ1，．．．，ｏT）を生成する。
　具体的には、ノンネイティブ話者向け音韻識別部１３はまず、入力された各特徴量系列から新たなベクトル系列Ｃ＝（ｃ1，．．．，ｃT）を作成する。ここで、ノンネイティブ話者向け音韻識別部１３は、ｃtを以下の式（４）に従い生成する。
Figure JPOXMLDOC01-appb-M000005
　式（４）において、Ｔは転置記号である。つまり、ｃtはｘtａtｂtを並べたベクトルとして表される。
　ノンネイティブ話者向け音韻識別部１３は、以下の式（５）に従い、ベクトル系列Ｃから音素に対する事後確率系列Ｏを生成する。
Figure JPOXMLDOC01-appb-M000006
　INPUTtoPosteriorgram()は、上述したＤＮＮを用いた非線形変換関数であり、様々な構成を用いることが可能である。例えば、INPUTtoPosteriorgram()は、５層のニューラルネットワークで、最終層をソフトマックス関数とすることで実現することができる。モデルパラメータ群θ3は、後述する学習により推定されるモデルパラメータ群である。
　次に、音声テキスト変換部１４について説明する。
　音声テキスト変換部１４は、音素に対する事後確率系列Ｏ＝（ｏ1，．．．，ｏT）を入力とし、音声認識結果のテキストを出力する。音声テキスト変換部１４は、音素に対する事後確率系列Ｏ＝（ｏ1，．．．，ｏT）に基づき音声認識を行い、音声認識結果のテキストを出力する。音素に対する事後確率系列Ｏに基づく音声認識の方法は公知であり、例えば、上述した非特許文献１および非特許文献２に記載されているため、説明を省略する。
　図２は、本発明の一実施形態に係る学習装置２０の構成例を示す図である。本実施形態に係る学習装置２０は、図１を参照して説明した音声認識装置１０において用いられるモデルパラメータ群θ1～θ3を学習するものである。
　図２に示す学習装置２０は、第１のモデルパラメータ群学習部２１と、第２のモデルパラメータ群学習部２２と、第３のモデルパラメータ群学習部２３とを備える。
　第１のモデルパラメータ群学習部２１は、データ集合Ａが入力され、上述した言語１向け音韻気付き特徴量抽出部１１で用いられるモデルパラメータ群θ1を学習する。すなわち、第１のモデルパラメータ群学習部２１は、入力音声を、言語１向け音韻気付き特徴量系列Ａ（言語１において音素を識別するために情報を含む特徴量の系列）に変換するためのモデルパラメータ群θ1を、データ集合Ａから学習する。
　第２のモデルパラメータ群学習部２２は、データ集合Ｂが入力され、上述した言語２向け音韻気付き特徴量抽出部１２で用いられるモデルパラメータ群θ2を学習する。すなわち、第２のモデルパラメータ群学習部２２は、入力音声を、言語２向け音韻気付き特徴量系列Ｂ（言語２において音素を識別するために情報を含む特徴量の系列）に変換するためのモデルパラメータ群θ2を、データ集合Ｂから学習する。
　第３のモデルパラメータ群学習部２３は、上述したノンネイティブ話者向け音韻識別部１３において、入力音声から音素に対する事後確率系列を生成するためのモデルパラメータ群θ3を、モデルパラメータ群θ1、モデルパラメータ群θ2およびデータ集合Ｃを用いて学習する。
　以下では、学習装置２０が備える各部の動作について、より詳細に説明する。まず、第１のモデルパラメータ群学習部２１について説明する。
　第１のモデルパラメータ群学習部２１は、データ集合Ａ：ＤAを入力とし、モデルパラメータ群θ1を出力する。第１のモデルパラメータ群学習部２１は、データ集合Ａ（データ集合ＤA）から、モデルパラメータ群θ1を学習する。第１のモデルパラメータ群学習部２１は、言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）を事後確率系列Ｏ＝（ｏ1，．．．，ｏT）に変換するネットワークを連結したネットワークを構成する。このようなネットワークの具体的な構造を図３に示す。
　図３に示すネットワーク構造は、以下の式（６）で表される。
Figure JPOXMLDOC01-appb-M000007
　INPUTtoPosteriorgram()は、上述したＤＮＮを用いた非線形変換関数であり、様々な構成を用いることが可能である。例えば、INPUTtoPosteriorgram()は、３層のニューラルネットワークで、最終層をソフトマックス関数とすることで実現することができる。は学習によって推定されるモデルパラメータ群である。第１のモデルパラメータ群学習部２１は、以下の式（７）に従い、モデルパラメータ群θ1を学習する。
Figure JPOXMLDOC01-appb-M000008
　なお、以下では、記号＾が付されたθは、右辺を満たす（右辺により推定された）θであることを意味する。また、ｏt,sはｏtにおいて音素列Ｓにおけるｔ番目の音素に対応する次元の値を示す。式（７）に従う学習は、例えば、公知の方法であるバックプロパゲーション法などを利用することができる。
　次に、第２のモデルパラメータ群学習部２２について説明する。
　第２のモデルパラメータ群学習部２２は、データ集合Ｂ：ＤBを入力とし、モデルパラメータ群θ2を出力する。第２のモデルパラメータ群学習部２２は、データ集合Ｂ（データ集合ＤB）から、モデルパラメータ群θ2を学習する。第２のモデルパラメータ群学習部２２は、言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）を事後確率系列Ｏ＝（ｏ1，．．．，ｏT）に変換するネットワークを連結したネットワークを構成する。このようなネットワーク構造は、以下の式（８）で表される。
Figure JPOXMLDOC01-appb-M000009
　INPUTtoPosteriorgram()は、上述したＤＮＮを用いた非線形変換関数であり、様々な構成を用いることが可能である。例えば、INPUTtoPosteriorgram()は、３層のニューラルネットワークで、最終層をソフトマックス関数とすることで実現することができる。は学習によって推定されるモデルパラメータ群である。第２のモデルパラメータ群学習部２２は、以下の式（９）に従い、モデルパラメータ群θ2を学習する。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｏt,sはｏtにおいて音素列Ｓにおけるｔ番目の音素に対応する次元の値を示す。式（９）に従う学習は、例えば、公知の方法であるバックプロパゲーション法などを利用することができる。
　次に、第３のモデルパラメータ群学習部２３について説明する。
　第３のモデルパラメータ群学習部２３は、データ集合Ｃ：ＤC、モデルパラメータ群θ1およびモデルパラメータ群θ2が入力され、モデルパラメータ群θ3を出力する。第３のモデルパラメータ群学習部２３は、モデルパラメータ群θ1およびモデルパラメータ群θ2を用いて、データ集合Ｃ（データ集合ＤC）からモデルパラメータ群θ3を学習する。具体的には、第３のモデルパラメータ群学習部２３はまず、事前にデータ集合ＤCにおける音声データＸについて、決定されたモデルパラメータ群θ1 ^およびモデルパラメータ群θ2 ^を用いて、ベクトル系列Ｃに変換する。第３のモデルパラメータ群学習部２３は、以下の式（１０）に従い、ベクトル系列Ｃに変換する。
Figure JPOXMLDOC01-appb-M000011
　第３のモデルパラメータ群学習部２３は、作成したベクトル系列Ｃを用いて、モデルパラメータ群θ3を学習する。第３のモデルパラメータ群学習部２３は、以下の式（１１）に従い、モデルパラメータ群θ3を学習する。
Figure JPOXMLDOC01-appb-M000012
　ここで、ｏt,sはｏtにおいて音素列Ｓにおけるｔ番目の音素に対応する次元の値を示す。式（１１）に従う学習は、例えば、公知の方法であるバックプロパゲーション法などを利用することができる。
　なお、本実施形態においては、音声認識装置１０と学習装置２０とを分けて記載しているが、これらの装置は一体的に形成されていてもよい。したがって、音声認識装置１０が、学習装置２０が備える各部を備えていてもよい。また、学習装置２０が、音声認識装置１０が備える各部を備えていてもよい。
　次に、本実施形態に係る音声認識装置１０における音声認識方法について、図４に示すフローチャートを参照して説明する。
　言語１向け音韻気付き特徴量抽出部１１は、モデルパラメータ群θ1を用いて、入力音声の音響特徴系列Ｘを言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）に変換する（ステップＳ１１）。具体的には、言語１向け音韻気付き特徴量抽出部１１は、上述した式（２）に従い、入力音声の音響特徴系列Ｘを言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）に変換する。
　言語２向け音韻気付き特徴量抽出部１２は、モデルパラメータ群θ2を用いて、入力音声の音響特徴系列Ｘを言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）に変換する（ステップＳ１２）。具体的には、言語２向け音韻気付き特徴量抽出部１２は、上述した式（３）に従い、入力音声の音響特徴系列Ｘを言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）に変換する。
　なお、ステップＳ１１の処理とステップＳ１２の処理とは、いずれかが先に行われてもよいし、並行して行われてもよい。
　ノンネイティブ話者向け音韻識別部１３は、モデルパラメータ群θ3を用いて、入力音声の音響特徴量系列Ｘ＝（ｘ1，．．．，ｘT）と、言語１向け音韻気付き特徴量系列Ａ＝（ａ1，．．．，ａT）と、言語２向け音韻気付き特徴量系列Ｂ＝（ｂ1，．．．，ｂT）とから、音素に対する事後確率系列Ｏ＝（ｏ1，．．．，ｏT）を生成する（ステップＳ１３）。具体的には、ノンネイティブ話者向け音韻識別部１３は、上述した式（５）に従い、事後確率系列Ｏ＝（ｏ1，．．．，ｏT）を生成する。
　音声テキスト変換部１４は、事後確率系列Ｏ＝（ｏ1，．．．，ｏT）に基づき音声認識を行い、音声認識結果のテキストを出力する（ステップＳ１４）。
　次に、本実施形態に係る学習装置２０における学習方法について、図５に示すフローチャートを参照して説明する。
　第１のモデルパラメータ群学習部２１は、入力音声を言語１向け音韻気付き特徴量系列Ａに変換するためのモデルパラメータ群θ1を、データ集合ＤA（言語１を母国語とする話者が言語１で発話する音声データの集合）を用いて学習する（ステップＳ２１）。具体的には、第１のモデルパラメータ群学習部２１は、上述した式（７）に従い、モデルパラメータ群θ1を学習する。
　第２のモデルパラメータ群学習部２２は、入力音声を言語２向け音韻気付き特徴量系列Ｂに変換するためのモデルパラメータ群θ2を、データ集合ＤB（言語２を母国語とする話者が言語２で発話する音声データの集合）を用いて学習する（ステップＳ２２）。具体的には、第２のモデルパラメータ群学習部２２は、上述した式（９）に従い、モデルパラメータ群θ2を学習する。
　なお、ステップＳ２１の処理とステップＳ２２の処理とは、いずれかが先に行われてもよいし、並行して行われてもよい。
　第３のモデルパラメータ群学習部２３は、入力音声から音素に対する事後確率系列Ｏを生成するためのモデルパラメータ群θ3を、モデルパラメータ群θ1、モデルパラメータ群θ2およびデータ集合ＤC（言語２を母国語とする話者が第１の言語で発話する音声データの集合）を用いて学習する（ステップＳ２３）。具体的には、第３のモデルパラメータ群学習部２３は、上述した式（１１）に従い、モデルパラメータ群θ3を学習する。
　このように本実施形態においては、音声認識装置１０は、モデルパラメータ群θ3を用いて、入力音声の音響特徴量系列Ｘと、言語１向け音韻気付き特徴量系列Ａと、言語２向け音韻気付き特徴量系列Ｂとから、音素に対する事後確率系列Ｏを生成する。ここで、モデルパラメータ群θ3は、言語２を母国語とする話者が言語１で発話する音声データの集合、すなわち、ノンネイティブ音声データの集合から学習されている。そのため、ノンネイティブ音声を入力音声とした場合に、高い音声認識性能を得ることができる。
　さらに本実施形態においては、モデルパラメータ群θ3の学習にあたり、言語２を母国語とする話者が言語２で発話する音声データの集合から学習されたモデルパラメータ群θ2も用いられている。そのため、ノンネイティブ音声の発音が、ネイティブ音声の発音とは大きく異なり、ノンネイティブ話者の母国語に近い発音である場合にも、高い音声認識性能を得ることができる。したがって、音声認識対象とするノンネイティブ音声データの発音が、ネイティブ音声データの発音と大きく異なる場合にも、音声認識性能の向上を図ることができる。
　また、本実施形態においては、モデルパラメータ群θ3の学習にあたり、言語１を母国語とする話者が言語１で発話する音声データの集合から学習されたモデルパラメータ群θ2も用いられている。そのため、ネイティブ音声およびネイティブ音声の発音に近い発音のノンネイティブ音声に対しても、高い音声認識性能を得ることができる。
　以上、音声認識装置１０および学習装置２０について説明したが、音声認識装置１０および学習装置２０として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、音声認識装置１０および学習装置２０の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
　また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭなどの記録媒体であってもよい。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　１０　　音声認識装置
　１１　　言語１向け音韻気付き特徴量抽出部（第１の音韻気付き特徴量抽出部）
　１２　　言語２向け音韻気付き特徴量抽出部（第２の音韻気付き特徴量抽出部）
　１３　　ノンネイティブ話者向け音韻識別部（音韻認識部）
　１４　　音声テキスト変換部
　２０　　学習装置
　２１　　第１のモデルパラメータ群学習部
　２２　　第２のモデルパラメータ群学習部
　２３　　第２のモデルパラメータ群学習部

Claims (6)

  1. 　入力音声の音声認識に用いられるパラメータを学習する学習装置であって、
    　前記入力音声を、第１の言語において音素を識別するための情報を含む特徴量の系列である第１の言語向け音韻気付き特徴量系列に変換するための第１のモデルパラメータ群を、前記第１の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習する第１のモデルパラメータ群学習部と、
    　前記入力音声を、第２の言語において音素を識別するための情報を含む特徴量の系列である第２の言語向け音韻気付き特徴量系列に変換するための第２のモデルパラメータ群を、前記第２の言語を母国語とする話者が前記第２の言語で発話する音声データの集合を用いて学習する第２のモデルパラメータ群学習部と、
    　前記入力音声から前記第１の言語の音素に対する事後確率系列を生成するための第３のモデルパラメータ群を、前記第１のモデルパラメータ群、前記第２のモデルパラメータ群、および、前記第２の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習する第３のモデルパラメータ群学習部と、を備えることを特徴とする学習装置。
  2. 　請求項１に記載の学習装置により学習された前記第１から第３のモデルパラメータ群を用いて、前記入力音声の音声認識を行う音声認識装置であって、
    　前記第１のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第１の言語向け音韻気付き特徴量系列に変換する第１の音韻気付き特徴量抽出部と、
    　前記第２のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第２の言語向け音韻気付き特徴量系列に変換する第２の音韻気付き特徴量抽出部と、
    　前記第３のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列と、前記第１の言語向け音韻気付き特徴量系列と、前記第２の言語向け音韻気付き特徴量系列とから前記事後確率系列を生成する音韻認識部と、
    　前記事後確率系列に基づき音声認識を行い、音声認識結果のテキストを出力する音声テキスト変換部と、を備えることを特徴とする音声認識装置。
  3. 　入力音声の音声認識に用いられるパラメータを学習する学習装置における学習方法であって、
    　前記入力音声を、第１の言語において音素を識別するための情報を含む特徴量の系列である第１の言語向け音韻気付き特徴量系列に変換するための第１のモデルパラメータ群を、前記第１の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習するステップと、
    　前記入力音声を、第２の言語において音素を識別するための情報を含む特徴量の系列である第２の言語向け音韻気付き特徴量系列に変換するための第２のモデルパラメータ群を、前記第２の言語を母国語とする話者が前記第２の言語で発話する音声データの集合を用いて学習するステップと、
    　前記入力音声から前記第１の言語の音素に対する事後確率系列を生成するための第３のモデルパラメータ群を、前記第１のモデルパラメータ群、前記第２のモデルパラメータ群、および、前記第２の言語を母国語とする話者が前記第１の言語で発話する音声データの集合を用いて学習するステップと、を含むことを特徴とする学習方法。
  4. 　請求項３に記載の学習方法により学習された前記第１から第３のモデルパラメータ群を用いて、前記入力音声の音声認識を行う音声認識装置における音声認識方法であって、
    　前記第１のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第１の言語向け音韻気付き特徴量系列に変換するステップと、
    　前記第２のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列を、前記第２の言語向け音韻気付き特徴量系列に変換するステップと、
    　前記第３のモデルパラメータ群を用いて、前記入力音声の音響特徴量系列と、前記第１の言語向け音韻気付き特徴量系列と、前記第２の言語向け音韻気付き特徴量系列とから前記事後確率系列を生成するステップと、
    　前記事後確率系列に基づき音声認識を行い、音声認識結果のテキストを出力するステップと、を含むことを特徴とする音声認識方法。
  5. 　コンピュータを請求項１に記載の学習装置として機能させるためのプログラム。
  6. 　コンピュータを請求項２に記載の音声認識装置として機能させるためのプログラム。
PCT/JP2019/024826 2018-08-21 2019-06-21 学習装置、音声認識装置、学習方法、音声認識方法およびプログラム Ceased WO2020039728A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/269,705 US12148418B2 (en) 2018-08-21 2019-06-21 Learning device, voice recognition device, learning method, voice recognition method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018154945A JP6970345B2 (ja) 2018-08-21 2018-08-21 学習装置、音声認識装置、学習方法、音声認識方法およびプログラム
JP2018-154945 2018-08-21

Publications (1)

Publication Number Publication Date
WO2020039728A1 true WO2020039728A1 (ja) 2020-02-27

Family

ID=69592808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024826 Ceased WO2020039728A1 (ja) 2018-08-21 2019-06-21 学習装置、音声認識装置、学習方法、音声認識方法およびプログラム

Country Status (3)

Country Link
US (1) US12148418B2 (ja)
JP (1) JP6970345B2 (ja)
WO (1) WO2020039728A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7574589B2 (ja) * 2020-09-24 2024-10-29 株式会社Ｊｖｃケンウッド コミュニケーション装置、コミュニケーション方法、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022087A (ja) * 2001-03-07 2003-01-24 Sony Internatl Europ Gmbh 音声認識方法
EP1418570A1 (en) * 2002-11-06 2004-05-12 Swisscom Fixnet AG Cross-lingual speech recognition method

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119089A (en) * 1998-03-20 2000-09-12 Scientific Learning Corp. Aural training method and apparatus to improve a listener's ability to recognize and identify similar sounds
US6021389A (en) * 1998-03-20 2000-02-01 Scientific Learning Corp. Method and apparatus that exaggerates differences between sounds to train listener to recognize and identify similar sounds
US6085160A (en) * 1998-07-10 2000-07-04 Lernout & Hauspie Speech Products N.V. Language independent speech recognition
EP1134726A1 (de) * 2000-03-15 2001-09-19 Siemens Aktiengesellschaft Verfahren zur Erkennung von Sprachäusserungen nicht-muttersprachlicher Sprecher in einem Sprachverarbeitungssystem
US7149688B2 (en) * 2002-11-04 2006-12-12 Speechworks International, Inc. Multi-lingual speech recognition with cross-language context modeling
EP1473708B1 (en) * 2003-04-29 2007-10-17 Sony Deutschland GmbH Method for recognizing speech
US7412385B2 (en) * 2003-11-12 2008-08-12 Microsoft Corporation System for identifying paraphrases using machine translation
US7415411B2 (en) * 2004-03-04 2008-08-19 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for generating acoustic models for speaker independent speech recognition of foreign words uttered by non-native speakers
US20070294082A1 (en) * 2004-07-22 2007-12-20 France Telecom Voice Recognition Method and System Adapted to the Characteristics of Non-Native Speakers
US7640159B2 (en) * 2004-07-22 2009-12-29 Nuance Communications, Inc. System and method of speech recognition for non-native speakers of a language
US8036893B2 (en) * 2004-07-22 2011-10-11 Nuance Communications, Inc. Method and system for identifying and correcting accent-induced speech recognition difficulties
US8221126B2 (en) * 2004-11-22 2012-07-17 Bravobrava L.L.C. System and method for performing programmatic language learning tests and evaluations
US8033831B2 (en) * 2004-11-22 2011-10-11 Bravobrava L.L.C. System and method for programmatically evaluating and aiding a person learning a new language
WO2006076280A2 (en) * 2005-01-11 2006-07-20 Educational Testing Service Method and system for assessing pronunciation difficulties of non-native speakers
GB2424742A (en) * 2005-03-31 2006-10-04 Ibm Automatic speech recognition
US20070015121A1 (en) * 2005-06-02 2007-01-18 University Of Southern California Interactive Foreign Language Teaching
US7908132B2 (en) * 2005-09-29 2011-03-15 Microsoft Corporation Writing assistance using machine translation techniques
KR100815115B1 (ko) * 2006-03-31 2008-03-20 광주과학기술원 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치
JP4528839B2 (ja) * 2008-02-29 2010-08-25 株式会社東芝 音素モデルクラスタリング装置、方法及びプログラム
EP2161718B1 (en) * 2008-09-03 2011-08-31 Harman Becker Automotive Systems GmbH Speech recognition
US8392190B2 (en) * 2008-12-01 2013-03-05 Educational Testing Service Systems and methods for assessment of non-native spontaneous speech
US8788256B2 (en) * 2009-02-17 2014-07-22 Sony Computer Entertainment Inc. Multiple language voice recognition
US8498857B2 (en) * 2009-05-19 2013-07-30 Tata Consultancy Services Limited System and method for rapid prototyping of existing speech recognition solutions in different languages
US9378650B2 (en) * 2009-09-04 2016-06-28 Naomi Kadar System and method for providing scalable educational content
US9087519B2 (en) * 2011-03-25 2015-07-21 Educational Testing Service Computer-implemented systems and methods for evaluating prosodic features of speech
WO2013003749A1 (en) * 2011-06-30 2013-01-03 Rosetta Stone, Ltd Statistical machine translation framework for modeling phonological errors in computer assisted pronunciation training system
WO2014005142A2 (en) * 2012-06-29 2014-01-03 Rosetta Stone Ltd Systems and methods for modeling l1-specific phonological errors in computer-assisted pronunciation training system
US9117451B2 (en) * 2013-02-20 2015-08-25 Google Inc. Methods and systems for sharing of adapted voice profiles
US9928754B2 (en) * 2013-03-18 2018-03-27 Educational Testing Service Systems and methods for generating recitation items
US9472184B2 (en) * 2013-11-06 2016-10-18 Microsoft Technology Licensing, Llc Cross-language speech recognition
US9514412B2 (en) * 2013-12-09 2016-12-06 Google Inc. Techniques for detecting deceptive answers to user questions based on user preference relationships
US9613638B2 (en) * 2014-02-28 2017-04-04 Educational Testing Service Computer-implemented systems and methods for determining an intelligibility score for speech
JP2016009193A (ja) * 2014-06-23 2016-01-18 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザ適合音声認識
US9922643B2 (en) * 2014-12-23 2018-03-20 Nice Ltd. User-aided adaptation of a phonetic dictionary
US9947322B2 (en) * 2015-02-26 2018-04-17 Arizona Board Of Regents Acting For And On Behalf Of Northern Arizona University Systems and methods for automated evaluation of human speech
US10446056B1 (en) * 2015-03-06 2019-10-15 English Language Training Solutions LLC Game with visual cueing system and oral-aural learning routine
US10283142B1 (en) * 2015-07-22 2019-05-07 Educational Testing Service Processor-implemented systems and methods for determining sound quality
CN108352127B (zh) * 2015-09-22 2020-03-10 旺多姆咨询私人有限公司 用于改善非母语者语音的语音识别的方法
JP6546070B2 (ja) * 2015-11-10 2019-07-17 日本電信電話株式会社 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、およびプログラム
JP6727607B2 (ja) * 2016-06-09 2020-07-22 国立研究開発法人情報通信研究機構 音声認識装置及びコンピュータプログラム
TWI610294B (zh) * 2016-12-13 2018-01-01 財團法人工業技術研究院 語音辨識系統及其方法、詞彙建立方法與電腦程式產品
GB201706078D0 (en) * 2017-04-18 2017-05-31 Univ Oxford Innovation Ltd System and method for automatic speech analysis
US10431203B2 (en) * 2017-09-05 2019-10-01 International Business Machines Corporation Machine training for native language and fluency identification
JP6840858B2 (ja) * 2017-09-26 2021-03-10 日本電信電話株式会社 発音誤り検出装置、発音誤り検出方法、プログラム
US10937444B1 (en) * 2017-11-22 2021-03-02 Educational Testing Service End-to-end neural network based automated speech scoring
US10783873B1 (en) * 2017-12-15 2020-09-22 Educational Testing Service Native language identification with time delay deep neural networks trained separately on native and non-native english corpora
JP7040258B2 (ja) * 2018-04-25 2022-03-23 日本電信電話株式会社 発音変換装置、その方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022087A (ja) * 2001-03-07 2003-01-24 Sony Internatl Europ Gmbh 音声認識方法
EP1418570A1 (en) * 2002-11-06 2004-05-12 Swisscom Fixnet AG Cross-lingual speech recognition method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
V. FISCHER ET AL., MULTILINGUAL ACOUSTIC MODEL FOR THE RECOGNITION OF NON-NATIVE SPEECH, 7 November 2002 (2002-11-07), pages 331 - 334, XP010603743, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1034654&tag=1> [retrieved on 20190805] *

Also Published As

Publication number Publication date
JP6970345B2 (ja) 2021-11-24
US20210319783A1 (en) 2021-10-14
US12148418B2 (en) 2024-11-19
JP2020030286A (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
Reddy et al. Speech-to-text and text-to-speech recognition using deep learning
CN113439301B (zh) 用于机器学习的方法和系统
CN107195296B (zh) 一种语音识别方法、装置、终端及系统
JP6440967B2 (ja) 文末記号推定装置、この方法及びプログラム
JP7255032B2 (ja) 音声認識
US20240386875A1 (en) Methods for real-time accent conversion and systems thereof
CN104899192B (zh) 用于自动通译的设备和方法
Abushariah et al. Phonetically rich and balanced text and speech corpora for Arabic language
CN104867489A (zh) 一种模拟真人朗读发音的方法及系统
CN106328123A (zh) 小数据库条件下正常语音流中耳语音的识别方法
Janokar et al. Text-to-speech and speech-to-text converter—voice assistant
CN112216270B (zh) 语音音素的识别方法及系统、电子设备及存储介质
KR20230090739A (ko) 이철동음어 인식 시스템
US11501091B2 (en) Real-time speech-to-speech generation (RSSG) and sign language conversion apparatus, method and a system therefore
KR20160061071A (ko) 발음 변이를 적용시킨 음성 인식 방법
Mishra et al. An Overview of Hindi Speech Recognition
WO2020136948A1 (ja) 発話リズム変換装置、モデル学習装置、それらの方法、およびプログラム
Gaudani et al. Comparative study of robust feature extraction techniques for ASR for limited resource Hindi language
TW201322250A (zh) 多語言語音合成方法
JP6970345B2 (ja) 学習装置、音声認識装置、学習方法、音声認識方法およびプログラム
JP6367773B2 (ja) 音声強調装置、音声強調方法及び音声強調プログラム
CN117334211A (zh) 一种应用于沉浸式视频会议系统中的语音分离方法及系统
KR20240087228A (ko) 박물관 안내를 위한 메타휴먼의 시나리오 기반 맞춤 대화형 ai 키오스크 시스템 및 이의 제어 방법
Paul et al. An End-to-End Continuous Speech Recognition System in Bengali for General and Elderly Domain
Li et al. Adversarial speech generation and natural speech recovery for speech content protection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19851889

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19851889

Country of ref document: EP

Kind code of ref document: A1