WO2010050414A1 - モデル適応装置、その方法及びそのプログラム - Google Patents

モデル適応装置、その方法及びそのプログラム Download PDF

Info

Publication number
WO2010050414A1
WO2010050414A1 PCT/JP2009/068263 JP2009068263W WO2010050414A1 WO 2010050414 A1 WO2010050414 A1 WO 2010050414A1 JP 2009068263 W JP2009068263 W JP 2009068263W WO 2010050414 A1 WO2010050414 A1 WO 2010050414A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
adaptation
phoneme
sentence
distance
Prior art date
Application number
PCT/JP2009/068263
Other languages
English (en)
French (fr)
Inventor
健 花沢
祥史 大西
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010535770A priority Critical patent/JP5376341B2/ja
Priority to US12/998,469 priority patent/US20110224985A1/en
Publication of WO2010050414A1 publication Critical patent/WO2010050414A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker

Definitions

  • the present invention relates to a model adaptation apparatus, method and program for adapting an acoustic model to a target person such as a speaker in order to improve recognition accuracy in speech recognition or the like.
  • a model adaptation technique is known that aims to improve recognition accuracy by adapting an acoustic model in speech recognition to a speaker or the like.
  • the sentence list prepared to efficiently secure the minimum learning amount of each phoneme unit possessed by the acoustic model
  • Patent Document 1 and FIG. 1 For example, Patent Document 1 and FIG.
  • an original text database including a sufficient amount of phonemes and environment and other variations in phonemes is provided, and a number list is generated by counting the number of each phoneme from the original text database.
  • a sorting list is generated by rearranging the phonemes in the number list in the number order, and all sentences including the smallest number phoneme ⁇ having the smallest number in the sorting list are arranged in the minimum number phoneme sentence list, and the sorting list.
  • the learning efficiency score and learning variation efficiency of the phoneme model of the sentence list including the smallest number of phonemes ⁇ having the smallest number are calculated, and an efficiency calculation sentence list is generated.
  • the sentences supplied from the efficiency calculation sentence list are rearranged in the order of the learning efficiency score.
  • a rearranged sentence list is generated in which the sentences are rearranged in the order of the learning variation efficiency.
  • Sentences are selected in order from the top of the rearranged sentence list until the reference learning data number a, which is the number of speech data required for each phoneme, is reached.
  • a selected sentence list is generated from the selected sentence, and the number of phonemes included in the selected sentence list is counted to generate an already selected sentence phoneme number list. For a small number of phonemes ⁇ , when the reference learning data number a is not reached in the selected sentence phoneme number list, a phoneme sentence list less than the reference learning data number including the phoneme ⁇ is generated.
  • Patent Document 2 discloses an invention in which speaker clustering is performed for each group of phonemes, and an appropriate speaker cluster of phonemes is created and selected to perform more precise model adaptation. ing.
  • Patent Document 3 discloses an invention relating to a method and apparatus that allows a user to perform a search by keyword speech against a multimedia database including speech.
  • Patent Document 4 discloses an invention related to phoneme model adaptation by phoneme model clustering.
  • Patent Document 5 even if the stroke order when writing a character for registration in the dictionary and the stroke order when writing the character at the time of identification are different, it can be determined that the handwriting of the same author is used.
  • An invention relating to a writer identification method and a writer identification device is disclosed.
  • Patent Document 1 has a problem that it is difficult to appropriately set the setting for each speaker because the reference learning data number a which is a necessary minimum learning amount has to be given manually in advance. That is, since the relationship between the speaker to be adapted and the model is not considered, there is a problem in that the amount of learning is excessive or insufficient for a specific phoneme depending on the speaker.
  • Patent Document 5 The invention disclosed in Patent Document 5 is to create a dictionary that identifies each user by adding to the standard dictionary the features of the writing of users with different handwriting.
  • the writer identification method that allows the creation of a dictionary for each user with a single input by writing has a problem that accurate model adaptation is difficult for voice identification using the user's utterance as an input.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a model adaptation apparatus, a method thereof, and a program thereof capable of performing efficient model adaptation.
  • a model adaptation device is a model adaptation device that adapts a model to the input feature value by approximating the model to the feature of the input feature value that is input data.
  • Model adaptation means for performing model adaptation corresponding to each label from the input feature quantity and the first teacher label string that is the content thereof, and outputting adaptation feature information for the model adaptation, and the adaptation feature information
  • a distance calculating means for calculating the distance between the models for each label, a detecting means for detecting a label whose distance between the models exceeds a predetermined threshold, and one or more outputs as the output of the detecting means
  • a label generating means for generating a second teacher label string including at least one of the detected labels when a label is obtained.
  • a model adaptation method is a model adaptation method that adapts a model to the input feature value by approximating the model to the feature of the input feature value that is input data, A model adaptation procedure that performs model adaptation corresponding to each label from the input feature quantity and the first teacher label string that is the content, and outputs adaptation feature information for the model adaptation, and the adaptation feature information
  • a distance calculation procedure for calculating the distance between the model and the model for each label, a detection procedure for detecting a label in which the inter-model distance exceeds a predetermined threshold, and one or more outputs as an output in the detection procedure
  • a label generation procedure for generating a second teacher label string including at least one of the detected labels when the label is obtained.
  • a model adaptation program is a model adaptation program that adapts a model to the input feature value by approximating the model to the feature of the input feature value that is input data.
  • Model adaptation processing that performs model adaptation corresponding to each label from the input feature quantity and the first teacher label string that is the content, and outputs adaptation feature information for the model adaptation, and the adaptation feature information
  • a distance calculation process for calculating the distance between the model and the model for each label, a detection process for detecting a label in which the inter-model distance exceeds a predetermined threshold, and at least one output as the detection process
  • the model adaptation means performs model adaptation and outputs adaptive feature information
  • the distance calculation means calculates the inter-model distance between the adaptation feature information and the model for each label.
  • the label generation means provides a model adaptation apparatus, a method thereof, and a program thereof capable of efficiently performing model adaptation by generating a second teacher label string including a label whose model distance exceeds a threshold. be able to.
  • Model adaptation apparatus 11
  • Input means 12
  • Text database 13
  • Sentence list 14
  • Model adaptation means 15
  • Distance calculation means 17
  • Phoneme detection means 18
  • Label generation means 19
  • Statistics database 20
  • Output means 100
  • Model adaptation part 110
  • Input means 120
  • text database 130 sentence list 150
  • sentence presentation means 210
  • model update means 230
  • output means 10c model adaptation device 17b phoneme detection means
  • class database 100b language adaptation system 10d model adaptation unit
  • FIG. 2 is a diagram showing an overall configuration of the model adaptation apparatus according to the first embodiment of the present invention.
  • the model adaptation apparatus 10 in FIG. 2 uses the input speech and the sentence list of the utterance content to approximate the target acoustic model to the characteristics of the input speech, thereby making this acoustic model available to the speaker of the input speech. To adapt.
  • the model adaptation apparatus 10 is a general-purpose computer system, and includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and a non-volatile memory as configurations not shown. Equipment.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • non-volatile memory as configurations not shown. Equipment.
  • the CPU reads an OS (Operating System) and a model adaptation program stored in a RAM, a ROM, or a nonvolatile storage device, and executes a model adaptation process.
  • OS Operating System
  • the model adaptation apparatus 10 does not have to be a single computer system, and may be configured by a plurality of computer systems.
  • the model adaptation apparatus 10 of the present invention includes a model adaptation unit 14, a distance calculation unit 16, a phoneme detection unit 17, a label generation unit 18, and a statistic database 19.
  • the input unit 11 inputs an input voice or a feature amount series obtained by acoustic analysis of the input voice.
  • the sentence list 13 is a sentence set having a plurality of sentences describing contents to be uttered by the speaker, that is, contents of the input speech, and is selected in advance from the text database 12 storing a plurality of sentences having a predetermined phoneme. It has been done.
  • the predetermined phoneme in the text database 12 refers to a predetermined sufficient amount of phonemes that enables speech recognition.
  • the model 15 is an acoustic model used for speech recognition, for example, and is, for example, an HMM (Hidden Markov Model) having a feature amount series representing features of each phoneme.
  • HMM Hidden Markov Model
  • the model adaptation unit 14 uses the speech that is the input feature amount input by the input unit 11 and the sentence list 13 of the utterance content that is the first teacher label sequence as the input speech.
  • the model adaptation corresponding to these phonemes is performed using each phoneme as each label so as to be close to each other, and the feature information for adaptation is output to the statistic database 19.
  • the feature information for adaptation is a sufficient statistic for approximating the model 15 to the input speech.
  • the distance calculation means 16 acquires the adaptation feature information that is the output of the model adaptation means 14 from the statistic database 19, and sets the distance between the adaptation feature information and the original model 15 as an acoustic distance for each phoneme. And the distance value for each phoneme is output. At this time, phonemes that did not appear in the sentence list 13 may not exist in the adaptation feature information. In this case, the distance value may be set to zero.
  • the phoneme detection means 17 outputs the phoneme as a detection result if there is a phoneme distance value that is an output of the distance calculation means 16 that exceeds a predetermined threshold.
  • label generation for example, an arbitrary sentence composed of the detected phonemes may be automatically generated, or for example, a sentence including the detected phonemes may be selected from the text database 12.
  • label generation is not performed. That is, for example, an empty set is output as a generation result.
  • the one or more sentences generated by the label generation means 18 are output from the model adaptation device 10 and are used to perform model adaptation again as a new sentence list.
  • the text database 12 may use an external database connected to a network such as the Internet.
  • the text database 12, the sentence list 13, the model 15, and the statistics database 19 may be a non-volatile storage device such as a hard disk drive, a magneto-optical disk drive, or a flash memory, or a DRAM (Dynamic Random Access Memory) or the like. It may be a volatile storage device.
  • the text database 12, the sentence list 13, the model 15, and the statistics database 19 may be storage devices externally attached to the model adaptation device 10.
  • the model adaptation apparatus 10 inputs a voice (S100). Specifically, a speech waveform input from a microphone or a feature amount series obtained by acoustic analysis of the speech waveform is obtained as an input.
  • the model adaptation apparatus 10 adapts the target model 15 to be close to the input voice by using the input voice and the sentence list 13 of the utterance content (S101). Specifically, the model adaptation unit 14 of the model adaptation apparatus 10 performs model adaptation on the model 15 from the feature amount series of the input speech obtained in step S100 and the sentence list 13 representing the contents thereof, for example, adaptation. A sufficient statistic as feature information is output to the statistic database 19.
  • the sentence list 13 may be a teacher label in which the utterance content is described in monophone, and the model adaptation means 14 performs supervised model adaptation, for example, to phoneme / s /.
  • the movement vector F (s) (s1, s2,..., Sn) and the number of adaptive samples (number of frames) are obtained as feature information for adaptation.
  • model adaptation using the feature quantity series in this way, for example, a model adaptation technique is well known as a known technique, and thus detailed description thereof is omitted here.
  • the model adaptation apparatus 10 detects phonemes having a large difference between the input speech and the model 15 (S103). Specifically, the phoneme detection unit 17 of the model adaptation apparatus 10 has a value that exceeds a predetermined threshold with respect to the distance value of each phoneme that is the output of the distance calculation unit 16 obtained in step S102. The phoneme is output as a detection result.
  • the phoneme detection target is not limited to the phoneme / a / or the phoneme / s /, and all phonemes included in the sentence list 13 may be the detection target or may be partially the detection target.
  • the threshold value Dthre may be the same value for all phonemes, or a different threshold value may be used for each phoneme.
  • the model adaptation apparatus 10 generates a sentence for model adaptation again (S104).
  • the label generation unit 18 of the model adaptation apparatus 10 has one or more sentences including the detected phoneme for the phoneme related to the detection result detected by the phoneme detection unit 17 obtained in step S103.
  • a sentence including the detected phoneme is searched from the text database 12, and the sentence extracted by this search is output in step S105.
  • sentences including phonemes / a / and phonemes / e / are searched from the text database 12, and if one or more exist, they are output.
  • step S103 If there is no phoneme detected in step S103, the process may be terminated without generating a label in step S104, or a message indicating that no label generation result has been output is terminated. Also good.
  • a monophone representing a single phoneme is used as a model, but the same applies to the case of using a phone environment-dependent Diphone model or a Triphone model.
  • the model adaptation apparatus 10 performs model adaptation using the input speech and the first sentence list 13 on the model 15 to be adapted, A phoneme having a large distance is detected, and a new sentence list including the detected phoneme is generated.
  • the obtained sentence may be different if the adaptation target model is different. That is, even when speakers and models are different, it is possible to efficiently adapt a model by generating a more suitable sentence list.
  • FIG. 4 is a diagram illustrating the overall configuration of the speaker adaptation system according to the present embodiment.
  • the speaker adaptation system 100 shown in FIG. 4 includes an input unit 110, a model adaptation unit 10b, a text database 120, a sentence list 130, an acoustic model 150, a sentence presentation unit 200, a determination unit 210, and a model update.
  • Means 220 and output means 230 are provided.
  • the speaker adaptation system 100 is a general-purpose computer system, and includes a CPU, a RAM, a ROM, and a non-volatile storage device as components not shown.
  • the CPU reads the OS and the speaker adaptation program stored in the RAM, ROM, or nonvolatile storage device, and executes speaker adaptation processing. As a result, it is possible to adapt the target model to be close to the characteristics of the input speech.
  • the speaker adaptation system 100 does not have to be a single computer system, and may be configured by a plurality of computer systems.
  • the input means 110 is an input device such as a microphone, and may include an A / D conversion means or an acoustic analysis means as a configuration not shown.
  • the text database 120 is a set of sentences including a sufficient amount of phonemes and environment and other variations in phonemes.
  • the sentence list 130 is a teacher label used for speaker adaptation processing, and is a set of sentences composed of one or more sentences extracted from the text database 120.
  • the acoustic model 150 is, for example, an HMM (Hidden Markov Model) having a feature amount series representing features of each phoneme.
  • HMM Hidden Markov Model
  • the sentence presentation means 200 presents a teacher label, that is, a sentence list to be uttered, to the speaker in order to perform speaker adaptation.
  • the model adaptation unit 10b corresponds to the model adaptation device 10 of FIG. Therefore, in the following, the difference from FIG. 2 will be mainly described, and the description of the configuration corresponding to FIG. 2 and having the same function will be omitted.
  • the label generation unit 18 When at least one phoneme detected by the phoneme detection unit 17 is present, the label generation unit 18 generates one or more sentences including the detected phoneme in order to perform model adaptation again. Notify If there is no detected phoneme, the determination means 210 is notified of this fact.
  • the determination unit 210 receives the output of the label generation unit 18 and, when a sentence is generated, sets the sentence as a new adaptive sentence list. When the sentence is not generated, the model update unit 220 is notified of that.
  • the model update unit 220 When the model update unit 220 receives a notification from the determination unit 210 that a sentence has not been generated, the model update unit 220 applies the adaptation feature information received from the statistics database 19 to the acoustic model 150 to obtain an after-adaptation acoustic model.
  • the output means 230 outputs the post-adaptation acoustic model obtained by the model update means 220.
  • the technique regarding the model update in speaker adaptation is well-known as a well-known technique, detailed description is abbreviate
  • the text database 120 may use an external database connected to a network such as the Internet.
  • the text database 120, the sentence list 130, the model 150, and the statistics database 19 may be a non-volatile storage device such as a hard disk drive, a magneto-optical disk drive, or a flash memory, or a volatile storage device such as a DRAM. Also good. Further, the text database 120, the sentence list 130, the model 150, and the statistics database 19 may be storage devices externally attached to the speaker adaptation system 100.
  • the speaker adaptation system 100 inputs a voice (S200). Specifically, the speaker adaptation system 100 can obtain, as an input, a speech waveform input from a microphone by the input unit 110 or a feature amount series obtained by acoustic analysis thereof.
  • model adaptation processing As shown in FIG. 3 is performed by the model adaptation unit 14, the distance calculation unit 16, the phoneme detection unit 17, and the label generation unit 18 in the model adaptation unit 10 b of the speaker adaptation system 100.
  • the speaker adaptation system 100 determines whether a sentence has been output in the model adaptation process (S202). Specifically, if the determination unit 210 of the speaker adaptation system 100 outputs a sentence as a result of the model adaptation process in step S201, the output sentence is set as a new sentence list.
  • the new sentence list is presented again to the speaker by the speaker adaptation system 100 (S203).
  • the sentence presentation unit 200 of the speaker adaptation system 100 presents a new sentence list to the speaker as a teacher label for speaker adaptation, accepts a new voice input, and the process from the voice input in step S200. repeat.
  • the model adaptation means 14 performs model adaptation again using the speech input based on the new sentence list and the new sentence list, outputs again the feature information for adaptation, and the statistics database 19
  • the adaptation feature information is stored, and the distance calculation means 16 acquires the adaptation feature information again from the statistic database 19, calculates the distance between the adaptation feature information and the acoustic model again for each phoneme,
  • the phoneme detection means 17 outputs the distance value exceeding the predetermined threshold value as the detection result again when there is a distance value exceeding the predetermined threshold value among the distance values again.
  • the generation unit 18 searches the text database 120 for a sentence including the phoneme related to the detection result again, and outputs the sentence extracted by this search.
  • the determination unit 210 When the sentence is not output, the determination unit 210 notifies the model update unit 220 to that effect.
  • the speaker adaptation system 100 executes a model update process when a sentence is not generated as a result of the determination process in step S202 (S204). Specifically, the model update unit 220 of the speaker adaptation system 100 applies the adaptation feature information received from the statistics database 19 to the acoustic model 150 to obtain an after-adaptation acoustic model. Thereafter, the output unit 230 outputs the obtained post-adaptation acoustic model as a speaker adaptive acoustic model (S205).
  • speaker adaptation using a phoneme with a large distance as a priority is performed on the acoustic model that the speaker wants to adapt, so that efficient speaker adaptation can be realized.
  • the subsequent adaptive processing can be prevented from being performed. That is, since it is possible to stop the adaptation process when it is determined that the acoustic model is sufficiently close, it is possible to provide a determination criterion for stopping speaker adaptation.
  • the adaptation feature information is used as the adaptation feature information and the distance between the adaptation feature information and the original model is calculated.
  • the distance between the adapted model and the original model is calculated. The same applies to the case. In this case, it is only necessary to calculate the distance between the two models, and the technique for calculating the distance between the models is well known as a known technique, and thus the description thereof is omitted here.
  • the present embodiment uses a class database to increase the efficiency of speaker adaptation even with a small sentence list.
  • the class database is a database constructed with a large number of speech data in advance.
  • the model adaptation processing according to the first embodiment is executed by a plurality of speakers, and the distance calculation result for each phoneme. Is a database that classifies
  • the phoneme / t / distance value is large.
  • the phoneme / t / belonging to the same class is also the original sentence list. Even phonemes that did not appear in the label can be targeted for label generation.
  • FIG. 6 is a diagram showing an overall configuration of the model adaptation apparatus according to the second embodiment.
  • the model adaptation apparatus 10c of FIG. 6 uses the input speech and the sentence list of the utterance content to adapt the target model so as to be close to the features of the input speech.
  • the model adaptation apparatus 10c of the present invention is a general-purpose computer system, and includes a CPU, a RAM, a ROM, and a nonvolatile storage device as components not shown.
  • the CPU reads the OS and the model adaptation program stored in the RAM, ROM, or nonvolatile storage device, and executes model adaptation processing.
  • the model adaptation apparatus 10c does not have to be a single computer system, and may be configured by a plurality of computer systems.
  • the model adaptation apparatus 10c of the present invention includes a model adaptation unit 14, a distance calculation unit 16, a phoneme detection unit 17b, a label generation unit 18, a statistics database 19, and a class database 30.
  • the model adaptation unit 14, the distance calculation unit 16, the label generation unit 18, and the statistic database 19 are the same as those in FIG. Only the differences from FIG. 2 will be described below.
  • the phoneme detection unit 17b outputs a phoneme as a detection result if there is a phoneme distance value that is an output of the distance calculation unit 16 that exceeds a predetermined threshold.
  • the class database 30 is referred to, and phonemes belonging to the same class are also output as detection results for phonemes or phoneme combinations exceeding the threshold.
  • the class database 30 is a database having information that classifies phonemes or combinations of phonemes. For example, the phonemes / p /, phonemes / b /, phonemes / t /, and phonemes / d / belong to the same class. When two or more of these are obtained as detection results, the rest are also detected results. Alternatively, a rule may be described in which another predetermined phoneme is also detected as a combination of predetermined phonemes.
  • the class database 30 may be a non-volatile storage device such as a hard disk drive, a magneto-optical disk drive, or a flash memory, or may be a volatile storage device such as a DRAM.
  • the class database 30 may be a storage device externally attached to the model adaptation device 10c.
  • the model adaptation apparatus 10c detects a phoneme having a large difference between the input speech and the model 15 in step S103. Specifically, the phoneme detection unit 17b of the model adaptation apparatus 10c has a value exceeding a predetermined threshold with respect to the distance value of each phoneme that is the output of the distance calculation unit 16 obtained in step S102. The phoneme is output as a detection result. At the same time, the class database 30 is referred to, and phonemes belonging to the same class are also output as detection results for phonemes or phoneme combinations exceeding the threshold.
  • the class database 30 is referred to.
  • the phoneme / p /, the phoneme / b /, the phoneme / t /, and the phoneme / d / belong to the same class in the class database 30, the phoneme / p / and the phoneme / d / Since it is detected, phoneme / t / and phoneme / b / are also detected.
  • the threshold value Dthre may be the same value for all phonemes, a different threshold value may be used for each phoneme, or a different threshold value may be used for each class existing in the class database 30.
  • the model adaptation apparatus 10c uses the class database 30 when performing model adaptation using the input speech and the first sentence list 13 on the model 15 to be adapted. It is also possible to detect phonemes that did not exist in the sentence list 13. That is, even when the sentence list 13 is small, it is possible to efficiently adapt the model by generating a suitable sentence list.
  • FIG. 7 is a diagram illustrating the overall configuration of the language adaptation system according to the present embodiment.
  • the language adaptation system 100b shown in FIG. 7 includes an input unit 110, a model adaptation unit 10d, a text database 120, a sentence list 130, an acoustic model 150, a sentence presentation unit 200, a determination unit 210, and a model update unit. 220 and output means 230.
  • the language adaptation system 100b is a general-purpose computer system, and includes a CPU, a RAM, a ROM, and a non-volatile storage device as components not shown.
  • the CPU reads the OS and the language adaptation program stored in the RAM, ROM, or nonvolatile storage device, and executes language adaptation processing.
  • the language adaptation system 100b does not need to be a single computer system, and may be configured by a plurality of computer systems.
  • the input means 110, the text database 120, the sentence list 130, the acoustic model 150, the sentence presentation means 200, the determination means 210, the model update means 220, and the output means 230 are the same as in FIG. Therefore, explanation is omitted. Only the differences from FIG. 4 will be described below.
  • the model adaptation unit 10d is obtained by replacing the model adaptation unit 10b of FIG. 4 and corresponds to the model adaptation device 10c of FIG. Therefore, in the following, the difference from FIG. 6 will be mainly described, and the description of the configuration corresponding to FIG. 6 and having the same function will be omitted.
  • the label generation unit 18b When at least one phoneme detected by the phoneme detection unit 17b is present, the label generation unit 18b generates one or more sentences including the detected phoneme in order to perform model adaptation again. Notify If there is no detected phoneme, the determination means 210 is notified of this fact.
  • the determination unit 210 receives the output of the label generation unit 18 and, when a sentence is generated, sets the sentence as a new adaptive sentence list. When the sentence is not generated, the model update unit 220 is notified to that effect.
  • the text database 120 may use an external database connected to a network such as the Internet.
  • the text database 120, sentence list 130, model 150, statistics database 19, and class database 30 may be non-volatile storage devices such as hard disk drives, magneto-optical disk drives, and flash memories, or volatile storage devices such as DRAMs. It may be.
  • the text database 120, the sentence list 130, the model 150, the statistics database 19, and the class database 30 may be storage devices externally attached to the language adaptation system 100b.
  • the language adaptation system 100b executes a model adaptation process in step S201. Specifically, model adaptation processing as shown in FIG. 3 is performed by the model adaptation unit 14, the distance calculation unit 16, the phoneme detection unit 17b, and the label generation unit 18b in the model adaptation unit 10d of the language adaptation system 100b.
  • phoneme / i / (: is a long vowel symbol) and phoneme / u: / as data of Kansai-annoying Japanese speakers extracted from the speaker group consisting of a plurality of speakers.
  • phoneme / e / belong to the same class.
  • the phoneme detection means 17b refers to the class database to detect phonemes / u: / and phonemes / e: / belonging to the same class, and the label generation means 18b detects the phonemes / i: / and phonemes / u: / and phonemes.
  • a sentence including / e: / is generated.
  • the phoneme class having a large distance from the model with respect to the language to which the speaker wants to adapt for example, the phoneme common to Japanese speakers speaking in Kansai, is used with an emphasis. Therefore, efficient language adaptation can be realized even when the first sentence list is small.
  • dialect examples are shown as examples of language adaptation in which the acoustic model is adapted to the language.
  • adaptation to a language difference that is, Japanese and English or Japanese-speaking English. Even if it exists, it is the same.
  • speaker adaptation that applies to a specific speaker in the same language or dialect.
  • the post-adaptation acoustic model obtained by the present invention can be expected to have high recognition accuracy when used for speech recognition. Similarly, high verification accuracy can be expected by using it for speaker verification.
  • the present invention is applicable to such a situation.
  • model adaptation apparatus and method described above can be realized by hardware, software, or a combination thereof.
  • the above-described model adaptation device can be realized by hardware, but can also be realized by a computer reading a program for causing the computer to function as its system from a recording medium and executing it.
  • model adaptation method can be realized by hardware, but a program for causing a computer to execute the method is also read out from a computer-readable recording medium and executed. Can be realized.
  • any hardware can be applied as long as the functions of the respective means described above can be realized.
  • it may be configured individually for each function of each means described above, or may be configured integrally with the function of each means.
  • the present invention can be applied to uses such as voice input / authentication services using voice recognition / speaker verification technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

　モデル適応装置は、モデルを入力音声の特徴に近似させることでモデルを入力音声の話者に適応させるモデル適応によるものである。このモデル適応装置は、所定の音素を有する文を複数格納するテキストデータベースと、入力音声の内容を記述した複数の文を有する文リストと、入力音声が入力される入力手段と、入力音声と文リストとを用いてモデル適応を行い、モデルを入力音声に近似させるための適応用特徴情報を出力するモデル適応手段と、適応用特徴情報を格納する統計量データベースと、適応用特徴情報とモデルとの音響的な距離値を音素ごとに出力する距離計算手段と、距離値のうち閾値を超えるものを検出結果として出力する音素検出手段と、検出結果に係る音素を含む文をテキストデータベースから抽出し出力するラベル生成手段と、を備える。

Description

モデル適応装置、その方法及びそのプログラム
　本発明は、音声認識等において認識精度を高めるために音響モデルを話者等の対象者に適応させるモデル適応装置、その方法及びそのプログラムに関する。
　音声認識における音響モデルを話者等に適応させ、認識精度の向上を狙うモデル適応の技術が知られている。このとき、話者にあらかじめ用意された文または単語リストを発声させて適応を行う教師あり適応において、音響モデルが持つ各音素単位の必要最低学習量を効率よく確保するように、用意する文リストを生成するという方法が、例えば特許文献１及び図１に記載されている。
　この方法では、充分な量の音素及び音素における環境その他バリエーションを充分に含む元テキストデータベースを具備して元テキストデータベースから各音素の個数をカウントして個数リストを生成する。
　更に、個数リストの音素を個数順に並べ替えた並べ替えリストを生成し、並べ替えリストの中で個数の最も少ない最小個数音素αを含むすべての文を最小個数音素文リストに並べ、並べ替えリストの中で個数の最も少ない最小個数音素αを含む文リストの音素モデルの学習効率スコア、学習バリエーション効率を計算して効率計算文リストを生成する。
　次に、効率計算文リストから供給される文を学習効率スコア順に並べ替え、学習効率スコアが同値の場合は学習バリエーション効率順に並べ替えた並べ替え文リストを生成し、最小個数音素αの個数が各音素で必要とする音声データ数である基準学習データ数aに達するまで並べ替え文リストの上位から順に文を選択する。
　この選択した文で選択文リストを生成し、選択文リスト中に含まれる音素の個数を数えて既選択文音素個数リストを生成し、並べ替えリストの中で最小個数音素αの次に個数の少ない音素βについて、既選択文音素個数リスト中に基準学習データ数aに達していない場合、当該音素βをも含む基準学習データ数未満音素文リストを生成する。
　又、特許文献２には、音素のグループ毎に、話者クラスタリングを行い、音素の適切な話者クラスタを作成して選択することで、より緻密なモデル適応を行うようにした発明が開示されている。
　特許文献３には、音声を含むマルチメディアデータベースなどに対し、ユーザがキーワード音声による検索を行うことができる方法及び装置に係る発明が開示されている。
　特許文献４には、音素モデルクラスタリングによる音素モデル適応化に係る発明が開示されている。
　特許文献５には、辞書に登録するために文字を筆記する際の筆順と、識別時にその文字を筆記する際の筆順とが異なっていても、同じ筆者の筆跡であると判断することができる筆者識別方法及び筆者識別装置に係る発明が開示されている。
特開２００４－２５２１６７号公報 特開２００１－０１３９８６号公報 特開２００２－２２１９８４号公報 特開２００７－２４８７４２号公報 特開２００５－２０８７２９号公報
　しかしながら、先行技術にはモデルの適応に必要なデータを話者に依存して提示する、効率の良いモデル適応装置は開示されていなかった。
　特許文献1は、必要最低学習量である基準学習データ数aをあらかじめ人手で与えておかなければならないため、その設定を話者ごとに適切に行うことが難しいという課題がある。すなわち、適応しようとする話者とモデルとの関係を考慮していないため、話者によっては特定の音素に対して学習量が過剰または不足するという問題がある。
　特許文献２～４に開示されている発明は、１以上の音素を含む文章をデータベースの検索等によって生成し、更には話者毎に音素とモデルとの距離を計算した場合に距離に相関がある音素をグループ化したデータをデータベースに格納するが、緻密なモデル適応を可能とするには話者毎に膨大なデータの蓄積が必要であるという問題点がある。
　特許文献５に開示されている発明は、筆跡が異なるユーザの筆記上の特徴を標準辞書に付加して各ユーザを識別する辞書を作成するものである。しかしながら、筆記による一度の入力で各ユーザの辞書作成が可能な筆者識別の方式は、ユーザの発声を入力とする音声識別では正確なモデル適応は困難であるという問題点がある。
　本発明は上記に鑑みてなされたもので、効率の良いモデル適応を行うことが可能なモデル適応装置、その方法及びそのプログラムを提供することを目的とする。
　上述の問題を解決するため、本発明に係るモデル適応装置は、モデルを入力データである入力特徴量の特徴に近似させることで該モデルを該入力特徴量に適応させるモデル適応装置であって、前記入力特徴量とその内容である第一の教師ラベル列とから各ラベルに対応するモデル適応を行い、該モデル適応のための適応用特徴情報を出力するモデル適応手段と、前記適応用特徴情報と前記モデルとのモデル間距離を前記ラベルごとに計算する距離計算手段と、前記モデル間距離があらかじめ定められた閾値を超えるラベルを検出する検出手段と、前記検出手段の出力として一つ以上のラベルが得られた場合に、該検出されたラベルを少なくとも一つ以上含む第二の教師ラベル列を生成するラベル生成手段と、を備えることを特徴とする。
　上述の問題を解決するため、本発明に係るモデル適応方法は、モデルを入力データである入力特徴量の特徴に近似させることで該モデルを該入力特徴量に適応させるモデル適応方法であって、前記入力特徴量とその内容である第一の教師ラベル列とから各ラベルに対応するモデル適応を行い、該モデル適応のための適応用特徴情報を出力するモデル適応手順と、前記適応用特徴情報と前記モデルとのモデル間距離を前記ラベルごとに計算する距離計算手順と、前記モデル間距離があらかじめ定められた閾値を超えるラベルを検出する検出手順と、前記検出手順での出力として一つ以上のラベルが得られた場合に、該検出されたラベルを少なくとも一つ以上含む第二の教師ラベル列を生成するラベル生成手順と、を備えることを特徴とする。
　上述の問題を解決するため、本発明に係るモデル適応プログラムは、モデルを入力データである入力特徴量の特徴に近似させることで該モデルを該入力特徴量に適応させるモデル適応プログラムであって、前記入力特徴量とその内容である第一の教師ラベル列とから各ラベルに対応するモデル適応を行い、該モデル適応のための適応用特徴情報を出力するモデル適応処理と、前記適応用特徴情報と前記モデルとのモデル間距離を前記ラベルごとに計算する距離計算処理と、前記モデル間距離があらかじめ定められた閾値を超えるラベルを検出する検出処理と、前記検出処理での出力として一つ以上のラベルが得られた場合に、該検出されたラベルを少なくとも一つ以上含む第二の教師ラベル列を生成するラベル生成処理と、をコンピュータに実行させることを特徴とする。
　以上説明したように本発明によれば、モデル適応手段が、モデル適応を行い、適応用特徴情報を出力し、距離計算手段が適応用特徴情報とモデルとのモデル間距離をラベルごとに計算し、ラベル生成手段はモデル間距離が閾値を超えるラベルを含む第二の教師ラベル列を生成することにより、効率よくモデル適応を行うことが可能となるモデル適応装置、その方法及びそのプログラムを提供することができる。
先行技術における文リスト生成方法に係る図である。 本発明の第１の実施の形態に係るモデル適応装置の構成を示すブロック図である。 本発明の第１の実施の形態に係るモデル適応処理を示すフローチャート図である。 本発明の第１の実施の形態の実施例に係る話者適応システムの全体構成を示すブロック図である。 本発明の第１の実施の形態の実施例に係る話者適応処理を示すフローチャート図である。 本発明の第２の実施の形態に係るモデル適応装置の構成を示すブロック図である。 本発明の第２の実施の形態の実施例に係る言語適応システムの全体構成を示すブロック図である。
１０　モデル適応装置
１１　入力手段
１２　テキストデータベース
１３　文リスト
１４　モデル適応手段
１５　モデル
１６　距離計算手段
１７　音素検出手段
１８　ラベル生成手段
１９　統計量データベース
２０　出力手段
１００　話者適応システム
１０ｂ　モデル適応部
１１０　入力手段
１２０　テキストデータベース
１３０　文リスト
１５０　音響モデル
２００　文提示手段
２１０　判定手段
２２０　モデル更新手段
２３０　出力手段
１０ｃ　モデル適応装置
１７ｂ　音素検出手段
３０　クラスデータベース
１００ｂ　言語適応システム
１０ｄ　モデル適応部
　以下、図面を参照しながら、本発明に係る実施の形態を説明する。
　［第１の実施形態］
　図２は、本発明の第１の実施の形態に係るモデル適応装置の全体の構成を示した図である。図２のモデル適応装置１０は、入力音声と発声内容の文リストとを用いて、対象となる音響モデルをこの入力音声の特徴に近似させることで、この音響モデルをこの入力音声の話者に適応させるものである。
　本実施の形態に係るモデル適応装置１０は、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び不揮発性記憶装置を備える。
　モデル適応装置１０は、ＣＰＵがＲＡＭ、ＲＯＭ、又は不揮発性記憶装置に格納されたＯＳ（Operating System）及びモデル適応プログラムを読み込み、モデル適応処理を実行する。これにより、対象となるモデルを入力音声の特徴に近くなるように適応することができる。なお、モデル適応装置１０は１台のコンピュータシステムである必要はなく、複数台のコンピュータシステムで構成されていてもよい。
　図２に示すように、本発明のモデル適応装置１０は、モデル適応手段１４と、距離計算手段１６と、音素検出手段１７と、ラベル生成手段１８と、統計量データベース１９とを備える。
　入力手段１１は、入力音声あるいは入力音声を音響分析した特徴量系列を入力する。
　文リスト１３は、話者が発声すべき内容、すなわち入力音声の内容を記述した複数の文を有する文集合であり、所定の音素を有する文を複数格納するテキストデータベース１２からあらかじめ選択され、構成されたものである。
　又、テキストデータベース１２における所定の音素とは、音声認識を可能とする所定の充分な量の音素をいう。
　モデル１５は、例えば音声認識に用いる音響モデルであり、例えば各音素の特徴を表す特徴量系列を持つＨＭＭ（Hidden Markov Model）である。また、モデル適応を行う技術は、公知技術として良く知られているものであるから、ここでは詳細な説明を省略する。
　モデル適応手段１４は、入力手段１１によって入力された入力特徴量である音声と、第一の教師ラベル列であって発声内容の文リスト１３と、を用いて対象となるモデル１５を入力音声に近くなるように、各音素を各ラベルとして、これらの音素に対応するモデル適応を行い、適応用特徴情報を統計量データベース１９に出力する。ここで、適応用特徴情報とは、モデル１５を入力音声に近似させるための充分統計量である。
　距離計算手段１６は、モデル適応手段１４の出力である適応用特徴情報を統計量データベース１９から取得し、当該適応用特徴情報と元のモデル１５とのモデル間距離を音響的な距離として音素ごとに計算し、各音素についての距離値を出力する。このとき、文リスト１３に出現しなかった音素については適応用特徴情報に存在しないこともあるが、その場合には距離値を０とすれば良い。
　音素検出手段１７は、距離計算手段１６の出力である各音素の距離値に対し、あらかじめ定められた閾値を超えるものがあれば、その音素を検出結果として出力する。
　ラベル生成手段１８は、音素検出手段１７で検出された音素、すなわちラベルが１つ以上あった場合に、再度モデル適応を行うために当該検出された音素を含む１つ以上の文を第二の教師ラベル列として生成する。ここで、ラベル生成においては、例えば当該検出された音素からなる任意の文を自動生成してもよいし、例えば当該検出された音素を含む文をテキストデータベース１２から選択してもよい。検出された音素が１つもなかった場合、すなわち音素検出手段１７においてすべての音素の距離値が閾値以下であった場合には、ラベル生成を行わない。すなわち、例えば、生成結果として空集合を出力する。
　ラベル生成手段１８にて生成された１つ以上の文は、モデル適応装置１０の出力となり、新たな文リストとして再度のモデル適応を行うために使用される。
　尚、テキストデータベース１２は、ネットワーク、例えばインターネット等に接続された外部のデータベースを利用してもよい。
　尚、テキストデータベース１２、文リスト１３、モデル１５、及び統計量データベース１９は、ハードディスクドライブ、光磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置でもよいし、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置であってもよい。また、テキストデータベース１２、文リスト１３、モデル１５、及び統計量データベース１９は、モデル適応装置１０に外付けされる記憶装置であってもよい。
　＜第１の実施形態の動作＞
　次に、本実施の形態に係るモデル適応処理を図３に示すフローチャート図により説明する。まず、モデル適応装置１０は、音声を入力する（Ｓ１００）。具体的には、マイクから入力される音声波形、あるいはそれを音響分析した特徴量系列が入力として得られる。
　次に、モデル適応装置１０は、入力音声と発声内容の文リスト１３とを用いて対象となるモデル１５を入力音声に近くなるように適応を行う（Ｓ１０１）。具体的には、モデル適応装置１０のモデル適応手段１４は、ステップＳ１００で得られた入力音声の特徴量系列とその内容を表す文リスト１３とからモデル１５に対してモデル適応を行い、例えば適応用特徴情報としての充分統計量を統計量データベース１９に出力する。
　例えば、モデルとして単音素を表すMonophoneを考えた場合、文リスト１３は発声内容をMonophoneで記述した教師ラベルであればよく、モデル適応手段１４は教師ありモデル適応を行い、例えば音素/ｓ/に対してその移動ベクトルＦ（ｓ）＝（ｓ１，ｓ２，．．．，ｓｎ）と適応サンプル数（フレーム数）を適応用特徴情報として得る。
　このように特徴量系列を用いてモデルの適応を行う、例えばモデル適応の技術は、公知技術として良く知られているものであるから、ここでは詳細な説明を省略する。
　次に、モデル適応装置１０は、適応用特徴情報とモデル１５との距離を計算する（Ｓ１０２）。すなわち、入力音声とモデル１５との差分を計算することになる。具体的には、モデル適応装置１０の距離計算手段１６は、ステップＳ１０１で得られたモデル適応手段１４の出力である適応用特徴情報を統計量データベース１９から取得し、当該適応用特徴情報と元のモデル１５との距離を音素ごとに計算し、各音素についての距離値を出力する。例えば、音素/ｓ/については距離値Ｄｉｓｔ（ｓ）＝０．２、音素/ａ/については距離値Ｄｉｓｔ（ａ）＝０．７というように音素ごとに距離値が得られる。
　文リスト１３に出現しなかった音素については距離値を０とする。例えば音素/ｚ/が出現しなかった場合、Ｄｉｓｔ（ｚ）＝０．０とする。
　ベクトルとモデルとの距離を計算する技術は、公知技術として良く知られているものであるから、ここでは詳細な説明を省略する。
　次に、モデル適応装置１０は、入力音声とモデル１５との差分が大きい音素を検出する（Ｓ１０３）。具体的には、モデル適応装置１０の音素検出手段１７は、ステップＳ１０２で得られた距離計算手段１６の出力である各音素の距離値に対し、あらかじめ定められた閾値を超えるものがあれば、その音素を検出結果として出力する。
　例えば、閾値Ｄｔｈｒｅ＝０．５が設定されていた場合に、各音素の距離値が音素/ｓ/についてＤｉｓｔ（ｓ）＝０．２、音素/ａ/についてＤｉｓｔ（ａ）＝０．７であるとすると、Ｄｔｈｒｅ ＞ Ｄｉｓｔ（ｓ）であるがＤｔｈｒｅ ＜ Ｄｉｓｔ（ａ）であるので、閾値を超えている音素として音素/ａ/を検出する。もちろん、音素検出の対象は音素/ａ/や音素/ｓ/に限らず、文リスト１３に含まれるすべての音素が検出対象となりうるし、部分的に検出対象とするのでも良い。
　尚、閾値Ｄｔｈｒｅはすべての音素について同じ値を用いても良いし、音素毎に異なる閾値を用いても良い。
　次に、モデル適応装置１０は、再度モデル適応を行うための文を生成する（Ｓ１０４）。具体的には、モデル適応装置１０のラベル生成手段１８は、ステップＳ１０３で得られた音素検出手段１７で検出された検出結果に係る音素に対し、当該検出された音素を含む１つ以上の文を生成するために、例えばテキストデータベース１２から当該検出された音素を含む文を検索し、この検索で抽出された文をステップＳ１０５で出力する。例えば、音素/ａ/と音素/ｅ/が検出された場合には、音素/ａ/と音素/ｅ/を含む文をテキストデータベース１２から検索し、１つ以上存在すればそれらを出力する。
　尚、ステップＳ１０３にて検出された音素が１つもなかった場合には、ステップＳ１０４にてラベル生成を行わずに終了しても良いし、ラベル生成結果が無かった旨を出力して終了しても良い。
　尚、再度モデル適応を行う場合には、ステップ１０２の距離計算処理において、それ以前のモデル適応処理で得られた適応用特徴情報も含めてすべての充分特徴量を用いることにより、加算的なモデル適応処理を行うことが可能となる。
　尚、本実施の形態では、モデルとして単音素を表すMonophoneを用いるとしたが、音素環境依存のDiphoneモデルやTriphoneモデルを用いる場合も同様である。
　このように、本発明にかかるモデル適応装置１０は、適応対象のモデル１５に対して入力音声と第一の文リスト１３を用いたモデル適応を行い、前記入力音声の特徴に基づきモデル１５との距離の大きい音素を検出し、当該検出された音素を含む新たな文リストを生成する。
　例えば、話者Ａと話者Ｂがモデル適応を行う場合を考えたとき、話者Ａについては音素/ｓ/の距離Ｄｉｓｔ（ｓ）＝０．２、音素/ａ/の距離Ｄｉｓｔ（ａ）＝０．７であったものが、話者Ｂについては音素/ｓ/の距離Ｄｉｓｔ（ｓ）＝０．８、音素/ａ/の距離Ｄｉｓｔ（ａ）＝０．４となるなど、話者Ａと話者Ｂで異なる距離値が得られることがある。この場合、例えば同じ閾値Ｄｔｈｒｅ＝０．５を用いた場合でもラベル生成手段１８にて得られる文が異なることになる。
　同様に、同じ話者の音声を用いた場合でも、適応対象のモデルが異なれば得られる文が異なる可能性がある。すなわち、話者やモデルが異なる場合でも、より適した文リストを生成することで、効率よくモデル適応を行うことが可能になる。
　＜第１の実施形態の実施例＞
　本実施の形態に係るモデル適応装置の実施例として、以下に話者適応システムの例を説明する。図４は、本実施例にかかる話者適応システムの全体の構成を示した図である。図４に示す話者適応システム１００は、入力手段１１０と、モデル適応部１０ｂと、テキストデータベース１２０と、文リスト１３０と、音響モデル１５０と、文提示手段２００と、判定手段２１０と、モデル更新手段２２０と、出力手段２３０とを備える。
　話者適応システム１００は、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ、ＲＡＭ、ＲＯＭ及び不揮発性記憶装置を備える。
　話者適応システム１００は、ＣＰＵがＲＡＭ、ＲＯＭ又は不揮発性記憶装置に格納されたＯＳ及び話者適応プログラムを読み込み、話者適応処理を実行する。これにより、対象となるモデルを入力音声の特徴に近くなるように適応することができる。なお、話者適応システム１００は１台のコンピュータシステムである必要はなく、複数台のコンピュータシステムで構成されていてもよい。
　入力手段１１０は、マイクなどの入力デバイスであり、図示しない構成としてＡ／Ｄ変換手段又は音響分析手段を含んでも良い。
　テキストデータベース１２０は、充分な量の音素及び音素における環境その他バリエーションを充分に含む文の集合である。
　文リスト１３０は、話者適応処理に用いる教師ラベルであり、テキストデータベース１２０から抽出された１つ以上の文からなる文の集合である。
　音響モデル１５０は、例えば各音素の特徴を表す特徴量系列を持つＨＭＭ（Hidden Markov Model）である。
　文提示手段２００は、話者適応を行うために話者に教師ラベル、すなわち発声すべき文リストを提示するものである。
　モデル適応部１０ｂは、図２のモデル適応装置１０に対応するものである。そのため、以下では、図２との違いを中心に説明し、図２と対応し同様の機能を有する構成については、説明を省略する。
　ラベル生成手段１８は、音素検出手段１７で検出された音素が１つ以上あった場合に、再度モデル適応を行うために当該検出された音素を含む１つ以上の文を生成し、判定手段２１０に通知する。検出された音素が１つも無かった場合には、その旨を判定手段２１０に通知する。
　判定手段２１０は、ラベル生成手段１８の出力を受け取り、文が生成された場合にはその文を新たな適応文リストとする。文が生成されなった場合には、その旨をモデル更新手段２２０に通知する。
　モデル更新手段２２０は、判定手段２１０から文が生成されなかった旨の通知を受けた場合に、統計量データベース１９から受け取る適応用特徴情報を音響モデル１５０に適用し、適応後音響モデルを得る。
　更に出力手段２３０では、モデル更新手段２２０で得られた適応後音響モデルを出力する。尚、話者適応におけるモデル更新に関する技術は、公知技術としてよく知られているものであるから、ここでは詳細な説明を省略する。
　尚、テキストデータベース１２０は、ネットワーク、例えばインターネット等に接続された外部のデータベースを利用してもよい。
　テキストデータベース１２０、文リスト１３０、モデル１５０、及び統計量データベース１９は、ハードディスクドライブ、光磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置でもよいし、ＤＲＡＭ等の揮発性の記憶装置であってもよい。又、テキストデータベース１２０、文リスト１３０、モデル１５０、及び統計量データベース１９は、話者適応システム１００に外付けされる記憶装置であってもよい。
　＜第１の実施形態の実施例の動作＞
　次に、本実施例に係る話者適応処理の全体の流れを、図５に示すフローチャートにより説明する。まず、話者適応システム１００は、音声を入力する（Ｓ２００）。具体的には、話者適応システム１００は、入力手段１１０によってマイクから入力される音声波形、あるいはそれを音響分析した特徴量系列が入力として得られる。
　次に、話者適応システム１００は、モデル適応処理を実行する（Ｓ２０１）。具体的には、話者適応システム１００のモデル適応部１０ｂにおけるモデル適応手段１４、距離計算手段１６、音素検出手段１７及びラベル生成手段１８により、図３に示すようなモデル適応処理が行われる。
　次に、話者適応システム１００は、モデル適応処理において文が出力されたかどうかを判定する（Ｓ２０２）。具体的には、話者適応システム１００の判定手段２１０により、ステップＳ２０１のモデル適応処理の結果、文が出力された場合には出力された文を新たな文リストとする。
　新たな文リストは、話者適応システム１００によって話者に再度提示される（Ｓ２０３）。具体的には、話者適応システム１００の文提示手段２００により、新たな文リストを話者適応の教師ラベルとして話者に提示し、新たな音声入力を受け付け、ステップＳ２００の音声入力からの処理を繰り返す。
　すなわち、モデル適応手段１４は、新たな文リストに基づく音声入力と新たな文リストとを用いて再度のモデル適応を行い、再度の適応用特徴情報を出力し、統計量データベース１９は、再度の適応用特徴情報を格納し、距離計算手段１６は、再度の適応用特徴情報を統計量データベース１９から取得し、再度の適応用特徴情報と音響モデルとの距離を音素ごとに計算し、各音素についての再度の距離値を出力し、音素検出手段１７は、再度の距離値のうち予め定められた閾値を超えるものが存在する場合、該閾値を超えるものを再度の検出結果として出力し、ラベル生成手段１８は、再度の検出結果に係る音素を含む文をテキストデータベース１２０から検索し、この検索で抽出された文を出力する。
　文が出力されなかった場合には、判定手段２１０は、その旨をモデル更新手段２２０に通知する。
　次に、話者適応システム１００は、ステップＳ２０２の判定処理の結果、文が生成されなかった場合には、モデル更新処理を実行する（Ｓ２０４）。具体的には、話者適応システム１００のモデル更新手段２２０により、統計量データベース１９から受け取る適応用特徴情報を音響モデル１５０に適用し、適応後音響モデルを得る。その後、出力手段２３０は、得られた適応後音響モデルを話者適応音響モデルとして出力する（Ｓ２０５）。
　このように、本実施例では、話者が適応したい音響モデルに対して距離の大きい音素を重点的に用いた話者適応が行われるため、効率の良い話者適応を実現することができる。
　また、本実施例では、すべての必要な音素について距離計算結果が閾値以下であった場合にはそれ以降の適応処理を行わないようにすることができる。すなわち、音響モデルに充分近づいたと判断できた場合には適応処理を止めることができるため、話者適応を止める判断基準を与えることが可能となる。
　尚、本実施例では、適応用特徴情報として充分統計量を用い、当該適応用特徴情報と元のモデルとの距離を計算するとしたが、適応後のモデルと元のモデルとの距離を計算する場合も同様である。この場合には二つのモデル間の距離を計算すればよく、モデル間の距離を計算する技術は公知技術として良く知られているものであるから、ここでは説明を省略する。
　本実施例では、音響モデルを話者に適応する話者適応の例を示したが、例えば方言の違いに適応する場合であっても、例えば言語の違いに適応する場合であっても、同様である。方言に適応する場合には、例えば同じ関西弁を発声する複数の話者の音声により適応すれば良いし、言語に適応する場合には、例えば同じ日本人訛り英語を発声する複数の話者の音声により適応すれば良い。
　又、本実施例では教師あり話者適応の例を示したが、音声認識結果をそのまま教師ラベルとして用いる教師なし話者適応の場合でも同様であるし、入力音声と音響モデルとの距離を直接求める場合でも同様である。
　［第２の実施形態］
　以下、図面を参照しながら、本発明の第２の実施の形態について詳細に説明する。本実施の形態は、第１の実施の形態に比べ、クラスデータベースを用いることにより、少ない文リストでも話者適応の効率を高めるものである。
　ここで、クラスデータベースとは、事前に多数の音声データにより構築しておくデータベースであり、例えば第１の実施の形態によるモデル適応処理を複数の話者によって実行し、その音素別の距離計算結果をクラス化したデータベースである。
　例えば、音素/ｐ/の距離値と音素/ｄ/の距離値がともに大きい話者であれば音素/ｔ/の距離値も大きいといった話者の違いによる音素別距離値の偏りをクラス化することで、ある入力音声に対して音素/ｐ/と音素/ｄ/の距離値が閾値以上という結果が得られた場合に、同じクラスに属する音素/ｔ/についても、それが元の文リストに出現しなかった音素であってもラベル生成の対象とすることが可能になる。
　図６は、第２の実施の形態に係るモデル適応装置の全体の構成を示した図である。図６のモデル適応装置１０ｃは、入力音声と発声内容の文リストとを用いて、対象となるモデルを入力音声の特徴に近くなるように適応するものである。
　本発明のモデル適応装置１０ｃは、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び不揮発性記憶装置を備える。モデル適応装置１０ｃは、ＣＰＵがＲＡＭ、ＲＯＭ又は不揮発性記憶装置に格納されたＯＳ及びモデル適応プログラムを読み込み、モデル適応処理を実行する。これにより、対象となるモデルを入力音声の特徴に近くなるように適応することができる。なお、モデル適応装置１０ｃは１台のコンピュータシステムである必要はなく、複数台のコンピュータシステムで構成されていてもよい。
　図６に示すように、本発明のモデル適応装置１０ｃは、モデル適応手段１４と、距離計算手段１６と、音素検出手段１７ｂと、ラベル生成手段１８と、統計量データベース１９と、クラスデータベース３０とを備える。ここで、モデル適応手段１４と、距離計算手段１６と、ラベル生成手段１８と、統計量データベース１９とは、図２と同様のため、説明を省略する。以下では、図２との違いについてのみ説明する。
　音素検出手段１７ｂは、距離計算手段１６の出力である各音素の距離値に対し、あらかじめ定められた閾値を超えるものがあれば、その音素を検出結果として出力する。同時に、クラスデータベース３０を参照し、閾値を超えた音素あるいは音素の組合せに対して、同じクラスに属する音素もあわせて検出結果として出力する。
　クラスデータベース３０は、音素又は音素の組合せをクラス化した情報を持つデータベースであり、例えば音素/ｐ/と音素/ｂ/と音素/ｔ/と音素/ｄ/が同じクラスに属することで、例えばこれらのうち２つ以上が検出結果として得られた場合には残りも検出結果とする。又は所定の音素の組合せによって別の所定の音素も検出結果とするようなルールを記述したものでも良い。
　尚、クラスデータベース３０は、ハードディスクドライブ、光磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置でもよいし、ＤＲＡＭ等の揮発性の記憶装置であってもよい。また、クラスデータベース３０は、モデル適応装置１０ｃに外付けされる記憶装置であってもよい。
　＜第２の実施形態の動作＞
　次に、本実施の形態に係るモデル適応処理を説明する。ここで、本実施の形態は、図３におけるステップＳ１０３の音素検出処理以外は、図３と同様のため、説明を省略する。
　モデル適応装置１０ｃは、ステップＳ１０３において、入力音声とモデル１５との差分が大きい音素を検出する。具体的には、モデル適応装置１０ｃの音素検出手段１７ｂは、ステップＳ１０２で得られた距離計算手段１６の出力である各音素の距離値に対し、あらかじめ定められた閾値を超えるものがあれば、その音素を検出結果として出力する。同時に、クラスデータベース３０を参照し、閾値を超えた音素又は音素の組合せに対して、同じクラスに属する音素もあわせて検出結果として出力する。例えば、閾値Ｄｔｈｒｅ＝０．６が設定されていた場合に、各音素の距離値が音素/ｐ/についてＤｉｓｔ（ｐ）＝０．７、音素/ｄ/についてＤｉｓｔ（ｄ）＝０．９であるとすると、閾値を超えている音素として音素/ｐ/と音素/ｄ/を検出する。
　同時にクラスデータベース３０を参照し、クラスデータベース３０において音素/ｐ/と音素/ｂ/と音素/ｔ/と音素/ｄ/が同じクラスに属していた場合、音素/ｐ/と音素/ｄ/が検出されたことから、音素/ｔ/と音素/ｂ/も検出する。
　尚、閾値Ｄｔｈｒｅはすべての音素について同じ値を用いても良いし、音素によって違う閾値を用いても良いし、クラスデータベース３０に存在するクラスによって違う閾値を用いても良い。
　このように、本実施の形態にかかるモデル適応装置１０ｃは、適応対象のモデル１５に対して入力音声と第一の文リスト１３を用いたモデル適応を行う際に、クラスデータベース３０を用いることで、文リスト１３には存在しなかった音素も検出することが可能となる。すなわち、文リスト１３が少ない場合でも、適した文リストを生成することで、効率よくモデル適応を行うことが可能になる。
　＜第２の実施形態の実施例＞
　本発明の第２の実施の形態に係るモデル適応装置の実施例として、以下に言語適応システムの例を説明する。図７は、本実施例にかかる言語適応システムの全体の構成を示した図である。図７に示す言語適応システム１００ｂは、入力手段１１０と、モデル適応部１０ｄと、テキストデータベース１２０と、文リスト１３０と、音響モデル１５０と、文提示手段２００と、判定手段２１０と、モデル更新手段２２０と、出力手段２３０とを備える。
　言語適応システム１００ｂは、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ、ＲＡＭ、ＲＯＭ及び不揮発性記憶装置を備える。言語適応システム１００ｂは、ＣＰＵがＲＡＭ、ＲＯＭ、又は不揮発性記憶装置に格納されたＯＳ及び言語適応プログラムを読み込み、言語適応処理を実行する。これにより、対象となるモデルを入力音声の特徴に近くなるように適応することができる。なお、言語適応システム１００ｂは１台のコンピュータシステムである必要はなく、複数台のコンピュータシステムで構成されていてもよい。
　ここで、入力手段１１０と、テキストデータベース１２０と、文リスト１３０と、音響モデル１５０と、文提示手段２００と、判定手段２１０と、モデル更新手段２２０と、出力手段２３０とは、図４と同様のため、説明を省略する。以下では、図４との違いについてのみ説明する。
　モデル適応部１０ｄは、図４のモデル適応部１０ｂが置き換わったものであり、図６のモデル適応装置１０ｃに対応するものである。そのため、以下では、図６との違いを中心に説明し、図６と対応し同様の機能を有する構成については、説明を省略する。
　ラベル生成手段１８ｂは、音素検出手段１７ｂで検出された音素が１つ以上あった場合に、再度モデル適応を行うために当該検出された音素を含む１つ以上の文を生成し、判定手段２１０に通知する。検出された音素が１つも無かった場合には、その旨を判定手段２１０に通知する。
　判定手段２１０は、ラベル生成手段１８の出力を受け取り、文が生成された場合にはその文を新たな適応文リストとする。文が生成されなった場合には、その旨モデル更新手段２２０に通知する。
　尚、テキストデータベース１２０は、ネットワーク、例えばインターネット等に接続された外部のデータベースを利用してもよい。
　テキストデータベース１２０、文リスト１３０、モデル１５０、統計量データベース１９及びクラスデータベース３０は、ハードディスクドライブ、光磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置でもよいし、ＤＲＡＭ等の揮発性の記憶装置であってもよい。
　又、テキストデータベース１２０、文リスト１３０、モデル１５０、統計量データベース１９及びクラスデータベース３０は、言語適応システム１００ｂに外付けされる記憶装置であってもよい。
　＜第２の実施形態の実施例の動作＞
　次に、本実施例に係る言語適応処理を説明する。ここで、本実施例は、図５におけるステップＳ２０１のモデル適応処理以外は、図５と同様のため、説明を省略する。
　言語適応システム１００ｂは、ステップＳ２０１において、モデル適応処理を実行する。具体的には、言語適応システム１００ｂのモデル適応部１０ｄにおけるモデル適応手段１４、距離計算手段１６、音素検出手段１７ｂ、ラベル生成手段１８ｂにより、図３に示すようなモデル適応処理が行われる。
　ここで、クラスデータベース３０に、複数の話者からなる話者群から抽出した関西訛りの日本語話者のデータとして、例えば音素/ｉ:/（:は長母音記号）と音素/ｕ:/と音素/ｅ:/が同じクラスに属していたとする。ここで、標準語の日本語（東京方言）の音響モデルに対して、関西訛りの日本語話者が言語適応を行う場合、距離計算手段１６にて音素/ｉ:/が検出されたとすると、音素検出手段１７ｂにおいて、クラスデータベースを参照し、同じクラスに属する音素/ｕ:/と音素/ｅ:/も検出し、ラベル生成手段１８ｂにおいて、音素/ｉ:/と音素/ｕ:/と音素/ｅ:/を含んだ文を生成する。
　このように、本実施例では、話者が適応したい言語に対してモデルとの距離が大きい音素のクラス、例えば関西訛りの日本語話者に共通する音素を重点的に用いた適応が行われるため、第一の文リストが少ない場合でも効率の良い言語適応を実現することができる。
　尚、本実施例では、音響モデルを言語に適応する言語適応の例として、方言の例を示したが、例えば言語の違い、すなわち日本語と英語、あるいは日本人訛りの英語に適応する場合であっても、同様である。また、同じ言語あるいは方言の中で、特定の話者に適応する話者適応の場合も同様である。
　以上のように、本発明により得られる適応後音響モデルは、音声認識に用いることで高い認識精度が期待できる。同様に、話者照合に用いることで高い照合精度が期待できる。
　近年、音声認識・話者照合の技術を用いた製品において、高い精度が期待されることがある。本発明は、このような状況に適用可能である。
　なお、上記のモデル適応装置及び方法は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。
　例えば、上記のモデル適応装置は、ハードウェアによって実現することもできるが、コンピュータをそのシステムとして機能させるためのプログラムを、コンピュータが記録媒体から読み出して、実行することによっても実現することができる。
　また、上記のモデル適応方法は、ハードウェアによって実現することもできるが、コンピュータにその方法を実行させるためのプログラムを、コンピュータがコンピュータ読みと取り可能な記録媒体から読み出して、実行することによっても実現することができる。
　また、上述したハードウェア、ソフトウェア構成は特に限定されるものではなく、上述した各手段の機能を実現可能であれば、いずれのものでも適用可能である。例えば、上述した各手段の機能毎に個別に構成したものでも、各手段の機能を一体的に構成したものでも、いずれでもよい。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００８年１０月３１日に出願された日本出願特願２００８－２８１３８７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、音声認識・話者照合技術を用いた音声入力・認証サービス等の用途に適用できる。

Claims (18)

  1. 　モデルを入力データである入力特徴量の特徴に近似させることで該モデルを該入力特徴量に適応させるモデル適応装置であって、
    　前記入力特徴量とその内容である第一の教師ラベル列とから各ラベルに対応するモデル適応を行い、該モデル適応のための適応用特徴情報を出力するモデル適応手段と、
    　前記適応用特徴情報と前記モデルとのモデル間距離を前記ラベルごとに計算する距離計算手段と、
    　前記モデル間距離があらかじめ定められた閾値を超えるラベルを検出する検出手段と、
    　前記検出手段の出力として一つ以上のラベルが得られた場合に、該検出されたラベルを少なくとも一つ以上含む第二の教師ラベル列を生成するラベル生成手段と、
    　を備えることを特徴とするモデル適応装置。
  2. 　音声認識に用いる音響モデルを入力音声の特徴に近似させることで該音響モデルを該入力音声の話者に適応させるモデル適応によるモデル適応装置であって、
    　所定の音素を有する文を複数格納するテキストデータベースと、
    　前記入力音声の内容を記述した複数の文を有する文リストと、
    　前記入力音声が入力される入力手段と、
    　前記入力音声と前記文リストとを用いて前記モデル適応を行い、前記音響モデルを前記入力音声に近似させるための充分統計量である適応用特徴情報を出力するモデル適応手段と、
    　前記適応用特徴情報を格納する統計量データベースと、
    　前記適応用特徴情報と前記音響モデルとの音響的な距離を音素ごとに計算し、各音素についての距離値を出力する距離計算手段と、
    　前記距離値のうち予め定められた閾値を超えるものが存在する場合、該閾値を超えるものを検出結果として出力する音素検出手段と、
    　前記検出結果に係る音素を含む文を前記テキストデータベースから検索し、該検索で抽出された文を出力するラベル生成手段と、
    　を備えることを特徴とするモデル適応装置。
  3. 　前記ラベル生成手段が前記検索で文を出力した場合は、該文を新たな文リストとし、前記ラベル生成手段が該文を出力しなかった場合は、その旨を通知する判定手段と、
    　前記判定手段から前記文が出力されなかった旨の通知を受けた場合に、前記統計量データベースから前記適応用特徴情報を取得し、これを前記音響モデルに適用することで適応後音響モデルを得るモデル更新手段と、
    　前記適応後音響モデルを出力する出力手段と、
    　前記文リスト及び前記新たな文リストを提示する文提示手段と、
    　を更に備え、
    　前記モデル適応手段は、前記新たな文リストに基づく音声入力と前記新たな文リストとを用いて再度のモデル適応を行い、再度の適応用特徴情報を出力し、
    　前記距離計算手段は、前記再度の適応用特徴情報と前記音響モデルとの距離を音素ごとに計算し、各音素についての再度の距離値を出力し、
    　前記音素検出手段は、前記再度の距離値のうち前記閾値を超えるものが存在する場合、前記閾値を超えるものを再度の検出結果として出力し、
    　前記ラベル生成手段は、前記再度の検出結果に係る音素を含む文を前記テキストデータベースから検索し、該検索で抽出された文を出力することを特徴とする請求項２に記載のモデル適応装置。
  4. 　前記音素検出手段は、音素毎に異なる閾値を用いることを特徴とする請求項２又は３に記載のモデル適応装置。
  5. 　音素又は音素の組合せをクラス化した情報を格納するクラスデータベースを更に備え、
    　前記音素検出手段は、前記クラスデータベースを参照し、前記距離計算手段の出力である各音素の距離値のうち前記閾値を超えるものがあれば、前記閾値を超えた音素と同じクラスに属する音素も検出結果として出力することを特徴とする請求項２乃至４のいずれか１項に記載のモデル適応装置。
  6. 　前記入力音声には、音声及び該音声を音響分析した特徴量系列のデータが含まれることを特徴とする請求項２乃至５のいずれか１項に記載のモデル適応装置。
  7. 　モデルを入力データである入力特徴量の特徴に近似させることで該モデルを該入力特徴量に適応させるモデル適応方法であって、
    　前記入力特徴量とその内容である第一の教師ラベル列とから各ラベルに対応するモデル適応を行い、該モデル適応のための適応用特徴情報を出力するモデル適応手順と、
    　前記適応用特徴情報と前記モデルとのモデル間距離を前記ラベルごとに計算する距離計算手順と、
    　前記モデル間距離があらかじめ定められた閾値を超えるラベルを検出する検出手順と、
    　前記検出手順での出力として一つ以上のラベルが得られた場合に、該検出されたラベルを少なくとも一つ以上含む第二の教師ラベル列を生成するラベル生成手順と、
    　を備えることを特徴とするモデル適応方法。
  8. 　音声認識に用いる音響モデルを入力音声の特徴に近似させることで該音響モデルを該入力音声の話者に適応させるモデル適応によるモデル適応方法であって、
    　前記入力音声が入力される入力手順と、
    　前記入力音声と前記入力音声の内容を記述した複数の文を有する文リストとを用いて前記モデル適応を行い、前記音響モデルを前記入力音声に近似させるための充分統計量である適応用特徴情報を出力するモデル適応手順と、
    　前記適応用特徴情報を統計量データベースに格納する手順と、
    　前記適応用特徴情報と前記音響モデルとの音響的な距離を音素ごとに計算し、各音素についての距離値を出力する距離計算手順と、
    　前記距離値のうち予め定められた閾値を超えるものが存在する場合、該閾値を超えるものを検出結果として出力する音素検出手順と、
    　前記検出結果に係る音素を含む文を所定の音素を有する文を複数格納するテキストデータベースから検索し、該検索で抽出された文を出力するラベル生成手順と、
    　を備えることを特徴とするモデル適応方法。
  9. 　前記ラベル生成手順が前記検索で文を出力した場合は、該文を新たな文リストとし、前記ラベル生成手順が該文を出力しなかった場合は、その旨を通知する判定手順と、
    　前記判定手順から前記文が出力されなかった旨の通知を受けた場合に、前記統計量データベースから前記適応用特徴情報を取得し、これを前記音響モデルに適用することで適応後音響モデルを得るモデル更新手順と、
    　前記適応後音響モデルを出力する出力手順と、
    　前記文リスト及び前記新たな文リストを提示する文提示手順と、
    　を更に備え、
    　前記モデル適応手順は、前記新たな文リストに基づく音声入力と前記新たな文リストとを用いて再度のモデル適応を行い、再度の適応用特徴情報を出力し、
    　前記距離計算手順は、前記再度の適応用特徴情報と前記音響モデルとの距離を音素ごとに計算し、各音素についての再度の距離値を出力し、
    　前記音素検出手順は、前記再度の距離値のうち前記閾値を超えるものが存在する場合、前記閾値を超えるものを再度の検出結果として出力し、
    　前記ラベル生成手順は、前記再度の検出結果に係る音素を含む文を前記テキストデータベースから検索し、該検索で抽出された文を出力することを特徴とする請求項８に記載のモデル適応方法。
  10. 　前記音素検出手順は、音素毎に異なる閾値を用いることを特徴とする請求項８又は９に記載のモデル適応方法。
  11. 　音素又は音素の組合せをクラス化した情報をクラスデータベースに格納する手順を更に備え、
    　前記音素検出手順は、前記クラスデータベースを参照し、前記距離計算手順の出力である各音素の距離値のうち前記閾値を超えるものがあれば、前記閾値を超えた音素と同じクラスに属する音素も検出結果として出力することを特徴とする請求項８乃至１０のいずれか１項に記載のモデル適応方法。
  12. 　前記入力音声には、音声及び該音声を音響分析した特徴量系列のデータが含まれることを特徴とする請求項８乃至１１のいずれか１項に記載のモデル適応方法。
  13. 　モデルを入力データである入力特徴量の特徴に近似させることで該モデルを該入力特徴量に適応させるモデル適応プログラムであって、
    　前記入力特徴量とその内容である第一の教師ラベル列とから各ラベルに対応するモデル適応を行い、該モデル適応のための適応用特徴情報を出力するモデル適応処理と、
    　前記適応用特徴情報と前記モデルとのモデル間距離を前記ラベルごとに計算する距離計算処理と、
    　前記モデル間距離があらかじめ定められた閾値を超えるラベルを検出する検出処理と、
    　前記検出処理での出力として一つ以上のラベルが得られた場合に、該検出されたラベルを少なくとも一つ以上含む第二の教師ラベル列を生成するラベル生成処理と、
    　をコンピュータに実行させることを特徴とするモデル適応プログラム。
  14. 　音声認識に用いる音響モデルを入力音声の特徴に近似させることで該音響モデルを該入力音声の話者に適応させるモデル適応によるモデル適応プログラムであって、
    　前記入力音声が入力される入力処理と、
    　前記入力音声と前記入力音声の内容を記述した複数の文を有する文リストとを用いて前記モデル適応を行い、前記音響モデルを前記入力音声に近似させるための充分統計量である適応用特徴情報を出力するモデル適応処理と、
    　前記適応用特徴情報を統計量データベースに格納する処理と、
    　前記適応用特徴情報と前記音響モデルとの音響的な距離を音素ごとに計算し、各音素についての距離値を出力する距離計算処理と、
    　前記距離値のうち予め定められた閾値を超えるものが存在する場合、該閾値を超えるものを検出結果として出力する音素検出処理と、
    　前記検出結果に係る音素を含む文を所定の音素を有する文を複数格納するテキストデータベースから検索し、該検索で抽出された文を出力するラベル生成処理と、
    　をコンピュータに実行させることを特徴とするモデル適応プログラム。
  15. 　前記ラベル生成処理が前記検索で文を出力した場合は、該文を新たな文リストとし、前記ラベル生成処理が該文を出力しなかった場合は、その旨を通知する判定処理と、
    　前記判定処理から前記文が出力されなかった旨の通知を受けた場合に、前記統計量データベースから前記適応用特徴情報を取得し、これを前記音響モデルに適用することで適応後音響モデルを得るモデル更新処理と、
    　前記適応後音響モデルを出力する出力処理と、
    　前記文リスト及び前記新たな文リストを提示する文提示処理と、
    　を更にコンピュータに実行させ、
    　前記モデル適応処理は、前記新たな文リストに基づく音声入力と前記新たな文リストとを用いて再度のモデル適応を行い、再度の適応用特徴情報を出力し、
    　前記距離計算処理は、前記再度の適応用特徴情報と前記音響モデルとの距離を音素ごとに計算し、各音素についての再度の距離値を出力し、
    　前記音素検出処理は、前記再度の距離値のうち前記閾値を超えるものが存在する場合、前記閾値を超えるものを再度の検出結果として出力し、
    　前記ラベル生成処理は、前記再度の検出結果に係る音素を含む文を前記テキストデータベースから検索し、該検索で抽出された文を出力することを特徴とする請求項１４に記載のモデル適応プログラム。
  16. 　前記音素検出処理は、音素毎に異なる閾値を用いることを特徴とする請求項１４又は１５に記載のモデル適応プログラム。
  17. 　音素又は音素の組合せをクラス化した情報をクラスデータベースに格納する処理を更にコンピュータに実行させ、
    　前記音素検出処理は、前記クラスデータベースを参照し、前記距離計算処理の出力である各音素の距離値のうち前記閾値を超えるものがあれば、前記閾値を超えた音素と同じクラスに属する音素も検出結果として出力することを特徴とする請求項１４乃至１６のいずれか１項に記載のモデル適応プログラム。
  18. 　前記入力音声には、音声及び該音声を音響分析した特徴量系列のデータが含まれることを特徴とする請求項１４乃至１７のいずれか１項に記載のモデル適応プログラム。
PCT/JP2009/068263 2008-10-31 2009-10-23 モデル適応装置、その方法及びそのプログラム WO2010050414A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010535770A JP5376341B2 (ja) 2008-10-31 2009-10-23 モデル適応装置、その方法及びそのプログラム
US12/998,469 US20110224985A1 (en) 2008-10-31 2009-10-23 Model adaptation device, method thereof, and program thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008281387 2008-10-31
JP2008-281387 2008-10-31

Publications (1)

Publication Number Publication Date
WO2010050414A1 true WO2010050414A1 (ja) 2010-05-06

Family

ID=42128777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/068263 WO2010050414A1 (ja) 2008-10-31 2009-10-23 モデル適応装置、その方法及びそのプログラム

Country Status (3)

Country Link
US (1) US20110224985A1 (ja)
JP (1) JP5376341B2 (ja)
WO (1) WO2010050414A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772164B2 (ja) * 2009-01-30 2011-09-14 三菱電機株式会社 音声認識装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8595004B2 (en) * 2007-12-18 2013-11-26 Nec Corporation Pronunciation variation rule extraction apparatus, pronunciation variation rule extraction method, and pronunciation variation rule extraction program
KR20170034227A (ko) * 2015-09-18 2017-03-28 삼성전자주식회사 음성 인식 장치 및 방법과, 음성 인식을 위한 변환 파라미터 학습 장치 및 방법
EP3535751A4 (en) * 2016-11-10 2020-05-20 Nuance Communications, Inc. METHOD FOR LANGUAGE-INDEPENDENT WAY RECOGNITION
CN109754784B (zh) * 2017-11-02 2021-01-29 华为技术有限公司 训练滤波模型的方法和语音识别的方法
CN114678040B (zh) * 2022-05-19 2022-08-30 北京海天瑞声科技股份有限公司 语音一致性检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132288A (ja) * 2000-10-24 2002-05-09 Fujitsu Ltd エンロール文音声入力方法とエンロール文音声入力装置とそれを実現するためのプログラムを記録した記録媒体
WO2007105409A1 (ja) * 2006-02-27 2007-09-20 Nec Corporation 標準パタン適応装置、標準パタン適応方法および標準パタン適応プログラム
JP2007248730A (ja) * 2006-03-15 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> 音響モデル適応装置、音響モデル適応方法、音響モデル適応プログラム及び記録媒体
JP2008129527A (ja) * 2006-11-24 2008-06-05 Nippon Telegr & Teleph Corp <Ntt> 音響モデル生成装置、方法、プログラム及びその記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272462B1 (en) * 1999-02-25 2001-08-07 Panasonic Technologies, Inc. Supervised adaptation using corrective N-best decoding
JP2001134285A (ja) * 1999-11-01 2001-05-18 Matsushita Electric Ind Co Ltd 音声認識装置
US7209881B2 (en) * 2001-12-20 2007-04-24 Matsushita Electric Industrial Co., Ltd. Preparing acoustic models by sufficient statistics and noise-superimposed speech data
JP3981640B2 (ja) * 2003-02-20 2007-09-26 日本電信電話株式会社 音素モデル学習用文リスト生成装置、および生成プログラム
US7412383B1 (en) * 2003-04-04 2008-08-12 At&T Corp Reducing time for annotating speech data to develop a dialog application
KR100612840B1 (ko) * 2004-02-18 2006-08-18 삼성전자주식회사 모델 변이 기반의 화자 클러스터링 방법, 화자 적응 방법및 이들을 이용한 음성 인식 장치
US7529669B2 (en) * 2006-06-14 2009-05-05 Nec Laboratories America, Inc. Voice-based multimodal speaker authentication using adaptive training and applications thereof
US8155961B2 (en) * 2008-12-09 2012-04-10 Nokia Corporation Adaptation of automatic speech recognition acoustic models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132288A (ja) * 2000-10-24 2002-05-09 Fujitsu Ltd エンロール文音声入力方法とエンロール文音声入力装置とそれを実現するためのプログラムを記録した記録媒体
WO2007105409A1 (ja) * 2006-02-27 2007-09-20 Nec Corporation 標準パタン適応装置、標準パタン適応方法および標準パタン適応プログラム
JP2007248730A (ja) * 2006-03-15 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> 音響モデル適応装置、音響モデル適応方法、音響モデル適応プログラム及び記録媒体
JP2008129527A (ja) * 2006-11-24 2008-06-05 Nippon Telegr & Teleph Corp <Ntt> 音響モデル生成装置、方法、プログラム及びその記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANI ET AL.: "Jubun Tokeiryo o Mochiita Kyoshi Nashi Washa Tekio ni Okeru Washa Sentakuho", IEICE TECHNICAL REPORT NLC2007-33-86, vol. 107, no. 405, 13 December 2007 (2007-12-13), pages 85 - 89 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772164B2 (ja) * 2009-01-30 2011-09-14 三菱電機株式会社 音声認識装置

Also Published As

Publication number Publication date
JP5376341B2 (ja) 2013-12-25
JPWO2010050414A1 (ja) 2012-03-29
US20110224985A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
US11990127B2 (en) User recognition for speech processing systems
US11270685B2 (en) Speech based user recognition
CN106463113B (zh) 在语音辨识中预测发音
US11798556B2 (en) Configurable output data formats
US6836760B1 (en) Use of semantic inference and context-free grammar with speech recognition system
JP5327054B2 (ja) 発音変動規則抽出装置、発音変動規則抽出方法、および発音変動規則抽出用プログラム
US7275034B2 (en) Word-specific acoustic models in a speech recognition system
US10176809B1 (en) Customized compression and decompression of audio data
US8494853B1 (en) Methods and systems for providing speech recognition systems based on speech recordings logs
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
CN113692616B (zh) 用于在端到端模型中的跨语言语音识别的基于音素的场境化
US6839667B2 (en) Method of speech recognition by presenting N-best word candidates
US8731926B2 (en) Spoken term detection apparatus, method, program, and storage medium
US7292976B1 (en) Active learning process for spoken dialog systems
JP2004362584A (ja) テキストおよび音声の分類のための言語モデルの判別トレーニング
US10515637B1 (en) Dynamic speech processing
JP2006038895A (ja) 音声処理装置および音声処理方法、プログラム、並びに記録媒体
Kurimo et al. Modeling under-resourced languages for speech recognition
JP5376341B2 (ja) モデル適応装置、その方法及びそのプログラム
JP7544989B2 (ja) ルックアップテーブルリカレント言語モデル
Decadt et al. Transcription of out-of-vocabulary words in large vocabulary speech recognition based on phoneme-to-grapheme conversion
JP2002278584A (ja) 言語モデル生成装置及びこれを用いた音声認識装置、並びにこれらの方法、これらのプログラムを記録したコンピュータ読み取り可能な記録媒体
Razavi et al. On the Application of Automatic Subword Unit Derivation and Pronunciation Generation for Under-Resourced Language ASR: A Study on Scottish Gaelic

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09823525

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010535770

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12998469

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09823525

Country of ref document: EP

Kind code of ref document: A1