WO2020166322A1 - 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム - Google Patents

学習データ取得装置、モデル学習装置、それらの方法、およびプログラム Download PDF

Info

Publication number
WO2020166322A1
WO2020166322A1 PCT/JP2020/003062 JP2020003062W WO2020166322A1 WO 2020166322 A1 WO2020166322 A1 WO 2020166322A1 JP 2020003062 W JP2020003062 W JP 2020003062W WO 2020166322 A1 WO2020166322 A1 WO 2020166322A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
learning
data
speech
signal
Prior art date
Application number
PCT/JP2020/003062
Other languages
English (en)
French (fr)
Inventor
隆朗 福冨
中村　孝
清彰 松井
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/429,737 priority Critical patent/US11942074B2/en
Publication of WO2020166322A1 publication Critical patent/WO2020166322A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • G10L2025/786—Adaptive threshold
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to a learning data acquisition device that acquires learning data used when learning a model for detecting speech or non-speech, a model learning device that learns a model using the learning data, a method thereof, and a program.
  • Non-Patent Document 1 is known as a utterance section detection technique that detects only an utterance section (speech section) from an input signal and excludes a section that is not uttering (non-speech section).
  • the non-voice section here is a section that is not required by an application that uses the utterance section detection technology, and the utterance section of the utterance spoken by another speaker around the speaker to be detected is also treated as the non-voice section. ..
  • the utterance section detection technology has the role of excluding unnecessary signals (non-speech) as a pre-process of speech recognition, and prevents deterioration of recognition accuracy.
  • a utterance section detection technology a utterance section (speech) and a non-speech section (non-speech) are detected by using a statistical voice/non-speech model which is constructed by learning acoustic characteristics of voice and non-speech as learning data in advance. There is a method (see Non-Patent Document 1).
  • speech likelihood, non-speech likelihood is calculated for each frame of the input signal, and the speech section is calculated by comparing the likelihood ratio with a predetermined threshold, It is determined to be a non-voice section.
  • SN ratio superimposition conditions
  • the sound is artificially generated in a noisy environment, a sound that cannot be used in an actual usage scene may be generated.
  • an erroneous feature is learned based on a voice that cannot be used in an actual usage scene, and thus the learned model may cause erroneous detection or erroneous rejection.
  • the learning data is generated only under the condition that the SN ratio is good (condition that is not noisy), it may not be useful learning data for the voice/non-voice model, and the accuracy may not be improved.
  • the present invention provides a learning data acquisition device that can acquire learning data by superimposing noise data on clean speech data with an appropriate SN ratio, a model learning device that learns a model using the learning data, methods thereof, and The purpose is to provide the program.
  • learning data can be acquired by superimposing noise data on clean speech data with an appropriate S/N ratio, and by using the learning data, a model with good detection accuracy can be learned. Play.
  • the functional block diagram of the model learning device which concerns on 1st embodiment The figure which shows the example of the process flow of the model learning apparatus which concerns on 1st embodiment.
  • the data used for the learning data is prepared after grasping how much the voice recognition rate is affected, including good influences and bad influences. Therefore, an appropriate noise superposition level (SN ratio) is calculated from the error tendency of speech recognition, noise is superposed on clean speech according to the level, and learning data is constructed.
  • SN ratio noise superposition level
  • FIG. 1 is a functional block diagram of the model learning device according to the first embodiment, and FIG. 2 shows its processing flow.
  • the model learning device includes a noise-superimposed speech generation unit 101, a speech recognition influence degree calculation unit 102, a learning data acquisition unit 103, and a model learning unit 104.
  • the model learning device receives clean speech data for learning and noise data for learning as input, acquires learning data from these data, and uses the acquired learning data as a model for detecting speech or non-speech. Learn and output the model of the learning result.
  • the model learning device is, for example, a special program configured by loading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. It is a device.
  • the model learning device executes each process under the control of the central processing unit, for example.
  • the data input to the model learning device and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out to the central processing unit as necessary and is It is used for processing.
  • At least a part of each processing unit of the model learning device may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the model learning device can be configured by, for example, a main storage device such as a RAM (Random Access Memory) or middleware such as a relational database or a key-value store.
  • a main storage device such as a RAM (Random Access Memory) or middleware such as a relational database or a key-value store.
  • middleware such as a relational database or a key-value store.
  • each storage unit does not necessarily have to be provided inside the model learning device, and is configured by an auxiliary storage device configured by a semiconductor memory device such as a hard disk, an optical disk, or a flash memory (Flash Memory). May be provided outside the device.
  • the noise-superimposed speech generation unit 101 receives the clean speech data for learning and the noise data for learning as input, and sets the signal-to-noise ratio (hereinafter, also referred to as SN ratio) of predetermined noise data to K levels in the clean speech data. By changing and superposing, K noise-superimposed speech data is generated (S101) and output.
  • the noise data prepared here may include voice data in the noise data itself such as crowd, but such voice data is treated as noise data (non-voice data). This is because the model of the learning result treats only the speech of the speaker as the detection target as the utterance section and treats the speech and the background speech of the speakers other than the detection target as the non-speech section.
  • the voice recognition influence degree calculation unit 102 calculates voice recognition accuracy for K pieces of noise-superimposed voice data having different SN ratios.
  • the utterance interval detection accuracy mainly affects the deletion error E D (the error that occurs when the voice segment is dropped) and the insertion error E I (the error that occurs when the voice segment is cut too much) in the speech recognition, and replaces it.
  • the effect on the error E S (error in the correct utterance interval) is small. Therefore, the degree of the influence of the speech section detection on the speech recognition accuracy due to the change of the SN ratio is formulated by the following equation using the deletion error E D and the insertion error E I.
  • M is the number of audio files
  • i 1,2,...,M
  • N i is the number of characters (or words) of the i-th utterance (audio file)
  • ⁇ is the deletion error weight (0.0 to 1.0), and when noise data that is prone to deletion errors is superimposed, set it to a small value such as 0.3.
  • the above equation represents the degree of influence on the recognition accuracy when the SN ratio is changed from the (k-1)th value to the kth value.
  • the method of obtaining the degree of influence on the voice recognition accuracy due to the change of the SN ratio is not limited to the equation (1), and other methods may be used.
  • the voice recognition influence degree calculation unit 102 obtains the largest SN ratio SNR apply of the SN ratios of the k-1th noise-superimposed voice data when the degree of influence matches the given threshold condition (S102-2). , To the learning data acquisition unit 103. For example, when using the degree of influence obtained by the equation (1), the larger the degree of influence obtained by the equation (1), the greater the influence.
  • the speech recognition influence degree calculation unit 102 obtains the SN ratio SNR apply of the (k-1)th noise-superimposed speech data when the degree of influence of the kth noise-superimposed speech data exceeds a predetermined threshold ⁇ .
  • the voice recognition influence degree calculation unit 102 determines that the utterance section detection accuracy is significantly deteriorated when the degree of influence exceeds the threshold value ⁇ , and the learning data acquisition unit 103, which will be described later, determines the k ⁇ 1th SN ratio. This is because the above SN ratio is used as the SN ratio used for noise superposition of clean speech data. False detection in the utterance section detection is very peaky (it suddenly detects a section that is significantly different from the section that has been detected up to that point), and thus the effect of changing the SN ratio is used as a measure. There is.
  • the threshold condition a case where the threshold value is smaller than or equal to or smaller than the threshold value is used.
  • the learning data acquisition unit 103 receives the SN ratio SNR apply as input, acquires noise-superimposed speech data having an SN ratio equal to or higher than the SN ratio SNR apply as learning data (S103), and outputs the learning data.
  • the learning data acquisition unit 103 receives the clean speech data for learning and the noise data for learning as input, and outputs predetermined noise data to the clean speech data so that the SN ratio is equal to or higher than the SN ratio SNR apply. Superimpose, generate as learning data, and acquire.
  • SN ratio SNR apply ⁇ (1+ ⁇ ) SNR apply may be used to superimpose predetermined noise data on clean speech data and generate it as learning data.
  • ⁇ is a predetermined value indicating a range calculated in advance by simulation or experiment in order to obtain an appropriate SN ratio that is not too large, and is either a positive real number.
  • the model learning unit 104 receives correct answer data and learning data as input, learns a model for detecting voice or non-voice using the correct answer data and learning data (S104), and outputs the learned model.
  • the model learning framework may be any method capable of binary classification. For example, it is preferable to use a deep learning technology (see Reference 1)-based method such as LSTM that can consider long-term time series information.
  • model learning framework is not limited to DNN or LSTM, and SVM (support vector machine) or the like may be applied.
  • the correct answer data is information indicating a voice section or a non-voice section of the clean voice data for learning.
  • the correct answer data is a voice section or a non-voice section added to the clean voice data for learning at each time. May be a label indicating the start time and end time of the voice section or the non-voice section, and information indicating the length of the section.
  • Correct data may be manually added, or clean voice data for learning may be input to an existing voice non-voice detection device or voice recognition device to process the voice non-voice detection device or the voice recognition device.
  • Information indicating a voice section or a non-voice section generated in the process may be used.
  • noise data can be superimposed on clean speech data with an appropriate SN ratio to acquire learning data, and a model with high detection accuracy can be learned by using the learning data.
  • the noise-superimposed speech generation unit 101, the speech recognition influence degree calculation unit 102, and the learning data acquisition unit 103 may be taken out from the model learning device of the first embodiment and may function as a learning data acquisition device. Even with such a configuration, learning data can be acquired by superimposing noise data on clean speech data with an appropriate SN ratio. Further, the model may be learned by another device using the acquired learning data.
  • the speech recognition influence degree calculation unit 102 and the learning data acquisition unit 103 may be taken out from the model learning device of the first embodiment and may be made to function as a learning data acquisition device.
  • the processing in the noise-superimposed speech generation unit 101 may be realized by another device.
  • the SN ratio is set in steps of 5 dB when superimposing noise data on clean speech data has been described, but a peaky (a section that is significantly different from the section that has been detected until then is detected). If the SN ratio that behaves can be predicted to some extent, the step width may be set to be small before and after the predictable SN ratio.
  • the processing content of the learning data acquisition unit 103 is different from that of the first embodiment.
  • the learning data acquisition unit 103 receives the SN ratio SNR apply as input, acquires noise-superimposed speech data having an SN ratio equal to or higher than the SN ratio SNR apply as learning data (S103), and outputs the learning data.
  • the learning data acquisition unit 103 selects noise-superimposed speech data having an SN ratio equal to or higher than the signal-to-noise ratio SNR apply from the K noise-superimposed speech data generated by the noise-superimposed speech generation unit 101. , As learning data.
  • noise should be superimposed on clean speech with an appropriate SN ratio that is not too large. It is advisable to select the noise-superimposed speech data of and acquire it as learning data.
  • ⁇ is a predetermined value indicating a range calculated in advance by simulation, experiment, or the like to obtain an appropriate SN ratio that is not too large, and is any positive integer.
  • the voice recognition influence degree calculation S102-1 to the model learning S104 may be repeated as shown by the broken line in FIG.
  • the case where the convergence condition is not satisfied means that the detection accuracy is not improved for a voice with a low SN ratio condition and the detection accuracy is not with a voice with a high SN ratio condition, for example, when the learned model does not have a detection accuracy. This is the case when there is no deterioration. If the detection accuracy deteriorates with speech with a high SN ratio, the learned model is discarded, speech with a higher SN ratio is added to the learning data, and model learning is restarted from the beginning. Good.
  • Model learning unit 104 learns a model for detecting voice or non-voice using the correct answer data and the learning data (S104).
  • the model learning unit 104 determines whether or not the result of the model learning satisfies the above-described predetermined convergence condition (S104-2). A control signal is output to the degree calculation unit 102 and the learning data acquisition unit 103 so that the processes S102-1 to S103 are performed again. If it is determined that the convergence condition is satisfied, the processing is terminated, and the learned model when the convergence condition is satisfied is output.
  • the voice recognition influence degree calculation unit 102 performs the same processes S102-1 and S102-2 as those in the second embodiment when the model learning has not been performed even once.
  • the speech recognition influence degree calculation unit 102 uses the model learned by the model learning unit 104 for the speech section detection process included in the speech recognition process after the model learning unit 104 once learns the speech recognition due to the change in the SN ratio.
  • the degree of influence on accuracy is calculated (S102-1).
  • the speech recognition influence degree calculation unit 102 (1) from the next k-th noise-superimposed speech data that has adopted SNR apply last time (that is, the upper limit of the SN ratio is set to the SN ratio of the k-th noise-superimposed speech data). Change), it is possible to start calculating the degree of influence on the voice recognition accuracy due to the change of the SN ratio, and (2) k-1th (that is, the upper limit of the SN ratio of the k-1th noise-superimposed speech data (Change to SN ratio) to calculate with a new step width of SN ratio.
  • the step width of the new SN ratio may be set smaller than the previous step width.
  • the noise-superimposed speech generation unit 101 is configured to change the upper limit of the SN ratio to the SN ratio of the k-1th noise-superimposed speech data, and further change the step width of the SN ratio.
  • the control signal is output so that the process S101 is performed again.
  • the noise-superimposed speech generation unit 101 superimposes on the clean speech data by changing the SN ratio of predetermined noise data into L steps in a new step width of the SN ratio from the (k-1)th noise noise-superimposed speech data. To generate.
  • L is any integer of 2 or more.
  • the speech recognition influence degree calculation unit 102 performs the same processing by inputting L pieces of noise-superimposed speech data instead of K pieces of noise-superimposed speech data.
  • the voice recognition influence degree calculation unit 102 obtains a plurality of SN ratios of the k ⁇ 1th noise-superimposed voice data that matches the threshold condition given the degree of influence.
  • the learning data acquisition unit 103 causes the noise-superimposed speech data having the SN ratio SNR apply[j+1] or more, which is the next highest SN ratio.
  • the learning data of is acquired and model learning is repeated.
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, or the like.
  • Distribution of this program is performed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, this program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage unit. Then, when executing the process, this computer reads the program stored in its own storage unit and executes the process according to the read program. Further, as another embodiment of this program, the computer may directly read the program from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer to this computer, the processing according to the received program may be sequentially executed. In addition, the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by executing the execution instruction and the result acquisition without transferring the program from the server computer to this computer. May be
  • the program includes information used for processing by an electronic computer and equivalent to the program (data that is not a direct command to a computer but has the property of defining processing of a computer).
  • each device is configured by executing a predetermined program on a computer, at least a part of the processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Machine Translation (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

適切なSN比でクリーン音声データに雑音データを重畳して学習データを取得することできる学習データ取得装置等を提供する。学習データ取得装置は、Kを2以上の整数の何れかとし、k=2,3,…,Kとし、k番目の雑音重畳音声データの信号対雑音比はk-1番目の雑音重畳音声データの信号対雑音比よりも小さいものとし、k番目の雑音重畳音声データに対する音声認識の結果と、k-1番目の雑音重畳音声データに対する音声認識の結果とに基づき、信号対雑音比の変化による音声認識精度への影響の度合いを算出し、影響の度合いが与えられた閾値条件に合致するときのk-1番目の雑音重畳音声データの信号対雑音比のうち最も大きい信号対雑音比SNRapplyを得る音声認識影響度算出部と、信号対雑音比SNRapply以上の信号対雑音比である雑音重畳音声データを学習データとして取得する学習データ取得部とを含む。

Description

学習データ取得装置、モデル学習装置、それらの方法、およびプログラム
　本発明は、音声または非音声を検出するためのモデルを学習する際に用いる学習データを取得する学習データ取得装置、その学習データを用いてモデルを学習するモデル学習装置、それらの方法、およびプログラムに関する。
　入力信号から発話区間（音声区間）のみを検出し、発話していない区間（非音声区間）を除外する発話区間検出技術として非特許文献１が知られている。ここでの非音声区間は、発話区間検出技術を用いるアプリケーションが不要とする区間であり、検出したい話者の周囲で別の話者が話している発話の発話区間なども非音声区間として扱われる。
　発話区間検出技術は、音声認識の事前処理として、不要な信号（非音声）を除外する役割を持っており、認識精度の低下を防いでいる。
　発話区間検出技術として、事前に音声と非音声の音響的な特徴を学習データとして構築した統計的な音声・非音声モデルを用いて、発話区間（音声）と非発話区間（非音声）を検出する手法が存在する（非特許文献１参照）。
　音声・非音声モデルに基づく発話区間検出技術では、入力信号の各フレームに対して音声尤度、非音声尤度を算出し、その尤度比などを所定の閾値と比較することで音声区間、非音声区間と判定している。
　さまざまな雑音環境下で頑健に発話区間を検出するためには、音声・非音声モデルをさまざまな雑音環境下での音声データで学習させる必要がある。
藤本雅清, "音声区間検出の基礎と最近の研究動向", IEICE Technical Report., SP2010-23（2010-06）
　しかしながら、モデル構築に必要な雑音環境下での音声データは大量に用意することが難しいため、雑音と混じっていない音声（以下、クリーン音声ともいう）に擬似的に雑音を重畳させ、学習データとしている。
　雑音重畳にあたっては想定利用シーンに合わせて適当な重畳条件（SN比）を人手で調整している。擬似的に雑音環境下での音声を生成しているため、実利用シーンではありえないような音声を生成することがある。この場合、実利用シーンではありえないような音声に基づき、誤った特徴を学習するため、学習したモデルが、誤検出、誤棄却を生じさせてしまうことがある。たとえば、高雑音環境下で小さな声で話す音声を学習し、誤検出を生じやすくしてしまうなどの問題が生じる。また、SN比の良い条件（うるさくない条件）のみの学習データを生成すると、音声・非音声モデルの有益な学習データとならず、精度が改善しない場合がある。そのため、学習データとして、現在のモデルではうまく動作しない範囲のデータ（強化すべきデータ）を用意する必要がある。要は、精度の高い音声・非音声モデルを学習するためには、小さ過ぎず、かつ、大き過ぎない適切なSN比となるようにクリーン音声に雑音を重畳し、学習データを生成する必要がある。
　本発明は、適切なSN比でクリーン音声データに雑音データを重畳して学習データを取得することできる学習データ取得装置、その学習データを用いてモデルを学習するモデル学習装置、それらの方法、およびプログラムを提供することを目的とする。
　上記の課題を解決するために、本発明の一態様によれば、学習データ取得装置は、Kを2以上の整数の何れかとし、k=2,3,…,Kとし、k番目の雑音重畳音声データの信号対雑音比はk-1番目の雑音重畳音声データの信号対雑音比よりも小さいものとし、k番目の雑音重畳音声データに対する音声認識の結果と、k-1番目の雑音重畳音声データに対する音声認識の結果とに基づき、信号対雑音比の変化による音声認識精度への影響の度合いを算出し、影響の度合いが与えられた閾値条件に合致するときのk-1番目の雑音重畳音声データの信号対雑音比のうち最も大きい信号対雑音比SNRapplyを得る音声認識影響度算出部と、信号対雑音比SNRapply以上の信号対雑音比である雑音重畳音声データを学習データとして取得する学習データ取得部とを含む。
　本発明によれば、適切なSN比でクリーン音声データに雑音データを重畳して学習データを取得することでき、その学習データを用いることで検出精度の良いモデルを学習することができるという効果を奏する。
第一実施形態に係るモデル学習装置の機能ブロック図。 第一実施形態に係るモデル学習装置の処理フローの例を示す図。
　以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態のポイント＞
　本実施形態では、学習データに使用するデータは、良い影響、悪い影響を含め、どの程度音声認識率に影響するかを捉えた上で用意する。そこで、音声認識の誤り傾向から適切な雑音重畳レベル（SN比）を算出し、そのレベルに合わせクリーン音声に雑音を重畳し、学習データを構築する。
＜第一実施形態＞
　図１は第一実施形態に係るモデル学習装置の機能ブロック図を、図２はその処理フローを示す。
　モデル学習装置は、雑音重畳音声生成部１０１と、音声認識影響度算出部１０２と、学習データ取得部１０３と、モデル学習部１０４とを含む。
　モデル学習装置は、学習用のクリーン音声データと学習用の雑音データとを入力とし、これらのデータから学習データを取得し、取得した学習データを用いて音声または非音声を検出するためのモデルを学習し、学習結果のモデルを出力する。
　モデル学習装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。モデル学習装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。モデル学習装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。モデル学習装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。モデル学習装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしもモデル学習装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、モデル学習装置の外部に備える構成としてもよい。
　以下、各部について説明する。
＜雑音重畳音声生成部１０１＞
　雑音重畳音声生成部１０１は、学習用のクリーン音声データと学習用の雑音データとを入力とし、クリーン音声データに所定の雑音データの信号対雑音比(以下、SN比ともいう)をK段階に変えて重畳して、K個の雑音重畳音声データを生成し（Ｓ１０１）、出力する。なお、Kを2以上の整数の何れかとする。たとえば、-30dBから+30dB程度まで5dB刻みなどで設定すると良い(この場合、K=13)。ここで用意する雑音データには、人混みなど雑音データ自体に音声データが含まれている場合もあるが、そういった音声データは雑音データ（非音声データ）として扱う。これは、学習結果のモデルが、検出対象となる話者の話す音声のみを発話区間として扱い、検出対象以外の話者の話す音声や背景音声を非発話区間として扱うためである。
＜音声認識影響度算出部１０２＞
　音声認識影響度算出部１０２は、SN比の異なるK個の雑音重畳音声データを入力とし、k番目の雑音重畳音声データに対する音声認識の結果と、k-1番目の雑音重畳音声データに対する音声認識の結果とに基づき、SN比の変化による音声認識精度への影響の度合いを算出する（Ｓ１０２－１）。ただし、k=2,3,…,Kとし、k番目の雑音重畳音声データのSN比はk-1番目の雑音重畳音声データのSN比よりも小さいものとする。例えば、音声認識影響度算出部１０２は、SN比の異なるK個の雑音重畳音声データに対して、音声認識精度を算出する。発話区間検出精度は主に、音声認識の削除誤りED（音声区間を取りこぼしてしまった時に生じる誤り）及び挿入誤りEI（音声区間を取り過ぎてしまった時に生じる誤り）に影響し、置換誤りES（正しい発話区間内での誤り）への影響は小さい。そこで、SN比の変更による発話区間検出の音声認識精度への影響の度合いを削除誤りED及び挿入誤りEIを用いて次式で定式化する。
Figure JPOXMLDOC01-appb-M000001
ここで、Mは音声ファイルの数、i=1,2,…,M、Niはi番目の発話(音声ファイル)の文字数（もしくは単語数）、snr=kはSN比をSN比の上限(例えば+30dB)から、あるステップ幅(5dBなど)毎に小さくし設定していった場合のk番目のSN比、ED,snr=kは削除誤り文字数（もしくは単語数）、EI,snr=kは挿入誤り文字数（もしくは単語数）、αは削除誤り重み(0.0～1.0)で、削除誤りが起こりやすい雑音データを重畳した場合は、0.3など小さい値に設定すると良く、通常は、0.5に設定すると良い。上式は、SN比をk-1番目からk番目の値に変更した場合の認識精度への影響度合いを表している。なお、削除誤り文字数ED,snr=kや挿入誤り文字数EI,snr=kは、既存の音声認識モデルに対して雑音重畳音声データを与えて、音声認識結果を得、音声認識結果と正解データ(例えば雑音重畳音声データに含まれる音声データに対応する正しいテキストデータ)とを比較することで取得することができる。この正解データは人手により与えてもよいし、雑音重畳音声データに対応するクリーン音声データに対して既存の音声認識モデルを用いて音声認識を行った結果を正解データとして用いてもよい。
　なお、SN比の変化による音声認識精度への影響の度合いの求め方は式(1)に限定されるものではなく、他の方法により求めてもよい。
　音声認識影響度算出部１０２は、影響の度合いが与えられた閾値条件に合致するときのk-1番目の雑音重畳音声データのSN比のうち最も大きいSN比SNRapplyを得（Ｓ１０２－２）、学習データ取得部１０３に出力する。例えば、式(1)で求めた影響の度合いを用いる場合、式(1)で求めた影響の度合いは大きければ大きいほど影響が大きいことを示すため、閾値条件として
Figure JPOXMLDOC01-appb-M000002
等を用いることができる。この場合、音声認識影響度算出部１０２は、k番目の雑音重畳音声データの影響の度合いが所定の閾値θを超えたときのk-1番目の雑音重畳音声データのSN比SNRapplyを得る。
　これは、音声認識影響度算出部１０２が、影響の度合いが閾値θを超えた場合に発話区間検出精度が大きく劣化したと判断し、後述する学習データ取得部１０３においてk-1番目のSN比以上のSN比をクリーン音声データの雑音重畳に用いるSN比とするためである。発話区間検出における誤検出は、非常にピーキーな（突如それまで検出していた区間と大きく異なる区間を検出してしまう）振る舞いをするため、このようにSN比の変更による影響を尺度として用いている。
　なお、k=2,3,…,Kに対応するK-1個の影響の度合いのうち、閾値θを超える影響の度合いが2個以上あった場合、閾値θを超える影響の度合いに対応するk-1番目の雑音重畳音声データのSN比のうち、最も大きいSN比をSN比SNRapplyとする。これは、最も大きいSN比よりも小さいSN比では、ピーキーな振る舞いをした後であり、誤検出が多く、学習データとして適当とは言えないためである。そのため、例えば、k=2から昇順に影響の度合いを算出し、閾値θを超えたときに処理を終了し、以降の影響の度合いの算出等を省略してもよい。
　なお、影響の度合いを示す値が、大きければ大きいほど影響が小さいことを示す場合(例えば、式(1)で求めた影響の度合いの逆数等を影響の度合いを示す値として用いる場合)には、閾値条件として閾値より小さい場合や閾値以下の場合等を用いる。
＜学習データ取得部１０３＞
　学習データ取得部１０３は、SN比SNRapplyを入力とし、SN比SNRapply以上のSN比である雑音重畳音声データを学習データとして取得し（Ｓ１０３）、出力する。
　本実施形態では、学習データ取得部１０３は、学習用のクリーン音声データと学習用の雑音データとを入力とし、SN比SNRapply以上のSN比になるようにクリーン音声データに所定の雑音データを重畳し、学習データとして生成し、取得する。
　なお、前述の通り、精度の高い音声・非音声モデルを学習するためには、大き過ぎない適切なSN比でクリーン音声に雑音を重畳するとよいため、特にSN比SNRapply～(1+γ)SNRapplyでクリーン音声データに所定の雑音データを重畳し、学習データとして生成するとよい。γは大き過ぎない適切なSN比を得るためにシミュレーションや実験等により予め計算したレンジを示す所定の値であり、正の実数の何れかである。
＜モデル学習部１０４＞
　モデル学習部１０４は、正解データと学習データとを入力とし、正解データと学習データを用いて、音声または非音声を検出するためのモデルを学習し（Ｓ１０４）、学習したモデルを出力する。モデル学習の枠組みとしては、二値分類出来る手法であれば良い。たとえば、長時間の時系列情報も考慮可能なLSTMなどの深層学習技術(参考文献１参照)ベースの手法などを用いると良い。
(参考文献１)Hinton et al., "Deep Neural Networks for Acoustic Modeling in Speech Recognition", IEEE SP magazine, Nov. 2012
また、モデル学習の枠組みは、DNNやLSTMに限定されるものではなく、SVM(support vector machine)等を適用してもよい。
　なお、正解データは、学習用のクリーン音声データの音声区間または非音声区間を示す情報であり、例えば、学習用のクリーン音声データに時刻毎に付与された、音声区間または非音声区間であることを示すラベルであってもよいし、音声区間または非音声区間の開始時間と終了時刻や区間の長さを示す情報等であってもよい。正解データは人手により付与してもよいし、学習用のクリーン音声データを、既存の音声非音声検出装置や音声認識装置に入力し、音声非音声検出装置の処理結果や、音声認識装置の処理過程で生じる音声区間または非音声区間を示す情報を利用してもよい。
＜効果＞
　以上の構成により、適切なSN比でクリーン音声データに雑音データを重畳して学習データを取得することでき、その学習データを用いることで検出精度の良いモデルを学習することができる。
＜変形例＞
　第一実施形態のモデル学習装置から雑音重畳音声生成部１０１、音声認識影響度算出部１０２と、学習データ取得部１０３とを取り出し、学習データ取得装置として機能させてもよい。そのような構成であっても、適切なSN比でクリーン音声データに雑音データを重畳して学習データを取得することできる。さらに、取得した学習データを用いて、別の装置でモデルを学習すればよい。
　また、第一実施形態のモデル学習装置から音声認識影響度算出部１０２と、学習データ取得部１０３とを取り出し、学習データ取得装置として機能させてもよい。雑音重畳音声生成部１０１における処理に関しては、別装置により実現すればよい。
　本実施形態では、クリーン音声データに雑音データを重畳する際にSN比を5dB刻みなどで設定する例を示したが、ピーキーな（突如それまで検出していた区間と大きく異なる区間を検出してしまう）振る舞いをするSN比がある程度予測できる場合には、予測できるSN比及びその前後ではステップ幅を小さく設定してもよい。
＜第二実施形態＞
　第一実施形態と異なる部分を中心に説明する。
　学習データ取得部１０３の処理内容が、第一実施形態とは異なる。
＜学習データ取得部１０３＞
　学習データ取得部１０３は、SN比SNRapplyを入力とし、SN比SNRapply以上のSN比である雑音重畳音声データを学習データとして取得し（Ｓ１０３）、出力する。
　本実施形態では、学習データ取得部１０３は、雑音重畳音声生成部１０１で生成したK個の雑音重畳音声データの中から信号対雑音比SNRapply以上のSN比である雑音重畳音声データを選択し、学習データとして取得する。
　なお、前述の通り、精度の高い音声・非音声モデルを学習するためには、大き過ぎない適切なSN比でクリーン音声に雑音を重畳するとよいため、特にk-1番目～k-1-δの雑音重畳音声データを選択し、学習データとして取得するとよい。δは大き過ぎない適切なSN比を得るためにシミュレーションや実験等により予め計算したレンジを示す所定の値であり、正の整数の何れかである。
＜効果＞
　このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、クリーン音声に雑音重畳を行うコストを削減することができる。
＜第三実施形態＞
　第二実施形態と異なる部分を中心に説明する。
　モデル学習部１０４において、モデル学習の結果、予め定めた収束条件を満たさない場合、図２に破線で示すとおり音声認識影響度算出Ｓ１０２－１～モデル学習Ｓ１０４を繰り返しても良い。ここで収束条件を満たさない場合とは、例えば学習したモデルでは検出精度がでない状況で、低いSN比条件の音声に対して検出精度が改善されず、かつ高SN比の条件の音声で検出精度劣化がない場合である。なお、高SN比の条件の音声で検出精度劣化があった場合には、学習済モデルを破棄し、より高SN比の条件の音声を学習データに加えて、最初からモデル学習をやり直す構成としてもよい。
＜モデル学習部１０４＞
　モデル学習部１０４は、正解データと学習データを用いて、音声または非音声を検出するためのモデルを学習する（Ｓ１０４）。
　さらに、モデル学習部１０４は、モデル学習の結果が上述の予め定めた収束条件を満たすか否かを判定し（Ｓ１０４－２）、予め定めた収束条件を満たさないと判定した場合、音声認識影響度算出部１０２、学習データ取得部１０３へ再度処理Ｓ１０２－１～Ｓ１０３を行うように制御信号を出力する。収束条件を満たしていると判定した場合は処理を終了し、収束条件を満たしときの学習したモデルを出力する。
＜音声認識影響度算出部１０２＞
　音声認識影響度算出部１０２は、一度もモデル学習をしていない場合、第二実施形態と同様の処理Ｓ１０２－１，Ｓ１０２－２を行う。
　音声認識影響度算出部１０２は、一度モデル学習部１０４で学習して以降は、モデル学習部１０４で学習したモデルを音声認識処理に含まれる発話区間検出処理に用いてSN比の変化による音声認識精度への影響の度合いを算出する（Ｓ１０２－１）。
　その際に音声認識影響度算出部１０２は、(1)前回SNRapplyを採用した次のk番目の雑音重畳音声データから(つまり、SN比の上限をk番目の雑音重畳音声データのSN比に変更する)、SN比の変化による音声認識精度への影響の度合いの算出を始めても良いし、(2)k-1番目(つまり、SN比の上限をk-1番目の雑音重畳音声データのSN比に変更する)から新たなSN比のステップ幅で算出を行っても良い。(2)の場合、例えば、新たなSN比のステップ幅を前回のステップ幅より小さく設定してもよい。これは、k-1番目の雑音重畳音声データのSN比とk番目の雑音重畳音声データのSN比との間でピーキーな振る舞いをするため（精度の谷が存在するため）、k-1番目の雑音重畳音声データのSN比からより緻密にSN比を刻んでいくことで、適切な影響の度合いを算出しやすいと考えられるためである。このような設定にする場合には、雑音重畳音声生成部１０１へ、SN比の上限をk-1番目の雑音重畳音声データのSN比に変更し、さらに、SN比のステップ幅を変更して、再度処理Ｓ１０１を行うように制御信号を出力する。雑音重畳音声生成部１０１は、k-1番目から新たなSN比のステップ幅で、クリーン音声データに所定の雑音データのSN比をL段階に変えて重畳して、L個の雑音重畳音声データを生成する。なお、Lを2以上の整数の何れかとする。音声認識影響度算出部１０２は、K個の雑音重畳音声データに代えて、L個の雑音重畳音声データを入力とし同様の処理を行う。
＜効果＞
　このような構成とすることで、モデル学習のコストを削減することができる。なお、本実施形態を第一実施形態と組合せてもよい。
＜変形例＞
　音声認識影響度算出部１０２において、影響の度合いが与えられた閾値条件に合致するk-1番目の雑音重畳音声データのSN比を複数得た場合とする。閾値条件に合致するk-1番目の雑音重畳音声データのSN比の数、j=1,2,…,Jとし、SN比の大きいものから順に、SNRapply[1],SNRapply[2],…SNRapply[J]として学習データ取得部１０３に出力・記憶しておき、j=1から順にSN比SNRapply[j]以上のSN比の雑音重畳音声データの学習データを用いてSNRモデル学習部１０４で学習した結果、収束条件を満たさなかった場合には、学習データ取得部１０３で、次に大きいSN比であるSN比SNRapply[j+1]以上のSN比の雑音重畳音声データの学習データを取得し、モデル学習を繰り返す。
　このような構成とすることで、音声認識影響度算出部にかかるコストを削減することが出来る。
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 　Kを2以上の整数の何れかとし、k=2,3,…,Kとし、k番目の雑音重畳音声データの信号対雑音比はk-1番目の雑音重畳音声データの信号対雑音比よりも小さいものとし、k番目の雑音重畳音声データに対する音声認識の結果と、k-1番目の雑音重畳音声データに対する音声認識の結果とに基づき、信号対雑音比の変化による音声認識精度への影響の度合いを算出し、影響の度合いが与えられた閾値条件に合致するときのk-1番目の雑音重畳音声データの信号対雑音比のうち最も大きい信号対雑音比SNRapplyを得る音声認識影響度算出部と
    　前記信号対雑音比SNRapply以上の信号対雑音比である雑音重畳音声データを学習データとして取得する学習データ取得部とを含む、
    　学習データ取得装置。
  2. 　請求項１の学習データ取得装置であって、
    　前記学習データ取得部は、
    　前記信号対雑音比SNRapply以上の信号対雑音比になるようにクリーン音声データに所定の雑音データを重畳し、学習データとして生成し、取得する、
    　学習データ取得装置。
  3. 　請求項１の学習データ取得装置であって、
    　クリーン音声データに所定の雑音データの信号対雑音比をK段階に変えて重畳して、K個の前記雑音重畳音声データを生成する雑音重畳音声生成部を含み、
    　前記学習データ取得部は、
    　前記K個の雑音重畳音声データの中から前記信号対雑音比SNRapply以上の信号対雑音比である雑音重畳音声データを選択し、学習データとして取得する、
    　学習データ取得装置。
  4. 　請求項１から請求項３の何れかの学習データ取得装置で取得した学習データを用いるモデル学習装置であって、
    　前記学習データを用いて、音声または非音声を検出するためのモデルを学習するモデル学習部を含む、
    　モデル学習装置。
  5. 　請求項４のモデル学習装置であって、
    　学習したモデルが予め定めた収束条件を満たさない場合、前記音声認識影響度算出部、学習データ取得部、前記モデル学習部における処理を繰り返し、
    　前記音声認識影響度算出部では音声認識を行う際に前記モデル学習部で学習したモデルを用いる、
    　モデル学習装置。
  6. 　Kを2以上の整数の何れかとし、k=2,3,…,Kとし、k番目の雑音重畳音声データの信号対雑音比はk-1番目の雑音重畳音声データの信号対雑音比よりも小さいものとし、k番目の雑音重畳音声データに対する音声認識の結果と、k-1番目の雑音重畳音声データに対する音声認識の結果とに基づき、信号対雑音比の変化による音声認識精度への影響の度合いを算出し、影響の度合いが与えられた閾値条件に合致するときのk-1番目の雑音重畳音声データの信号対雑音比のうち最も大きい信号対雑音比SNRapplyを得る音声認識影響度算出ステップと
    　前記信号対雑音比SNRapply以上の信号対雑音比である雑音重畳音声データを学習データとして取得する学習データ取得ステップとを含む、
    　学習データ取得方法。
  7. 　請求項６の学習データ取得方法で取得した学習データを用いるモデル学習方法であって、
    　前記学習データを用いて、音声または非音声を検出するためのモデルを学習するモデル学習ステップを含む、
    　モデル学習方法。
  8. 　請求項１から請求項３の何れかに記載の学習データ取得装置、または、請求項４もしくは請求項５のモデル学習装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/003062 2019-02-12 2020-01-29 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム WO2020166322A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/429,737 US11942074B2 (en) 2019-02-12 2020-01-29 Learning data acquisition apparatus, model learning apparatus, methods and programs for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-022516 2019-02-12
JP2019022516A JP7218601B2 (ja) 2019-02-12 2019-02-12 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020166322A1 true WO2020166322A1 (ja) 2020-08-20

Family

ID=72044897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003062 WO2020166322A1 (ja) 2019-02-12 2020-01-29 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム

Country Status (3)

Country Link
US (1) US11942074B2 (ja)
JP (1) JP7218601B2 (ja)
WO (1) WO2020166322A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050301A1 (zh) * 2021-09-30 2023-04-06 华为技术有限公司 语音质量评估、语音识别质量预测与提高的方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7218601B2 (ja) * 2019-02-12 2023-02-07 日本電信電話株式会社 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム
US11663494B2 (en) 2019-12-05 2023-05-30 Uchicago Argonne, Llc Systems and methods for hierarchical multi-objective optimization
US11651839B2 (en) 2020-03-02 2023-05-16 Uchicago Argonne, Llc Systems and methods for generating phase diagrams for metastable material states
US11710038B2 (en) * 2020-04-13 2023-07-25 Uchicago Argonne, Llc Systems and methods for active learning from sparse training data
WO2024106830A1 (ko) * 2022-11-17 2024-05-23 삼성전자 주식회사 폰북 기반의 성문 운용 방법 및 이를 지원하는 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117624A (ja) * 2002-09-25 2004-04-15 Ntt Docomo Inc 音声モデルの雑音適応化システム、雑音適応化方法、及び、音声認識雑音適応化プログラム
JP2007065491A (ja) * 2005-09-01 2007-03-15 Asahi Kasei Corp パターンモデル生成装置、パターンモデル評価装置およびパターン認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014034697A1 (ja) * 2012-08-29 2014-03-06 日本電信電話株式会社 復号方法、復号装置、プログラム、及びその記録媒体
US10540957B2 (en) * 2014-12-15 2020-01-21 Baidu Usa Llc Systems and methods for speech transcription
US10319374B2 (en) * 2015-11-25 2019-06-11 Baidu USA, LLC Deployed end-to-end speech recognition
US20200074997A1 (en) * 2018-08-31 2020-03-05 CloudMinds Technology, Inc. Method and system for detecting voice activity in noisy conditions
CN109473123B (zh) * 2018-12-05 2022-05-31 百度在线网络技术（北京）有限公司 语音活动检测方法及装置
JP7218601B2 (ja) * 2019-02-12 2023-02-07 日本電信電話株式会社 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117624A (ja) * 2002-09-25 2004-04-15 Ntt Docomo Inc 音声モデルの雑音適応化システム、雑音適応化方法、及び、音声認識雑音適応化プログラム
JP2007065491A (ja) * 2005-09-01 2007-03-15 Asahi Kasei Corp パターンモデル生成装置、パターンモデル評価装置およびパターン認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050301A1 (zh) * 2021-09-30 2023-04-06 华为技术有限公司 语音质量评估、语音识别质量预测与提高的方法及装置

Also Published As

Publication number Publication date
US11942074B2 (en) 2024-03-26
JP7218601B2 (ja) 2023-02-07
JP2020129094A (ja) 2020-08-27
US20220101828A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
WO2020166322A1 (ja) 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム
US10891944B2 (en) Adaptive and compensatory speech recognition methods and devices
JP2019522810A (ja) ニューラルネットワークベースの声紋情報抽出方法及び装置
JP2018160234A (ja) 音声認識のための学習方法、学習装置、コンピュータプログラム及び記憶媒体
JP6594839B2 (ja) 話者数推定装置、話者数推定方法、およびプログラム
JP6987378B2 (ja) ニューラルネットワークの学習方法及びコンピュータプログラム
Lee et al. Ensemble of jointly trained deep neural network-based acoustic models for reverberant speech recognition
US10089977B2 (en) Method for system combination in an audio analytics application
WO2022227935A1 (zh) 语音识别方法、装置、设备、存储介质及程序产品
CN113488023B (zh) 一种语种识别模型构建方法、语种识别方法
JP5994639B2 (ja) 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム
JP6244297B2 (ja) 音響スコア算出装置、その方法及びプログラム
Makishima et al. Enrollment-less training for personalized voice activity detection
WO2020015546A1 (zh) 一种远场语音识别方法、语音识别模型训练方法和服务器
US20220343917A1 (en) Scene-aware far-field automatic speech recognition
JP7028311B2 (ja) 学習用音声データ生成装置、その方法、およびプログラム
Heymans et al. Multi-style training for South African call centre audio
JP2021135314A (ja) 学習装置、音声認識装置、学習方法、および、学習プログラム
JP5651567B2 (ja) 音響モデル適応装置、音響モデル適応方法、およびプログラム
KR102017173B1 (ko) 강화학습 기반의 음성 향상 방법 및 시스템
JP7021437B2 (ja) 学習データ生成装置、学習データ生成方法、及びプログラム
US20240038217A1 (en) Preprocessing Model Building System for Speech Recognition Function and Preprocessing Model Building Method Therefor
US11894017B2 (en) Voice/non-voice determination device, voice/non-voice determination model parameter learning device, voice/non-voice determination method, voice/non-voice determination model parameter learning method, and program
US20240127848A1 (en) Quality estimation model for packet loss concealment
JP6588936B2 (ja) 雑音抑圧装置、その方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20756636

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20756636

Country of ref document: EP

Kind code of ref document: A1