WO2020250266A1 - 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム - Google Patents

識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム Download PDF

Info

Publication number
WO2020250266A1
WO2020250266A1 PCT/JP2019/022866 JP2019022866W WO2020250266A1 WO 2020250266 A1 WO2020250266 A1 WO 2020250266A1 JP 2019022866 W JP2019022866 W JP 2019022866W WO 2020250266 A1 WO2020250266 A1 WO 2020250266A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
output
layer
input
identification
Prior art date
Application number
PCT/JP2019/022866
Other languages
English (en)
French (fr)
Inventor
孝典 芦原
雄介 篠原
山口　義和
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2021525407A priority Critical patent/JP7176629B2/ja
Priority to PCT/JP2019/022866 priority patent/WO2020250266A1/ja
Priority to US17/617,264 priority patent/US20220246137A1/en
Publication of WO2020250266A1 publication Critical patent/WO2020250266A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention presents an identification model learning device for learning a model used for identifying a special utterance voice (for example, whispering voice, screaming voice, vocal fly), an identification device for identifying a special utterance voice, an identification model learning method, and identification. Regarding methods and programs.
  • Non-patent document 1 is a document relating to a model for classifying whispering utterances or normal utterances.
  • a model is learned in which a voice frame is input and a posterior probability (probability value of whispering or not) for the voice frame is output.
  • a module for example, a module that calculates the average value of all posterior probabilities is added to the latter stage of the model.
  • Non-Patent Document 2 as a document relating to a model that enables identification of multiple utterance mode (Whispered / Soft / Normal / Loud / Shouted) voice.
  • Non-Patent Document 1 since the non-utterance section is naturally determined to be a non-whispering voice section, even if the entire utterance is a whispering voice, it is erroneously determined to be a non-whispering voice depending on the length of the non-utterance section. Identification is easy to occur.
  • the accuracy of the model learning technique for identifying whispering generally varies depending on the amount of training data, and the smaller the amount of learning data, the lower the accuracy. Therefore, normally, the voices of the tasks to be identified (here, special utterance voices and non-special utterance voices that are relatively larger than the special utterance voices) are collected sufficiently and evenly, and the voices are labeled with the teacher data. By doing so, the desired learning data is collected. In particular, special utterance voices such as whispering voices and screaming voices rarely appear in ordinary dialogues due to their peculiarities, and an approach such as recording such special utterance voices separately is required. In Non-Patent Document 1, special utterance voice learning data (here, whisper voice) for achieving satisfactory accuracy is collected in advance. However, such learning data collection requires enormous financial and time costs.
  • an object of the present invention is to provide a discriminative model learning device that improves the discriminative model of special utterance voice.
  • the discriminative model learning device of the present invention inputs a feature quantity series in frame units based on learning data including a feature quantity series in frame units of an utterance and a binary label indicating whether or not the utterance is a special utterance.
  • the input layer that outputs the output result to the intermediate layer and the output result of the input layer or the immediately preceding intermediate layer are input, and one or more intermediate layers that output the processing result and the output result of the last intermediate layer are input.
  • Includes a discriminative model learning unit that learns a discriminative model including an integrated layer that outputs processing results for each utterance and an output layer that outputs labels from the output of the integrated layer.
  • the discriminative model of special utterance voice can be improved.
  • FIG. The flowchart which shows the operation of the discriminative model learning apparatus of Example 1. Schematic of a conventional discriminative model.
  • the schematic diagram of the discriminative model of Example 1. The block diagram which shows the structure of the identification apparatus of Example 1.
  • FIG. The flowchart which shows the operation of the identification apparatus of Example 1. The block diagram which shows the structure of the discriminative model learning apparatus of Example 2.
  • the block diagram which shows the structure of the discriminative model learning apparatus of Example 3. The flowchart which shows the operation of the discriminative model learning apparatus of Example 3.
  • the figure which shows the result of the performance evaluation experiment of the model trained by the prior art and the model trained by the method described in Example. The figure which shows the functional structure example of a computer.
  • the voice of each utterance unit is input in advance.
  • the time series of the feature quantity extracted in the frame unit is used, and the posterior probability in each frame unit is not output, but the identification for the utterance is realized directly.
  • a layer for example, Global max-pooling layer
  • integrates the matrix (or vector) of the intermediate layer output for each frame it is possible to directly speak in units of utterances. Achieve optimization and identification.
  • the discriminative model learning device 11 of the present embodiment includes an audio signal acquisition unit 111, an audio digital signal storage unit 112, a feature amount analysis unit 113, a feature amount storage unit 114, and an identification model learning unit. Including part 115.
  • the operation of each configuration requirement will be described with reference to FIG.
  • Audio signal output Audio digital signal processing: AD conversion
  • the audio signal acquisition unit 111 acquires an analog audio signal, converts the acquired analog audio signal into a digital audio signal, and acquires the audio digital signal (S111).
  • Audio digital signal storage unit 112 Input: Audio digital signal output: Audio digital signal processing: Audio digital signal storage
  • the voice digital signal storage unit 112 stores the input voice digital signal (S112).
  • ⁇ Feature quantity analysis unit 113> Input: Voice digital signal output: Feature series processing for each utterance: Feature analysis
  • the feature amount analysis unit 113 extracts the acoustic feature amount from the voice digital signal, and acquires the (acoustic) feature amount series for each frame for each utterance (S113).
  • the features to be extracted include, for example, 1 to 12 dimensions of MFCC (Mel-Frequenct Cepstrum Coefficient) based on short-time frame analysis of audio signals, dynamic parameters such as ⁇ MFCC and ⁇ MFCC which are the dynamic features, and Power, ⁇ power, ⁇ power, etc. are used.
  • CMN cepstrum average normalization
  • the feature amount is not limited to MFCC and power, and parameters used for identifying special utterances (for example, autocorrelation peak value and group delay), which are relatively smaller than non-special utterances, may be used.
  • the feature amount storage unit 114 stores a set of a special utterance or non-special utterance label (binary value) given to the utterance and a frame-based feature amount series analyzed by the feature amount analysis unit 113 (S114). ..
  • ⁇ Discriminative model learning unit 115> Input: Label for each utterance, set output of feature series Output: Discriminative model processing: Discriminative model learning
  • the discriminative model learning unit 115 inputs the feature amount series of the frame unit as input based on the learning data including the feature amount series of the utterance frame unit and the binary label of whether or not the utterance is a special utterance, and is intermediate.
  • the input layer that outputs the output result to the layer, the output result of the input layer or the immediately preceding intermediate layer is input, and one or more intermediate layers that output the processing result, and the output result of the last intermediate layer are input, and the utterance is made.
  • the discriminative model including the integrated layer that outputs the processing result of the unit and the output layer that outputs the label from the output of the integrated layer is learned (S115).
  • a model such as a neural network When learning the discriminative model, a model such as a neural network is assumed in this embodiment.
  • a model such as a neural network when performing a special utterance voice identification task such as whispering, input / output has conventionally been performed in frame units.
  • a layer integrated layer
  • the integration layer can be realized by, for example, Global max-pooling or Global average-pooling.
  • the discriminative model learning device 11 of the first embodiment since the utterance unit can be directly optimized by adopting the above model structure, it is robust regardless of the length other than the voice utterance section. It is possible to build a model. In addition, an integrated layer that integrates the intermediate layer is inserted, and the output of the integrated layer is directly used to determine special and non-special utterance units, enabling integrated learning and estimation based on statistical modeling. .. Further, as compared with the conventional technique in which heuristics exist in which the average value of posterior probabilities determined in frame units is used for determination in utterance units, the accuracy is further improved because heuristics do not intervene.
  • the non-utterance section is a special utterance section or a non-special utterance section. Therefore, by using the above method, learning that is not easily affected by the non-utterance section, pose, etc. Becomes possible.
  • the identification device 12 of this embodiment includes an identification model storage unit 121 and an identification unit 122.
  • the operation of each configuration requirement will be described with reference to FIG.
  • ⁇ Discriminative model storage unit 121> Input: Discriminative model Output: Discriminative model processing: Memory of discriminative model
  • the identification model storage unit 121 stores the above-mentioned identification model (S121). That is, the identification model storage unit 121 inputs the feature quantity series in units of utterance frames, inputs the input layer that outputs the output result to the intermediate layer, and inputs the output result of the input layer or the immediately preceding intermediate layer, and inputs the processing result. Two values of whether or not the utterance is a special utterance from the output of one or more intermediate layers to be output, the integrated layer that inputs the output result of the last intermediate layer and outputs the processing result of each utterance, and the output of the integrated layer.
  • the identification model including the output layer that outputs the label of is stored (S121).
  • ⁇ Identification unit 122> Input: Discriminative model, Data output for identification: Discriminative model, Data processing for identification: Identification of data for identification
  • the identification unit 122 identifies the identification data which is an arbitrary utterance by using the identification model stored in the identification model storage unit 121 (S122).
  • the learning data of the special utterance voice is not enough to learn the discriminative model.
  • all the non-special utterance voices that are available in large quantities and easily are used and trained as an imbalanced data condition.
  • a learning method similar to the balanced data conditions if a learning method similar to the balanced data conditions is applied, a major class (one with a large amount of training data) no matter what utterance voice is input.
  • a model identified as a class, here a non-special utterance) is learned. Therefore, consider applying a learning method (for example, Reference Non-Patent Document 1) that enables correct learning even under unbalanced data conditions.
  • Reference Non-Patent Document 1 “A systematic study of the class imbalance problem in convolutional neural networks”, M. Buda, A. Maki, M. A. Mazurowski, Neural Networks (2018))
  • a learning data sampling unit that executes a process of copying and increasing the data amount of the minor class (here, special utterance) so as to be the same as the data amount of the major class (here, non-special utterance). It also includes an imbalanced data learning unit that executes processing that enables robust learning even under unbalanced data conditions (for example, making the learning cost of a minor class larger than that of a major class).
  • the discriminative model learning device 21 of this embodiment includes a voice signal acquisition unit 111, a voice digital signal storage unit 112, a feature amount analysis unit 113, a feature amount storage unit 114, and learning data sampling.
  • a unit 215 and an imbalanced data learning unit 216 are included. Since the voice signal acquisition unit 111, the voice digital signal storage unit 112, the feature amount analysis unit 113, and the feature amount storage unit 114 operate in the same manner as in the first embodiment, the description thereof will be omitted.
  • the operations of the learning data sampling unit 215 and the imbalanced data learning unit 216 will be described with reference to FIG.
  • the learning data sampling unit 215 is given N 1 utterances with a first label indicating that the utterance is a special utterance, or a second label indicating that the utterance is a non-special utterance.
  • the set is output (S215).
  • Learning data sampling unit 215 compensates the sampled non-featured utterance M-N 1 pieces of the missing.
  • a sampling method for example, upsampling can be considered.
  • As an upsampling method a method of simply copying and increasing the data amount of the minor class (here, special utterance) so as to be the same as the data amount of the major class can be considered.
  • Reference Non-Patent Document 2 describes a similar learning method. (Reference Non-Patent Document 2: “A Review of Class Imbalance Problem”, S.M.A. Elrahman, A. Abraham, Journal of Network and Alternative Computing (2013))
  • the imbalanced data learning unit 216 learns the first label utterance using the output utterance set for the identification model that outputs the first label or the second label for the input of the feature quantity series in the frame unit of the utterance.
  • N 2 * L 1 + N 1 * L 2 is optimized for the error L 1 and the learning error L 2 of the second label utterance, and the discrimination model is learned (S216).
  • Non-Patent Document 1 a GMM or DNN model may be used.
  • the learning error of the minor class (here, special utterance) is L 1
  • the learning error of the major class (here, non-special utterance) is L 2
  • the sum is calculated as (L 1 + L 2 ).
  • the model may be optimized using the value as the training error, or by increasing the learning error of the minor class according to the amount of data as in (N 2 * L 1 + N 1 * L 2 ), the minor class may be optimized. It is even more preferable to give weight to the learning of the class.
  • Reference Non-Patent Document 2 describes a similar learning method.
  • the imbalance data learning unit 216 for example, described above, by learning how to learn weighted learning error L 1 minor class, it is possible to effectively and learns quickly.
  • the discriminative model learning device 21 of the second embodiment even in a situation where a sufficient amount of special utterance voice data cannot be obtained, the accuracy of the discrimination model can be obtained by positively utilizing a large amount of easily available non-special utterance voice data. Can be improved.
  • the identification device 22 of this embodiment includes an identification model storage unit 221 and an identification unit 222.
  • the operation of each configuration requirement will be described with reference to FIG.
  • the discriminative model storage unit 221 stores the discriminative model learned by the discriminative model learning device 21 described above (S221).
  • ⁇ Identification unit 222> Input: Discriminative model, Data output for identification: Discriminative model, Data processing for identification: Identification of data for identification
  • the identification unit 222 identifies the identification data which is an arbitrary utterance by using the identification model stored in the identification model storage unit 221 (S222).
  • Example 1 and Example 2 can be combined. That is, the structure of the discriminative model that outputs the discriminative result for each utterance using the integrated layer is adopted as in the first embodiment, and the learning data is sampled and the imbalanced data learning is performed as in the second embodiment. May be.
  • the configuration of the discriminative model learning device of Example 3, which is a combination of Example 1 and Example 2 will be described with reference to FIG.
  • the discriminative model learning device 31 of this embodiment includes a voice signal acquisition unit 111, a voice digital signal storage unit 112, a feature amount analysis unit 113, a feature amount storage unit 114, and a learning data sampling unit.
  • the configuration including the imbalanced data learning unit 316 and the imbalanced data learning unit 316 is the same as that of the second embodiment.
  • the operation of the imbalanced data learning unit 316 will be described with reference to FIG.
  • the imbalanced data learning unit 316 learns the learning error L1 of the first label utterance and the second label utterance by using the output utterance set for the identification model that outputs the first label or the second label for each utterance.
  • the N 2 * L 1 + N 1 * L 2 optimized for error L 2 to learn the identification model (S316).
  • the input layer that inputs the feature quantity series of the utterance frame unit and outputs the output result to the intermediate layer and the output result of the input layer or the immediately preceding intermediate layer are input.
  • One or more intermediate layers that take input and output the processing result, an integrated layer that takes the output result of the last intermediate layer as input and outputs the processing result of each utterance, and the utterance from the output of the integrated layer is a special utterance. It is an identification model including an output layer that outputs a binary label of whether or not.
  • FIG. 13 shows the results of performance evaluation experiments of a model learned by the prior art and a model learned by the method described in the examples.
  • the device of the present invention is, for example, as a single hardware entity, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity.
  • Communication unit to which can be connected CPU (Central Processing Unit, cache memory, registers, etc.), RAM or ROM which is memory, external storage device which is hard disk, and input unit, output unit, communication unit of these , CPU, RAM, ROM, has a connecting bus so that data can be exchanged between external storage devices.
  • a device (drive) or the like capable of reading and writing a recording medium such as a CD-ROM may be provided in the hardware entity.
  • a general-purpose computer or the like is a physical entity equipped with such hardware resources.
  • the external storage device of the hardware entity stores the program required to realize the above-mentioned functions and the data required for processing this program (not limited to the external storage device, for example, reading a program). It may be stored in a ROM, which is a dedicated storage device). Further, the data obtained by the processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in the external storage device (or ROM, etc.) and the data necessary for processing each program are read into the memory as needed, and are appropriately interpreted, executed, and processed by the CPU. ..
  • the CPU realizes a predetermined function (each configuration requirement represented by the above, ... Department, ... means, etc.).
  • the present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention. Further, the processes described in the above-described embodiment are not only executed in chronological order according to the order described, but may also be executed in parallel or individually depending on the processing capacity of the device that executes the processes or if necessary. ..
  • the processing function in the hardware entity (device of the present invention) described in the above embodiment is realized by a computer
  • the processing content of the function that the hardware entity should have is described by a program. Then, by executing this program on the computer, the processing function in the hardware entity is realized on the computer.
  • the various processes described above can be performed by causing the recording unit 10020 of the computer shown in FIG. 14 to read a program for executing each step of the above method and operating the control unit 10010, the input unit 10030, the output unit 10040, and the like. ..
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • a hard disk device, a flexible disk, a magnetic tape, etc. as a magnetic recording device
  • a DVD Digital Versatile Disc
  • DVD-RAM Random Access Memory
  • CD-ROM Compact Disc Read Only
  • Memory CD-R (Recordable) / RW (ReWritable), etc.
  • MO Magnetto-Optical disc
  • EP-ROM Electroically Erasable and Programmable-Read Only Memory
  • semiconductor memory can be used.
  • this program is carried out, for example, by selling, transferring, renting, etc., a portable recording medium such as a DVD or CD-ROM on which the program is recorded.
  • the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, at the time of executing the process, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time.
  • ASP Application Service Provider
  • the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be.
  • the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the hardware entity is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized in terms of hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

特殊発話音声の識別モデルを改善する識別モデル学習装置を提供する。発話のフレーム単位の特徴量系列と、発話が特殊発話であるか否かの２値のラベルを含む学習データに基づいて、フレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、統合層の出力からラベルを出力する出力層を含む識別モデルを学習する識別モデル学習部を含む。

Description

識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム
　本発明は、特殊な発話音声（例えば、ささやき声、叫び声、ボーカルフライ）を識別する際に利用するモデルを学習する識別モデル学習装置、特殊な発話音声を識別する識別装置、識別モデル学習方法、識別方法、プログラムに関する。
　ささやき発話か通常発話かを分類するモデルに関する文献として非特許文献１がある。非特許文献１では、音声フレームを入力として、その音声フレームに対する事後確率（ささやきか、そうでないかの確率値）を出力するモデルを学習する。非特許文献１において発話単位の分類を実行する場合は、モデルの後段にモジュール（例えば全ての事後確率の平均値を計算するモジュール）を追加して用いる。
　また、複数発話モード（Whispered/Soft/Normal/Loud/Shouted）音声の識別を可能にするモデルに関する文献として非特許文献２がある。
"LSTM-based whisper detection", Z. Raeesy, K. Gillespie, C. Ma, T. Drugman, J. Gu, R. Maas, A. Rastrow, B. Hoffmeister, SLT (2018) "Impact of vocal effort variability on automatic speech recognition", P. Zelinka, M. Sigmund, J. Schimmel, Speech Communication (2012).
　非特許文献１において、非発話区間は当然、非ささやき音声区間と判別されるため、発話全体としてはささやき声だったとしても、非発話区間の長さに依存して、非ささやき声と判別される誤識別が起こりやすい。
　また、ささやき声を識別するモデル学習技術は一般的に学習データ量に依存してその精度が変動し、学習データ量が少なければ少ないほど精度は低下する。そこで通常は、識別対象とするタスクの音声（ここでは特殊発話音声と特殊発話音声に比べて相対的に多い非特殊発話音声）を十分に且つ均等に集め、その音声にラベル付けし教師データとすることで、所望の学習データを収集する。とりわけささやき声や叫び声といった特殊発話音声は、その特殊性から通常の対話等では出現することが稀であり、別途そのような特殊発話音声を収録するなどのアプローチが必要である。なお、非特許文献１では予め満足のいく精度に達成するための特殊発話音声学習データ（ここではささやき音声）を収集している。しかし、そのような学習データ収集は莫大な金銭的・時間的コストを要する。
　そこで本発明では、特殊発話音声の識別モデルを改善する識別モデル学習装置を提供することを目的とする。
　本発明の識別モデル学習装置は、発話のフレーム単位の特徴量系列と、発話が特殊発話であるか否かの２値のラベルを含む学習データに基づいて、フレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、統合層の出力からラベルを出力する出力層を含む識別モデルを学習する識別モデル学習部を含む。
　本発明の識別モデル学習装置によれば、特殊発話音声の識別モデルを改善できる。
実施例１の識別モデル学習装置の構成を示すブロック図。 実施例１の識別モデル学習装置の動作を示すフローチャート。 従来の識別モデルの概略図。 実施例１の識別モデルの概略図。 実施例１の識別装置の構成を示すブロック図。 実施例１の識別装置の動作を示すフローチャート。 実施例２の識別モデル学習装置の構成を示すブロック図。 実施例２の識別モデル学習装置の動作を示すフローチャート。 実施例２の識別装置の構成を示すブロック図。 実施例２の識別装置の動作を示すフローチャート。 実施例３の識別モデル学習装置の構成を示すブロック図。 実施例３の識別モデル学習装置の動作を示すフローチャート。 従来技術で学習されたモデルと実施例に記載の方法で学習されたモデルの性能評価実験の結果を示す図。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　実施例１では、予め発話単位の音声が入力されることを想定する。その入力発話に対し、フレーム単位で抽出された特徴量の時系列を用いて、各フレーム単位での事後確率を出力するのではなく、直接その発話に対する識別を実現する。具体的には、ニューラルネットワークなどのモデルにおいて、フレームごとに出力される中間層の行列（またはベクトル）を統合するレイヤー（例えばGlobal max-pooling層など）を挿入することで、直接発話単位での最適化・識別を実現する。
　上記により、音声フレーム単位で出力・最適化する統計モデルではなく、発話単位で出力・最適化する統計モデルを実現できる。このようなモデル構造にすることで、非発話区間の長さなどに依存しない識別が可能となる。
［識別モデル学習装置］
　以下、図１を参照して、実施例１の識別モデル学習装置の構成を説明する。同図に示すように、本実施例の識別モデル学習装置１１は、音声信号取得部１１１と、音声ディジタル信号蓄積部１１２と、特徴量分析部１１３と、特徴量蓄積部１１４と、識別モデル学習部１１５を含む。以下、図２を参照して各構成要件の動作を説明する。
＜音声信号取得部１１１＞
入力：音声信号
出力：音声ディジタル信号
処理：ＡＤ変換
　音声信号取得部１１１は、アナログの音声信号を取得し、取得したアナログの音声信号を、ディジタルの音声信号に変換し、音声ディジタル信号を取得する（Ｓ１１１）。
＜音声ディジタル信号蓄積部１１２＞
入力：音声ディジタル信号
出力：音声ディジタル信号
処理：音声ディジタル信号の蓄積
　音声ディジタル信号蓄積部１１２は、入力された音声ディジタル信号を蓄積する（Ｓ１１２）。
＜特徴量分析部１１３＞
入力：音声ディジタル信号
出力：発話毎の特徴量系列
処理：特徴量分析
　特徴量分析部１１３は、音声ディジタル信号から音響特徴量抽出を行い、発話毎の、フレーム単位の(音響)特徴量系列を取得する（Ｓ１１３）。抽出する特徴量としては、例えば、音声信号の短時間フレーム分析に基づくMFCC(Mel-Frequenct Cepstrum Coefficient)の１～１２次元と、その動的特徴量であるΔMFCC、ΔΔMFCCなどの動的パラメータや、パワー、Δパワー、ΔΔパワー等を用いる。また、MFCCに対してはCMN(ケプストラム平均正規化)処理を行っても良い。特徴量は、MFCCやパワーに限定したものでは無く、非特殊発話に比べて相対的に少ない特殊発話の識別に用いられるパラメータ（例えば、自己相関ピーク値や群遅延など）を用いても良い。
＜特徴量蓄積部１１４＞
入力：ラベル、特徴量系列
出力：ラベル、特徴量系列
処理：ラベル、特徴量系列の蓄積
　特徴量蓄積部１１４は、発話に対して付与された特殊発話または非特殊発話のラベル（２値）と、特徴量分析部１１３で分析したフレーム単位の特徴量系列の組を蓄積する（Ｓ１１４）。
＜識別モデル学習部１１５＞
入力：発話毎のラベル、特徴量系列の組
出力：識別モデル
処理：識別モデルの学習
　識別モデル学習部１１５は、発話のフレーム単位の特徴量系列と、発話が特殊発話であるか否かの２値のラベルを含む学習データに基づいて、フレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、統合層の出力からラベルを出力する出力層を含む識別モデルを学習する（Ｓ１１５）。
　識別モデルを学習するに際し、本実施例ではニューラルネットワークなどのモデルを想定する。ニューラルネットワークなどのモデルにおいて、ささやき声のような特殊発話音声の識別タスクを実施する際は、従来はフレーム単位で入出力を行っていた。しかし、本実施例では、各フレームで出力される中間層の行列（またはベクトル）を統合するレイヤー（統合層）を挿入することで、フレーム単位の入力でありながら、発話単位での出力を可能とした（図３、図４参照。図３は従来の識別モデルの概略図、図４は本実施例の識別モデルの概略図）。統合層は例えば、Global max-poolingやGlobal average-poolingで実現可能である。
　実施例１の識別モデル学習装置１１によれば、上記のモデル構造をとることで、ダイレクトに発話単位の最適化が可能になるため、音声発話区間以外の長さの大小に依存せず頑健なモデルを構築することが可能となる。また、中間層を統合する統合層を挿入し、統合層の出力が特殊・非特殊の発話単位の判定に直接利用されるため、統計的なモデリングに基づく一体的な学習、推定が可能となる。また、フレーム単位で判定した事後確率の平均値等を発話単位の判定に用いるようなヒューリスティクスが存在する従来技術と比較して、ヒューリスティックが介入しない分、より精度が向上する。また、フレーム単位の平均値を用いる場合、非発話区間が特殊発話区間なのか非特殊発話区間なのか不明瞭になるため、上記手法を用いることで非発話区間やポーズ等の影響を受けにくい学習が可能になる。
［識別装置］
　以下、図５を参照して上述の識別モデルを用いる識別装置の構成を説明する。同図に示すように本実施例の識別装置１２は、識別モデル記憶部１２１と、識別部１２２を含む。以下、図６を参照して各構成要件の動作を説明する。
＜識別モデル記憶部１２１＞
入力：識別モデル
出力：識別モデル
処理：識別モデルの記憶
　識別モデル記憶部１２１は、上述の識別モデルを記憶する（Ｓ１２１）。すなわち、識別モデル記憶部１２１は、発話のフレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、統合層の出力から発話が特殊発話であるか否かの２値のラベルを出力する出力層を含む識別モデルを記憶する（Ｓ１２１）。
＜識別部１２２＞
入力：識別モデル、識別用データ
出力：識別モデル、識別用データ
処理：識別用データの識別
　識別部１２２は、識別モデル記憶部１２１に記憶済みの識別モデルを用いて任意の発話である識別用データを識別する（Ｓ１２２）。
　実施例２では、特殊発話音声の学習データが、識別モデルを学習するのに十分な量ではない状況を想定する。実施例２では、大量にかつ容易に入手可能な非特殊発話音声を全て利用し、不均衡データ条件として学習させる。一般的に、不均衡データ条件下でクラス分類モデルを学習する際、均衡データ条件と同じような学習方法を適用すると、どのような発話音声が入力されてもメジャークラス（学習データ量が多い方のクラス、ここでは非特殊発話）と識別されるモデルが学習されてしまう。そこで、不均衡データ条件下でも正しく学習出来るような学習法（例えば参考非特許文献１）を応用することを考える。
（参考非特許文献１：“A systematic study of the class imbalance problem in convolutional neural networks”, M. Buda, A. Maki, M. A. Mazurowski, Neural Networks (2018)）
　本実施例では、予め学習データ量をサンプリングする方法を考える。例えば、メジャークラス（ここでは非特殊発話）のデータ量と同一になるように、マイナークラス（ここでは特殊発話）のデータ量をコピーして増やす処理などを実行する学習データサンプリング部を含む。また、不均衡データ条件であっても頑健に学習できるような処理（例えば、マイナークラスの学習コストをメジャークラスより大きくする等）を実行する不均衡データ学習部を含む。
　モデルの学習に際し、学習データ量が少ない（特殊発話音声データが十分量入手出来ない）状況でも、非特殊発話音声（通常の発話など）は容易にかつ大量に入手可能であるため、その非特殊発話を不均衡データ条件として学習することで、識別モデルの精度を改善できる。
　一般的に、特殊発話音声と非特殊発話音声とを分類するモデルを学習する際は、非特許文献２のようにそれぞれの音声を均等量収集しモデル学習するアプローチが取られる。しかしながらこのアプローチは、［発明が解決しようとする課題］の欄で述べたように、データ収集コストが高い。一方、非特殊発話音声は大量にかつ容易に入手可能なため、この音声データを学習データとして利用することで、特殊発話音声が少量しかない条件下においてもモデルの精度を改善することができる。
［識別モデル学習装置］
　以下、図７を参照して、実施例２の識別モデル学習装置の構成を説明する。同図に示すように、本実施例の識別モデル学習装置２１は、音声信号取得部１１１と、音声ディジタル信号蓄積部１１２と、特徴量分析部１１３と、特徴量蓄積部１１４と、学習データサンプリング部２１５と、不均衡データ学習部２１６を含む。なお、音声信号取得部１１１、音声ディジタル信号蓄積部１１２、特徴量分析部１１３、特徴量蓄積部１１４は実施例１と同じ動作をするため、説明を割愛する。以下、図８を参照して学習データサンプリング部２１５と、不均衡データ学習部２１６の動作を説明する。
＜学習データサンプリング部２１５＞
入力：特徴量系列
出力：サンプリング済み学習データ
処理：特徴量サンプリング
　Ｎ１を１以上の整数とし、Ｎ１＜Ｍ＜Ｎ２であるものとする。学習データサンプリング部２１５は、その発話が特殊発話であることを意味する第１ラベルを付与されたＮ１個の発話、またはその発話が非特殊発話であることを意味する第２ラベルを付与されたＮ２個の発話と、何れかの発話に対応するフレーム単位の特徴量系列の組について、サンプリングを実行してＭ個の第１ラベルの発話の組とＭ個の第２ラベルの発話の組を出力する（Ｓ２１５）。
　学習データサンプリング部２１５は、不足するＭ－Ｎ１個の非特殊発話をサンプリングにより補う。サンプリング方法としては、例えばアップサンプリングが考えられる。アップサンプリング方法としては、メジャークラスのデータ量と同一になるように、マイナークラス（ここでは特殊発話）のデータ量を単純にコピーして増やす方法などが考えられる。参考非特許文献２に類似の学習方法が記されている。
（参考非特許文献２：“A Review of Class Imbalance Problem”, S. M. A. Elrahman, A. Abraham, Journal of Network and Innovative Computing (2013)）
＜不均衡データ学習部２１６＞
入力：サンプリング済み学習データ 
出力：学習済み識別モデル
処理：識別モデルの学習
　不均衡データ学習部２１６は、発話のフレーム単位の特徴量系列の入力に対して第１ラベルまたは第２ラベルを出力する識別モデルについて、出力された発話の組を用いて第１ラベル発話の学習誤差Ｌ１と第２ラベル発話の学習誤差Ｌ２に対してＮ２＊Ｌ１＋Ｎ１＊Ｌ２を最適化し、識別モデルを学習する（Ｓ２１６）。
　本実施例では、特殊発話音声と非特殊発話音声の２クラス分類であるため、その分類が可能となるモデルであれば良い。例えば、非特許文献１や非特許文献２のようにＧＭＭやＤＮＮモデルなどを用いてもよい。学習方法としては、例えば、マイナークラス（ここでは特殊発話）の学習誤差をＬ１、メジャークラス（ここでは非特殊発話）の学習誤差をＬ２とし、（Ｌ１＋Ｌ２）のようにその合算値を学習誤差としてモデルの最適化を実行してもよいし、（Ｎ２＊Ｌ１＋Ｎ１＊Ｌ２）のようにそのデータ量に応じてマイナークラスの学習誤差を大きくすることで、マイナークラスの学習に重みを付与すればさらに好適である。参考非特許文献２に類似の学習方法が記されている。
　例えば、極端な不均衡データをそのまま学習すると、マイナークラスのデータが一度も出現しない、もしくはマイナークラスのデータが限りなく少ない出現回数のままモデルが収束し、学習が終わることになる。そこで学習データサンプリング部２１５において特徴量サンプリング（例えば上述したアップサンプリング）をすることで、学習データ量が調整され、マイナークラスのデータが一定量学習に出現することが約束される。加えて、不均衡データ学習部２１６において、例えば上述した、マイナークラスの学習誤差Ｌ１に重みをつけて学習する方法で学習することで、効果的に且つ高速に学習することが可能となる。
　実施例２の識別モデル学習装置２１によれば、特殊発話音声データが十分量入手出来ない状況でも、大量にかつ容易に入手可能な非特殊発話音声データを陽に活かすことで、識別モデルの精度を改善させることができる。
［識別装置］
　以下、図９を参照して上述の識別モデルを用いる識別装置の構成を説明する。同図に示すように本実施例の識別装置２２は、識別モデル記憶部２２１と、識別部２２２を含む。以下、図１０を参照して各構成要件の動作を説明する。
＜識別モデル記憶部２２１＞
入力：識別モデル
出力：識別モデル
処理：識別モデルの記憶
　識別モデル記憶部２２１は、上述した識別モデル学習装置２１で学習した識別モデルを記憶する（Ｓ２２１）。
＜識別部２２２＞
入力：識別モデル、識別用データ
出力：識別モデル、識別用データ
処理：識別用データの識別
　識別部２２２は、識別モデル記憶部２２１に記憶済みの識別モデルを用いて任意の発話である識別用データを識別する（Ｓ２２２）。
　実施例１と実施例２は組み合わせることができる。すなわち、実施例１と同様に統合層を用いて発話単位で識別結果を出力する識別モデルの構造を採用し、さらに実施例２と同様に学習データをサンプリングして、不均衡データ学習を行うこととしてもよい。以下、図１１を参照して、実施例１と実施例２の組み合わせである実施例３の識別モデル学習装置の構成について説明する。同図に示すように本実施例の識別モデル学習装置３１は、音声信号取得部１１１と、音声ディジタル信号蓄積部１１２と、特徴量分析部１１３と、特徴量蓄積部１１４と、学習データサンプリング部２１５と、不均衡データ学習部３１６を含み、不均衡データ学習部３１６以外の構成は、実施例２と共通する。以下、図１２を参照して不均衡データ学習部３１６の動作を説明する。
＜不均衡データ学習部３１６＞
入力：サンプリング済み学習データ 
出力：学習済み識別モデル
処理：識別モデルの学習
　不均衡データ学習部３１６は、発話単位で第１ラベルまたは第２ラベルを出力する識別モデルについて、出力された発話の組を用いて第１ラベル発話の学習誤差Ｌ１と第２ラベル発話の学習誤差Ｌ２に対してＮ２＊Ｌ１＋Ｎ１＊Ｌ２を最適化し、識別モデルを学習する（Ｓ３１６）。なお、学習する識別モデルは、実施例１と同様に、発話のフレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、統合層の出力から発話が特殊発話であるか否かの２値のラベルを出力する出力層を含む識別モデルである。
＜性能評価実験＞
　図１３に、従来技術で学習されたモデルと実施例に記載の方法で学習されたモデルの性能評価実験の結果を示す。
　この実験では「ささやき音声」と「通常音声」の２クラス識別タスクを実施した。音声収録はコンデンサーマイク録音、スマートフォンマイク録音の２パターンで行われた。話者とマイク間の距離として至近距離＝３ｃｍ、通常距離＝１５ｃｍ、遠距離＝５０ｃｍの３パターンの実験条件を用意した。具体的には、至近距離、通常距離、遠距離、それぞれの距離にマイクをそれぞれ設置しておき、並列活動時に音声を収録した。従来技術で学習したモデルの性能評価結果を白いバーで、モデル最適化条件（実施例１の条件）で学習したモデルの性能評価結果をドットハッチングを施したバーで、モデル最適化＋不均衡データ条件（実施例３の条件）で学習したモデルの性能評価結果を斜線ハッチングを施したバーで、それぞれ示した。同図に示すように、従来技術に対して、モデル最適化をすることで精度改善が見られ、更に不均衡データとして取り扱うことにより様々な環境下で一定の精度改善が認められる。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　上述の各種の処理は、図１４に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (9)

  1. 　発話のフレーム単位の特徴量系列と、前記発話が特殊発話であるか否かの２値のラベルを含む学習データに基づいて、
    　フレーム単位の前記特徴量系列を入力とし、中間層に出力結果を出力する入力層と、
    　前記入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、
    　最後の前記中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、
    　前記統合層の出力から前記ラベルを出力する出力層を含む識別モデルを学習する識別モデル学習部を含む
    　識別モデル学習装置。
  2. 　発話のフレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、
    　前記入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、
    　最後の前記中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、
    　前記統合層の出力から前記発話が特殊発話であるか否かの２値のラベルを出力する出力層を含む識別モデルと、
    　前記識別モデルを用いて任意の発話を識別する識別部を含む
    　識別装置。
  3. 　Ｎ１＜Ｍ＜Ｎ２であるものとし、その発話が特殊発話であることを意味する第１ラベルを付与されたＮ１個の発話、またはその発話が非特殊発話であることを意味する第２ラベルを付与されたＮ２個の発話と、何れかの前記発話に対応するフレーム単位の特徴量系列の組について、サンプリングを実行してＭ個の第１ラベルの発話の組とＭ個の第２ラベルの発話の組を出力する学習データサンプリング部と、
    　発話のフレーム単位の特徴量系列に対して前記第１ラベルまたは前記第２ラベルを出力する識別モデルについて、前記出力された発話の組を用いて第１ラベル発話の学習誤差Ｌ１と第２ラベル発話の学習誤差Ｌ２に対してＮ２＊Ｌ１＋Ｎ１＊Ｌ２を最適化する不均衡データ学習部を含む
    　識別モデル学習装置。
  4. 　請求項３に記載の識別モデル学習装置で学習した識別モデルを用いて、任意の発話を識別する識別部を含む
    　識別装置。
  5. 　識別モデル学習装置が実行する識別モデル学習方法であって、
    　発話のフレーム単位の特徴量系列と、前記発話が特殊発話であるか否かの２値のラベルを含む学習データに基づいて、フレーム単位の前記特徴量系列を入力とし、中間層に出力結果を出力する入力層と、前記入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の前記中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、前記統合層の出力から前記ラベルを出力する出力層を含む識別モデルを学習するステップを含む
    　識別モデル学習方法。
  6. 　識別装置が実行する識別方法であって、
    　発話のフレーム単位の特徴量系列を入力とし、中間層に出力結果を出力する入力層と、前記入力層または直前の中間層の出力結果を入力とし、処理結果を出力する１つ以上の中間層と、最後の前記中間層の出力結果を入力とし、発話単位の処理結果を出力する統合層と、前記統合層の出力から前記発話が特殊発話であるか否かの２値のラベルを出力する出力層を含む識別モデルを用いて任意の発話を識別するステップを含む
    　識別方法。
  7. 　識別モデル学習装置が実行する識別モデル学習方法であって、
    　Ｎ１＜Ｍ＜Ｎ２であるものとし、その発話が特殊発話であることを意味する第１ラベルを付与されたＮ１個の発話、またはその発話が非特殊発話であることを意味する第２ラベルを付与されたＮ２個の発話と、何れかの前記発話に対応するフレーム単位の特徴量系列の組について、サンプリングを実行してＭ個の第１ラベルの発話の組とＭ個の第２ラベルの発話の組を出力するステップと、
    　発話のフレーム単位の特徴量系列に対して前記第１ラベルまたは前記第２ラベルを出力する識別モデルについて、前記出力された発話の組を用いて第１ラベル発話の学習誤差Ｌ１と第２ラベル発話の学習誤差Ｌ２に対してＮ２＊Ｌ１＋Ｎ１＊Ｌ２を最適化するステップを含む
    　識別モデル学習方法。
  8. 　識別装置が実行する識別方法であって、
    　請求項７に記載の識別モデル学習方法で学習した識別モデルを用いて、任意の発話を識別するステップを含む
    　識別方法。
  9. 　コンピュータを請求項１から４の何れかに記載の装置として機能させるプログラム。
PCT/JP2019/022866 2019-06-10 2019-06-10 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム WO2020250266A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021525407A JP7176629B2 (ja) 2019-06-10 2019-06-10 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム
PCT/JP2019/022866 WO2020250266A1 (ja) 2019-06-10 2019-06-10 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム
US17/617,264 US20220246137A1 (en) 2019-06-10 2019-06-10 Identification model learning device, identification device, identification model learning method, identification method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/022866 WO2020250266A1 (ja) 2019-06-10 2019-06-10 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム

Publications (1)

Publication Number Publication Date
WO2020250266A1 true WO2020250266A1 (ja) 2020-12-17

Family

ID=73780880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022866 WO2020250266A1 (ja) 2019-06-10 2019-06-10 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム

Country Status (3)

Country Link
US (1) US20220246137A1 (ja)
JP (1) JP7176629B2 (ja)
WO (1) WO2020250266A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007079363A (ja) * 2005-09-16 2007-03-29 Advanced Telecommunication Research Institute International パラ言語情報検出装置及びコンピュータプログラム
JP2016186515A (ja) * 2015-03-27 2016-10-27 日本電信電話株式会社 音響特徴量変換装置、音響モデル適応装置、音響特徴量変換方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007079363A (ja) * 2005-09-16 2007-03-29 Advanced Telecommunication Research Institute International パラ言語情報検出装置及びコンピュータプログラム
JP2016186515A (ja) * 2015-03-27 2016-10-27 日本電信電話株式会社 音響特徴量変換装置、音響モデル適応装置、音響特徴量変換方法、およびプログラム

Also Published As

Publication number Publication date
US20220246137A1 (en) 2022-08-04
JPWO2020250266A1 (ja) 2020-12-17
JP7176629B2 (ja) 2022-11-22

Similar Documents

Publication Publication Date Title
JP4427530B2 (ja) 音声認識装置、プログラムおよび音声認識方法
EP1576581B1 (en) Sensor based speech recognizer selection, adaptation and combination
CN111460111A (zh) 评估自动对话服务的重新训练推荐
JP2019211749A (ja) 音声の始点及び終点の検出方法、装置、コンピュータ設備及びプログラム
JP6615736B2 (ja) 音声言語識別装置、その方法、及びプログラム
JP6622681B2 (ja) 音素崩れ検出モデル学習装置、音素崩れ区間検出装置、音素崩れ検出モデル学習方法、音素崩れ区間検出方法、プログラム
JP6812381B2 (ja) 音声認識精度劣化要因推定装置、音声認識精度劣化要因推定方法、プログラム
JP6189818B2 (ja) 音響特徴量変換装置、音響モデル適応装置、音響特徴量変換方法、音響モデル適応方法、およびプログラム
JP2017058507A (ja) 音声認識装置、音声認識方法、プログラム
JP7409381B2 (ja) 発話区間検出装置、発話区間検出方法、プログラム
WO2021166207A1 (ja) 認識装置、学習装置、それらの方法、およびプログラム
JP4829871B2 (ja) 学習データ選択装置、学習データ選択方法、プログラムおよび記録媒体、音響モデル作成装置、音響モデル作成方法、プログラムおよび記録媒体
WO2019107170A1 (ja) 緊急度推定装置、緊急度推定方法、プログラム
JP6816047B2 (ja) 目的発話推定モデル学習装置、目的発話判定装置、目的発話推定モデル学習方法、目的発話判定方法、プログラム
WO2020250266A1 (ja) 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム
JP7279800B2 (ja) 学習装置、推定装置、それらの方法、およびプログラム
JP6612277B2 (ja) ターンテイキングタイミング識別装置、ターンテイキングタイミング識別方法、プログラム、記録媒体
WO2020162238A1 (ja) 音声認識装置、音声認識方法、プログラム
JP7111017B2 (ja) パラ言語情報推定モデル学習装置、パラ言語情報推定装置、およびプログラム
JP6992725B2 (ja) パラ言語情報推定装置、パラ言語情報推定方法、およびプログラム
JP4981850B2 (ja) 音声認識装置とその方法と、プログラムと記録媒体
Ajitha et al. Emotion Recognition in Speech Using MFCC and Classifiers
JP2020177108A (ja) コマンド解析装置、コマンド解析方法、プログラム
WO2022270327A1 (ja) 構音異常検出方法、構音異常検出装置、及びプログラム
WO2021014649A1 (ja) 音声非音声判定装置、音声非音声判定用モデルパラメータ学習装置、音声非音声判定方法、音声非音声判定用モデルパラメータ学習方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932725

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021525407

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19932725

Country of ref document: EP

Kind code of ref document: A1