WO2020250279A1 - モデル学習装置、方法及びプログラム - Google Patents

モデル学習装置、方法及びプログラム Download PDF

Info

Publication number
WO2020250279A1
WO2020250279A1 PCT/JP2019/022953 JP2019022953W WO2020250279A1 WO 2020250279 A1 WO2020250279 A1 WO 2020250279A1 JP 2019022953 W JP2019022953 W JP 2019022953W WO 2020250279 A1 WO2020250279 A1 WO 2020250279A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
model
probability distribution
column
unit
Prior art date
Application number
PCT/JP2019/022953
Other languages
English (en)
French (fr)
Inventor
崇史 森谷
雄介 篠原
山口　義和
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/617,556 priority Critical patent/US20220230630A1/en
Priority to JP2021525420A priority patent/JP7218803B2/ja
Priority to PCT/JP2019/022953 priority patent/WO2020250279A1/ja
Publication of WO2020250279A1 publication Critical patent/WO2020250279A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Definitions

  • the present invention relates to a technique for learning a model used for recognizing voice, image, etc.
  • Non-Patent Documents 1 to 3 A model learning device for a speech recognition system that directly outputs a word sequence from the features of the speech will be described with reference to FIG. 1 (see, for example, Non-Patent Documents 1 to 3). This learning method is described, for example, in the section "Neural Speech Recognizer" of Non-Patent Document 1.
  • the model learning device of FIG. 1 includes an intermediate feature amount calculation unit 101, an output probability distribution calculation unit 102, and a model update unit 103.
  • a feature amount that is a vector of real numbers extracted from each sample of training data in advance, a pair of correct unit numbers corresponding to each feature amount, and an appropriate initial model.
  • the initial model a neural network model in which random numbers are assigned to each parameter, a neural network model that has already been trained with other training data, or the like can be used.
  • the intermediate feature amount calculation unit 101 calculates an intermediate feature amount for making it easier for the output probability distribution calculation unit 102 to identify the correct answer unit from the input feature amount.
  • the intermediate feature amount is defined by the formula (1) of Non-Patent Document 1.
  • the calculated intermediate feature amount is output to the output probability distribution calculation unit 102.
  • the intermediate feature calculation unit 101 includes an input layer and a plurality of intermediate layers.
  • the intermediate features are calculated for each of the above.
  • the intermediate feature amount calculation unit 101 outputs the intermediate feature amount calculated in the last intermediate layer among the plurality of intermediate layers to the output probability distribution calculation unit 102.
  • the output probability distribution calculation unit 102 inputs the intermediate feature amount finally calculated by the intermediate feature amount calculation unit 101 to the output layer of the current model, and outputs the probabilities corresponding to each unit of the output layer. Calculate the probability distribution.
  • the output probability distribution is defined by the equation (2) of Non-Patent Document 1.
  • the calculated output probability distribution is output to the model update unit 103.
  • the model update unit 103 calculates the value of the loss function based on the correct unit number and the output probability distribution, and updates the model so as to decrease the value of the loss function.
  • the loss function is defined by the equation (3) of Non-Patent Document 1.
  • the model update by the model update unit 103 is performed by the equation (4) of Non-Patent Document 1.
  • the above intermediate feature amount extraction, output probability distribution calculation, and model update process are repeated, and the model at the time when the repetition is completed a predetermined number of times is learned.
  • the predetermined number of times is usually tens of millions to hundreds of millions.
  • the model learning device cannot be used to learn the word. This is because learning a speech recognition model that outputs words directly from the acoustic features requires both speech and the corresponding text.
  • the model can be learned using the first information sequence. It is an object of the present invention to provide a model learning device, a method and a program capable of providing a model learning device.
  • the model learning device uses the information expressed in the first expression format as the first information, the information expressed in the second expression format as the second information, and the acoustic feature amount as the input.
  • Output of the first information corresponding to the acoustic feature amount The model that outputs the probability distribution is used as the first model, and the feature amount corresponding to each fragment in which the column of the first information is divided by a predetermined unit is used as the input, and the first information Using the model that outputs the output probability distribution of the second information corresponding to the next fragment of each fragment in the column as the second model, the output probability distribution of the first information when the acoustic feature quantity is input to the first model is calculated.
  • the first model calculation unit that outputs the first information with the largest output probability
  • the feature quantity extraction unit that extracts the feature quantity corresponding to each fragment in which the output first information column is divided by a predetermined unit.
  • the second model calculation unit that calculates the output probability distribution of the second information when the extracted feature quantity is input to the second model, and the output probability distribution of the first information calculated by the first model calculation unit. Based on the update of the first model based on the correct unit number corresponding to the acoustic feature quantity, and the output probability distribution of the second information calculated by the second model calculation unit and the correct unit number corresponding to the column of the first information.
  • the feature amount extraction unit and the second model calculation unit are output.
  • the second information corresponding to the first information column to be newly learned by performing the same processing as described above for the first information column to be newly learned instead of the first information column.
  • the output probability distribution of the second information column is calculated, and the model update unit newly adds the output probability distribution of the second information column corresponding to the first information column to be newly learned calculated by the second model calculation unit.
  • the second model is updated based on the correct unit number corresponding to the column of the first information to be learned.
  • the model can be learned using the column of the first information.
  • FIG. 1 is a diagram for explaining a background technique.
  • FIG. 2 is a diagram showing an example of the functional configuration of the model learning device.
  • FIG. 3 is a diagram showing an example of the processing procedure of the model learning method.
  • FIG. 4 is a diagram showing an example of a functional configuration of a computer.
  • the model learning device includes, for example, an intermediate feature amount calculation unit 11 and an output probability distribution calculation unit 12 in the first model calculation unit 1.
  • the model learning method is realized, for example, by each component of the model learning device performing the processes of steps S1 to S4 described below and shown in FIG.
  • the first model calculation unit 1 calculates the output probability distribution of the first information when the acoustic features are input to the first model, and outputs the first information having the largest output probability (step S1).
  • the first model is a model that takes an acoustic feature as an input and outputs an output probability distribution of the first information corresponding to the acoustic feature.
  • the information expressed in the first expression format is referred to as the first information
  • the information expressed in the second expression format is referred to as the second information.
  • first information is a phoneme or grapheme.
  • second information is a word.
  • words are represented by alphabets, numbers, and symbols, and in the case of Japanese, they are represented by hiragana, katakana, kanji, alphabets, numbers, and symbols.
  • the language corresponding to the first information and the second information may be a language other than English and Japanese.
  • the first information may be music information such as MIDI events and MIDI chords.
  • the second information is, for example, musical score information.
  • the column of the first information output by the first model calculation unit 1 is transmitted to the feature amount extraction unit 2.
  • the first model is a model that takes an acoustic feature as an input and outputs an output probability distribution of the first information corresponding to the acoustic feature.
  • Intermediate feature calculation unit 11 The acoustic feature amount is input to the intermediate feature amount calculation unit 11.
  • the intermediate feature calculation unit 11 generates an intermediate feature using the input acoustic feature and the neural network model of the initial model (step S11).
  • the intermediate feature amount is defined by, for example, the formula (1) of Non-Patent Document 1.
  • the intermediate feature amount y j output from the unit j of a certain intermediate layer is defined as follows.
  • J is the number of units and is a predetermined positive integer.
  • b j is the bias of unit j.
  • w ij is the weight of the connection from unit i to unit j in the next lower intermediate layer.
  • the calculated intermediate feature amount is output to the output probability distribution calculation unit 12.
  • the intermediate feature calculation unit 11 calculates the intermediate feature amount for making it easier for the output probability distribution calculation unit 12 to identify the correct answer unit from the input acoustic feature amount and the neural network model. Specifically, assuming that the neural network model is composed of one input layer, a plurality of intermediate layers, and one output layer, the intermediate feature calculation unit 11 includes the input layer and the plurality of intermediate layers. The intermediate features are calculated for each. The intermediate feature amount calculation unit 11 outputs the intermediate feature amount calculated in the last intermediate layer among the plurality of intermediate layers to the output probability distribution calculation unit 12.
  • Output probability distribution calculation unit 12 The intermediate feature amount calculated by the intermediate feature amount calculation unit 11 is input to the output probability distribution calculation unit 12.
  • the output probability distribution calculation unit 12 inputs the intermediate feature amount finally calculated by the intermediate feature amount calculation unit 11 to the output layer of the neural network model, and arranges the output probabilities corresponding to each unit of the output layer.
  • the output probability distribution is calculated, and the first information having the largest output probability is output (step S12).
  • the output probability distribution is defined by, for example, the equation (2) of Non-Patent Document 1.
  • p j output from the unit j of the output layer is defined as follows.
  • the calculated output probability distribution is output to the model update unit 4.
  • the output probability distribution calculation unit 12 identifies the voice feature amount. Which voice output symbol (phoneme state) is the easy-to-use intermediate feature is calculated, in other words, an output probability distribution corresponding to the input voice feature is obtained.
  • ⁇ Feature amount extraction unit 2> A sequence of first information output by the first model calculation unit 1 is input to the feature amount extraction unit 2. Further, as will be described later, if there is a column of the first information to be newly learned, the column of the first information to be newly learned is input.
  • the feature amount extraction unit 2 extracts the feature amount corresponding to each fragment in which the input first information column is divided by a predetermined unit (step S2). The extracted feature amount is output to the second model calculation unit 3.
  • the feature amount extraction unit 2 decomposes into fragments by referring to a predetermined dictionary, for example.
  • the feature amount extracted by the feature amount extraction unit 2 is a language feature amount.
  • the fragment is represented by a vector such as a one-hot vector.
  • a one-hot vector is a vector in which only one of all the elements of the vector is 1 and the others are 0.
  • the feature amount extraction unit 2 calculates the feature amount by, for example, multiplying the vector corresponding to the fragment by a predetermined parameter matrix.
  • the column of the first information output by the first model calculation unit 1 is the column of grapheme expressed by the grapheme "helloiammoriya".
  • the grapheme in this case is an alphabet.
  • the feature amount extraction unit 2 first decomposes this first information column "helloiammoriya” into fragments "hello / hello", “I / i”, “am / am”, “moriya / moriya”.
  • each fragment is represented by a grapheme and the word corresponding to that grapheme.
  • the grapheme is to the right of the slash, and the word is to the left of the slash. That is, in this example, each fragment is represented in the form of "word / grapheme”.
  • the form of expression of each piece is an example, and each piece may be expressed in another form. For example, each fragment may be represented only by grapheme, such as "hello", "i”, “am”, “moriya".
  • the feature quantity extraction unit 2 decomposes the sequence of the first information, if the meanings of words are different even if the graphemes of each fragment are the same, or if there are a plurality of combinations of graphemes of each fragment, Decompose into any fragment of those combinations. For example, if the column of first information contains graphemes corresponding to polysemous words, one of the word fragments having a specific meaning is adopted.
  • the feature amount extraction unit 2 first displays this first information column "Kyowayoitenkides", “Today / Kyo”, “is / wa”, “Good / Yoi”, “Weather / Tenki”, Fragment “is / death” or “Kyowa / Kyowa”, “Sickness / Yoi”, “Turning point / Tenki”, “Extract / De”, Fragment “Elementary / Su”, “Giant / Kyo” Decompose into one of the fragments such as “Uwa”, “Yo / Yo”, “Relocation / Iten”, “Thu / Ki”, “It's / Death".
  • each fragment is represented by a syllable and the word corresponding to that syllable.
  • To the right of the slash is a syllable and to the left of the slash is a word. That is, in this example, each fragment is represented in the form of "word / syllable".
  • the total number of fragment types is the same as the total number of second information types whose output probabilities are calculated by the second model described later. Further, when the fragment is represented by the one-hot vector, the total number of types of the fragment is the same as the number of dimensions of the one-hot vector for expressing the fragment.
  • the second model calculation unit 3 calculates the output probability distribution of the second information when the input feature amount is input to the second model (step S3).
  • the calculated output probability distribution is output to the model update unit 4.
  • the feature quantity corresponding to each fragment in which the column of the first information is divided by a predetermined unit is input, and the output probability distribution of the second information corresponding to the next fragment of each fragment in the column of the first information is used. It is a model that outputs.
  • Intermediate feature calculation unit 31 An acoustic feature amount is input to the intermediate feature amount calculation unit 31.
  • the intermediate feature calculation unit 31 generates an intermediate feature using the input acoustic feature and the neural network model of the initial model (step S11).
  • the intermediate feature amount is defined by, for example, the formula (1) of Non-Patent Document 1.
  • the intermediate feature amount y j output from the unit j of a certain intermediate layer is defined by the following equation (A).
  • J is the number of units and is a predetermined positive integer.
  • b j is the bias of unit j.
  • w ij is the weight of the connection from unit i to unit j in the next lower intermediate layer.
  • the calculated intermediate feature amount is output to the output probability distribution calculation unit 32.
  • the intermediate feature amount calculation unit 31 calculates the intermediate feature amount for making it easier for the output probability distribution calculation unit 32 to identify the correct answer unit from the input acoustic feature amount and the neural network model. Specifically, assuming that the neural network model is composed of one input layer, a plurality of intermediate layers, and one output layer, the intermediate feature calculation unit 31 includes the input layer and the plurality of intermediate layers. The intermediate features are calculated for each. The intermediate feature amount calculation unit 31 outputs the intermediate feature amount calculated in the last intermediate layer among the plurality of intermediate layers to the output probability distribution calculation unit 32.
  • Output probability distribution calculation unit 32 The intermediate feature amount calculated by the intermediate feature amount calculation unit 31 is input to the output probability distribution calculation unit 32.
  • the output probability distribution calculation unit 32 arranges the output probabilities corresponding to each unit of the output layer by inputting the intermediate feature amount finally calculated by the intermediate feature amount calculation unit 31 into the output layer of the neural network model.
  • the output probability distribution is calculated, and the first information having the largest output probability is output (step S12).
  • the output probability distribution is defined by, for example, the equation (2) of Non-Patent Document 1.
  • p j output from the unit j of the output layer is defined as follows.
  • the calculated output probability distribution is output to the model update unit 4.
  • Model update unit 4 The correct unit number corresponding to the output probability distribution and the acoustic feature amount of the first information calculated by the first model calculation unit 1 is input to the model update unit 4. Further, the model update unit 4 is input with the output probability distribution of the second information calculated by the second model calculation unit 3 and the correct unit number corresponding to the column of the first information.
  • the model update unit 4 updates the first model based on the output probability distribution of the first information calculated by the first model calculation unit 1 and the correct unit number corresponding to the acoustic feature amount, and calculates by the second model calculation unit. At least one of the update of the second model based on the output probability distribution of the second information and the correct unit number corresponding to the column of the first information is performed (step S4).
  • the model update unit 4 may update the first model and the second model at the same time, or may update one model and then the other model.
  • the model update unit 4 updates each model using a predetermined loss function calculated from the output probability distribution.
  • the loss function is defined by, for example, the equation (3) of Non-Patent Document 1.
  • the loss function C is defined as follows.
  • the parameters to be updated are w ij and b j in Eq. (A).
  • the t-th updated w ij is written as w ij (t)
  • the t + 1-th updated w ij is written as w ij (t + 1)
  • ⁇ 1 is greater than 0 and less than 1. If ⁇ 1 is a predetermined positive number (for example, a predetermined positive number close to 0), the model update unit 4 will use w ij (t) after the t-th update based on, for example, the following equation. ) Is used to find w ij (t + 1) after the t + 1th update.
  • the b j after the t-th update is written as b j (t)
  • the b j after the t + 1 update is written as b j (t + 1)
  • ⁇ 2 is greater than 0 and less than 1
  • ⁇ 2 is a predetermined positive number (for example, a predetermined positive number close to 0)
  • the model update unit 4 will b j (t) after the t-th update based on, for example, the following equation. ) Is used to find b j (t + 1) after the t + 1th update.
  • the model update unit 4 usually repeats the process of extracting the intermediate feature amount, calculating the output probability, and updating the model for each pair of the feature amount and the correct answer unit number, which is the learning data, and repeats a predetermined number of times (usually, a number).
  • the model at the time when the repetition (10 million to several hundred million times) is completed is regarded as the trained model.
  • the feature amount extraction unit 2 and the second model calculation unit 3 replace the sequence of the first information output by the first model calculation unit 1. Then, the same processing as described above (processing of steps S2 and S3) is performed on the column of the first information to be newly learned, and the second column corresponding to the column of the first information to be newly learned is performed. Calculate the output probability distribution of information.
  • the model update unit 4 newly learns the output probability distribution of the second information column corresponding to the first information column to be newly learned calculated by the second model calculation unit 3.
  • the second model is updated based on the correct unit number corresponding to the column of the first information to be tried.
  • model learning device may further include the first information sequence generation unit 5 shown by the broken line in FIG.
  • the first information column generation unit 5 converts the input information column into the first information column.
  • the column of the first information converted by the first information string generation unit 5 is output to the feature amount extraction unit 2 as a string of the first information to be newly learned.
  • the first information string generation unit 5 converts the input text information into a string of first information which is a string of phonemes or graphemes.
  • data may be exchanged directly between the constituent units of the model learning device, or may be performed via a storage unit (not shown).
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • the distribution of this program is carried out, for example, by selling, transferring, or renting a portable recording medium such as a DVD or CD-ROM on which the program is recorded.
  • the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own storage device and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. It should be noted that the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

モデル学習装置は、第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する特徴量抽出部２と、抽出された特徴量を、第二モデルに入力した場合の第二情報の出力確率分布を計算する第二モデル計算部３と、第一モデル計算部で計算された第一情報の出力確率分布と音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、第二モデル計算部で計算された第二情報の出力確率分布と第一情報の列に対応する正解ユニット番号とに基づく第二モデルの更新との少なくとも一方を行うモデル更新部４と、を備えている。

Description

モデル学習装置、方法及びプログラム
　本発明は、音声、画像等を認識するために用いられるモデルを学習する技術に関する。
　近年のニューラルネットワークを用いた音声認識システムでは音声の特徴量から単語系列を直接出力することが可能である。図１を参照して、この音声の特徴量から直接単語系列を出力する音声認識システムのモデル学習装置を説明する（例えば、非特許文献１から３参照。）。この学習方法は、例えば、非特許文献１の”Neural Speech Recognizer”の節に記載されている。
　図１のモデル学習装置は、中間特徴量計算部１０１と、出力確率分布計算部１０２と、モデル更新部１０３とを備えている。
　事前に学習データの各サンプルから抽出した実数のベクトルである特徴量及び各特徴量に対応する正解ユニット番号のペアと、適当な初期モデルとを用意する。初期モデルとしては、各パラメタに乱数を割り当てたニューラルネットワークモデルや、既に別の学習データで学習済みのニューラルネットワークモデル等を利用することができる。
　中間特徴量計算部１０１は、入力された特徴量から、出力確率分布計算部１０２において正解ユニットを識別しやすくするための中間特徴量を計算する。中間特徴量は、非特許文献１の式（１）により定義されるものである。計算された中間特徴量は、出力確率分布計算部１０２に出力される。
　より具体的には、ニューラルネットワークモデルが１個の入力層、複数個の中間層及び１個の出力層で構成されているとして、中間特徴量計算部１０１は、入力層及び複数個の中間層のそれぞれで中間特徴量の計算を行う。中間特徴量計算部１０１は、複数個の中間層の中の最後の中間層で計算された中間特徴量を出力確率分布計算部１０２に出力する。
　出力確率分布計算部１０２は、中間特徴量計算部１０１で最終的に計算された中間特徴量を現在のモデルの出力層に入力することにより、出力層の各ユニットに対応する確率を並べた出力確率分布を計算する。出力確率分布は、非特許文献１の式（２）により定義されるものである。計算された出力確率分布は、モデル更新部１０３に出力される。
　モデル更新部１０３は、正解ユニット番号と出力確率分布に基づいて損失関数の値を計算し、損失関数の値を減少させるようにモデルを更新する。損失関数は、非特許文献１の式（３）により定義されるものである。モデル更新部１０３によるモデルの更新は、非特許文献１の式（４）によって行われる。
　学習データの特徴量及び正解ユニット番号の各ペアに対して、上記の中間特徴量の抽出、出力確率分布の計算及びモデルの更新の処理を繰り返し、所定回数の繰り返しが完了した時点のモデルを学習済みモデルとして利用する。所定回数は、通常、数千万から数億回である。
Geoffrey Hinton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patric Nguyen, Tara N. Sainath and Brian Kingsbury, "Deep Neural Networks for Acoustic Modeling in Speech Recognition,"IEEE Signal Processing Magazine, Vol. 29, No 6, pp.82-97, 2012. H. Soltau, H. Liao, and H. Sak,"Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition," INTERSPEECH, pp. 3707-3711, 2017 S. Ueno, T. Moriya, M. Mimura, S. Sakai, Y. Shinohara, Y. Yamaguchi, Y. Aono, and T. Kawahara, "Encoder Transfer for Attention-based Acoustic-to-word Speech Recognition," INTERSPEECH, pp2424-2428, 2018
　しかし、新たに学習しようとする単語の音声が存在せず、その単語のテキストのみしか得られない場合には、前記のモデル学習装置により、その単語について学習をすることができなかった。これは、前記の音響特徴量から直接単語を出力する音声認識モデルの学習には、音声と対応するテキストの両方が必要であるためである。
　本発明は、新たに学習しようとする第一情報の列（例えば、音素又は書記素）に対応する音響特徴量がなくても、その第一情報の列を用いてモデルの学習をすることができるモデル学習装置、方法及びプログラムを提供することを目的とする。
　この発明の一態様によるモデル学習装置は、第一の表現形式で表現された情報を第一情報とし、第二の表現形式で表現された情報を第二情報とし、音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルを第一モデルとし、第一情報の列を所定の単位で区切った各断片に対応する特徴量を入力とし、第一情報の列における各断片の次の断片に対応する第二情報の出力確率分布を出力するモデルを第二モデルとして、音響特徴量を第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する第一モデル計算部と、出力された第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する特徴量抽出部と、抽出された特徴量を、第二モデルに入力した場合の第二情報の出力確率分布を計算する第二モデル計算部と、第一モデル計算部で計算された第一情報の出力確率分布と音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、第二モデル計算部で計算された第二情報の出力確率分布と第一情報の列に対応する正解ユニット番号とに基づく第二モデルの更新との少なくとも一方を行うモデル更新部と、を含み、新たに学習しようとする第一情報の列がある場合には、特徴量抽出部及び第二モデル計算部は、出力された第一情報の列に代えて、新たに学習しようとする第一情報の列に対して前記と同様の処理を行い、新たに学習しようとする第一情報の列に対応する、第二情報の出力確率分布を計算し、モデル更新部は、第二モデル計算部で計算された、新たに学習しようとする第一情報の列に対応する、第二情報の列の出力確率分布と新たに学習しようとする第一情報の列に対応する正解ユニット番号とに基づく第二モデルの更新を行う。
　新たに学習しようとする第一情報の列に対応する音響特徴量がなくても、その第一情報の列を用いてモデルの学習をすることができることができる。
図１は、背景技術を説明するための図である。 図２は、モデル学習装置の機能構成の例を示す図である。 図３は、モデル学習方法の処理手続きの例を示す図である。 図４は、コンピュータの機能構成例を示す図である。
　以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　モデル学習装置は、図２に示すように、第一モデル計算部１は、中間特徴量計算部１１及び出力確率分布計算部１２を例えば備えている。
　モデル学習方法は、モデル学習装置の各構成部が、以下に説明する及び図３に示すステップＳ１からステップＳ４の処理を行うことにより例えば実現される。
　以下、モデル学習装置の各構成部について説明する。
　<第一モデル計算部１>
　第一モデル計算部１は、音響特徴量を第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する（ステップＳ１）。
　第一モデルは、音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルである。
　以下の説明では、第一の表現形式で表現された情報を第一情報とし、第二の表現形式で表現された情報を第二情報とする。
　第一情報の例は、音素又は書記素である。第二情報の例は、単語である。ここで、単語は、英語の場合には、アルファベット、数字、記号により表現され、日本語の場合には、ひらがな、カタカナ、漢字、アルファベット、数字、記号により表現される。第一情報及び第二情報に対応する言語は、英語、日本語以外の言語であってもよい。
　第一情報は、MIDIイベントやMIDIコード等の音楽の情報であってもよい。この場合、第二情報は、例えば、楽譜の情報となる。
　第一モデル計算部１により出力された第一情報の列は、特徴量抽出部２に送信される。
　第一モデルは、音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルである。
　以下、第一モデル計算部１の処理を詳細に説明するために、第一モデル計算部１の中間特徴量計算部１１及び出力確率分布計算部１２について説明する。
　<<中間特徴量計算部１１>>
　中間特徴量計算部１１には、音響特徴量が入力される。
　中間特徴量計算部１１は、入力された音響特徴量と初期モデルのニューラルネットワークモデルとを用いて、中間特徴量を生成する（ステップＳ１１）。中間特徴量は、例えば非特許文献１の式（１）により定義されるものである。
　例えば、ある中間層のユニットjから出力される中間特徴量yjは、以下のように定義される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Jは、ユニット数であり、所定の正の整数である。bjは、ユニットjのバイアスである。wijは、１つ下の中間層のユニットiからユニットjへの接続の重みである。
　計算された中間特徴量は、出力確率分布計算部１２に出力される。
　中間特徴量計算部１１は、入力された音響特徴量及びニューラルネットワークモデルから、出力確率分布計算部１２において正解ユニットを識別しやすくするための中間特徴量を計算する。具体的には、ニューラルネットワークモデルが１個の入力層、複数個の中間層及び１個の出力層で構成されているとして、中間特徴量計算部１１は、入力層及び複数個の中間層のそれぞれで中間特徴量の計算を行う。中間特徴量計算部１１は、複数個の中間層の中の最後の中間層で計算された中間特徴量を出力確率分布計算部１２に出力する。
　<<出力確率分布計算部１２>>
　出力確率分布計算部１２には、中間特徴量計算部１１が計算した中間特徴量が入力される。
　出力確率分布計算部１２は、中間特徴量計算部１１で最終的に計算された中間特徴量をニューラルネットワークモデルの出力層に入力することにより、出力層の各ユニットに対応する出力確率を並べた出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する（ステップＳ１２）。出力確率分布は、例えば非特許文献１の式（２）により定義されるものである。
　例えば、出力層のユニットjから出力されるpjは、以下のように定義される。
Figure JPOXMLDOC01-appb-M000002
　計算された出力確率分布は、モデル更新部４に出力される。
　例えば、入力された音響特徴量が音声の特徴量であり、ニューラルネットワークモデルが音声認識用のニューラルネットワーク型の音響モデルである場合には、出力確率分布計算部１２により、音声の特徴量を識別しやすくした中間特徴量がどの音声の出力シンボル（音素状態）であるかが計算され、言い換えれば入力された音声の特徴量に対応した出力確率分布が得られる。
　<特徴量抽出部２>
　特徴量抽出部２には、第一モデル計算部１が出力した第一情報の列が入力される。また、後述するように、新たに学習しようとする第一情報の列がある場合には、その新たに学習しようとする第一情報の列が入力される。
　特徴量抽出部２は、入力された第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する（ステップＳ２）。抽出された特徴量は、第二モデル計算部３に出力される。
　特徴量抽出部２は、例えば所定の辞書を参照することにより断片への分解を行う。
　第一情報が音素又は書記素である場合には、特徴量抽出部２により抽出される特徴量は、言語特徴量である。
　断片は、例えばワンホットベクトル等のベクトルで表現される。ワンホットベクトルとは、ベクトルの全要素のうち１つだけ１で他は０になっているベクトルである。
　このように断片がワンホットベクトル等のベクトルで表現される場合には、特徴量抽出部２は、例えば、断片に対応するベクトルに所定のパラメタ行列を乗算することで、特徴量を計算する。
　例えば、第一モデル計算部１が出力した第一情報の列が"helloiammoriya"という書記素で表現された書記素の列であったとする。なお、この場合の書記素は、アルファベットである。
　特徴量抽出部２は、まず、この第一情報の列"helloiammoriya"を、"hello/hello", "I/i", "am/am", "moriya/moriya"という断片に分解する。この例では、各断片は、書記素と、その書記素に対応する単語とで表現されている。スラッシュの右が書記素であり、スラッシュの左が単語である。すなわち、この例では、各断片は、"単語/書記素"という形式で表現されている。この各断片の表現の形式は一例であり、各断片は別の形式により表現されてもよい。例えば、各断片は、"hello", "i", "am", "moriya"のように、書記素のみから表現されてもよい。
　特徴量抽出部２は、第一情報の列を分解した場合に、各断片の書記素が同じであっても異なる単語の意味の場合や、各断片の書記素の組み合わせが複数ある場合は、それらの組み合わせの中のいずれかの断片に分解する。例えば第一情報の列に多義語に対応する書記素が含まれる場合、特定の意味をもつ単語の断片のいずれかを採用する。
また各断片の書記素の組み合わせが複数ある場合、例えば第一情報の列"Theseissuedprograms."の文法を考慮せずに書記素に分解したいずれかとなる。
"The/the", "SE/SE", "issued/issued", "programs/programs", "./." 
"The/the", "SE/SE", "issued/issued", "pro/pro", "grams/grams", "./."
"The/the", "SE/SE", "is/is", "sued/sued", "programs/programs", "./."
"The/the", "SE/SE", "is/is", "sued/sued", "pro/pro", "grams/grams", "./."
"These/these", "issued/issued", "programs/programs", "./."
"These/these", "issued/issued", "pro/pro", "grams/grams", "./."
"These/these", "is/is", "sued/sued", "programs/programs", "./."
"These/these", "is/is", "sued/sued", "pro/pro", "grams/grams", "./."
　また、例えば、第一モデル計算部１が出力した第一情報の列が"キョウワヨイテンキデス"という音節で表現された音節の列であったとする。
　この場合、特徴量抽出部２は、まず、この第一情報の列"キョウワヨイテンキデス"を、"今日/キョウ", "は/ワ", "良い/ヨイ", "天気/テンキ", "です/デス"という断片、または"共和/キョウワ", "酔い/ヨイ", "転機/テンキ", "出/デ", "素/ス"という断片、"巨/キョ", "宇和/ウワ", "よ/ヨ", "移転/イテン", "木/キ", "です/デス"という断片などのいずれかに分解する。この例では、各断片は、音節と、その音節に対応する単語とで表現されている。スラッシュの右が音節であり、スラッシュの左が単語である。すなわち、この例では、各断片は、"単語/音節"という形式で表現されている。
　なお、断片の種類の総数は、後述する第二モデルにより出力確率が計算される第二情報の種類の総数と同じである。また、断片がワンホットベクトルにより表現される場合には、断片の種類の総数は、断片を表現するためのワンホットベクトルの次元数と同じである。
　<第二モデル計算部３>
　第二モデル計算部３には、特徴量抽出部２により抽出された特徴量が入力される。
　第二モデル計算部３は、入力された特徴量を、第二モデルに入力した場合の第二情報の出力確率分布を計算する（ステップＳ３）。計算された出力確率分布は、モデル更新部４に出力される。
　第二モデルは、第一情報の列を所定の単位で区切った各断片に対応する特徴量を入力とし、第一情報の列における各断片の次の断片に対応する第二情報の出力確率分布を出力するモデルである。
　以下、第二モデル計算部３の処理を詳細に説明するために、第二モデル計算部３の中間特徴量計算部１１及び出力確率分布計算部１２について説明する。
　<<中間特徴量計算部３１>>
　中間特徴量計算部３１には、音響特徴量が入力される。
　中間特徴量計算部３１は、入力された音響特徴量と初期モデルのニューラルネットワークモデルとを用いて、中間特徴量を生成する（ステップＳ１１）。中間特徴量は、例えば非特許文献１の式（１）により定義されるものである。
　例えば、ある中間層のユニットjから出力される中間特徴量yjは、以下の式（Ａ）のように定義される。
Figure JPOXMLDOC01-appb-M000003
　ここで、Jは、ユニット数であり、所定の正の整数である。bjは、ユニットjのバイアスである。wijは、１つ下の中間層のユニットiからユニットjへの接続の重みである。
　計算された中間特徴量は、出力確率分布計算部３２に出力される。
　中間特徴量計算部３１は、入力された音響特徴量及びニューラルネットワークモデルから、出力確率分布計算部３２において正解ユニットを識別しやすくするための中間特徴量を計算する。具体的には、ニューラルネットワークモデルが１個の入力層、複数個の中間層及び１個の出力層で構成されているとして、中間特徴量計算部３１は、入力層及び複数個の中間層のそれぞれで中間特徴量の計算を行う。中間特徴量計算部３１は、複数個の中間層の中の最後の中間層で計算された中間特徴量を出力確率分布計算部３２に出力する。
　<<出力確率分布計算部３２>>
　出力確率分布計算部３２には、中間特徴量計算部３１が計算した中間特徴量が入力される。
　出力確率分布計算部３２は、中間特徴量計算部３１で最終的に計算された中間特徴量をニューラルネットワークモデルの出力層に入力することにより、出力層の各ユニットに対応する出力確率を並べた出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する（ステップＳ１２）。出力確率分布は、例えば非特許文献１の式（２）により定義されるものである。
　例えば、出力層のユニットjから出力されるpjは、以下のように定義される。
Figure JPOXMLDOC01-appb-M000004
　計算された出力確率分布は、モデル更新部４に出力される。
　<モデル更新部４>
　モデル更新部４には、第一モデル計算部１により計算された第一情報の出力確率分布及び音響特徴量に対応する正解ユニット番号が入力される。また、モデル更新部４には、第二モデル計算部３により計算された第二情報の出力確率分布及び第一情報の列に対応する正解ユニット番号が入力される。
　モデル更新部４は、第一モデル計算部１で計算された第一情報の出力確率分布と音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、第二モデル計算部で計算された第二情報の出力確率分布と第一情報の列に対応する正解ユニット番号とに基づく第二モデルの更新との少なくとも一方を行う（ステップＳ４）。
　モデル更新部４は、第一モデルの更新及び第二モデルの更新を、同時に行ってもよいし、一方のモデルの更新を行った後に他方のモデルの更新を行ってもよい。
　モデル更新部４は、出力確率分布から計算される所定の損失関数を用いて、各モデルの更新を行う。損失関数は、例えば非特許文献１の式（３）により定義されるものである。
　例えば、損失関数Cは、以下のように定義される。
Figure JPOXMLDOC01-appb-M000005
　ここで、djは、正解ユニット情報である。例えば、ユニットj'のみが正解である場合には、j=j'のdj=1であり、j≠j'のdj=0である。
　更新されるパラメタは、式（Ａ）のwij,bjである。
　t回目の更新後のwijをwij(t)と表記し、t+1回目の更新後のwijをwij(t+1)と表記し、α1を０より大１未満の所定の数とし、ε1を所定の正の数（例えば、０に近い所定の正の数）すると、モデル更新部４は、例えば下記の式に基づいて、t回目の更新後のwij(t)を用いて、t+1回目の更新後のwij(t+1)を求める。
Figure JPOXMLDOC01-appb-M000006
　t回目の更新後のbjをbj(t)と表記し、t+1回目の更新後のbjをbj(t+1)と表記し、α2を０より大１未満の所定の数とし、ε2を所定の正の数（例えば、０に近い所定の正の数）すると、モデル更新部４は、例えば下記の式に基づいて、t回目の更新後のbj(t)を用いて、t+1回目の更新後のbj(t+1)を求める。
Figure JPOXMLDOC01-appb-M000007
　モデル更新部４は、通常、学習データとなる特徴量と正解ユニット番号の各ペアに対して、上記の中間特徴量の抽出→出力確率計算→モデル更新の処理を繰り返し、所定回数（通常、数千万～数億回）の繰り返しが完了した時点のモデルを学習済みモデルとする。
　なお、新たに学習しようとする第一情報の列がある場合には、特徴量抽出部２及び第二モデル計算部３は、第一モデル計算部１により出力された第一情報の列に代えて、新たに学習しようとする第一情報の列に対して前記と同様の処理（ステップＳ２及びステップＳ３の処理）を行い、新たに学習しようとする第一情報の列に対応する、第二情報の出力確率分布を計算する。
　また、この場合、モデル更新部４は、第二モデル計算部３で計算された、新たに学習しようとする第一情報の列に対応する、第二情報の列の出力確率分布と新たに学習しようとする第一情報の列に対応する正解ユニット番号とに基づく第二モデルの更新を行う。
　このように、この実施形態によれば、新たに学習しようとする第一情報の列に対応する音響特徴量がなくても、その第一情報の列を用いてモデルの学習をすることができることができる。
　[実験結果]
　例えば、第一モデルと第二モデルを同時に最適化させることで、より良い認識精度のモデルが学習可能であることが実験により確認されている。例えば、第一モデルと第二モデルを別々に最適化した場合には、所定のTask1及びTask2における単語誤り率はそれぞれ16.4%と14.6%であった。これに対して、第一モデルと第二モデルを同時に最適化した場合には、所定のTask1及びTask2における単語誤り率はそれぞれ15.7%と13.2%であった。このように、Task1及びTask2のそれぞれにおいて、第一モデルと第二モデルを同時に最適化した場合の方が、単語誤り率が低くなっている。
　[変形例]
　以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。
　例えば、モデル学習装置は、図２に破線で示す第一情報列生成部５を更に備えていてもよい。
　第一情報列生成部５は、入力された情報の列を第一情報の列に変換する。第一情報列生成部５により変換された第一情報の列は、新たに学習しようとする第一情報の列として、特徴量抽出部２に出力される。
　例えば、第一情報列生成部５は、入力されたテキスト情報を、音素又は書記素の列である第一情報の列に変換する。
　実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　例えば、モデル学習装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。
　[プログラム、記録媒体]
　上記説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。例えば、上述の各種の処理は、図４に示すコンピュータの記録部２０２０に、実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１     第一モデル計算部
１１   中間特徴量計算部
１２   出力確率分布計算部
２     特徴量抽出部
３     第二モデル計算部
３１   中間特徴量計算部
３２   出力確率分布計算部
４     モデル更新部
５     第一情報列生成部

Claims (5)

  1. 　第一の表現形式で表現された情報を第一情報とし、第二の表現形式で表現された情報を第二情報とし、
    　音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルを第一モデルとし、
    　第一情報の列を所定の単位で区切った各断片に対応する特徴量を入力とし、第一情報の列における前記各断片の次の断片に対応する第二情報の出力確率分布を出力するモデルを第二モデルとして、
    　音響特徴量を前記第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する第一モデル計算部と、
    　前記出力された第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する特徴量抽出部と、
    　前記抽出された特徴量を、前記第二モデルに入力した場合の第二情報の出力確率分布を計算する第二モデル計算部と、
    　前記第一モデル計算部で計算された第一情報の出力確率分布と前記音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、前記第二モデル計算部で計算された第二情報の出力確率分布と前記第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新との少なくとも一方を行うモデル更新部と、を含み、
    　新たに学習しようとする第一情報の列がある場合には、
    　前記特徴量抽出部及び前記第二モデル計算部は、前記出力された第一情報の列に代えて、前記新たに学習しようとする第一情報の列に対して前記と同様の処理を行い、前記新たに学習しようとする第一情報の列に対応する、第二情報の出力確率分布を計算し、
    　前記モデル更新部は、前記第二モデル計算部で計算された、前記新たに学習しようとする第一情報の列に対応する、第二情報の列の出力確率分布と前記新たに学習しようとする第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新を行う、
    　モデル学習装置。
  2. 　請求項１のモデル学習装置であって、
    　前記第一情報は、音素又は書記素であり、
    　前記所定の単位は、音節又は書記素であり、
    　前記第二情報は、単語である、
    　モデル学習装置。
  3. 　請求項１又は２のモデル学習装置であって、
    　入力された情報の列を第一情報の列に変換し、前記新たに学習しようとする第一情報の列とする第一情報列生成部を更に含む、
    　モデル学習装置。
  4. 　第一の表現形式で表現された情報を第一情報とし、第二の表現形式で表現された情報を第二情報とし、
    　音響特徴量を入力とし、音響特徴量に対応する第一情報の出力確率分布を出力するモデルを第一モデルとし、
    　第一情報の列を所定の単位で区切った各断片に対応する特徴量を入力とし、第一情報の列における前記各断片の次の断片に対応する第二情報の出力確率分布を出力するモデルを第二モデルとして、
    　第一モデル計算部が、音響特徴量を前記第一モデルに入力した場合の第一情報の出力確率分布を計算し、最も大きな出力確率を有する第一情報を出力する第一モデル計算ステップと、
    　特徴量抽出部が、前記出力された第一情報の列を所定の単位で区切った各断片に対応する特徴量を抽出する特徴量抽出ステップと、
    　第二モデル計算部が、前記抽出された特徴量を、前記第二モデルに入力した場合の第二情報の出力確率分布を計算する第二モデル計算ステップと、
    　モデル更新部が、前記第一モデル計算部で計算された第一情報の出力確率分布と前記音響特徴量に対応する正解ユニット番号とに基づく第一モデルの更新と、前記第二モデル計算部で計算された第二情報の出力確率分布と前記第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新との少なくとも一方を行うモデル更新ステップと、を含み、
    　新たに学習しようとする第一情報の列がある場合には、
    　前記特徴量抽出ステップ及び前記第二モデル計算ステップは、前記出力された第一情報の列に代えて、前記新たに学習しようとする第一情報の列に対して前記と同様の処理を行い、前記新たに学習しようとする第一情報の列に対応する、第二情報の出力確率分布を計算し、
    　前記モデル更新ステップは、前記第二モデル計算部で計算された、前記新たに学習しようとする第一情報の列に対応する、第二情報の列の出力確率分布と前記新たに学習しようとする第一情報の列に対応する正解ユニット番号とに基づく前記第二モデルの更新を行う、
    　モデル学習方法。
  5. 　請求項１から３の何れかのモデル学習装置の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2019/022953 2019-06-10 2019-06-10 モデル学習装置、方法及びプログラム WO2020250279A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/617,556 US20220230630A1 (en) 2019-06-10 2019-06-10 Model learning apparatus, method and program
JP2021525420A JP7218803B2 (ja) 2019-06-10 2019-06-10 モデル学習装置、方法及びプログラム
PCT/JP2019/022953 WO2020250279A1 (ja) 2019-06-10 2019-06-10 モデル学習装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/022953 WO2020250279A1 (ja) 2019-06-10 2019-06-10 モデル学習装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020250279A1 true WO2020250279A1 (ja) 2020-12-17

Family

ID=73780737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022953 WO2020250279A1 (ja) 2019-06-10 2019-06-10 モデル学習装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20220230630A1 (ja)
JP (1) JP7218803B2 (ja)
WO (1) WO2020250279A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222121A (zh) * 2021-05-31 2021-08-06 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014134640A (ja) * 2013-01-09 2014-07-24 Nippon Hoso Kyokai <Nhk> 文字起こし装置およびプログラム
WO2017159207A1 (ja) * 2016-03-14 2017-09-21 シャープ株式会社 処理実行装置、処理実行装置の制御方法、および制御プログラム
WO2018051841A1 (ja) * 2016-09-16 2018-03-22 日本電信電話株式会社 モデル学習装置、その方法、及びプログラム
JP2018128574A (ja) * 2017-02-08 2018-08-16 日本電信電話株式会社 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177550B2 (en) * 2013-03-06 2015-11-03 Microsoft Technology Licensing, Llc Conservatively adapting a deep neural network in a recognition system
JP2015040908A (ja) 2013-08-20 2015-03-02 株式会社リコー 情報処理装置、情報更新プログラム及び情報更新方法
US11443169B2 (en) * 2016-02-19 2022-09-13 International Business Machines Corporation Adaptation of model for recognition processing
CN107680597B (zh) * 2017-10-23 2019-07-09 平安科技（深圳）有限公司 语音识别方法、装置、设备以及计算机可读存储介质
US12008987B2 (en) * 2018-04-30 2024-06-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for decoding intended speech from neuronal activity
JP2019211627A (ja) * 2018-06-05 2019-12-12 日本電信電話株式会社 モデル学習装置、方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014134640A (ja) * 2013-01-09 2014-07-24 Nippon Hoso Kyokai <Nhk> 文字起こし装置およびプログラム
WO2017159207A1 (ja) * 2016-03-14 2017-09-21 シャープ株式会社 処理実行装置、処理実行装置の制御方法、および制御プログラム
WO2018051841A1 (ja) * 2016-09-16 2018-03-22 日本電信電話株式会社 モデル学習装置、その方法、及びプログラム
JP2018128574A (ja) * 2017-02-08 2018-08-16 日本電信電話株式会社 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222121A (zh) * 2021-05-31 2021-08-06 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113222121B (zh) * 2021-05-31 2023-08-29 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备

Also Published As

Publication number Publication date
JP7218803B2 (ja) 2023-02-07
JPWO2020250279A1 (ja) 2020-12-17
US20220230630A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US10796105B2 (en) Device and method for converting dialect into standard language
US11972365B2 (en) Question responding apparatus, question responding method and program
Abandah et al. Automatic diacritization of Arabic text using recurrent neural networks
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
JPWO2018051841A1 (ja) モデル学習装置、その方法、及びプログラム
CN113642316B (zh) 中文文本纠错方法、装置、电子设备及存储介质
JP2019159654A (ja) 時系列情報の学習システム、方法およびニューラルネットワークモデル
JP7287062B2 (ja) 翻訳方法、翻訳プログラム及び学習方法
CN113449514B (zh) 一种适用于垂直领域的文本纠错方法及其纠错装置
CN115293138B (zh) 一种文本纠错方法及计算机设备
CN114818668A (zh) 一种语音转写文本的人名纠错方法、装置和计算机设备
CN118043885A (zh) 用于半监督语音识别的对比孪生网络
CN112185361A (zh) 一种语音识别模型训练方法、装置、电子设备及存储介质
US20230034414A1 (en) Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program
JP5152918B2 (ja) 固有表現抽出装置、その方法およびプログラム
WO2020250279A1 (ja) モデル学習装置、方法及びプログラム
JP6605997B2 (ja) 学習装置、学習方法及びプログラム
CN112530401A (zh) 一种语音合成方法、系统及装置
US20210225367A1 (en) Model learning apparatus, method and program
Ryu et al. Transformer‐based reranking for improving Korean morphological analysis systems
CN114330375A (zh) 一种基于固定范式的术语翻译方法及系统
Hertel Neural language models for spelling correction
JP2020129061A (ja) 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
Xu et al. Continuous space discriminative language modeling
US20230116268A1 (en) System and a method for phonetic-based transliteration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932806

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021525420

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19932806

Country of ref document: EP

Kind code of ref document: A1