WO2020162240A1 - 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体 - Google Patents

言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2020162240A1
WO2020162240A1 PCT/JP2020/002650 JP2020002650W WO2020162240A1 WO 2020162240 A1 WO2020162240 A1 WO 2020162240A1 JP 2020002650 W JP2020002650 W JP 2020002650W WO 2020162240 A1 WO2020162240 A1 WO 2020162240A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
language model
meta information
unit
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/002650
Other languages
English (en)
French (fr)
Inventor
亮 増村
智大 田中
隆伸 大庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/429,169 priority Critical patent/US11887620B2/en
Publication of WO2020162240A1 publication Critical patent/WO2020162240A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to a technique for learning a language model used in speech recognition, machine translation, etc.
  • a language model is necessary for linguistic prediction.
  • the language model can measure a language model score (probability) representing linguistic likelihood, and its performance affects the performance of speech recognition and machine translation.
  • Various types of language models have been proposed so far, but in recent years, language models based on recurrent neural networks have been receiving attention. For details of the language model based on the recurrent neural network, refer to Non-Patent Document 1 or the like.
  • Language models based on recurrent neural networks have very high language prediction capabilities and are actively used in speech recognition and machine translation.
  • the point of the language model based on the recurrent neural network is that by using the recurrent neural network, it is possible to perform language prediction that reflects a long-distance context within the range of the utterance. Specifically, when measuring the linguistic likelihood of the tenth word from the beginning of a certain utterance, the information of the ninth word immediately before the beginning can be considered as context information.
  • the language model score is measured in consideration of long-distance context information within the range of the utterance, but in a conversation or the like, not only the context information within the range of the utterance, The utterance sequence past the utterance should be considered as the context information.
  • a technique for measuring a language model score of a certain utterance has been studied in consideration of up to the interaction between speakers in the utterance sequence earlier than the utterance as the context information in the conversation by a plurality of people.
  • the technique is called a "multi-person conversation context-aware language model”.
  • a multi-person conversation context-aware language model has a function to calculate the prediction probability of the word of the utterance by explicitly utilizing the information such as who spoke what in the multi-person conversation. It is possible to calculate a language model score with high prediction performance as compared with a recurrent neural network. As a result, a speech recognition system with high speech recognition performance can be constructed by using a multi-person conversation context-aware language model. See Non-Patent Document 2 for details of the multi-person conversation context-aware language model.
  • the problem to be solved by the present invention is that the conventional multi-person conversation context-aware language model does not explicitly understand the meta information included in each past utterance that can be the context information of the utterance. This makes language prediction difficult. That is, an object of the present invention is to improve the accuracy of language prediction in a language model that uses past utterance sequences as context information.
  • the language model score calculation device uses a meta information understanding device for at least one piece of meta information from a word string of the immediately preceding utterance to generate a history utterance meta information vector representing the meta information of the immediately preceding utterance.
  • a desired history utterance meta-information understanding unit a history utterance embedding unit that converts a word string of the immediately preceding utterance and a speaker label representing a speaker of the immediately preceding utterance into a history utterance embedding vector using a model parameter of a language model, Using the model parameters of the linguistic model, the utterance unit combination vector constructing unit that obtains the utterance unit combination vector by combining the history utterance meta-information vector and the history utterance embedding vector, and the plurality of utterance unit combination vectors obtained for past utterance sequences.
  • the utterance sequence embedding vector calculator that converts the utterance sequence embedding vector into a utterance sequence by using the model parameters of the language model from the utterance sequence embedding vector and the speaker label that represents the speaker of the current utterance.
  • a language model score calculation unit that calculates a language model score of the utterance.
  • a language model creating device is a meta information model parameter for learning a model parameter of a meta information understanding device from learning data including a set of utterances related to at least one piece of meta information and meta information of each utterance.
  • a language model parameter that learns the model parameter of the language model using the model parameter of the meta-information understanding device from the conversation data consisting of a learning unit and a plurality of utterances by multiple people and a speaker label representing the speaker of each utterance And a learning unit.
  • the accuracy of language prediction is improved in a language model that uses past utterance sequences as context information.
  • this language model for speech recognition, machine translation, etc., speech recognition performance and translation performance can be improved.
  • FIG. 1 is a diagram illustrating a functional configuration of a language model score calculation device.
  • FIG. 2 is a diagram illustrating a processing procedure of the language model score calculation method.
  • FIG. 3 is a diagram illustrating a functional configuration of the language model creation device.
  • FIG. 4 is a diagram illustrating a processing procedure of the language model creating method.
  • the multi-person conversation context-aware language model of the present invention includes meta-information understanding devices for the number of types of meta-information to be estimated.
  • the language model score calculation device 1 of the first embodiment includes a model parameter storage unit 10, a history utterance meta information understanding unit 11, a history utterance embedding unit 12, an utterance unit combination vector forming unit 13, and an utterance.
  • a sequence embedded vector calculation unit 14 and a language model score calculation unit 15 are provided.
  • the language model score calculation device 1 realizes the language model score calculation method of the first embodiment by performing the processing of each step illustrated in FIG.
  • the language model score calculation device 1 is configured, for example, by loading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. It is a special device.
  • the language model score calculation device 1 executes each process under the control of the central processing unit, for example.
  • the data input to the language model score calculation device 1 and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read to the central processing unit as necessary. And used for other processing.
  • At least a part of each processing unit of the language model score calculation device 1 may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the language model score calculation device 1 is, for example, a main storage device such as a RAM (Random Access Memory) or an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory). , Or middleware such as a relational database or key-value store.
  • a main storage device such as a RAM (Random Access Memory) or an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory).
  • middleware such as a relational database or key-value store.
  • the language model score calculation device 1 includes a sequence W 1 of word strings for each continuous utterance W 1 ,..., W L and a sequence s 1 of speaker labels for each of L continuous utterances. ..., as input and s L, a model parameter theta 1 language model, model parameter theta 2 1 of K meta information understanding unit, ..., the probability calculation in accordance with the theta 2 K, and L number of consecutive
  • the language model score P(W 1 ),..., P(W L ) of the sequence of word strings is obtained and output. Strictly speaking, the language model score P(W l ) of the l-th utterance is as follows.
  • the language model score calculation device 1 realizes the above processing by repeating the processing for each utterance.
  • the model parameter storage unit 10 stores in advance the model parameter ⁇ 1 of the language model and the model parameters ⁇ 2 1 ,..., ⁇ 2 K of the K meta information understanding devices. These model parameters ⁇ 1 , ⁇ 2 1 ,..., ⁇ 2 K are learned in advance by the language model creating device 2 described later.
  • the history utterance meta-information understanding unit 11 receives the word string W l-1 of the l ⁇ 1-th utterance as input, and for each integer k of 1 or more and K or less, model parameter of the k-th meta-information understanding device.
  • the k-th meta-information vector u l-1,k of the l-1-th utterance is obtained by the conversion function based on ⁇ 2 k .
  • the word string W l-1 of the l- 1th utterance includes one or more words.
  • the history utterance meta-information understanding unit 11 outputs the obtained K types of meta-information vectors u l-1,1 ..., U l-1,K to the utterance unit combination vector forming unit 13.
  • the meta information vector is a vector in which meta information predicted from a word string is embedded. Although various kinds of meta information can be considered, utterance intentions indicating “agreement”, “question”, “gratitude”, and the like, topics such as “sports”, “economy”, “entertainment”, and the like.
  • Each dimension of the meta information vector can be associated with each element related to the meta information. For example, the first dimension may be assigned as "agreement of utterance intention" and the second dimension as "question utterance is doubtful".
  • a vector may be configured in which only the second dimension is 1 and 0 in other dimensions. it can.
  • any information can be used as long as the information can be extracted from the meta-information understanding device based on the model parameter ⁇ 2 k .
  • any function can be used as long as it is a function for converting a variable length symbol string into a single vector.
  • any device can be used as long as it estimates the meta information prediction probability distribution from a word string.
  • a recurrent neural network or a bidirectional recurrent neural network and a softmax function can be used to construct it.
  • the conversion function can be a conversion function that configures the meta information vector with the dimension corresponding to the label predicted by the meta information understanding device as 1 and the remaining dimension as 0, for example. Further, the posterior probability distribution about the meta information predicted by the meta information understanding device can be directly used as the meta information vector.
  • an intermediate representation when estimating using a meta information understanding device, for example, in the case of a meta information understanding device using the above-mentioned recurrent neural network or bidirectional recurrent neural network and softmax function,
  • the vector representation obtained before passing the softmax function may be directly used as the meta information vector.
  • the history utterance embedding unit 12 receives the word string W l-1 of the l-1 th utterance and the word label s l-1 of the l-1 th utterance, and inputs the model parameter ⁇ 1 of the language model.
  • the conversion function based on ( 1 ) determines the history utterance embedding vector h l-1 of the l-1 th utterance.
  • the history utterance embedding vector is a vector in which the information of the word string and the speaker label is embedded. At this time, any function can be used as the conversion function as long as it is a function for converting a variable length symbol string into a single vector.
  • the history utterance embedding unit 12 outputs the obtained history utterance embedding vector h l ⁇ 1 to the utterance unit combination vector forming unit 13.
  • step S13 the utterance unit combination vector construction unit 13 outputs the K kinds of meta information vectors u l-1,1 ,..., U l-1, of the l ⁇ 1th utterance output by the history utterance meta information understanding unit 11 .
  • the utterance unit combination vector c l ⁇ 1 of the l ⁇ 1th utterance is obtained.
  • the utterance unit combined vector construction unit 13 outputs the obtained utterance unit combined vector c l ⁇ 1 to the utterance sequence embedded vector calculation unit 14.
  • the utterance unit combination vector c l-1 is configured as follows.
  • ⁇ T (superscript T) represents the transpose of the vector.
  • the utterance sequence embedded vector calculation unit 14 receives the plurality of utterance unit combination vectors c 1 ,..., C l-1 obtained for the past utterance sequences, and uses the conversion function based on the model parameter ⁇ 1 of the language model. Thus, the l-1th utterance sequence embedded vector v l-1 is obtained.
  • the conversion function any function can be used as long as it is a function that converts a variable length vector sequence into a single vector. For example, a recurrent neural network can be used.
  • the utterance sequence embedded vector calculation unit 14 outputs the obtained utterance sequence embedded vector v l ⁇ 1 to the language model score calculation unit 15.
  • step S15 the language model score calculation unit 15 receives as input the word string W l of the l-th utterance, the speaker label s l of the l-th utterance, and the l ⁇ 1-th utterance sequence embedded vector v l-1.
  • the language model score P(W l ) of the l-th utterance is obtained based on the conversion function based on the model parameter ⁇ 1 of the language model.
  • the conversion function can be expressed by using a recurrent neural network that performs autoregression, a bidirectional recurrent neural network, and a softmax function.
  • the m+1st word is predicted from the mth word of the lth utterance, the speaker label s l of the lth utterance, and the l-1th utterance sequence embedded vector v l-1.
  • the probability of each word of the l-th utterance W l can be calculated, and the language model score P(W l ) can be calculated based on the probability.
  • the language model score calculation device 1 performs the above-described processing from steps S11 to S15 on each of the L input utterances W 1 ,..., W L , and obtains the language model score of the L utterances. Output P(W 1 ), ..., P(W L ).
  • the language model creation device 2 of the second embodiment includes a meta information model parameter learning unit 21, a language model parameter learning unit 22, and a model parameter storage unit 10 as illustrated in FIG.
  • the language model creating method according to the second embodiment is realized by the language model creating apparatus 2 performing the processing of each step illustrated in FIG.
  • the language model creating device 2 is configured, for example, by loading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. It is a special device.
  • the language model creation device 2 executes each process under the control of the central processing unit, for example.
  • the data input to the language model creating device 2 and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read to the central processing unit as necessary. Used for other processing.
  • At least a part of each processing unit of the language model creation device 2 may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the language model creation device 2 is, for example, a main storage device such as a RAM (Random Access Memory), an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory), Alternatively, it can be configured by middleware such as a relational database or a key-value store.
  • a main storage device such as a RAM (Random Access Memory)
  • auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory)
  • middleware such as a relational database or a key-value store.
  • the language model creation device 2 of the second embodiment receives learning data D 1 ,..., D K for each of K pieces of meta information and conversation data D of a plurality of people as input, and model parameters ⁇ 1 of the language model and K pieces. Learn the model parameters ⁇ 2 1 ,..., ⁇ 2 K of the meta information understanding device of.
  • the learning data D k regarding the k-th meta information is a plurality of data composed of a set of utterance W n k and meta information L n k, and can be expressed by the following equation.
  • n is an integer of 1 or more and N k or less
  • N k represents the number of learning data regarding the k-th meta information.
  • the multi-person conversation data D is a plurality of data including a set of a word string W l for each utterance included in a conversation and a speaker label s l, and can be expressed by the following equation.
  • l is each integer from 1 to L
  • L represents the number of utterances included in the conversation.
  • the meta-information model parameter learning unit 21 inputs the learning data D k regarding the k-th meta information for each integer k of 1 or more and K or less, and the model parameter ⁇ 2 of the k-th meta information understanding device. learn k .
  • the meta information model parameter learning unit 21 outputs the obtained model parameters ⁇ 2 1 ,..., ⁇ 2 K of the K types of meta information understanding devices to the language model parameter learning unit 22.
  • Model parameter ⁇ theta 2 k optimized by the learning data D k is in accordance with the following equation.
  • W n k , ⁇ 2 k ) is the same as the meta information understanding device defined by the history utterance meta information understanding unit 11 of the language model score calculation device 1, and the word string Any information can be used as long as it estimates the meta information prediction probability distribution from the. For example, it can be constructed using a recurrent neural network, a bidirectional recurrent neural network, and a softmax function.
  • step S22 the language model parameter learning unit 22 inputs the multi-person conversation data D and the model parameters ⁇ 2 1 ,..., ⁇ 2 K of the K kinds of meta information understanding devices, and inputs the model parameters of the language model.
  • the parameter ⁇ 1 optimized by the multi-person conversation data D follows the following equation.
  • W 1 ,..., W l-1 ,s 1 ,..., s l , ⁇ 1 , ⁇ 2 1 ,..., ⁇ 2 K ) is defined in the language model score calculation device 1.
  • the calculation can be performed according to the calculated flow.
  • ⁇ 1 is a model parameter learned here
  • ⁇ 2 1 ,..., ⁇ 2 K are model parameters optimized in the meta information model parameter learning unit 21.
  • the language model score calculation device 1 that reflects the learned information can be realized.
  • the language model creating device 2 sets the model parameter ⁇ 1 of the language model obtained by the above-described processing from steps S21 to S22 and the model parameters ⁇ 2 1 ,..., ⁇ 2 K of the K kinds of meta-information understanding devices. Is stored in the model parameter storage unit 10.
  • the model parameter ⁇ 1 of the obtained language model and the model parameters ⁇ 2 1 ,..., ⁇ of the K kinds of meta information understanders are stored in order to be stored in another device using the language model and the meta information understander. 2 K and are output as is.
  • the language model creation device 2 does not have to include the model parameter storage unit 10.
  • the language model score calculation device 1 and the language model creation device 2 are configured as separate devices.
  • the function of learning the language model and the model parameter of the meta information understanding device and the learned is also possible to configure it as one language model score calculation device that also has a function of calculating a language model score using model parameters.
  • the language model score calculation device of the modified example includes a meta information model parameter learning unit 21, a language model parameter learning unit 22, a model parameter storage unit 10, a history utterance meta information understanding unit 11, a history utterance embedding unit 12, and an utterance unit combination.
  • a vector construction unit 13, an utterance sequence embedded vector calculation unit 14, and a language model score calculation unit 15 are provided.
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, or the like.
  • Distribution of this program is performed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage device. Then, when executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program.
  • a computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be sequentially executed.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by executing the execution instruction and the result acquisition without transferring the program from the server computer to this computer. May be It should be noted that the program in this embodiment includes information that is used for processing by an electronic computer and that is equivalent to the program (data that is not a direct command to a computer, but has the property of defining computer processing).
  • the device is configured by executing a predetermined program on the computer, but at least a part of the processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

言語予測の精度を向上する。履歴発話メタ情報理解部１１は、直前の発話の単語列からメタ情報理解器を用いて履歴発話メタ情報ベクトルを求める。履歴発話埋め込み部１２は、直前の発話の単語列と話者ラベルとを履歴発話埋め込みベクトルに変換する。発話単位結合ベクトル構成部１３は、履歴発話メタ情報ベクトルと履歴発話埋め込みベクトルとを結合して発話単位結合ベクトルを求める。発話系列埋め込みベクトル計算部１４は、過去の発話系列について求めた複数の発話単位結合ベクトルを発話系列埋め込みベクトルに変換する。言語モデルスコア計算部１５は、現在の発話の単語列と話者ラベルと発話系列埋め込みベクトルとから現在の発話の言語モデルスコアを計算する。

Description

言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
　本発明は、音声認識や機械翻訳等で用いる言語モデルを学習する技術に関する。
　音声認識や機械翻訳では、言語的な予測のために言語モデルが必要である。言語モデルは、言語的な尤もらしさを表す言語モデルスコア（確率）を計測可能なものであり、その性能が音声認識や機械翻訳の性能を左右するものである。これまで、様々な種類の言語モデルが提案されてきているが、近年リカレントニューラルネットワークに基づく言語モデルが注目されている。リカレントニューラルネットワークに基づく言語モデルの詳細は例えば非特許文献１等を参照されたい。
　リカレントニューラルネットワークに基づく言語モデルは、非常に高い言語予測能力を持ち、音声認識や機械翻訳で積極的に利用されている。リカレントニューラルネットワークに基づく言語モデルのポイントは、リカレントニューラルネットワークを用いることにより、当該発話の範囲内の長距離の文脈を反映させた言語予測を行うことができることである。具体的には、ある発話の始端から１０番目までの単語の言語的な尤もらしさを計測する際に、始端から直前の９番目までの単語の情報を文脈情報として考慮することができる。
　一般的なリカレントニューラルネットワークに基づく言語モデルでは、当該発話の範囲内の長距離の文脈情報を考慮して言語モデルスコアを計測するが、会話などでは当該発話の範囲内の文脈情報だけではなく、当該発話よりも過去の発話系列も文脈情報として考慮すべきである。そこで、複数人による会話において当該発話よりも過去の発話系列における話者間のインタラクションまでを文脈情報として考慮して、ある発話の言語モデルスコアを計測する技術が近年検討されている。ここでは、その技術を「複数人会話文脈考慮型言語モデル」と呼ぶこととする。
　複数人会話文脈考慮型言語モデルでは、複数人会話において、これまで誰が何を話してきたのかといった情報を陽に活用して、当該発話の単語の予測確率を算出する機能を持ち、一般的なリカレントニューラルネットワークと比較して、予測性能が高い言語モデルスコアを算出することが可能となる。これにより、複数人会話文脈考慮型言語モデルを用いれば、音声認識性能が高い音声認識システムを構築することができる。複数人会話文脈考慮型言語モデルの詳細は非特許文献２を参照されたい。
Mikolov Tomas, Karafiat Martin, Burget Lukas, Cernocky Jan, Khudanpur Sanjeev, "Recurrent neural network based language model", INTERSPEECH 2010, pp. 1045-1048, 2010. Ryo Masumura, Tomohiro Tanaka, Atsushi Ando, Hirokazu Masataki, Yushi Aono, "Role Play Dialogue Aware Language Models based on Conditional Hierarchical Recurrent Encoder-Decoder", In Proc. Annual Conference of the International Speech Communication Association (INTERSPEECH), pp. 1259-1263, 2018.
　複数人会話文脈考慮型言語モデルでは、当該発話よりも過去の発話系列を文脈情報として利用する際に、各発話の単語列と話者情報のみを利用していた。しかしながら、当該発話にとって文脈情報となり得る、各発話に含まれるメタ情報の理解を明示的に行えていないことによって、不十分な文脈情報となってしまっている。ここで、メタ情報とは、様々なものが考えられるが、例えば「同意」「疑問」「感謝」等を表す発話意図や、「スポーツ」「経済」「芸能」等を表す話題、等が挙げられる。
　具体的には、例えば当該発話の直前の発話が「そうですか」という場合、この発話が「疑問」を表しているのか「同意」を表しているのかを判断できないと、当該発話でどのような言語が出現しやすいかという言語予測が非常に難しくなる。また、例えば当該発話の直前の発話が「昨日のナイターの試合の結果を教えて」という場合、この発話の話題が「スポーツ」であると具体的に予測できる場合とそうでない場合とでは、次発話の言語予測の精度が大きく異なると考えられる。
　したがって、本発明が解決しようとする課題は、従来の複数人会話文脈考慮型言語モデルが、当該発話の文脈情報となり得る過去の各発話に含まれるメタ情報の理解を明示的に行っていないことにより、言語予測が難しくなってしまっている点である。すなわち、本発明の目的は、過去の発話系列を文脈情報として利用する言語モデルにおいて、言語予測の精度を向上することである。
　本発明の第一の態様の言語モデルスコア計算装置は、直前の発話の単語列から少なくとも１個のメタ情報に関するメタ情報理解器を用いて直前の発話のメタ情報を表す履歴発話メタ情報ベクトルを求める履歴発話メタ情報理解部と、直前の発話の単語列と直前の発話の話者を表す話者ラベルとを言語モデルのモデルパラメータを用いて履歴発話埋め込みベクトルに変換する履歴発話埋め込み部と、履歴発話メタ情報ベクトルと履歴発話埋め込みベクトルとを結合して発話単位結合ベクトルを求める発話単位結合ベクトル構成部と、過去の発話系列について求めた複数の発話単位結合ベクトルを言語モデルのモデルパラメータを用いて発話系列埋め込みベクトルに変換する発話系列埋め込みベクトル計算部と、現在の発話の単語列と現在の発話の話者を表す話者ラベルと発話系列埋め込みベクトルとから言語モデルのモデルパラメータを用いて現在の発話の言語モデルスコアを計算する言語モデルスコア計算部と、を含む。
　本発明の第二の態様の言語モデル作成装置は、少なくとも１個のメタ情報に関する発話と各発話のメタ情報との組からなる学習データからメタ情報理解器のモデルパラメータを学習するメタ情報モデルパラメータ学習部と、複数人による複数の発話と各発話の話者を表す話者ラベルとの組からなる会話データからメタ情報理解器のモデルパラメータを用いて言語モデルのモデルパラメータを学習する言語モデルパラメータ学習部と、を含む。
　本発明によれば、過去の発話系列を文脈情報として利用する言語モデルにおいて、言語予測の精度が向上する。この言語モデルを音声認識や機械翻訳等に用いることによって、音声認識性能や翻訳性能を高めることができる。
図１は、言語モデルスコア計算装置の機能構成を例示する図である。 図２は、言語モデルスコア計算方法の処理手順を例示する図である。 図３は、言語モデル作成装置の機能構成を例示する図である。 図４は、言語モデル作成方法の処理手順を例示する図である。
　文中で使用する記号「^」は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。例えば、「^θ」は数式中では次式で表される。
Figure JPOXMLDOC01-appb-M000001
　本発明では、上述の課題を解決するために、複数人会話文脈考慮型言語モデルにおいて、当該発話の文脈情報となる過去の各発話に含まれる１種類以上のメタ情報を推定し、推定した各発話のメタ情報も単語列と話者情報に付随して文脈情報として用いることによって、言語予測のための予測確率を算出し、それに基づき言語モデルスコアを計算する方法を導入する。そのために、本発明の複数人会話文脈考慮型言語モデルは、推定したいメタ情報の種類数分のメタ情報理解器を内包する。
　また、上述の機能を持つ複数人会話文脈考慮型言語モデル、および内包された推定したいメタ情報の種類数分のメタ情報理解器を、メタ情報の種類ごとのメタ情報予測のための学習データ（発話とメタ情報のペアの複数データ）と、複数人会話の学習データ（話者ラベルが付与された単語列の系列）とを用いて最適化する方法を導入する。
　以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　［第一実施形態：言語モデルスコア計算装置］
　第一実施形態の言語モデルスコア計算装置１は、図１に例示するように、モデルパラメータ記憶部１０、履歴発話メタ情報理解部１１、履歴発話埋め込み部１２、発話単位結合ベクトル構成部１３、発話系列埋め込みベクトル計算部１４、および言語モデルスコア計算部１５を備える。この言語モデルスコア計算装置１が、図２に例示する各ステップの処理を行うことにより第一実施形態の言語モデルスコア計算方法が実現される。
　言語モデルスコア計算装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。言語モデルスコア計算装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。言語モデルスコア計算装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。言語モデルスコア計算装置１の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。言語モデルスコア計算装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
　第一実施形態の言語モデルスコア計算装置１は、L個の連続した発話ごとの単語列の系列W1, …, WLと、L個の連続した発話ごとの話者ラベルの系列s1, …, sLとを入力とし、言語モデルのモデルパラメータθ1と、K個のメタ情報理解器のモデルパラメータθ2 1, …, θ2 Kとに従った確率計算により、L個の連続した単語列の系列の言語モデルスコアP(W1), …, P(WL)を得て出力する。なお、l番目の発話の言語モデルスコアP(Wl)は、厳密には以下を表す。
Figure JPOXMLDOC01-appb-M000002
　言語モデルスコア計算装置１は、発話単位の処理を繰り返すことで上記の処理を実現する。以下では、l（l=1, …, L）番目の発話単位の処理について詳細を説明する。
　モデルパラメータ記憶部１０には、言語モデルのモデルパラメータθ1と、K個のメタ情報理解器のモデルパラメータθ2 1, …, θ2 Kとが予め記憶されている。これらのモデルパラメータθ1, θ2 1, …, θ2 Kは、後述する言語モデル作成装置２により予め学習しておく。
　ステップＳ１１において、履歴発話メタ情報理解部１１は、l-1番目の発話の単語列Wl-1を入力とし、1以上K以下の各整数kについて、k番目のメタ情報理解器のモデルパラメータθ2 kに基づく変換関数により、l-1番目の発話のk番目のメタ情報ベクトルul-1,kを求める。このとき、l-1番目の発話の単語列Wl-1は１つ以上の単語を含む。履歴発話メタ情報理解部１１は、得られたK種類のメタ情報ベクトルul-1,1, …, ul-1,Kを発話単位結合ベクトル構成部１３へ出力する。
　メタ情報ベクトルは、単語列から予測されるメタ情報が埋め込まれたベクトルである。メタ情報としては様々なものが考えられるが、「同意」「疑問」「感謝」などを表す発話意図や、「スポーツ」「経済」「芸能」などを表す話題、等である。メタ情報ベクトルの各次元は、メタ情報に関する各要素に対応させることができる。例えば、１次元目は「発話意図が同意」、２次元目は「発話意図が疑問」などと割り当てておき、例えば、２次元目のみ１、他の次元は０としたベクトルを構成することができる。このとき変換関数はモデルパラメータθ2 kに基づくメタ情報理解器から抽出可能な情報であれば任意のものを用いることができる。具体的には、可変長数の記号列を単一ベクトルに変換する関数であれば任意のものを利用できる。
　メタ情報理解器は、単語列からメタ情報予測確率分布を推定するものであれば任意のものを用いることができ、例えばリカレントニューラルネットワークや双方向リカレントニューラルネットワークとソフトマックス関数を用いて構築することができる。変換関数は、例えばメタ情報理解器が予測したラベルに対応する次元を１として、残りの次元を０としてメタ情報ベクトルを構成する変換関数とすることができる。また、メタ情報理解器が予測したメタ情報についての事後確率分布を直接メタ情報ベクトルとすることができる。さらに、メタ情報理解器を用いて推定する際の中間表現を用いてもよく、例えば前述のリカレントニューラルネットワークや双方向リカレントニューラルネットワークとソフトマックス関数を用いたメタ情報理解器の場合であれば、ソフトマックス関数を通す前に得られるベクトル表現を直接メタ情報ベクトルとしてもよい。
　ステップＳ１２において、履歴発話埋め込み部１２は、l-1番目の発話の単語列Wl-1とl-1番目の発話の単語ラベルsl-1とを入力とし、言語モデルのモデルパラメータθ1に基づく変換関数により、l-1番目の発話の履歴発話埋め込みベクトルhl-1を求める。履歴発話埋め込みベクトルは、単語列と話者ラベルの情報が埋め込まれたベクトルである。このとき変換関数には、可変長数の記号列を単一ベクトルに変換する関数であれば任意のものを利用できるが、例えばリカレントニューラルネットワークや双方向リカレントニューラルネットワークを用いることができる。履歴発話埋め込み部１２は、得られた履歴発話埋め込みベクトルhl-1を発話単位結合ベクトル構成部１３へ出力する。
　ステップＳ１３において、発話単位結合ベクトル構成部１３は、履歴発話メタ情報理解部１１が出力するl-1番目の発話のK種類のメタ情報ベクトルul-1,1, …, ul-1,Kと、履歴発話埋め込み部１２が出力するl-1番目の発話の履歴発話埋め込みベクトルhl-1とを入力とし、l-1番目の発話の発話単位結合ベクトルcl-1を求める。発話単位結合ベクトル構成部１３は、得られた発話単位結合ベクトルcl-1を発話系列埋め込みベクトル計算部１４へ出力する。
　発話単位結合ベクトルcl-1は、次のように構成される。
Figure JPOXMLDOC01-appb-M000003
ここで、・T（上付き添え字のT）はベクトルの転置を表す。
　ステップＳ１４において、発話系列埋め込みベクトル計算部１４は、過去の発話系列について求めた複数の発話単位結合ベクトルc1, …, cl-1を入力とし、言語モデルのモデルパラメータθ1に基づく変換関数により、l-1番目の発話系列埋め込みベクトルvl-1を求める。このとき変換関数には、可変長数のベクトル列を単一ベクトルに変換する関数であれば任意のものを利用できるが、例えばリカレントニューラルネットワークを用いることができる。発話系列埋め込みベクトル計算部１４は、得られた発話系列埋め込みベクトルvl-1を言語モデルスコア計算部１５へ出力する。
　ステップＳ１５において、言語モデルスコア計算部１５は、l番目の発話の単語列Wlとl番目の発話の話者ラベルslとl-1番目の発話系列埋め込みベクトルvl-1とを入力とし、言語モデルのモデルパラメータθ1に基づく変換関数に基づき、l番目の発話の言語モデルスコアP(Wl)を求める。このとき変換関数には、自己回帰を行うリカレントニューラルネットワークや双方向リカレントニューラルネットワークとソフトマックス関数を用いて表すことができる。例えば、l番目の発話のm番目の単語と、l番目の発話の話者ラベルslと、l-1番目の発話系列埋め込みベクトルvl-1とから、m+1番目の単語を予測する変換関数とすることで、l番目の発話Wlの各単語の確率を求めることができ、それに基づき、言語モデルスコアP(Wl)を算出することが可能である。
　言語モデルスコア計算装置１は、上述のステップＳ１１からＳ１５までの処理を、入力されたL個の発話W1, …, WLそれぞれに対して行い、得られたL個の発話の言語モデルスコアP(W1), …, P(WL)を出力する。
　［第二実施形態：言語モデル作成装置］
　第二実施形態の言語モデル作成装置２は、図３に例示するように、メタ情報モデルパラメータ学習部２１、言語モデルパラメータ学習部２２、およびモデルパラメータ記憶部１０を備える。この言語モデル作成装置２が、図４に例示する各ステップの処理を行うことにより第二実施形態の言語モデル作成方法が実現される。
　言語モデル作成装置２は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。言語モデル作成装置２は、例えば、中央演算処理装置の制御のもとで各処理を実行する。言語モデル作成装置２に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。言語モデル作成装置２の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。言語モデル作成装置２が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
　第二実施形態の言語モデル作成装置２は、K個のメタ情報それぞれについての学習データD1, …, DKと複数人会話データDとを入力とし、言語モデルのモデルパラメータθ1とK個のメタ情報理解器のモデルパラメータθ2 1, …, θ2 Kとを学習する。
　k番目のメタ情報に関する学習データDkは、発話Wn kとメタ情報Ln kとの組からなる複数のデータであり、次式で表すことができる。ただし、nは1以上Nk以下の各整数であり、Nkはk番目のメタ情報に関する学習データの数を表す。
Figure JPOXMLDOC01-appb-M000004
　複数人会話データDは、会話に含まれる発話ごとの単語列Wlと話者ラベルslとの組からなる複数のデータであり、次式で表すことができる。ただし、lは1以上L以下の各整数であり、Lは会話に含まれる発話の数を表す。
Figure JPOXMLDOC01-appb-M000005
　ステップＳ２１において、メタ情報モデルパラメータ学習部２１は、1以上K以下の各整数kについて、k番目のメタ情報に関する学習データDkを入力とし、k番目のメタ情報理解器のモデルパラメータ^θ2 kを学習する。学習データDkに含まれる発話Wn kとメタ情報Ln kとの組は、例えば１万組準備する（すなわち、Nk=10000）。メタ情報モデルパラメータ学習部２１は、得られたK種類のメタ情報理解器のモデルパラメータ^θ2 1, …, ^θ2 Kを言語モデルパラメータ学習部２２へ出力する。
　学習データDkにより最適化されたモデルパラメータ^θ2 kは次式に従う。
Figure JPOXMLDOC01-appb-M000006
ここで、P(Ln k|Wn k, θ2 k)は、言語モデルスコア計算装置１の履歴発話メタ情報理解部１１で定義されたメタ情報理解器と同一のものであり、単語列からメタ情報予測確率分布を推定するものであれば任意のものを用いることができる。例えばリカレントニューラルネットワークや双方向リカレントニューラルネットワークとソフトマックス関数を用いて構築することができる。ここで学習されたモデルパラメータ^θ2 kを言語モデルスコア計算装置１におけるメタ情報理解器のモデルパラメータθ2 kとして用いる。
　ステップＳ２２において、言語モデルパラメータ学習部２２は、複数人会話データDと、K種類のメタ情報理解器のモデルパラメータ^θ2 1, …, ^θ2 Kとを入力とし、言語モデルのモデルパラメータ^θ1を学習する。複数人会話データDに含まれる発話Wlと話者ラベルslとの組は、例えば１０万組準備する（すなわち、L=100000）。
　複数人会話データDにより最適化されたパラメータ^θ1は次式に従う。
Figure JPOXMLDOC01-appb-M000007
なお、P(Wl|W1, …, Wl-1, s1, …, sl, θ1, ^θ2 1, …, ^θ2 K)は、言語モデルスコア計算装置１において定義された計算の流れに従い計算できる。ここで、θ1がここで学習されるモデルパラメータであり、^θ2 1, …, ^θ2 Kはメタ情報モデルパラメータ学習部２１において最適化されたモデルパラメータである。ここで最適化されたモデルパラメータ^θ1を言語モデルスコア計算装置１における言語モデルのモデルパラメータθ1として用いることで、学習した情報を反映した言語モデルスコア計算装置１を実現できる。
　言語モデル作成装置２は、上述のステップＳ２１からＳ２２までの処理で得られた言語モデルのモデルパラメータθ1とK種類のメタ情報理解器のモデルパラメータ^θ2 1, …, ^θ2 Kとをモデルパラメータ記憶部１０へ記憶する。もしくは、言語モデルおよびメタ情報理解器を用いる他の装置に記憶させるために、得られた言語モデルのモデルパラメータθ1とK種類のメタ情報理解器のモデルパラメータ^θ2 1, …, ^θ2 Kとをそのまま出力する。この場合、言語モデル作成装置２はモデルパラメータ記憶部１０を備えなくてもよい。
　［変形例］
　上述の実施形態では、言語モデルスコア計算装置１と言語モデル作成装置２とを別々の装置として構成する例を説明したが、言語モデルおよびメタ情報理解器のモデルパラメータを学習する機能と学習済みのモデルパラメータを用いて言語モデルスコアを計算する機能とを兼ね備えた１台の言語モデルスコア計算装置として構成することも可能である。すなわち、変形例の言語モデルスコア計算装置は、メタ情報モデルパラメータ学習部２１、言語モデルパラメータ学習部２２、モデルパラメータ記憶部１０、履歴発話メタ情報理解部１１、履歴発話埋め込み部１２、発話単位結合ベクトル構成部１３、発話系列埋め込みベクトル計算部１４、および言語モデルスコア計算部１５を備える。
　以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　［プログラム、記録媒体］
　上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１　言語モデルスコア計算装置
１０　モデルパラメータ記憶部
１１　履歴発話メタ情報理解部
１２　履歴発話埋め込み部
１３　発話単位結合ベクトル構成部
１４　発話系列埋め込みベクトル計算部
１５　言語モデルスコア計算部
２　言語モデル作成装置
２１　メタ情報モデルパラメータ学習部
２２　言語モデルパラメータ学習部

Claims (6)

  1. 　直前の発話の単語列から少なくとも１個のメタ情報に関するメタ情報理解器を用いて上記直前の発話のメタ情報を表す履歴発話メタ情報ベクトルを求める履歴発話メタ情報理解部と、
    　上記直前の発話の単語列と上記直前の発話の話者を表す話者ラベルとを言語モデルのモデルパラメータを用いて履歴発話埋め込みベクトルに変換する履歴発話埋め込み部と、
    　上記履歴発話メタ情報ベクトルと上記履歴発話埋め込みベクトルとを結合して発話単位結合ベクトルを求める発話単位結合ベクトル構成部と、
    　過去の発話系列について求めた複数の発話単位結合ベクトルを上記言語モデルのモデルパラメータを用いて発話系列埋め込みベクトルに変換する発話系列埋め込みベクトル計算部と、
    　現在の発話の単語列と上記現在の発話の話者を表す話者ラベルと上記発話系列埋め込みベクトルとから上記言語モデルのモデルパラメータを用いて上記現在の発話の言語モデルスコアを計算する言語モデルスコア計算部と、
    　を含む言語モデルスコア計算装置。
  2. 　少なくとも１個のメタ情報に関する発話と各発話のメタ情報との組からなる学習データからメタ情報理解器のモデルパラメータを学習するメタ情報モデルパラメータ学習部と、
    　複数人による複数の発話と各発話の話者を表す話者ラベルとの組からなる会話データから上記メタ情報理解器のモデルパラメータを用いて言語モデルのモデルパラメータを学習する言語モデルパラメータ学習部と、
    　を含む言語モデル作成装置。
  3. 　履歴発話メタ情報理解部が、直前の発話の単語列から少なくとも１個のメタ情報に関するメタ情報理解器を用いて上記直前の発話のメタ情報を表す履歴発話メタ情報ベクトルを求め、
    　履歴発話埋め込み部が、上記直前の発話の単語列と上記直前の発話の話者を表す話者ラベルとを言語モデルのモデルパラメータを用いて履歴発話埋め込みベクトルに変換し、
    　発話単位結合ベクトル構成部が、上記履歴発話メタ情報ベクトルと上記履歴発話埋め込みベクトルとを結合して発話単位結合ベクトルを求め、
    　発話系列埋め込みベクトル計算部が、過去の発話系列について求めた複数の発話単位結合ベクトルを上記言語モデルのモデルパラメータを用いて発話系列埋め込みベクトルに変換し、
    　言語モデルスコア計算部が、現在の発話の単語列と上記現在の発話の話者を表す話者ラベルと上記発話系列埋め込みベクトルとから上記言語モデルのモデルパラメータを用いて上記現在の発話の言語モデルスコアを計算する、
    　言語モデルスコア計算方法。
  4. 　メタ情報モデルパラメータ学習部が、少なくとも１個のメタ情報に関する発話と各発話のメタ情報との組からなる学習データからメタ情報理解器のモデルパラメータを学習し、
    　言語モデルパラメータ学習部が、複数人による複数の発話と各発話の話者を表す話者ラベルとの組からなる会話データから上記メタ情報理解器のモデルパラメータを用いて言語モデルのモデルパラメータを学習する、
    　言語モデル作成方法。
  5. 　請求項１に記載の言語モデルスコア計算装置もしくは請求項２に記載の言語モデル作成装置としてコンピュータを機能させるためのプログラム。
  6. 　請求項１に記載の言語モデルスコア計算装置もしくは請求項２に記載の言語モデル作成装置としてコンピュータを機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
PCT/JP2020/002650 2019-02-08 2020-01-27 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体 Ceased WO2020162240A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/429,169 US11887620B2 (en) 2019-02-08 2020-01-27 Language model score calculation apparatus, language model generation apparatus, methods therefor, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019021546A JP7120064B2 (ja) 2019-02-08 2019-02-08 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
JP2019-021546 2019-02-08

Publications (1)

Publication Number Publication Date
WO2020162240A1 true WO2020162240A1 (ja) 2020-08-13

Family

ID=71947660

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002650 Ceased WO2020162240A1 (ja) 2019-02-08 2020-01-27 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US11887620B2 (ja)
JP (1) JP7120064B2 (ja)
WO (1) WO2020162240A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085191A1 (ja) * 2021-11-10 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033618B1 (en) * 2021-11-09 2024-07-09 Amazon Technologies, Inc. Relevant context determination

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117683A (ja) * 2011-12-05 2013-06-13 Nippon Hoso Kyokai <Nhk> 音声認識装置、誤り傾向学習方法、及びプログラム
JP2014074732A (ja) * 2012-10-02 2014-04-24 Nippon Hoso Kyokai <Nhk> 音声認識装置、誤り修正モデル学習方法、及びプログラム
JP2017117045A (ja) * 2015-12-22 2017-06-29 日本電信電話株式会社 言語確率算出方法、言語確率算出装置および言語確率算出プログラム
WO2018051841A1 (ja) * 2016-09-16 2018-03-22 日本電信電話株式会社 モデル学習装置、その方法、及びプログラム
US9984682B1 (en) * 2016-03-30 2018-05-29 Educational Testing Service Computer-implemented systems and methods for automatically generating an assessment of oral recitations of assessment items
JP2018084627A (ja) * 2016-11-22 2018-05-31 日本放送協会 言語モデル学習装置およびそのプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7464031B2 (en) * 2003-11-28 2008-12-09 International Business Machines Corporation Speech recognition utilizing multitude of speech features
US9092425B2 (en) * 2010-12-08 2015-07-28 At&T Intellectual Property I, L.P. System and method for feature-rich continuous space language models
US9304796B1 (en) * 2013-09-27 2016-04-05 Amazon Technologies, Inc. Identification of virtual computing instance issues
US10810357B1 (en) * 2014-10-15 2020-10-20 Slickjump, Inc. System and method for selection of meaningful page elements with imprecise coordinate selection for relevant information identification and browsing
US10943583B1 (en) * 2017-07-20 2021-03-09 Amazon Technologies, Inc. Creation of language models for speech recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117683A (ja) * 2011-12-05 2013-06-13 Nippon Hoso Kyokai <Nhk> 音声認識装置、誤り傾向学習方法、及びプログラム
JP2014074732A (ja) * 2012-10-02 2014-04-24 Nippon Hoso Kyokai <Nhk> 音声認識装置、誤り修正モデル学習方法、及びプログラム
JP2017117045A (ja) * 2015-12-22 2017-06-29 日本電信電話株式会社 言語確率算出方法、言語確率算出装置および言語確率算出プログラム
US9984682B1 (en) * 2016-03-30 2018-05-29 Educational Testing Service Computer-implemented systems and methods for automatically generating an assessment of oral recitations of assessment items
WO2018051841A1 (ja) * 2016-09-16 2018-03-22 日本電信電話株式会社 モデル学習装置、その方法、及びプログラム
JP2018084627A (ja) * 2016-11-22 2018-05-31 日本放送協会 言語モデル学習装置およびそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WATANABEM SHINJI, HORI, TAKAAKI: "Automatic speech recognition for spoken language understanding", THE JOURNAL OF THE INSTITUE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. 101, no. 9, September 2018 (2018-09-01), pages 885 - 890, ISSN: 0913-5693 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085191A1 (ja) * 2021-11-10 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
US20220013136A1 (en) 2022-01-13
JP2020129061A (ja) 2020-08-27
JP7120064B2 (ja) 2022-08-17
US11887620B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
US12254865B2 (en) Multi-dialect and multilingual speech recognition
JP5982297B2 (ja) 音声認識装置、音響モデル学習装置、その方法及びプログラム
CN111081230B (zh) 语音识别方法和设备
WO2022121251A1 (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN118043885A (zh) 用于半监督语音识别的对比孪生网络
CN115512692B (zh) 语音识别方法、装置、设备及存储介质
CN114022192A (zh) 一种基于智能营销场景的数据建模方法及系统
CN119360818A (zh) 基于人工智能的语音生成方法、装置、计算机设备及介质
JP6230987B2 (ja) 言語モデル作成装置、言語モデル作成方法、プログラム、および記録媒体
CN114333790B (zh) 数据处理方法、装置、设备、存储介质及程序产品
Baas et al. Transfusion: Transcribing speech with multinomial diffusion
WO2020162240A1 (ja) 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
Shunmuga Priya et al. Robust multi-dialect end-to-end asr model jointly with beam search threshold pruning and LLM
US20250190717A1 (en) Method performed by an electronic device, electronic device and computer-readable storage media
JP6158105B2 (ja) 言語モデル作成装置、音声認識装置、その方法及びプログラム
CN114330290A (zh) 语言模型的训练方法及装置
Scharenborg et al. Building an ASR System for Mboshi Using A Cross-Language Definition of Acoustic Units Approach.
Jin et al. Research on objective evaluation of recording audio restoration based on deep learning network
CN116467644A (zh) 一种来电业务分类方法、装置及设备
US12394406B2 (en) Paralinguistic information estimation model learning apparatus, paralinguistic information estimation apparatus, and program
JP2018081294A (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、およびプログラム
US20250156647A1 (en) Dialog system and method with improved human-machine dialog concepts
CN119694295B (zh) 语音合成方法、装置、电子设备、存储介质及程序产品
Goyal et al. Deep Learning Approaches for Speech Analysis: A Critical Insight
CN121306103A (zh) 音频处理模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20753082

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20753082

Country of ref document: EP

Kind code of ref document: A1