WO2019167296A1 - 自然言語処理のための装置、方法及びプログラム - Google Patents

自然言語処理のための装置、方法及びプログラム Download PDF

Info

Publication number
WO2019167296A1
WO2019167296A1 PCT/JP2018/023961 JP2018023961W WO2019167296A1 WO 2019167296 A1 WO2019167296 A1 WO 2019167296A1 JP 2018023961 W JP2018023961 W JP 2018023961W WO 2019167296 A1 WO2019167296 A1 WO 2019167296A1
Authority
WO
WIPO (PCT)
Prior art keywords
natural language
text
neural network
output
prediction result
Prior art date
Application number
PCT/JP2018/023961
Other languages
English (en)
French (fr)
Inventor
鈴木　潤
翔 高瀬
健太郎 乾
直観 岡▲崎▼
舜 清野
Original Assignee
日本電信電話株式会社
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社, 国立大学法人東北大学 filed Critical 日本電信電話株式会社
Priority to JP2020502783A priority Critical patent/JP7072178B2/ja
Priority to US16/975,312 priority patent/US11797761B2/en
Publication of WO2019167296A1 publication Critical patent/WO2019167296A1/ja
Priority to US18/368,223 priority patent/US20240005093A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Definitions

  • This disclosure relates generally to natural language processing, and more specifically to natural language processing using artificial intelligence.
  • the natural language processing technology targeted by the present invention is a technology for automatically generating a predetermined output text from input text by a computer.
  • automatic summarization a summary sentence that summarizes input text is output text.
  • machine translation a translated sentence obtained by translating an input text into a target language is an output text.
  • dialog sentence generation when an input text is an utterance sentence, a response sentence corresponding to the utterance sentence is an output text.
  • Non-patent document 1 is known as a natural language processing technique using a neural network.
  • Non-Patent Document 1 describes a short automatic summary sentence that is easy for humans to read and uses a neural network that is learned to allow generation of output text using words and phrases that are not included in the input text.
  • An automatic summarization technique for generating is disclosed.
  • Non-Patent Document 1 In natural language processing using a conventional neural network such as Non-Patent Document 1, it is difficult for humans to interpret the process (internal processing) in which output text is generated from input text. For example, in the example of Non-Patent Document 1, it is difficult for a person to know which partial character string in the output text corresponds to which partial character string in the output text.
  • one problem of the present disclosure is to provide a natural language processing technique using a highly interpretable neural network.
  • a first natural language sentence is input, a second natural language sentence corresponding to a predetermined purpose corresponding to the first natural language sentence, and the second A learned neural network trained to output corresponding information indicating which part of the first natural language sentence is generated based on information of which part of the first natural language sentence, and the input text,
  • the prediction result of the output text corresponding to a predetermined purpose and which part of the prediction result of the output text is generated based on the information of which part of the input text
  • the present invention relates to an apparatus having an analysis unit that outputs corresponding information to be shown.
  • FIG. 1 is a conceptual diagram of automatic summarization processing.
  • FIG. 2A is a schematic diagram illustrating a generated automatic summarization system based on a neural network.
  • FIG. 2B is a schematic diagram illustrating an automated summarization system with a trained model according to one embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram illustrating an automatic summarization system with a learned model according to one embodiment of the present disclosure.
  • FIG. 4 is a block diagram illustrating a configuration of a sentence generation device according to an embodiment of the present disclosure.
  • FIG. 5 is a block diagram illustrating a configuration of an analysis unit according to an embodiment of the present disclosure.
  • FIG. 6 is a block diagram illustrating a configuration of a learning device according to an embodiment of the present disclosure.
  • FIG. 1 is a conceptual diagram of automatic summarization processing.
  • FIG. 2A is a schematic diagram illustrating a generated automatic summarization system based on a neural network.
  • FIG. 2B is a schematic diagram
  • FIG. 7 is a block diagram illustrating a hardware configuration of a sentence generation device according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a sentence generation process according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a specific example of a process of dividing a sentence into processing units according to an embodiment of the present disclosure.
  • FIG. 10 is an image diagram illustrating a flow of processing by the analysis unit.
  • FIG. 11 is a flowchart illustrating a parameter learning process according to an embodiment of the present disclosure.
  • an apparatus for realizing natural language processing such as automatic summarization, machine translation, and dialog sentence creation using a neural network.
  • These natural language processes can be generally described as processes for converting input text into output text suitable for a predetermined purpose.
  • input text hereinafter also referred to as “input text”
  • output text is a text obtained by summarizing the input text into text having a shorter length than the input text.
  • machine translation the output text is a text obtained by translating the input text into a target language (English, Japanese, Chinese, etc.).
  • the output text is a response sentence to the dialogue sentence that is the input text.
  • FIG. 1 is a conceptual diagram of a general automatic summarization process.
  • a sentence that summarizes the input sentence within a predetermined number of characters in Japanese is output as a summary sentence.
  • the example sentences here are in Japanese text.
  • the input text is divided into predetermined processing units and converted into fixed-length vectors for each processing unit.
  • the encoder encodes the divided vector and outputs an intermediate state (code).
  • the decoder decodes the code generated by the encoder, thereby generating an output text (summary sentence in this example).
  • the encoder and the decoder are realized by a neural network.
  • the alignment is information indicating a correspondence relationship between the partial character string in the input text and the partial character string in the output text. Accordingly, the user can easily grasp which partial character string of the output text that is the output of the neural network is generated based on which partial character string of the input text. This makes it easy to manually correct the output text or to adjust the configuration of the neural network so that a better quality output text is output from the neural network.
  • FIG. 4 is a block diagram illustrating a configuration of a sentence generation device according to an embodiment of the present disclosure.
  • the sentence generation device 100 includes a dividing unit 110 and an analyzing unit 120.
  • the division unit 110 reads the input text, divides it into arbitrary processing units defined in advance, and outputs it.
  • the processing unit is, for example, a word in an English sentence, a single character or a morpheme in a Japanese or Chinese sentence.
  • the analysis unit 120 uses the learned neural network to generate an output text prediction result (hereinafter also referred to as “predicted output text”) and corresponding information from the input text according to a predetermined purpose.
  • the correspondence information is information that specifies which part of the predicted output text is generated based on which part of the input text.
  • correspondence information which is information for specifying the correspondence between the first natural language sentence and the prediction result of the second natural language sentence, is learned in advance.
  • the correspondence information is information for specifying which part of the first natural language sentence each part included in the prediction result of the second natural language sentence is generated. For example, in the case of automatic summarization, it is information specifying which part of the input text each part of the summary sentence is summarized.
  • this is information that identifies which part (for example, word) in the input text each part (for example, word) of the translated sentence is a parallel translation.
  • it is information that specifies which part of the generated response sentence is based on which part of the dialog sentence that is the input text.
  • the learned neural network used in the analysis unit 120 is a neural network in which each parameter of the neural network is previously learned by the learning device 130 described later and the value of each parameter as a result is set. That is, the analysis unit 120 outputs the predicted output text and the correspondence information by inputting the input text to the learned neural network.
  • the analysis unit 120 includes a vector conversion unit 121, an encoding unit 122, and a decoding unit 123, as shown in FIG.
  • the encoding unit 122 and the decoding unit 123 are constituent elements of the neural network.
  • the neural network here will be described assuming an encoder-decoder model, but the neural network used in the present invention is not limited to this.
  • the encoder-decoder model consists of a neural network (which is called “encoder”) responsible for converting information corresponding to text into an intermediate state (a series of vectors, hereinafter also referred to as intermediate output), and an intermediate output.
  • This is a neural network composed of a neural network (which is referred to as a “decoder”) having a function of converting into text.
  • learned values are set in advance based on learning data by the learning device 130 described later.
  • the vector conversion unit 121 converts the unit input text into an N-dimensional vector for each processing unit.
  • N is a natural number.
  • a list in which vector representations for each processing unit are arranged is referred to as an “input vector”.
  • the encoding unit 122 converts the input vector into an intermediate output by the encoder of the learned neural network.
  • the decoding unit 123 converts the intermediate output output by the encoding unit 122 into two output vectors by using a learned neural network decoder. Then, the prediction result of the output text is generated based on one output vector, and the corresponding information is generated based on the other output vector and output.
  • the sentence generation device 100 may typically be realized by a computing device such as a server.
  • a drive device 101 and an auxiliary storage device 102 interconnected via a bus B are used.
  • Various computer programs including programs for realizing various functions and processes described later in the sentence generation device 100 are recorded on a recording medium 107 such as a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or a flash memory. May be provided.
  • the recording medium 107 storing the program is set in the drive device 101, the program is installed from the recording medium 107 to the auxiliary storage device 102 via the drive device 101.
  • the auxiliary storage device 102 stores the installed program and also stores necessary files and data.
  • the memory device 103 reads the program and data from the auxiliary storage device 102 and stores them when there is an instruction to start the program.
  • the processor 104 executes various functions and processes of the sentence generation device 100 as will be described later according to various data such as a program stored in the memory device 103 and parameters necessary for executing the program.
  • the interface device 105 is used as a communication interface for connecting to a network or an external device.
  • the communication device 106 executes various communication processes for communicating with a network such as the Internet.
  • the sentence generation device 100 is not limited to the hardware configuration described above, and may be realized by any other appropriate hardware configuration. [Sentence generation processing] Next, a sentence generation process using a learned neural network according to an embodiment of the present disclosure will be described with reference to FIGS.
  • FIG. 8 is a flowchart showing sentence generation processing according to an embodiment of the present disclosure.
  • the processing is executed by the sentence generation device 100 that has received the input text, and more specifically by the processor of the sentence generation device 100, as will be described in detail below.
  • the input text is a sentence or a sentence described in a natural language, and may be an entire news article, for example. Moreover, the text which is a speech recognition result may be sufficient.
  • step S101 the sentence generation device 100 divides the input text into arbitrary processing units defined in advance.
  • the processing unit is a word.
  • the processing unit may be defined as a single character unit, and in this case, it is possible to deal with a sentence in a language such as Japanese or Chinese in which a word break is not specified.
  • the sentence generation device 100 outputs a sentence generated by dividing the input sentence into arbitrary processing units determined in advance as shown in FIG. 9, for example.
  • step S102 the sentence generation device 100 acquires a vector corresponding to each processing unit with respect to the sentence divided into processing units.
  • the input text is a list of character strings w i for each processing unit.
  • step S102 generation apparatus 100, based on the string w i of each processing unit to generate a vector x i corresponding to the character string w i.
  • the vector x i is an N-dimensional vector representing the character of the character string, and corresponds to any vocabulary in the set of vocabularies (words and other predetermined processing units) prepared in advance. This is a vector representation of what to do. For example, if the number of vocabulary in the vocabulary set ⁇ is N and w i corresponds to the nth vocabulary in the vocabulary set ⁇ , the vector x i has the nth element as 1 and the other elements as 0 This is an N-dimensional one-hot vector.
  • FIG. 10 is an image diagram illustrating a flow of processing by the analysis unit 120.
  • the configuration shown here is an example, and the configuration of the neural network is not limited to this.
  • the sentence generation device 100 converts the vector x i into a D-dimensional vector e i by a neural network (NN1 in FIG. 10).
  • e i is a word embedding obtained by converting x i into a real value vector of a predetermined dimension (D dimension). This conversion process can be described by the following equation.
  • E is a D ⁇ N-dimensional matrix
  • e i is a D-dimensional vector.
  • E is information specifying a layer for converting x i to e i in a neural network (in particular, a neural network corresponding to an encoder), that is, a matrix having values of the parameters of the neural network. In this embodiment, it is a fixed matrix in which the values of parameters that have been learned in advance are set.
  • D is an arbitrary natural number.
  • the transformation here is based on a learned neural network, but the references “Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings. The conversion may be performed using a dictionary (code book) made up of ⁇ processing units, vectors corresponding to the processing units ⁇ created by a method described in “NIPS, 2013.”.
  • the list of vectors output in step S102 is expressed as follows.
  • step S103 the sentence generation device 100 converts the vector list acquired in step S102 from the head of the vector in order from the top using a neural network, and generates a hidden state (vector) list that is an intermediate output.
  • LSTM® Long® Short-Term® Memory
  • the configuration of the encoder is not limited to this.
  • the LSTM sequentially generates hidden states h i by performing conversion using a neural network (NN 2 in FIG. 10) in order from the top e 1 of the list of input vectors e i .
  • a neural network (NN 2 in FIG. 10)
  • e 1 and h 0 are input to the neural network to generate a conversion result h 1
  • e 2 and h 1 the obtained conversion results h 2 by inputting to the neural network.
  • h 0 may be an H-dimensional vector in which an appropriate value is initialized in advance.
  • W 1 , W 2 , W 3 , W 4 , V 1 , V 2 , V 3 , V 4 are also parameters that can be learned by the neural network.
  • W 1 , W 2 , W 3 , and W 4 are each an H ⁇ D matrix (H is an arbitrary natural number).
  • V 1 , V 2 , V 3 and V 4 are each an H ⁇ H matrix.
  • B 1 , b 2 , b 3 , and b 4 are H-dimensional bias vectors, respectively. This is also a learnable parameter of the neural network, and in this embodiment, it is assumed that it has been learned in advance.
  • step S103 the sentence generation device 100 sequentially generates hidden states h i by sequentially executing the following formulas from the top e 1 of the vector list acquired in step S102.
  • ⁇ 1 (x) and ⁇ 2 (x) are activation functions of a neural network that takes a vector x and converts it into a vector of the same order as the vector x.
  • the i th element of x and x i if the i-th element of sigma 1 (x) and ⁇ 1 (x i), ⁇ 1 (x i) is the sigmoid of x i as shown in the following formula It is a function value.
  • a is a gain of the sigmoid function, and is a value larger than 0 set in advance.
  • ⁇ 2 (x i) is a tanh function value of x i as shown in the following formula.
  • the activation functions ⁇ 1 (x) and ⁇ 2 (x) are not limited to this, and may be arbitrarily designed.
  • the list of hidden states h i generated in step S103 is expressed as follows.
  • step S104 the sentence generation device 100 generates a predicted output text by inputting the list of hidden states h i to the decoder. Specifically, a predicted output text of the next processing unit is generated by a neural network using the intermediate output acquired in step S103 and the predicted output of the processing unit predicted in the past.
  • LSTM® Long Short-Term® Memory
  • the configuration of the decoder is not limited to this.
  • the decoder includes an LSTM that generates intermediate output (NN3 in FIG. 10) and a neural network (NN4 to NN5 in FIG. 10) for predicting output text from the intermediate output.
  • Portion of LSTM includes a u j instead of e i of the encoder, except using z j instead of h i, is basically similar to the encoder configuration.
  • u j is a vector expression corresponding to the prediction result yj of the j-th processing unit of the predicted output text.
  • u 0 uses a vector representation corresponding to a symbol or the like representing the beginning of a sentence.
  • the last intermediate output h I of the encoder is used as z 0 .
  • First enter the hidden state h I and u 0 is outputted from the encoder to the neural network (in FIG. 10 NN3), to generate a hidden state z 1.
  • the hidden states h 1 ,..., H I and z 1 generated by the encoder are input to the neural network (NN 4 in FIG. 10) to generate the hidden states to z 1 .
  • ⁇ and ⁇ are symbols displayed above z and y in FIG.
  • J is the number of processing units (number of divisions) included in the predicted output text.
  • the hidden state h1 generated by the encoder ..., by inputting the hI and z j in the neural network (NN4 in FIG. 10), to generate a hidden state ⁇ z j.
  • the prediction result y j of the i-th processing unit of the predicted output text and the processing unit x j of the input side text from which y j is generated are obtained from the hidden state ⁇ z j .
  • the predicted output y j of the j-th processing unit is converted into a vector u j of a predetermined dimension by a neural network (NN6 in FIG. 10).
  • the vector representation u j corresponding to y j is a D-dimensional vector. If the parameter that identifies the layer of the neural network that converts y j to u j is represented by a D ⁇ K dimensional matrix F, this conversion can be expressed by the following equation.
  • K is the number of vocabulary of the vocabulary ⁇ ′ of the predicted output text.
  • K N.
  • K is determined based on the vocabulary number of the vocabulary ⁇ ′ of the predicted output text (that is, the translated language).
  • yj is assumed to represent a character string of the predicted output text of the processing unit by a K-dimensional vector, similarly to xj.
  • the vector y j is a K-dimensional one where the k-th element is 1 and the other elements are 0 -hot vector.
  • ⁇ z j can be said to be a vector generated by giving more importance to the hidden state h i having a high degree of similarity with z j .
  • U (a) is an H ⁇ H dimensional matrix composed of parameters specifying the neural network of NN3.
  • p i is known as the weight of the attention mechanism.
  • Correspondence information of the p i and the input text prediction output text a method using as alignment is known in the prior art, since the value of pi is in many cases not be zero, contributing to the generation of portions of the predicted output text It is known that information specifying a portion (processing unit) in input text does not function very well. Therefore, in this embodiment, ⁇ x j is generated by the following processing as correspondence information that is more explicit than pi and easy to grasp for the user.
  • the hidden state ⁇ z j is input to the neural network to generate o j (t) and o j (s) . This calculation can be expressed by the following equation.
  • W (t) and W (s) are parameters of the neural network (NN5 in FIG. 10), and are a K ⁇ H dimensional matrix and an N ⁇ H dimensional matrix, respectively.
  • a learned value is set in advance for each parameter.
  • o j (t) and o j (s) are expressed as follows.
  • o j, k (t) represents the possibility (score) of selecting the k-th vocabulary in the vocabulary ⁇ ′ as the predicted output text of the j-th processing unit from the beginning.
  • o j, n (s) represents a score from which the nth vocabulary in the vocabulary ⁇ generates a predicted output text of the jth processing unit from the beginning.
  • the decoder is predicted using o j (s) and a ⁇ z j of o j (t) and the input side of the output side (t) (s).
  • the prediction results o j (t) and o j (s) represent the same meaning in the predicted output text and the input text, and correspond to processing for obtaining alignment.
  • the predicted output y j of the j-th processing unit is a K-dimensional one-hot vector in which the element corresponding to the element number k having the maximum value among the elements of o j (t) is 1 and the others are 0 Let's say.
  • the predicted output text ⁇ y j is obtained by the following formula.
  • Expression (7a) is used to select a vocabulary (word or other predetermined processing unit) in the vocabulary ⁇ ′ corresponding to the element number k having the maximum value among the elements of o j (t) .
  • v (t) is a vector of character strings in which the vocabulary character strings (text) of the vocabulary ⁇ 'are arranged from the first to the Kth, and v ⁇ k (t) is the ⁇ kth element of v (t) Represents a character string.
  • Expression (7b) is to select a vocabulary (word or other predetermined processing unit) in the vocabulary ⁇ corresponding to the element number n having the maximum value among the elements of o j (s) .
  • v (s) is a vector of character strings in which the vocabulary character strings (text ) of the vocabulary ⁇ are arranged from the 1st to the Nth, and v ⁇ n (s) is the ⁇ n-th element of v (s) Represents a string.
  • ⁇ y Outputs the character string in which j is arranged as the predicted output text.
  • ⁇ x j is output as correspondence information (alignment) that identifies from which part of the input text ⁇ y j is generated.
  • ⁇ Learning device 130> In the sentence generation process described above, it is assumed that learned values are set in advance for each parameter of the neural network. Below, the learning apparatus 130 for learning the value of each parameter of a neural network is demonstrated in detail.
  • Learning device 130 learns the value of each parameter of the neural network used by analysis unit 120 of sentence generation device 100 using learning data prepared in advance.
  • each learning data is composed of a pair (X, Y) of a first natural language sentence X and a second natural language sentence Y corresponding to a predetermined purpose corresponding to the first natural language sentence X. That is, for example, when there are M pieces of learning data, the learning data ⁇ is
  • (X m , Y m ) represents the mth data in the learning data.
  • the second natural language text Y m for example, was translated first summary for natural language X m If summarization, the first natural language sentence X m if the machine translation in the target language statement, if the dialogue generation, a correct response sentence for the first natural language sentence X m.
  • the optimal value of the neural network parameter can be generally expressed by the solution of the following objective function minimization problem.
  • ⁇ represents the set of all parameters of the neural network, specifically, E, W 1 , W 2 , W 3 , W 4 , V 1 , V 2 , V 3 , V 4 , b 1 , b 2 , b 3 , b 4 , F, W (t) , W (s) , U (a) are included.
  • ⁇ ⁇ represents an optimal set of parameters obtained as a result of optimization.
  • L is called a loss function.
  • the arguments of the loss function L are ⁇ and ⁇ . That is, the purpose of the learning device 130 is to update the value of each parameter included in ⁇ so that the value of the loss function L is as small as possible.
  • the learning device 130 includes a sampling unit 131, a dividing unit 132, an analyzing unit 133, and a parameter updating unit 134, as shown in FIG.
  • the sampling unit 131 extracts one learning data pair (X m , Y m ) from the learning data set ⁇ .
  • Dividing unit 132 divides the first natural language sentence X m, which is extracted into a string of predetermined processing unit. The size of this processing and the processing unit is the same as that of the dividing unit 110 of the sentence generation device 100.
  • Analysis unit 133 using a neural network to generate a prediction result ⁇ Y m of the second natural language text from the first natural language sentence X m.
  • the neural network used in the analysis unit 133 is the same as that of the analysis unit 120, and the specific process for generating the prediction result ⁇ Y m of the second natural language sentence from the first natural language sentence X m is also the analysis unit 120. Is the same. However, the difference is that each parameter of the neural network is the one before learning. At the first execution, appropriate values are set for the respective parameters, and the values of the respective parameters are repeatedly updated during the learning process of the learning device 130.
  • Parameter update unit 134 calculates the value of loss function calculated on the basis of the second natural language sentence prediction result output from the analyzing section 133 ⁇ and Y m learning data (X m, Y m) and its It is determined whether to update the parameter according to the result or to end the learning process. For example, if the value of the loss function is equal to or greater than a predetermined threshold, the neural network parameters are sequentially updated according to the value of the loss function, and then the process returns to the sampling unit 131 and the process is repeated. Further, when the value of the loss function becomes less than a predetermined threshold value, the value of each parameter of the current neural network is output and the learning process is terminated.
  • the output parameter value is set in the neural network of the learning device 130, and becomes a state that can function as a learned neural network.
  • the value of the loss function is equal to or greater than a predetermined threshold, the parameter is updated as it has not yet converged. If the value of the loss function is less than the predetermined threshold, it is determined that the parameter has converged and learning processing is performed. To finish.
  • the method for determining the convergence is not limited to this. For example, if the predetermined number of repetitions has not been reached, the parameter update process is performed, and if the predetermined number of repetitions has been reached, the learning process is terminated. The convergence determination method may be adopted. [Parameter learning process] Next, a parameter learning process using a learned neural network according to an embodiment of the present disclosure will be described with reference to FIG.
  • FIG. 11 is a flowchart showing a parameter learning process according to an embodiment of the present disclosure. This process is performed by the learning device 130 that has received the learning data set ⁇ , and more specifically by the processor of the learning device 130, as will be described in detail below.
  • step S201 the learning device 130 selects one learning data (X m , Y m ) from the learning data set ⁇ .
  • steps S202 step S205 learning data X m selected in step S201 as an input text, by performing the same processing as S104 from step S101 sentence generation process described above, to generate a predicted output text ⁇ Y m.
  • step S206 the learning device 130 returns to step S201 and repeats the sentence generation processing until the above-described predicted output text ⁇ Y m is generated for all learning data in the learning data set ⁇ .
  • step S207 is executed.
  • y j (m) is the j-th processing unit of the correct output text Y m given as learning data.
  • X m , ⁇ ) is the correct answer y j (m) as the predicted output text when the input text X m is input to the neural network of the current parameter ⁇ . Represents the probability of output.
  • the following loss function is used instead of the loss function of Expression (10). This is obtained by adding a term for estimating a processing unit in the input text corresponding to each processing unit y j (m ) of the predicted output text to Expression (10).
  • the added second term is that the output text Y m is generated when the output text Y m is generated from the input text X m by the neural network in which the current parameter ⁇ is set. This represents the probability that the sentence ⁇ X is predicted as the source sentence. Therefore, if the prediction of ⁇ X is perfectly correct, the value of this second term is zero.
  • This added second term may be calculated, for example, by:
  • C is a preset parameter, and is an arbitrary natural number.
  • C has the effect of determining the strength of the first and second terms in equation (14), so if you want to evaluate the first term more strongly, increase the value of C and increase the value of the second term. If you want to evaluate it, you can reduce the value of C.
  • ⁇ O m and ⁇ x m are calculated by the following equations.
  • Equation (16a) and Equation (16b) has a frequency of occurrence of each vocabulary of the input in the text that each generator of predicted output text (word), the occurrence frequency of each vocabulary (word) in the input text X m Represent.
  • the second term of Expression (17) becomes zero.
  • the second term of the equation (17) can be said to be a scale representing the correctness of the correspondence information (alignment) output as the prediction result.
  • learning data prepared for learning may not be provided with correct data of correspondence that indicates which part of the first natural language sentence corresponds to which part of the second natural language sentence. Many. This is because the cost of manually providing correct answer information regarding alignment is very high. For this reason, in conventional learning, it has been difficult to incorporate a measure of alignment correctness into the loss function.
  • the first term which is a measure representing the correctness of the output text output as the prediction result
  • the correspondence information (alignment) output as the prediction result It is possible to learn the parameters of the neural network by comprehensively considering the second term, which is a measure representing correctness. This is accomplished by output as o j of the decoder of the present disclosure (s) ( ⁇ X) is obtained, it is made possible for the first time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

解釈性の高いニューラルネットワークによる自然言語処理技術が開示される。本開示の一態様は、第１の自然言語文が入力され、第１の自然言語文に対応する所定の目的に応じた第２の自然言語文と、前記第２の自然言語文の各部分が前記第１の自然言語文のいずれの部分の情報に基づき生成されたかを示す対応情報とを出力するよう学習された学習済みニューラルネットワークと、入力されたテキストを、前記学習済みのニューラルネットワークに入力することで、所定の目的に応じた出力テキストの予測結果と、前記出力テキストの予測結果の各部分が前記入力テキストの何れの部分の情報に基づき生成されたかを示す対応情報とを出力する解析部と、を有する装置に関する。

Description

自然言語処理のための装置、方法及びプログラム
　本開示は、一般に自然言語処理に関し、より詳細には、人工知能を利用した自然言語処理に関する。
　本発明が対象とする自然言語処理技術は、コンピュータにより、入力されたテキストから所定の出力テキストを自動生成する技術である。例えば、自動要約、機械翻訳、対話文生成などが知られている。自動要約の場合は、入力されたテキストを要約した要約文が出力テキストである。また、機械翻訳の場合は、入力されたテキストを目的言語に翻訳した翻訳文が出力テキストである。また、対話文生成の場合は、入力テキストを発話文としたときの、当該発話文に対応する応答文が出力テキストである。
　ニューラルネットワークを用いた自然言語処理技術として、非特許文献１が知られている。非特許文献１には、入力テキストには含まれない語や言い回しを用いて出力テキストを生成することを許容するよう学習されたニューラルネットワークを用いて、人が読みやすく、かつ、短い自動要約文を生成する自動要約の手法が開示されている。
Rush, Alexander M. and Chopra, Sumit and Weston, Jason, "Neural Attention Model for Abstractive Sentence Summarization", Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP 2015)
　非特許文献１等の従来のニューラルネットワークを用いた自然言語処理では、入力テキストから出力テキストが生成される過程（内部処理）を人間が解釈することが困難である。例えば、非特許文献１の例では、入力テキスト中の各部分文字列が出力テキスト中のどの部分文字列に対応するかを、人が把握することが困難である。
　上述した問題点を鑑み、本開示の１つの課題は、解釈性の高いニューラルネットワークによる自然言語処理技術を提供することである。
　上記課題を解決するため、本開示の一態様は、第１の自然言語文が入力され、第１の自然言語文に対応する所定の目的に応じた第２の自然言語文と、前記第２の自然言語文の各部分が前記第１の自然言語文のいずれの部分の情報に基づき生成されたかを示す対応情報とを出力するよう学習された学習済みニューラルネットワークと、入力されたテキストを、前記学習済みのニューラルネットワークに入力することで、所定の目的に応じた出力テキストの予測結果と、前記出力テキストの予測結果の各部分が前記入力テキストの何れの部分の情報に基づき生成されたかを示す対応情報とを出力する解析部と、を有する装置に関する。
　本開示によると、ニューラルネットワークを利用した言語処理技術において、解釈性の高い出力を提供することができる。
図１は、自動要約処理の概念図である。 図２Ａは、ニューラルネットワークに基づく生成型自動要約システムを示す概略図である。 図２Ｂは、本開示の一実施例による学習済みモデルによる自動要約システムを示す概略図である。 図３は、本開示の一実施例による学習済みモデルによる自動要約システムを示す概略図である。 図４は、本開示の一実施例による文生成装置の構成を示すブロック図である。 図５は、本開示の一実施例による解析部の構成を示すブロック図である。 図６は、本開示の一実施例による学習装置の構成を示すブロック図である。 図７は、本開示の一実施例による文生成装置のハードウェア構成を示すブロック図である。 図８は、本開示の一実施例による文生成処理を示すフローチャートである。 図９は、本開示の一実施例による文章の処理単位への分割処理の具体例を示す図である。 図１０は、解析部による処理の流れを表すイメージ図である。 図１１は、本開示の一実施例によるパラメタ学習処理を示すフローチャートである。
　以下の実施例では、ニューラルネットワークを利用して、自動要約、機械翻訳、対話文作成などの自然言語処理を実現する装置が開示される。これらの自然言語処理は、入力されたテキストを所定の目的に合った出力テキストに変換する処理として一般的に説明できる。ここで、入力されたテキスト（以下「入力テキスト」ともいう）と出力テキストはいずれも１以上の文からなるものとする。自動要約であれば、出力テキストは入力テキストを、入力テキストよりも短い長さのテキストに要約したテキストとなる。機械翻訳であれば、出力テキストは、入力テキストを目的言語（英語、日本語、中国語等）に翻訳したテキストとなる。対話文作成であれば、出力テキストは、入力テキストである対話文に対する応答文となる。
　図１は、一般的な自動要約処理の概念図である。ここでは、入力として日本語の文章が与えられた場合に、要約文として日本語で入力文章を所定の文字数内に要約した文（要約文）を出力するものである。
　典型的なニューラルネットワークに基づく自動要約の例を、図２を用いて説明する。なお、ここでの例文は日本語のテキストとしている。まず、入力テキストを所定の処理単位で分割し、処理単位毎の固定長ベクトルに変換する。次に、符号化器が、分割されたベクトルを符号化して、中間状態（符号）を出力する。そして、復号化器が、符号化器によって生成された符号を復号化することにより、出力テキスト（この例では要約文）が生成される。ここで、符号化器と復号化器は、ニューラルネットワークで実現される。このように、従来のニューラルネットワークに基づく自然言語処理では、入力テキストに対して出力テキストのみが出力される。
　一方、本開示の実施例による自動要約では、図２Ｂ及び図３に示すように、入力テキストと共に、入力テキスト中の各部分と出力テキスト中の各部分との間の対応関係を示す情報（アラインメント）が出力される。この例では、アラインメントは、入力テキスト中の部分文字列と出力テキスト中の部分文字列との対応関係を示す情報である。これにより、ニューラルネットワークの出力である出力テキストの各部分文字列が入力テキストの何れの部分文字列に基づき生成されたかを、ユーザが容易に把握することができる。これにより、出力テキストを人手で修正したり、よりよい品質の出力テキストがニューラルネットワークから出力されるように、ニューラルネットワークの構成等を調整したりすることが容易になる。
＜文生成装置１００＞
　まず、図４～７を参照して、本開示の一実施例による文生成装置を説明する。
　図４は、本開示の一実施例による文生成装置の構成を示すブロック図である。文生成装置１００は、分割部１１０及び解析部１２０を有する。
　分割部１１０は、入力テキストを読み込み、事前に定義された任意の処理単位に分割して出力する。ここで、処理単位は、例えば、英語の文章では単語、日本語や中国語の文章では一文字または形態素等である。
　解析部１２０は、学習済みのニューラルネットワークを用いて、入力テキストから所定の目的に応じた出力テキストの予測結果（以下、「予測出力テキスト」ともいう）と対応情報とを生成する。ここで、対応情報は、予測出力テキストの各部分が入力テキストの何れの部分の情報に基づき生成されたかを特定する情報である。
　解析部１２０で用いる学習済みニューラルネットワークは、第１の自然言語文が入力されると、（１）第１の自然言語文に対応する所定の目的に応じた第２の自然言語文の予測結果と、（２）第１の自然言語文と第２の自然言語文の予測結果との間の対応関係を特定する情報である対応情報と、を出力するように、予め学習されたものである。ここで、対応情報は、第２の自然言語文の予測結果に含まれる各部分が第１の自然言語文のどの部分の情報に基づき生成されたかを特定する情報である。例えば、自動要約であれば、要約文の各部分が入力テキストのどの部分を要約したものであるかを特定する情報である。機械翻訳であれば、翻訳文の各部分（例えば単語）が入力テキスト中のどの部分（例えば単語）の対訳であるかを特定する情報である。あるいは、対話文生成の場合は、生成された応答文の各部分が、入力テキストである対話文のどの部分に基づき生成されたかを特定する情報である。
　なお、解析部１２０で用いる学習済みニューラルネットワークは、ニューラルネットワークの各パラメタを後述の学習装置１３０等により予め学習し、その結果である各パラメタの値を設定済みのニューラルネットワークをいう。つまり、解析部１２０では、入力テキストが学習済みニューラルネットワークに入力されることで、予測出力テキストと対応情報とが出力される。
　より詳細には、解析部１２０は、図５に示すように、ベクトル変換部１２１、符号化部１２２及び復号化部１２３を有する。符号化部１２２と復号化部１２３がニューラルネットワークの構成要素である。ここでのニューラルネットワークは、encoder-decoderモデルを仮定して説明をするが、本発明で用いるニューラルネットワークはこれに限られるものではない。encoder-decoderモデルは、テキストに対応する情報を中間状態（ベクトルの系列。以降、中間出力ともいう。）に変換する機能を担うニューラルネットワーク（これを「符号化器」という）と、中間出力をテキストに変換する機能を担うニューラルネットワーク（これを「復号化器」という）とから構成されるニューラルネットワークである。ニューラルネットワークの各パラメタは、後述の学習装置１３０等により、あらかじめ学習データに基づき学習済みの値を設定しておく。
　ベクトル変換部１２１は、処理単位に分割された入力テキスト（以下「単位入力テキスト」という）が入力されると、処理単位毎に、単位入力テキストをN次元のベクトルに変換する。ここで、Nは自然数である。以下、処理単位ごとのベクトル表現を並べたリストを、「入力ベクトル」と呼ぶ。
　符号化部１２２は、学習済みニューラルネットワークの符号化器により、入力ベクトルを中間出力に変換する。
　復号化部１２３は、学習済みニューラルネットワークの復号化器により、符号化部１２２が出力した中間出力を２つの出力ベクトルに変換する。そして、一方の出力ベクトルに基づき出力テキストの予測結果を、他方の出力ベクトルに基づき対応情報を、それぞれ生成して出力する。
　なお、文生成装置１００は、典型的には、サーバなどの計算装置により実現されてもよく、例えば、図７に示すように、バスＢを介し相互接続されるドライブ装置１０１、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、インタフェース装置１０５及び通信装置１０６から構成されてもよい。文生成装置１００における後述される各種機能及び処理を実現するプログラムを含む各種コンピュータプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、フラッシュメモリなどの記録媒体１０７によって提供されてもよい。プログラムを記憶した記録媒体１０７がドライブ装置１０１にセットされると、プログラムが記録媒体１０７からドライブ装置１０１を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０７により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムやデータを読み出して格納する。プロセッサ１０４は、メモリ装置１０３に格納されたプログラムやプログラムを実行するのに必要なパラメタなどの各種データに従って、後述されるような文生成装置１００の各種機能及び処理を実行する。インタフェース装置１０５は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置１０６は、インターネットなどのネットワークと通信するための各種通信処理を実行する。
　しかしながら、文生成装置１００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。
［文生成処理］
　次に、図８～９を参照して、本開示の一実施例による学習済みニューラルネットワークを利用した文生成処理を説明する。
　図８は、本開示の一実施例による文生成処理を示すフローチャートである。当該処理は、以下で詳細に説明されるように、入力テキストを受信した文生成装置１００によって、より詳細には、文生成装置１００のプロセッサによって実行される。入力テキストは、自然言語により記述された文または文章であり、例えば、ニュース記事全体などであってもよい。また、音声認識結果であるテキストであってもよい。
　ステップＳ１０１において、文生成装置１００は、入力テキストを事前に定義された任意の処理単位に分割する。例えば、英語の文章では、空白（スペース）により分割する。この場合、処理単位は単語となる。また、処理単位は一文字単位として定義されてもよく、この場合、日本語や中国語など、空白で単語区切りが明記されていない言語の文章にも対応できる。このような単純な分割方式以外でも、形態素解析システムを用いて形態素を処理単位とすることも可能である。何れの方式においても、処理単位は文生成装置１００の管理者など人手によって選択され、事前に設定される。
　このようにして、文生成装置１００は、例えば、図９に示すように、入力文章を事前に決定された任意の処理単位に分割することによって生成された文章を出力する。
　ステップＳ１０２において、文生成装置１００は、処理単位に分割された文章に対して、処理単位毎に対応するベクトルを取得する。説明のため、入力テキスト中のi番目の処理単位の文字列をwiとし、入力テキストの分割数がIであるとして、入力テキストを処理単位毎の文字列wiのリスト
Figure JPOXMLDOC01-appb-M000001
 として表記することとする。
　ステップＳ１０２において、文生成装置１００は、処理単位毎の文字列wiに基づいて、文字列wiに対応するベクトルxiを生成する。ベクトルxiは、文字列の特徴をＮ次元のベクトルで表現したものであり、各文字列が事前に用意された語彙(単語等、所定の処理単位)の集合のうち、いずれの語彙に対応するかをベクトルで表現したものである。例えば、語彙の集合Φ中の語彙数をNとし、wiが語彙の集合Φ中のn番目の語彙に対応する場合、ベクトルxiはn番目の要素が1で、それ以外の要素が0となるN次元のone-hotベクトルである。
　以降の処理は、図１０を参照しながら説明する。図１０は、解析部１２０による処理の流れを表すイメージ図である。なお、ここで示す構成は一例であって、ニューラルネットワークの構成はこれに限定されるものではない。
　文生成装置１００は、ニューラルネットワーク（図１０ではNN1）により、ベクトルxiをＤ次元のベクトルeiに変換する。ei はxiを所定次元（Ｄ次元）の実数値ベクトルに変換したもの(word embedding)である。この変換処理は以下の式で記述できる。
Figure JPOXMLDOC01-appb-M000002
 ここで、EはD×N次元の行列であり、eiはD次元のベクトルである。なお、Eはニューラルネットワーク（特に符号化器に相当するニューラルネットワーク）のうち、xiをeiに変換する層を特定する情報、つまり、ニューラルネットワークのパラメタを値にもつ行列である。本実施例では予め学習済みのパラメタの値が設定された固定の行列である。また、Dは任意の自然数である。ここでの変換は、学習済みニューラルネットワークに基づいて行うこととしたが、参考文献「Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado、 and Jeffrey Dean． Distributed Representations of Words and Phrases and their Compositionality． In Proceedings of NIPS, 2013．」などに記載の方法により作成された｛処理単位，処理単位に対応するベクトル｝の組からなる辞書（コードブック）を用いて変換してもよい。ステップＳ１０２において出力されるベクトルのリストを以下のように表記する。
Figure JPOXMLDOC01-appb-M000003
 　ステップＳ１０３において、文生成装置１００は、ステップＳ１０２において取得されたベクトルのリストの先頭から順にニューラルネットワークにより変換し、中間出力である隠れ状態（ベクトル）のリストを生成する。
　本実施例では、符号化器としてLSTM (Long Short-Term Memory)を用いた場合を例に、図１０を参照しながら処理を説明する。ただし、符号化器の構成はこれに限定されるものではない。
　LSTMは、入力ベクトルeiのリストの先頭e1から順にニューラルネットワーク（図１０ではNN2）による変換を行って、隠れ状態hiを順次生成していく。i番目の入力ベクトルeiを変換して得られる隠れ状態をhiとすると、まずe1とh0をニューラルネットワークに入力することで変換結果h1を生成し、次にe2とh1をニューラルネットワークに入力することで変換結果h2を得る。同様に、i=3,4,…,I の順にeiとhi-1をニューラルネットワークにより変換してhiを得る。ここで、h0は予め適当な値が初期設定されたH次元ベクトルを用いればよい。
　ここで、また、W1, W2, W3, W4 , V1, V2, V3, V4をニューラルネットワークの学習可能なパラメタとする。W1, W2, W3, W4 は、それぞれH×D行列（Hは任意の自然数である）である。V1, V2, V3, V4は、それぞれH×H行列である。本実施例では、これらのパラメタは予め学習済みである、つまり、行列の各要素の値は既に固定されていると想定する。また、b1, b2, b3, b4はそれぞれH次元のバイアスベクトルである。これも、ニューラルネットワークの学習可能なパラメタであり、本実施例では、予め学習済みであると想定する。すると、LSTM内の計算処理は、以下のように記述できる。つまり、ステップＳ１０３において、文生成装置１００は、ステップＳ１０２において取得されたベクトルのリストの先頭e1から順に下記式を実行することで、隠れ状態hiを順次生成する。
Figure JPOXMLDOC01-appb-M000004
 ここで、
Figure JPOXMLDOC01-appb-M000005
 は各ベクトルの要素ごとの積を表す。また、σ1(x)とσ2(x)は、ベクトルxを入力とし、ベクトルxと同じ次数のベクトルに変換するニューラルネットワークの活性化関数である。例えば、xのi番目の要素をxiとし、σ1(x)のi番目の要素をσ1(xi)とすると、σ1(xi)は下記式に示すようなxiのシグモイド関数値である。
Figure JPOXMLDOC01-appb-M000006
 ここでaはシグモイド関数のゲインであり、予め設定される0より大きな値である。同様に、σ2(x)のi番目の要素をσ2(xi)とすると、σ2(xi)は下記式に示すようなxiのtanh関数値である。
Figure JPOXMLDOC01-appb-M000007
 なお、活性化関数σ1(x)とσ2(x)はこれに限定されるものではなく、任意に設計してよい。ステップＳ１０３において生成される隠れ状態hiのリストを以下のように表記することとする。
Figure JPOXMLDOC01-appb-M000008
 　ステップＳ１０４において、文生成装置１００は、隠れ状態hiのリストを復号化器に入力することにより、予測出力テキストを生成する。具体的には、ステップＳ１０３において取得された中間出力と過去に予測済みの処理単位についての予測出力を用いて、ニューラルネットワークにより、次の処理単位の予測出力テキストを生成する。
　本実施例では、復号化器の構成として、符号化器と同様にLSTM (Long Short-Term Memory)を用いた場合を例とし、図１０を参照しながら処理を説明する。ただし、復号化器の構成はこれに限定されるものではない。
　復号化器は、中間出力を生成するLSTM（図１０ではNN3）と、中間出力から出力テキストを予測するためのニューラルネットワーク（図１０ではNN4～NN5）とを含む。
　まず、中間出力を生成するLSTMによる処理を説明する。LSTMの部分は、符号化器のeiの代わりにujを、hiの代わりにzjを用いる点を除けば、基本的に符号化器と同様の構成である。ここで、ujは、予測出力テキストのj番目の処理単位の予測結果yjに対応するベクトル表現である。u0には文頭を表す記号等に対応するベクトル表現を用いる。また、z0として符号化器の最後の中間出力hIを用いることとする。
　まず、符号化器から出力される隠れ状態hI及びu0をニューラルネットワーク（図１０ではNN3）に入力し、隠れ状態z1を生成する。そして、符号化器で生成された隠れ状態h1,…,hIとz1とをニューラルネットワーク（図１０のNN4）に入力することで、隠れ状態~z1を生成する。そして、隠れ状態~z1から出力テキストの1番目の処理単位の予測結果y1と、y1を生成する元になった入力テキストの処理単位の予測結果x1と、を求める。そして、1番目の処理単位の予測結果y1をニューラルネットワーク（図１０のNN6）により所定次元のベクトルu1に変換する。なお、~および^は、図１０ではzやyの上に表示される記号である。
　同様に、j=2,3,…,J-1について順番に、yj-1に対応するベクトル表現uj-1と隠れ状態zj-1をニューラルネットワークに入力することで、隠れ状態zjを求める。ここで、Jは予測出力テキストに含まれる処理単位数（分割数）である。そして、符号化器で生成された隠れ状態h1,…,hIとzjとをニューラルネットワーク（図１０のNN4）に入力することで、隠れ状態~zjを生成する。そして、隠れ状態~zjから予測出力テキストのi番目の処理単位の予測結果yjと、yjを生成する元になった入力側テキストの処理単位xjと、を求める。そして、j番目の処理単位の予測出力yjをニューラルネットワーク（図１０のNN6）により所定次元のベクトルujに変換する。
　ここで、yjに対応するベクトル表現ujはD次元のベクトルである。yjをujに変換するニューラルネットワークの層を特定するパラメタをD×K次元の行列Fであらわすと、この変換は以下の式で表せる。
Figure JPOXMLDOC01-appb-M000009
 Ｋは予測出力テキストの語彙Φ'の語彙数である。本実施例における自動要約や対話文生成などのように入力テキストと予測出力テキストとの語彙数が等しい（変換が同一言語内で行われる）場合、K = Nとなる。他方、翻訳などのように入力文章と生成文との語彙数が異なる場合、Kは予測出力テキスト（すなわち、翻訳先の言語）の語彙Φ'の語彙数に基づき決定される。なお、ここでのyjは、xjと同様に当該処理単位の予測出力テキストの文字列をK次元のベクトルで表現したものとする。例えば予測出力テキスト^yj が語彙の集合Φ'中のk番目の語彙に対応する場合、ベクトルyjはk番目の要素が1であって、それ以外の要素が0となるK次元のone-hotベクトルとなる。
　符号化器で生成された隠れ状態h1,…,hIとzjとから、隠れ状態~zjを生成する処理、つまり、図１０のNN4の演算は、以下のように表せる。
Figure JPOXMLDOC01-appb-M000010
 つまり、~zjは、zjとの間の類似度が高い隠れ状態hiをより重視することで生成されるベクトルであるといえる。ここで、U(a)はNN３のニューラルネットワークを特定するパラメタで構成されるH×H次元の行列である。ここで、piは注意機構（Attention mechanism）の重みとして知られている。このpiを入力テキストと予測出力テキストの対応情報：アラインメントとして用いる方法は従来から知られているが、piの値は0にならないものが多いため、予測出力テキストのある部分の生成に寄与した入力テキスト中の部分（処理単位）を特定する情報としては、あまり良好に機能しないことが知られている。そのため、本実施例では、piよりもより明示的に、かつユーザにとって把握しやすい対応情報として、以下の処理により^xjを生成する。
　次に、隠れ状態~zjから^yjと^xjとを求める処理について、具体的に説明する。まず、隠れ状態~zjをニューラルネットワークに入力して、oj (t)及びoj (s)を生成する。この計算は、以下の式で表せる。
Figure JPOXMLDOC01-appb-M000011
 ここで、W(t)とW(s)とは、ニューラルネットワーク（図１０のNN5）のパラメタであり、それぞれK×H次元の行列及びN×H次元の行列である。本実施例では、各パラメタには予め学習済みの値が設定されているものと想定する。ここで、oj (t)とoj (s)を以下のように表記する。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 である。ここで、上付き文字のＴは、行列またはベクトルの転置を表す。式（３）においてoj,k (t)は、先頭からj番目の処理単位の予測出力テキストとして、語彙Φ'中のk番目の語彙が選択される可能性（スコア）を表す。また、oj,n (s)は、語彙Φ中のn番目の語彙が、先頭からj番目の処理単位の予測出力テキストを生成する際の元になるスコアを表す。
　ここで、復号化器は、出力側(t)のoj (t)と入力側(s)のoj (s)とを~zjを用いて予測する。予測結果であるoj (t)とoj (s)は予測出力テキストと入力テキストとにおいて同じ意味を表すものであり、アラインメントを求める処理に相当する。j番目の処理単位の予測出力yjは，oj (t) の要素の中で値が最大となる要素番号kに対応する要素が１，それ以外を０としたK次元のone-hotベクトルとする．また，予測出力テキスト^yjは、以下の式により求まる。
Figure JPOXMLDOC01-appb-M000014
 式（７a）は、oj (t)の各要素のうち、値が最大となる要素番号kに対応する語彙Φ'中の語彙（単語等、所定の処理単位）を選択するものである。v(t)は語彙Φ'の語彙の文字列（テキスト）を1番目からＫ番目まで並べた文字列のベクトルであり、v^k (t)は、v(t)の^k番目の要素の文字列を表す。（これは例えば、v１ (t)="本日"、 v2 (t)="国会"、…等である。）
　また、j番目の処理単位の予測出力テキスト^yjを生成する元となる、入力テキストの処理単位を表すxjに対応するテキスト^xjは、以下の式により求まる。
Figure JPOXMLDOC01-appb-M000015
 式（７b）は、oj (s)の各要素のうち、値が最大となる要素番号nに対応する語彙Φ中の語彙（単語等、所定の処理単位）を選択するものである。v(s)は語彙Φの語彙の文字列（テキスト）を1番目からＮ番目まで並べた文字列のベクトルであり、v^n (s)は、v(s)の^n番目の要素の文字列を表す。
　なお、^yjに対応する入力テキストの処理単位は複数存在する場合も考えられる。それら複数個を出力したい場合、上記のargmax関数の代わりに、値が上位Ｒ個の要素番号を返す関数や、値が任意の閾値Ｒ以上となる要素番号を返す関数が用いられてもよい。ただし、予測出力テキストを生成する元となる入力テキストの処理単位を出力する必要がない場合、語彙を選択するための(7b)の計算は実行しなくてもよい。
　このようにして、復号化器は、^yjを出力する処理を必要回数分（例えば、文末を表す記号（EOS等）が出力されるまで）繰り返し、最終的にj=1からJまで順に^yjを並べた文字列を予測出力テキストとして出力する。また、^xjが、^yjが入力テキストのどの部分から^yjが生成されたかを特定する対応情報（アラインメント）として出力される。
＜学習装置１３０＞
　上述の文生成処理では、ニューラルネットワークの各パラメタには、予め学習済みの値が設定されているものとした。以下では、ニューラルネットワークの各パラメタの値を学習するための学習装置１３０について詳細に説明する。
　学習装置１３０は、予め用意された学習用データを用いて、文生成装置１００の解析部１２０で用いるニューラルネットワークの各パラメタの値を学習する。
　ここで、学習データの集合をΩで表す。また、個々の学習データは、第１の自然言語文Xとそれに対応する所定の目的に応じた第２の自然言語文Yとのペア(X,Y)により構成される。すなわち、例えば、Ｍ個の学習データがある場合、学習データΩは、
Figure JPOXMLDOC01-appb-M000016
 と記述できる。この場合、(Xm, Ym)は学習データ中のm番目のデータを表す。ここで、第２の自然言語文Ｙｍは、例えば、自動要約あれば第１の自然言語文Ｘｍに対する要約文、機械翻訳であれば第１の自然言語文Ｘｍを目的言語に訳した文、対話文生成であれば、第１の自然言語文Ｘｍに対する応答文の正解である。
　ニューラルネットワークのパラメタの最適値は、一般に、以下の目的関数の最小化問題の解で表せる。
Figure JPOXMLDOC01-appb-M000017
 ただし、Ψはニューラルネットワークの全てのパラメタの集合を表し、具体的には、E, W1, W2, W3, W4, V1, V2, V3, V4, b1, b2, b3, b4, F, W(t), W(s), U(a)を含む。また、^Ψは、最適化の結果として得られた最適なパラメタの集合を表す。また、一般にLを損失関数と呼ぶ。ここでは、損失関数Lの引数は、ΨとΩである。すなわち、学習装置１３０の目的は、損失関数Lの値がなるべく小さくなるように、Ψに含まれる各パラメタの値を更新することである。
　より詳細には、学習装置１３０は、図６に示すように、サンプリング部１３１、分割部１３２、解析部１３３及びパラメタ更新部１３４を有する。
　サンプリング部１３１は、学習データの集合Ωの中から１つ学習データの対（Ｘｍ,Ｙｍ）を抽出する。
　分割部１３２は、抽出された第１の自然言語文Ｘｍを所定の処理単位の文字列に分割する。この処理および処理単位の大きさは、文生成装置１００の分割部１１０と同一である。
　解析部１３３は、ニューラルネットワークを用いて、第１の自然言語文Ｘｍから第２の自然言語文の予測結果^Ｙｍを生成する。ここで、解析部１３３で用いるニューラルネットワークは解析部１２０と同じであり、第１の自然言語文Ｘｍから第２の自然言語文の予測結果^Ｙｍを生成する具体処理も、解析部１２０と同じである。ただし、ニューラルネットワークの各パラメタが学習前のものである点が異なる。最初の実行時においては、各パラメタには適当な値を設定しておき、学習装置１３０の学習処理の過程でこの各パラメタの値が繰り返し更新されていく。
　パラメタ更新部１３４は、解析部１３３から出力された第２の自然言語文の予測結果^Ｙｍと学習データ（Ｘｍ，Ｙｍ）とに基づき計算される損失関数の値を計算し、その結果に応じてパラメタを更新するか、学習処理を終了するかを決定する。例えば、損失関数の値が予め定めた閾値以上の場合は、損失関数の値に応じて、ニューラルネットワークのパラメタを順次更新した後、サンプリング部１３１に戻って処理を繰り返す。また、損失関数の値が予め定めた閾値未満になったら、現在のニューラルネットワークの各パラメタの値を出力して学習処理を終了する。出力されたパラメタの値が、学習装置１３０のニューラルネットワークに設定され、学習済みニューラルネットワークとして機能可能な状態となる。ここでは、損失関数の値と所定の閾値以上であれば、まだ収束していないとしてパラメタの更新処理を行い、損失関数の値が所定の閾値未満となれば、収束したと判定して学習処理を終えるものとした。しかし、収束判定の方法はこれに限られるものではなく、例えば所定の繰り返し回数に到達していなければパラメタ更新処理を行い、所定の繰り返し回数に到達したら学習処理を終了する構成とする等、別の収束判定方法を採用してもよい。
［パラメタ学習処理］
　次に、図１１を参照して、本開示の一実施例による学習済みニューラルネットワークを利用したパラメタ学習処理を説明する。
　図１１は、本開示の一実施例によるパラメタ学習処理を示すフローチャートである。当該処理は、以下で詳細に説明されるように、学習データの集合Ωを受信した学習装置１３０によって、より詳細には、学習装置１３０のプロセッサによって実行される。
　ステップＳ２０１において、学習装置１３０は、学習用データの集合Ωの中から１つの学習データ(Xm,Ym)を選択する。
　ステップＳ２０２からステップＳ２０５では、ステップＳ２０１で選択した学習データXmを入力テキストとして、上述の文生成処理のステップＳ１０１からＳ１０４と同じ処理を行って、予測出力テキスト^Ymを生成する。
　ステップＳ２０６において、学習装置１３０は、学習データの集合Ω中の全ての学習データについて上述の予測出力テキスト^Ymが生成されるまで、ステップＳ２０１に戻り、文生成の処理を繰り返す。全ての学習データについて予測出力テキストが得られたら、ステップＳ２０７を実行する。
　ステップＳ２０７において、学習装置１３０は、学習用データの集合Ωと予測出力テキスト^Ym（m=1,2,…,M）を用いて、現在のニューラルネットワークのパラメタの予測の正しさを表す損失関数を計算する。上述したThang Luong, et al.において提案される従来法に相当するモデルでは、以下の損失関数が用いられる。
Figure JPOXMLDOC01-appb-M000018
 ここで、yj (m)は、学習データとして与えられた正解出力テキストYmのj番目の処理単位である。ここで、P(yj (m)|Xm,Ψ)は、現在のパラメタΨのニューラルネットワークに入力テキストXmが入力された場合に、正解であるyj (m)が予測出力テキストとして出力される確率を表す。
　これに対し、本開示による実施例では、式(10)の損失関数に代えて、以下の損失関数を用いる。これは、式(10)に予測出力テキストの各処理単位yj (m)に対応する入力テキスト中の処理単位を推定する項が追加されたものである。
Figure JPOXMLDOC01-appb-M000019
 ここで、追加された第二項は、現在のパラメタΨが設定されたニューラルネットワークにより、入力テキストXmから出力テキストYｍが生成される際に、当該出力テキストYｍが生成される元となった文~Xが生成元の文として予測される確率を表す。従って、~Xの予測が完全に正しい場合、この第二項の値は０となる。この追加された第二項は、例えば、以下により計算してもよい。
Figure JPOXMLDOC01-appb-M000020
 式(15)で、Cは予め設定されるパラメタであり、任意の自然数とする。Cは、式（１４）の第一項と第二項の強さを決める効果があるため、第一項をより強く評価したい場合にはCの値を大きくし、第二項の値を強く評価したい場合にはCの値を小さくすればよい。なお、~omと~xmは以下の式により計算する。
Figure JPOXMLDOC01-appb-M000021
 　式（１６ａ）と式（１６ｂ）は、それぞれ予測出力テキストの生成元となった入力テキスト中の各語彙（単語）の出現頻度と、入力テキストXm中の各語彙（単語）の出現頻度を表す。なお、生成した予測出力テキストの処理単位数をJとしたとき、J < Iが予想される。そこでo(s)とxの長さを揃えるため、oj (s)をI回推定するようにしてもよい。例えば式（１６a）においてj = J以降（j = J+1, ..., I）は、復号化器への入力であるuj-1として、特殊な記号<pad>を毎回入力することで、oj (s)（j = J+1, ..., I）を算出することができる。
　最終的に、式（１５）を式（１４）に代入すると、損失関数は以下のように表せる。
Figure JPOXMLDOC01-appb-M000022
 ニューラルネットワークによる予測の結果が正解データと一致する場合、~Omと~xmが等しくなり、式（１７）の第二項は０になる。一方、予測結果が正解から離れるほど、~Omと~xmの差が大きくなり、損失関数の値が大きくなる。つまり、式（１７）の第２項は、予測結果として出力される対応情報（アラインメント）の正しさを表す尺度といえる。
　一般に、学習用に用意される学習データには、第１の自然言語文のどの部分と第２の自然言語文のどの部分とが対応するかを表す対応関係の正解データは与えられないことが多い。これは、アラインメントに関する正解情報を人手で付与するコストが非常に高いためである。このため、従来の学習においては、損失関数にアラインメントの正しさの尺度を盛り込むことが難しかった。
　一方、式（１４）又は（１７）の損失関数によれば、予測結果として出力される出力テキストの正しさを表す尺度である第１項と、予測結果として出力される対応情報（アラインメント）の正しさを表す尺度である第２項とを総合的に考慮して、ニューラルネットワークのパラメタを学習できる。これは、本開示の復号化器の出力としてoj (s)（~X）が得られることによって、初めて可能になるものである。入力テキストに含まれない語や表現を用いて予測出力テキストが生成されても、予測出力テキストを生成する源となった入力テキストの語彙~omが、入力テキストの語彙~xmと近ければ、適切に文生成が行われたものと評価することができる。つまり、言い換え等を許容したニューラルネットワークにおいて、より適切に予測精度を評価することができ、その結果として、従来よりも予測精度の高いニューラルネットワークを学習することが可能となるのである。
　以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　本出願は、２０１８年２月２８日に出願した日本国特許出願２０１８－０３４７８１号の優先権の利益に基づき、これを主張するものであり、２０１８－０３４７８１号の全内容を本出願に援用する。
１００　文生成装置
１１０　入力部
１２０　解析部
１３０　学習装置

Claims (8)

  1. 　第１の自然言語文が入力され、第１の自然言語文に対応する所定の目的に応じた第２の自然言語文と、前記第２の自然言語文の各部分が前記第１の自然言語文のいずれの部分の情報に基づき生成されたかを示す対応情報とを出力するよう学習された学習済みニューラルネットワークと、
    　入力されたテキストを、前記学習済みのニューラルネットワークに入力することで、所定の目的に応じた出力テキストの予測結果と、前記出力テキストの予測結果の各部分が前記入力テキストの何れの部分の情報に基づき生成されたかを示す対応情報とを出力する解析部と、
    を有する装置。
  2. 　前記学習済みニューラルネットワークは、
    　入力されたテキストを中間状態に変換する符号化部と、
    　前記符号化部から出力された中間状態を入力として、前記出力テキストの先頭の処理単位から順に、処理単位毎の前記出力テキストの予測結果を生成する復号化部と、
    　を有し、
    　前記復号化部は、j-1番目の処理単位の出力テキストの予測結果を変換して得られる隠れ状態と、前記符号化部から出力された中間状態とを用いて、j番目の処理単位の予測結果と、当該j番目の処理単位の予測結果の生成に用いた入力テキスト中の処理単位を特定する情報とを出力する層を含む、
    請求項１記載の装置。
  3. 　第１の自然言語文が入力され、第１の自然言語文に対応する所定の目的に応じた第２の自然言語文と、前記第２の自然言語文の各部分が前記第１の自然言語文のいずれの部分の情報に基づき生成されたかを示す対応情報とを出力するニューラルネットワークと、
    　予め与えられた学習用入力テキストと学習用出力テキストの正解との対からなる学習データの各々について、各学習用入力テキストを前記ニューラルネットワークに入力することで、学習用出力テキストの予測結果と対応情報とを出力する解析部と、
    　前記解析部で得られた学習用出力テキストの予測結果と前記対応情報とに基づいて計算される損失関数の値に応じて、前記ニューラルネットワークの各パラメタを更新するパラメタ更新部と、
    を有する装置。
  4. 　前記損失関数は、前記学習用出力テキストの予測結果の生成に用いた第１の自然言語の各語彙の出現頻度である第１の出現頻度と、前記学習用入力テキスト中の前記第１の自然言語の各語彙の出現頻度である第２の出現頻度との類似度が高い場合のほうが、低い場合よりも損失関数の値が小さくなるように計算されることを特徴とする、請求項３記載の装置。
  5. 　前記ニューラルネットワークは、
    　学習用入力テキストを中間状態に変換する符号化部と、
    　前記符号化部から出力された中間状態を入力として、前記学習用出力テキストの予測結果の先頭の処理単位から順に、処理単位毎の前記学習用出力テキストの予測結果を生成する復号化部と、
    　を有し、
    　前記復号化部は、j-1番目の処理単位の出力テキストの予測結果を変換して得られる隠れ状態と、前記符号化部から出力された中間状態とを用いて、j番目の処理単位の予測結果と、当該j番目の処理単位の予測結果の生成に用いた入力テキスト中の処理単位を特定する情報とを出力する層を含む、
    請求項３又は４記載の装置。
  6. 　入力テキストを学習済みのニューラルネットワークに入力するステップと、
    　所定の目的に応じた出力テキストの予測結果と、前記出力テキストの予測結果の各部分が前記入力テキストの何れの部分の情報に基づき生成されたかを示す対応情報とを出力するステップと、
    を有し、
    　前記学習済みのニューラルネットワークは、第１の自然言語文が入力され、第１の自然言語文に対応する所定の目的に応じた第２の自然言語文と、前記第２の自然言語文の各部分が前記第１の自然言語文のいずれの部分の情報に基づき生成されたかを示す対応情報とを出力するよう学習された方法。
  7. 　予め与えられた学習用入力テキストと学習用出力テキストの正解との対からなる学習データの各々について、各学習用入力テキストをニューラルネットワークに入力するステップと、
    　学習用出力テキストの予測結果と対応情報とを出力するステップと、
    　前記学習用出力テキストの予測結果と前記対応情報とに基づいて計算される損失関数の値に応じて、前記ニューラルネットワークの各パラメタを更新するステップと、
    を有し、
    　前記ニューラルネットワークは、第１の自然言語文が入力され、第１の自然言語文に対応する所定の目的に応じた第２の自然言語文と、前記第２の自然言語文の各部分が前記第１の自然言語文のいずれの部分の情報に基づき生成されたかを示す対応情報とを出力する方法。
  8. 　請求項１乃至５何れか一項記載の装置の各部としてプロセッサを機能させるプログラム。
PCT/JP2018/023961 2018-02-28 2018-06-25 自然言語処理のための装置、方法及びプログラム WO2019167296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020502783A JP7072178B2 (ja) 2018-02-28 2018-06-25 自然言語処理のための装置、方法及びプログラム
US16/975,312 US11797761B2 (en) 2018-02-28 2018-06-25 Device, method and program for natural language processing
US18/368,223 US20240005093A1 (en) 2018-02-28 2023-09-14 Device, method and program for natural language processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018034781 2018-02-28
JP2018-034781 2018-02-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/975,312 A-371-Of-International US11797761B2 (en) 2018-02-28 2018-06-25 Device, method and program for natural language processing
US18/368,223 Continuation US20240005093A1 (en) 2018-02-28 2023-09-14 Device, method and program for natural language processing

Publications (1)

Publication Number Publication Date
WO2019167296A1 true WO2019167296A1 (ja) 2019-09-06

Family

ID=67804849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023961 WO2019167296A1 (ja) 2018-02-28 2018-06-25 自然言語処理のための装置、方法及びプログラム

Country Status (3)

Country Link
US (2) US11797761B2 (ja)
JP (1) JP7072178B2 (ja)
WO (1) WO2019167296A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765243A (zh) * 2019-09-17 2020-02-07 平安科技（深圳）有限公司 自然语言处理系统的构建方法、电子装置及计算机设备
JP2022027175A (ja) * 2020-07-31 2022-02-10 株式会社朝日新聞社 情報処理装置、情報処理方法、及びプログラム
JP7429352B2 (ja) 2020-02-20 2024-02-08 日本電信電話株式会社 系列変換装置、機械学習装置、系列変換方法、機械学習方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162799B (zh) * 2018-11-28 2023-08-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
US11501159B2 (en) * 2019-03-26 2022-11-15 Alibaba Group Holding Limited Methods and systems for text sequence style transfer by two encoder decoders
WO2021064907A1 (ja) * 2019-10-02 2021-04-08 日本電信電話株式会社 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170168A (ja) * 2014-03-07 2015-09-28 国立研究開発法人情報通信研究機構 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム
JP2017182277A (ja) * 2016-03-29 2017-10-05 日本電信電話株式会社 符号化装置、復号化装置、離散系列変換装置、方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065327A1 (en) * 2014-10-24 2016-04-28 Google Inc. Neural machine translation systems with rare word processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170168A (ja) * 2014-03-07 2015-09-28 国立研究開発法人情報通信研究機構 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム
JP2017182277A (ja) * 2016-03-29 2017-10-05 日本電信電話株式会社 符号化装置、復号化装置、離散系列変換装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOTO ISAO ET AL.: "Detection of missing contents in neural machine translation", PROCEEDINGS OF THE TWENTY-THIRD ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 6 March 2017 (2017-03-06), pages 1018 - 1021 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765243A (zh) * 2019-09-17 2020-02-07 平安科技（深圳）有限公司 自然语言处理系统的构建方法、电子装置及计算机设备
JP7429352B2 (ja) 2020-02-20 2024-02-08 日本電信電話株式会社 系列変換装置、機械学習装置、系列変換方法、機械学習方法、およびプログラム
JP2022027175A (ja) * 2020-07-31 2022-02-10 株式会社朝日新聞社 情報処理装置、情報処理方法、及びプログラム
JP7178390B2 (ja) 2020-07-31 2022-11-25 株式会社朝日新聞社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20210406483A1 (en) 2021-12-30
JPWO2019167296A1 (ja) 2021-06-17
US11797761B2 (en) 2023-10-24
US20240005093A1 (en) 2024-01-04
JP7072178B2 (ja) 2022-05-20

Similar Documents

Publication Publication Date Title
WO2019167296A1 (ja) 自然言語処理のための装置、方法及びプログラム
AU2019395322B2 (en) Reconciliation between simulated data and speech recognition output using sequence-to-sequence mapping
JP7149560B2 (ja) リクエスト言換システム、リクエスト言換モデル及びリクエスト判定モデルの訓練方法、及び対話システム
CN111837178A (zh) 语音处理系统和处理语音信号的方法
Zhu et al. Phone-to-audio alignment without text: A semi-supervised approach
CN114038447A (zh) 语音合成模型的训练方法、语音合成方法、装置及介质
CN112364658A (zh) 翻译以及语音识别方法、装置、设备
US20090240501A1 (en) Automatically generating new words for letter-to-sound conversion
CN113205792A (zh) 一种基于Transformer和WaveNet的蒙古语语音合成方法
WO2019171925A1 (ja) 言語モデルを利用する装置、方法及びプログラム
JP6820764B2 (ja) 音響モデル学習装置および音響モデル学習プログラム
WO2019163752A1 (ja) 形態素解析学習装置、形態素解析装置、方法、及びプログラム
JP2019185400A (ja) 文生成装置、文生成方法及び文生成プログラム
WO2022074760A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
CN117727288B (zh) 一种语音合成方法、装置、设备及存储介质
CN113555006B (zh) 一种语音信息识别方法、装置、电子设备及存储介质
Kew Language Representation and Modelling for Swiss German ASR
JP7411149B2 (ja) 学習装置、推定装置、学習方法、推定方法及びプログラム
Choi et al. Label Embedding for Chinese Grapheme-to-Phoneme Conversion.
US20220215834A1 (en) System and method for speech to text conversion
Sharan et al. ASR for Speech based Search in Hindi using Attention based Model
Liu et al. Evaluating Modeling Units and Sub-word Features in Language Models for Turkish ASR
Dash et al. A TRANSFORMER APPROACH TO BILINGUAL AUTOMATED SPEECH RECOGNITION USING CODE-SWITCHED SPEECH
CN114118108A (zh) 建立转译模型的方法、转译方法和对应装置
Anusha et al. Grapheme to Phoneme Mapping for Tamil Language

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907650

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502783

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907650

Country of ref document: EP

Kind code of ref document: A1