WO2018066083A1 - 学習プログラム、情報処理装置および学習方法 - Google Patents

学習プログラム、情報処理装置および学習方法 Download PDF

Info

Publication number
WO2018066083A1
WO2018066083A1 PCT/JP2016/079545 JP2016079545W WO2018066083A1 WO 2018066083 A1 WO2018066083 A1 WO 2018066083A1 JP 2016079545 W JP2016079545 W JP 2016079545W WO 2018066083 A1 WO2018066083 A1 WO 2018066083A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
language
learning
common
distributed
Prior art date
Application number
PCT/JP2016/079545
Other languages
English (en)
French (fr)
Inventor
裕司 溝渕
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2018543522A priority Critical patent/JP6705506B2/ja
Priority to PCT/JP2016/079545 priority patent/WO2018066083A1/ja
Publication of WO2018066083A1 publication Critical patent/WO2018066083A1/ja
Priority to US16/373,564 priority patent/US11176327B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the present invention relates to a learning program and the like.
  • Non-Patent Document 1 In text processing, how to acquire high-precision word expressions is important, and many studies have been made. In recent years, Word2Vec is well known as a technique for acquiring word expressions (see Non-Patent Document 1, for example).
  • Word2Vec is a mechanism for acquiring a distributed representation of a word based on the concept (Distribution hypothesis) that “similar words appear in similar sentences”.
  • distributed expression refers to a vector that expresses a semantic relationship between words.
  • Word2Vec uses a supervised learning method of a neural network composed of an input layer, a hidden layer, and an output layer, and a relationship between a given word and surrounding words that appear in a sentence and a distributed representation of the given word To learn.
  • a Continuous-Bag-of-Words model and a Skip-gram model have been proposed.
  • the Skip-gram model here is a model that predicts peripheral words by inputting a vector corresponding to a given word.
  • FIG. 8 is a diagram illustrating a Word2Vec Skip-gram model. As shown in FIG. 8, a neural network composed of an input layer, a hidden layer, and an output layer is constructed for the Skip-gram model.
  • a V-dimensional input vector x corresponding to a given word that appears in the sentence is input.
  • the input vector x is a V-dimensional one-hot vector.
  • V is the number of words in the sentence.
  • the one-hot vector refers to a vector in which the element corresponding to a given word is 1 and the other elements are 0.
  • An N-dimensional word vector h of a given word is generated in the hidden layer.
  • W V ⁇ N is the weight between the input layer and the hidden layer is represented by the matrix of V ⁇ N.
  • a V-dimensional output vector y C is generated for each of C panels.
  • C is the number of panels, and y C is an output vector corresponding to words before and after a given word.
  • W ′ N ⁇ V is a weight between the hidden layer and the output layer, and is represented by an N ⁇ V matrix.
  • Skip-gram model inputs one-hot vector x v of V dimension as the input vector to the input layer (Input layer).
  • the Skip-gram model maps an input one-hot vector xv to an N-dimensional hidden layer, and then outputs each V-dimensional output vector corresponding to C words to an output layer (Output). layer).
  • the weight W ′ N ⁇ V between the hidden layer and the output layer is used to learn the difference.
  • the weights that are parameters are updated in the order of the weight W V ⁇ N between the input layer and the hidden layer. Such parameter update is performed by backpropagation, for example.
  • the word vector h of the hidden layer obtained by repeated learning becomes a distributed representation of a given word (input vector x).
  • a technique is known in which such a distributed representation of a word is learned in two different tasks, and vector conversion between tasks is learned using the learned distributed representation of a word (see, for example, Non-Patent Document 2). .
  • the distributed expression learned in another task is converted via an objective function.
  • FIG. 9 is a diagram showing an example of vector conversion between tasks using a distributed representation of words.
  • a mapping function is learned from each distributed representation of a pair of words between different tasks. If the conversion source word pair word does not exist in the conversion destination, that is, if the conversion destination word is an unknown word, the conversion destination is calculated from the distributed representation of the conversion source word and the conversion function. Get a distributed representation of unknown words.
  • the conventional technique learns a distributed representation of a word that exists in the conversion source but does not exist in the conversion destination, but cannot learn a distributed representation of a word that exists in the conversion destination but does not exist in the conversion source.
  • learning of distributed representations of words assumes a case where language resources are sufficient, and does not assume a case where language resources are insufficient. Therefore, when there are not enough language resources in the conversion destination word space, it is not possible to learn a distributed representation of the conversion destination word.
  • the present invention has an object of realizing highly accurate distributed expression learning even when language resources in a word space are not sufficient.
  • the learning program causes a computer to learn a distributed expression of a word included in a word space in a first language using a learning device that learns the distributed expression, and a learning program different from the first language.
  • a learning device that learns the distributed expression
  • a learning program different from the first language In the word space in the second language, words common to the words included in the word space in the first language and non-common words are classified, and the common words in the word space in the second language are classified.
  • the distributed expression is replaced with the distributed expression of the words in the first language corresponding to the common word, and processing for adjusting parameters of the learning device is executed.
  • FIG. 1 is a functional block diagram illustrating the configuration of the information processing apparatus according to the embodiment.
  • FIG. 2 is a diagram for explaining the outline of learning of the distributed expression of words according to the embodiment.
  • FIG. 3A is a diagram (1) illustrating an example of the distributed representation learning process according to the embodiment.
  • FIG. 3B is a diagram (2) illustrating an example of the distributed expression learning process according to the embodiment.
  • FIG. 3C is a diagram (3) illustrating an example of the distributed expression learning process according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of the parameter adjustment process according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of the parameter-adjusted distributed representation learning process according to the embodiment.
  • FIG. 1 is a functional block diagram illustrating the configuration of the information processing apparatus according to the embodiment.
  • FIG. 2 is a diagram for explaining the outline of learning of the distributed expression of words according to the embodiment.
  • FIG. 3A is a diagram (1) illustrating an example of the distributed representation learning process according
  • FIG. 6 is a diagram illustrating an example of a flowchart of the learning process according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of a hardware configuration of the information processing apparatus.
  • FIG. 8 is a diagram showing a Word2Vec Skip-gram model.
  • FIG. 9 is a diagram illustrating an example of vector conversion between tasks using a distributed representation of words.
  • FIG. 1 is a functional block diagram illustrating the configuration of the information processing apparatus according to the embodiment.
  • the information processing apparatus 1 shown in FIG. 1 uses a language with more language resources than a prescribed amount as a reference language, and uses a distributed representation of words in the reference language to obtain a distributed representation of words in a language with fewer language resources than the prescribed amount. learn.
  • the term “distributed expression” refers to a vector that expresses a semantic relationship between words.
  • a language having more language resources than a prescribed amount is used as a reference language, and a language having fewer language resources than a prescribed amount is explained as a target language.
  • FIG. 2 is a diagram for explaining the outline of learning of the distributed expression of words according to the embodiment.
  • the reference language word space W0 is a language word space with many language resources, for example, an English word space.
  • the target language word space W1 is a language word space with few language resources, for example, a Japanese word space.
  • the information processing apparatus 1 acquires a distributed representation of a word included in the word space W0 by using a technique for acquiring a distributed representation of the word for the word space W0 of the reference language.
  • the technique for acquiring the distributed expression of the word only needs to be one algorithm of the program for learning the distributed expression of the word, and is, for example, the Word2Vec Skip-gram model.
  • the information processing apparatus 1 includes a word group (group a) of words that are common to words included in the reference language word space W0, and words included in the reference language word space W0.
  • the word group (group b) of words that are not common is classified.
  • “apple”, “banana”, “orange” and “cutter” in the word space W1 of the target language are the words “apple”, “banana” and “orange” included in the word space W0 of the reference language.
  • “cutter” are common, so they are classified as a group.
  • the “sword” in the word space W1 of the target language is not common to the words included in the word space W0 of the reference language, and thus is classified as the b group.
  • the information processing apparatus 1 uses the distributed expression of the word common to the word in the reference language as the distributed expression of the group a words in the target language, and distributes the word including Word2Vec. A predetermined parameter of one algorithm of the program for learning the expression is adjusted.
  • the distributed expression of the word “apple” in group a is used as the distributed expression of “apple”.
  • the distributed expression of the word “banana” in group a is used as the distributed expression of “banana”.
  • the information processing apparatus 1 inputs the adjusted predetermined parameter to one algorithm of a program that learns a distributed expression of words including Word2Vec, and the b group of words in the target language.
  • Learn distributed representation That is, the information processing apparatus 1 learns a relative distributed expression of non-common words by matching non-common words in the target language with the positions of the words in the group a.
  • the distributed representation of the word “sword” in the b group is relatively learned in accordance with the position of the word in the a group.
  • the information processing apparatus 1 can realize highly accurate distributed expression learning even when the language resources of the word space in the target language are not sufficient. That is, learning of the distributed expression of the word does not assume a case where the language resource is insufficient, and when the language resource is insufficient, the distributed expression of the word of the language resource cannot be learned. However, the information processing apparatus 1 can realize highly accurate distributed representation learning even when language resources are insufficient.
  • the information processing apparatus 1 includes a learning unit 10 and a storage unit 20.
  • the learning unit 10 corresponds to an electronic circuit such as a CPU (Central Processing Unit).
  • the learning part 10 has an internal memory for storing the program and control data which prescribed
  • the learning unit 10 includes a distributed representation learning unit 11, a word classification unit 12, a parameter adjustment unit 13, a parameter adjusted distributed representation learning unit 14, and a learning end determination unit 15.
  • the storage unit 20 is, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 20 includes a reference language learning corpus 21, a target language learning corpus 22, and an alignment dictionary 23.
  • the reference language learning corpus 21 is a corpus written in a reference language used for learning the reference language.
  • the target language learning corpus 22 is a corpus written in a target language used for learning the target language.
  • a corpus refers to a collection of sentences.
  • the alignment dictionary 23 is a dictionary having word correspondences in the reference language expression and the target language expression. For example, when the reference language is English and the target language is Japanese, the alignment dictionary 23 has a correspondence relationship between words in the English expression and the Japanese expression.
  • An example of the alignment dictionary 23 is a web dictionary, which is an online English dictionary service in Japan.
  • the distributed expression learning unit 11 learns the distributed expression of words included in the word space in the reference language using a technique for acquiring the distributed expression of words.
  • the distributed expression learning unit 11 receives the reference language learning corpus 21 and learns a distributed expression of words included in the reference language learning corpus 21 using, for example, a Word2Vec Skip-gram model.
  • learning using the Word2Vec Skip-gram model is performed using existing technology. Such learning may be performed using the technology disclosed in “Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of Workshop at ICLR, 2013.”. Also, the technology disclosed in “Xin Rong. Word2vec Parameter Learning Explained” may be used.
  • FIGS. 3A to 3C are diagrams illustrating an example of the distributed expression learning process according to the embodiment.
  • a technique for acquiring a distributed representation of a word will be described as a Word2Vec Skip-gram model. It is assumed that the reference language is English and the target language is Japanese. Further, it is assumed that the reference language learning corpus 21 is “I drink apple juice....”.
  • the distributed representation learning unit 11 constructs a neural network including an input layer, a hidden layer, and an output layer for the Skip-gram model.
  • a V-dimensional input vector x corresponding to a given word is input to the input layer.
  • the input vector x is a one-hot vector.
  • V is the number of words included in the reference language learning corpus 21.
  • the one-hot vector refers to a vector in which an element corresponding to a given word is 1 and the other elements are 0.
  • W v ⁇ N is a weight between the input layer and the hidden layer, and is represented by a V ⁇ N matrix.
  • a random value is given as an initial state of each element of W v ⁇ N .
  • V-dimensional output vectors y c are generated for C panels (not shown).
  • the C is a predetermined number of panels
  • y c is an output vector corresponding to words before and after a given word.
  • W ′ N ⁇ V is a weight between the hidden layer and the output layer, and is represented by an N ⁇ V matrix. As an initial state of each element of W ′ N ⁇ V , for example, a random value is given.
  • the distributed representation learning unit 11 learns a distributed representation of a given word using a Skip-gram model utilizing such a neural network including an input layer, a hidden layer, and an output layer.
  • the input vector x is a one-hot vector in which the element corresponding to the given word “apple” in the reference language learning corpus 21 is 1 and the other elements are 0.
  • the distributed representation learning unit 11 when receiving the input vector x corresponding to the given word “apple”, the distributed representation learning unit 11 generates a hidden layer word vector h by applying a weight of W V ⁇ N to the input vector x.
  • the distributed expression learning unit 11 generates an output vector y of the output layer by applying a weight of W′N ⁇ V to the word vector h. That is, the distributed representation learning unit 11 performs prediction using W v ⁇ N and W v ⁇ N in the initial state. As a result, the probability of the word “drink” is predicted to be 0.1230, and the probability of the word “juice” is predicted to be 0.1277.
  • the distributed representation learning unit 11 performs W ′ N ⁇ V and W V ⁇ based on the difference.
  • the weights that are parameters are updated in the order of N. Such parameter update is called backpropagation, for example.
  • the distributed representation learning unit 11 generates a hidden layer word vector h by multiplying the input vector x by the updated weight of W V ⁇ N.
  • the distributed representation learning unit 11 generates the output vector y of the output layer by applying the updated weight W′N ⁇ V to the word vector h. That is, the distributed representation learning unit 11 performs prediction using W v ⁇ N and W ′ N ⁇ V in the updated state.
  • the probability of the word “drink” is predicted to be 0.1236, and the probability of the word “juice” is predicted to be 0.1289, which is slightly increased from the previous predicted value.
  • the distributed representation learning unit 11 repeats (iterates) until the output vector becomes optimal using a back-propagation algorithm.
  • the optimal output vector means maximizing the simultaneous probability of appearance in each word around a given word. That is, the appearance probability in each word around a given word is close to 1.0 at the same time.
  • the distributed representation learning unit 11 may repeat a predetermined number of times. The predetermined number of times is 500 as an example, but the optimum number of times may be obtained by experiments.
  • the distributed expression learning unit 11 acquires the word vector h appearing in the hidden layer as a distributed expression of the given word “apple”.
  • the distributed expression learning unit 11 may acquire a distributed expression of a given word by changing the given word.
  • the word classifying unit 12 classifies words that are common and non-common with words included in the word space in the reference language in the word space in the target language different from the reference language. For example, the word classification unit 12 performs morphological analysis on the target language learning corpus 22 and outputs a word as a result of the analysis. Then, the word classification unit 12 obtains a correspondence relationship between the target language and the reference language using the analyzed word and the alignment dictionary 23. That is, the word classifying unit 12 classifies words that are common and non-common with words in the reference language in the target language.
  • the common word here means a word having the same meaning as the reference language in the target language
  • the non-common word means a word having no word having the same meaning in the reference language.
  • “apple” in the target language is a common word because it has the same meaning as “apple” in the reference language.
  • the “sword” in the target language is a word that does not have a word having the same meaning in the reference language, and thus is not a common word.
  • the parameter adjustment unit 13 replaces the distributed representation of the common word in the word space in the target language with the distributed representation of the word in the reference language corresponding to the common word, and obtains the parameter of the technique for obtaining the distributed representation of the word adjust.
  • the parameter adjustment unit 13 receives the target language learning corpus 22, selects a common word that is included in the target language learning corpus 22, and uses the distributed representation of the selected word as the reference language distribution. Replace with expression. That is, the parameter adjustment unit 13 replaces the hidden layer in Skip-gram with a distributed representation of words in the reference language. Then, the parameter adjustment unit 13 adjusts the weight W ′ N ⁇ V that is a parameter between the hidden layer and the output layer.
  • the parameter adjustment unit 13 sequentially selects all common words and performs such parameter adjustment processing on the selected words.
  • FIG. 4 is a diagram illustrating an example of the parameter adjustment process according to the embodiment. It is assumed that the reference language is English and the target language is Japanese. Further, it is assumed that the target language learning corpus 22 is “... Ate a red apple. In the target language learning corpus 22, it is assumed that a common word is “apple”. FIG. 4 illustrates a case where the parameters are adjusted using the common word “apple”.
  • the parameter adjustment unit 13 uses the word “apple” that appears in common between the reference language and the target language, and uses the weight W ′ that is a parameter between the hidden layer and the output layer. to adjust the N ⁇ V.
  • the parameter adjustment section 13 replaces the word vector h i of the hidden layer to the distributed representation of "apple". Then, the parameter adjustment unit 13 fixes the hidden layer and adjusts the weight W ′ N ⁇ V that is a parameter between the hidden layer and the output layer. That is, the parameter adjustment section 13, the output vector y 1 ⁇ C word vector h i and an output layer of the hidden layer, using the value of j to adjust the weights W'N ⁇ V.
  • i in h i is an index indicating the i-th element of the word vector of the hidden layer.
  • k in xk is an index indicating the kth element of the V-dimensional one-hot vector corresponding to the input word.
  • C in y 1 to C, j is a predetermined number of panels, and is the maximum number of words representing the front and back of the input word.
  • j in y 1 to C, j is an index indicating the j-th element of the output vector corresponding to the C-th word in the output layer.
  • the parameter adjusting unit 13 updates the weight W ′ N ⁇ V that is a parameter based on the difference.
  • the parameter update is performed by the same method as that performed by the distributed representation learning unit 11. In other words, for example, back propagation may be used as the parameter updating method.
  • the parameter-adjusted distributed representation learning unit 14 uses the parameters adjusted by the parameter adjustment unit 13 to learn distributed representations of non-common words in the word space in the target language. For example, the parameter-adjusted distributed representation learning unit 14 receives the target language learning corpus 22 and performs the following processing when the words are included in the target language learning corpus 22 and are not common words. The parameter-adjusted distributed representation learning unit 14 sets the weight W ′ N ⁇ V that is the parameter adjusted by the parameter adjusting unit 13. Then, the parameter-adjusted distributed expression learning unit 14 inputs the one-hot vector of the non-common word to the input layer, and learns the distributed expression of the non-common word using the Word2Vec Skip-gram model.
  • FIG. 5 is a diagram illustrating an example of the parameter-adjusted distributed representation learning process according to the embodiment. It is assumed that the reference language is English and the target language is Japanese. Further, it is assumed that the target language learning corpus 22 is “... Ate a red apple. In the target language learning corpus 22, it is assumed that the words that are not common are “red”, “ha”, and “eat”, and the common word is “apple”. FIG. 5 illustrates a case of learning a distributed expression of the word “red” that is not common.
  • the parameter-adjusted distributed representation learning unit 14 sets the weight W ′ N ⁇ V that is the parameter adjusted by the parameter adjusting unit 13 in the Skip-gram model, and then distributes the common word distribution Learn expressions.
  • the distributed representation learning method is the same as the method described in the distributed representation learning unit 11. For example, assume that the input vector x is a one-hot vector in which an element corresponding to the word “red” that is not common as an input word is 1 and the other elements are 0. Then, upon receiving the input vector x corresponding to the input word “red”, the parameter-adjusted distributed representation learning unit 14 generates a hidden layer word vector h by applying a weight of W V ⁇ N to the input vector x. .
  • the distributed expression learning unit 11 generates an output vector y of the output layer by applying a weight of W′N ⁇ V to the word vector h. Then, the parameter-adjusted distributed representation learning unit 14 uses the parameters in the order of W ′ N ⁇ V and W V ⁇ N based on the difference if the actually calculated output vector y is different from a predetermined prediction vector. Update a certain weight. Then, the parameter-adjusted distributed expression learning unit 14 repeatedly adjusts the parameters through learning of the distributed expression of the input word “red”.
  • the learning end determination unit 15 determines the end of learning.
  • the learning end determination unit 15 ends the learning when the difference before and after the update of the weight W ′ N ⁇ V that is a parameter becomes smaller than the threshold value.
  • the pre-update of the weight W ′ N ⁇ V is a weight at the end of the parameter adjustment unit 13, that is, a weight at the start of the parameter-adjusted distributed representation learning unit 14.
  • After updating the weight W ′ N ⁇ V is the weight at the end of the parameter-adjusted distributed representation learning unit 14. That is, the learning end condition is expressed by the equation (1).
  • W'N ⁇ Vnew is after updating the W'N ⁇ V.
  • W ′ N ⁇ Vold is before update of W ′ N ⁇ V.
  • ⁇ is a threshold value.
  • the threshold may be a value that can be determined that the difference between before and after the update is sufficiently small.
  • the learning end determination unit 15 repeats the parameter adjustment unit 13 and the parameter-adjusted distributed representation learning unit 14 when the difference between before and after the update of the parameter weight W ′ N ⁇ V is equal to or greater than the threshold value.
  • the learning end determination unit 15 has been described as the case where the difference between before and after the update of the weight W ′ N ⁇ V is smaller than the threshold as the learning end condition, the learning end condition is not limited to this.
  • the learning end determination unit 15 may repeat a predetermined number of iterations (iterations).
  • FIG. 6 is a diagram illustrating an example of a flowchart of the learning process according to the embodiment. It is assumed that there is a word space of the target language in which there are more language resources than the prescribed amount, a word space of the reference language, and less language resources than the prescribed amount.
  • the learning unit 10 determines whether or not a learning process request has been accepted (step S10). When it is determined that the learning process request has not been received (step S10; No), the learning unit 10 repeats the determination process until the learning process request is received.
  • the distributed representation learning unit 11 learns the distributed representation of the reference language (step S20). For example, the distributed expression learning unit 11 learns a distributed expression of words in the reference language by using a word2Vec Skip-gram model.
  • the word classification unit 12 classifies a common word group and a common word group between both languages (step S30). For example, the word classification unit 12 performs morphological analysis on the target language learning corpus 22 and outputs a word as a result of the analysis. The word classifying unit 12 obtains the correspondence between the target language and the reference language using the analyzed word and the alignment dictionary 23. And the word classification
  • the parameter adjustment unit 13 adjusts the learning parameter W ′ for distributed expression learning for the word group of the target language that appears in common (step S40). For example, the parameter adjustment unit 13 sequentially selects words from the common word group, and replaces the distributed representation of the selected words with the distributed representation of the words in the reference language. That is, the parameter adjustment unit 13 replaces the hidden layer in the Skip-gram model with a distributed representation of the words in the reference language. Then, the parameter adjustment unit 13 adjusts the weight W ′ N ⁇ V that is a parameter between the hidden layer and the output layer.
  • the parameter-adjusted distributed expression learning unit 14 inputs the adjusted learning parameter W ′, and learns the distributed expression for the word group of the target language that is not common (step S50). For example, the parameter-adjusted distributed representation learning unit 14 sets the weight W ′ N ⁇ V that is the parameter adjusted by the parameter adjustment unit 13 in the Skip-gram model. The parameter-adjusted distributed representation learning unit 14 sequentially selects words from a group of words in the target language that are not common, inputs an One-hot vector of the selected words to the input layer, and a distributed representation of the selected words is a Skip-gram model. To learn.
  • the learning end determination unit 15 determines whether or not a learning end condition is satisfied (step S60). For example, the learning end determination unit 15 determines whether or not the difference between before and after the update of the parameter weight W′N ⁇ V is smaller than the threshold value.
  • the weight W ′ N ⁇ V before the update is a weight that is a parameter adjusted by the parameter adjustment unit 13.
  • the updated weight W ′ N ⁇ V is a weight that is a parameter adjusted by the parameter-adjusted distributed representation learning unit 14.
  • the learning end determination unit 15 proceeds to step S40 to further adjust the updated weight W ′ N ⁇ V.
  • step S60 when it is determined that the learning end condition is satisfied (step S60; Yes), the learning end determination unit 15 ends the learning process.
  • the learning process according to the embodiment can interpret the meaning of the word by acquiring a distributed expression of the word, and can perform a document search and a sentence similarity search with high accuracy.
  • the learning process according to the embodiment is applied to a Q / A (Question / Answer) site, so that an appropriate answer (Answer) can be searched with high accuracy from a large number of past queries (Questions). Will be able to.
  • Q / A sites related to computers are in English, they are being developed from English to Japanese.
  • Q / A becomes enormous, learning using machine learning is desired, but enormous language resources are required to use machine learning. Since Japanese has fewer language resources than English, it is possible to effectively use English information by using the learning process according to the embodiment.
  • the information processing apparatus 1 learns the distributed representation of the words included in the word space in the first language using the learning device that learns the distributed representation.
  • the information processing apparatus 1 classifies words that are common and words that are not common to words included in the word space in the first language in the word space in the second language that is different from the first language.
  • the information processing apparatus 1 adjusts the parameters of the learning device by replacing the distributed representation of the common word in the word space in the second language with the distributed representation of the word in the first language corresponding to the common word. .
  • the information processing apparatus 1 uses the distributed representation of the language resource in the first language when learning the distributed representation of the language resource in the second language, so that the language in the second language is used. Can obtain a distributed representation of resources with high accuracy. That is, the information processing apparatus 1 increases the distributed representation by using the distributed representation of the language resource in the first language having sufficient language resources even when the language resources in the second language are not sufficient. Acquired with accuracy.
  • the information processing apparatus 1 inputs the adjusted parameter to the learning device, and learns a distributed expression of words that are not common in the word space in the second language using the learning device. To do. According to such a configuration, the information processing apparatus 1 can realize learning of a distributed expression of a word that is in the word space in the second language but not in the word space in the first language.
  • the information processing apparatus 1 outputs a distributed expression of common words and non-common words as a result of the learning. According to such a configuration, the information processing apparatus 1 can interpret the meaning of words in the word space in the second language, and can perform document search and sentence similarity search with high accuracy.
  • the information processing apparatus 1 is configured such that the word space in the first language is a word space having more language resources than the prescribed amount, and the word space in the second language has the prescribed amount of language resources. Less word space. According to such a configuration, the information processing apparatus 1 can realize highly accurate learning of distributed expressions even when the language resources of the word space are not sufficient.
  • the components of the illustrated apparatus do not necessarily have to be physically configured as illustrated.
  • the specific mode of device distribution / integration is not limited to that shown in the figure, and all or part of the device is functionally or physically distributed / integrated in arbitrary units depending on various loads and usage conditions. Can be configured.
  • the parameter adjustment unit 13 and the parameter adjusted distributed representation learning unit 14 may be merged.
  • the storage unit 20 may be connected as an external device of the information processing apparatus 1 via a network.
  • FIG. 7 is a diagram illustrating an example of a hardware configuration of the information processing apparatus.
  • the computer 500 includes a CPU 501 that executes various arithmetic processes, an input device 502 that receives data input from a user, and a monitor 503. Further, the computer 500 includes a medium reading device 504 that reads a program and the like from a storage medium, an interface device 505 for connecting to another device, and a wireless communication device 506 for connecting to another device wirelessly.
  • the computer 500 also includes a RAM (Random Access Memory) 507 for temporarily storing various information and a hard disk device 508. Each device 501 to 508 is connected to a bus 509.
  • RAM Random Access Memory
  • the hard disk device 508 stores a learning program having the same function as the learning unit 10 shown in FIG.
  • the hard disk device 508 stores various data for realizing a learning program.
  • the various data includes data in the storage unit 20 shown in FIG.
  • the CPU 501 reads out each program stored in the hard disk device 508, develops it in the RAM 507, and executes it to perform various processes. These programs can cause the computer 500 to function as the functional units shown in FIG.
  • the computer 500 may read and execute a program stored in a storage medium readable by the computer 500.
  • the storage medium readable by the computer 500 corresponds to, for example, a portable recording medium such as a CD-ROM, a DVD disk, a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, a hard disk drive, and the like.
  • these programs may be stored in a device connected to a public line, the Internet, a LAN (Local Area Network), etc., and the computer 500 may read these programs from them and execute them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

情報処理装置１が、第１の言語における単語空間に含まれる単語の分散表現を、前記分散表現を学習する学習器を用いて学習し、前記第１の言語と異なる第２の言語における単語空間の中で、前記第１の言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類し、前記第２の言語における単語空間の中の前記共通する単語の分散表現を、前記共通する単語に対応する前記第１の言語の単語の分散表現に替えて、前記学習器のパラメータを調整することとしたので、第２の言語における単語空間の言語資源が十分でない場合であっても、高精度の分散表現の学習を実現することができる。

Description

学習プログラム、情報処理装置および学習方法
　本発明は、学習プログラムなどに関する。
　文章処理において、高精度な単語の表現を如何に獲得するかが、重要であり、従来から多くの研究がなされている。近年では、単語の表現を獲得する技術として、Ｗｏｒｄ２Ｖｅｃがよく知られている（例えば、非特許文献１参照）。
　Ｗｏｒｄ２Ｖｅｃは、「似た単語は同じような文に登場する」という考え方（Distribution　hypothesis）に基づいて単語の分散表現を獲得する仕組みである。ここでいう単語の分散表現とは、単語間の意味的な関係をベクトルで表現したものである。Ｗｏｒｄ２Ｖｅｃは、入力層、隠れ層および出力層からなるニューラルネットワークの教師付き学習方法を活用し、文中に現れる単語であって与えられた単語と周辺の単語との関係および与えられた単語の分散表現を学習する。Ｗｏｒｄ２Ｖｅｃには、Ｃｏｎｔｉｎｕｏｕｓ－Ｂａｇ－ｏｆ－ＷｏｒｄｓモデルとＳｋｉｐ－ｇｒａｍモデルが提案されている。ここでいうＳｋｉｐ－ｇｒａｍモデルとは、与えられた単語に対応するベクトルを入力し、周辺の単語を予測するモデルである。
　図８は、Ｗｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルを示す図である。図８に示すように、Ｓｋｉｐ－ｇｒａｍモデルに対して、Input　layer（入力層）、Hidden　layer（隠れ層）およびOutput　layer（出力層）からなるニューラルネットワークが構築される。
　入力層には、文中に現れる単語であって与えられた単語に対応するＶ次元の入力ベクトルｘが入力される。入力ベクトルｘは、Ｖ次元のｏｎｅ－ｈｏｔベクトルである。Ｖは、文中の単語数である。ｏｎｅ－ｈｏｔベクトルとは、与えられた単語に対応する要素を１、他の要素を０とするベクトルのことをいう。
　隠れ層には、与えられた単語のＮ次元の単語ベクトルｈが生成される。ＷＶ×Ｎは、入力層と隠れ層との間の重みであり、Ｖ×Ｎの行列により表わされる。出力層には、Ｃ個のパネルにそれぞれＶ次元の出力ベクトルｙＣが生成される。かかるＣは、パネル数であり、ｙＣは、与えられた単語の前後にある単語に対応する出力ベクトルである。Ｗ´Ｎ×Ｖは、隠れ層と出力層との間の重みであり、Ｎ×Ｖの行列により表わされる。
　Ｓｋｉｐ－ｇｒａｍモデルは、入力層（Input　layer）に入力する入力ベクトルとしてＶ次元のｏｎｅ―ｈｏｔベクトルｘｖを入力する。そして、Ｓｋｉｐ－ｇｒａｍモデルは、入力したｏｎｅ－ｈｏｔベクトルｘｖをＮ次元の隠れ層（Hidden　layer）に写像した後、Ｃ個の単語に対応するそれぞれのＶ次元の出力ベクトルを出力層（Output　layer）に出力する。
　そして、Ｓｋｉｐ－ｇｒａｍモデルは、出力されたＣ個の出力ベクトルがそれぞれ予め定められた予測ベクトルと異なれば、その差分を学習すべく、隠れ層と出力層との間の重みＷ´Ｎ×Ｖ、入力層と隠れ層との間の重みＷＶ×Ｎの順にパラメータである重みを更新する。このようなパラメータの更新は、例えばバックプロパゲーションで行われる。
　そして、繰り返し学習して得られた隠れ層の単語ベクトルｈが、与えられた単語（入力ベクトルｘ）の分散表現となる。
　このような単語の分散表現を異なる２つのタスクでそれぞれ学習し、学習された単語の分散表現を用いてタスク間のベクトル変換を学習する技術が知られている（例えば、非特許文献２参照）。かかる技術では、あるタスクでの未知語の分散表現を獲得するために、別のタスクで学習された分散表現から目的関数を経由して変換する。
　図９は、単語の分散表現を用いたタスク間のベクトル変換の一例を示す図である。図９に示すように、タスクとして変換元の単語空間およびタスクとして変換先の単語空間がある場合に、異なるタスク間のペアの単語のそれぞれの分散表現から変換関数（mapping　function）を学習する。そして、変換元の単語のペアとなる単語が変換先に存在しない場合には、すなわち、変換先の単語が未知語である場合には、変換元の単語の分散表現と変換関数とから変換先の未知語の分散表現を獲得する。
特表２００８－５４７０３８号公報 特開２００９－３８８８号公報 特開２００８－６５４６８号公報
Tomas　Mikolov,　Kai　Chen,　Greg　Corrado,　and　Jeffrey　Dean.　Efficient　Estimation　of　Word　Representations　in　Vector　Space.　In　Proceedings　of　Workshop　at　ICLR,　2013. Madhyastha,　Pranava　Swaroop,　et　al.　"Mapping　Unseen　Words　to　Task-Tranined　Embedding　Spaces"
　しかしながら、従来技術では、変換元に存在するが変換先に存在しない単語の分散表現を学習するが、変換先に存在するが変換元に存在しない単語の分散表現を学習することはできない。また、単語の分散表現の学習は、そもそも言語資源が十分である場合を想定し、言語資源が十分でない場合を想定していない。したがって、変換先の単語空間の言語資源が十分でない場合に、変換先の単語の分散表現を学習することができない。
　本発明は、１つの側面では、単語空間の言語資源が十分でない場合であっても、高精度の分散表現の学習を実現することを目的とする。
　１つの態様では、学習プログラムは、コンピュータに、第１の言語における単語空間に含まれる単語の分散表現を、前記分散表現を学習する学習器を用いて学習し、前記第１の言語と異なる第２の言語における単語空間の中で、前記第１の言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類し、前記第２の言語における単語空間の中の前記共通する単語の分散表現を、前記共通する単語に対応する前記第１の言語の単語の分散表現に替えて、前記学習器のパラメータを調整する、処理を実行させる。
　１実施態様によれば、単語空間の言語資源が十分でない場合であっても、高精度の分散表現の学習を実現することができる。
図１は、実施例に係る情報処理装置の構成を示す機能ブロック図である。 図２は、実施例に係る単語の分散表現の学習の概要を説明する図である。 図３Ａは、実施例に係る分散表現学習処理の一例を示す図（１）である。 図３Ｂは、実施例に係る分散表現学習処理の一例を示す図（２）である。 図３Ｃは、実施例に係る分散表現学習処理の一例を示す図（３）である。 図４は、実施例に係るパラメータ調整処理の一例を示す図である。 図５は、実施例に係るパラメータ調整済分散表現学習処理の一例を示す図である。 図６は、実施例に係る学習処理のフローチャートの一例を示す図である。 図７は、情報処理装置のハードウェアの構成の一例を示す図である。 図８は、Ｗｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルを示す図である。 図９は、単語の分散表現を用いたタスク間のベクトル変換の一例を示す図である。
　以下に、本願の開示する学習プログラム、情報処理装置および学習方法の実施例を図面に基づいて詳細に説明する。なお、本発明は、実施例により限定されるものではない。
［実施例に係る情報処理装置の構成］
　図１は、実施例に係る情報処理装置の構成を示す機能ブロック図である。図１に示す情報処理装置１は、言語資源が規定量より多い言語を基準言語とし、当該基準言語における単語の分散表現を利用して、言語資源が規定量より少ない言語における単語の分散表現を学習する。ここでいう単語の分散表現とは、単語間の意味的な関係をベクトルで表現したものである。なお、以降では、言語資源が規定量より多い言語を基準言語として、言語資源が規定量より少ない言語を対象言語として説明する。
　ここで、情報処理装置１によって行われる単語の分散表現の学習の概要を、図２を参照して説明する。図２は、実施例に係る単語の分散表現の学習の概要を説明する図である。図２に示すように、基準言語の単語空間Ｗ０と対象言語の単語空間Ｗ１が存在する。基準言語の単語空間Ｗ０は、言語資源が多い言語の単語空間であり、例えば、英語の単語空間である。対象言語の単語空間Ｗ１は、言語資源が少ない言語の単語空間であり、例えば、日本語の単語空間である。
　情報処理装置１は、基準言語の単語空間Ｗ０を対象にして、単語の分散表現を獲得する技術を用いて、単語空間Ｗ０に含まれる単語の分散表現を獲得する。なお、単語の分散表現を獲得する技術は、単語の分散表現を学習するプログラムの１つのアルゴリズムであれば良く、例えば、Ｗｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルである。
　情報処理装置１は、対象言語の単語空間Ｗ１の中で、基準言語の単語空間Ｗ０に含まれる単語と共通する単語の単語群（ａ群）と、基準言語の単語空間Ｗ０に含まれる単語と共通しない単語の単語群（ｂ群）とを分類する。ここでは、対象言語の単語空間Ｗ１の中の「リンゴ」、「バナナ」、「オレンジ」および「カッター」は、基準言語の単語空間Ｗ０に含まれる単語「apple」、「banana」、「orange」および「cutter」とそれぞれ共通するので、ａ群として分類される。一方、対象言語の単語空間Ｗ１の中の「刀」は、基準言語の単語空間Ｗ０に含まれる単語と共通しないので、ｂ群として分類される。
　そして、情報処理装置１は、ａ群の場合には、対象言語におけるａ群の単語の分散表現に、基準言語における、当該単語と共通する単語の分散表現を流用し、Ｗｏｒｄ２Ｖｅｃを含む単語の分散表現を学習するプログラムの１つのアルゴリズムの所定のパラメータを調整する。ここでは、例えば、ａ群の単語「リンゴ」の分散表現は、「apple」の分散表現として流用される。ａ群の単語「バナナ」の分散表現は、「banana」の分散表現として流用される。
　そして、情報処理装置１は、ｂ群の場合には、調整された所定のパラメータを、Ｗｏｒｄ２Ｖｅｃを含む単語の分散表現を学習するプログラムの１つのアルゴリズムに入力し、対象言語におけるｂ群の単語の分散表現を学習する。すなわち、情報処理装置１は、対象言語における共通しない単語を、ａ群の単語の位置に合わせて、共通しない単語の相対的な分散表現を学習する。ここでは、例えば、ｂ群の単語「刀」の分散表現は、ａ群の単語の位置に合わせて相対的に学習される。
　これにより、情報処理装置１は、対象言語における単語空間の言語資源が十分でない場合であっても、高精度の分散表現の学習を実現することが可能となる。つまり、単語の分散表現の学習は、言語資源が十分でない場合を想定しておらず、言語資源が十分でない場合には当該言語資源の単語の分散表現を学習することができなかった。しかしながら、情報処理装置１は、言語資源が十分でない場合であっても、高精度の分散表現の学習を実現することが可能となる。
　図１に戻って、情報処理装置１は、学習部１０と、記憶部２０とを有する。学習部１０は、ＣＰＵ（Central　Processing　Unit）などの電子回路に対応する。そして、学習部１０は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。学習部１０は、分散表現学習部１１、単語分類部１２、パラメータ調整部１３、パラメータ調整済分散表現学習部１４および学習終了判定部１５を有する。
　記憶部２０は、例えば、ＲＡＭ、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部２０は、基準言語学習用コーパス２１、対象言語学習用コーパス２２およびアライメント辞書２３を有する。
　基準言語学習用コーパス２１は、基準言語の学習に用いられる基準言語で書かれたコーパスである。対象言語学習用コーパス２２は、対象言語の学習に用いられる対象言語で書かれたコーパスである。なお、コーパスとは、文章の集まりのことをいう。
　アライメント辞書２３は、基準言語の表現、対象言語の表現において、単語の対応関係を有する辞書である。例えば、基準言語が英語、対象言語が日本語である場合には、アライメント辞書２３は、英語の表現、日本語の表現において、単語の対応関係を有する。アライメント辞書２３には、一例として、日本におけるオンライン英語辞書サービスであるｗｅｂｌｉｏ辞書が挙げられる。
　分散表現学習部１１は、基準言語における単語空間に含まれる単語の分散表現を、単語の分散表現を獲得する技術を用いて学習する。例えば、分散表現学習部１１は、基準言語学習用コーパス２１を受け取り、基準言語学習用コーパス２１に含まれる単語の分散表現を、例えば、Ｗｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルを用いて学習する。なお、Ｗｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルでの学習は、既存の技術を使って行われる。かかる学習は、“Tomas　Mikolov,　Kai　Chen,　Greg　Corrado,　and　Jeffrey　Dean.　Efficient　Estimation　of　Word　Representations　in　Vector　Space.　In　Proceedings　of　Workshop　at　ICLR,　2013.”に開示されている技術を使って行えば良い。また、“Xin　Rong.　word2vec　Parameter　Learning　Explained”に開示されている技術を使って行えば良い。
　ここで、分散表現学習部１１によって行われる分散表現学習処理を、図３Ａ～図３Ｃを参照して説明する。図３Ａ～図３Ｃは、実施例に係る分散表現学習処理の一例を示す図である。図３Ａ～図３Ｃでは、単語の分散表現を獲得する技術をＷｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルとして説明する。なお、基準言語は、英語であるとし、対象言語は、日本語であるとする。また、基準言語学習用コーパス２１は、「I　drink　apple　juice.・・・」であるとする。
　分散表現学習部１１は、Ｓｋｉｐ－ｇｒａｍモデルに対して、Input　layer（入力層）、Hidden　layer（隠れ層）およびOutput　layer（出力層）からなるニューラルネットワークを構築する。
　まず、入力層、隠れ層および出力層について説明する。Input　layer（入力層）には、与えられた単語に対応するＶ次元の入力ベクトルｘが入力される。入力ベクトルｘは、ｏｎｅ－ｈｏｔベクトルである。Ｖは、基準言語学習用コーパス２１に含まれる単語の数である。なお、ｏｎｅ－ｈｏｔベクトルとは、与えられた単語に対応する要素を１、他の要素を０とするベクトルのことをいう。
　また、Hidden　layer（隠れ層）には、最終的には、与えられた単語「apple」の分散表現であるＮ次元の単語ベクトルｈが生成される。Ｗｖ×Ｎは、入力層と隠れ層との間の重みであり、Ｖ×Ｎの行列により表わされる。Ｗｖ×Ｎの各要素の初期状態として、例えば、ランダムな値が与えられる。
　また、Output　layer（出力層）には、図示しないＣ個のパネルにそれぞれＶ次元の出力ベクトルｙｃが生成される。かかるＣは、予め定められるパネル数であり、ｙｃは、与えられた単語の前後にある単語に対応する出力ベクトルである。Ｗ´Ｎ×Ｖは、隠れ層と出力層との間の重みであり、Ｎ×Ｖの行列により表わされる。Ｗ´Ｎ×Ｖの各要素の初期状態として、例えば、ランダムな値が与えられる。
　図３Ａに示すように、このような入力層、隠れ層および出力層からなるニューラルネットワークを活用したＳｋｉｐ－ｇｒａｍモデルにより、分散表現学習部１１は、与えられた単語の分散表現を学習する。例えば、入力ベクトルｘが、基準言語学習用コーパス２１内の与えられた単語「apple」に対応する要素を１、他の要素を０とするｏｎｅ－ｈｏｔベクトルであるとする。すると、分散表現学習部１１は、与えられた単語「apple」に対応する入力ベクトルｘを受け付けると、入力ベクトルｘにＷＶ×Ｎの重みをかけて隠れ層の単語ベクトルｈを生成する。そして、分散表現学習部１１は、単語ベクトルｈにＷ´Ｎ×Ｖの重みをかけて出力層の出力ベクトルｙを生成する。すなわち、分散表現学習部１１は、初期状態のＷｖ×Ｎ、Ｗｖ×Ｎを使って予測する。この結果、単語「drink」である確率が０．１２３０、単語「juice」である確率が０．１２７７と予測される。
　次に、図３Ｂに示すように、分散表現学習部１１は、実際に算出された出力ベクトルｙが予め定められた予測ベクトルと異なれば、その差分に基づいてＷ´Ｎ×ＶおよびＷＶ×Ｎの順にパラメータである重みを更新する。このようなパラメータの更新は、例えば、バックプロパゲーションという。そして、分散表現学習部１１は、入力ベクトルｘに、更新されたＷＶ×Ｎの重みをかけて隠れ層の単語ベクトルｈを生成する。そして、分散表現学習部１１は、単語ベクトルｈに、更新されたＷ´Ｎ×Ｖの重みをかけて出力層の出力ベクトルｙを生成する。すなわち、分散表現学習部１１は、更新状態のＷｖ×Ｎ、Ｗ´Ｎ×Ｖを使って予測する。この結果、単語「drink」である確率が０．１２３６、単語「juice」である確率が０．１２８９と予測され、前回の予測値より微増している。
　次に、図３Ｃに示すように、分散表現学習部１１は、バックプロパゲーションのアルゴリズムを用いて、出力ベクトルが最適になるまで繰り返す（イテレーションする）。出力ベクトルが最適であるとは、与えられた単語の周辺の各単語における出現確率の同時確率を最大になることである。すなわち、与えられた単語の周辺の各単語における出現確率が、同時に１．０に近似することである。例えば、分散表現学習部１１は、予め定められた回数だけ繰り返すようにすれば良い。予め定められた回数は、一例として、５００回であるが、最適となる回数を実験によって求めれば良い。この結果、分散表現学習部１１は、隠れ層に現れる単語ベクトルｈを、与えられた単語「apple」の分散表現として獲得する。
　同様に、分散表現学習部１１は、与えられる単語を替えることで、与えられる単語の分散表現を獲得すれば良い。
　図１に戻って、単語分類部１２は、基準言語と異なる対象言語における単語空間の中で、基準言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類する。例えば、単語分類部１２は、対象言語学習用コーパス２２を形態素解析し、解析した結果の単語を出力する。そして、単語分類部１２は、解析した結果の単語およびアライメント辞書２３を用いて、対象言語および基準言語の間の単語の対応関係を獲得する。すなわち、単語分類部１２は、対象言語の中で、基準言語における単語と共通する単語および共通しない単語を分類する。ここでいう共通する単語とは、対象言語の中で、基準言語と同じ意味を持つ単語のことをいい、共通しない単語とは、基準言語に同じ意味を持つ単語がない単語のことをいう。一例として、対象言語における「りんご」は、基準言語における「apple」と同じ意味を持つ単語であるので、共通する単語である。対象言語における「刀」は、基準言語に同じ意味を持つ単語がない単語であるので、共通しない単語である。
　パラメータ調整部１３は、対象言語における単語空間の中の共通する単語の分散表現を、共通する単語に対応する基準言語の単語の分散表現に置き換えて、単語の分散表現を獲得する技術のパラメータを調整する。例えば、パラメータ調整部１３は、対象言語学習用コーパス２２を受け取り、対象言語学習用コーパス２２に含まれる単語であって共通する単語を選択し、選択した単語の分散表現を基準言語の単語の分散表現に置き換える。すなわち、パラメータ調整部１３は、Ｓｋｉｐ－ｇｒａｍにおける隠れ層を基準言語の単語の分散表現に置き換える。そして、パラメータ調整部１３は、隠れ層と出力層との間のパラメータである重みＷ´Ｎ×Ｖを調整する。パラメータ調整部１３は、全ての共通する単語を順次選択し、選択した単語について、かかるパラメータ調整処理を行う。
　ここで、パラメータ調整部１３によって行われるパラメータ調整処理を、図４を参照して説明する。図４は、実施例に係るパラメータ調整処理の一例を示す図である。なお、基準言語は、英語であるとし、対象言語は、日本語であるとする。また、対象言語学習用コーパス２２は、「・・・赤いリンゴを食べた・・・」であるとする。対象言語学習用コーパス２２内で、共通する単語が「リンゴ」であるとする。そして、図４では、共通する単語「リンゴ」を用いてパラメータの調整をする場合を説明する。
　図４に示すように、パラメータ調整部１３は、基準言語と対象言語との間で共通して出現する単語「リンゴ」を用いて、隠れ層と出力層との間のパラメータである重みＷ´Ｎ×Ｖを調整する。
　例えば、パラメータ調整部１３は、隠れ層の単語ベクトルｈｉを「apple」の分散表現に置き換える。そして、パラメータ調整部１３は、隠れ層を固定して、隠れ層と出力層との間のパラメータである重みＷ´Ｎ×Ｖを調整する。すなわち、パラメータ調整部１３は、隠れ層の単語ベクトルｈｉおよび出力層の出力ベクトルｙ１～Ｃ，ｊの値を使って重みＷ´Ｎ×Ｖを調整する。
　なお、ｈｉのｉは、隠れ層の単語ベクトルのｉ番目の要素を指すインデックスである。ｘｋのｋは、入力する単語に対応するＶ次元のｏｎｅ－ｈｏｔベクトルのｋ番目の要素を指すインデックスである。ｙ１～Ｃ，ｊのＣは、予め定められるパネルの数であり、入力する単語の前後を表す単語の最大数である。ｙ１～Ｃ，ｊのｊは、出力層のＣ番目の単語に対応する出力ベクトルのｊ番目の要素を示すインデックスである。
　そして、パラメータ調整部１３は、実際に算出された出力ベクトルｙ１～Ｃ，ｊが予め定められた予測ベクトルと異なれば、その差分に基づいてパラメータである重みＷ´Ｎ×Ｖを更新する。パラメータの更新は、分散表現学習部１１により行われる場合と同様の方法で行われる。すなわち、パラメータの更新方法は、例えば、バックプロパゲーションを用いれば良い。
　図１に戻って、パラメータ調整済分散表現学習部１４は、パラメータ調整部１３によって調整されたパラメータを用いて、対象言語における単語空間の中の共通しない単語の分散表現を学習する。例えば、パラメータ調整済分散表現学習部１４は、対象言語学習用コーパス２２を受け取り、対象言語学習用コーパス２２に含まれる単語であって共通しない単語である場合には、以下の処理を行う。パラメータ調整済分散表現学習部１４は、パラメータ調整部１３によって調整済みのパラメータである重みＷ´Ｎ×Ｖを設定する。そして、パラメータ調整済分散表現学習部１４は、共通しない単語のＯｎｅ－ｈｏｔベクトルを入力層に入力し、共通しない単語の分散表現をＷｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルを用いて学習する。
　ここで、パラメータ調整済分散表現学習部１４によって行われるパラメータ調整済分散表現学習処理を、図５を参照して説明する。図５は、実施例に係るパラメータ調整済分散表現学習処理の一例を示す図である。なお、基準言語は、英語であるとし、対象言語は、日本語であるとする。また、対象言語学習用コーパス２２は、「・・・赤いリンゴを食べた・・・」であるとする。対象言語学習用コーパス２２内で、共通しない単語が「赤い」、「を」、「食べた」であり、共通する単語が「リンゴ」であるとする。そして、図５では、共通しない単語「赤い」の分散表現の学習をする場合を説明する。
　図５に示すように、パラメータ調整済分散表現学習部１４は、Ｓｋｉｐ－ｇｒａｍモデルにパラメータ調整部１３によって調整されたパラメータである重みＷ´Ｎ×Ｖを設定したうえで、共通しない単語の分散表現を学習する。なお、分散表現の学習方法は、分散表現学習部１１で説明した方法と同様である。例えば、入力ベクトルｘが入力する単語として共通しない単語「赤い」に対応する要素を１、他の要素を０とするｏｎｅ－ｈｏｔベクトルであるとする。すると、パラメータ調整済分散表現学習部１４は、入力する単語「赤い」に対応する入力ベクトルｘを受け付けると、入力ベクトルｘにＷＶ×Ｎの重みをかけて隠れ層の単語ベクトルｈを生成する。そして、分散表現学習部１１は、単語ベクトルｈにＷ´Ｎ×Ｖの重みをかけて出力層の出力ベクトルｙを生成する。そして、パラメータ調整済分散表現学習部１４は、実際に算出された出力ベクトルｙが予め定められた予測ベクトルと異なれば、その差分に基づいてＷ´Ｎ×ＶおよびＷＶ×Ｎの順にパラメータである重みを更新する。そして、パラメータ調整済分散表現学習部１４は、繰り返し、入力する単語「赤い」の分散表現の学習を通じてパラメータを調整する。
　図１に戻って、学習終了判定部１５は、学習の終了を判定する。
　例えば、学習終了判定部１５は、パラメータである重みＷ´Ｎ×Ｖの更新前後の差が閾値より小さくなった場合には、学習を終了する。重みＷ´Ｎ×Ｖの更新前とは、パラメータ調整部１３の終了時の重み、すなわち、パラメータ調整済分散表現学習部１４の開始時の重みである。重みＷ´Ｎ×Ｖの更新後とは、パラメータ調整済分散表現学習部１４の終了時の重みである。すなわち、学習の終了条件は、式（１）で示される。なお、Ｗ´Ｎ×Ｖｎｅｗは、Ｗ´Ｎ×Ｖの更新後である。Ｗ´Ｎ×Ｖｏｌｄは、Ｗ´Ｎ×Ｖの更新前である。εは、閾値である。閾値は、更新前後の差が十分小さいと判断できる値であれば良い。
Ｗ´Ｎ×Ｖｎｅｗ－Ｗ´Ｎ×Ｖｏｌｄ＜ε・・・式（１）
　そして、学習終了判定部１５は、パラメータである重みＷ´Ｎ×Ｖの更新前後の差が閾値以上である場合には、パラメータ調整部１３およびパラメータ調整済分散表現学習部１４を繰り返す。
　なお、学習終了判定部１５は、学習の終了条件として重みＷ´Ｎ×Ｖの更新前後の差が閾値より小さくなった場合であると説明したが、これに限定されない。学習終了判定部１５は、所定の繰り返し（イテレーション）回数分繰り返した場合であっても良い。
［学習処理のフローチャート］
　図６は、実施例に係る学習処理のフローチャートの一例を示す図である。なお、言語資源が規定量より多い、基準言語の単語空間および言語資源が規定量より少ない、対象言語の単語空間が存在するものとする。
　図６に示すように、学習部１０は、学習処理要求を受け付けたか否かを判定する（ステップＳ１０）。学習処理要求を受け付けていないと判定した場合には（ステップＳ１０；Ｎｏ）、学習部１０は、学習処理要求を受け付けるまで、判定処理を繰り返す。
　一方、学習処理要求を受け付けたと判定した場合には（ステップＳ１０；Ｙｅｓ）、分散表現学習部１１は、基準言語の分散表現を学習する（ステップＳ２０）。例えば、分散表現学習部１１は、基準言語における単語の分散表現をｗｏｒｄ２ＶｅｃのＳｋｉｐ－ｇｒａｍモデルを用いて学習する。
　そして、単語分類部１２は、両言語間で、共通して出現する単語群と共通しない単語群とを分類する（ステップＳ３０）。例えば、単語分類部１２は、対象言語学習用コーパス２２を形態素解析し、解析した結果の単語を出力する。単語分類部１２は、解析した結果の単語およびアライメント辞書２３を用いて、対象言語および基準言語の間の単語の対応関係を獲得する。そして、単語分類部１２は、対応関係を用いて、対象言語の中で、基準言語における単語と共通する単語群および共通しない単語群を分類する。
　続いて、パラメータ調整部１３は、共通して出現する対象言語の単語群について、分散表現学習の学習パラメータＷ´を調整する（ステップＳ４０）。例えば、パラメータ調整部１３は、共通する単語群から順次単語を選択し、選択した単語の分散表現を基準言語の単語の分散表現に置き換える。すなわち、パラメータ調整部１３は、Ｓｋｉｐ－ｇｒａｍモデルにおける隠れ層を基準言語の単語の分散表現に置き換える。そして、パラメータ調整部１３は、隠れ層と出力層との間のパラメータである重みＷ´Ｎ×Ｖを調整する。
　続いて、パラメータ調整済分散表現学習部１４は、調整した学習パラメータＷ´を入力し、共通しない対象言語の単語群について、分散表現を学習する（ステップＳ５０）。例えば、パラメータ調整済分散表現学習部１４は、パラメータ調整部１３によって調整されたパラメータである重みＷ´Ｎ×ＶをＳｋｉｐ－ｇｒａｍモデルに設定する。パラメータ調整済分散表現学習部１４は、共通しない対象言語の単語群から順次単語を選択し、選択した単語のＯｎｅ－ｈｏｔベクトルを入力層に入力し、選択した単語の分散表現をＳｋｉｐ－ｇｒａｍモデルを用いて学習する。
　そして、学習終了判定部１５は、学習の終了条件を満たすか否かを判定する（ステップＳ６０）。例えば、学習終了判定部１５は、パラメータである重みＷ´Ｎ×Ｖの更新前後の差が閾値より小さくなったか否かを判定する。ここでいう重みＷ´Ｎ×Ｖの更新前とは、パラメータ調整部１３によって調整されたパラメータである重みである。重みＷ´Ｎ×Ｖの更新後とは、パラメータ調整済分散表現学習部１４によって調整されたパラメータである重みである。学習の終了条件を満たさないと判定した場合には（ステップＳ６０；Ｎｏ）、学習終了判定部１５は、更新後の重みＷ´Ｎ×Ｖをさらに調整すべく、ステップＳ４０に移行する。
　一方、学習の終了条件を満たすと判定した場合には（ステップＳ６０；Ｙｅｓ）、学習終了判定部１５は、学習処理を終了する。
　なお、実施例に係る学習処理は、単語の分散表現を獲得することで、単語の意味を解釈できるようになり、文書検索や文の類似関係の検索を高精度に行うことができるようになる。また、実施例に係る学習処理は、Ｑ／Ａ（Question／Answer）サイトに適用されることで、過去の膨大な問合せ（Question）の中から適切な回答（Answer）を高精度に検索することができるようになる。特に、コンピュータに関連するＱ／Ａサイトは英語のサイトが多いものの、英語から日本語など多言語に展開されつつある。Ｑ／Ａが膨大になるにつれて、機械学習を用いて学習することが望まれるが、機械学習を用いるには、膨大な言語資源が必要となる。英語に比べて日本語では言語資源が少ないため、実施例に係る学習処理を利用することで、英語の情報を有効に活用できるようになる。
［実施例の効果］
　上記実施例によれば、情報処理装置１は、第１の言語における単語空間に含まれる単語の分散表現を、分散表現を学習する学習器を用いて学習する。情報処理装置１は、第１の言語と異なる第２の言語における単語空間の中で、第１の言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類する。情報処理装置１は、第２の言語における単語空間の中の共通する単語の分散表現を、共通する単語に対応する第１の言語の単語の分散表現に替えて、学習器のパラメータを調整する。かかる構成によれば、情報処理装置１は、第２の言語における言語資源の分散表現を学習する際に、第１の言語における言語資源の分散表現を利用することで、第２の言語における言語資源の分散表現を高精度に獲得できる。すなわち、情報処理装置１は、第２の言語における言語資源が十分でない場合であっても、十分な言語資源を有する第１の言語における言語資源の分散表現を利用することで、分散表現を高精度に獲得できる。
　また、上記実施例によれば、情報処理装置１は、調整されたパラメータを学習器に入力し、第２の言語における単語空間の中の共通しない単語の分散表現を、学習器を用いて学習する。かかる構成によれば、情報処理装置１は、第２の言語における単語空間にあって第１の言語における単語空間にないような単語の分散表現の学習を実現することが可能となる。
　また、上記実施例によれば、情報処理装置１は、該学習した結果、共通する単語および共通しない単語の分散表現を出力する。かかる構成によれば、情報処理装置１は、第２の言語における単語空間について、単語の意味を解釈できるようになり、文書検索や文の類似関係の検索を高精度に行うことができる。
　また、上記実施例によれば、情報処理装置１は、第１の言語における単語空間は、言語資源が規定量より多い単語空間であり、第２の言語における単語空間は、言語資源が規定量より少ない単語空間である。かかる構成によれば、情報処理装置１は、単語空間の言語資源が十分でない場合であっても、高精度の分散表現の学習を実現することが可能となる。
［その他］
　なお、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、パラメータ調整部１３およびパラメータ調整済分散表現学習部１４を併合しても良い。また、記憶部２０を情報処理装置１の外部装置としてネットワーク経由で接続するようにしても良い。
　図７は、情報処理装置のハードウェア構成の一例を示す図である。図７に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータ入力を受け付ける入力装置５０２と、モニタ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラムなどを読み取る媒体読取装置５０４と、他の装置と接続するためのインターフェース装置５０５と、他の装置と無線により接続するための無線通信装置５０６とを有する。また、コンピュータ５００は、各種情報を一時記憶するＲＡＭ（Random　Access　Memory）５０７と、ハードディスク装置５０８とを有する。また、各装置５０１～５０８は、バス５０９に接続される。
　ハードディスク装置５０８には、図１に示した学習部１０と同様の機能を有する学習プログラムが記憶される。また、ハードディスク装置５０８には、学習プログラムを実現するための各種データが記憶される。各種データには、図１に示した記憶部２０内のデータが含まれる。
　ＣＰＵ５０１は、ハードディスク装置５０８に記憶された各プログラムを読み出して、ＲＡＭ５０７に展開して実行することで、各種の処理を行う。これらのプログラムは、コンピュータ５００を図１に示した各機能部として機能させることができる。
　なお、上記の学習プログラムは、必ずしもハードディスク装置５０８に記憶されている必要はない。例えば、コンピュータ５００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ５００が読み出して実行するようにしてもよい。コンピュータ５００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal　Serial　Bus）メモリなどの可搬型記録媒体、フラッシュメモリなどの半導体メモリ、ハードディスクドライブなどが対応する。また、公衆回線、インターネット、ＬＡＮ（Local　Area　Network）などに接続された装置にこれらのプログラムを記憶させておき、コンピュータ５００がこれらからこれらのプログラムを読み出して実行するようにしても良い。
　１　情報処理装置
　１０　学習部
　１１　分散表現学習部
　１２　単語分類部
　１３　パラメータ調整部
　１４　パラメータ調整済分散表現学習部
　１５　学習終了判定部
　２０　記憶部
　２１　基準言語学習用コーパス
　２２　対象言語学習用コーパス
　２３　アライメント辞書

Claims (7)

  1. 　コンピュータに、
    　第１の言語における単語空間に含まれる単語の分散表現を、前記分散表現を学習する学習器を用いて学習し、
    　前記第１の言語と異なる第２の言語における単語空間の中で、前記第１の言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類し、
    　前記第２の言語における単語空間の中の前記共通する単語の分散表現を、前記共通する単語に対応する前記第１の言語の単語の分散表現に替えて、前記学習器のパラメータを調整する
    　処理を実行させることを特徴とする学習プログラム。
  2. 　前記調整する処理によって調整されたパラメータを前記学習器に入力し、前記第２の言語における単語空間の中の前記共通しない単語の分散表現を、前記学習器を用いて学習する
    　ことを特徴とする請求項１に記載の学習プログラム。
  3. 　該学習した結果、前記共通する単語および前記共通しない単語の分散表現を出力する
    　ことを特徴とする請求項２に記載の学習プログラム。
  4. 　前記第１の言語における単語空間は、言語資源が規定量より多い単語空間であり、前記第２の言語における単語空間は、言語資源が前記規定量より少ない単語空間である
    　ことを特徴とする請求項１または請求項２に記載の学習プログラム。
  5. 　前記学習器は、Ｗｏｒｄ２Ｖｅｃを含む単語の分散表現を学習するプログラムの１つのアルゴリズムにより前記単語の分散表現を学習する
    　ことを特徴とする請求項１または請求項２に記載の学習プログラム。
  6. 　第１の言語における単語空間に含まれる単語の分散表現を、前記分散表現を学習する学習器を用いて学習する学習部と、
    　前記第１の言語と異なる第２の言語における単語空間の中で、前記第１の言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類する分類部と、
    　前記第２の言語における単語空間の中の前記共通する単語の分散表現を、前記共通する単語に対応する前記第１の言語の単語の分散表現に替えて、前記学習器のパラメータを調整する調整部と、
    　を有することを特徴とする情報処理装置。
  7. 　コンピュータが、
    　第１の言語における単語空間に含まれる単語の分散表現を、前記分散表現を学習する学習器を用いて学習し、
    　前記第１の言語と異なる第２の言語における単語空間の中で、前記第１の言語における単語空間に含まれる単語と共通する単語および共通しない単語を分類し、
    　前記第２の言語における単語空間の中の前記共通する単語の分散表現を、前記共通する単語に対応する前記第１の言語の単語の分散表現に替えて、前記学習器のパラメータを調整する
    　各処理を実行することを特徴とする学習方法。
PCT/JP2016/079545 2016-10-04 2016-10-04 学習プログラム、情報処理装置および学習方法 WO2018066083A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018543522A JP6705506B2 (ja) 2016-10-04 2016-10-04 学習プログラム、情報処理装置および学習方法
PCT/JP2016/079545 WO2018066083A1 (ja) 2016-10-04 2016-10-04 学習プログラム、情報処理装置および学習方法
US16/373,564 US11176327B2 (en) 2016-10-04 2019-04-02 Information processing device, learning method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/079545 WO2018066083A1 (ja) 2016-10-04 2016-10-04 学習プログラム、情報処理装置および学習方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/373,564 Continuation US11176327B2 (en) 2016-10-04 2019-04-02 Information processing device, learning method, and storage medium

Publications (1)

Publication Number Publication Date
WO2018066083A1 true WO2018066083A1 (ja) 2018-04-12

Family

ID=61831756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/079545 WO2018066083A1 (ja) 2016-10-04 2016-10-04 学習プログラム、情報処理装置および学習方法

Country Status (3)

Country Link
US (1) US11176327B2 (ja)
JP (1) JP6705506B2 (ja)
WO (1) WO2018066083A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188598B2 (en) 2019-12-16 2021-11-30 Fujifilm Business Innovation Corp. Document data processing apparatus and non-transitory computer readable medium
JP2023036511A (ja) * 2021-09-02 2023-03-14 みずほリサーチ＆テクノロジーズ株式会社 分散表現生成システム、分散表現生成方法及び分散表現生成プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355224A (ja) * 2003-05-28 2004-12-16 Oki Electric Ind Co Ltd 対訳表現抽出装置、対訳表現抽出方法、および対訳表現抽出プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2029601A (en) * 1999-12-17 2001-06-25 Si Han Kim Information coding and retrieval system and method thereof
AU2003210795A1 (en) * 2002-02-01 2003-09-02 John Fairweather System and method for analyzing data
US20110076653A1 (en) 2005-04-05 2011-03-31 Brent Culligan Systems and Methods for Semantic Knowledge Assessment, Instruction, and Acquisition
JP2008065468A (ja) 2006-09-05 2008-03-21 Nippon Telegr & Teleph Corp <Ntt> テキスト多重分類装置、テキストを多重分類する方法、プログラムおよび記憶媒体
US8645119B2 (en) * 2007-03-26 2014-02-04 Google Inc. Minimum error rate training with a large number of features for machine learning
JP4342575B2 (ja) 2007-06-25 2009-10-14 株式会社東芝 キーワード提示のための装置、方法、及びプログラム
US8364463B2 (en) * 2009-09-25 2013-01-29 International Business Machines Corporation Optimizing a language/media translation map
WO2015070093A1 (en) * 2013-11-08 2015-05-14 Thomas Fennell System and method for translating texts
JP5850512B2 (ja) * 2014-03-07 2016-02-03 国立研究開発法人情報通信研究機構 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム
US10083167B2 (en) * 2014-10-03 2018-09-25 At&T Intellectual Property I, L.P. System and method for unsupervised text normalization using distributed representation of words
CN111291553B (zh) * 2014-10-24 2023-11-21 谷歌有限责任公司 具有罕见词处理的神经机器翻译系统
US9779085B2 (en) * 2015-05-29 2017-10-03 Oracle International Corporation Multilingual embeddings for natural language processing
US10091140B2 (en) * 2015-05-31 2018-10-02 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses
KR102396250B1 (ko) * 2015-07-31 2022-05-09 삼성전자주식회사 대역 어휘 결정 장치 및 방법
FR3040808B1 (fr) * 2015-09-07 2022-07-15 Proxem Procede d'etablissement automatique de requetes inter-langues pour moteur de recherche
KR102565274B1 (ko) * 2016-07-07 2023-08-09 삼성전자주식회사 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
KR102565275B1 (ko) * 2016-08-10 2023-08-09 삼성전자주식회사 병렬 처리에 기초한 번역 방법 및 장치
KR102589637B1 (ko) * 2016-08-16 2023-10-16 삼성전자주식회사 기계 번역 방법 및 장치
EP3516591B1 (en) * 2016-09-26 2024-07-31 Google LLC Neural machine translation systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355224A (ja) * 2003-05-28 2004-12-16 Oki Electric Ind Co Ltd 対訳表現抽出装置、対訳表現抽出方法、および対訳表現抽出プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROAKI TAKATSU ET AL.: "Bunsan Hyogen o Mochiita Doshi·Phrase no Gan'i Kankei Ninshiki", PROCEEDINGS OF THE 21ST ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 9 March 2015 (2015-03-09), pages 928 - 931 *
YU-MING LIN ET AL.: "Gengo no Bunsan Hyogen ni yoru Bunmyaku Joho o Riyo shita Gengo Odan Joho Kensaku", DAI 7 KAI FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT (DAI 13 KAI THE DATABASE SOCIETY OF JAPAN NENJI TAIKAI, 4 March 2015 (2015-03-04), pages 1 - 6 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188598B2 (en) 2019-12-16 2021-11-30 Fujifilm Business Innovation Corp. Document data processing apparatus and non-transitory computer readable medium
JP2023036511A (ja) * 2021-09-02 2023-03-14 みずほリサーチ＆テクノロジーズ株式会社 分散表現生成システム、分散表現生成方法及び分散表現生成プログラム
JP7375096B2 (ja) 2021-09-02 2023-11-07 みずほリサーチ＆テクノロジーズ株式会社 分散表現生成システム、分散表現生成方法及び分散表現生成プログラム

Also Published As

Publication number Publication date
US11176327B2 (en) 2021-11-16
JPWO2018066083A1 (ja) 2019-06-24
US20190228072A1 (en) 2019-07-25
JP6705506B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
US11132512B2 (en) Multi-perspective, multi-task neural network model for matching text to program code
WO2022007823A1 (zh) 一种文本数据处理方法及装置
CN110309514A (zh) 一种语义识别方法及装置
JP7316721B2 (ja) 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進
US10445654B2 (en) Learning parameters in a feed forward probabilistic graphical model
US20170286397A1 (en) Predictive Embeddings
US10061865B2 (en) Determining answer stability in a question answering system
CN110457708B (zh) 基于人工智能的词汇挖掘方法、装置、服务器及存储介质
JP7303195B2 (ja) 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進
KR101837262B1 (ko) 단어 자질 가중치를 적용한 딥 러닝 기반 개체 유형 분류 방법
US11669740B2 (en) Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition
JP6699753B2 (ja) 分析プログラム、情報処理装置および分析方法
CN111666416A (zh) 用于生成语义匹配模型的方法和装置
WO2023137911A1 (zh) 基于小样本语料的意图分类方法、装置及计算机设备
Zhao et al. Contextual self-organizing map: software for constructing semantic representations
CN116304063B (zh) 一种简单的情感知识增强提示调优的方面级情感分类方法
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN114722833B (zh) 一种语义分类方法及装置
CN110991193A (zh) 一种基于OpenKiWi的翻译矩阵模型选择系统
US11176327B2 (en) Information processing device, learning method, and storage medium
WO2021176714A1 (ja) 学習装置、情報処理装置、学習方法、情報処理方法及びプログラム
JP6899973B2 (ja) 意味関係学習装置、意味関係学習方法、及び意味関係学習プログラム
CN110633363B (zh) 一种基于nlp和模糊多准则决策的文本实体推荐方法
US20170228438A1 (en) Custom Taxonomy
CN116757195A (zh) 一种基于提示学习的隐性情感识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16918282

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543522

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16918282

Country of ref document: EP

Kind code of ref document: A1