WO2019167794A1 - 学習品質推定装置、方法、及びプログラム - Google Patents

学習品質推定装置、方法、及びプログラム Download PDF

Info

Publication number
WO2019167794A1
WO2019167794A1 PCT/JP2019/006555 JP2019006555W WO2019167794A1 WO 2019167794 A1 WO2019167794 A1 WO 2019167794A1 JP 2019006555 W JP2019006555 W JP 2019006555W WO 2019167794 A1 WO2019167794 A1 WO 2019167794A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
discrete
quality score
sequence
output
Prior art date
Application number
PCT/JP2019/006555
Other languages
English (en)
French (fr)
Inventor
睦 森下
鈴木　潤
永田　昌明
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/975,679 priority Critical patent/US20200410345A1/en
Publication of WO2019167794A1 publication Critical patent/WO2019167794A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present invention relates to a learning quality estimation device, method, and program, and more particularly to a learning quality estimation device, method, and program for estimating the quality of learning data used for machine learning such as natural language processing.
  • a technique for processing a natural language by a computer can be said to be a technique for processing a set of discrete symbols such as surface characters and words appearing in a sentence.
  • a technique for processing a natural language by a computer can be said to be a technique for processing a set of discrete symbols such as surface characters and words appearing in a sentence.
  • input and output sentences are processed as word strings (character strings). Therefore, it can be considered that the computer in the system is performing a process of converting from a discrete sequence (symbol sequence) to another discrete sequence.
  • a system that inputs / outputs a language such as a document summarization system, a dialogue system, and a document configuration system is configured by a process of converting from a discrete sequence to another discrete sequence, like the above-described automatic translation system.
  • the target to be handled is a discrete sequence such as a word, a sentence, and a document.
  • the processing framework is the same, and it can be reduced to a discrete sequence to discrete sequence conversion problem.
  • FIG. 5 shows various examples of conversion problems in natural language processing.
  • FIG. 6 shows an example of encoding by the encoder and decoding by the decoder.
  • discrete sequence-discrete sequence converter This “converter from discrete sequence to discrete sequence based on recurrent neural network” is simply referred to as “discrete sequence-discrete sequence converter” here.
  • the discrete sequence-discrete sequence converter is constructed by a combination of two of a discrete sequence encoder and a discrete sequence decoder.
  • a fixed-length real value vector which is a parameter of the encoder / decoder, is automatically acquired from the learning data.
  • learning progresses by preparing a set of ideal input / output pairs of each converter as learning data and adjusting the parameters so that the input of the learning data can be output correctly.
  • discrete series-discrete series converters there is a discrete series-discrete series converter with Attention (for example, see Non-Patent Document 2).
  • the decoder performs weighting at each time with respect to the output of the encoder, so that more accurate sequence conversion can be performed.
  • FIG. 7 shows an example of a discrete sequence-discrete sequence converter with Attention.
  • the learning data at this time is a pair of sentences in two languages expressing the same meaning in a machine translation system, and a pair of an input sentence and an output sentence of an ideal dialog system in a dialog system. .
  • the learning data to be used is premised on a correct input / output pair, and the possibility that erroneous data is mixed in the learning data is not usually considered.
  • these learning data are often collected mechanically, and therefore often contain erroneous data.
  • Such erroneous data can adversely affect machine learning and reduce the final conversion accuracy. That is, there is a possibility that wrong data is mixed in the learning data used in natural language processing, which may adversely affect machine learning. Therefore, if these erroneous data can be removed, it can be expected that the accuracy of machine learning is further improved.
  • the present invention has been made in view of the above circumstances, and provides a learning quality estimation apparatus, method, and program capable of removing erroneous data in learning data used for machine learning such as natural language processing. For the purpose.
  • a learning quality estimation device provides a plurality of first learnings in which a first discrete sequence indicating an input of a discrete sequence and a second discrete sequence indicating an output have a correct correspondence relationship.
  • a storage unit that stores a forward-trained model of a discrete sequence converter that has been learned in advance based on a pair and converts a first discrete sequence of a discrete sequence into a second discrete sequence, and the correspondence includes an error.
  • a quality score calculation unit that calculates a quality score for the second learning pair composed of possible discrete series inputs and outputs using the forward learned model.
  • the learning quality estimation apparatus is the learning quality estimation device according to the first invention, wherein the discrete sequence converter is a neural network, and each discrete symbol included in the input is converted into a fixed-length vector, An encoder that obtains a fixed-length vector sequence by encoding a fixed-length vector of each converted discrete symbol; obtains a hidden vector based on the fixed-length vector sequence obtained by the encoder; and A decoder that obtains an output for the input based on a vector, wherein the quality score calculation unit outputs from the input included in the second learning pair for the output included in the second learning pair. Using the fixed-length vector sequence obtained by the encoder as an input, the output is obtained from the decoder based on the fixed-length vector sequence obtained by the decoder. Using a negative log likelihood of when it is to calculate the Quality Score.
  • the learning quality estimation apparatus is the discrete quality obtained by dividing the negative log likelihood by the number of discrete symbols included in the output in the second invention. A negative log likelihood per symbol is output as the quality score.
  • the learning quality estimation device is the learning quality estimation device according to any one of the first to third inventions, wherein the quality score calculation unit calculates the quality score for each of a plurality of second learning pairs. And a selection unit that selects a predetermined number of second learning pairs in descending order of the quality score calculated by the quality score calculation unit from the plurality of second learning pairs.
  • the learning quality estimation device is the discrete quality sequence according to any one of the first to fourth aspects, wherein the storage unit is previously learned based on the plurality of first learning pairs. Further stores a backward-trained model of a discrete-sequence converter that converts the second discrete sequence of the second discrete sequence into the first discrete sequence, and the quality score calculation unit has learned the forward-direction for the second learning pair. The quality score is calculated using each of the model and the backward learned model.
  • a learning quality estimation method provides a plurality of first correspondence sequences in which a first discrete sequence indicating an input of a discrete sequence and a second discrete sequence indicating an output are in a correct correspondence relationship.
  • a learning quality estimation apparatus including a storage unit that stores a forward-trained model of a discrete sequence converter that has been previously learned based on one learning pair and converts a first discrete sequence of a discrete sequence into a second discrete sequence
  • a learning quality estimation method wherein a quality score calculation unit uses a forward learned model for a second learning pair consisting of an input and an output of a discrete sequence that may contain an error in correspondence. Calculating a quality score.
  • a program according to a seventh invention causes a computer to function as a quality score calculation unit provided in the learning quality estimation device according to any one of the first to fifth inventions.
  • the learning quality estimation apparatus, method, and program according to the present invention it is often used in the field of natural language processing, etc., for discrete series-discrete series conversion such as bilingual data and dialogue data. Incorrect data in the learning data can be removed. As a result, adverse effects on machine learning due to erroneous data can be suppressed, and the accuracy of machine learning can be improved.
  • Non Patent Literature 3 Dzmitry Bahdanau, Kyunghyun Cho and Yoshua Bengio, Neural Machine Translation by Jointly Learning to Align and Translate.Proceedings of the 3rd International Conference on Learning Representations, 2015.
  • an input sentence in the translation source language and an output sentence in the translation destination language are applied.
  • the words included in the input sentence and the words included in the output sentence are applied to the discrete symbols.
  • an input sentence before document summarization and an output sentence after document summarization or an input sentence before document proofreading and an output sentence after document proofreading may be applied.
  • a pair of parallel learning learning pairs composed of input sentences and output sentences that do not contain errors is defined as (CF, CE), and a pair of parallel learning pairs that consist of input sentences and output sentences that may contain errors.
  • the sentence group be (NF, NE).
  • a trained model of a discrete sequence-discrete sequence converter is constructed based on a parallel translation learning pair that does not contain an error, and an error is included using the trained model of the constructed discrete sequence-discrete sequence converter.
  • a quality score is assigned to a pair for parallel translation learning that may be
  • the procedure of quality score assignment processing according to this embodiment is as follows.
  • the quality score of the output sentence is calculated using the trained model of the discrete sequence-discrete sequence converter obtained by learning in advance.
  • the parallel learning pairs are rearranged, and a predetermined number of parallel learning pairs are selected in descending order of the quality score.
  • Non-Patent Document 2 Next, an outline of learning processing using the discrete sequence-discrete sequence converter described in Non-Patent Document 2 will be described.
  • the discrete sequence-discrete sequence converter is learned based on the parallel translation learning pair that does not include an error.
  • the i-th input sentence is represented as f i ⁇ CF, and the output sentence is represented as e i ⁇ CE.
  • the type of the input word may be limited to the frequent V f word and the type of the output word may be limited to the frequent V e word, and a word not included therein may be replaced with a dedicated token as an unknown word.
  • the discrete sequence-discrete sequence converter includes an encoder and a decoder.
  • the encoder converts each word contained in the input sentence f i to a fixed-length vector e s. Thereafter, the encoder encodes each of the converted words from the fixed-length vector es into a fixed-length vector sequence h s .
  • the decoder obtains a hidden layer (hidden vector) h t based on the fixed-length vector sequence h s finally obtained by the encoder, and determines the fixed-length vector sequence h s and the hidden layer h t. Based on the above, the output sentence e i is decrypted. At this time, the weight a t and the weighted sum c t for the fixed-length vector sequence h s output from the encoder at each time are obtained by the following equations (1) to (4). Next, from ct and ht according to equation (5)
  • the encoder is constructed by a long-term storage memory (LSTM).
  • LSTM long-term storage memory
  • RNN recurrent neural network
  • GRU gated recurrent unit
  • the parameter ⁇ fe in the encoder and the decoder is determined using a parallel learning pair (CF, CE) that does not include an error. After learning, the parameter ⁇ fe is fixed. This parameter ⁇ fe determines the encoding accuracy.
  • the parameter learning method may be basically the same as the conventional sequence structure-sequence structure converter.
  • the input sentence of the learning pair is used as an input to the discrete sequence-discrete sequence converter, and an output sentence is obtained based on the parameters of the encoder / decoder.
  • the same output sentence as the output sentence (correct data) of the learning pair is obtained, it can be said that the current parameters are well adjusted.
  • processing is performed such as adjusting the parameters in such a direction that the correct answer is obtained.
  • parameters are adjusted by searching for parameters in a direction that enables correct answers to all learning pairs.
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of a learning quality estimation apparatus 90 according to the first embodiment.
  • the learning quality estimation device 90 functionally includes a calculation unit 10, an input unit 20, and an output unit 30.
  • the learning quality estimation apparatus 90 is electrically provided with a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), HDD (Hard Disk Drive), and the like. Configured as a computer.
  • the ROM stores a learning quality estimation program according to the present embodiment. Note that the learning quality estimation program may be stored in the HDD.
  • the above learning quality estimation program may be installed in advance in the learning quality estimation device 90, for example.
  • the learning quality estimation program may be realized by being stored in a non-volatile storage medium or distributed via a network and appropriately installed in the learning quality estimation total work 90.
  • nonvolatile storage media include CD-ROM (Compact Disc Read Only Memory), magneto-optical disk, DVD-ROM (Digital Versatile Disc Disc Read Only Memory), flash memory, memory card, and the like.
  • the CPU functions as the arithmetic unit 10, the input unit 20, and the output unit 30 by reading and executing the learning quality estimation program stored in the ROM.
  • the calculation unit 10 includes a division unit 12, a quality score calculation unit 14, a storage unit 16, and a selection unit 18.
  • the storage unit 16 stores a discrete sequence for converting a discrete sequence input sentence into an output sentence, which has been learned in advance based on a plurality of first learning pairs in which the discrete sentence input sentence and the output sentence have a correct correspondence relationship—
  • a forward trained model of a discrete sequence converter (hereinafter simply referred to as a discrete sequence converter) is stored. That is, the forward-trained model of the discrete sequence converter is generated based on the parameter ⁇ fe indicated by a fixed-length vector obtained in advance by machine learning of the discrete sequence converter with a plurality of first learning pairs as inputs.
  • the This parameter ⁇ fe is used for conversion of the discrete sequence from the input sentence to the output sentence by the discrete sequence converter.
  • the input sentence is an example of the first discrete series
  • the output sentence is an example of the second discrete series.
  • the input unit 20 accepts input of a sentence group composed of a plurality of second learning pairs composed of an input sentence and an output sentence that may include an error in the correspondence.
  • the dividing unit 12 uses the existing word divider to convert each of the input sentence and the output sentence included in each pair of the plurality of second learning pairs that have received input by the input unit 20 into a word sequence. Divide into
  • the quality score calculation unit 14 uses a plurality of second learning pairs divided into word sequences by the division unit 12 as inputs, and uses the forward learned model stored in the storage unit 16. A quality score is calculated for each pair of the plurality of second learning pairs.
  • the selection unit 18 selects a predetermined number of second learning pairs in descending order of the quality score calculated by the quality score calculation unit 14 from the plurality of second learning pairs. It is assumed that a predetermined number n (n is an integer of 1 or more) can be set as appropriate by the user.
  • the output unit 30 outputs the n second learning pairs selected by the selection unit 18.
  • a display unit such as a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display is applied.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the quality score calculation unit 14 according to the present embodiment.
  • the quality score calculation unit 14 according to the present embodiment includes an encoder 14A, a decoder 14B, and a likelihood calculation unit 14C. Note that the encoder 14A and the decoder 14B constitute a discrete sequence converter.
  • the encoder 14A converts each word of the input sentence included in the second learning pair into a fixed-length vector using the forward learned model stored in the storage unit 16, Each of the converted fixed-length vectors is encoded to obtain each fixed-length vector sequence.
  • the decoder 14B obtains a hidden vector based on the fixed-length vector sequence obtained by the encoder 14A, and each of the fixed-length vector sequence, the hidden vector, and the fixed-length vector. Based on the weights for each of the sequences, an output sentence for the input sentence is obtained.
  • the likelihood calculation unit 14C calculates a fixed-length vector sequence obtained by the encoder 14A from the input sentence included in the second learning pair for the output sentence included in the second learning pair. Based on the fixed-length vector sequence obtained by the decoder 14B as an input, a negative log likelihood when an output sentence is obtained from the decoder 14B is calculated. Then, the likelihood calculating unit 14C calculates a negative log likelihood per word obtained by dividing the negative log likelihood of the output sentence included in the second learning pair by the number of words of the output sentence, as a quality score. Output as.
  • the input sentence of the second learning pair is f i ⁇ NF
  • the output sentence is e i ⁇ NE
  • the fixed-length vector sequence is
  • h s is a fixed-length vector sequence obtained by encoding an input sentence f i by an encoder
  • ⁇ fe is a parameter used for conversion of a discrete series from an input sentence to an output sentence
  • p is a conditional probability
  • the log-likelihood J w per word is determined by Equation (9) below.
  • the conditional probability p of formula (8) for example, based on a probability distribution of formula (6), determine the output probability of each word constituting the e i, can be determined by taking the product.
  • This quality score is obtained for all pairs included in a sentence group (NF, NE) composed of a plurality of second learning pairs.
  • the plurality of second learning pairs are rearranged based on the quality scores obtained for all of the plurality of second learning pairs.
  • the top n (n ⁇ 1) second learning pairs after rearrangement are used for machine learning.
  • the encoder 14A converts each word of the input sentence included in the second learning pair into a fixed-length vector using the forward learned model stored in the storage unit 16, and performs conversion.
  • a fixed-length vector sequence is obtained by encoding a fixed-length vector of each word.
  • the decoder 14B obtains a hidden vector based on the fixed-length vector sequence obtained by the encoder 14A, and obtains an output sentence for the input sentence based on the obtained hidden vector.
  • FIG. 3 is a flowchart showing an example of the processing flow of the learning quality estimation program according to the first embodiment.
  • the input unit 20 receives an input of a second learning pair including an input sentence and an output sentence that may include an error.
  • step 102 the dividing unit 12 divides each of the input sentence and the output sentence included in the second learning pair received in step 100 into word series.
  • the quality score calculation unit 14 includes the second learning pair divided into the word series in step 102 in the second learning pair using the forward learned model stored in the storage unit 16. The likelihood of the output sentence to be calculated is calculated, and the quality score is calculated from the calculated likelihood.
  • step 106 the quality score calculation unit 14 determines whether or not the quality score calculated in step 104 has been obtained for all the second learning pairs. If it is determined that the quality score is obtained (in the case of affirmative determination), the process proceeds to step 108. If it is determined that the quality score is not obtained (in the case of negative determination), the process returns to step 100 and the process is repeated.
  • step 108 the selection unit 18 selects n second learning pairs in descending order of the quality score calculated in the above process, and the series of processes by the learning quality estimation program is terminated.
  • an erroneous learning pair is removed by calculating a quality score for a learning pair that may contain an error using a learned model of a discrete sequence converter. be able to. Thereby, it is possible to suppress an adverse effect on machine learning by an incorrect learning pair, to improve the accuracy of machine learning, and to further reduce the time required for machine learning.
  • the forward parameter ⁇ fe from the input sentence to the output sentence of the discrete sequence converter is learned using the sentence group (CF, CE) of the first learning pair that does not include an error. Used.
  • the parameter ⁇ ef in the reverse direction from the output sentence of the discrete sequence converter to the input sentence is also learned and used. As a result, it is possible to further improve accuracy. In this case, for example, a sum of the obtained quality scores J w in both directions, it is possible to use it for selection.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the learning quality estimation apparatus 92 according to the second embodiment.
  • the learning quality estimation apparatus 92 according to the present embodiment functionally includes a calculation unit 10, an input unit 20, and an output unit 30.
  • symbol is attached
  • the storage unit 16A as in the first embodiment, a forward learning of a discrete sequence converter that has been learned in advance based on a plurality of first learning pairs and that converts a discrete sequence input sentence into an output sentence has been performed.
  • the model is remembered.
  • the storage unit 16B stores a backward-trained model of a discrete sequence converter that learns in advance based on a plurality of first learning pairs and converts a discrete sequence output sentence into an input sentence.
  • This backward-trained model of the discrete sequence converter is generated based on parameters used for converting the discrete sequence from the output sentence to the input sentence by the discrete series converter.
  • the storage unit 16A and the storage unit 16B may be configured as one storage unit.
  • the quality score calculation unit 14 calculates a quality score for each second learning pair using each of the forward learned model and the backward learned model. Specifically, the quality of the output sentence included in each pair of the plurality of second learning pairs by using the plurality of second learning pairs as inputs and using the forward learned model stored in the storage unit 16A. The score is calculated, and further, the quality score of the input sentence included in each pair of the plurality of second learning pairs is calculated using the backward learned model stored in the storage unit 16B.
  • the quality score calculation unit 14 includes an encoder 14A, a decoder 14B, and a likelihood calculation unit 14C, similarly to the quality score calculation unit 14 illustrated in FIG. Yes.
  • the encoder 14A converts each word of the input sentence included in the second learning pair into a fixed-length vector using the forward learned model stored in the storage unit 16A. Each of the converted fixed-length vectors is encoded to obtain each fixed-length vector sequence. In addition, the encoder 14A converts each word of the output sentence included in the second learning pair into a fixed-length vector using the backward learned model stored in the storage unit 16B, and converts each converted word A fixed-length vector of words is encoded to obtain each of the fixed-length vector sequences.
  • the decoder 14B obtains a hidden vector based on the fixed-length vector sequence obtained by the encoder 14A, and each of the fixed-length vector sequence, the hidden vector, and the fixed-length vector. Based on the weights for each of the sequences, an output sentence for the input sentence is obtained. In addition, the decoder 14B obtains a hidden vector based on the fixed-length vector sequence obtained by the encoder 14A, and each of the fixed-length vector sequence, the hidden vector, and the fixed-length vector sequence. An input sentence for the output sentence is obtained based on the weight for.
  • the likelihood calculation unit 14C calculates a fixed-length vector sequence obtained by the encoder 14A from the input sentence included in the second learning pair for the output sentence included in the second learning pair. Based on the fixed-length vector sequence obtained by the decoder 14B as an input, a negative log likelihood when an output sentence is obtained from the decoder 14B is calculated. Specifically, the calculation is performed using the above-described equations (7) and (8). Then, the likelihood calculating unit 14C calculates the negative log likelihood per word obtained by dividing the negative log likelihood of the output sentence included in the second learning pair by the number of words of the output sentence, in the forward direction. Output as a quality score.
  • the likelihood calculating unit 14C receives, as an input, a fixed-length vector sequence obtained by the encoder 14A from an output sentence included in the second learning pair for an input sentence included in the second learning pair. Based on the fixed-length vector sequence obtained by the decoder 14B, the negative log likelihood when the input sentence is obtained from the decoder 14B is calculated. In this case, what is necessary is just to reverse the relationship between an input sentence and an output sentence in the above-mentioned Formula (7) and Formula (8). Then, the likelihood calculating unit 14C calculates the negative log likelihood per word obtained by dividing the negative log likelihood of the input sentence included in the second learning pair by the number of words of the input sentence in the reverse direction. Output as a quality score.
  • the selection unit 18 selects a predetermined number of second learning pairs in descending order of the quality score calculated by the quality score calculation unit 14 from the plurality of second learning pairs.
  • the quality score the sum of the forward quality score obtained when the forward learned model is used and the reverse quality score obtained when the backward learned model is used. Apply.
  • the learning quality estimation apparatus has been exemplified and described as an embodiment.
  • the embodiment may be in the form of a program for causing a computer to function as each unit included in the learning quality estimation apparatus.
  • the embodiment may be in the form of a computer-readable storage medium storing this program.
  • the configuration of the learning quality estimation apparatus described in the above embodiment is an example, and may be changed according to the situation without departing from the gist.
  • processing flow of the program described in the above embodiment is an example, and unnecessary steps may be deleted, new steps may be added, or the processing order may be changed within a range not departing from the gist. Good.
  • the processing according to the embodiment is realized by a software configuration using a computer by executing a program.
  • the present invention is not limited to this.
  • the embodiment may be realized by, for example, a hardware configuration or a combination of a hardware configuration and a software configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

自然言語処理等の機械学習に用いる学習用データ中の誤ったデータを取り除くことができる学習品質推定装置、方法、及びプログラムを提供する。　学習品質推定装置９０は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部１６と、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部１４と、を備える。

Description

学習品質推定装置、方法、及びプログラム
　本発明は、学習品質推定装置、方法、及びプログラムに係り、特に、自然言語処理等の機械学習に用いる学習用データの品質を推定する学習品質推定装置、方法、及びプログラムに関する。
　自然言語処理分野の問題を題材として背景技術を説明する。計算機により自然言語を処理する技術は、文章に現れる表層的な文字や単語といった離散シンボルの集合を処理する技術と言える。例えば、ある言語の文を入力し、別の言語の文を出力する自動翻訳システムを考える。このシステムでは、入力および出力の文を単語列（文字列）とみなして処理が行われる。よって、システム内の計算機により、離散系列（シンボル列）から別の離散系列へ変換する処理を行っているとみなすことができる。また、文書要約システム、対話システム、文書構成システムなどの言語を入出力とするシステムは、上述の自動翻訳システム同様、離散系列から別の離散系列へ変換する処理によってシステムが構成されると言える。このように、上述の自然言語処理システム以外の自然言語処理システムでも、自然言語を扱うシステムでは、扱う対象が単語、文、文書といった離散系列であるため、入力から出力へどのような変換を行うかという定義の違いはあるにせよ、処理のフレームワークは同じであり、離散系列から離散系列の変換問題に帰着できる。図５に自然言語処理における変換問題の各種の例を示す。
　上述したように、離散系列-離散系列変換問題は、自然言語処理分野において数多くの方法が開発され、様々な方法論が確立されている。古典的には、人間が系列から系列への変換ルールや規則などを記述して変換方法を構築してきた。近年では、正解データを利用したり、最適化法を用いたりするなど、機械学習技術を活用する方法が主流となっている。最近では、機械学習法の中でもリカレントニューラルネットの枠組みを使い、離散系列を実数値ベクトルへ符号化し、その実数値ベクトルから離散系列を復号するという方法論で離散系列-離散系列変換問題を解く方法が提案されている（例えば、非特許文献１を参照。）。この方法は、人手による事前知識を全く使わず、可変長の系列構造から系列構造への変換を固定長の実数値ベクトルへの符号化と復号化のみで実現していることが大きな特徴である。図６に符号化器による符号化及び復号化器による復号化の例を示す。
　この「リカレントニューラルネットに基づく離散系列から離散系列への変換器」を、ここでは単純に「離散系列－離散系列変換器」と呼ぶことにする。また、離散系列-離散系列変換器は、離散系列符号化器と離散系列復号化器の二つの組み合わせにて構築されている。また、符号化器／復号化器のパラメタである固定長の実数値ベクトルは、学習用データから自動的に獲得する。パラメタ学習は、それぞれの変換器の理想的な入力と出力のペアの集合を学習用データとして準備し、その学習用データの入力が正しく出力できるようにパラメタ調整を行うことで学習が進む。
　離散系列-離散系列変換器のひとつとして，Ａｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器がある（例えば、非特許文献２を参照。）。この手法によれば、符号化器の出力に対して復号化器が各時刻で重み付けを行うことで、より精度の高い系列変換を行うことができる。図７にＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器の例を示す。
Ilya Sutskever, Oriol Vinyals, and Quoc V Le, Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems 27, 2014. Minh-Thang Luong, Hieu Pham and Christopher D. Manning, Effective Approaches to Attention-based Neural Machine Translation. Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2015.
　ところで、自然言語処理では、前述のように学習用データと機械学習技術を用いて変換器を学習する方法が主流となっている。このときの学習用データとは、機械翻訳システムであれば同じ意味を表す２つの言語の文の対であり、対話システムであれば入力文と理想的な対話システムの出力文の対などである。このような機械学習技術を用いる際、使用する学習用データは正しい入出力のペアを前提としており、学習用データに誤ったデータが混入している可能性は通常考慮しない。
　しかしながら、一般的にこれらの学習用データは、機械的に収集されたものであることが多く、ゆえに誤ったデータが混入している場合が多い。こういった誤ったデータは、機械学習に悪影響を及ぼし、最終的な変換精度が低下することがある。つまり、自然言語処理で用いられる学習用データには誤ったデータが混入している可能性があり、これが機械学習に悪影響を与える場合がある。従って、これらの誤ったデータを取り除くことができれば、機械学習の精度がより高まることが期待できる。
　本発明は、上記の事情に鑑みてなされたものであり、自然言語処理等の機械学習に用いる学習用データ中の誤ったデータを取り除くことができる学習品質推定装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係る学習品質推定装置は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部と、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部と、を備えている。
　また、第２の発明に係る学習品質推定装置は、第１の発明において、前記離散系列変換器が、ニューラルネットワークであり、前記入力に含まれる各離散シンボルを、固定長のベクトルに変換し、変換した各離散シンボルの固定長のベクトルを符号化して固定長のベクトル系列を得る符号化器と、前記符号化器により得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、前記隠れベクトルに基づいて、前記入力に対する出力を得る復号化器と、を含み、前記品質スコア計算部が、前記第２学習用ペアに含まれる出力について、前記第２学習用ペアに含まれる入力から前記符号化器により得られた固定長のベクトル系列を入力として、前記復号化器により得られた固定長のベクトル系列に基づいて前記復号化器から前記出力が得られる際の負の対数尤度を用いて、前記品質スコアを計算する。
　また、第３の発明に係る学習品質推定装置は、第２の発明において、前記品質スコア計算部が、前記負の対数尤度を前記出力に含まれる離散シンボル数で除することで得られる離散シンボル当たりの負の対数尤度を、前記品質スコアとして出力する。
　また、第４の発明に係る学習品質推定装置は、第１～第３のいずれか１の発明において、前記品質スコア計算部が、複数の第２学習用ペアの各々について、前記品質スコアを計算し、前記複数の第２学習用ペアの中から、前記品質スコア計算部により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する選択部を更に備えている。
　また、第５の発明に係る学習品質推定装置は、第１～第４のいずれか１の発明において、前記記憶部が、前記複数の第１学習用ペアに基づいて予め学習された、離散系列の第２離散系列を第１離散系列に変換する離散系列変換器の逆方向学習済みモデルを更に記憶しており、前記品質スコア計算部が、前記第２学習用ペアについて、前記順方向学習済みモデル及び前記逆方向学習済みモデルの各々を用いて前記品質スコアを計算する。
　一方、上記目的を達成するために、第６の発明に係る学習品質推定方法は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部を備えた学習品質推定装置による学習品質推定方法であって、品質スコア計算部が、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算するステップ、を含んでいる。
　更に、上記目的を達成するために、第７の発明に係るプログラムは、コンピュータを、第１～第５のいずれか１の発明に係る学習品質推定装置が備える品質スコア計算部として機能させる。
　以上説明したように、本発明に係る学習品質推定装置、方法、及びプログラムによれば、自然言語処理等の分野でよく用いられる、対訳データ、対話データ等の離散系列-離散系列変換のための学習用データ中の誤ったデータを取り除くことができる。その結果、誤ったデータによる機械学習への悪影響が抑えられ、機械学習の精度を向上させることができる。
第１の実施形態に係る学習品質推定装置の機能的な構成の一例を示すブロック図である。 実施形態に係る品質スコア計算部の構成の一例を示すブロック図である。 第１の実施形態に係る学習品質推定プログラムの処理の流れの一例を示すフローチャートである。 第２の実施形態に係る学習品質推定装置の機能的な構成の一例を示すブロック図である。 自然言語処理における変換問題の各種の例を示す図である。 符号化器による符号化及び復号化器による復号化の例を示す図である。 Ａｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器の例を示す図である。
　以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
［第１の実施形態］
　本実施形態では、上述の非特許文献２に記載のＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器を用いて対訳学習用データに品質スコアを付与して選択する場合について説明する。この離散系列-離散系列変換器には、上記以外にも様々な手法（例えば、非特許文献３を参照。）が考えられるが、本実施形態においてはどの変換器を使用してもよい。
（非特許文献３）
　Dzmitry Bahdanau, Kyunghyun Cho and Yoshua Bengio, Neural Machine Translation by Jointly Learning to Align and Translate. Proceedings of the 3rd International Conference on Learning Representations, 2015.
　なお、本実施形態では、離散系列の入力及び出力の一例として図５に示すように、翻訳元言語の入力文及び翻訳先言語の出力文が適用される。この場合、離散シンボルには、入力文に含まれる単語及び出力文に含まれる単語が適用される。なお、離散系列の入力及び出力として、文書要約前の入力文章及び文書要約後の出力文章、あるいは、文書校正前の入力文章及び文書校正後の出力文章を適用してもよい。
　まず、問題の定義を述べる。誤り（ノイズ）を含まない入力文及び出力文からなる対訳学習用ペアの文章群を（ＣＦ、ＣＥ）とし、誤りを含んでいる可能性のある入力文及び出力文からなる対訳学習用ペアの文章群を（ＮＦ、ＮＥ）とする。本実施形態では、誤りを含まない対訳学習用ペアに基づいて離散系列-離散系列変換器の学習済みモデルを構築し、構築した離散系列-離散系列変換器の学習済みモデルを用いて誤りを含んでいる可能性のある対訳学習用ペアに品質スコアを付与する。本実施形態に係る品質スコア付与の処理の手順は以下のようになる。
（入力）
　誤りを含んでいる可能性のある対訳学習用ペアの入力を受け付ける。
（前処理）
　 既存の単語分割器を用いて、対訳学習用ペアの入力文及び出力文の各々を単語系列に分割する。
（品質スコア計算）
　事前に学習して得られた離散系列-離散系列変換器の学習済みモデルを用いて、出力文の品質スコアを計算する。
（繰り返し）
　上記手順を対訳学習用ペア全てについて繰り返し、全ての対訳学習用ペアについて品質スコアを得る。
（選択）
　得られた対訳学習用ペアの品質スコアに基づいて、対訳学習用ペアの並べ替えを行い、品質スコアが高い順に予め定められた数の対訳学習用ペアを選択する。
　次に、非特許文献２に記載の離散系列-離散系列変換器を用いた学習処理の概要について説明する。
　ここでは、上述のように誤りを含んでいない対訳学習用ペアに基づいて離散系列-離散系列変換器を学習する。
　なお、ｉ番目の入力文をｆｉ∈ＣＦ、出力文をｅｉ∈ＣＥと表す。ここで、入力単語の種類を頻出Ｖｆ単語、出力単語の種類を頻出Ｖｅ単語に制限し、ここに含まれない単語については未知語として専用のトークンに置き換えるようにしてもよい。
　離散系列-離散系列変換器は、図７に示すように、符号化器及び復号化器を備えている。符号化器は、入力文ｆｉに含まれる各単語を固定長のベクトルｅｓに変換する。その後、符号化器は、変換した各単語の固定長のベクトルｅｓから固定長のベクトル系列ｈｓに各々符号化する。
　復号化器は、符号化器で最終的に得られた固定長のベクトル系列ｈｓに基づいて、隠れ層（隠れベクトル）ｈｔを求め、固定長のベクトル系列ｈｓと、隠れ層ｈｔとに基づいて、出力文ｅｉを復号化する。その際、各時刻で符号化器が出力した固定長のベクトル系列ｈｓへの重みａｔ、重み付き和ｃｔを、以下に示す式（１）～（４）により求める。次に、式（５）によりｃｔとｈｔから
Figure JPOXMLDOC01-appb-M000001
 
を求める。最後に式（６）を用いて出力単語の確率分布を予測し、これを復号に利用する。なお、これらの式は、非特許文献２に記載されている。
Figure JPOXMLDOC01-appb-M000002
 
　ここで、
Figure JPOXMLDOC01-appb-M000003
 
は、各時刻での符号化器が出力した固定長のベクトル系列を表す。このベクトル系列に基づいて各時刻において符号化器の出力に対して重み付けを行う。また、
Figure JPOXMLDOC01-appb-M000004
 
は、隠れ層ｈｔの転置を表す。また、
Figure JPOXMLDOC01-appb-M000005
 
は、モデルパラメータを表す。また、
Figure JPOXMLDOC01-appb-M000006
 
は、時刻ｔでの復号化器が出力した固定長のベクトル系列を表す。また、
Figure JPOXMLDOC01-appb-M000007
 
は、モデルパラメータを表す。また、
Figure JPOXMLDOC01-appb-M000008
 
は、モデルパラメータを表す。また、
Figure JPOXMLDOC01-appb-M000009
 
は、出力文ｅｉのｔ単語目を表す。
　符号化器の内部は、様々な構成が考えられるが、ここでは長短期記憶メモリ（ＬＳＴＭ）により構築する。ただし、リカレントニューラルネット（Recurrent Neural Network、RNN）や、ゲート付きリカレントユニット（Gated Recurrent Unit、GRU）など他の構成であっても問題ない。符号化器と復号化器内のパラメタθｆｅは、上述の通り、誤りを含んでいない対訳学習用ペア（ＣＦ、ＣＥ）を使って決定する。学習後、パラメタθｆｅは固定される。このパラメタθｆｅが符号化の精度を決定する。
　パラメタ学習法は、従来の系列構造-系列構造変換器と基本的に同じでよい。学習用ペアの入力文を離散系列-離散系列変換器への入力として、符号化器・復号化器のパラメタに基づき出力文を得る。その際に、学習用ペアの出力文（正解データ）と同じ出力文が得られれば、現在のパラメタはうまく調節ができていると言える。一方、出力文が正解データと同じでない場合は、正解が出るような方向にパラメタを調整する、といった処理を行う。最終的に、学習用ペアすべて正解ができるような方向にパラメタ探索することでパラメタを調整する。
　次に、図１を参照して、第１の実施形態に係る学習品質推定装置の構成について説明する。
　図１は、第１の実施形態に係る学習品質推定装置９０の機能的な構成の一例を示すブロック図である。
　図１に示すように、本実施形態に係る学習品質推定装置９０は、機能的には、演算部１０と、入力部２０と、出力部３０と、を備えている。
　また、本実施形態に係る学習品質推定装置９０は、電気的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る学習品質推定プログラムが記憶されている。なお、学習品質推定プログラムは、ＨＤＤに記憶されていてもよい。
　上記の学習品質推定プログラムは、例えば、学習品質推定装置９０に予めインストールされていてもよい。この学習品質推定プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、学習品質推定総著９０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。
　ＣＰＵは、ＲＯＭに記憶されている学習品質推定プログラムを読み込んで実行することにより、上記の演算部１０、入力部２０、及び出力部３０として機能する。
　本実施形態に係る演算部１０は、分割部１２、品質スコア計算部１４、記憶部１６、及び選択部１８により構成されている。
　記憶部１６には、離散系列の入力文と出力文とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の入力文を出力文に変換する離散系列-離散系列変換器（以下、単に離散系列変換器という。）の順方向学習済みモデルが記憶されている。つまり、離散系列変換器の順方向学習済みモデルは、複数の第１学習用ペアを入力として予め離散系列変換器の機械学習により得られた固定長のベクトルにより示されるパラメタθｆｅに基づき生成される。このパラメタθｆｅは、離散系列変換器による入力文から出力文への離散系列の変換に用いられる。なお、入力文は第１離散系列の一例であり、出力文は第２離散系列の一例である。
　本実施形態に係る入力部２０は、対応関係に誤りを含んでいる可能性がある入力文及び出力文からなる複数の第２学習用ペアによって構成される文章群の入力を受け付ける。
　本実施形態に係る分割部１２は、入力部２０により入力を受け付けた複数の第２学習用ペアの各ペアに含まれる入力文及び出力文の各々を、既存の単語分割器を用いて単語系列に分割する。
　本実施形態に係る品質スコア計算部１４は、分割部１２により単語系列に分割された複数の第２学習用ペアを入力として、記憶部１６に記憶されている順方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアについて品質スコアを計算する。
　本実施形態に係る選択部１８は、複数の第２学習用ペアの中から、品質スコア計算部１４により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する。予め定められた数ｎ（ｎは１以上の整数）は、ユーザにより適宜設定できるものとする。
　本実施形態に係る出力部３０は、選択部１８により選択されたｎ個の第２学習用ペアを出力する。出力部３０の出力先としては、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等の表示部が適用される。
　次に、図２を参照して、本実施形態に係る品質スコア計算部１４の具体的な構成について説明する。
　図２は、本実施形態に係る品質スコア計算部１４の構成の一例を示すブロック図である。
　図２に示すように、本実施形態に係る品質スコア計算部１４は、符号化器１４Ａ、復号化器１４Ｂ、及び尤度算出部１４Ｃを含んで構成されている。なお、これらの符号化器１４Ａ及び復号化器１４Ｂは、離散系列変換器を構成している。
　本実施形態に係る符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６に記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。
　本実施形態に係る復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、入力文に対する出力文を得る。
　本実施形態に係る尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文について、第２学習用ペアに含まれる入力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから出力文が得られる際の負の対数尤度を算出する。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文の負の対数尤度を出力文の単語数で除することで得られる単語当たりの負の対数尤度を、品質スコアとして出力する。
　すなわち、第２学習用ペアの入力文をｆｉ∈ＮＦ、出力文をｅｉ∈ＮＥ、固定長のベクトル系列を
Figure JPOXMLDOC01-appb-M000010
 
、入力文ｆｉを符号化器により符号化した固定長のベクトル系列をｈｓ、入力文から出力文への離散系列の変換に用いるパラメタをθｆｅ、条件付き確率をｐとした場合に、出力文ｅｉについて、固定長のベクトル系列ｈｓから復号化器１４Ｂにより得られた固定長のベクトル系列
Figure JPOXMLDOC01-appb-M000011
 
に基づいて、復号化器１４Ｂから出力文ｅｉが得られる際の負の対数尤度Ｊは、以下に示す式（７）及び式（８）により求められる。
Figure JPOXMLDOC01-appb-M000012
 
　更に、出力文ｅｉの単語数を｜ｅｉ｜とした場合、上記で得られた負の対数尤度Ｊを、出力文ｅｉの単語数｜ｅｉ｜で除する。このように単語数を用いて規格化を行うことで、長い文と短い文との違いを品質スコアに反映することができる。この場合、単語当たりの対数尤度Ｊｗは、以下に示す式（９）により求められる。なお、式（８）の条件付き確率ｐは、例えば、式（６）の確率分布を元に、ｅｉを構成する各単語の出力確率を求め、その積を取ることで求めることができる。
Figure JPOXMLDOC01-appb-M000013
 
　以上によって得られた単語当たりの対数尤度Ｊｗを、第２学習用ペアの品質スコアとして出力する。この品質スコアは、複数の第２学習用ペアからなる文章群（ＮＦ、ＮＥ）に含まれる全ペアについて求められる。
　更に、複数の第２学習用ペアの全てについて得られた品質スコアに基づいて、複数の第２学習用ペアの並べ替えを行う。並べ替えた後のスコア上位ｎ（ｎ≧１）個の第２学習用ペアを機械学習に用いる。
　なお、上記では、離散系列変換器の一例として、図７に示すＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器を適用した場合について説明したが、図６に示す一般的な離散系列-離散系列変換器を適用してもよい。この場合、符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６に記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列を得る。そして、復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、求めた隠れベクトルに基づいて、入力文に対する出力文を得る。
　次に、図３を参照して、第１の実施形態に係る学習品質推定装置１０の作用について説明する。なお、図３は、第１の実施形態に係る学習品質推定プログラムの処理の流れの一例を示すフローチャートである。
　図３のステップ１００では、入力部２０が、誤りを含んでいる可能性がある入力文及び出力文からなる第２学習用ペアの入力を受け付ける。
　ステップ１０２では、分割部１２が、ステップ１００で入力を受け付けた第２学習用ペアに含まれる入力文及び出力文の各々を単語系列に分割する。
　ステップ１０４では、品質スコア計算部１４が、ステップ１０２で単語系列に分割した第２学習用ペアについて、記憶部１６に記憶されている順方向学習済みモデルを用いて、第２学習用ペアに含まれる出力文の尤度を算出し、算出した尤度から品質スコアを計算する。
　ステップ１０６では、品質スコア計算部１４が、ステップ１０４で計算した品質スコアを、全ての第２学習用ペアについて得られたか否かを判定する。品質スコアが得られたと判定した場合（肯定判定の場合）、ステップ１０８に移行し、品質スコアが得られていないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。
　ステップ１０８では、選択部１８が、上記処理で計算した品質スコアが高い順にｎ個の第２学習用ペアを選択し、本学習品質推定プログラムによる一連の処理を終了する。
　このように本実施形態によれば、離散系列変換器の学習済みモデルを用いて、誤りを含んでいる可能性のある学習用ペアについて品質スコアを計算することにより、誤った学習用ペアを取り除くことができる。これにより、誤った学習用ペアによる機械学習への悪影響を抑え、機械学習の精度を向上させることができ、更に機械学習に要する時間を短縮することができる。
［第２の実施形態］
　上記第１の実施形態では、誤りを含まない第１学習用ペアの文章群（ＣＦ、ＣＥ）を利用して離散系列変換器の入力文から出力文への順方向のパラメタθｆｅを学習して利用した。本実施形態では、離散系列変換器の出力文から入力文への逆方向のパラメタθｅｆも学習して利用する。これにより更なる精度向上を図ることが可能となる。この場合、例えば、両方向で得られた品質スコアＪｗの和を取り、それを選択に利用することができる。
　図４は、第２の実施形態に係る学習品質推定装置９２の機能的な構成の一例を示すブロック図である。
　図４に示すように、本実施形態に係る学習品質推定装置９２は、機能的には、演算部１０と、入力部２０と、出力部３０と、を備えている。なお、第１の実施形態に係る学習品質推定装置９０と同一の機能を有する構成要素には、同一の符号を付しここでの繰り返しの説明は省略する。
　記憶部１６Ａには、第１の実施形態と同様に、複数の第１学習用ペアに基づいて予め学習された、離散系列の入力文を出力文に変換する離散系列変換器の順方向学習済みモデルが記憶されている。また、記憶部１６Ｂには、複数の第１学習用ペアに基づいて予め学習された、離散系列の出力文を入力文に変換する離散系列変換器の逆方向学習済みモデルが記憶されている。この離散系列変換器の逆方向学習済みモデルは、離散系列変換器による出力文から入力文への離散系列の変換に用いられるパラメタに基づき生成される。なお、これらの記憶部１６Ａ及び記憶部１６Ｂは、１つの記憶部として構成してもよい。
　本実施形態に係る品質スコア計算部１４は、第２学習用ペアについて、順方向学習済みモデル及び逆方向学習済みモデルの各々を用いて品質スコアを計算する。具体的には、複数の第２学習用ペアを入力として、記憶部１６Ａに記憶されている順方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアに含まれる出力文の品質スコアを計算し、更に、記憶部１６Ｂに記憶されている逆方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアに含まれる入力文の品質スコアを計算する。
　ここで、本実施形態に係る品質スコア計算部１４は、図２に示す品質スコア計算部１４と同様に、符号化器１４Ａ、復号化器１４Ｂ、及び尤度算出部１４Ｃを含んで構成されている。
　本実施形態に係る符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６Ａに記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。また、符号化器１４Ａは、第２学習用ペアに含まれる出力文の各単語を、記憶部１６Ｂに記憶されている逆方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。
　本実施形態に係る復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、入力文に対する出力文を得る。また、復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、出力文に対する入力文を得る。
　本実施形態に係る尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文について、第２学習用ペアに含まれる入力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから出力文が得られる際の負の対数尤度を算出する。具体的には、上述の式（７）及び式（８）を用いて算出する。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文の負の対数尤度を出力文の単語数で除することで得られる単語当たりの負の対数尤度を、順方向の品質スコアとして出力する。また、尤度算出部１４Ｃは、第２学習用ペアに含まれる入力文について、第２学習用ペアに含まれる出力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから入力文が得られる際の負の対数尤度を算出する。この場合、上述の式（７）及び式（８）において入力文と出力文との関係を逆にすればよい。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる入力文の負の対数尤度を入力文の単語数で除することで得られる単語当たりの負の対数尤度を、逆方向の品質スコアとして出力する。
　本実施形態に係る選択部１８は、複数の第２学習用ペアの中から、品質スコア計算部１４により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する。なお、本実施形態では、品質スコアとして、順方向学習済みモデルを用いた場合に得られる順方向の品質スコアと、逆方向学習済みモデルを用いた場合に得られる逆方向の品質スコアとの和を適用する。
　このように本実施形態によれば、入力文から出力文への順方向、及び、出力文から入力文への逆方向の両方向についての学習済みモデルを用いて、誤りを含んでいる可能性のある学習用ペアについて両方向から品質スコアを計算する。これにより、誤った学習用ペアをより精度よく取り除くことができる。
　上述したように、一般に自然言語処理で用いられる離散系列-離散系列変換器の学習用データには誤ったデータが混入していないことが前提となっている。しかし、現実には多くの場合、誤ったデータが混入しており、これらが機械学習に悪影響を与えることがある。
　これに対して、上記各実施形態を用いることにより学習用データの品質を推定することができ、それを基に学習用データを選択することで、機械学習に悪影響を与える誤ったデータを取り除くことができる。ゆえに、本実施形態を適用することで機械学習の学習精度を向上させることができる。
　以上、実施形態として学習品質推定装置を例示して説明した。実施形態は、コンピュータを、学習品質推定装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
　その他、上記実施形態で説明した学習品質推定装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
　また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
　また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
１０ 演算部
１２ 分割部
１４ 品質スコア計算部
１４Ａ 符号化器
１４Ｂ 復号化器
１４Ｃ 尤度算出部
１６、１６Ａ、１６Ｂ 記憶部
１８ 選択部
２０ 入力部
３０ 出力部
９０、９２ 学習品質推定装置

Claims (7)

  1. 　離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部と、
    　対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部と、
    　を備えた学習品質推定装置。
  2. 　前記離散系列変換器は、ニューラルネットワークであり、
    　　前記入力に含まれる各離散シンボルを、固定長のベクトルに変換し、変換した各離散シンボルの固定長のベクトルを符号化して固定長のベクトル系列を得る符号化器と、
    　　前記符号化器により得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、前記隠れベクトルに基づいて、前記入力に対する出力を得る復号化器と、
    　を含み、
    　前記品質スコア計算部は、前記第２学習用ペアに含まれる出力について、前記第２学習用ペアに含まれる入力から前記符号化器により得られた固定長のベクトル系列を入力として、前記復号化器により得られた固定長のベクトル系列に基づいて前記復号化器から前記出力が得られる際の負の対数尤度を用いて、前記品質スコアを計算する請求項１に記載の学習品質推定装置。
  3. 　前記品質スコア計算部は、前記負の対数尤度を前記出力に含まれる離散シンボル数で除することで得られる離散シンボル当たりの負の対数尤度を、前記品質スコアとして出力する請求項２に記載の学習品質推定装置。
  4. 　前記品質スコア計算部は、複数の第２学習用ペアの各々について、前記品質スコアを計算し、
    　前記複数の第２学習用ペアの中から、前記品質スコア計算部により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する選択部を更に備えた請求項１～３のいずれか１項に記載の学習品質推定装置。
  5. 　前記記憶部は、前記複数の第１学習用ペアに基づいて予め学習された、離散系列の第２離散系列を第１離散系列に変換する離散系列変換器の逆方向学習済みモデルを更に記憶しており、
    　前記品質スコア計算部は、前記第２学習用ペアについて、前記順方向学習済みモデル及び前記逆方向学習済みモデルの各々を用いて前記品質スコアを計算する請求項１～４のいずれか１項に記載の学習品質推定装置。
  6. 　離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部を備えた学習品質推定装置による学習品質推定方法であって、
    　品質スコア計算部が、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算するステップ、
    　を含む学習品質推定方法。
  7. 　コンピュータを、請求項１～５のいずれか１項に記載の学習品質推定装置が備える品質スコア計算部として機能させるためのプログラム。
PCT/JP2019/006555 2018-02-27 2019-02-21 学習品質推定装置、方法、及びプログラム WO2019167794A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/975,679 US20200410345A1 (en) 2018-02-27 2019-02-21 Learning quality estimation device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018033719A JP6969443B2 (ja) 2018-02-27 2018-02-27 学習品質推定装置、方法、及びプログラム
JP2018-033719 2018-02-27

Publications (1)

Publication Number Publication Date
WO2019167794A1 true WO2019167794A1 (ja) 2019-09-06

Family

ID=67804942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006555 WO2019167794A1 (ja) 2018-02-27 2019-02-21 学習品質推定装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200410345A1 (ja)
JP (1) JP6969443B2 (ja)
WO (1) WO2019167794A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021140957A1 (ja) * 2020-01-08 2021-07-15
JP7476578B2 (ja) 2020-03-06 2024-05-01 富士フイルムビジネスイノベーション株式会社 学習装置及びプログラム
JPWO2021193025A1 (ja) * 2020-03-25 2021-09-30
WO2022038785A1 (ja) 2020-08-21 2022-02-24 富士通株式会社 訓練データ生成プログラム、訓練データ生成方法および訓練データ生成装置
CN114971425B (zh) * 2022-07-27 2022-10-21 深圳市必提教育科技有限公司 数据库信息监控方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099133A1 (en) * 2009-10-28 2011-04-28 Industrial Technology Research Institute Systems and methods for capturing and managing collective social intelligence information
CN102945232A (zh) * 2012-11-16 2013-02-27 沈阳雅译网络技术有限公司 面向统计机器翻译的训练语料质量评价及选取方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074242A (zh) * 2016-05-06 2018-12-21 电子湾有限公司 在神经机器翻译中使用元信息
US10402495B1 (en) * 2016-09-01 2019-09-03 Facebook, Inc. Abstractive sentence summarization
WO2018203147A2 (en) * 2017-04-23 2018-11-08 Voicebox Technologies Corporation Multi-lingual semantic parser based on transferred learning
US10733380B2 (en) * 2017-05-15 2020-08-04 Thomson Reuters Enterprise Center Gmbh Neural paraphrase generator
US10867595B2 (en) * 2017-05-19 2020-12-15 Baidu Usa Llc Cold fusing sequence-to-sequence models with language models
CN107357775A (zh) * 2017-06-05 2017-11-17 百度在线网络技术（北京）有限公司 基于人工智能的循环神经网络的文本纠错方法及装置
EP3454260A1 (en) * 2017-09-11 2019-03-13 Tata Consultancy Services Limited Bilstm-siamese network based classifier for identifying target class of queries and providing responses thereof
US20190095961A1 (en) * 2017-09-22 2019-03-28 Facebook, Inc. Applying a trained model for predicting quality of a content item along a graduated scale
US10380236B1 (en) * 2017-09-22 2019-08-13 Amazon Technologies, Inc. Machine learning system for annotating unstructured text
KR102462426B1 (ko) * 2017-12-14 2022-11-03 삼성전자주식회사 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
US10489792B2 (en) * 2018-01-05 2019-11-26 Asapp, Inc. Maintaining quality of customer support messages

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099133A1 (en) * 2009-10-28 2011-04-28 Industrial Technology Research Institute Systems and methods for capturing and managing collective social intelligence information
CN102945232A (zh) * 2012-11-16 2013-02-27 沈阳雅译网络技术有限公司 面向统计机器翻译的训练语料质量评价及选取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IMAMURA, KENJI ET AL.: "Introduction of Monolingual corpus to neural machine translation by pseudo-text generation", PROCEEDINGS OF THE TWENTY-THIRD ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 6 March 2017 (2017-03-06), pages 1026 - 1029, Retrieved from the Internet <URL:http://www.anlp.jp/proceedings/annual_meeting/2017/pdf_dir/P18-5.pdf> *
MATSUMURA, YUKIKO ET AL.: "Optimization of neural machine translation by reverse translation", PROCEEDINGS OF THE TWENTY-THIRD ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 6 March 2017 (2017-03-06), pages 986 - 989, Retrieved from the Internet <URL:http://www.anlp.jp/proceedings/annual_meeting/2017/pdf_dir/P17-2.pdf> *

Also Published As

Publication number Publication date
JP6969443B2 (ja) 2021-11-24
JP2019149030A (ja) 2019-09-05
US20200410345A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2019167794A1 (ja) 学習品質推定装置、方法、及びプログラム
CN109871529B (zh) 语言处理方法和设备
US11106714B2 (en) Summary generating apparatus, summary generating method and computer program
CN107870902B (zh) 神经机器翻译系统
CN108304390B (zh) 基于翻译模型的训练方法、训练装置、翻译方法及存储介质
WO2020143130A1 (zh) 基于物理环境博弈的自主进化智能对话方法、系统、装置
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN112686058B (zh) Bert嵌入语音翻译模型训练方法、系统及语音翻译方法和设备
CN108038107B (zh) 基于卷积神经网络的语句情感分类方法、装置及其设备
JP2020505650A (ja) 音声認識システム及び音声認識の方法
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN111291166A (zh) 基于Bert的语言模型的训练方法及装置
CN111008266B (zh) 文本分析模型的训练方法及装置、文本分析方法及装置
WO2019163718A1 (ja) 学習装置、音声認識順位推定装置、それらの方法、およびプログラム
CN112364659B (zh) 一种无监督的语义表示自动识别方法及装置
CN110399619B (zh) 面向神经机器翻译的位置编码方法及计算机存储介质
CN110287487B (zh) 主谓语识别方法、装置、设备及计算机可读存储介质
CN114707518B (zh) 面向语义片段的目标情感分析方法、装置、设备及介质
CN113032534A (zh) 对话文本的分类方法和电子设备
CN116304728A (zh) 一种基于句子表征的短文本相似度匹配方法及应用
CN113486160B (zh) 基于跨语言知识的对话方法及系统
WO2019171537A1 (ja) 意味推定システム、方法およびプログラム
CN112686060B (zh) 文本翻译方法、装置、电子设备和存储介质
JP2018073163A (ja) 符号器学習装置、変換装置、方法、及びプログラム
CN116881471B (zh) 一种基于知识图谱的大语言模型微调方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760315

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760315

Country of ref document: EP

Kind code of ref document: A1