WO2019167600A1 - 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法 - Google Patents

疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法 Download PDF

Info

Publication number
WO2019167600A1
WO2019167600A1 PCT/JP2019/004805 JP2019004805W WO2019167600A1 WO 2019167600 A1 WO2019167600 A1 WO 2019167600A1 JP 2019004805 W JP2019004805 W JP 2019004805W WO 2019167600 A1 WO2019167600 A1 WO 2019167600A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
pseudo
translation
output
unit
Prior art date
Application number
PCT/JP2019/004805
Other languages
English (en)
French (fr)
Inventor
今村　賢治
篤 藤田
隅田　英一郎
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Priority to US16/969,619 priority Critical patent/US11816444B2/en
Publication of WO2019167600A1 publication Critical patent/WO2019167600A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to an encoder / decoder type neural machine translation technology.
  • neural machine translation of the encoder / decoder method has become mainstream.
  • NMT Neural Machine Translation
  • an input sentence original sentence
  • the decoder generates a translation sentence based on the state.
  • the encoder / decoder neural machine translation can generate high-quality translations compared to the conventional statistical translation method, while training the encoder / decoder neural machine translation model. Therefore, a large amount of translations is required.
  • large-scale parallel corpora are generally difficult to obtain compared to monolingual corpora.
  • the target language monolingual corpus is back-translated into the source language to generate a pseudo bilingual sentence, and the generated pseudo bilingual sentence is mixed with the bilingual corpus.
  • the training method is adopted.
  • the advantage of this method is that even if it is a pseudo-translation, the decoder is trained correctly because the sentence on the target language side is a correct sentence created by a person. Therefore, by using the above method, it is possible to construct a model for machine translation stably and with high accuracy even when compared with a method of constructing a language model from a monolingual corpus.
  • Non-Patent Document 1 training is performed using a pseudo-original text including an error, and therefore there is a possibility that the accuracy of the encoder has not been improved.
  • the present invention executes a model training method for neural machine translation and a model training method for enhancing an encoder (including attention) using a monolingual corpus of a target language and improving the accuracy of the entire translator.
  • the purpose is to realize a machine translation system for this purpose.
  • Another object of the present invention is to realize a pseudo parallel translation data generation device, a machine translation processing device, and a pseudo parallel translation data generation method executed in the machine translation system.
  • a first invention for solving the above-mentioned problem is a pseudo-translation data generation device including a reverse translation unit and a pseudo-translation data acquisition unit.
  • the reverse translation unit obtains N (N: a natural number of 2 or more) pseudo source language data by performing machine reverse translation processing on one target language data acquired from the target language monolingual corpus.
  • N sets of pseudo parallel translation data are obtained by combining each of the pseudo parallel translation data acquisition unit, one target language data, and N pseudo source language data acquired by the reverse translation unit.
  • this pseudo bilingual data generation device a plurality of pseudo source language data is acquired from one target language data using a monolingual corpus of the target language, and a large amount of pseudo bilingual corpus data having diversity is acquired. be able to.
  • the second invention is the first invention, and the reverse translation unit includes an encoder and a decoder.
  • Encoder obtains input side hidden state data from input data.
  • the decoder acquires the output side hidden state data from the input side hidden state data acquired by the encoder, selects data randomly from the output word distribution represented by the acquired output side hidden state data, and corresponds to the selected data
  • the word data to be output is output as output data.
  • the data output from the decoder is not limited to data having the maximum posterior probability of the output word, and data having a low posterior probability (low likelihood) of the output word is also included. Will be output.
  • this pseudo bilingual data generation device it is possible to obtain pseudo bilingual data having diversity that has been difficult to obtain in the past.
  • the “input side hidden state data” is data indicating an internal state acquired when the input data is encoded by the encoder.
  • the “input side hidden state data” is, for example, data (data representing the internal state) obtained when the distributed representation data acquired by the embedding process is further performed on the input data, and further the processing by the LSTM layer is executed. is there.
  • 3rd invention is 1st or 2nd invention, Comprising: The pseudo bilingual corpus memory
  • the pseudo parallel translation data acquisition unit performs filtering processing on the N sets of pseudo parallel translation data based on at least one of the likelihood and reliability of the pseudo source language data acquired by the reverse translation unit, and performs pseudo parallel translation after the filtering processing.
  • the data is stored in the pseudo bilingual corpus storage unit.
  • the fourth invention is a machine translation processing device including a composite parallel translation data acquisition unit and a translation unit.
  • the composite bilingual data acquisition unit generates the first batch set data by associating the base bilingual data acquired from the base bilingual corpus with the first learning rate corresponding to the base bilingual data.
  • the second batch set data is generated by associating the pseudo bilingual data generated by the pseudo bilingual data generation apparatus according to the invention with the second learning rate corresponding to the pseudo bilingual data.
  • the composite parallel translation data acquisition unit acquires composite parallel translation data including the first batch set data and the second batch set data.
  • the translation unit acquires a learned model for machine translation processing by learning using composite parallel translation data, and executes machine translation processing for machine-translating source language data into target language data using the learned model.
  • the translation unit executes the learning process at the first learning rate in the learning process using the first batch set data, and executes the learning process at the second learning rate in the learning process using the second batch set data.
  • this machine translation processing device using a parallel bilingual corpus data having a large amount obtained by acquiring a plurality of pseudo source language data from one target language data using a monolingual corpus of the target language, Learning processing (training processing) for constructing a machine translation learning model can be performed efficiently.
  • the machine translation model is learned by changing the learning rate by using both the pseudo bilingual corpus data having a large amount of diversity and the base bilingual corpus data having a small amount but high accuracy.
  • the process (training process) is executed.
  • this machine translation processing apparatus can acquire a learned model (machine translation model) with very high accuracy.
  • the fifth invention is the fourth invention, wherein the first learning rate is larger than the second learning rate.
  • this machine translation processing device increases the learning rate of training processing (training processing) using a small amount of base bilingual corpus data with high accuracy, but a large amount of pseudo bilingual corpus data whose accuracy is lower than the base bilingual corpus data.
  • the learning rate of learning processing (training processing) using can be lowered.
  • this machine translation processing apparatus can acquire a machine translation learned model with high accuracy.
  • the sixth invention is a pseudo bilingual data generation method comprising a reverse translation step and a pseudo bilingual data acquisition step.
  • N pieces (N: a natural number of 2 or more) of pseudo source language data are obtained by performing machine reverse translation processing on one piece of target language data obtained from the target language monolingual corpus.
  • N sets of pseudo bilingual data are acquired by combining each target language data and N pseudo source language data acquired in the reverse translation step.
  • a translation system can be realized. Further, according to the present invention, it is possible to realize a pseudo bilingual data generation device, a machine translation processing device, and a pseudo bilingual data generation method executed in the machine translation system, which constitute the machine translation system.
  • FIG. 1 is a schematic configuration diagram of a machine translation system 1000 according to a first embodiment.
  • the transition diagram which showed typically the machine translation process in the 1st machine translation process part 113 of 1st Embodiment.
  • FIG. 1 is a schematic configuration diagram of a machine translation system 1000 according to the first embodiment.
  • FIG. 2 is a schematic configuration diagram of the reverse translation unit 11 of the pseudo parallel translation data generation unit 1 according to the first embodiment.
  • FIG. 3 is a schematic configuration diagram of the encoder 1131 of the first machine translation processing unit 113 according to the first embodiment.
  • FIG. 4 is a schematic configuration diagram of the attention unit ATN1 of the first machine translation processing unit 113 according to the first embodiment.
  • FIG. 5 is a schematic configuration diagram of the decoder 1132 of the first machine translation processing unit 113 according to the first embodiment.
  • FIG. 6 is a transition diagram schematically showing machine translation processing in the first machine translation processing unit 113 of the first embodiment.
  • FIG. 7 is a schematic configuration diagram of the translation unit 3 of the first embodiment.
  • FIG. 8 is a schematic configuration diagram of the encoder 321 of the second machine translation processing unit 32 according to the first embodiment.
  • FIG. 9 is a schematic configuration diagram of the attention unit ATN1A of the second machine translation processing unit 32 of the first embodiment.
  • FIG. 10 is a schematic configuration diagram of the decoder 322 of the second machine translation processing unit 32 of the first embodiment.
  • FIG. 11 is a transition diagram schematically showing machine translation processing in the second machine translation processing unit 32 of the first embodiment.
  • the machine translation system 1000 includes a pseudo bilingual data generation unit 1, a composite bilingual data acquisition unit 2, a translation unit 3, a base bilingual corpus storage unit DB_b, and a target language monolingual corpus storage unit DB_m. And a pseudo bilingual corpus storage unit DB_p.
  • the pseudo bilingual data generation unit 1 includes a reverse translation unit 11 and a pseudo bilingual data acquisition unit 12 as shown in FIG.
  • the reverse translation unit 11 inputs the base parallel translation data Db1_ej from the base parallel corpus storage unit DB_b, and the target language data D1_j from the target language monolingual corpus storage unit DB_m.
  • the reverse translation unit 11 executes a learning process using the base parallel translation data Db_ej, and acquires a learned model for machine translation of the target language into the source language. Then, the reverse translation unit 11 executes machine translation processing on one target language data D1_j using the learned model, and pseudo-N pieces (N: a natural number of 2 or more) of pseudo source language data are simulated. Acquired as source language group data D1_e_N. Then, the reverse translation unit 11 outputs the acquired pseudo source language group data D1_e_N to the pseudo parallel translation data acquisition unit 12.
  • the reverse translation unit 11 includes a data input processing unit 111, a control unit 112, a first machine translation processing unit 113, and a data output processing unit 114.
  • the data input processing unit 111 reads the target language data D1_j from the target language monolingual corpus storage unit DB_m and outputs data Info1 indicating that the target language data D1_j has been read to the control unit 112. Further, the data input processing unit 111 converts the target language data D1_j into data x 1... S having a data format that can be machine translated by the first machine translation processing unit 113, and the converted data x 1. The data is output to the machine translation processing unit 113.
  • the data x 1... S is a series of symbols such as a word string, the final symbol is a sentence end symbol (represented as EOS), and the number of symbols including EOS is S.
  • the control unit 112 receives the data Info1 output from the data input processing unit 111, generates a control signal Ctl1 based on the data Info1, and outputs the generated control signal Ctl1 to the first machine translation processing unit 113 and the data output.
  • the data is output to the processing unit 114.
  • the control unit 112 outputs a control signal Ctl1 to the first machine translation processing unit 113, and the first machine translation processing unit 113 performs machine translation multiple times (N times) for one target language data D1_j.
  • the first machine translation processing unit 113 is controlled so that the processing is executed.
  • control unit 112 outputs a control signal Ctl1 to the data output processing unit 114, and the data output processing unit 114 outputs N pieces of machine translation processing result data (data D1_e) for one target language data D1_j. ) Is acquired so that the data output processing unit 114 is acquired.
  • the first machine translation processing unit 113 is a functional unit that executes an encoder / decoder type neural machine translation process.
  • the first machine translation processing unit 113 reads the base parallel translation data Db_ej from the base parallel translation corpus DB_b, executes the learning process using the base parallel translation data Db_ej as learning data, and has been learned Build a model.
  • the first machine translation processing unit 113 performs machine translation processing on the data x 1... S input from the data input processing unit 111 in the execution mode (mode in which machine translation processing is executed using a learned model). , Output data y 1... T is acquired.
  • T is a series of symbols such as a word string, the final symbol is a sentence end symbol (EOS), and the number of symbols including EOS is T.
  • the first machine translation processing unit 113 outputs the acquired output data y 1... T to the data output processing unit 114. Based on the control signal Ctl1 output from the control unit 112, the first machine translation processing unit 113 executes machine translation processing a plurality of times for one target language data D1_j.
  • the first machine translation processing unit 113 includes an encoder 1131, a decoder 1132, and an attention unit ATN1.
  • the encoder 1131 includes an encoder-side embedding layer e1, an encoder-side LSTM layer (LSTM: Long short-term memory) e2, and a holding unit e3.
  • the encoder-side embedding layer e1 obtains the distributed representation data Xv s by performing matrix transformation on one symbol x s of the input data x 1... S using a matrix for performing embedding processing. To do. Then, the encoder-side buried layer e1 outputs the acquired distributed representation data Xv s in the encoder side LSTM layer e2.
  • the encoder-side LSTM layer e2 receives the distributed representation data Xv s and the input-side hidden state data hi s-1 at time s-1 output from the holding unit e3. Encoder side LSTM layer e2 from distributed representation data Xv s input side hidden state data hi s-1 Tokyo, obtains an input-side hidden state data hi s time s. Then, the encoder-side LSTM layer e2 is the input hidden state data hi s obtained, and outputs the holding portion e3 and attention unit ATN1.
  • Holder e3 inputs the input side hidden state data hi s time s output from the encoder side LSTM layer e2, both stored and held, the input side hidden state data at time s-1 one before the current time hi s-1 is output to the encoder-side LSTM layer e2.
  • the time s is the time when the data currently being processed is input
  • the time s-1 is the time when the symbol immediately before the input of the time s is input
  • the time s + 1 Is the time when the next symbol after time s is input.
  • the encoder 1131 repeats the above process from time 1 to S, and when time S is reached, the input side hidden state data hi S output from the encoder side LSTM layer e2 is output to the decoder 1132.
  • the decoder 1132 includes a decoder side embedded layer d0, a decoder side LSTM layer d1, a holding unit d2, a sampling unit d3, and a holding unit d4.
  • the decoder 1132 first records the input side hidden state data hi S output from the encoder 1131 in the holding unit d2 as the initial value ho 0 of the output side hidden state data. Also, the sentence start symbol (BOS), is held in the holding section d4 as the initial value y 0 of the output symbols.
  • BOS sentence start symbol
  • the decoder-side embedding layer d0 obtains the output data y t-1 at the time t-1 from the holding unit d2 for the time t-1 immediately before a certain time t, and a matrix for performing the embedding process Is used to obtain the distributed representation data Yv t ⁇ 1 . Then, the decoder-side embedded layer d0 outputs the acquired distributed representation data Yv t ⁇ 1 to the decoder-side LSTM layer d1.
  • Decoder side LSTM layer d1 is a context state data c t output from the attention unit ATN1, an output-side hidden states data ho t-1 at time t-1 which is output from the holding portion d2, is outputted from the holding portion d4 Distributed representation data Yv t-1 at time t-1.
  • Decoder side LSTM layer d1 is a context state data c t, and the output-side hidden states data ho t-1, from the distributed representation data Yv t-1 Tokyo, acquires the output side hidden state data ho t at time t, obtaining sampling part d3 output side hidden state data ho t that, the holding portion d2, and outputs the attention unit ATN1.
  • Holding part d2 enter the output-side hidden state data ho t at time t output from the decoder side LSTM layer d1, together store data decoder side the output side hidden state data ho t-1 at time t-1 Output to the LSTM layer d1.
  • Sampling part d3 inputs the output side hidden state data ho t output from the decoder side LSTM layer d1.
  • Sampling part d3 from the output side hidden state data ho t obtains output symbols y t at time t, and outputs an output symbol y t acquired the data output section 114 and the holding portion d4.
  • Holding part d4 inputs the output symbol y t at time t output from the sampling section d3, both stored and held, and outputs an output symbol y t-1 at time t-1 to the decoder side buried layer d0.
  • the attention unit ATN1 includes a holding unit a1 and a context calculation unit a2, as shown in FIG.
  • Holding portion a1 is the input hidden state data hi s output from the encoder is recorded for every time s from 1 to S.
  • the input side hidden state data at all times from 1 to S are collectively set to Hi.
  • Context calculating section a2 is holding unit a1 is input and the input-side hidden state data Hi all times to hold, and an output-side hidden states data ho t-1 output from the decoder side LSTM layer d1.
  • Context calculating unit a2 includes an input-side hidden state data Hi all times, from the output side hidden state data ho t-1 Tokyo, acquires context state data c t at time t. Then, the context calculation unit a2 outputs the acquired context state data c t to the decoder side LSTM layer d1.
  • the first machine translation processing unit 113 is configured as described above, and executes machine translation processing by state transition as shown in FIG.
  • t is set to the number T of symbols of the output data, and the output data y 1 .
  • the data output processing unit 114 receives the output data y 1... T output from the first machine translation processing unit 113 and the control signal Ctl 1 output from the control unit 112. After the machine translation result data corresponding to the data D1_j is acquired, the data output processing unit 114 acquires data D1_e that is the machine translation result data corresponding to the data D1_j from the acquired data y 1 .
  • the data output processing unit 114 obtains N machine translation result data D1_e based on the control signal Ctl1, and then uses the collected data of the N machine translation result data D1_e as pseudo source language group data D1_e_N. The data is output to the parallel translation data acquisition unit 12.
  • the pseudo parallel translation data acquisition unit 12 inputs the target language data D1_j from the target language monolingual corpus storage unit DB_m and also receives the pseudo source language group data D1_e_N output from the reverse translation unit 11.
  • the pseudo parallel translation data acquisition unit 12 generates data in which the target language data D1_j and the N pseudo source language data D1_e included in the pseudo source language group data D1_e_N are paired, and the generated N sets of data are simulated.
  • the parallel translation data Dp1_ej_N is output to the pseudo parallel translation corpus storage unit DB_p.
  • the composite parallel translation data acquisition unit 2 reads the pseudo parallel translation data Dp2_ej from the pseudo parallel translation corpus storage unit DB_p and reads the base parallel translation data Db2_ej from the base parallel translation corpus DB_b.
  • the composite parallel translation data acquisition unit 2 executes a process of combining the parallel translation data with the pseudo parallel translation data Dp2_ej and the base parallel translation data Db2_ej while associating the learning rate ⁇ , and acquires composite parallel translation data D2_ej. Then, the composite parallel translation data acquisition unit 2 outputs the composite parallel translation data D2_ej associated with the learning rate ⁇ to the translation unit 3.
  • the translation unit 3 includes a learning rate adjustment unit 30, an input data conversion unit 31, a second machine translation processing unit 32, and an output data conversion unit 33, as shown in FIG.
  • the learning rate adjustment unit 30 receives the combined bilingual data D2_ej associated with the learning rate ⁇ output from the combined bilingual data acquisition unit 2.
  • the learning rate adjusting unit 30 sets the output learning rate ⁇ _out to a corresponding learning rate ⁇ (for example, ⁇ 0) and outputs it.
  • the learning rate adjusting unit 30 sets the output learning rate ⁇ _out to the corresponding learning rate ⁇ (for example, ⁇ 0 / N). Set and output. Note that the learning rate adjustment unit 30 also outputs the output learning rate ⁇ _out to the attention unit ATN1.
  • the input data conversion unit 31 includes data x1 having a data format in which the source language data Din_e can be machine translated by the second machine translation processing unit 32 . . . Converted to S and converted data x1 . . . S is output to the second machine translation processing unit 32.
  • the data x 1... S is a series of symbols such as a word string, the final symbol is a sentence end symbol (represented as EOS), and the number of symbols including EOS is S.
  • the second machine translation processing unit 32 includes an encoder 321, a decoder 322, and an attention unit ATN1A.
  • the encoder 321 includes an encoder-side embedded layer e1, an encoder-side LSTM layer (LSTM: Long short-term memory) e2, and a holding unit e3. In addition, the encoder 321 receives the output learning rate ⁇ _out output from the learning rate adjustment unit 30 and performs learning (parameter adjustment) based on the output learning rate ⁇ _out during learning.
  • LSTM Long short-term memory
  • the encoder-side embedding layer e1 obtains the distributed representation data Xv s by performing matrix transformation on one symbol x s of the input data x 1... S using a matrix for performing embedding processing. To do. Then, the encoder-side buried layer e1 outputs the acquired distributed representation data Xv s in the encoder side LSTM layer e2.
  • the encoder-side LSTM layer e2 receives the distributed representation data Xv s and the input-side hidden state data hi s-1 at time s-1 output from the holding unit e3. Encoder side LSTM layer e2 from distributed representation data Xv s input side hidden state data hi s-1 Tokyo, obtains an input-side hidden state data hi s time s. Then, the encoder-side LSTM layer e2 is the input hidden state data hi s obtained, and outputs the holding portion e3 and attention portion ATN1A and the decoder-side LSTM layer d1.
  • Holder e3 inputs the input side hidden state data hi s time s output from the encoder side LSTM layer e2, both stored and held, the input side hidden state data at time s-1 one before the current time hi s-1 is output to the encoder-side LSTM layer e2.
  • the encoder 321 repeats the above processing from time 1 to S, and when time S is reached, the input side hidden state data hi S output from the encoder side LSTM layer e2 is output to the decoder 322.
  • the decoder 322 includes a decoder side embedded layer d0, a decoder side LSTM layer d1, a holding unit d2, a maximum probability output unit d3A, and a holding unit d4. In addition, the decoder 322 receives the output learning rate ⁇ _out output from the learning rate adjustment unit 30 and performs learning (parameter adjustment) based on the output learning rate ⁇ _out during learning.
  • the decoder 322 records the input side hidden state data hi S output from the encoder 321 in the holding unit d2 as the initial value ho 0 of the output side hidden state data. Also, the sentence start symbol (BOS), is held in the holding section d4 as the initial value y 0 of the output symbols.
  • BOS sentence start symbol
  • the decoder-side embedding layer d0 obtains the output symbol y t-1 at the time t-1 from the holding unit d2 for the time t-1 immediately before a certain time t, and a matrix for performing the embedding process Is used to obtain the distributed representation data Yv t ⁇ 1 . Then, the decoder-side embedded layer d0 outputs the acquired distributed representation data Yv t ⁇ 1 to the decoder-side LSTM layer d1.
  • Decoder side LSTM layer d1 is a context state data c t output from the attention unit ATN1A, an output-side hidden states data ho t-1 at time t-1 which is output from the holding portion d2, is outputted from the holding portion d4 Distributed representation data Yv t-1 at time t-1.
  • Decoder side LSTM layer d1 is a context state data c t, and the output-side hidden states data ho t-1, from the distributed representation data Yv t-1 Tokyo, acquires the output side hidden state data ho t at time t, obtaining maximum probability output unit d3A the output side hidden state data ho t that, the holding portion d2, and outputs the attention unit ATN1A.
  • Holding part d2 enter the output-side hidden state data ho t at time t output from the decoder side LSTM layer d1, together store data decoder side the output side hidden state data ho t-1 at time t-1 Output to the LSTM layer d1.
  • Maximum probability output unit d3A inputs the output side hidden state data ho t output from the decoder side LSTM layer d1. Maximum probability output unit d3A from the output side hidden state data ho t, is first calculated word output distribution Yo t at time t, and obtain output symbols y t from the word output distribution Yo t, the output symbol y t obtained The data is output to the data output processing unit 114 and the holding unit d4.
  • the word output distribution Yo t is all output symbol candidate is data indicated by the posterior probability distribution
  • the maximum probability output unit d3A selects the data having the maximum probability from the word output distribution Yo t, selection and it outputs an output symbol y t corresponding to the data.
  • Holding part d4 inputs the output symbol y t at time t output from the maximum probability output unit d3A, together memory retention, and outputs an output symbol y t-1 at time t-1 to the decoder side LSTM layer d1 .
  • the attention unit ATN1A includes a holding unit a1 and a context calculation unit a2.
  • Holding portion a1 is the input hidden state data hi s output from the encoder is recorded for every time s from 1 to S.
  • the input side hidden state data at all times from 1 to S are collectively set to Hi.
  • Context calculating unit a2 includes an input-side hidden state data Hi all time holding unit a1 is held, and the output-side hidden states data ho t-1 output from the decoder side LSTM layer d1, from the learning rate adjusting unit 30 The output learning rate ⁇ _out to be output is input.
  • Context calculating unit a2 includes an input-side hidden state data Hi all times, from the output side hidden state data ho t-1 Tokyo, acquires context state data c t at time t. Then, the context calculation unit a2 outputs the acquired context state data c t to the decoder side LSTM layer d1.
  • Attention unit ATN1A performs learning (parameter adjustment) based on output learning rate ⁇ _out during learning.
  • the second machine translation processing unit 32 is configured as described above, and executes machine translation processing by state transition as shown in FIG.
  • t is set to the number T of symbols of the output data, and the output data y 1 .
  • the output data converter 33 receives the output data y 1... T output from the second machine translation processor 32.
  • the output data conversion unit 33 continues to acquire the output symbols y t output from the second machine translation processing unit 32 in order from y 1 , but when y t becomes the sentence end symbol (EOS), the data Din_e Assuming that the corresponding machine translation result data has been prepared, the number of output symbols is set to T. Then, after the machine translation result data corresponding to the source language data Din_e is acquired, the output data conversion unit 33 acquires and outputs target language data Dout_j from the acquired data y 1 .
  • EOS sentence end symbol
  • the base parallel corpus storage unit DB_b stores, for example, parallel corpus data of a source language and a target language generated by a person. Accordingly, the bilingual corpus data stored in the base bilingual corpus storage unit DB_b is highly accurate bilingual data.
  • the base bilingual corpus storage unit DB_b is realized by a database, for example.
  • the target language monolingual corpus storage unit DB_m stores monolingual corpus data of the target language.
  • the target language monolingual corpus storage unit DB_m is realized by a database, for example.
  • the pseudo parallel translation corpus storage unit DB_p stores the pseudo parallel translation data Dp1_ej_N output from the pseudo parallel translation data acquisition unit 12.
  • the reverse translation unit 11 of the pseudo parallel translation data generation unit 1 reads the base parallel translation data Db_ej from the base parallel translation corpus DB_b and executes the learning process using the base parallel translation data Db_ej as learning data in the learning mode (the mode in which the learning process is executed). And build a trained model.
  • the reverse translation unit 11 of the pseudo parallel translation data generation unit 1 causes the data input processing unit 111 to read the target language data D1_j from the target language monolingual corpus storage unit DB_m.
  • the data input processing unit 111 outputs data Info1 indicating that the target language data D1_j has been read to the control unit 112. Further, the data input processing unit 111 converts the target language data D1_j into data x 1... S having a data format that can be machine translated by the first machine translation processing unit 113, and outputs the data to the first machine translation processing unit 113.
  • the first machine translation processing unit 113 performs the data x 1 input from the data input processing unit 111 in the execution mode (a mode in which machine translation processing is executed using a learned model acquired by learning with the base parallel translation data Db_ej) .
  • Machine translation processing is executed for S. Specifically, machine translation processing from the target language to the source language is executed in the reverse translation unit 11 as follows.
  • One symbol x s of the input data x 1... S is input to the encoder side embedded layer e1.
  • the distributed representation data Xv s is acquired by performing matrix transformation on the input symbol x s using the matrix for embedding processing. Then, the obtained dispersion representation data Xv s is output to the encoder side LSTM layer e2.
  • encoding processing (for example, encoding processing by LSTM) is performed on the distributed representation data Xv s and the input side hidden state data hi s-1, and the input side hidden state data hi s at time s. Is acquired.
  • Input hidden state data hi s obtained at the encoder side LSTM layer e2 is output to the holding portion e3 and attention unit ATN1.
  • Holder e3 inputs the input side hidden state data hi s time s output from the encoder side LSTM layer e2, both stored and held, the input side hidden state data at time s-1 one before the current time hi s-1 is output to the encoder-side LSTM layer e2.
  • the above processing is repeated from time 1 to S, and when the time S is reached, the input side hidden state data hi S output from the encoder side LSTM layer e 2 is output to the decoder 1132.
  • ATN1 a1 is the input hidden state data hi s output from the encoder is recorded for every time s from 1 to S.
  • the input side hidden state data at all times from 1 to S are collectively set to Hi.
  • Context calculating unit a2 includes an input-side hidden state data Hi all times, from the output side hidden state data ho t-1 Tokyo, acquires context state data c t at time t. Then, the context calculation unit a2 outputs the acquired context state data c t to the decoder side LSTM layer d1.
  • the context calculation unit a2 calculates an input symbol alignment score est at a certain time s from the input-side hidden state data hi s and the output-side hidden state data hot -1 at a certain time s. This calculation, the input-side hidden state data hi s, although methods such as taking a weighted sum of the output-side hidden state data ho t is used, but other calculation methods.
  • the context calculation unit a2 calculates the input symbol alignment score est for all times from 1 to S, normalizes the sum so that the sum is 1, and obtains the input symbol weight ⁇ st . Then, the context calculation unit a2 for all time s, and mixed weighted by the weight alpha st input symbols input side hidden state data Hi, obtain context state data c t.
  • the context state data c t acquired by the processing is output to the decoder side LSTM layer d1.
  • the decoder 1132 first records the input side hidden state data hi S output from the encoder 1131 in the holding unit d2 as the initial value ho 0 of the output side hidden state data. Also, the sentence start symbol (BOS), is held in the holding section d4 as the initial value y 0 of the output symbols.
  • BOS sentence start symbol
  • the decoder-side embedding layer d0 obtains the output symbol y t-1 at the time t-1 from the holding unit d2 for the time t-1 immediately before a certain time t, and a matrix for performing the embedding process Is used to obtain the distributed representation data Yv t ⁇ 1 . Then, the decoder-side embedded layer d0 outputs the acquired distributed representation data Yv t ⁇ 1 to the decoder-side LSTM layer d1.
  • the decoding processing on a distributed representation data Yv t-1 (for example, decoding processing by LSTM) is performed, Output side hidden state data hot at time t is acquired. Then, the obtained output-side hidden states data ho t is the sampling unit d3, the holding portion d2, and are outputted to the attention unit ATN1.
  • Holding part d2 enter the output-side hidden state data ho t at time t output from the decoder side LSTM layer d1, together store data decoder side the output side hidden state data ho t-1 at time t-1 Output to the LSTM layer d1.
  • the sampling unit d3 calculates the word output distribution Yo t from the output side hidden state data ho t, by random sampling from there, the output symbol y t at time t is obtained.
  • Word output distribution Yo t is all output symbol candidate is data indicated by the posterior probability distribution, the output-side hidden state data ho t linearly converted, is calculated by normalizing.
  • the posterior probability of the output symbol selects data having the maximum probability from the word output distribution Yo t, it produces an output symbol y t corresponding to the selected data.
  • the sampling part d3 selects data at random from all of the output symbol candidate probability in accordance with the words output distribution Yo t, as output symbols y t data corresponding to the selected data Output.
  • the data output from the sampling unit d3 is not limited to data with the maximum posterior probability of the output symbol, and data with low output symbol posterior probability (low likelihood) is also output. .
  • the decoder 1132 repeats the above processing from time 1 to time T to obtain output data y 1 .
  • the output data y 1... T acquired as described above is output from the first machine translation processing unit 113 to the data output processing unit 114.
  • the first machine translation processing unit 113 performs multiple times until N source language data are acquired for one target language data D1_j based on the control signal Ctl1 output from the control unit 112. Perform machine translation processing.
  • the data output processing unit 114 continues to acquire the output data y 1... T output from the first machine translation processing unit 113 until the machine translation result data corresponding to the data D1_j is acquired. Then, after the machine translation result data corresponding to the data D1_j is acquired, the data output processing unit 114 acquires data D1_e which is machine translation result data corresponding to the data D1_j from the acquired data y 1 .
  • the data output processing unit 114 obtains N machine translation result data D1_e based on the control signal Ctl1, and then uses the collected data of the N machine translation result data D1_e as pseudo source language group data D1_e_N. The data is output to the parallel translation data acquisition unit 12.
  • the pseudo parallel translation data acquisition unit 12 generates data in which the target language data D1_j and the N pseudo source language data D1_e included in the pseudo source language group data D1_e_N are paired, and the generated N sets of data are simulated.
  • the parallel translation data Dp1_ej_N is output to the pseudo parallel translation corpus storage unit DB_p.
  • the reverse translation unit 11 of the pseudo bilingual data generation unit 1 the sampling unit d3, random data is selected with a probability in accordance with the output-side hidden state data ho word output distributions calculated from t Yo t, it is selected symbols corresponding to the data is output as the output symbol y t. Therefore, the reverse translation unit 11 of the pseudo bilingual data generation unit 1 can acquire various source language data with logarithmic likelihood distributed as shown in FIG. In particular, in the prior art, pseudo source language data having a low logarithmic likelihood is not acquired, and generally, the output of machine translation has a similar tendency and it is difficult to produce diversity. The reverse translation unit 11 can acquire various translated sentences that have been difficult to output by conventional machine translation by performing the processing as described above.
  • the pseudo bilingual corpus storage unit DB_p stores the pseudo bilingual data Dp1_ej_N acquired by the pseudo bilingual data generation unit 1.
  • the composite parallel translation data acquisition unit 2 reads the pseudo parallel translation data Dp2_ej from the pseudo parallel translation corpus storage unit DB_p and reads the base parallel translation data Db2_ej from the base parallel translation corpus DB_b.
  • the composite parallel translation data acquisition unit 2 executes a process of combining the parallel translation data with the pseudo parallel translation data Dp2_ej and the base parallel translation data Db2_ej, and acquires composite parallel translation data D2_ej.
  • the composite parallel translation data acquisition unit 2 creates the pseudo parallel translation data Dp2_ej and the base parallel translation data Db2_ej as mini-batch set data, and sets a learning rate for each created mini-batch set.
  • the composite parallel translation data acquisition unit 2 mixes the mini-batch set data created by collecting the base parallel translation data Db2_ej generated as described above and the mini-batch set data created by collecting the pseudo-parallel translation data Dp2_ej, and changes the order.
  • the composite parallel translation data D2_ej is generated as the following data.
  • D2_ej ⁇ Data1 (Db2_ej, ⁇ 0), Data2 (Db2_ej, ⁇ 0), Data3 (Db2_ej, ⁇ 0), Data4 (Dp2_ej, ⁇ 1), Data5 (Dp2_ej, ⁇ 1),..., 1 ...
  • ⁇ 1 ⁇ 0 / N
  • the number of data of the mini batch set data created by collecting the pseudo parallel translation data Dp2_ej is much larger than the number of data of the mini batch set data created by collecting the base parallel translation data Db2_ej.
  • the accuracy of the parallel translation data is higher in the base parallel translation data Db2_ej than in the pseudo parallel translation data Dp2_ej. Therefore, when the learning model of the translation unit 3 is constructed, if the learning process is executed with the pseudo bilingual data Dp2_ej and the base bilingual data Db2_ej having the same learning rate, a highly accurate learning process (training process) cannot be performed. .
  • the composite parallel translation data acquisition unit 2 uses the learning rate ⁇ 1 of the mini-batch set data created by collecting the pseudo parallel translation data Dp2_ej as the learning rate ⁇ 0 of the mini-batch set data created by collecting the base parallel translation data Db2_ej. Is also set to a small value, and the composite parallel translation data D2_ej is acquired. Then, by using the composite parallel translation data D2_ej acquired in this way, the translation unit 3 can perform highly accurate learning processing (training processing).
  • the composite parallel translation data D2_ej acquired as described above is output from the composite parallel translation data acquisition unit 2 to the translation unit 3.
  • the learning rate adjustment unit 30 of the translation unit 3 inputs the composite translation data D2_ej associated with the learning rate ⁇ output from the composite translation data acquisition unit 2.
  • the learning rate adjusting unit 30 sets the output learning rate ⁇ _out to a corresponding learning rate ⁇ (for example, ⁇ 0) and outputs it.
  • the learning rate adjusting unit 30 sets the output learning rate ⁇ _out to the corresponding learning rate ⁇ (for example, ⁇ 0 / N). Set and output. Note that the learning rate adjustment unit 30 also outputs the output learning rate ⁇ _out to the attention unit ATN1A.
  • the learning rate adjustment unit 30 sets the learning rate to ⁇ 0 and the base parallel translation included in the data Data1 (Db2_ej, ⁇ 0).
  • Data is input to the encoder 321 and the decoder 322, and a learning process (training process) for constructing a learning model of the second machine translation processing unit 32 is executed.
  • the learning process is executed at a high learning rate.
  • the pseudo parallel translation data included in Dp2_ej, ⁇ 1) is input to the encoder 321 and the decoder 322, and a learning process (training process) for constructing a learning model of the second machine translation processing unit 32 is executed.
  • the learning process (training process) is executed at a lower learning rate than when the base parallel translation data is used.
  • the translation unit 3 executes a learning process (training process) for constructing a learning model.
  • Source language data Din_e is input to the input data conversion unit 31 of the translation unit 3.
  • the input data conversion unit 31 converts the source language data Din_e into data x 1... S having a data format that can be machine translated by the second machine translation processing unit 32, and the converted data x 1.
  • the data is output to the processing unit 32.
  • the machine translation processing is executed on the data x 1... S using the learning model constructed in the translation unit 3 by the above machine translation training processing, and the output data y 1. Is acquired.
  • the output data conversion unit 33 receives the output data y 1... T output from the second machine translation processing unit 32, and the output data conversion unit 33 acquires the machine translation result data corresponding to the source language data Din_e. Thereafter, the target language data Dout_j is acquired from the acquired data y 1 .
  • the machine translation execution process in the machine translation system 1000 is executed.
  • the machine translation system 1000 uses a single language corpus of a target language to acquire a plurality of pseudo source language data from a single target language data, and to acquire a large amount of pseudo bilingual corpus data having diversity. be able to.
  • the learning rate of the machine translation model is changed by using both the pseudo bilingual corpus data having a large amount of diversity and the base bilingual corpus data having a small amount but high accuracy to change the learning rate. (Training process) is executed.
  • the machine translation system 1000 can acquire a learned model (machine translation model) with very high accuracy.
  • the base bilingual corpus data is 400,000 text data
  • the pseudo bilingual corpus data is 1,550,000 text data
  • the above-described processing is performed by the machine translation model learning process (training process) in the translation unit 3.
  • the accuracy of translation by the above processing is 3.0 to 5 in terms of BLEU score compared to the machine translation by the machine translation model (learned model) obtained using only the base bilingual corpus data.
  • the BLEU score is improved by about 0.5 to 2.0 compared with the case where the technique of Non-Patent Document 1 is used.
  • the pseudo-translation data Dp1_ej_N is filtered. You may make it perform. For example, the data to be selected may be determined based on the following criteria. (1) Likelihood The pseudo source language data D1_e to be included in the pseudo parallel translation data Dp1_ej_N is selected on the basis of the likelihood acquired by the reverse translation unit 11 (including the likelihood corrected by the length of the translated sentence).
  • the pseudo source language data D1_e to be included in the pseudo parallel translation data Dp1_ej_N is selected with reference to the reliability of the translation acquired by the technique disclosed in the following document (Atsushi Fujita, etc.). Atsushi Fujita and Eiichiro Sumita. 2017. Japanese to English / Chinese / Korean datasets for translation quality estimation and automatic post-editing.In Proc of WAT2017, pages 79-88.
  • (3) Random selection The pseudo source language data D1_e to be included in the pseudo parallel translation data Dp1_ej_N is selected by random selection.
  • the learning rate may be variable for each batch set data.
  • N (N: a natural number of 2 or more) pseudo source language data is acquired for one target language data by executing the process in the first machine translation processing unit N times.
  • the first machine translation processing unit executes one machine translation process, and outputs data from a plurality of candidates in the word output distribution for the input data.
  • N pseudo source language data may be acquired by repeating the process of randomly selecting N times.
  • Some or all of the functional units of the machine translation system 1000 of the above embodiment may be realized by a single device or may be realized by a plurality of devices.
  • each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or all of the blocks.
  • LSI Although referred to as LSI here, it may be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • part or all of the processing of each functional block in each of the above embodiments may be realized by a program.
  • a part or all of the processing of each functional block in each of the above embodiments is performed by a central processing unit (CPU) in the computer.
  • a program for performing each processing is stored in a storage device such as a hard disk or a ROM, and is read out and executed in the ROM or the RAM.
  • each processing of the above embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
  • OS operating system
  • middleware middleware
  • predetermined library predetermined library
  • each functional unit of the above embodiment is realized by software
  • the hardware configuration shown in FIG. 9 for example, CPU, ROM, RAM, input unit, output unit, communication unit, storage unit (for example, HDD, SSD, etc.)
  • Each functional unit may be realized by software processing using a storage unit), a hardware configuration in which an external media drive or the like is connected by a bus Bus).
  • the software may be realized by using a single computer having the hardware configuration shown in FIG. And may be realized by distributed processing.
  • the pseudo bilingual data generation method when the pseudo bilingual data generation method is realized by software, the pseudo bilingual data generation method may be realized by the flowchart shown in FIG.
  • step S101 the target language monolingual data is read from the target language monolingual corpus.
  • step S102 reverse translation processing is executed for one target language data read in step S101, and N source language data are acquired.
  • step S103 pseudo bilingual data obtained by combining one target language data and N source language data acquired by reverse translating the data is acquired.
  • step S104 the pseudo parallel translation data corpus is acquired by storing the pseudo parallel translation data acquired in step S103 in, for example, a database.
  • a learning process (training process) method for constructing a machine translation learning model when a learning process (training process) method for constructing a machine translation learning model is realized by software, the method may be realized by a flowchart shown in FIG.
  • step S201 base parallel translation data is read from the base parallel translation corpus.
  • step S202 the pseudo bilingual data is read from the pseudo bilingual corpus.
  • step S203 a mini-batch set of the base bilingual data acquired in step S201 is generated, a mini-batch set of the pseudo bilingual data acquired in step S202 is generated, and both the mini-batch sets are mixed to change the order, Get composite bilingual data.
  • step S204 the learning rate of each mini-batch set included in the composite parallel translation data is set.
  • step S205 learning processing is performed using each mini-batch set included in the composite parallel translation data. At this time, the learning rate set for the mini-batch set to be processed is used as the learning rate.
  • the pseudo parallel translation data generation method and the learning processing (training processing) method for constructing the machine translation learning model can be realized by software.
  • execution order of the processing methods in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order can be changed without departing from the gist of the invention.
  • a computer program that causes a computer to execute the above-described method and a computer-readable recording medium that records the program are included in the scope of the present invention.
  • Examples of the computer-readable recording medium include a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a large capacity DVD, a next-generation DVD, and a semiconductor memory.
  • the computer program is not limited to the one recorded on the recording medium, and may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.
  • a translation system can be realized. For this reason, this invention is useful in the natural language processing related industrial field
  • Machine Translation System 1 Pseudo parallel translation data generation unit (pseudo parallel translation data generation device) 11 Reverse translation unit 113 First machine translation processing unit 1131 Encoder 1132 Decoder 12 Pseudo parallel translation data acquisition unit 2 Composite translation data acquisition unit 3 Translation unit DB_p Pseudo parallel corpus storage unit DB_b Base corpus storage unit DB_m Target language monolingual corpus storage unit

Abstract

目的言語の単言語コーパスを用いてエンコーダを強化し、翻訳器全体の精度向上させるニューラル機械翻訳のモデル訓練方法と当該モデル訓練方法を実行するための機械翻訳システムを実現する。機械翻訳システム(１０００)では、目的言語の単言語コーパスを用いて、１つの目的言語データから複数の疑似原言語データを取得し、多様性を有する疑似対訳コーパスデータを大量に取得することができる。そして、機械翻訳システム(１０００)では、大量に取得した多様性を有する疑似対訳コーパスデータ、および、少量だが精度の高いベース対訳コーパスデータの両方を用いて、学習率を変えて、機械翻訳モデルの学習処理（訓練処理）を実行する。これにより、機械翻訳システム(１０００)では、非常に精度の高い学習済みモデル（機械翻訳モデル）を取得することができる。

Description

疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法
　本発明は、エンコーダ・デコーダ方式のニューラル機械翻訳技術に関する。
　近年の機械翻訳は、エンコーダ・デコーダ方式のニューラル機械翻訳(ＮＭＴ：Ｎｅｕｒａｌ　Ｍａｃｈｉｎｅ　Ｔｒａｎｓｌａｔｉｏｎ)が主流となってきている。エンコーダ・デコーダ方式のニューラル機械翻訳では、入力文（原文）をエンコーダによって、状態と呼ばれる数値ベクトルに符号化し、当該状態に基づいて、デコーダが翻訳文を生成する。エンコーダ・デコーダ方式のニューラル機械翻訳は、従来の統計翻訳方式に比べ、高品質な翻訳文を生成することが可能であるが、その一方で、エンコーダ・デコーダ方式のニューラル機械翻訳のモデルを訓練するために大量の対訳文が必要である。しかし、大規模対訳コーパスは、単言語コーパスに比べ、一般的に入手が難しい。
　この問題に対処するために、非特許文献１に開示の技術では、目的言語の単言語コーパスを原言語へ逆翻訳して疑似対訳文を生成し、生成した疑似対訳文を対訳コーパスと混合して訓練する方法を採用している。この方法の利点は、疑似対訳文といっても、目的言語側の文は人が作成した正しい文であるため、デコーダは正しく訓練されることである。そのため、上記方法を用いることで、単言語コーパスから言語モデルを構築する方法を用いる場合に比べても、安定して精度の高い機械翻訳のためのモデルを構築することが可能となる。
Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016a. Improving neural machine translation models with monolingual data. In Proc. of ACL-2016 (Volume 1: Long Papers), pages 86-96.
　しかしながら、非特許文献１に開示されている方法では、エラーを含む疑似原文を用いて訓練するため、エンコーダの精度向上が実現されていない可能性がある。
　そこで本発明は、上記課題に鑑み、目的言語の単言語コーパスを用いてエンコーダ（アテンションを含む）を強化し、翻訳器全体の精度向上させるニューラル機械翻訳のモデル訓練方法と当該モデル訓練方法を実行するための機械翻訳システムを実現することを目的とする。また、本発明は、上記機械翻訳システムを構成する疑似対訳データ生成装置、機械翻訳処理装置、および、上記機械翻訳システムで実行される疑似対訳データ生成方法を実現することを目的とする。
　上記課題を解決するための第１の発明は、逆翻訳部と、疑似対訳データ取得部と、を備える疑似対訳データ生成装置である。
　逆翻訳部は、目的言語単言語コーパスから取得した１つの目的言語データに対して機械逆翻訳処理を施すことでＮ個（Ｎ：２以上の自然数）の疑似原言語データを取得する。
　疑似対訳データ取得部と、１つの目的言語データと、逆翻訳部により取得されたＮ個の疑似原言語データのそれぞれを組にすることでＮ組の疑似対訳データを取得する。
　これにより、この疑似対訳データ生成装置では、目的言語の単言語コーパスを用いて、１つの目的言語データから複数の疑似原言語データを取得し、多様性を有する疑似対訳コーパスデータを大量に取得することができる。
　第２の発明は、第１の発明であって、逆翻訳部は、エンコーダと、デコーダとを備える。
　エンコーダは、入力データから入力側隠れ状態データを取得する。
　デコーダは、エンコーダにより取得された入力側隠れ状態データから出力側隠れ状態データを取得し、取得した出力側隠れ状態データが表す出力単語分布の中からランダムにデータを選択し、選択したデータに対応する単語データを出力データとして出力する。
　これにより、この疑似対訳データ生成装置では、デコーダから出力されるデータは、出力単語の事後確率が最大確率となるデータに限定されず、出力単語の事後確率が低い（尤度が低い）データも出力されることになる。その結果、この疑似対訳データ生成装置では、従来取得することが困難であった多様性を有する疑似対訳データを取得することができる。
　なお、「入力側隠れ状態データ」とは、エンコーダにより、入力データをエンコード処理したときに取得される内部状態を示すデータである。「入力側隠れ状態データ」は、例えば、入力データに対して、埋込処理により取得した分散表現データを、さらに、ＬＳＴＭ層による処理を実行したときに得られるデータ（内部状態を表すデータ）である。
　第３の発明は、第１または第２の発明であって、疑似対訳データを記憶する疑似対訳コーパス記憶部をさらに備える。
　疑似対訳データ取得部は、逆翻訳部が取得した疑似原言語データの尤度および信頼度の少なくとも一方に基づいて、Ｎ組の疑似対訳データに対してフィルタリング処理を行い、フィルタリング処理後の疑似対訳データを疑似対訳コーパス記憶部に記憶させる。
　これにより、尤度や信頼度に基づいて、機械翻訳のモデル学習を行う際に効率良く学習処理が実行される疑似対訳データを取得することができる。
　第４の発明は、合成対訳データ取得部と、翻訳部と、を備える機械翻訳処理装置である。
　合成対訳データ取得部は、ベース対訳コーパスから取得したベース対訳データと、当該ベース対訳データに対応する第１学習率とを対応付けて第１バッチ集合データを生成し、第１から第３のいずれかの発明である疑似対訳データ生成装置により生成された疑似対訳データと、当該疑似対訳データに対応する第２学習率とを対応付けて第２バッチ集合データを生成する。そして、合成対訳データ取得部は、第１バッチ集合データと第２バッチ集合データを含む合成対訳データを取得する。
　翻訳部は、合成対訳データを用いて学習することで機械翻訳処理用の学習済みモデルを取得するとともに、学習済みモデルにより、原言語データを目的言語データに機械翻訳する機械翻訳処理を実行する。また、翻訳部は、第１バッチ集合データを用いた学習処理では第１学習率により学習処理を実行し、第２バッチ集合データを用いた学習処理では第２学習率により学習処理を実行する。
　この機械翻訳処理装置では、目的言語の単言語コーパスを用いて、１つの目的言語データから複数の疑似原言語データを取得することで大量に取得した多様性を有する疑似対訳コーパスデータを用いて、機械翻訳の学習モデルを構築するための学習処理（訓練処理）を効率良く行うことができる。そして、この機械翻訳処理装置では、大量に取得した多様性を有する疑似対訳コーパスデータ、および、少量だが精度の高いベース対訳コーパスデータの両方を用いて、学習率を変えて、機械翻訳モデルの学習処理（訓練処理）を実行する。これにより、この機械翻訳処理装置では、非常に精度の高い学習済みモデル（機械翻訳モデル）を取得することができる。
　第５の発明は、第４の発明であって、第１学習率は、第２学習率よりも大きな値である。
　これにより、この機械翻訳処理装置では、少量だが精度の高いベース対訳コーパスデータを用いた学習処理（訓練処理）の学習率を高くし、大量だが精度がベース対訳コーパスデータよりも低い疑似対訳コーパスデータを用いた学習処理（訓練処理）の学習率を低くすることができる。その結果、この機械翻訳処理装置では、精度の高い機械翻訳学習済みモデルを取得することができる。
　第６の発明は、逆翻訳ステップと、疑似対訳データ取得ステップと、を備える疑似対訳データ生成方法である。
　逆翻訳ステップは、目的言語単言語コーパスから取得した１つの目的言語データに対して機械逆翻訳処理を施すことでＮ個（Ｎ：２以上の自然数）の疑似原言語データを取得する。
　疑似対訳データ取得ステップは、１つの目的言語データと、逆翻訳ステップにより取得されたＮ個の疑似原言語データのそれぞれを組にすることでＮ組の疑似対訳データを取得する。
　これにより、第１の発明と同様の効果を奏する疑似対訳データ生成方法を実現することができる。
　本発明によれば、目的言語の単言語コーパスを用いてエンコーダ（アテンションを含む）を強化し、翻訳器全体の精度向上させるニューラル機械翻訳のモデル訓練方法と当該モデル訓練方法を実行するための機械翻訳システムを実現することができる。また、本発明によれば、上記機械翻訳システムを構成する疑似対訳データ生成装置、機械翻訳処理装置、および、上記機械翻訳システムで実行される疑似対訳データ生成方法を実現することができる。
第１実施形態に係る機械翻訳システム１０００の概略構成図。 第１実施形態の疑似対訳データ生成部１の逆翻訳部１１の概略構成図。 第１実施形態の第１機械翻訳処理部１１３のエンコーダ１１３１の概略構成図。 第１実施形態の第１機械翻訳処理部１１３のアテンション部ＡＴＮ１の概略構成図。 第１実施形態の第１機械翻訳処理部１１３のデコーダ１１３２の概略構成図。 第１実施形態の第１機械翻訳処理部１１３における機械翻訳処理を模式的に示した遷移図。 第１実施形態の翻訳部３の概略構成図。 第１実施形態の第２機械翻訳処理部３２のエンコーダ３２１の概略構成図。 第１実施形態の第２機械翻訳処理部３２のアテンション部ＡＴＮ１Ａの概略構成図。 第１実施形態の第２機械翻訳処理部３２のデコーダ３２２の概略構成図。 第１実施形態の第２機械翻訳処理部３２における機械翻訳処理を模式的に示した遷移図。 逆翻訳部１１により取得した疑似原言語群データＤ１＿ｅ＿Ｎの一例を示す図。 ＣＰＵバス構成を示す図。 疑似対訳データ生成方法のフローチャート、および、機械翻訳の学習モデルを構築するための学習処理（訓練処理）方法のフローチャート。
　［第１実施形態］
　第１実施形態について、図面を参照しながら、以下説明する。
　＜１．１：機械翻訳システムの構成＞
　図１は、第１実施形態に係る機械翻訳システム１０００の概略構成図である。
　図２は、第１実施形態の疑似対訳データ生成部１の逆翻訳部１１の概略構成図である。
　図３は、第１実施形態の第１機械翻訳処理部１１３のエンコーダ１１３１の概略構成図である。
　図４は、第１実施形態の第１機械翻訳処理部１１３のアテンション部ＡＴＮ１の概略構成図である。
　図５は、第１実施形態の第１機械翻訳処理部１１３のデコーダ１１３２の概略構成図である。
　図６は、第１実施形態の第１機械翻訳処理部１１３における機械翻訳処理を模式的に示した遷移図である。
　図７は、第１実施形態の翻訳部３の概略構成図である。
　図８は、第１実施形態の第２機械翻訳処理部３２のエンコーダ３２１の概略構成図である。
　図９は、第１実施形態の第２機械翻訳処理部３２のアテンション部ＡＴＮ１Ａの概略構成図である。
　図１０は、第１実施形態の第２機械翻訳処理部３２のデコーダ３２２の概略構成図である。
　図１１は、第１実施形態の第２機械翻訳処理部３２における機械翻訳処理を模式的に示した遷移図である。
　機械翻訳システム１０００は、図１に示すように、疑似対訳データ生成部１と、合成対訳データ取得部２と、翻訳部３と、ベース対訳コーパス記憶部ＤＢ＿ｂと、目的言語単言語コーパス記憶部ＤＢ＿ｍと、疑似対訳コーパス記憶部ＤＢ＿ｐとを備える。
　疑似対訳データ生成部１は、図１に示すように、逆翻訳部１１と、疑似対訳データ取得部１２とを備える。
　逆翻訳部１１は、ベース対訳コーパス記憶部ＤＢ＿ｂからベース対訳データＤｂ１＿ｅｊを入力し、また、目的言語単言語コーパス記憶部ＤＢ＿ｍから目的言語データＤ１＿ｊを入力する。逆翻訳部１１は、ベース対訳データＤｂ＿ｅｊを用いて学習処理を実行し、目的言語を原言語に機械翻訳する学習済みモデルを取得する。そして、逆翻訳部１１は、当該学習済みモデルを用いて、１つの目的言語データＤ１＿ｊに対して、機械翻訳処理を実行し、Ｎ個（Ｎ：２以上の自然数）の疑似原言語データを疑似原言語群データＤ１＿ｅ＿Ｎとして取得する。そして、逆翻訳部１１は、取得した疑似原言語群データＤ１＿ｅ＿Ｎを疑似対訳データ取得部１２に出力する。
　逆翻訳部１１は、図２に示すように、データ入力処理部１１１と、制御部１１２と、第１機械翻訳処理部１１３と、データ出力処理部１１４とを備える。
　データ入力処理部１１１は、目的言語単言語コーパス記憶部ＤＢ＿ｍから目的言語データＤ１＿ｊを読み出すとともに、目的言語データＤ１＿ｊを読み出したことを示すデータＩｎｆｏ１を制御部１１２に出力する。また、データ入力処理部１１１は、目的言語データＤ１＿ｊを第１機械翻訳処理部１１３で機械翻訳処理ができるデータ形式を有するデータｘ１…Ｓに変換し、変換したデータｘ１…Ｓを第１機械翻訳処理部１１３に出力する。なお、データｘ１…Ｓは、単語列のようなシンボルの系列であり、その最終シンボルは文末記号（ＥＯＳと表す）であり、ＥＯＳを含むシンボル数はＳとする。
　制御部１１２は、データ入力処理部１１１から出力されるデータＩｎｆｏ１を入力し、当該データＩｎｆｏ１に基づいて、制御信号Ｃｔｌ１を生成し、生成した制御信号Ｃｔｌ１を第１機械翻訳処理部１１３およびデータ出力処理部１１４に出力する。制御部１１２は、第１機械翻訳処理部１１３に対して制御信号Ｃｔｌ１を出力し、第１機械翻訳処理部１１３において、１つの目的言語データＤ１＿ｊに対して、複数回（Ｎ回）、機械翻訳処理が実行されるように第１機械翻訳処理部１１３を制御する。また、制御部１１２は、データ出力処理部１１４に対して制御信号Ｃｔｌ１を出力し、データ出力処理部１１４において、１つの目的言語データＤ１＿ｊに対して、Ｎ個の機械翻訳処理結果データ（データＤ１＿ｅ）が取得されるようにデータ出力処理部１１４を制御する。
　第１機械翻訳処理部１１３は、エンコーダ・デコーダ方式のニューラル機械翻訳処理を実行する機能部である。第１機械翻訳処理部１１３は、学習モード（学習処理を実行するモード）において、ベース対訳コーパスＤＢ＿ｂからベース対訳データＤｂ＿ｅｊを読み出し、当該ベース対訳データＤｂ＿ｅｊを学習データとして学習処理を実行し、学習済みモデルを構築する。第１機械翻訳処理部１１３は、実行モード（学習済みモデルを用いて機械翻訳処理を実行するモード）において、データ入力処理部１１１から入力したデータｘ１…Ｓに対して機械翻訳処理を実行し、出力データｙ1…Ｔを取得する。なお、データｙ1…Ｔは、単語列のようなシンボルの系列であり、その最終シンボルは文末記号（ＥＯＳ）であり、ＥＯＳを含むシンボル数はＴとする。そして、第１機械翻訳処理部１１３は、取得した出力データｙ1…Ｔをデータ出力処理部１１４に出力する。第１機械翻訳処理部１１３は、制御部１１２から出力される制御信号Ｃｔｌ１に基づいて、１つの目的言語データＤ１＿ｊに対して、複数回、機械翻訳処理を実行する。
　第１機械翻訳処理部１１３は、図３～図５に示すように、エンコーダ１１３１と、デコーダ１１３２と、アテンション部ＡＴＮ１とを備える。
　エンコーダ１１３１は、エンコーダ側埋込層ｅ１と、エンコーダ側ＬＳＴＭ層（ＬＳＴＭ：Ｌｏｎｇ　ｓｈｏｒｔ－ｔｅｒｍ　ｍｅｍｏｒｙ）ｅ２と、保持部ｅ３とを備える。
　エンコーダ側埋込層ｅ１は、入力データｘ１…Ｓのうちの１つのシンボルｘｓに対して、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データＸｖｓを取得する。そして、エンコーダ側埋込層ｅ１は、取得した分散表現データＸｖｓをエンコーダ側ＬＳＴＭ層ｅ２に出力する。
　エンコーダ側ＬＳＴＭ層ｅ２は、分散表現データＸｖｓと、保持部ｅ３から出力される時刻ｓ－１の入力側隠れ状態データｈｉｓ－１とを入力する。エンコーダ側ＬＳＴＭ層ｅ２は、分散表現データＸｖｓと入力側隠れ状態データｈｉｓ－１とから、時刻ｓの入力側隠れ状態データｈｉｓを取得する。そして、エンコーダ側ＬＳＴＭ層ｅ２は、取得した入力側隠れ状態データｈｉｓを、保持部ｅ３とアテンション部ＡＴＮ１に出力する。
　保持部ｅ３は、エンコーダ側ＬＳＴＭ層ｅ２から出力される時刻ｓの入力側隠れ状態データｈｉｓを入力し、記憶保持するともに、現時刻の１つ前の時刻ｓ－１の入力側隠れ状態データｈｉｓ－１をエンコーダ側ＬＳＴＭ層ｅ２に出力する。なお、時刻ｓは、現在処理対象となっているデータが入力された時刻であり、時刻ｓ－１は、時刻ｓの入力の１つ前のシンボルが入力されたときの時刻であり、時刻ｓ＋１は、時刻ｓの１つ後のシンボルが入力されたときの時刻である。
　エンコーダ１１３１は上記処理を時刻１からＳまで繰り返し、時刻Ｓに達したとき、エンコーダ側ＬＳＴＭ層ｅ２から出力された入力側隠れ状態データｈｉＳをデコーダ１１３２に出力する。
　デコーダ１１３２は、デコーダ側埋込層ｄ０と、デコーダ側ＬＳＴＭ層ｄ１と、保持部ｄ２と、サンプリング部ｄ３と、保持部ｄ４とを備える。
　デコーダ１１３２は、まずエンコーダ１１３１から出力された入力側隠れ状態データｈｉＳを、出力側隠れ状態データの初期値ｈｏ０として保持部ｄ２に記録する。また、文開始記号（ＢＯＳ）を、出力シンボルの初期値ｙ０として保持部ｄ４に保存する。
　デコーダ側埋込層ｄ０は、ある時刻ｔの一つ前の時刻ｔ－１に対して、保持部ｄ２から時刻ｔ－１における出力データｙｔ－１を取得し、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データＹｖｔ－１を取得する。そして、デコーダ側埋込層ｄ０は、取得した分散表現データＹｖｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　デコーダ側ＬＳＴＭ層ｄ１は、アテンション部ＡＴＮ１から出力されるコンテキスト状態データｃｔと、保持部ｄ２から出力される時刻ｔ－１の出力側隠れ状態データｈｏｔ－１と、保持部ｄ４から出力される時刻ｔ－１の分散表現データＹｖｔ－１と、を入力する。デコーダ側ＬＳＴＭ層ｄ１は、コンテキスト状態データｃｔと、出力側隠れ状態データｈｏｔ－１と、分散表現データＹｖｔ－１とから、時刻ｔの出力側隠れ状態データｈｏｔを取得し、取得した出力側隠れ状態データｈｏｔをサンプリング部ｄ３、保持部ｄ２、および、アテンション部ＡＴＮ１に出力する。
　保持部ｄ２は、デコーダ側ＬＳＴＭ層ｄ１から出力される時刻ｔの出力側隠れ状態データｈｏｔを入力し、記憶保持するともに、時刻ｔ－１の出力側隠れ状態データｈｏｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　サンプリング部ｄ３は、デコーダ側ＬＳＴＭ層ｄ１から出力される出力側隠れ状態データｈｏｔを入力する。サンプリング部ｄ３は、出力側隠れ状態データｈｏｔから、時刻ｔの出力シンボルｙｔを取得し、取得した出力シンボルｙｔをデータ出力処理部１１４および保持部ｄ４に出力する。
　保持部ｄ４は、サンプリング部ｄ３から出力される時刻ｔの出力シンボルｙｔを入力し、記憶保持するともに、時刻ｔ－１の出力シンボルｙｔ－１をデコーダ側埋込層ｄ０に出力する。
　アテンション部ＡＴＮ１は、図４に示すように、保持部ａ１とコンテキスト算出部ａ２とを備える。
　保持部ａ１は、エンコーダから出力される入力側隠れ状態データｈｉｓを、１からＳまでのすべての時刻ｓについて記録する。１からＳまでのすべての時刻における入力側隠れ状態データをまとめてＨｉとする。
　コンテキスト算出部ａ２は、保持部ａ１が保持するすべての時刻の入力側隠れ状態データＨｉと、デコーダ側ＬＳＴＭ層ｄ１から出力される出力側隠れ状態データｈｏｔ－１とを入力する。コンテキスト算出部ａ２は、すべての時刻の入力側隠れ状態データＨｉと、出力側隠れ状態データｈｏｔ－１とから、時刻ｔのコンテキスト状態データｃｔを取得する。そして、コンテキスト算出部ａ２は、取得したコンテキスト状態データｃｔをデコーダ側ＬＳＴＭ層ｄ１に出力する。
　第１機械翻訳処理部１１３は、上記のように構成され、図６に示すような状態遷移により機械翻訳処理を実行する。そして出力シンボルｙｔが文末記号ＥＯＳとなったら、出力データのシンボル数Ｔにｔを設定し、出力データｙ１…Ｔを取得する。
　データ出力処理部１１４は、第１機械翻訳処理部１１３から出力される出力データｙ１…Ｔと、制御部１１２から出力される制御信号Ｃｔｌ１とを入力する。データ出力処理部１１４は、データＤ１＿ｊに対応する機械翻訳結果データが取得された後、取得したデータｙ１…Ｔから、データＤ１＿ｊに対応する機械翻訳結果データであるデータＤ１＿ｅを取得する。
　データ出力処理部１１４は、制御信号Ｃｔｌ１に基づいて、Ｎ個の機械翻訳結果データＤ１＿ｅを取得した後、当該Ｎ個の機械翻訳結果データＤ１＿ｅをまとめたデータを疑似原言語群データＤ１＿ｅ＿Ｎとして、疑似対訳データ取得部１２に出力する。
　疑似対訳データ取得部１２は、目的言語単言語コーパス記憶部ＤＢ＿ｍから目的言語データＤ１＿ｊを入力するとともに、逆翻訳部１１から出力される疑似原言語群データＤ１＿ｅ＿Ｎを入力する。疑似対訳データ取得部１２は、目的言語データＤ１＿ｊと、疑似原言語群データＤ１＿ｅ＿Ｎに含まれるＮ個の疑似原言語データＤ１＿ｅのそれぞれをペアにしたデータを生成し、生成したＮ組のデータを疑似対訳データＤｐ１＿ｅｊ＿Ｎとして、疑似対訳コーパス記憶部ＤＢ＿ｐに出力する。
　合成対訳データ取得部２は、疑似対訳コーパス記憶部ＤＢ＿ｐから疑似対訳データＤｐ２＿ｅｊを読み出すとともに、ベース対訳コーパスＤＢ＿ｂからベース対訳データＤｂ２＿ｅｊを読み出す。合成対訳データ取得部２は、学習率ηを対応付けながら、疑似対訳データＤｐ２＿ｅｊと、ベース対訳データＤｂ２＿ｅｊとに対して対訳データを合成する処理を実行し、合成対訳データＤ２＿ｅｊを取得する。そして、合成対訳データ取得部２は、学習率ηを対応付けた合成対訳データＤ２＿ｅｊを翻訳部３に出力する。
　翻訳部３は、図７に示すように、学習率調整部３０と、入力データ変換部３１と、第２機械翻訳処理部３２と、出力データ変換部３３とを備える。
　学習率調整部３０は、合成対訳データ取得部２から出力される学習率ηを対応付けた合成対訳データＤ２＿ｅｊを入力する。学習率調整部３０は、エンコーダ３２１およびデコーダ３２２に、ベース対訳コーパスＤＢ＿ｂから取得した対訳データを出力する場合、出力学習率η＿ｏｕｔを対応する学習率η（例えば、η０）に設定して出力する。一方、学習率調整部３０は、エンコーダ３２１およびデコーダ３２２に、疑似対訳コーパス記憶部ＤＢ＿ｐから取得した対訳データを出力する場合、出力学習率η＿ｏｕｔを対応する学習率η（例えば、η０／Ｎ）に設定して出力する。なお、学習率調整部３０は、出力学習率η＿ｏｕｔをアテンション部ＡＴＮ１にも出力する。
　入力データ変換部３１は、原言語データＤｉｎ＿ｅを第２機械翻訳処理部３２で機械翻訳処理ができるデータ形式を有するデータｘ１．．．Ｓに変換し、変換したデータｘ１．．．Ｓを第２機械翻訳処理部３２に出力する。なお、データｘ１…Ｓは、単語列のようなシンボルの系列であり、その最終シンボルは文末記号（ＥＯＳと表す）であり、ＥＯＳを含むシンボル数はＳとする。
　第２機械翻訳処理部３２は、図８～図１０に示すように、エンコーダ３２１と、デコーダ３２２と、アテンション部ＡＴＮ１Ａと、を備える。
　エンコーダ３２１は、エンコーダ側埋込層ｅ１と、エンコーダ側ＬＳＴＭ層（ＬＳＴＭ：Ｌｏｎｇ　ｓｈｏｒｔ－ｔｅｒｍ　ｍｅｍｏｒｙ）ｅ２と、保持部ｅ３とを備える。また、エンコーダ３２１は、学習率調整部３０から出力される出力学習率η＿ｏｕｔを入力し、学習時において、出力学習率η＿ｏｕｔにより、学習（パラメータの調整）を行う。
　エンコーダ側埋込層ｅ１は、入力データｘ１…Ｓのうちの１つのシンボルｘｓに対して、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データＸｖｓを取得する。そして、エンコーダ側埋込層ｅ１は、取得した分散表現データＸｖｓをエンコーダ側ＬＳＴＭ層ｅ２に出力する。
　エンコーダ側ＬＳＴＭ層ｅ２は、分散表現データＸｖｓと、保持部ｅ３から出力される時刻ｓ－１の入力側隠れ状態データｈｉｓ－１とを入力する。エンコーダ側ＬＳＴＭ層ｅ２は、分散表現データＸｖｓと入力側隠れ状態データｈｉｓ－１とから、時刻ｓの入力側隠れ状態データｈｉｓを取得する。そして、エンコーダ側ＬＳＴＭ層ｅ２は、取得した入力側隠れ状態データｈｉｓを、保持部ｅ３とアテンション部ＡＴＮ１Ａとデコーダ側ＬＳＴＭ層ｄ１に出力する。
　保持部ｅ３は、エンコーダ側ＬＳＴＭ層ｅ２から出力される時刻ｓの入力側隠れ状態データｈｉｓを入力し、記憶保持するともに、現時刻の１つ前の時刻ｓ－１の入力側隠れ状態データｈｉｓ－１をエンコーダ側ＬＳＴＭ層ｅ２に出力する。
　エンコーダ３２１は上記処理を時刻１からＳまで繰り返し、時刻Ｓに達したとき、エンコーダ側ＬＳＴＭ層ｅ２から出力された入力側隠れ状態データｈｉＳをデコーダ３２２に出力する。
　デコーダ３２２は、デコーダ側埋込層ｄ０と、デコーダ側ＬＳＴＭ層ｄ１と、保持部ｄ２と、最大確率出力部ｄ３Ａと、保持部ｄ４とを備える。また、デコーダ３２２は、学習率調整部３０から出力される出力学習率η＿ｏｕｔを入力し、学習時において、出力学習率η＿ｏｕｔにより、学習（パラメータの調整）を行う。
　デコーダ３２２は、まずエンコーダ３２１から出力された入力側隠れ状態データｈｉＳを、出力側隠れ状態データの初期値ｈｏ０として保持部ｄ２に記録する。また、文開始記号（ＢＯＳ）を、出力シンボルの初期値ｙ０として保持部ｄ４に保存する。
　デコーダ側埋込層ｄ０は、ある時刻ｔの一つ前の時刻ｔ－１に対して、保持部ｄ２から時刻ｔ－１における出力シンボルｙｔ－１を取得し、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データＹｖｔ－１を取得する。そして、デコーダ側埋込層ｄ０は、取得した分散表現データＹｖｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　デコーダ側ＬＳＴＭ層ｄ１は、アテンション部ＡＴＮ１Ａから出力されるコンテキスト状態データｃｔと、保持部ｄ２から出力される時刻ｔ－１の出力側隠れ状態データｈｏｔ－１と、保持部ｄ４から出力される時刻ｔ－１の分散表現データＹｖｔ－１と、を入力する。デコーダ側ＬＳＴＭ層ｄ１は、コンテキスト状態データｃｔと、出力側隠れ状態データｈｏｔ－１と、分散表現データＹｖｔ－１とから、時刻ｔの出力側隠れ状態データｈｏｔを取得し、取得した出力側隠れ状態データｈｏｔを最大確率出力部ｄ３Ａ、保持部ｄ２、および、アテンション部ＡＴＮ１Ａに出力する。
　保持部ｄ２は、デコーダ側ＬＳＴＭ層ｄ１から出力される時刻ｔの出力側隠れ状態データｈｏｔを入力し、記憶保持するともに、時刻ｔ－１の出力側隠れ状態データｈｏｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　最大確率出力部ｄ３Ａは、デコーダ側ＬＳＴＭ層ｄ１から出力される出力側隠れ状態データｈｏｔを入力する。最大確率出力部ｄ３Ａは、出力側隠れ状態データｈｏｔから、まず時刻ｔの単語出力分布Ｙｏｔを算出し、単語出力分布Ｙｏｔから出力シンボルｙｔを取得し、取得した出力シンボルｙｔをデータ出力処理部１１４および保持部ｄ４に出力する。なお、単語出力分布Ｙｏｔは、すべての出力シンボル候補を事後確率分布で示したデータであり、最大確率出力部ｄ３Ａは、最大確率となるデータを単語出力分布Ｙｏｔの中から選択し、選択したデータに対応する出力シンボルｙｔを出力する。
　保持部ｄ４は、最大確率出力部ｄ３Ａから出力される時刻ｔの出力シンボルｙｔを入力し、記憶保持するともに、時刻ｔ－１の出力シンボルｙｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　アテンション部ＡＴＮ１Ａは、図９に示すように、保持部ａ１とコンテキスト算出部ａ２とを備える。
　保持部ａ１は、エンコーダから出力される入力側隠れ状態データｈｉｓを、１からＳまでのすべての時刻ｓについて記録する。１からＳまでのすべての時刻における入力側隠れ状態データをまとめてＨｉとする。
　コンテキスト算出部ａ２は、保持部ａ１が保持するすべての時刻の入力側隠れ状態データＨｉと、デコーダ側ＬＳＴＭ層ｄ１から出力される出力側隠れ状態データｈｏｔ－１と、学習率調整部３０から出力される出力学習率η＿ｏｕｔとを入力する。コンテキスト算出部ａ２は、すべての時刻の入力側隠れ状態データＨｉと、出力側隠れ状態データｈｏｔ－１とから、時刻ｔのコンテキスト状態データｃｔを取得する。そして、コンテキスト算出部ａ２は、取得したコンテキスト状態データｃｔをデコーダ側ＬＳＴＭ層ｄ１に出力する。アテンション部ＡＴＮ１Ａは、学習時において、出力学習率η＿ｏｕｔにより、学習（パラメータの調整）を行う。
　第２機械翻訳処理部３２は、上記のように構成され、図１１に示すような状態遷移により機械翻訳処理を実行する。そして出力シンボルｙｔが文末記号ＥＯＳとなったら、出力データのシンボル数Ｔにｔを設定し、出力データｙ１…Ｔを取得する。
　出力データ変換部３３は、第２機械翻訳処理部３２から出力される出力データｙ１…Ｔを入力する。出力データ変換部３３は、ｙ１から順番に第２機械翻訳処理部３２から出力される出力シンボルｙｔを取得し続けるが、ｙｔが文末記号（ＥＯＳ）となった時点で、データＤｉｎ＿ｅに対応する機械翻訳結果データがそろったとみなして、Ｔに出力シンボル数を設定する。そして、出力データ変換部３３は、原言語データＤｉｎ＿ｅに対応する機械翻訳結果データが取得された後、取得したデータｙ１…Ｔから、目的言語データＤｏｕｔ＿ｊを取得し出力する。
　ベース対訳コーパス記憶部ＤＢ＿ｂは、例えば、人により生成された原言語と目的言語との対訳コーパスデータを記憶する。したがって、ベース対訳コーパス記憶部ＤＢ＿ｂに記憶されている対訳コーパスデータは、高精度の対訳データである。ベース対訳コーパス記憶部ＤＢ＿ｂは、例えば、データベースにより実現される。
　目的言語単言語コーパス記憶部ＤＢ＿ｍは、目的言語の単言語のコーパスデータを記憶する。目的言語単言語コーパス記憶部ＤＢ＿ｍは、例えば、データベースにより実現される。
　疑似対訳コーパス記憶部ＤＢ＿ｐは、疑似対訳データ取得部１２から出力される疑似対訳データＤｐ１＿ｅｊ＿Ｎを記憶する。
　＜１．２：機械翻訳システムの動作＞
　以上のように構成された機械翻訳システム１０００の動作について説明する。
　（１．２．１：疑似対訳データ生成処理）
　まず、機械翻訳システム１０００における疑似対訳データ生成処理について、説明する。
　疑似対訳データ生成部１の逆翻訳部１１は、学習モード（学習処理を実行するモード）において、ベース対訳コーパスＤＢ＿ｂからベース対訳データＤｂ＿ｅｊを読み出し、当該ベース対訳データＤｂ＿ｅｊを学習データとして学習処理を実行し、学習済みモデルを構築する。
　次に、疑似対訳データ生成部１の逆翻訳部１１は、データ入力処理部１１１により、目的言語単言語コーパス記憶部ＤＢ＿ｍから目的言語データＤ１＿ｊを読み出す。データ入力処理部１１１は、目的言語データＤ１＿ｊを読み出したことを示すデータＩｎｆｏ１を制御部１１２に出力する。また、データ入力処理部１１１は、目的言語データＤ１＿ｊを第１機械翻訳処理部１１３で機械翻訳処理ができるデータ形式を有するデータｘ１…Ｓに変換し第１機械翻訳処理部１１３に出力する。
　第１機械翻訳処理部１１３は、実行モード（ベース対訳データＤｂ＿ｅｊによる学習により取得された学習済みモデルを用いて機械翻訳処理を実行するモード）において、データ入力処理部１１１から入力したデータｘ１…Ｓに対して機械翻訳処理を実行する。具体的には、以下のようにして、逆翻訳部１１において、目的言語から原言語への機械翻訳処理が実行される。
　入力データｘ１…Ｓのうちの１つのシンボルｘｓがエンコーダ側埋込層ｅ１に入力される。エンコーダ側埋込層ｅ１では、埋め込み処理用の行列を用いて、入力されたシンボルｘｓに対して行列変換することで、分散表現データＸｖｓが取得される。そして、取得された分散表現データＸｖｓは、エンコーダ側ＬＳＴＭ層ｅ２に出力される。
　エンコーダ側ＬＳＴＭ層ｅ２では、分散表現データＸｖｓと入力側隠れ状態データｈｉｓ－１とに対してエンコード処理（例えば、ＬＳＴＭによるエンコード処理）が実行され、時刻ｓの入力側隠れ状態データｈｉｓが取得される。
　エンコーダ側ＬＳＴＭ層ｅ２で取得された入力側隠れ状態データｈｉｓは、保持部ｅ３とアテンション部ＡＴＮ１に出力される。
　保持部ｅ３は、エンコーダ側ＬＳＴＭ層ｅ２から出力される時刻ｓの入力側隠れ状態データｈｉｓを入力し、記憶保持するともに、現時刻の１つ前の時刻ｓ－１の入力側隠れ状態データｈｉｓ－１をエンコーダ側ＬＳＴＭ層ｅ２に出力する。
　エンコーダ１１３１では、上記処理を時刻１からＳまで繰り返し、時刻Ｓに達したとき、エンコーダ側ＬＳＴＭ層ｅ２から出力された入力側隠れ状態データｈｉＳがデコーダ１１３２に出力される。
　アテンション部ＡＴＮ１の保持部ａ１は、エンコーダから出力される入力側隠れ状態データｈｉｓを、１からＳまでのすべての時刻ｓについて記録する。１からＳまでのすべての時刻における入力側隠れ状態データをまとめてＨｉとする。
　コンテキスト算出部ａ２は、すべての時刻の入力側隠れ状態データＨｉと、出力側隠れ状態データｈｏｔ－１とから、時刻ｔのコンテキスト状態データｃｔを取得する。そして、コンテキスト算出部ａ２は、取得したコンテキスト状態データｃｔをデコーダ側ＬＳＴＭ層ｄ１に出力する。
　コンテキスト算出部ａ２は、ある時刻ｓにおける入力側隠れ状態データｈｉsと、出力側隠れ状態データｈｏｔ－１から、ある時刻ｓにおける入力シンボルのアライメントスコアｅｓｔを算出する。この算出には、入力側隠れ状態データｈｉｓと、出力側隠れ状態データｈｏｔの重み付き和をとるなどの方法が用いられるが、他の算出方法でもよい。
　コンテキスト算出部ａ２は、入力シンボルのアライメントスコアｅｓｔを１からＳのすべての時刻について算出し、総和が１となるように正規化して入力シンボルの重みαｓｔを得る。そして、コンテキスト算出部ａ２は、すべての時刻ｓについて、入力側隠れ状態データＨｉを入力シンボルの重みαｓｔで重み付き混合し、コンテキスト状態データｃｔを得る。
　そして、上記処理により取得されたコンテキスト状態データｃｔは、デコーダ側ＬＳＴＭ層ｄ１に出力される。
　デコーダ１１３２は、まずエンコーダ１１３１から出力された入力側隠れ状態データｈｉＳを、出力側隠れ状態データの初期値ｈｏ０として保持部ｄ２に記録する。また、文開始記号（ＢＯＳ）を、出力シンボルの初期値ｙ０として保持部ｄ４に保存する。
　デコーダ側埋込層ｄ０は、ある時刻ｔの一つ前の時刻ｔ－１に対して、保持部ｄ２から時刻ｔ－１における出力シンボルｙｔ－１を取得し、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データＹｖｔ－１を取得する。そして、デコーダ側埋込層ｄ０は、取得した分散表現データＹｖｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　デコーダ側ＬＳＴＭ層ｄ１では、コンテキスト状態データｃｔと、出力側隠れ状態データｈｏｔ－１と、分散表現データＹｖｔ－１とに対してデコード処理（例えば、ＬＳＴＭによるデコード処理）が実行され、時刻ｔの出力側隠れ状態データｈｏｔが取得される。そして、取得された出力側隠れ状態データｈｏｔは、サンプリング部ｄ３、保持部ｄ２、および、アテンション部ＡＴＮ１に出力される。
　保持部ｄ２は、デコーダ側ＬＳＴＭ層ｄ１から出力される時刻ｔの出力側隠れ状態データｈｏｔを入力し、記憶保持するともに、時刻ｔ－１の出力側隠れ状態データｈｏｔ－１をデコーダ側ＬＳＴＭ層ｄ１に出力する。
　サンプリング部ｄ３では、出力側隠れ状態データｈｏｔから単語出力分布Ｙｏｔを算出し、そこからランダムサンプリング処理により、時刻ｔの出力シンボルｙｔが取得される。
　単語出力分布Ｙｏｔは、すべての出力シンボル候補を事後確率分布で示したデータであり、出力側隠れ状態データｈｏｔを線形変換し、正規化することにより算出される。従来のニューラル機械翻訳処理では、出力シンボルの事後確率が最大確率となるデータを単語出力分布Ｙｏｔの中から選択し、選択したデータに対応する出力シンボルｙｔが出力される。このような処理を行う代わりに、サンプリング部ｄ３は、単語出力分布Ｙｏｔに従った確率ですべての出力シンボル候補からランダムにデータを選択し、選択したデータに対応するデータを出力シンボルｙｔとして出力する。これにより、サンプリング部ｄ３から出力されるデータは、出力シンボルの事後確率が最大確率となるデータに限定されず、出力シンボルの事後確率が低い（尤度が低い）データも出力されることになる。
　デコーダ１１３２は上記処理を時刻１からＴまで繰り返し、出力データｙ１…Ｔを取得する。
　そして、上記にようにして取得された出力データｙ１…Ｔは、第１機械翻訳処理部１１３からデータ出力処理部１１４に出力される。
　なお、第１機械翻訳処理部１１３は、制御部１１２から出力される制御信号Ｃｔｌ１に基づいて、１つの目的言語データＤ１＿ｊに対して、Ｎ個の原言語データが取得されるまで、複数回、機械翻訳処理を実行する。
　データ出力処理部１１４は、データＤ１＿ｊに対応する機械翻訳結果データが取得されるまで、第１機械翻訳処理部１１３から出力される出力データｙ１…Ｔを取得し続ける。そして、データ出力処理部１１４は、データＤ１＿ｊに対応する機械翻訳結果データが取得された後、取得したデータｙ１…Ｔから、データＤ１＿ｊに対応する機械翻訳結果データであるデータＤ１＿ｅを取得する。
　データ出力処理部１１４は、制御信号Ｃｔｌ１に基づいて、Ｎ個の機械翻訳結果データＤ１＿ｅを取得した後、当該Ｎ個の機械翻訳結果データＤ１＿ｅをまとめたデータを疑似原言語群データＤ１＿ｅ＿Ｎとして、疑似対訳データ取得部１２に出力する。
　疑似対訳データ取得部１２は、目的言語データＤ１＿ｊと、疑似原言語群データＤ１＿ｅ＿Ｎに含まれるＮ個の疑似原言語データＤ１＿ｅのそれぞれをペアにしたデータを生成し、生成したＮ組のデータを疑似対訳データＤｐ１＿ｅｊ＿Ｎとして、疑似対訳コーパス記憶部ＤＢ＿ｐに出力する。
　図１２は、逆翻訳部１１により取得した疑似原言語データＤ１＿ｅ＿Ｎの一例を示す図である。具体的には、図１２の上段に目的言語データＤ１＿ｊを示し、図１２の中段に疑似原言語データＤ１＿ｅ＿Ｎ（Ｎ＝５の場合）を示し、図１２の下段に参考として人手による逆翻訳した文を示している。
　従来のニューラル機械翻訳処理では、出力シンボルの事後確率が最大確率となるデータを単語出力分布の中から選択するので、図１２に示した場合、対数尤度が最大であるデータＤ１＿ｅ［１］に示した疑似原言語データのみが取得されることになる。
　一方、疑似対訳データ生成部１の逆翻訳部１１では、サンプリング部ｄ３により、出力側隠れ状態データｈｏｔから算出された単語出力分布Ｙｏｔに従った確率でランダムにデータが選択され、選択されたデータに対応するシンボルが出力シンボルｙｔとして出力される。したがって、疑似対訳データ生成部１の逆翻訳部１１では、図１２に示したように、対数尤度が分散した多様な原言語データを取得することができる。特に、従来技術では、対数尤度の低い疑似原言語データが取得されることはなく、一般的に機械翻訳の出力は傾向が類似しており、多様性を出すのが困難である。逆翻訳部１１では、上記のように処理することで、従来の機械翻訳で出力することが困難であった多様な翻訳文を取得することができる。
　例えば、図１２のデータの場合、疑似対訳データ取得部１２は、図１２の上段に示した目的言語データＤ１＿ｊと、図１２の中段に示したＮ（＝５）個の疑似原言語データＤ１＿ｅ（Ｄ１＿ｅ［１］、Ｄ１＿ｅ［２］、・・・、Ｄ１＿ｅ［５］と表記する）のそれぞれをペアにしたデータを生成する。つまり、疑似対訳データ取得部１２は、Ｎ（＝５）組のデータ、すなわち、
（１）［Ｄ１＿ｊ，Ｄ１＿ｅ［１］］
（２）［Ｄ１＿ｊ，Ｄ１＿ｅ［２］］
（３）［Ｄ１＿ｊ，Ｄ１＿ｅ［３］］
（４）［Ｄ１＿ｊ，Ｄ１＿ｅ［４］］
（５）［Ｄ１＿ｊ，Ｄ１＿ｅ［５］］
を生成する。そして、上記のＮ組のデータを疑似対訳データＤｐ１＿ｅｊ＿Ｎ（＝｛［Ｄ１＿ｊ，Ｄ１＿ｅ［１］］，［Ｄ１＿ｊ，Ｄ１＿ｅ［２］］，［Ｄ１＿ｊ，Ｄ１＿ｅ［３］］，［Ｄ１＿ｊ，Ｄ１＿ｅ［４］］，［Ｄ１＿ｊ，Ｄ１＿ｅ［５］］）として、疑似対訳コーパス記憶部ＤＢ＿ｐに出力する。
　疑似対訳コーパス記憶部ＤＢ＿ｐは、疑似対訳データ生成部１により取得された疑似対訳データＤｐ１＿ｅｊ＿Ｎを記憶する。
　以上のように、機械翻訳システム１０００では、疑似対訳データ生成処理が実行される。
　（１．２．２：機械翻訳訓練処理）
　次に、機械翻訳システム１０００における機械翻訳訓練処理について、説明する。
　合成対訳データ取得部２は、疑似対訳コーパス記憶部ＤＢ＿ｐから疑似対訳データＤｐ２＿ｅｊを読み出すとともに、ベース対訳コーパスＤＢ＿ｂからベース対訳データＤｂ２＿ｅｊを読み出す。合成対訳データ取得部２は、疑似対訳データＤｐ２＿ｅｊと、ベース対訳データＤｂ２＿ｅｊとに対して対訳データを合成する処理を実行し、合成対訳データＤ２＿ｅｊを取得する。
　具体的には、合成対訳データ取得部２は、疑似対訳データＤｐ２＿ｅｊと、ベース対訳データＤｂ２＿ｅｊとをそれぞれミニバッチ集合データとして作成し、作成したミニバッチ集合ごとに学習率を設定する。例えば、合成対訳データ取得部２がベース対訳データＤｂ２＿ｅｊを集めて作成したミニバッチ集合データに学習率η（＝η０）を紐付けた場合のデータをＤａｔａ１（Ｄｂ２＿ｅｊ，η０）、Ｄａｔａ２（Ｄｂ２＿ｅｊ，η０）、Ｄａｔａ３（Ｄｂ２＿ｅｊ，η０）、・・・、Ｄａｔａｋ（Ｄｂ２＿ｅｊ，η０）と表記する。
　また、合成対訳データ取得部２が疑似対訳データＤｐ２＿ｅｊを集めて作成したミニバッチ集合データに学習率η１（例えば、η１＝η／Ｎ）を紐付けた場合のデータをＤａｔａ１（Ｄｐ２＿ｅｊ，η１）、Ｄａｔａ２（Ｄｐ２＿ｅｊ，η１）、Ｄａｔａ３（Ｄｐ２＿ｅｊ，η１）、・・・、Ｄａｔａｋ（Ｄｂ２＿ｅｊ，η１）と表記する。
　そして、合成対訳データ取得部２は、上記のように生成したベース対訳データＤｂ２＿ｅｊを集めて作成したミニバッチ集合データと疑似対訳データＤｐ２＿ｅｊを集めて作成したミニバッチ集合データとを混合して順序を入れ替え、合成対訳データＤ２＿ｅｊを、例えば、以下のデータとして生成する。
　　Ｄ２＿ｅｊ＝｛Ｄａｔａ１（Ｄｂ２＿ｅｊ，η０），Ｄａｔａ２（Ｄｂ２＿ｅｊ，η０），Ｄａｔａ３（Ｄｂ２＿ｅｊ，η０），Ｄａｔａ４（Ｄｐ２＿ｅｊ，η１），Ｄａｔａ５（Ｄｐ２＿ｅｊ，η１），・・・，Ｄａｔａｋ（Ｄｐ２＿ｅｊ，η１），・・・｝
　　η１＝η０／Ｎ
　通常、疑似対訳データＤｐ２＿ｅｊを集めて作成したミニバッチ集合データのデータ数は、ベース対訳データＤｂ２＿ｅｊを集めて作成したミニバッチ集合データのデータ数よりも遙かに多い。その一方で、対訳データの精度は、ベース対訳データＤｂ２＿ｅｊの方が疑似対訳データＤｐ２＿ｅｊよりも高い。したがって、翻訳部３の学習モデルを構築するときに、疑似対訳データＤｐ２＿ｅｊとベース対訳データＤｂ２＿ｅｊとを同じ学習率にして学習処理を実行すると、精度の高い学習処理（訓練処理）を行うことができない。
　そこで、合成対訳データ取得部２は、上記のように、疑似対訳データＤｐ２＿ｅｊを集めて作成したミニバッチ集合データの学習率η１を、ベース対訳データＤｂ２＿ｅｊを集めて作成したミニバッチ集合データの学習率η０よりも小さい値にして、合成対訳データＤ２＿ｅｊを取得する。そして、このようにして取得した合成対訳データＤ２＿ｅｊを用いることで、翻訳部３において、精度の高い学習処理（訓練処理）を行うことができる。
　上記のようにして取得された合成対訳データＤ２＿ｅｊは、合成対訳データ取得部２から翻訳部３に出力される。
　翻訳部３の学習率調整部３０は、合成対訳データ取得部２から出力される学習率ηを対応付けた合成対訳データＤ２＿ｅｊを入力する。学習率調整部３０は、エンコーダ３２１およびデコーダ３２２に、ベース対訳コーパスＤＢ＿ｂから取得した対訳データを出力する場合、出力学習率η＿ｏｕｔを対応する学習率η（例えば、η０）に設定して出力する。一方、学習率調整部３０は、エンコーダ３２１およびデコーダ３２２に、疑似対訳コーパス記憶部ＤＢ＿ｐから取得した対訳データを出力する場合、出力学習率η＿ｏｕｔを対応する学習率η（例えば、η０／Ｎ）に設定して出力する。なお、学習率調整部３０は、出力学習率η＿ｏｕｔをアテンション部ＡＴＮ１Ａにも出力する。
　例えば、学習率調整部３０は、合成対訳データＤ２＿ｅｊに含まれるミニバッチ集合データデータＤａｔａ１（Ｄｂ２＿ｅｊ，η０）を処理する場合、学習率をη０にして、データＤａｔａ１（Ｄｂ２＿ｅｊ，η０）に含まれるベース対訳データをエンコーダ３２１、デコーダ３２２に入力して、第２機械翻訳処理部３２の学習モデルを構築するための学習処理（訓練処理）を実行する。この場合、精度の高いベース対訳データを用いているので、高い学習率で学習処理（訓練処理）が実行される。
　一方、学習率調整部３０は、合成対訳データＤ２＿ｅｊに含まれるミニバッチ集合データデータＤａｔａ４（Ｄｐ２＿ｅｊ，η１）を処理する場合、学習率をη１（例えば、η１＝η０／Ｎ）にして、データＤａｔａ４（Ｄｐ２＿ｅｊ，η１）に含まれる疑似対訳データをエンコーダ３２１、デコーダ３２２に入力して、第２機械翻訳処理部３２の学習モデルを構築するための学習処理（訓練処理）を実行する。この場合、ベース対訳データよりも精度の低い疑似対訳データを用いているので、ベース対訳データを用いる場合よりも低い学習率で学習処理（訓練処理）が実行される。
　上記のようにして、翻訳部３では、学習モデルを構築するための学習処理（訓練処理）が実行される。
　（１．２．３：機械翻訳実行処理）
　次に、機械翻訳システム１０００における機械翻訳実行処理について、説明する。
　原言語データＤｉｎ＿ｅが翻訳部３の入力データ変換部３１に入力される。
　入力データ変換部３１は、原言語データＤｉｎ＿ｅを第２機械翻訳処理部３２で機械翻訳処理ができるデータ形式を有するデータｘ１…Ｓに変換し、変換したデータｘ１…Ｓを第２機械翻訳処理部３２に出力する。
　第２機械翻訳処理部３２では、上記の機械翻訳訓練処理により、翻訳部３に構築された学習モデルを用いて、データｘ１…Ｓに対して機械翻訳処理が実行され出力データｙ１…Ｔが取得される。
　出力データ変換部３３は、第２機械翻訳処理部３２から出力される出力データｙ１…Ｔを入力し、出力データ変換部３３は、原言語データＤｉｎ＿ｅに対応する機械翻訳結果データが取得された後、取得したデータｙ１…Ｔから、目的言語データＤｏｕｔ＿ｊを取得し出力する。
　上記のようにして、機械翻訳システム１０００における機械翻訳実行処理が実行される。
　以上のように、機械翻訳システム１０００では、目的言語の単言語コーパスを用いて、１つの目的言語データから複数の疑似原言語データを取得し、多様性を有する疑似対訳コーパスデータを大量に取得することができる。そして、機械翻訳システム１０００では、大量に取得した多様性を有する疑似対訳コーパスデータ、および、少量だが精度の高いベース対訳コーパスデータの両方を用いて、学習率を変えて、機械翻訳モデルの学習処理（訓練処理）を実行する。これにより、機械翻訳システム１０００では、非常に精度の高い学習済みモデル（機械翻訳モデル）を取得することができる。
　例えば、ベース対訳コーパスデータを４０万文のデータとし、疑似対訳コーパスデータを１５５万文のデータとして、上記処理により、翻訳部３で機械翻訳モデルの学習処理（訓練処理）を行い取得した学習済みモデルによる翻訳精度を測定した結果、上記処理による翻訳の精度は、ベース対訳コーパスデータのみを用いて取得した機械翻訳モデル（学習済みモデル）による機械翻訳に対して、ＢＬＥＵスコアで３．０～５．０程度改善され、非特許文献１の技術を用いた場合に比べても、ＢＬＥＵスコアで約０．５～２．０程度改善される。
　なお、機械翻訳システム１０００において、疑似対訳データＤｐ１＿ｅｊ＿Ｎの精度が悪い、すなわち、翻訳部３の学習処理（訓練処理）に悪影響を与えていると判断できる場合、疑似対訳データＤｐ１＿ｅｊ＿Ｎに対してフィルタリング処理を行うようにしてもよい。例えば、以下の基準により、選択するデータを決定するようにしてもよい。
（１）尤度
　逆翻訳部１１で取得される尤度（翻訳文の長さで補正した尤度を含む）を基準として、疑似対訳データＤｐ１＿ｅｊ＿Ｎに含める疑似原言語データＤ１＿ｅを選択する。
（２）信頼度
　例えば、下記文献（Atsushi Fujita等）に開示されている技術により取得される翻訳文の信頼度を基準として、疑似対訳データＤｐ１＿ｅｊ＿Ｎに含める疑似原言語データＤ１＿ｅを選択する。
Atsushi Fujita and Eiichiro Sumita. 2017. Japanese to English/Chinese/Korean datasets for translation quality estimation and automatic post-editing. In Proc of WAT2017, pages 79-88.
（３）ランダム選択
　ランダム選択により、疑似対訳データＤｐ１＿ｅｊ＿Ｎに含める疑似原言語データＤ１＿ｅを選択する。
　［他の実施形態］
　上記実施形態の機械翻訳システム１０００において、ベース対訳コーパスＤＢ＿ｂから取得した対訳データの学習率（例えば、η＝η０）と、疑似対訳コーパス記憶部ＤＢ＿ｐから取得した対訳データの学習率（例えば、η＝η０／Ｎ）とをそれぞれ固定の値にする場合について説明したが、これに限定されることはなく、例えば、バッチ集合データごとに、学習率を可変にしてもよい。また、ベース対訳コーパスＤＢ＿ｂから取得した対訳データの学習率（例えば、η＝η０）と、疑似対訳コーパス記憶部ＤＢ＿ｐから取得した対訳データの学習率（例えば、η＝η０／Ｎ）とは、上記の値に限定されることはなく、他の値であってもよい。例えば、疑似対訳コーパス記憶部ＤＢ＿ｐから取得した対訳データの学習率は、η＝η０／Ｍ（Ｍ：実数）であってもよい。
　また、上記実施形態では、第１機械翻訳処理部での処理をＮ回実行することで、１つの目的言語データに対してＮ個（Ｎ：２以上の自然数）の疑似原言語データを取得する場合について説明したが、これに限定されることはなく、例えば、第１機械翻訳処理部で１回の機械翻訳処理を実行し、入力データに対する単語出力分布の中の複数の候補から出力データをランダムに選択する処理をＮ回繰り返すことで、Ｎ個の疑似原言語データを取得するようにしてもよい。
　上記実施形態の機械翻訳システム１０００の各機能部の一部または全部は、１つの装置で実現されるものであってもよいし、複数の装置により実現されるものであってもよい。
　また上記実施形態で説明した機械翻訳システム１０００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
　なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
　また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
　また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。
　例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図９に示したハードウェア構成（例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスＢｕｓにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。
　また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図９に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
　例えば、疑似対訳データ生成方法をソフトウェアにより実現する場合、図１４（ａ）に示したフローチャートにより、疑似対訳データ生成方法を実現するようにしてもよい。
　具体的には、疑似対訳データ生成方法では、ステップＳ１０１において、目的言語単言語コーパスから目的言語単言語データの読み出し処理が実行される。
　ステップＳ１０２では、ステップＳ１０１で読み出した、１つの目的言語データに対して逆翻訳処理が実行され、Ｎ個の原言語データが取得される。
　ステップＳ１０３では、１つの目的言語データと、そのデータを逆翻訳して取得したＮ個の原言語データとを組にした疑似対訳データを取得する。
　ステップＳ１０４では、ステップＳ１０３で取得された疑似対訳データを例えば、データベースに記憶することで、疑似対訳データコーパスを取得する。
　また、例えば、機械翻訳の学習モデルを構築するための学習処理（訓練処理）方法をソフトウェアにより実現する場合、図１４（ｂ）に示したフローチャートにより、当該方法を実現するようにしてもよい。
　具体的には、機械翻訳の学習モデルを構築するための学習処理（訓練処理）方法では、ステップＳ２０１において、ベース対訳コーパスからベース対訳データを読み出す。
　ステップＳ２０２において、疑似対訳コーパスから疑似対訳データを読み出す。
　ステップＳ２０３において、ステップＳ２０１で取得したベース対訳データのミニバッチ集合を生成し、ステップＳ２０２で取得した疑似対訳データのミニバッチ集合を生成し、さらに、両方のミニバッチ集合を混合して順序を入れ替えることで、合成対訳データを取得する。
　ステップＳ２０４において、合成対訳データに含まれる各ミニバッチ集合の学習率を設定する。
　ステップＳ２０５において、合成対訳データに含まれる各ミニバッチ集合を用いて学習処理を行う。なお、このときは、学習率は、処理対象のミニバッチ集合に設定されている学習率を用いる。
　上記のようにして、疑似対訳データ生成方法、および、機械翻訳の学習モデルを構築するための学習処理（訓練処理）方法をソフトウェアにより実現することができる。
　また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
　前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
　上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
　なお本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
　本発明によれば、目的言語の単言語コーパスを用いてエンコーダ（アテンションを含む）を強化し、翻訳器全体の精度向上させるニューラル機械翻訳のモデル訓練方法と当該モデル訓練方法を実行するための機械翻訳システムを実現することができる。このため本発明は、自然言語処理関連産業分野において有用であり、当該分野において実施することができる。
１０００　機械翻訳システム
１　疑似対訳データ生成部（疑似対訳データ生成装置）
１１　逆翻訳部
１１３　第１機械翻訳処理部
１１３１　エンコーダ
１１３２　デコーダ
１２　疑似対訳データ取得部
２　合成対訳データ取得部
３　翻訳部
ＤＢ＿ｐ　疑似対訳コーパス記憶部
ＤＢ＿ｂ　ベースコーパス記憶部
ＤＢ＿ｍ　目的言語単言語コーパス記憶部

Claims (6)

  1. 　目的言語単言語コーパスから取得した１つの目的言語データに対して機械逆翻訳処理を施すことでＮ個（Ｎ：２以上の自然数）の疑似原言語データを取得する逆翻訳部と、
    　前記１つの目的言語データと、前記逆翻訳部により取得された前記Ｎ個の疑似原言語データのそれぞれを組にすることでＮ組の疑似対訳データを取得する疑似対訳データ取得部と、
    を備える疑似対訳データ生成装置。
  2. 　前記逆翻訳部は、
    　入力データから入力側隠れ状態データを取得するエンコーダと、
    　前記エンコーダにより取得された入力側隠れ状態データから出力側隠れ状態データを取得し、取得した出力側隠れ状態データが表す出力単語分布の中からランダムにデータを選択し、選択したデータに対応する単語データを出力データとして出力するデコーダと、
    を備える、
    　請求項１に記載の疑似対訳データ生成装置。
  3. 　前記疑似対訳データを記憶する疑似対訳コーパス記憶部をさらに備え、
    　前記疑似対訳データ取得部は、
    　前記逆翻訳部が取得した前記疑似原言語データの尤度および信頼度の少なくとも一方に基づいて、前記Ｎ組の疑似対訳データに対してフィルタリング処理を行い、フィルタリング処理後の疑似対訳データを前記疑似対訳コーパス記憶部に記憶させる、
    　請求項１または２に記載の疑似対訳データ生成装置。
  4. 　ベース対訳コーパスから取得したベース対訳データと、前記ベース対訳データに対応する第１学習率とを対応付けて第１バッチ集合データを生成し、
    　請求項１から３のいずれかに記載の疑似対訳データ生成装置により生成された疑似対訳データと、前記疑似対訳データに対応する第２学習率とを対応付けて第２バッチ集合データを生成し、
    　前記第１バッチ集合データと前記第２バッチ集合データを含む合成対訳データを取得する合成対訳データ取得部と、
    　前記合成対訳データを用いて学習することで機械翻訳処理用の学習済みモデルを取得するとともに、前記学習済みモデルにより、原言語データを目的言語データに機械翻訳する機械翻訳処理を実行する翻訳部であって、前記第１バッチ集合データを用いた学習処理では前記第１学習率により前記学習処理を実行し、前記第２バッチ集合データを用いた学習処理では前記第２学習率により前記学習処理を実行する前記翻訳部と、
    を備える機械翻訳処理装置。
  5. 　前記第１学習率は、前記第２学習率よりも大きな値である、
    　請求項４に記載の機械翻訳処理装置。
  6. 　目的言語単言語コーパスから取得した１つの目的言語データに対して機械逆翻訳処理を施すことでＮ個（Ｎ：２以上の自然数）の疑似原言語データを取得する逆翻訳ステップと、
    　前記１つの目的言語データと、前記逆翻訳ステップにより取得された前記Ｎ個の疑似原言語データのそれぞれを組にすることでＮ組の疑似対訳データを取得する疑似対訳データ取得ステップと、
    を備える疑似対訳データ生成方法。
PCT/JP2019/004805 2018-03-02 2019-02-12 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法 WO2019167600A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/969,619 US11816444B2 (en) 2018-03-02 2019-02-12 Pseudo parallel translation data generation apparatus, machine translation processing apparatus, and pseudo parallel translation data generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018037055A JP7170984B2 (ja) 2018-03-02 2018-03-02 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法
JP2018-037055 2018-03-02

Publications (1)

Publication Number Publication Date
WO2019167600A1 true WO2019167600A1 (ja) 2019-09-06

Family

ID=67805291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004805 WO2019167600A1 (ja) 2018-03-02 2019-02-12 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法

Country Status (3)

Country Link
US (1) US11816444B2 (ja)
JP (1) JP7170984B2 (ja)
WO (1) WO2019167600A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178085A (zh) * 2019-12-12 2020-05-19 科大讯飞(苏州)科技有限公司 文本翻译器训练方法、专业领域文本语义解析方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941966A (zh) 2019-12-10 2020-03-31 北京小米移动软件有限公司 机器翻译模型的训练方法、装置及系统
CN111859995B (zh) * 2020-06-16 2024-01-23 北京百度网讯科技有限公司 机器翻译模型的训练方法、装置、电子设备及存储介质
CN113239708B (zh) * 2021-04-28 2023-06-20 华为技术有限公司 一种模型训练的方法、翻译的方法以及装置
CN113657122B (zh) * 2021-09-07 2023-12-15 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN114429144B (zh) * 2021-12-28 2023-07-07 华东师范大学 一种运用辅助记忆的多样性机器翻译方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548794B2 (en) * 2003-07-02 2013-10-01 University Of Southern California Statistical noun phrase translation
BRPI0706404B1 (pt) * 2006-02-17 2019-08-27 Google Inc acesso escalável, de codificação e adaptável de modelos distribuídos
US7774193B2 (en) * 2006-12-05 2010-08-10 Microsoft Corporation Proofing of word collocation errors based on a comparison with collocations in a corpus
US8775155B2 (en) * 2010-10-25 2014-07-08 Xerox Corporation Machine translation using overlapping biphrase alignments and sampling
US9152622B2 (en) * 2012-11-26 2015-10-06 Language Weaver, Inc. Personalized machine translation via online adaptation
JP6175900B2 (ja) * 2013-05-23 2017-08-09 富士通株式会社 翻訳装置、方法、及びプログラム
JP2014235599A (ja) * 2013-06-03 2014-12-15 独立行政法人情報通信研究機構 翻訳装置、学習装置、翻訳方法、およびプログラム
US9836457B2 (en) * 2015-05-25 2017-12-05 Panasonic Intellectual Property Corporation Of America Machine translation method for performing translation between languages
CN106383818A (zh) * 2015-07-30 2017-02-08 阿里巴巴集团控股有限公司 一种机器翻译方法及装置
CN106484681B (zh) * 2015-08-25 2019-07-09 阿里巴巴集团控股有限公司 一种生成候选译文的方法、装置及电子设备
CN107273106B (zh) * 2016-04-08 2021-07-06 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
US10114819B2 (en) * 2016-06-24 2018-10-30 Facebook, Inc. Optimizing machine translations for user engagement
US10049106B2 (en) * 2017-01-18 2018-08-14 Xerox Corporation Natural language generation through character-based recurrent neural networks with finite-state prior knowledge
US10565318B2 (en) * 2017-04-14 2020-02-18 Salesforce.Com, Inc. Neural machine translation with latent tree attention
JP6846666B2 (ja) * 2017-05-23 2021-03-24 パナソニックＩｐマネジメント株式会社 翻訳文生成方法、翻訳文生成装置及び翻訳文生成プログラム
US10679014B2 (en) * 2017-06-08 2020-06-09 Panasonic Intellectual Property Management Co., Ltd. Method for providing translation information, non-transitory computer-readable recording medium, and translation information providing apparatus
JP7030434B2 (ja) * 2017-07-14 2022-03-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 翻訳方法、翻訳装置及び翻訳プログラム
WO2019060353A1 (en) * 2017-09-21 2019-03-28 Mz Ip Holdings, Llc SYSTEM AND METHOD FOR TRANSLATION OF KEYBOARD MESSAGES
KR102458244B1 (ko) * 2017-11-23 2022-10-24 삼성전자주식회사 기계 번역 방법 및 장치
WO2019123854A1 (ja) * 2017-12-18 2019-06-27 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳方法、及びプログラム
JP2019121241A (ja) * 2018-01-09 2019-07-22 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳方法、及びプログラム
US11151334B2 (en) * 2018-09-26 2021-10-19 Huawei Technologies Co., Ltd. Systems and methods for multilingual text generation field

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IMAMURA, KENJI ET AL.: "Introduction of monolingual corpus to neural machine translation by pseudo-original text generation", PRESENTATION PROCEEDINGS [ ONLINE ] OF THE 23TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 6 March 2017 (2017-03-06), pages 1026 - 1029 *
SATO, TAKAYUKI ET AL.: "Creation of high-quality large pseudo-bilingual corpus by reverse translation", PRESENTATION PROCEEDINGS [ ONLINE ] OF THE 23TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 6 March 2017 (2017-03-06), pages 210 - 213 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178085A (zh) * 2019-12-12 2020-05-19 科大讯飞(苏州)科技有限公司 文本翻译器训练方法、专业领域文本语义解析方法和装置

Also Published As

Publication number Publication date
US11816444B2 (en) 2023-11-14
US20210027026A1 (en) 2021-01-28
JP7170984B2 (ja) 2022-11-15
JP2019153023A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
WO2019167600A1 (ja) 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法
US10515155B2 (en) Conversational agent
CN109408526B (zh) Sql语句生成方法、装置、计算机设备及存储介质
CN106257440B (zh) 语义信息生成方法和语义信息生成装置
CN103189860B (zh) 组合句法转换模型与词汇转换模型的机器翻译装置和机器翻译方法
WO2022088570A1 (zh) 译文后编译方法、装置、电子设备和存储介质
US20200050737A1 (en) Molecular representation
CN115795009A (zh) 基于生成式多语言模型的跨语言问答系统构建方法和装置
CN111008517A (zh) 一种基于张量分解技术的神经语言模型的压缩方法
JP2020140709A (ja) ニューラル機械翻訳モデルの訓練方法、装置及び記憶媒体
CN112446221B (zh) 翻译评估方法、装置、系统及计算机存储介质
CN116822464A (zh) 一种文本纠错方法、系统、设备及存储介质
JP6743942B2 (ja) 語彙テーブルの選択方法、装置およびコンピュータ読み取り可能な記憶媒体
TW201133470A (en) Compressing feature space transforms
JP7173149B2 (ja) 生成方法、生成プログラムおよび情報処理装置
CN115860015B (zh) 一种基于翻译记忆的转写文本翻译方法和计算机设备
JP2020177196A (ja) 手話ｃｇ制作支援装置及びプログラム
JP6261669B2 (ja) クエリ校正システムおよび方法
CN114333759A (zh) 模型训练方法、语音合成方法、设备和计算机程序产品
KR20220054753A (ko) 음성 검색 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 한 저장 매체 및 컴퓨터 프로그램
CN113936642A (zh) 发音词典构建方法、语音识别方法及相关装置
US20230274102A1 (en) Method for training machine translation model for generating pseudo parallel translation data, method for obtaining pseudo parallel translation data, and method for training machine translation model
CN115662392B (zh) 一种基于音素记忆的音译方法、电子设备及存储介质
CN112037770B (zh) 发音词典的生成方法、单词语音识别的方法和装置
CN117034968B (zh) 神经机器翻译方法、装置、电子设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761499

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19761499

Country of ref document: EP

Kind code of ref document: A1