WO2022264232A1 - 学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム - Google Patents

学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム Download PDF

Info

Publication number
WO2022264232A1
WO2022264232A1 PCT/JP2021/022581 JP2021022581W WO2022264232A1 WO 2022264232 A1 WO2022264232 A1 WO 2022264232A1 JP 2021022581 W JP2021022581 W JP 2021022581W WO 2022264232 A1 WO2022264232 A1 WO 2022264232A1
Authority
WO
WIPO (PCT)
Prior art keywords
language
vector
compressed
similarity
language model
Prior art date
Application number
PCT/JP2021/022581
Other languages
English (en)
French (fr)
Inventor
敏 鈴木
昌明 永田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/022581 priority Critical patent/WO2022264232A1/ja
Priority to JP2023528774A priority patent/JPWO2022264232A1/ja
Publication of WO2022264232A1 publication Critical patent/WO2022264232A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment

Definitions

  • the present invention relates to a learning device, a parallel translation output device, a learning method, a parallel translation output method, and a program.
  • a technology is known that realizes automatic translation using natural language processing using bilingual data. For example, in the case of Japanese-to-English translation, there is a known method of increasing the accuracy of translation by learning a large number of correspondences between Japanese and English documents.
  • Non-Patent Document 1 discloses a technique for mapping sentences with similar meanings to vectors with a high degree of similarity.
  • the bilingual data that can be used in the above conventional technology is a set of similar texts or a set of pairs of bilingual texts. It is necessary to perform correspondence manually. Therefore, there is a problem that it is difficult to prepare a large amount of easy-to-use bilingual data.
  • the disclosed technology aims to output texts with similar meanings in different languages without relying on bilingual data.
  • the disclosed technology is a learning device for updating parameters of a language model, comprising: a first language compression vector generation unit that generates a first compression vector by compressing a first language corpus based on the language model; a first parameter updating unit for updating the parameters of the language model based on the first compressed vector; and a second language for generating a second compressed vector by compressing the corpus of the second language based on the language model.
  • a compression vector generation unit a second parameter update unit that updates the parameters of the language model based on the second compression vector; and the first compression vector and the second compression vector generated from text having the same meaning, respectively.
  • a third parameter updating unit for updating parameters of the language model based on the similarity.
  • FIG. 3 is a functional configuration diagram of a learning device;
  • FIG. 1 is a first diagram showing an example of a language model;
  • FIG. 4 is a second diagram showing an example of a language model;
  • FIG. 11 is a third diagram showing an example of a language model;
  • 6 is a flowchart showing an example of the flow of learning processing;
  • 2 is a functional configuration diagram of a parallel translation output device;
  • the bilingual text is text in the second language corresponding to the input text in the first language, and includes words, phrases, sentences, paragraphs, and the like.
  • FIG. 1 is a functional configuration diagram of a learning device.
  • the learning device 10 includes a model storage unit 11, a first language corpus acquisition unit 12, a first language compression vector generation unit 13, a first parameter update unit 14, a second language corpus acquisition unit 15, a second language A compression vector generator 16 , a second parameter updater 17 , a similarity calculator 18 , and a third parameter updater 19 are provided.
  • the model storage unit 11 stores the language model 100.
  • the language model 100 is an autoencoder that compresses or decompresses text in a first language (e.g., Japanese) and a second language (e.g., English), and generates a compression vector corresponding to the text input to the hidden layer. learned to do.
  • a first language e.g., Japanese
  • a second language e.g., English
  • the first language corpus acquisition unit 12 acquires the first language corpus 80.
  • the first language corpus 80 is a monolingual corpus in which Japanese text is structured and accumulated, for example, when Japanese is the first language.
  • the first language compression vector generation unit 13 compresses the first language corpus based on the language model 100 to generate a compression vector (first compression vector).
  • the first parameter updating unit 14 updates the model parameters of the language model 100 by using the first language corpus 80 and learning so that the generated compression vector has the meaning corresponding to the corpus.
  • the second language corpus acquisition unit 15 acquires the second language corpus 81.
  • the second language corpus 81 is a monolingual corpus in which English texts are structured and accumulated, for example, when English is the second language.
  • the second language compression vector generation unit 16 compresses the second language corpus based on the language model 100 to generate a compression vector (second compression vector).
  • the second parameter updating unit 17 updates the model parameters of the language model 100 by using the second language corpus 81 and learning so that the generated compression vector has the meaning corresponding to the corpus.
  • the similarity calculation unit 18 extracts a compressed vector (first compressed vector) generated from the first language corpus 80 and a compressed vector (second compressed vector) generated from the second language corpus 81 from texts with the same meaning. Compute the similarity of these compressed vectors when they are generated.
  • the similarity is, for example, the norm or cosine distance between compressed vectors. It should be noted that the similarity calculation unit 18 determines based on a bilingual corpus or the like whether or not the texts are generated from texts having the same meaning.
  • first language compression vector generation unit 13 and the second language compression vector generation unit 16 generate a first language compression vector (first compression vector) and a second language compression vector (second 2 compressed vectors) may be generated by compressing the bilingual corpus rather than the first language corpus 80 or the second language corpus 81 .
  • the third parameter update unit 19 updates the model parameters of the language model 100 so as to maximize the similarity of compressed vectors generated from texts with the same meaning.
  • FIG. 2 is a first diagram showing a configuration example of a language model.
  • the language model 100 shown in FIG. 2 includes (1) an encoder 101, an intermediate layer 102, and a decoder 103 corresponding to the first language autoencoder, and (2) an encoder 104 and an intermediate layer 105 corresponding to the second language autoencoder. and decoder 106 .
  • the targets of processing by the third parameter update unit 19 are the encoder 101 and the intermediate layer 102 involved in the generation of the compression vector of the first language, and the encoder 104 and the intermediate layer 104 involved in the generation of the compression vector of the second language. 105.
  • Encoders 101, 104 and decoders 103, 106 may apply existing language models such as Transformers/Bert (reference [1]), respectively.
  • the form of the language model shown in FIG. 2 can be used, for example, when applying cosine distance as the degree of similarity between compressed vectors. It is a form that can be
  • FIG. 3 is a second diagram showing a configuration example of the language model.
  • the language model 100 shown in FIG. 3 includes (1) an encoder 101, an intermediate layer 102, and a decoder 103 corresponding to an autoencoder for a first language, and (2) an encoder 104 and an intermediate layer 102 corresponding to an autoencoder for a second language. and decoder 106 . That is, the intermediate layer included in the language model 100 is the intermediate layer 102 common to the first language and the second language.
  • the targets of processing by the third parameter update unit 19 are the encoder 101 and the intermediate layer 102 involved in the generation of the compression vector of the first language, and the encoder 104 and the intermediate layer 104 involved in the generation of the compression vector of the second language. 102.
  • the form of the language model shown in FIG. 3 is almost the same as the form of the language model shown in FIG. 2, but can be used when the semantic spaces of the two languages completely match.
  • FIG. 4 is a third diagram showing a configuration example of the language model.
  • the language model 100 shown in FIG. 4 includes (1) an encoder 101, an intermediate layer 102, and a decoder 103 corresponding to an autoencoder for a first language, and (2) an encoder 101 and an intermediate layer 102 corresponding to an autoencoder for a second language. and decoder 106 . That is, the encoder and intermediate layer included in the language model 100 are the encoder 101 and intermediate layer 102 common to the first language and the second language.
  • (3) targets of processing by the third parameter updating unit 19 are the encoder 101 and the intermediate layer 102 involved in generating the compression vectors of the first language and the second language.
  • the form of the language model shown in FIG. 4 is, for example, a model when the multilingual model of Sentence-Bert (Non-Patent Document 1) is applied to (3) of the language model shown in FIG. It is a formal form that can be applied when the functions of two encoders are already included.
  • the form of the language model shown in FIG. 4 is substantially the same as the form of the language model shown in FIG. 2 or FIG.
  • the learning device 10 starts learning processing in response to a user's operation or the like, or periodically.
  • FIG. 5 is a flowchart showing an example of the flow of learning processing.
  • the first language corpus acquisition unit 12 acquires a first language corpus (step S11).
  • the first language compression vector generation unit 13 generates compression vectors of the first language corpus (step S12).
  • the first parameter updating unit 14 updates the parameters of the language model based on the compression vector of the corpus of the first language (step S13).
  • step S11 to step S13 corresponds to the first learning for learning the autoencoder of the first language.
  • the second language corpus acquisition unit 15 acquires a second language corpus (step S14).
  • the second language compression vector generator 16 generates a compression vector of the second language corpus (step S15).
  • the second parameter updating unit 17 updates the parameters of the language model based on the compression vector of the corpus of the second language (step S16).
  • step S14 to step S16 corresponds to the second learning for learning the autoencoder of the second language.
  • the similarity calculation unit 18 calculates the similarity between the compressed vector of the first language corpus and the compressed vector of the second language corpus (step S17).
  • the calculated similarity is, for example, the norm or cosine distance between compressed vectors.
  • the third parameter updating unit 19 updates the parameters of the language model based on the degree of similarity (step S18). For example, the third parameter updating unit 19 updates the parameters of the language model so as to minimize the norm or cosine distance between compressed vectors having a common meaning.
  • step S17 to step S18 corresponds to the third learning for maximizing the similarity (minimizing the norm or cosine distance).
  • the learning device 10 compresses each text of the first language and the second language as a vector in one semantic space by combining three learning (parameter updating) processes. It can be transformed, and if the text has the same meaning, it can be learned to obtain an equivalent compression vector.
  • the learning device 10 may repeat learning in order for each fixed number of times as a method of combining learning, or may pool all learning errors for a fixed period and update the weights as a batch process. good.
  • FIG. 6 is a functional configuration diagram of a parallel translation output device.
  • the parallel translation output device 20 includes a model storage unit 21, a first language text acquisition unit 22, a first language compression vector generation unit 23, a second language translation candidate acquisition unit 24, and a second language compression vector generation unit. 25 , a similarity calculation unit 26 , a translation selection unit 27 and an output unit 28 .
  • the model storage unit 21 stores the language model 200.
  • the language model 200 is a trained language model whose parameters have been updated by the learning device 10 .
  • the first language text acquisition unit 22 acquires the first language text 90.
  • the first language text 90 is Japanese text to be translated, for example, when a bilingual sentence is output with Japanese as the first language.
  • the first language compression vector generation unit 23 compresses the first language text based on the language model 200 to generate a compression vector (first compression vector).
  • the second language parallel translation candidate acquisition unit 24 acquires the second language parallel translation candidate 91 .
  • the second language parallel translation candidates 91 are a set of English texts that are candidates for parallel translation of Japanese, which is an example of the first language, when English is the second language, for example.
  • the second language compression vector generation unit 25 compresses the second language translation candidate based on the language model 200 to generate a compression vector (second compression vector).
  • the similarity calculation unit 26 calculates a compression vector (first compression vector) generated from the text in the first language and each compression vector (second compression vector) generated from a plurality of candidates for translation in the second language. Calculate the similarity of The similarity calculation method is the same as that of the similarity calculation unit 18 of the learning device 10 .
  • the bilingual sentence selection unit 27 selects a bilingual sentence from a plurality of bilingual sentence candidates based on the degree of similarity. Specifically, when the degree of similarity is the cosine distance of the compressed vector, the bilingual sentence selection unit 27 selects the compression vector having the smallest cosine distance among a plurality of compressed vectors generated from the bilingual sentence candidates. Select a parallel translation.
  • the output unit 28 outputs the selected translated text. Specifically, the output unit 28 transmits information indicating the translated text to another device or the like, or displays the information on a display device or the like.
  • FIG. 7 is a diagram for explaining how to use the language model in parallel-translation output processing.
  • a language model 200 shown in FIG. 7 is obtained by applying the language model 100 shown in FIG. 2 to the parallel translation output process.
  • the language model 200 includes (1) an encoder 201 and an intermediate layer 202 for generating compression vectors for text in the first language, and (2) an encoder 203 and an intermediate layer 204 for generating compression vectors for candidate parallel translations in the second language. , (3) an intermediate layer 205 relating to similarity calculation, and (4) a storage unit 206 for storing information indicating the calculated similarity.
  • the parallel translation output device 20 starts the parallel translation output process in response to a user's operation or the like or periodically.
  • FIG. 8 is a flow chart showing an example of the flow of parallel translation output processing.
  • the first language text acquisition unit 22 acquires the first language text (step S21).
  • the first language compression vector generator 23 generates a compression vector for the first language text (step S22).
  • the second language parallel translation candidate acquisition unit 24 acquires the second language translation sentence candidates (step S23).
  • the second language compression vector generation unit 25 generates compression vectors of candidates for parallel translation sentences in the second language (step S24).
  • the similarity calculation unit 26 calculates the similarity between the compression vector of the first language text and the compression vector of the parallel translation candidate of the second language (step S25).
  • the bilingual sentence selection unit 27 selects a bilingual sentence based on the degree of similarity (step S26).
  • the output unit 28 outputs the selected translated text (step S27).
  • the learning device 10 and the parallel translation output device 20 can be implemented, for example, by causing a computer to execute a program describing the processing details described in this embodiment.
  • this "computer” may be a physical machine or a virtual machine on the cloud.
  • the "hardware” described here is virtual hardware.
  • the above program can be recorded on a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 9 is a diagram showing a hardware configuration example of the computer.
  • the computer of FIG. 9 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., which are interconnected by a bus B, respectively.
  • a program that implements the processing in the computer is provided by a recording medium 1001 such as a CD-ROM or memory card, for example.
  • a recording medium 1001 such as a CD-ROM or memory card
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000 .
  • the program does not necessarily need to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores installed programs, as well as necessary files and data.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when a program activation instruction is received.
  • the CPU 1004 implements functions related to the device according to programs stored in the memory device 1003 .
  • the interface device 1005 is used as an interface for connecting to the network.
  • a display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • An input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions.
  • the output device 1008 outputs the calculation result.
  • the computer may include a GPU (Graphics Processing Unit) or TPU (Tensor Processing Unit) instead of the CPU 1004, or may include a GPU or TPU in addition to the CPU 1004. In that case, the processing may be divided and executed such that the GPU or TPU executes processing that requires special computation, such as a neural network, and the CPU 1004 executes other processing.
  • the learning device 10 According to the learning device 10 according to the present embodiment, by combining three learning (parameter updating) processes, the texts of the first language and the second language are compressed and transformed as vectors in one semantic space. is possible, and if the text has the same meaning, it learns to obtain an equivalent compression vector.
  • the bilingual sentence output device 20 can easily find sentences with similar meanings between different languages, and select and output highly accurate bilingual sentences. be able to.
  • a learning device for updating parameters of a language model comprising: a first language compressed vector generator for generating a first compressed vector obtained by compressing a first language corpus based on the language model; a first parameter updating unit that updates parameters of the language model based on the first compression vector; a second language compressed vector generator for generating a second compressed vector obtained by compressing a second language corpus based on the language model; a second parameter updating unit that updates parameters of the language model based on the second compression vector; a similarity calculation unit that calculates a similarity between the first compressed vector and the second compressed vector generated from texts having the same meaning; a third parameter updating unit that updates parameters of the language model based on the similarity; learning device.
  • the similarity calculation unit calculates the norm or cosine distance between the first compressed vector and the second compressed vector as the similarity
  • the third parameter updating unit updates the parameter so as to minimize the norm or the cosine distance
  • a learning device A learning device according to claim 1.
  • the language model is an autoencoder that includes an encoder that generates compressed vectors of a first language in the hidden layer and an encoder that generates compressed vectors of the second language in the hidden layer, 3.
  • a parallel translation output device for outputting a second language parallel translation of a first language text, a first language compression vector generator for compressing the first language text to generate a first compression vector; a second language compression vector generation unit that compresses the plurality of translation candidates of the second language to generate a second compression vector; a similarity calculation unit that calculates a similarity between the first compressed vector and each of the second compressed vectors; a bilingual sentence selection unit that selects a bilingual sentence from bilingual sentence candidates based on the degree of similarity; an output unit that outputs the selected bilingual sentence, Parallel text output device.
  • a learning method executed by a learning device for updating parameters of a language model comprising: generating a first compression vector that compresses a corpus of a first language based on the language model; updating parameters of the language model based on the first compression vector; generating a second compression vector that compresses a corpus of a second language based on the language model; updating parameters of the language model based on the second compression vector; calculating a similarity between the first compressed vector and the second compressed vector, each generated from text having the same meaning; updating language model parameters based on the similarity; learning method.
  • a parallel translation output method executed by a parallel translation output device for outputting a parallel translation of a first language text in a second language comprising: compressing the first language text to generate a first compression vector; compressing the plurality of translation candidates in the second language to generate a second compression vector; calculating a similarity between the first compressed vector and each of the second compressed vectors; selecting a bilingual sentence from bilingual sentence candidates based on the similarity; and outputting the selected bilingual sentence.
  • Parallel text output method A program for causing a computer to function as each unit in the learning device according to any one of items 1 to 3, or for causing a computer to function as each unit in the bilingual sentence output device according to item 4. program.
  • Second language corpus 100 Language model 200 Language model 1000 Drive device 1001 Recording medium 1002 Auxiliary Storage device 1003 Memory device 1004 CPU 1005 interface device 1006 display device 1007 input device 1008 output device

Abstract

言語モデルのパラメータを更新するための学習装置であって、前記言語モデルに基づいて、第一言語のコーパスを圧縮した第一圧縮ベクトルを生成する第一言語圧縮ベクトル生成部と、前記第一圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第一パラメータ更新部と、前記言語モデルに基づいて、第二言語のコーパスを圧縮した第二圧縮ベクトルを生成する第二言語圧縮ベクトル生成部と、前記第二圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第二パラメータ更新部と、それぞれ意味が同じテキストから生成された前記第一圧縮ベクトルと前記第二圧縮ベクトルの類似度を算出する類似度算出部と、前記類似度に基づいて、言語モデルのパラメータを更新する第三パラメータ更新部と、を備える学習装置である。

Description

学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム
　本発明は、学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラムに関する。
　自然言語処理による自動翻訳を、対訳データを用いて実現する技術が知られている。例えば、日英翻訳であれば、日本語文書と英語文書との対応を大量に学習させることで翻訳精度を上げる方法が知られている。
　非特許文献１には、意味が類似する文を類似度の高いベクトルへと写像する技術が開示されている。
Nils Reimers，SentenceTransformers Documentation，［ｏｎｌｉｎｅ］，インターネット＜ＵＲＬ：https://www.sbert.net/index.html＞
　上記の従来技術において利用できる対訳データは、類似したテキストの集合、或いは、対訳テキストのペアの集合であるが、テキスト同士の対応付けが明確でないものも多く、それらに関しては利用を諦めるか、あるいは人手で対応付けを行うなどが必要である。そのため、利用しやすい対訳データを大量に準備することが難しいという問題がある。
　開示の技術は、対訳データによらずに、異なる言語間で意味の近いテキストを出力することを目的とする。
　開示の技術は、言語モデルのパラメータを更新するための学習装置であって、前記言語モデルに基づいて、第一言語のコーパスを圧縮した第一圧縮ベクトルを生成する第一言語圧縮ベクトル生成部と、前記第一圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第一パラメータ更新部と、前記言語モデルに基づいて、第二言語のコーパスを圧縮した第二圧縮ベクトルを生成する第二言語圧縮ベクトル生成部と、前記第二圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第二パラメータ更新部と、それぞれ意味が同じテキストから生成された前記第一圧縮ベクトルと前記第二圧縮ベクトルの類似度を算出する類似度算出部と、前記類似度に基づいて、言語モデルのパラメータを更新する第三パラメータ更新部と、を備える学習装置である。
　対訳データによらずに、異なる言語間で意味の近いテキストを出力することができる。
学習装置の機能構成図である。 言語モデルの一例を示す第一の図である。 言語モデルの一例を示す第二の図である。 言語モデルの一例を示す第三の図である。 学習処理の流れの一例を示すフローチャートである。 対訳文出力装置の機能構成図である。 対訳文出力処理における言語モデルの使用方法について説明するための図である。 対訳文出力処理の流れの一例を示すフローチャートである。 コンピュータのハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（本実施の形態の概要）
　本実施の形態に係る学習装置は、二つの言語のそれぞれのテキストを一つの意味空間上にベクトルとして圧縮変換する学習と、二つの言語の対訳コーパスを用いて同じ意味の文を入力とした場合に、各言語の圧縮ベクトルを一致或いは近傍に集める学習と、を行って、言語モデルのパラメータを更新する。また、本実施の形態に係る対訳文出力装置は、学習装置によって更新されたパラメータを適用した言語モデルに基づいて対訳文を出力する。なお、対訳文とは、入力された第一言語のテキストに対応する第二言語のテキストであって、単語、フレーズ、文章、段落等を含む。
　（学習装置の機能構成例）
　図１は、学習装置の機能構成図である。学習装置１０は、モデル記憶部１１と、第一言語コーパス取得部１２と、第一言語圧縮ベクトル生成部１３と、第一パラメータ更新部１４と、第二言語コーパス取得部１５と、第二言語圧縮ベクトル生成部１６と、第二パラメータ更新部１７と、類似度算出部１８と、第三パラメータ更新部１９と、を備える。
　モデル記憶部１１は、言語モデル１００を記憶する。言語モデル１００は、第一言語（例えば日本語）と第二言語（例えば英語）のそれぞれのテキストを圧縮または復元するオートエンコーダであって、中間層に入力されたテキストに対応する圧縮ベクトルを生成するように学習される。
　第一言語コーパス取得部１２は、第一言語コーパス８０を取得する。第一言語コーパス８０は、例えば日本語を第一言語とする場合、日本語のテキストを構造化して集積された単言語のコーパスである。
　第一言語圧縮ベクトル生成部１３は、言語モデル１００に基づいて第一言語のコーパスを圧縮して、圧縮ベクトル（第一圧縮ベクトル）を生成する。
　第一パラメータ更新部１４は、第一言語コーパス８０を使用して、生成された圧縮ベクトルがコーパスに対応する意味となるように学習することによって、言語モデル１００のモデルパラメータを更新する。
　第二言語コーパス取得部１５は、第二言語コーパス８１を取得する。第二言語コーパス８１は、例えば英語を第二言語とする場合、英語のテキストを構造化して集積された単言語のコーパスである。
　第二言語圧縮ベクトル生成部１６は、言語モデル１００に基づいて第二言語のコーパスを圧縮して、圧縮ベクトル（第二圧縮ベクトル）を生成する。
　第二パラメータ更新部１７は、第二言語コーパス８１を使用して、生成された圧縮ベクトルがコーパスに対応する意味となるように学習することによって、言語モデル１００のモデルパラメータを更新する。
　類似度算出部１８は、第一言語コーパス８０から生成された圧縮ベクトル（第一圧縮ベクトル）と、第二言語コーパス８１から生成された圧縮ベクトル（第二圧縮ベクトル）が、同じ意味のテキストから生成された場合に、これらの圧縮ベクトルの類似度を算出する。類似度は、例えば圧縮ベクトル間のノルムまたはｃｏｓｉｎｅ距離等である。なお、類似度算出部１８は、同じ意味のテキストから生成されたか否かを、対訳コーパス等に基づいて判定する。また、第一言語圧縮ベクトル生成部１３および第二言語圧縮ベクトル生成部１６は、類似度の算出の対象となる第一言語の圧縮ベクトル（第一圧縮ベクトル）と第二言語の圧縮ベクトル（第二圧縮ベクトル）とを、第一言語コーパス８０または第二言語コーパス８１ではなく対訳コーパスを圧縮して生成しても良い。
　第三パラメータ更新部１９は、同じ意味のテキストから生成される圧縮ベクトルの類似度を最大化するように、言語モデル１００のモデルパラメータを更新する。
　（言語モデルの構成例）
　図２は、言語モデルの構成例を示す第一の図である。図２に示す言語モデル１００は、（１）第一言語のオートエンコーダに相当するエンコーダ１０１、中間層１０２およびデコーダ１０３と、（２）第二言語のオートエンコーダに相当するエンコーダ１０４、中間層１０５およびデコーダ１０６と、を含む。また、（３）第三パラメータ更新部１９による処理の対象は、第一言語の圧縮ベクトルの生成に関わるエンコーダ１０１および中間層１０２と、第二言語の圧縮ベクトルの生成に関わるエンコーダ１０４および中間層１０５である。
　エンコーダ１０１，１０４およびデコーダ１０３，１０６は、それぞれＴｒａｎｓｆｏｒｍｅｒｓ／Ｂｅｒｔ等（参考文献［１］）の既存の言語モデルを適用しても良い。
　図２に示す言語モデルの形態は、圧縮ベクトル同士の類似度としてｃｏｓｉｎｅ距離を適用する場合などに使用でき、２つの言語の意味空間が完全な一致ではなく、緩やかに対応する場合にも用いることができる形態である。
　図３は、言語モデルの構成例を示す第二の図である。図３に示す言語モデル１００は、（１）第一言語のオートエンコーダに相当するエンコーダ１０１、中間層１０２およびデコーダ１０３と、（２）第二言語のオートエンコーダに相当するエンコーダ１０４、中間層１０２およびデコーダ１０６と、を含む。すなわち、言語モデル１００が備える中間層は、第一言語と第二言語で共通の中間層１０２となっている。また、（３）第三パラメータ更新部１９による処理の対象は、第一言語の圧縮ベクトルの生成に関わるエンコーダ１０１および中間層１０２と、第二言語の圧縮ベクトルの生成に関わるエンコーダ１０４および中間層１０２である。
　図３に示す言語モデルの形態は、図２に示す言語モデルの形態とほぼ同等であるが、２つの言語の意味空間が完全に一致する場合に用いることができる。
　図４は、言語モデルの構成例を示す第三の図である。図４に示す言語モデル１００は、（１）第一言語のオートエンコーダに相当するエンコーダ１０１、中間層１０２およびデコーダ１０３と、（２）第二言語のオートエンコーダに相当するエンコーダ１０１、中間層１０２およびデコーダ１０６と、を含む。すなわち、言語モデル１００が備えるエンコーダおよび中間層は、第一言語と第二言語で共通のエンコーダ１０１および中間層１０２となっている。また、（３）第三パラメータ更新部１９による処理の対象は、第一言語および第二言語の圧縮ベクトルの生成に関わるエンコーダ１０１および中間層１０２である。
　図４に示す言語モデルの形態は、例えば、図２に示す言語モデルの（３）にＳｅｎｔｅｎｃｅ－Ｂｅｒｔ（非特許文献１）の多言語モデルを適用した場合のモデルであり、適用するモデル内に二つのエンコーダの機能を既に含んでいる場合に適用できる形式的な形態である。図４に示す言語モデルの形態は、実質的には図２または図３に示す言語モデルの形態と同等である。
　同様に、二つのデコーダの機能を一つのデコーダに包含する場合には、形式的に一つのデコーダにより表現することもできる。
　（学習装置の動作例）
　次に、学習装置１０の動作例について、図面を参照して説明する。学習装置１０は、ユーザの操作等を受けて、または定期的に、学習処理を開始する。
　図５は、学習処理の流れの一例を示すフローチャートである。第一言語コーパス取得部１２は、第一言語のコーパスを取得する（ステップＳ１１）。次に、第一言語圧縮ベクトル生成部１３は、第一言語のコーパスの圧縮ベクトルを生成する（ステップＳ１２）。続いて、第一パラメータ更新部１４は、第一言語のコーパスの圧縮ベクトルに基づいて、言語モデルのパラメータを更新する（ステップＳ１３）。
　ステップＳ１１からステップＳ１３までの処理は、第一言語のオートエンコーダを学習するための第一の学習に相当する。
　また、第二言語コーパス取得部１５は、第二言語のコーパスを取得する（ステップＳ１４）。次に、第二言語圧縮ベクトル生成部１６は、第二言語のコーパスの圧縮ベクトルを生成する（ステップＳ１５）。続いて、第二パラメータ更新部１７は、第二言語のコーパスの圧縮ベクトルに基づいて、言語モデルのパラメータを更新する（ステップＳ１６）。
　ステップＳ１４からステップＳ１６までの処理は、第二言語のオートエンコーダを学習するための第二の学習に相当する。
　続いて、類似度算出部１８は、第一言語のコーパスの圧縮ベクトルと、第二言語のコーパスの圧縮ベクトルとの類似度を算出する（ステップＳ１７）。算出される類似度は、例えば圧縮ベクトル間のノルムまたはｃｏｓｉｎｅ距離等である。
　そして、第三パラメータ更新部１９は、類似度に基づいて、言語モデルのパラメータを更新する（ステップＳ１８）。例えば、第三パラメータ更新部１９は、意味が共通する圧縮ベクトル間のノルムまたはｃｏｓｉｎｅ距離を最小化するように、言語モデルのパラメータを更新する。
　ステップＳ１７からステップＳ１８までの処理は、類似度を最大化（ノルムまたはｃｏｓｉｎｅ距離を最小化）するための第三の学習に相当する。
　このようにして、本実施の形態に係る学習装置１０は、３つの学習（パラメータ更新）処理を組み合わせることによって、第一言語および第二言語のそれぞれのテキストを一つの意味空間上にベクトルとして圧縮変換することが可能となり、意味が同じテキストであれば、同等の圧縮ベクトルを得られるように学習することができる。
　また、第三の学習のみでは過学習が起こる可能性が高いが、第一、第二の学習を組み合わせることにより、汎化の学習効果が得られ、過学習が抑制されることが期待できる。
　なお、学習装置１０は、学習の組み合わせ方としては、それぞれを一定回数毎に順番に学習を繰り返しても良いし、一定期間の学習誤差を全てプールし、バッチ処理として重みの更新を行っても良い。
　（対訳文出力装置の機能構成）
　図６は、対訳文出力装置の機能構成図である。対訳文出力装置２０は、モデル記憶部２１と、第一言語テキスト取得部２２と、第一言語圧縮ベクトル生成部２３と、第二言語対訳文候補取得部２４と、第二言語圧縮ベクトル生成部２５と、類似度算出部２６と、対訳文選択部２７と、出力部２８と、を備える。
　モデル記憶部２１は、言語モデル２００を記憶する。言語モデル２００は、学習装置１０によってパラメータを更新された学習済みの言語モデルである。
　第一言語テキスト取得部２２は、第一言語テキスト９０を取得する。第一言語テキスト９０は、例えば日本語を第一言語として対訳文を出力する場合、対訳の対象となる日本語のテキストである。
　第一言語圧縮ベクトル生成部２３は、言語モデル２００に基づいて第一言語のテキストを圧縮して、圧縮ベクトル（第一圧縮ベクトル）を生成する。
　第二言語対訳文候補取得部２４は、第二言語対訳文候補９１を取得する。第二言語対訳文候補９１は、例えば英語を第二言語とする場合、第一言語の一例である日本語の対訳の候補となる英語のテキストの集合である。
　第二言語圧縮ベクトル生成部２５は、言語モデル２００に基づいて第二言語の対訳文候補を圧縮して、圧縮ベクトル（第二圧縮ベクトル）を生成する。
　類似度算出部２６は、第一言語のテキストから生成された圧縮ベクトル（第一圧縮ベクトル）と、第二言語の複数の対訳文候補から生成されたそれぞれの圧縮ベクトル（第二圧縮ベクトル）との類似度を算出する。類似度の算出方法は、学習装置１０の類似度算出部１８と同様である。
　対訳文選択部２７は、複数の対訳文の候補から、類似度に基づいて対訳文を選択する。具体的には、類似度が圧縮ベクトルのｃｏｓｉｎｅ距離である場合、対訳文選択部２７は、対訳文候補から生成された複数の圧縮ベクトルのうち、ｃｏｓｉｎｅ距離が最小となる圧縮ベクトルの生成元の対訳文を選択する。
　出力部２８は、選択された対訳文を出力する。具体的には、出力部２８は、対訳文を示す情報を他の装置等に送信するか、または表示装置等に表示する。
　（対訳文出力処理における言語モデル）
　図７は、対訳文出力処理における言語モデルの使用方法について説明するための図である。図７に示す言語モデル２００は、図２に示した言語モデル１００を対訳文の出力処理に適用したものである。
　言語モデル２００は、（１）第一言語のテキストの圧縮ベクトルの生成に関するエンコーダ２０１および中間層２０２と、（２）第二言語の対訳文候補の圧縮ベクトルの生成に関するエンコーダ２０３および中間層２０４と、（３）類似度の算出に関する中間層２０５と、（４）算出された類似度を示す情報を記憶する記憶部２０６と、を含む。
　（対訳文出力装置の動作例）
　次に、対訳文出力装置２０の動作例について、図面を参照して説明する。対訳文出力装置２０は、ユーザの操作等を受けて、または定期的に、対訳文出力処理を開始する。
　図８は、対訳文出力処理の流れの一例を示すフローチャートである。第一言語テキスト取得部２２は、第一言語テキストを取得する（ステップＳ２１）。次に、第一言語圧縮ベクトル生成部２３は、第一言語テキストの圧縮ベクトルを生成する（ステップＳ２２）。
　続いて、第二言語対訳文候補取得部２４は、第二言語の対訳文の候補を取得する（ステップＳ２３）。第二言語圧縮ベクトル生成部２５は、第二言語の対訳文の候補の圧縮ベクトルを生成する（ステップＳ２４）。
　次に、類似度算出部２６は、第一言語テキストの圧縮ベクトルと、第二言語の対訳文の候補の圧縮ベクトルとの類似度を算出する（ステップＳ２５）。対訳文選択部２７は、類似度に基づいて対訳文を選択する（ステップＳ２６）。
　そして、出力部２８は、選択された対訳文を出力する（ステップＳ２７）。
　（本実施の形態に係るハードウェア構成例）
　学習装置１０および対訳文出力装置２０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。
　上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図９は、上記コンピュータのハードウェア構成例を示す図である。図９のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、例えばニューラルネットワーク等の特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。
　（本実施の形態の効果）
　本実施の形態に係る学習装置１０によれば、３つの学習（パラメータ更新）処理を組み合わせることによって、第一言語および第二言語のそれぞれのテキストを一つの意味空間上にベクトルとして圧縮変換することが可能となり、意味が同じテキストであれば、同等の圧縮ベクトルを得られるように学習する。
　近年ではインターネット等を介して膨大な数の単言語のコーパスが提供されているため、単言語のコーパスの収集は比較的容易である。したがって、入手しやすい単言語のコーパスを利用することによって、大量の学習データを利用でき、圧縮次元における意味空間の滑らかさを実現させることができる。
　このようにして学習された言語モデルを利用することによって、対訳文出力装置２０は、異なる言語間で意味の近い文を発見することが容易になり、精度の高い対訳文を選択して出力することができる。
　（参考文献）
　［１］：The Hugging Face Team，Transformers，［ｏｎｌｉｎｅ］，インターネット＜ＵＲＬ：https://huggingface.co/transformers/index.html＞
　（実施の形態のまとめ）
　本明細書には、少なくとも下記の各項に記載した学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラムが記載されている。
（第１項）
　言語モデルのパラメータを更新するための学習装置であって、
　前記言語モデルに基づいて、第一言語のコーパスを圧縮した第一圧縮ベクトルを生成する第一言語圧縮ベクトル生成部と、
　前記第一圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第一パラメータ更新部と、
　前記言語モデルに基づいて、第二言語のコーパスを圧縮した第二圧縮ベクトルを生成する第二言語圧縮ベクトル生成部と、
　前記第二圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第二パラメータ更新部と、
　それぞれ意味が同じテキストから生成された前記第一圧縮ベクトルと前記第二圧縮ベクトルの類似度を算出する類似度算出部と、
　前記類似度に基づいて、言語モデルのパラメータを更新する第三パラメータ更新部と、を備える、
　学習装置。
（第２項）
　前記類似度算出部は、前記第一圧縮ベクトルと前記第二圧縮ベクトルとのノルムまたはｃｏｓｉｎｅ距離を、前記類似度として算出し、
　前記第三パラメータ更新部は、前記ノルムまたは前記ｃｏｓｉｎｅ距離を最小化するように前記パラメータを更新する、
　第１項に記載の学習装置。
（第３項）
　前記言語モデルは、第一言語の圧縮ベクトルを中間層に生成するエンコーダと、第二言語の圧縮ベクトルを中間層に生成するエンコーダと、を含むオートエンコーダである、
　第１項または第２項に記載の学習装置。
（第４項）
　第一言語のテキストの第二言語の対訳文を出力するための対訳文出力装置であって、
　前記第一言語のテキストを圧縮して第一圧縮ベクトルを生成する第一言語圧縮ベクトル生成部と、
　前記第二言語の複数の対訳文候補を圧縮して第二圧縮ベクトルを生成する第二言語圧縮ベクトル生成部と、
　前記第一圧縮ベクトルと、それぞれの前記第二圧縮ベクトルとの類似度を算出する類似度算出部と、
　前記類似度に基づいて対訳文候補から対訳文を選択する対訳文選択部と、
　選択された前記対訳文を出力する出力部と、を備える、
　対訳文出力装置。
（第５項）
　言語モデルのパラメータを更新するための学習装置が実行する学習方法であって、
　前記言語モデルに基づいて、第一言語のコーパスを圧縮した第一圧縮ベクトルを生成するステップと、
　前記第一圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新するステップと、
　前記言語モデルに基づいて、第二言語のコーパスを圧縮した第二圧縮ベクトルを生成するステップと、
　前記第二圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新するステップと、
　それぞれ意味が同じテキストから生成された前記第一圧縮ベクトルと前記第二圧縮ベクトルの類似度を算出するステップと、
　前記類似度に基づいて、言語モデルのパラメータを更新するステップと、を備える、
　学習方法。
（第６項）
　第一言語のテキストの第二言語の対訳文を出力するための対訳文出力装置が実行する対訳文出力方法であって、
　前記第一言語のテキストを圧縮して第一圧縮ベクトルを生成するステップと、
　前記第二言語の複数の対訳文候補を圧縮して第二圧縮ベクトルを生成するステップと、
　前記第一圧縮ベクトルと、それぞれの前記第二圧縮ベクトルとの類似度を算出するステップと、
　前記類似度に基づいて対訳文候補から対訳文を選択するステップと、
　選択された前記対訳文を出力するステップと、を備える、
　対訳文出力方法。
（第７項）
　コンピュータを、第１項から第３項のいずれか１項に記載の学習装置における各部として機能させるためのプログラム、または、コンピュータを、第４項に記載の対訳文出力装置における各部として機能させるためのプログラム。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　学習装置
１１　モデル記憶部
１２　第一言語コーパス取得部
１３　第一言語圧縮ベクトル生成部
１４　第一パラメータ更新部
１５　第二言語コーパス取得部
１６　第二言語圧縮ベクトル生成部
１７　第二パラメータ更新部
１８　類似度算出部
１９　第三パラメータ更新部
２０　対訳文出力装置
２１　モデル記憶部
２２　第一言語テキスト取得部
２３　第一言語圧縮ベクトル生成部
２４　第二言語対訳文候補取得部
２５　第二言語圧縮ベクトル生成部
２６　類似度算出部
２７　対訳文選択部
２８　出力部
８０　第一言語コーパス
８１　第二言語コーパス
９０　第一言語テキスト
９１　第二言語対訳文候補
１００　言語モデル
２００　言語モデル
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (7)

  1. 　言語モデルのパラメータを更新するための学習装置であって、
    　前記言語モデルに基づいて、第一言語のコーパスを圧縮した第一圧縮ベクトルを生成する第一言語圧縮ベクトル生成部と、
    　前記第一圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第一パラメータ更新部と、
    　前記言語モデルに基づいて、第二言語のコーパスを圧縮した第二圧縮ベクトルを生成する第二言語圧縮ベクトル生成部と、
    　前記第二圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新する第二パラメータ更新部と、
    　それぞれ意味が同じテキストから生成された前記第一圧縮ベクトルと前記第二圧縮ベクトルの類似度を算出する類似度算出部と、
    　前記類似度に基づいて、言語モデルのパラメータを更新する第三パラメータ更新部と、を備える、
    　学習装置。
  2. 　前記類似度算出部は、前記第一圧縮ベクトルと前記第二圧縮ベクトルとのノルムまたはｃｏｓｉｎｅ距離を、前記類似度として算出し、
    　前記第三パラメータ更新部は、前記ノルムまたは前記ｃｏｓｉｎｅ距離を最小化するように前記パラメータを更新する、
    　請求項１に記載の学習装置。
  3. 　前記言語モデルは、第一言語の圧縮ベクトルを中間層に生成するエンコーダと、第二言語の圧縮ベクトルを中間層に生成するエンコーダと、を含むオートエンコーダである、
    　請求項１または２に記載の学習装置。
  4. 　第一言語のテキストの第二言語の対訳文を出力するための対訳文出力装置であって、
    　前記第一言語のテキストを圧縮して第一圧縮ベクトルを生成する第一言語圧縮ベクトル生成部と、
    　前記第二言語の複数の対訳文候補を圧縮して第二圧縮ベクトルを生成する第二言語圧縮ベクトル生成部と、
    　前記第一圧縮ベクトルと、それぞれの前記第二圧縮ベクトルとの類似度を算出する類似度算出部と、
    　前記類似度に基づいて対訳文候補から対訳文を選択する対訳文選択部と、
    　選択された前記対訳文を出力する出力部と、を備える、
    　対訳文出力装置。
  5. 　言語モデルのパラメータを更新するための学習装置が実行する学習方法であって、
    　前記言語モデルに基づいて、第一言語のコーパスを圧縮した第一圧縮ベクトルを生成するステップと、
    　前記第一圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新するステップと、
    　前記言語モデルに基づいて、第二言語のコーパスを圧縮した第二圧縮ベクトルを生成するステップと、
    　前記第二圧縮ベクトルに基づいて、前記言語モデルのパラメータを更新するステップと、
    　それぞれ意味が同じテキストから生成された前記第一圧縮ベクトルと前記第二圧縮ベクトルの類似度を算出するステップと、
    　前記類似度に基づいて、言語モデルのパラメータを更新するステップと、を備える、
    　学習方法。
  6. 　第一言語のテキストの第二言語の対訳文を出力するための対訳文出力装置が実行する対訳文出力方法であって、
    　前記第一言語のテキストを圧縮して第一圧縮ベクトルを生成するステップと、
    　前記第二言語の複数の対訳文候補を圧縮して第二圧縮ベクトルを生成するステップと、
    　前記第一圧縮ベクトルと、それぞれの前記第二圧縮ベクトルとの類似度を算出するステップと、
    　前記類似度に基づいて対訳文候補から対訳文を選択するステップと、
    　選択された前記対訳文を出力するステップと、を備える、
    　対訳文出力方法。
  7. 　コンピュータを、請求項１から３のいずれか１項に記載の学習装置における各部として機能させるためのプログラム、または、コンピュータを、請求項４に記載の対訳文出力装置における各部として機能させるためのプログラム。
PCT/JP2021/022581 2021-06-14 2021-06-14 学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム WO2022264232A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/022581 WO2022264232A1 (ja) 2021-06-14 2021-06-14 学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム
JP2023528774A JPWO2022264232A1 (ja) 2021-06-14 2021-06-14

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022581 WO2022264232A1 (ja) 2021-06-14 2021-06-14 学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022264232A1 true WO2022264232A1 (ja) 2022-12-22

Family

ID=84526874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022581 WO2022264232A1 (ja) 2021-06-14 2021-06-14 学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2022264232A1 (ja)
WO (1) WO2022264232A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010634A (ja) * 2012-06-29 2014-01-20 National Institute Of Information & Communication Technology 対訳表現抽出装置、対訳表現抽出方法及び対訳表現抽出のためのコンピュータプログラム
US20170060854A1 (en) * 2015-08-25 2017-03-02 Alibaba Group Holding Limited Statistics-based machine translation method, apparatus and electronic device
WO2018055983A1 (ja) * 2016-09-23 2018-03-29 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳システム、および評価サーバ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010634A (ja) * 2012-06-29 2014-01-20 National Institute Of Information & Communication Technology 対訳表現抽出装置、対訳表現抽出方法及び対訳表現抽出のためのコンピュータプログラム
US20170060854A1 (en) * 2015-08-25 2017-03-02 Alibaba Group Holding Limited Statistics-based machine translation method, apparatus and electronic device
WO2018055983A1 (ja) * 2016-09-23 2018-03-29 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳システム、および評価サーバ

Also Published As

Publication number Publication date
JPWO2022264232A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
CN109213995B (zh) 一种基于双语词嵌入的跨语言文本相似度评估技术
US20150127373A1 (en) Interactive Multilingual Word-Alignment Techniques
WO2014196375A1 (ja) 翻訳装置、学習装置、翻訳方法、および記録媒体
JP2007199793A (ja) 単語アライメント例文対訳辞書学習装置と訳語抽出装置
JP6817556B2 (ja) 類似文生成方法、類似文生成プログラム、類似文生成装置及び類似文生成システム
JP2009129032A (ja) 翻訳装置及び翻訳プログラム
CN111144140A (zh) 基于零次学习的中泰双语语料生成方法及装置
EP2851809A2 (en) Machine translation apparatus and method
Xiong et al. Extended HMM and ranking models for Chinese spelling correction
WO2022264232A1 (ja) 学習装置、対訳文出力装置、学習方法、対訳文出力方法およびプログラム
JP2017010274A (ja) 対応付け装置及びプログラム
JP5791097B2 (ja) 対訳フレーズ学習装置、フレーズベース統計的機械翻訳装置、対訳フレーズ学習方法、および対訳フレーズ生産方法
JP2020177196A (ja) 手話ｃｇ制作支援装置及びプログラム
US20210312144A1 (en) Translation device, translation method, and program
Boitet et al. Evolution of MT with the Web
Maarif et al. Survey on language processing algorithm for sign language synthesizer
JP5428199B2 (ja) 対訳文抽出装置及び対訳文抽出方法
Zhu et al. Sentence-level paraphrasing for machine translation system combination
JP2019008744A (ja) 学習装置、テキスト生成装置、方法、及びプログラム
Carson-Berndsen et al. Integrated language technology as part of next generation localisation
US20200279024A1 (en) Non-transitory computer readable medium
JP5298833B2 (ja) 翻訳装置及び翻訳プログラム
WO2014203681A1 (ja) 対訳フレーズ学習装置、統計的機械翻訳装置、対訳フレーズ学習方法、および記録媒体
WO2024004183A1 (ja) 抽出装置、生成装置、抽出方法、生成方法、及びプログラム
Kri et al. Phrase-based machine translation of Digaru-English

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945912

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023528774

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE