WO2021077559A1 - 信息处理方法、装置及存储介质 - Google Patents

信息处理方法、装置及存储介质 Download PDF

Info

Publication number
WO2021077559A1
WO2021077559A1 PCT/CN2019/123095 CN2019123095W WO2021077559A1 WO 2021077559 A1 WO2021077559 A1 WO 2021077559A1 CN 2019123095 W CN2019123095 W CN 2019123095W WO 2021077559 A1 WO2021077559 A1 WO 2021077559A1
Authority
WO
WIPO (PCT)
Prior art keywords
bilingual
sentence
training
vocabulary
pairs
Prior art date
Application number
PCT/CN2019/123095
Other languages
English (en)
French (fr)
Inventor
李响
孙于惠
吴晓琳
崔建伟
Original Assignee
北京小米智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京小米智能科技有限公司 filed Critical 北京小米智能科技有限公司
Priority to JP2020500705A priority Critical patent/JP7208968B2/ja
Priority to RU2020103383A priority patent/RU2737112C1/ru
Priority to KR1020207001087A priority patent/KR102327790B1/ko
Publication of WO2021077559A1 publication Critical patent/WO2021077559A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to the field of machine translation, and in particular to an information processing method, device and storage medium.
  • Machine translation is a technology that automatically translates one language into another through a machine translation model, which has broad academic and market application value.
  • the present disclosure provides an information processing method, device and storage medium.
  • an information processing method including:
  • each of the original bilingual vocabulary pairs contains a first vocabulary expressed in a first language, and a second language that has the same meaning as the first vocabulary
  • an augmented bilingual training set containing a plurality of augmented bilingual training sentence pairs is obtained.
  • the first training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: the first vocabulary included in any one of the original bilingual vocabulary pairs;
  • the second training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: a second vocabulary that has the same meaning as the first vocabulary included in any of the original bilingual vocabulary pairs.
  • the constructing a generalized two-sentence pattern based on at least one of the candidate two-sentence pairs includes:
  • the acquiring an augmented bilingual training set containing a plurality of augmented bilingual training sentence pairs based on the bilingual vocabulary list and the generalized bilingual sentence pattern includes:
  • the augmented bilingual training set is obtained.
  • the setting conditions include at least one of the following:
  • the sentence length of the first training sentence and the sentence length of the second training sentence are both greater than or equal to a set sentence length threshold;
  • the ratio of the sentence length of the first training sentence to the sentence length of the second training sentence is greater than or equal to a first set ratio and less than or equal to a second set ratio;
  • the translation accuracy rate of the first training sentence and the translation accuracy rate of the second training sentence are both greater than the set accuracy threshold.
  • the generating M generalized double sentence patterns according to the M double sentence pairs to be generalized includes:
  • the generating a plurality of the augmented bilingual training sentence pairs according to the M generalized bilingual sentence patterns and the N original bilingual vocabulary pairs contained in the bilingual vocabulary includes:
  • the universal bilingual vocabulary includes: non-terminal characters, where the non-terminal characters are used to indicate that the sentence is not finalized.
  • the method further includes:
  • the target translation model is used to translate sentences between the first language and the second language.
  • an information processing device including:
  • the first obtaining module is configured to obtain a bilingual vocabulary list containing N original bilingual vocabulary pairs, wherein each of the original bilingual vocabulary pairs contains a first vocabulary expressed in a first language and has the same meaning as the first vocabulary.
  • the meaning of the second word in the second language where N is a positive integer;
  • the second acquisition module is configured to acquire an original bilingual training set containing a plurality of original bilingual training sentence pairs, wherein each of the original bilingual training sentence pairs contains a first training sentence expressed in a first language, and is related to the first training sentence in the first language.
  • a second training sentence in a second language that has the same meaning
  • a selection module configured to select at least one original bilingual training sentence pair matching any one of the original bilingual vocabulary pairs from the original bilingual training set as a candidate bilingual sentence pair;
  • a building module configured to construct a generalized two-sentence type based on at least one of the candidate two-sentence pairs;
  • the third acquisition module is configured to acquire an augmented bilingual training set containing a plurality of augmented bilingual training sentence pairs based on the bilingual vocabulary and the generalized bilingual sentence pattern.
  • the first training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: the first vocabulary included in any one of the original bilingual vocabulary pairs;
  • the second training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: a second vocabulary that has the same meaning as the first vocabulary included in any of the original bilingual vocabulary pairs.
  • the building module is configured as:
  • the third acquisition module is configured as:
  • the augmented bilingual training set is obtained.
  • the setting conditions include at least one of the following:
  • the sentence length of the first training sentence and the sentence length of the second training sentence are both greater than or equal to a set sentence length threshold;
  • the ratio of the sentence length of the first training sentence to the sentence length of the second training sentence is greater than or equal to a first set ratio and less than or equal to a second set ratio;
  • the translation accuracy rate of the first training sentence and the translation accuracy rate of the second training sentence are both greater than the set accuracy threshold.
  • the building module is further configured as:
  • the third acquisition module is also configured to:
  • the universal bilingual vocabulary includes: non-terminal characters, where the non-terminal characters are used to indicate that the sentence is not finalized.
  • the device further includes:
  • the fusion module is configured to perform fusion processing on the augmented bilingual training set and the original bilingual training set to obtain a target bilingual training set;
  • the training module is configured to perform model training based on the target bilingual training set to obtain a target translation model
  • the target translation model is used to translate sentences between the first language and the second language.
  • an information processing device including:
  • a memory configured to store executable instructions of the processor
  • the processor is configured to implement the steps in the information processing method in the first aspect when executed.
  • a non-transitory computer-readable storage medium When instructions in the storage medium are executed by a processor of an information processing device, the device can execute the above-mentioned first aspect.
  • the present disclosure can obtain candidate bilingual sentence pairs containing the original bilingual vocabulary pairs from the original bilingual training set containing multiple original bilingual training sentence pairs through the bilingual vocabulary list containing the original bilingual vocabulary pairs, and Based on at least one candidate bilingual sentence pair, a generalized bilingual sentence pattern is constructed, and then an augmented bilingual training set containing multiple augmented bilingual training sentence pairs is obtained through the bilingual vocabulary and the generalized bilingual sentence pattern.
  • the bilingual vocabulary contains a large number of new vocabulary and can generate a large number of new generalized two-sentence patterns
  • the generalization of candidate two-sentence pairs can be realized to compare the original bilingual
  • the training set is augmented to obtain a rich augmented bilingual training set, that is, a large-scale high-quality bilingual corpus can be obtained, and the corpus resources in the bilingual corpus can be updated and enriched.
  • Fig. 1 is a first flowchart of an information processing method according to an exemplary embodiment.
  • Fig. 2 is a second flowchart of an information processing method according to an exemplary embodiment.
  • Fig. 3 is a block diagram showing an information processing device according to an exemplary embodiment.
  • Fig. 4 is a block diagram showing the hardware structure of an information processing device according to an exemplary embodiment.
  • Fig. 1 is a first flowchart of an information processing method according to an exemplary embodiment. As shown in Fig. 1, the method includes the following steps:
  • step 101 a bilingual vocabulary table containing N original bilingual word pairs is obtained, where each original bilingual vocabulary pair contains a first vocabulary expressed in a first language, and a second language vocabulary with the same meaning as the first vocabulary. Represents the second word, where N is a positive integer;
  • step 102 an original bilingual training set containing a plurality of original bilingual training sentence pairs is obtained, where each original bilingual training sentence pair contains a first training sentence expressed in a first language and has the same meaning as the first training sentence The second training sentence in the second language;
  • step 103 at least one original bilingual training sentence pair matching any original bilingual vocabulary pair is selected from the original bilingual training set as a candidate bilingual sentence pair;
  • step 104 a generalized two-sentence pattern is constructed based on at least one candidate two-sentence pair;
  • step 105 based on the bilingual vocabulary and generalized bilingual sentence patterns, an augmented bilingual training set containing multiple augmented bilingual training sentence pairs is obtained.
  • the original bilingual word pair includes a first word expressed in a first language, and a second word expressed in a second language that has the same meaning as the first word.
  • the first language is Chinese
  • the first word is "Zhang San”
  • the second language is English
  • the second word is "zhang san”.
  • Table 1 is a bilingual vocabulary list shown in this disclosure.
  • Table 1 includes three original bilingual vocabulary pairs. Among them, the first vocabulary contained in the first original bilingual vocabulary pair is "Zhang San ", the second vocabulary is "zhang san"; the first vocabulary contained in the second original bilingual vocabulary pair is " ⁇ XX, and the second vocabulary is "li XX”; the first vocabulary contained in the third original bilingual vocabulary pair The vocabulary is Xiaohong, and the second vocabulary is "xiaohong".
  • the first vocabulary of the first language Second vocabulary of the second language Zhang San zhang san Lee XX li XX Xiao Hong xiaohong
  • the bilingual vocabulary list may be obtained by manual labeling for a specific field, and the bilingual vocabulary list includes: unregistered words, low-frequency words, and high-frequency words in the specific field. Due to the great freedom of choice of bilingual vocabulary, high-frequency words are mainly used to find more bilingual sentences, low-frequency words are mainly used to supplement data, and unregistered words refer to words that are not in the bilingual vocabulary, such as bilingual vocabulary
  • the table includes vocabulary a, vocabulary b, and vocabulary c, then vocabulary d is an unregistered word, and an unregistered word can also be called an out-of-set word.
  • an original bilingual training sentence pair containing any original bilingual vocabulary pair can be obtained from an original bilingual training set containing a plurality of original bilingual training sentence pairs.
  • the original bilingual training sentence pair that matches the original bilingual vocabulary pair can be searched from the original bilingual training set, and the searched original bilingual training sentence pair can be used as a candidate dual sentence Correct.
  • the original bilingual training sentence pair containing the original bilingual vocabulary pair is obtained according to the matching result, and then the original bilingual training sentence pair containing the original bilingual vocabulary pair is obtained.
  • the original bilingual training sentence pair with the original bilingual vocabulary pair is used as the candidate bilingual sentence pair.
  • Table 2 is the original bilingual training set shown in the present disclosure.
  • the original bilingual training set of Table 2 contains three original bilingual training sentence pairs, and each original bilingual training sentence pair contains the expression in the first language.
  • the original bilingual vocabulary pairs in the bilingual vocabulary list can be compared with the original bilingual training sentence pairs in the original bilingual training set.
  • the first vocabulary in the first language is compared with the first training sentence in the first language
  • the second vocabulary in the second language is compared with the second training sentence in the second language.
  • Table 3 is a word division table shown in this disclosure. As shown in Table 3, the original bilingual training sentence pairs in the original bilingual training set can be divided according to word attributes, so that each word after division has a complete meaning.
  • the original bilingual training sentence pairs in the original bilingual training set are divided into words, the original bilingual training sentence pairs in the original bilingual training set are searched based on the original bilingual vocabulary in the bilingual vocabulary in a traversal manner , And get candidate double sentence pairs.
  • a generalized two-sentence type can be constructed based on at least one of the candidate two-sentence pairs.
  • the original bilingual vocabulary pair contained in the candidate bilingual sentence pair can be replaced with a general bilingual vocabulary pair to generate a generalized bilingual sentence pattern.
  • the corresponding generalized bilingual sentence pattern can be obtained, so that the generalized bilingual sentence can be replaced by other names
  • many augmented bilingual training sentence pairs and augmented bilingual training sets containing multiple augmented bilingual training sentence pairs are obtained, thereby enriching the corpus resources in the bilingual corpus.
  • the bilingual vocabulary contains a large number of new words and can generate a large number of new generalized two-sentence patterns
  • the generalization of candidate two-sentence pairs can be realized to train the original bilingual
  • the collection is augmented to obtain a rich augmented bilingual training set, that is, a large-scale and high-quality bilingual corpus can be obtained, and the corpus resources in the bilingual corpus can be updated and enriched.
  • the first training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: the first vocabulary included in any original bilingual vocabulary pair;
  • the second training sentence included in the original bilingual training sentence pair as a candidate bilingual sentence pair includes at least: a second vocabulary that has the same meaning as the first vocabulary included in any original bilingual vocabulary pair.
  • constructing a generalized two-sentence pattern based on at least one candidate two-sentence pair includes:
  • M generalized double-sentence patterns are generated
  • an augmented bilingual training set containing multiple augmented bilingual training sentence pairs is obtained, including:
  • an augmented bilingual training set is obtained.
  • the setting condition includes at least one of the following:
  • the sentence length of the first training sentence and the sentence length of the second training sentence are both greater than or equal to a set sentence length threshold;
  • the ratio of the sentence length of the first training sentence to the sentence length of the second training sentence is greater than or equal to a first set ratio and less than or equal to a second set ratio;
  • the translation accuracy rate of the first training sentence and the translation accuracy rate of the second training sentence are both greater than the set accuracy threshold.
  • the sentence length of the first training sentence and the sentence length of the second training sentence refer to the number of words contained in the first training sentence and the second training sentence after the first training sentence and the second training sentence are divided into words .
  • the candidate bi-sentences are divided into words in the first training sentence included, then the number of words obtained after the division can be used as the sentence length of the first training sentence.
  • the first training sentence Take the first training sentence as "Li XX also emphasizes the importance of maintaining a stable tax policy, and points out that China is in a critical period of economic recovery.”
  • the first training sentence after division is "Li XX also emphasizes maintaining stability. The importance of the tax policy pointed out that China is in a critical period of economic recovery.”
  • the sentence length of the first training sentence is 20.
  • the words in the sentence can be divided by dividing characters or spaces.
  • the set sentence length threshold, the first set ratio, the second set ratio, and the set accuracy threshold can all be set as needed.
  • the set sentence length threshold can be set to 10
  • the first set ratio is set to 1/5
  • the second set ratio is set to 5
  • the set accuracy threshold is set to 0.25.
  • the corpus data corresponding to the training sentence may be inaccurate.
  • the corpus data can be guaranteed accuracy.
  • the corpus data containing the first training sentence and the second training sentence will be regarded as effective The corpus data can further improve the accuracy of the corpus data.
  • M two-sentence pairs to be generalized are determined from the candidate two-sentence pairs according to the set conditions, and by limiting the conditions for screening the two-sentence pairs to be generalized, the probability of searching for inaccurate data can be reduced, and thus Improve the accuracy of the obtained double sentence pairs to be generalized.
  • generating M generalized two-sentence patterns based on the M to-be-generalized two-sentence pairs includes:
  • Each general bilingual vocabulary pair in the M generalized bilingual sentence patterns is replaced with N original bilingual vocabulary pairs included in the bilingual vocabulary to generate K*N*M augmented bilingual training sentence pairs.
  • M generalized bilingual vocabulary pairs each containing K general bilingual vocabulary pairs are generated, when it is necessary to implement the vocabulary replacement of multiple types of word attributes in M generalized two-sentence patterns, it can also be well compatible. For example, it can generate M generalized bilinguals that can replace nouns or verbs. Sentence pattern, etc.
  • K*N*M augmented bilinguals can be generated Training sentence pairs.
  • each general bilingual vocabulary in the generalized bilingual sentence pattern can be replaced with N original bilingual vocabulary in the bilingual vocabulary to generate N*K augmented bilingual training sentence pairs.
  • a generalized dual sentence pattern is generated through a pair of a bilingual vocabulary list and a bilingual sentence to be generalized, and the generalized dual sentence pattern is generalized and augmented based on the original bilingual vocabulary in the bilingual vocabulary.
  • Large-scale augmented bilingual training sentence pairs can be obtained to generate augmented bilingual training sets, and the data based on the bilingual vocabulary and the bilingual sentence pairs to be generalized are obtained through precise screening, which can also improve augmented bilingual training The data quality of the set.
  • the universal bilingual vocabulary is a combination of characters and characters that does not interfere with the vocabulary recognition of the first language and the second language.
  • the universal bilingual vocabulary may also be characters or character combinations in languages other than the first language and the second language.
  • the universal bilingual vocabulary includes: non-terminal characters, where non-terminal characters are used to indicate that the sentence is not finalized.
  • the universal bilingual vocabulary as a non-terminal character
  • the impact of the universal bilingual vocabulary on the attributes of the entire sentence can be reduced.
  • the accuracy of the obtained second bilingual prediction data can be improved.
  • the method further includes:
  • the target translation model is used to translate the corpus data between the first language and the second language.
  • the word attributes of the first bilingual vocabulary and the second bilingual vocabulary are nouns.
  • a new machine translation model can be trained based on the set machine translation model, thereby improving the translation quality of the machine translation model .
  • the word attributes of the first vocabulary and the second vocabulary may be nouns, adjectives, verbs, adverbs, etc., which are not specifically limited herein.
  • Fig. 2 is a second flowchart of an information processing method according to an exemplary embodiment. As shown in Fig. 2, the method includes the following steps:
  • step 201 a bilingual vocabulary is constructed.
  • lex_y 1 represents the first bilingual vocabulary in the second language
  • lex_x i represents the i-th bilingual vocabulary in the first language
  • lex_y i represents the i-th bilingual vocabulary in the second language
  • lex_x n represents the nth bilingual vocabulary.
  • the bilingual vocabulary of the first language, lex_y n represents the bilingual vocabulary of the nth second language, i and n are positive integers.
  • a bilingual dictionary of names in which " ⁇ XX
  • Name vocabulary in the first language Name vocabulary in the second language Liu XX liu XX Cai XX cai XX Zhang XX zhang XX Lin XX lin XX Lee XX li XX
  • step 202 a generalized two-sentence pattern is constructed.
  • Table 5 is the original bilingual training set shown in the present disclosure, assuming that the original bilingual training set D contains a total of 5 original bilingual training sentence pairs as follows:
  • each bilingual vocabulary lex i (lex_x i ,lex_y i ) in the bilingual vocabulary list lex, where lex represents the bilingual vocabulary list, lex i represents the bilingual vocabulary in the bilingual vocabulary list, and lex_x i represents the ith item
  • the bilingual vocabulary of the first language, lex_y i represents the bilingual vocabulary of the i-th second language
  • search for the bilingual sentence pair D match ⁇ (x 1 ,y 1 ),...,(x s ,y s from the original bilingual training set D ) ⁇ , where D match represents the bilingual sentence pair searched from the original bilingual training set D, x 1 represents the first training sentence in the first language, and y 1 represents the second training sentence in the first second language Sentence, x s represents the first training sentence in the first language of the sth article, and y s represents the second training sentence in the second language of the sth article, where D match satisfies a set condition, and the set condition includes at least one of the following :
  • x i contains 1 lex_x i
  • y i also contains 1 lex_y i ;
  • translate xi to get the corresponding Translation x i ', translate y i and obtain the corresponding translation y i ', and then use Bilingual Evaluation Understudy (BLEU) to pair (x i ,x i ') and (y i ,y i ') evaluate separately, and obtain translation accuracy score x and score y , and score x and score y are both greater than 0.25.
  • xi represents the first training sentence in the ith first language
  • yi represents the second training sentence in the ith second language.
  • the bilingual vocabulary list lex can be obtained from the original bilingual training set D to meet the conditions to be generalized D sent_match , as shown in Table 7, Table 7 is shown in this disclosure to be generalized Two-sentence pair table, D sent_match includes the following:
  • the two-sentence data D with generalization ability can also be constructed by manual labeling according to problems involving sentence pattern translation errors.
  • manual_sent_pattern as shown in Table 9.
  • Table 9 is the two-sentence type data with generalization capabilities shown in this disclosure.
  • D manual_sent_pattern includes the following:
  • step 203 an augmented bilingual training set related to the augmented domain is constructed.
  • each bilingual vocabulary in this field can be based on the limited M generalized bilingual sentence patterns and the bilingual vocabulary list of N corresponding fields, so as to obtain N*M high-quality augmented bilinguals related to the field
  • the training sentence is D augment .
  • D augment includes the following:
  • step 204 the augmented bilingual training set and the original bilingual training set are merged, and the machine translation model is retrained based on the target bilingual training set obtained by the fusion.
  • the model is retrained to obtain a new machine translation model, thereby improving the translation quality of the machine translation model.
  • the original bilingual sentences are extracted from the domain-related bilingual vocabulary. Extract high-quality dual-sentence patterns with word slot information from the pair; build augmented bilingual data based on automatically extracted or manually labeled dual-sentence patterns with word slot information and domain-related bilingual vocabulary, which can generate large-scale bilingual data. Large-scale and high-quality domain-related bilingual corpus data, and used to train machine translation models.
  • Fig. 3 is a block diagram showing an information processing device according to an exemplary embodiment. As shown in FIG. 3, the information processing device 300 mainly includes:
  • the first obtaining module 301 is configured to obtain a bilingual vocabulary list containing N original bilingual vocabulary pairs, wherein each of the original bilingual vocabulary pairs includes a first vocabulary expressed in a first language, and has the same meaning as the first vocabulary. A second word with the same meaning in a second language, where N is a positive integer;
  • the second acquisition module 302 is configured to acquire an original bilingual training set containing a plurality of original bilingual training sentence pairs, wherein each of the original bilingual training sentence pairs contains a first training sentence in a first language, and is related to the The second training sentence in the second language that has the same meaning as the first training sentence;
  • the selection module 303 is configured to select at least one original bilingual training sentence pair matching any one of the original bilingual vocabulary pairs from the original bilingual training set as a candidate bilingual sentence pair;
  • the construction module 304 is configured to construct a generalized two-sentence pattern based on at least one of the candidate two-sentence pairs;
  • the third acquisition module 305 is configured to acquire an augmented bilingual training set containing multiple augmented bilingual training sentence pairs based on the bilingual vocabulary and the generalized bilingual sentence pattern.
  • the first training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: the first vocabulary included in any one of the original bilingual vocabulary pairs;
  • the second training sentence included in the original bilingual training sentence pair as the candidate bilingual sentence pair includes at least: a second vocabulary that has the same meaning as the first vocabulary included in any of the original bilingual vocabulary pairs.
  • the building module may be configured as:
  • the third acquisition module may be configured as:
  • the augmented bilingual training set is obtained.
  • the setting condition includes at least one of the following:
  • the sentence length of the first training sentence and the sentence length of the second training sentence are both greater than or equal to a set sentence length threshold;
  • the ratio of the sentence length of the first training sentence to the sentence length of the second training sentence is greater than or equal to a first set ratio and less than or equal to a second set ratio;
  • the translation accuracy rate of the first training sentence and the translation accuracy rate of the second training sentence are both greater than the set accuracy threshold.
  • the building module may also be configured as:
  • the third acquisition module may also be configured as:
  • the universal bilingual vocabulary includes: non-terminal characters, where the non-terminal characters are used to indicate that the sentence is not finalized.
  • the device further includes:
  • the fusion module is configured to perform fusion processing on the augmented bilingual training set and the original bilingual training set to obtain a target bilingual training set;
  • the training module is configured to perform model training based on the target bilingual training set to obtain a target translation model
  • the target translation model is used to translate sentences between the first language and the second language.
  • Fig. 4 is a block diagram showing the hardware structure of an information processing device 400 according to an exemplary embodiment.
  • the apparatus 400 may be a mobile phone, a computer, a digital broadcasting terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, a personal digital assistant, etc.
  • the device 400 may include one or more of the following components: a processing component 402, a memory 404, a power component 406, a multimedia component 408, an audio component 410, an input/output (I/O) interface 412, a sensor component 414, And communication component 416.
  • the processing component 402 generally controls the overall operations of the device 400, such as operations associated with display, telephone calls, data communications, camera operations, and recording operations.
  • the processing component 402 may include one or more processors 420 to execute instructions to complete all or part of the steps of the foregoing method.
  • the processing component 402 may include one or more modules to facilitate the interaction between the processing component 402 and other components.
  • the processing component 402 may include a multimedia module to facilitate the interaction between the multimedia component 408 and the processing component 402.
  • the memory 404 is configured to store various types of data to support the operation of the device 400. Examples of such data include instructions for any application or method operating on the device 400, contact data, phone book data, messages, pictures, videos, etc.
  • the memory 404 can be implemented by any type of volatile or non-volatile storage device or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable and Programmable read only memory (EPROM), programmable read only memory (PROM), read only memory (ROM), magnetic memory, flash memory, magnetic disk or optical disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read-only memory
  • EPROM erasable and Programmable read only memory
  • PROM programmable read only memory
  • ROM read only memory
  • magnetic memory flash memory
  • flash memory magnetic disk or optical disk.
  • the power component 406 provides power to various components of the device 400.
  • the power component 406 may include a power management system, one or more power supplies, and other components associated with generating, managing, and distributing power for the device 400.
  • the multimedia component 408 includes a screen that provides an output interface between the device 400 and the user.
  • the screen may include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen may be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touch, sliding, and gestures on the touch panel. The touch sensor may not only sense the boundary of a touch or slide action, but also detect the duration and pressure related to the touch or slide operation.
  • the multimedia component 408 includes a front camera and/or a rear camera. When the device 400 is in an operation mode, such as a shooting mode or a video mode, the front camera and/or the rear camera can receive external multimedia data. Each front camera and rear camera can be a fixed optical lens system or have focal length and optical zoom capabilities.
  • the audio component 410 is configured to output and/or input audio signals.
  • the audio component 410 includes a microphone (MIC), and when the device 400 is in an operation mode, such as a call mode, a recording mode, and a voice recognition mode, the microphone is configured to receive an external audio signal.
  • the received audio signal can be further stored in the memory 404 or sent via the communication component 416.
  • the audio component 410 further includes a speaker for outputting audio signals.
  • the I/O interface 412 provides an interface between the processing component 402 and a peripheral interface module.
  • the above-mentioned peripheral interface module may be a keyboard, a click wheel, a button, and the like. These buttons may include but are not limited to: home button, volume button, start button, and lock button.
  • the sensor component 414 includes one or more sensors for providing the device 400 with various aspects of status assessment.
  • the sensor component 414 can detect the on/off status of the device 400 and the relative positioning of components.
  • the component is the display and the keypad of the device 400.
  • the sensor component 414 can also detect the position change of the device 400 or a component of the device 400. , The presence or absence of contact between the user and the device 400, the orientation or acceleration/deceleration of the device 400, and the temperature change of the device 400.
  • the sensor component 414 may include a proximity sensor configured to detect the presence of nearby objects when there is no physical contact.
  • the sensor component 414 may also include a light sensor, such as a CMOS or CCD image sensor, for use in imaging applications.
  • the sensor component 414 may also include an acceleration sensor, a gyroscope sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.
  • the communication component 416 is configured to facilitate wired or wireless communication between the apparatus 400 and other devices.
  • the device 400 can access a wireless network based on a communication standard, such as WiFi, 2G, or 3G, or a combination thereof.
  • the communication component 416 receives a broadcast signal or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communication component 416 further includes a near field communication (NFC) module to facilitate short-range communication.
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the apparatus 400 may be implemented by one or more application specific integrated circuits (ASIC), digital signal processors (DSP), digital signal processing devices (DSPD), programmable logic devices (PLD), field programmable A gate array (FPGA), controller, microcontroller, microprocessor, or other electronic components are implemented to implement the above methods.
  • ASIC application specific integrated circuits
  • DSP digital signal processors
  • DSPD digital signal processing devices
  • PLD programmable logic devices
  • FPGA field programmable A gate array
  • controller microcontroller, microprocessor, or other electronic components are implemented to implement the above methods.
  • non-transitory computer-readable storage medium including instructions, such as the memory 404 including instructions, and the foregoing instructions may be executed by the processor 420 of the device 400 to complete the foregoing method.
  • the non-transitory computer-readable storage medium may be ROM, random access memory (RAM), CD-ROM, magnetic tape, floppy disk, optical data storage device, etc.
  • a non-transitory computer-readable storage medium When instructions in the storage medium are executed by a processor of an electronic device, the electronic device can execute an information processing method.
  • the method includes:
  • each of the original bilingual vocabulary pairs contains a first vocabulary expressed in a first language, and a second language that has the same meaning as the first vocabulary
  • an augmented bilingual training set containing a plurality of augmented bilingual training sentence pairs is obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

一种信息处理方法、装置及存储介质，该方法包括：获取包含N个原始双语词汇对的双语词汇表，其中N为正整数；获取包含多个原始双语训练句对的原始双语训练集；从原始双语训练集中选择与任一原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；基于至少一个候选双语句对，构建泛化双语句型；基于双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。由于双语词汇表中包含大量新词汇，且能生成大量新的泛化双语句型，能够实现候选双语句对的泛化，以对原始双语训练集进行增广处理，得到内容丰富的增广双语训练集，即能够得到大规模高质量的双语语料，进而更新和丰富双语语料库中的语料资源。

Description

信息处理方法、装置及存储介质
相关申请的交叉引用
本申请基于申请号为201911025249.7、申请日为2019年10月25日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及机器翻译领域，尤其涉及一种信息处理方法、装置及存储介质。
背景技术
机器翻译是一种通过机器翻译模型自动将一种语言翻译为另一种语言的技术，具有广阔的学术和市场应用价值。一般来说，双语平行的训练语料质量越高，规模越大，领域覆盖性越全，则基于训练语料训练得到的机器翻译模型的翻译质量就越高。由此可知，机器翻译模型的翻译质量主要取决于可用双语数据的质量和数量，而目前获取大规模高质量的双语数据比较困难。
发明内容
本公开提供一种信息处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种信息处理方法，包括：
获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
基于至少一个所述候选双语句对，构建泛化双语句型；
基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
可选的，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
可选的，所述基于至少一个所述候选双语句对，构建泛化双语句型，包括：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
所述基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集，包括：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
可选的，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定 句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
可选的，所述根据M个所述待泛化双语句对，生成M个泛化双语句型，包括：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
所述根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对，包括：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
可选的，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
可选的，所述方法还包括：
对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
根据本公开实施例的第二方面，提供一种信息处理装置，包括：
第一获取模块，配置为获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与 所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
第二获取模块，配置为获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
选择模块，配置为从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
构建模块，配置为基于至少一个所述候选双语句对，构建泛化双语句型；
第三获取模块，配置为基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
可选的，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
可选的，所述构建模块被配置为：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
第三获取模块被配置为：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
可选的，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
可选的，所述构建模块还被配置为：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
第三获取模块还被配置为：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
可选的，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
可选的，所述装置还包括：
融合模块，配置为对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
训练模块，配置为基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
根据本公开实施例的第三方面，提供一种信息处理装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中的信息处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得所述装置能够执行上述第一方面中的信息处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述技术方案可知，本公开能够通过包含有原始双语词汇对的双语词汇表，从包含多个原始双语训练句对的原始双语训练集中，获取包含有原始双语词汇对的候选双语句对，并基于至少一个候选双语句对，构建泛化双语句型，进而通过双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。本公开的技术方案中，由于双语词汇表中包含大量新的词汇，且能生成大量新的泛化双语句型，在实现的过程中，能够实现候选双语句对的泛化，以对原始双语训练集进行增广处理，得到内容丰富的增广双语训练集，即能够得到大规模高质量的双语语料，进而更新和丰富双语语料库中的语料资源。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的信息处理方法的流程图一。
图2是根据一示例性实施例示出的信息处理方法的流程图二。
图3是根据一示例性实施例示出的一种信息处理装置框图。
图4是根据一示例性实施例示出的一种信息处理装置的硬件结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的信息处理方法的流程图一，如图1所示，该方法包括以下步骤：
在步骤101中，获取包含N个原始双语词汇对的双语词汇表，其中，每个原始双语词汇对包含以第一语言表示的第一词汇，以及与第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
在步骤102中，获取包含多个原始双语训练句对的原始双语训练集，其中，每个原始双语训练句对包含以第一语言表示的第一训练句，以及与第一训练句具有相同含义的以第二语言表示的第二训练句；
在步骤103中，从原始双语训练集中选择与任一原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
在步骤104中，基于至少一个候选双语句对，构建泛化双语句型；
在步骤105中，基于双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
这里，可以基于词汇的类别和领域，通过人工标注大量该类别和领域的双语词汇，进而得到原始双语词汇对，例如，确定与人名相关的双语词汇对等。其中，原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，例如，第一语言是中文，第一词汇为“张三”，则第二语言为英文，第二词汇为“zhang san”。
在得到原始双语词汇对之后，可以基于原始双语词汇对，构建双语词 汇表。如表1所示，表1为本公开示出的一种双语词汇表，表1中包括有三个原始双语词汇对，其中，第一个原始双语词汇对所包含的第一词汇为“张三”，第二词汇为“zhang san”；第二个原始双语词汇对所包含的第一词汇为“李XX，第二词汇为“li XX”；第三个原始双语词汇对所包含的第一词汇为小红，第二词汇为“xiao hong”。
表1双语词汇表
第一语言的第一词汇 第二语言的第二词汇
张三 zhang san
李XX li XX
小红 xiao hong
这里，双语词汇表可以是针对特定领域进行人工标注得到的，双语词汇表包括：该特定领域内的未登录词、低频词、高频词。由于双语词汇的选择自由度很大，其中，高频词主要用于找到更多的双语句型，低频词主要用于补充数据，未登录词是指双语词汇表中没有的词，比如双语词汇表包括词汇a、词汇b、词汇c，那么词汇d就是未登录词，未登录词也可以称作集外词。
本公开实施例中，可以基于双语词汇表中的原始双语词汇对，从包含多个原始双语训练句对的原始双语训练集中，获取包含任一原始双语词汇对的原始双语训练句对。例如，可以基于双语词汇表中的原始双语词汇对，从原始双语训练集中搜索与该原始双语词汇对相匹配的原始双语训练句对，并将搜索到的原始双语训练句对，作为候选双语句对。例如，基于上述双语词汇表中的原始双语词汇对与原始双语训练集所包含的原始双语训练句对进行匹配，根据匹配结果，得到包含有原始双语词汇对的原始双语训练句对，进而将包含有原始双语词汇对的原始双语训练句对，作为候选双语句对。
如表2所示，表2为本公开示出的原始双语训练集，表2的原始双语训练集包含三个原始双语训练句对，每个原始双语训练句对均包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句。
表2原始双语训练集
Figure PCTCN2019123095-appb-000001
本公开实施例中，在基于双语词汇表获取候选双语句对的过程中，可以分别将双语词汇表中的原始双语词汇对与原始双语训练集中的原始双语训练句对进行比对，在进行比对的过程中，第一语言的第一词汇与第一语言的第一训练句进行比对，第二语言的第二词汇与第二语言的第二训练句比对。
以将表1中的第一词汇与表2中的第一训练句进行比对为例，可以将表1所示的双语词汇表中的“张三”分别与表2中的“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”、“想知道在东莞科学馆附近怎么停车？”和“每种花都有独特的含义。”进行比对，由于表2中并不包含与“张三”相匹配的人名，则表征该原始双语训练集中的原始双语训练句对不包含原始双语词汇对。
如果将表1所示的双语词汇表中的“李XX”分别与表2中的“李XX 同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”、“想知道在东莞科学馆附近怎么停车？”和“每种花都有独特的含义。”进行比对，由于表2中包含与“李XX”相匹配的人名，则表征该原始双语训练集中的原始双语训练句对包含原始双语词汇对。
在将双语词汇表中的原始双语词汇对与原始双语训练集中的原始双语训练句对进行比对之前，需要对原始双语训练集中的原始双语训练句对进行词语划分。表3为本公开示出的词语划分表，如表3所示，可以对原始双语训练集中的原始双语训练句对按照词属性进行划分，以使划分后的每一个词语都有完整的含义。
表3词语划分表
Figure PCTCN2019123095-appb-000002
本公开实施例中，在对原始双语训练集中的原始双语训练句对进行词语划分之后，通过遍历的方式，基于双语词汇表中的原始双语词汇对原始双语训练集中的原始双语训练句对进行搜索，并得到候选双语句对。
例如，可以基于表1中的“李XX”，从表3中确定出“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”，对应地，基于表1中的“li XX”，从表3中确定出“li XX  also stressed the importance of maintaining a stable tax policy,pointing out that china is in a critical period of economic recovery.”，则表征能够基于双语词汇表，从原始双语训练集中选择与任一原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对。
在确定出候选双语句对之后，可以基于至少一个所述候选双语句对，构建泛化双语句型。这里，可以将候选双语句对所包含的原始双语词汇对替换为通用双语词汇对，以生成泛化双语句型。例如，当基于“李XX”，从表3中确定出“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”为候选双语句对中的句子时，则可以将其中的“李XX”替换为“<X1>”，其中，<X1>可以为通用双语词汇，也可以是其他人名，<X1>的词属性可以与“李XX”相同。优选地，<X1>和“李XX”应当能够对齐，这样的话，就不会影响整个句型。
以基于通用双语词汇替换候选双语句对中的原始双语词汇对为例，在基于通用双语词汇进行替换之后，能够得到对应的泛化双语句型，这样，就可以通过其他人名替换泛化双语句型中的通用双语词汇的方式，得到很多增广双语训练句对，以及包含多个增广双语训练句对的增广双语训练集，进而丰富双语语料库中的语料资源。
本公开实施例中，由于双语词汇表中包含大量新的词汇，且能生成大量新的泛化双语句型，在实现的过程中，能够实现候选双语句对的泛化，以对原始双语训练集进行增广处理，得到内容丰富的增广双语训练集，即能够得到大规模高质量的双语语料，进而更新和丰富双语语料库中的语料资源。
在其他可选的实施例中，作为候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一原始双语词汇对所包含的第一词汇；
作为候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
例如，可以基于表1中的“李XX”，从表3中确定出“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”，对应地，基于表1中的“li XX”，从表3中确定出“li XX also stressed the importance of maintaining a stable tax policy,pointing out that china is in a critical period of economic recovery.”，其中，“李XX”为任一原始双语词汇对所包含的第一词汇，“li XX”为任一原始双语词汇对所包含的第二词汇，从表3中确定出的两个句子分别为候选双语句对所包含的第一训练句，以及候选双语句对所包含的第二训练句。这里，通过双语词汇表中的原始双语词汇对从原始双语训练集中的原始双语训练句中，确定出候选双语句对，能够精确地确定出用户所需的候选双语句对，进而能够得到准确的泛化双语句型。
在其他可选的实施例中，基于至少一个候选双语句对，构建泛化双语句型，包括：
根据设定条件，从候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个待泛化双语句对，生成M个泛化双语句型；
基于双语词汇表和泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集，包括：
根据M个泛化双语句型和双语词汇表所包含的N个原始双语词汇对，生成多个增广双语训练句对；
基于多个增广双语训练句对，得到增广双语训练集。
在其他可选的实施例中，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
其中，第一训练句的句长和第二训练句的句长是指对该第一训练句和第二训练句进行词语划分后，第一训练句和第二训练句所包含的词语的数量。例如，对候选双语句对所包含的第一训练句进行词语划分，那么，划分后所得到的词语数量，即可作为该第一训练句的句长。
以第一训练句为“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”为例，划分后的第一训练句则为“李XX同时强调保持稳定的税收政策的重要性，指出中国正处于经济恢复的关键时期。”，那么，该第一训练句的句长为20。在实现的过程中，可以通过分割字符或者空格符对句子中的词语进行划分。
本公开实施例中，设定句长阈值、第一设定比值、第二设定比值和设定准确率阈值均可以根据需要设定，例如，可以将设定句长阈值设置为10、第一设定比值设置为1/5、第二设定比值设置为5、设定准确率阈值设置为0.25。
这里，通过设置第一训练句和第二训练句的下限值，能够保证获得的待泛化双语句对所包含的句子都是长句，而非短语或者词汇，这样，能够提高数据处理的效率和有效性。
由于第一训练句和第二训练句是具有相同含义的，只是语言不同，所以在将第一训练句和第二训练句进行互译时，翻译出来的句子长度的比值是在设定范围内，如果不在设定范围内，则表征该训练句所对应的语料数据可能是不准确的，本公开实施例中，通过设置第一训练句和第二训练句的比值范围，能够保证语料数据的准确性。通过获取第一训练句和第二训练句的翻译准确率，并在翻译准确率高于设定准确率阈值时，才将包含有该第一训练句和第二训练句的语料数据作为有效的语料数据，能够进一步 提高语料数据的准确性。
本公开实施例中，根据设定条件从候选双语句对中确定M个待泛化双语句对，通过限定筛选待泛化双语句对的条件，能够减少搜索到不准确的数据的概率，进而提高所得的待泛化双语句对的精确性。
在其他可选的实施例中，根据M个待泛化双语句对，生成M个泛化双语句型，包括：
将M个待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
根据M个泛化双语句型和双语词汇表所包含的N个原始双语词汇对，生成多个增广双语训练句对，包括：
将M个泛化双语句型中的每一个通用双语词汇对，分别替换为双语词汇表所包含的N个原始双语词汇对，生成K*N*M个增广双语训练句对。
这里，通过将M个待泛化双语句对所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个分别包含有K个通用双语词汇对的泛化双语句型，当需要在M个泛化双语句型中实现多种类型的词属性的词汇替换时，也能够很好地兼容，比如，可以生成M个既可以进行名词替换，也可以进行动词替换的泛化双语句型等。
在将M个泛化双语句型中的每一个所述通用双语词汇对，分别替换为双语词汇表所包含的N个原始双语词汇对，则可以生成K*N*M个所述增广双语训练句对。
这样，能够获得更多的泛化双语句型，在将泛化双语句型中的替代符替换为双语词汇表中的原始双语词汇对时，就能够获得更多的双语语料数据，能够提高数据获取的灵活性和多样性。
当M＝1，即只有一个待泛化双语句对，且该待泛化双语句对包含有K个原始双语词汇时，则可以基于K个通用双语词汇来替换该K个原始双语 词汇，并生成一个泛化双语句型。这样，就能够将泛化双语句型中的每一个通用双语词汇，替换为双语词汇表中的N个原始双语词汇，以生成N*K条增广双语训练句对。
本公开实施例中，通过将待泛化双语句对中的原始双语词汇对替换为区别于该待泛化双语句对中其他的词汇的通用双语词汇，能够便于快速定位至该通用双语词汇，并对该通用双语词汇进行相应的处理。例如，可以通过与待泛化双语句对中其他词汇的词属性相同的通用双语词汇对，来替代待泛化双语句对中的原始双语词汇对，这样，就能基于该通用双语词汇对和待泛化双语句对中本来就存在的其他词汇构成完整的句对，能够在提高数据处理效率的基础上，减少新增的通用双语词汇与泛化双语句型不兼容的情况。
本公开实施例中，通过双语词汇表与待泛化双语句对，生成泛化双语句型，并基于双语词汇表中的原始双语词汇对该泛化双语句型进行泛化和增广处理，能够得到大规模的增广双语训练句对，以生成增广双语训练集，且基于双语词汇表和待泛化双语句对中的数据均是通过精确筛选得到的，也能够提高增广双语训练集的数据质量。
在本公开实施例中，所述通用双语词汇为不干扰所述第一语言和第二语言的词汇识别的字符和字符的组合。例如，通用双语词汇也可以是第一语言和第二语言之外的语言的字符或字符组合。
在其他可选的实施例中，通用双语词汇包括：非终结字符，其中，非终结字符，用于指示句子未终结。
这里，通过将通用双语词汇设置为非终结字符，在使用该通用双语词汇对第一双语语料数据中的第一双语词汇进行替换时，能够减少通用双语词汇对整个句子的属性所造成的影响，进而能够提高得到的第二双语预料数据的准确度。
在其他可选的实施例中，该方法还包括：
对增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
基于目标双语训练集，进行模型训练，得到目标翻译模型；
其中，目标翻译模型，用于进行第一语言和第二语言之间的语料数据的翻译。
在其他可选的实施例中，第一双语词汇和第二双语词汇的词属性为名词。
这里，在对增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集之后，能够基于设定的机器翻译模型，训练一个新的机器翻译模型，从而改进机器翻译模型的翻译质量。
在其他可选的实施例中，第一词汇和第二词汇的词属性可以为名词、形容词、动词、副词等，在此不做具体限定。
图2是根据一示例性实施例示出的信息处理方法的流程图二，如图2所示，该方法包括以下步骤：
在步骤201中，构建双语词汇表。
这里，可以根据因为命名实体词汇导致的翻译错误，确定该实体词汇的类别和领域，并确定与该实体词汇对应的双语词汇对，例如，通过人工标注大量该领域的双语词汇对lex＝{(lex_x 1,lex_y 1),…,(lex_x n,lex_y n)}，进而根据该双语词汇对构建双语词汇表，其中，lex表示双语词汇表所包含的双语词汇对，lex_x 1表示第一条第一语言的双语词汇，lex_y 1表示第一条第二语言的双语词汇，lex_x i表示第i条第一语言的双语词汇，lex_y i表示第i条第二语言的双语词汇，lex_x n表示第n条第一语言的双语词汇，lex_y n表示第n条第二语言的双语词汇，i和n为正整数。
以实体词汇是人名为例，由于已有的双语数据中对于人名实体的覆盖 度有限，导致基于该双语数据训练的机器翻译模型无法对输入的人名进行准确的翻译，从而会产生错误的翻译结果，这时，就可以根据用户反馈的翻译错误，搜集大量的双语人名，并生成基于人名的双语词典，即基于人名的双语词汇表，如表4所示，表4为本公开示出的一种人名双语词典，其中，“李XX|||LiXX”属于高频双语词汇，同时也属于人名类别，其中，“|||”为分割符号。在构建双语词典时，除了训练数据中未登录词和低频词以外，同时也可以增加该类别的高频词汇，从而后续用于从原始双语训练集中搜索相关的双语句型。
表4 人名双语词典
第一语言的人名词汇 第二语言的人名词汇
刘XX liu XX
蔡XX cai XX
张XX zhang XX
林XX lin XX
李XX li XX
在步骤202中，构建泛化双语句型。
这里，可以根据步骤201中已搜集的特定领域的双语词汇对，自动从原始双语训练集D＝{(x 1,y 1),…,(x m,y m)}中搜索匹配到的候选双语句对，然后基于候选双语句对得到待泛化双语句对，通过设定规则过滤得到高可用的带有双语对齐非终结符的泛化双语句型，其中，x 1表示第一条第一语言的第一训练句，y 1表示第一条第二语言的第二训练句；x m表示第m条第一语言的第一训练句，y m表示第m条第二语言的第二训练句，m为正整数。示例如下：
(1)以中英双语数据为例，如表5所示，表5为本公开示出的原始双语训练集，假设原始双语训练集D共包含5个原始双语训练句对如下：
表5原始双语训练集
Figure PCTCN2019123095-appb-000003
(2)对原始双语训练集D中的中文源语言句子(第一训练句)和英文目标语言句子(第二训练句)进行词语切分，如表6所示，表6为本公开示出的切分后的原始双语训练集表，切分后的原始双语训练集如下：
表6切分后的原始双语训练集表
Figure PCTCN2019123095-appb-000004
Figure PCTCN2019123095-appb-000005
(3)遍历双语词汇表lex中的每个双语词汇lex i＝(lex_x i,lex_y i)，其中，lex表示双语词汇表，lex i表示双语词汇表中的双语词汇，lex_x i表示第i条第一语言的双语词汇，lex_y i表示第i条第二语言的双语词汇，从原始双语训练集D中搜双语句对D match＝{(x 1,y 1),…,(x s,y s)}，其中，D match表示从原始双语训练集D中搜索到的双语句对，x 1表示第一条第一语言的第一训练句，y 1表示第一条第二语言的第二训练句，x s表示第s条第一语言的第一训练句，y s表示第s条第二语言的第二训练句，其中，D match满足设定条件，该设定条件包括以下至少之一：
a)x i和y i的句长都不能小于10；
b)x i包含1个lex_x i，且y i也包含1个lex_y i；
c)x i和y i的句长比例不大于5且不小于1/5；
d)x i和y i最多匹配1个双语词汇对；
e)根据已有的源语言句子到目标语言句子的机器翻译模型M_(src→ tgt)和反向的目标语言到源语言机器翻译模型M_(tgt→src)，对x i进行翻译得到对应的译文x i'，对y i进行翻译并获得对应的译文y i'，然后采用双语互译质量评估辅助工具(Bilingual Evaluation Understudy，BLEU)对(x i,x i')和(y i,y i')分别进行评估，并且获得翻译准确率score x和score y，且score x和score y分别都大于0.25。其中，x i表示第i条第一语言的第一训练句，y i表示第i条第二语言的第二训练句。
基于以上设定条件，可以根据双语词汇表lex从原始双语训练集D中获得的符合条件的待泛化双语句对D sent_match，如表7所示，表7为本公开示出的待泛化双语句对表，D sent_match包括如下：
表7待泛化双语句对表
Figure PCTCN2019123095-appb-000006
(4)对于D sent_match中的每个双语句对，可以用非终结符词汇“<X1>”分别替换源语言句子和目标语言句子中匹配到的词汇，从而获得具有泛化能力的泛化双语句型D aotu_sent_match，如表8所示，表8为本公开示出的泛化双语句型，D aotu_sent_match包括如下：
表8泛化双语句型
Figure PCTCN2019123095-appb-000007
在其他可选的实施例中，除了上述根据原始双语训练集自动抽取双语句型外，还可以根据涉及句型翻译错误的问题，通过人工标注的方法构建具有泛化能力的双语句型数据D manual_sent_pattern，如表9所示，表9为本公开示出的具有泛化能力的双语句型数据，D manual_sent_pattern包括如下：
表9具有泛化能力的双语句型数据
Figure PCTCN2019123095-appb-000008
基于以上自动抽取和人工标注的方法，可以获得高质量的领域相关的泛化双语句型D sent_pattern＝{D auto_sent_pattern,D manual_sent_pattern}。
在步骤203中，构建增广的领域相关的增广双语训练集。
这里，根据已构建的带有双语对齐非终结符的泛化双语句型以及对应的双语词汇表lex，通过枚举每个双语句型对，将其中的双语对齐非终结符替换为双语词汇表中的每条双语词汇，通过这种方式，就可以基于有限的M个泛化双语句型和N个对应领域的双语词汇表，从而得到该领域相关的N*M条高质量的增广双语训练句对D augment。
例如采用上述表8中示例中的人名领域相关的2条双语句型和表4中5个双语实体词汇，可以构建如下10个增广双语训练句对，如表10所示，表10为本公开示出的增广双语训练句对表，D augment包括如下：
表10增广双语训练句对表
Figure PCTCN2019123095-appb-000009
Figure PCTCN2019123095-appb-000010
在步骤204中，融合增广双语训练集和原始双语训练集，并基于融合得到的目标双语训练集进行机器翻译模型重训练。
这里，将步骤203中生成的增广双语训练集D augment和原始双语训练集D合并构建一个规模更大的目标双语训练集D'＝{D,D augment}，并基于D'对设定翻译模型重新训练，得到一个新的机器翻译模型，从而改进机器翻译模型的翻译质量。
本公开实施例中，通过自动挖掘原始双语训练集中的语料数据中的双语句型和人工标注的双语句型，并利用积累的领域相关的双语词典数据，根据领域相关的双语词汇从原始双语句对中抽取带有词语槽位信息的高质量的双语句型；根据自动抽取或人工标注的带有词语槽位信息的双语句型以及领域相关的双语词汇构建增广双语数据，从而可以产生大规模高质量的领域相关双语语料数据，并用于训练机器翻译模型。
由于这些新增的双语语料数据包含了大量新的词汇信息或者新的双语句型信息，且将用户反馈的翻译错误作为考虑因素，能够有效改进原有机器翻译模型在新词、热词等实体类别单词上的翻译质量，也可以改进机器翻译模型对于原有双语语料数据中未出现过的句型的翻译质量，进而有效提升机器翻译产品的用户体验。
图3是根据一示例性实施例示出的一种信息处理装置框图。如图3所示，该信息处理装置300主要包括：
第一获取模块301，配置为获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
第二获取模块302，配置为获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
选择模块303，配置为从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
构建模块304，配置为基于至少一个所述候选双语句对，构建泛化双语句型；
第三获取模块305，配置为基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
在其他可选的实施例中，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
在其他可选的实施例中，所述构建模块例如可以配置为：
根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
基于M个所述待泛化双语句对，生成M个泛化双语句型；
第三获取模块例如可以配置为：
根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
基于多个所述增广双语训练句对，得到所述增广双语训练集。
在其他可选的实施例中，所述设定条件包括以下至少之一：
所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
在其他可选的实施例中，所述构建模块例如还可以配置为：
将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇，生成M个泛化双语句型，其中，K为正整数；
第三获取模块例如还可以配置为：
将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
在其他可选的实施例中，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
在其他可选的实施例中，所述装置还包括：
融合模块，配置为对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
训练模块，配置为基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种信息处理装置400的硬件结构框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O) 的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件406为装置400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以 接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。 例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种信息处理方法，所述方法包括：
获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
基于至少一个所述候选双语句对，构建泛化双语句型；
基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

  1. 一种信息处理方法，包括：
    获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
    获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
    从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
    基于至少一个所述候选双语句对，构建泛化双语句型；
    基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
  2. 根据权利要求1所述的方法，其中，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
    作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
  3. 根据权利要求2所述的方法，其中，所述基于至少一个所述候选双语句对，构建泛化双语句型，包括：
    根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
    基于M个所述待泛化双语句对，生成M个泛化双语句型；
    所述基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双 语训练句对的增广双语训练集，包括：
    根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
    基于多个所述增广双语训练句对，得到所述增广双语训练集。
  4. 根据权利要求3所述的方法，其中，所述设定条件包括以下至少之一：
    所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
    所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
    所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
  5. 根据权利要求3所述的方法，其中，所述根据M个所述待泛化双语句对，生成M个泛化双语句型，包括：
    将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
    所述根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对，包括：
    将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
  6. 根据权利要求5所述的方法，其中，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
  7. 根据权利要求1至6任一项所述的方法，其中，所述方法还包括：
    对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双 语训练集；
    基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
    其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
  8. 一种信息处理装置，包括：
    第一获取模块，配置为获取包含N个原始双语词汇对的双语词汇表，其中，每个所述原始双语词汇对包含以第一语言表示的第一词汇，以及与所述第一词汇具有相同含义的以第二语言表示的第二词汇，其中N为正整数；
    第二获取模块，配置为获取包含多个原始双语训练句对的原始双语训练集，其中，每个所述原始双语训练句对包含以第一语言表示的第一训练句，以及与所述第一训练句具有相同含义的以第二语言表示的第二训练句；
    选择模块，配置为从所述原始双语训练集中选择与任一所述原始双语词汇对匹配的至少一个原始双语训练句对，作为候选双语句对；
    构建模块，配置为基于至少一个所述候选双语句对，构建泛化双语句型；
    第三获取模块，配置为基于所述双语词汇表和所述泛化双语句型，获取包含多个增广双语训练句对的增广双语训练集。
  9. 根据权利要求8所述的装置，其中，作为所述候选双语句对的原始双语训练句对所包含的第一训练句至少包括：任一所述原始双语词汇对所包含的第一词汇；
    作为所述候选双语句对的原始双语训练句对所包含的第二训练句至少包括：与任一所述原始双语词汇对所包含的第一词汇具有相同含义的第二词汇。
  10. 根据权利要求9所述的装置，其中，所述构建模块被配置为：
    根据设定条件，从所述候选双语句对中确定M个待泛化双语句对，其中，M为正整数；
    基于M个所述待泛化双语句对，生成M个泛化双语句型；
    第三获取模块被配置为：
    根据M个所述泛化双语句型和所述双语词汇表所包含的N个原始双语词汇对，生成多个所述增广双语训练句对；
    基于多个所述增广双语训练句对，得到所述增广双语训练集。
  11. 根据权利要求10所述的装置，其中，所述设定条件包括以下至少之一：
    所述第一训练句的句长和所述第二训练句的句长，均大于或等于设定句长阈值；
    所述第一训练句的句长与所述第二训练句的句长的比值，大于或等于第一设定比值，且小于或等于第二设定比值；
    所述第一训练句的翻译准确率和所述第二训练句的翻译准确率，均大于设定准确率阈值。
  12. 根据权利要求10所述的装置，其中，所述构建模块还被配置为：
    将M个所述待泛化双语句对中所包含的K个原始双语词汇对替换为K个通用双语词汇对，生成M个泛化双语句型，其中，K为正整数；
    第三获取模块还被配置为：
    将M个所述泛化双语句型中的每一个所述通用双语词汇对，分别替换为所述双语词汇表所包含的N个原始双语词汇对，生成K*N*M个所述增广双语训练句对。
  13. 根据权利要求12所述的装置，其中，所述通用双语词汇包括：非终结字符，其中，非终结字符用于指示句子未终结。
  14. 根据权利要求8至13任一项所述的装置，其中，所述装置还包括：
    融合模块，配置为对所述增广双语训练集和原始双语训练集进行融合处理，得到目标双语训练集；
    训练模块，配置为基于所述目标双语训练集，进行模型训练，得到目标翻译模型；
    其中，所述目标翻译模型，用于进行所述第一语言和所述第二语言之间的语句的翻译。
  15. 一种信息处理装置，包括：
    处理器；
    配置为存储处理器可执行指令的存储器；
    其中，所述处理器配置为：执行时实现上述权利要求1至7中任一种信息处理方法中的步骤。
  16. 一种非临时性计算机可读存储介质，当所述存储介质中的指令由信息处理装置的处理器执行时，使得所述装置能够执行上述权利要求1至7中任一种信息处理方法。
PCT/CN2019/123095 2019-10-25 2019-12-04 信息处理方法、装置及存储介质 WO2021077559A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020500705A JP7208968B2 (ja) 2019-10-25 2019-12-04 情報処理方法、装置および記憶媒体
RU2020103383A RU2737112C1 (ru) 2019-10-25 2019-12-04 Способ и устройство обработки информации, а также носитель данных
KR1020207001087A KR102327790B1 (ko) 2019-10-25 2019-12-04 정보 처리 방법, 장치 및 저장 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911025249.7 2019-10-25
CN201911025249.7A CN110781689B (zh) 2019-10-25 2019-10-25 信息处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2021077559A1 true WO2021077559A1 (zh) 2021-04-29

Family

ID=69232750

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/123095 WO2021077559A1 (zh) 2019-10-25 2019-12-04 信息处理方法、装置及存储介质

Country Status (7)

Country Link
US (1) US11461561B2 (zh)
EP (1) EP3812951A1 (zh)
JP (1) JP7208968B2 (zh)
KR (1) KR102327790B1 (zh)
CN (1) CN110781689B (zh)
RU (1) RU2737112C1 (zh)
WO (1) WO2021077559A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7496453B2 (ja) 2021-12-14 2024-06-06 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562137B2 (en) * 2020-04-14 2023-01-24 Bank Of America Corporation System to correct model drift for natural language understanding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239423A1 (en) * 2006-04-07 2007-10-11 Scott Miller Method and system of machine translation
US20080086300A1 (en) * 2006-10-10 2008-04-10 Anisimovich Konstantin Method and system for translating sentences between languages
CN103914447A (zh) * 2013-01-09 2014-07-09 富士通株式会社 信息处理设备和信息处理方法
CN106649288A (zh) * 2016-12-12 2017-05-10 北京百度网讯科技有限公司 基于人工智能的翻译方法和装置
CN109359308A (zh) * 2018-10-31 2019-02-19 腾讯科技（武汉）有限公司 机器翻译方法、装置及可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477451A (en) * 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US7191115B2 (en) * 2001-06-20 2007-03-13 Microsoft Corporation Statistical method and apparatus for learning translation relationships among words
US7725306B2 (en) * 2006-06-28 2010-05-25 Microsoft Corporation Efficient phrase pair extraction from bilingual word alignments
KR100912501B1 (ko) * 2007-08-09 2009-08-17 한국전자통신연구원 번역 지식 구축 방법 및 장치
CN101290616A (zh) 2008-06-11 2008-10-22 中国科学院计算技术研究所 一种统计机器翻译方法和系统
JP5302784B2 (ja) * 2009-06-05 2013-10-02 株式会社日立製作所 機械翻訳方法、及びシステム
KR101356417B1 (ko) * 2010-11-05 2014-01-28 고려대학교 산학협력단 병렬 말뭉치를 이용한 동사구 번역 패턴 구축 장치 및 그 방법
US8874433B2 (en) * 2011-05-20 2014-10-28 Microsoft Corporation Syntax-based augmentation of statistical machine translation phrase tables
CN103631772A (zh) 2012-08-29 2014-03-12 阿里巴巴集团控股有限公司 机器翻译方法及装置
JP6186198B2 (ja) * 2013-07-17 2017-08-23 株式会社エヌ・ティ・ティ・データ 学習モデル作成装置、翻訳装置、学習モデル作成方法、及びプログラム
CN104391885B (zh) * 2014-11-07 2017-07-28 哈尔滨工业大学 一种基于平行语料训练的篇章级可比语料平行短语对的抽取方法
US9367541B1 (en) * 2015-01-20 2016-06-14 Xerox Corporation Terminological adaptation of statistical machine translation system through automatic generation of phrasal contexts for bilingual terms
CN105068997B (zh) * 2015-07-15 2017-12-19 清华大学 平行语料的构建方法及装置
JP6655788B2 (ja) * 2016-02-01 2020-02-26 パナソニックＩｐマネジメント株式会社 対訳コーパス作成方法、該装置および該プログラムならびに機械翻訳システム
CN106156013B (zh) 2016-06-30 2019-02-19 电子科技大学 一种固定搭配型短语优先的两段式机器翻译方法
CN106598959B (zh) * 2016-12-23 2021-03-19 北京金山办公软件股份有限公司 一种确定双语语句对互译关系方法及系统
CN108241609B (zh) * 2016-12-23 2022-02-01 科大讯飞股份有限公司 排比句识别方法及系统
KR102069692B1 (ko) * 2017-10-26 2020-01-23 한국전자통신연구원 신경망 기계번역 방법 및 장치
CN108021560B (zh) * 2017-12-07 2021-04-27 苏州大学 一种数据增强方法、系统、装置及计算机可读存储介质
RU2692049C1 (ru) * 2017-12-29 2019-06-19 Общество С Ограниченной Ответственностью "Яндекс" Способ и система перевода исходного предложения на первом языке целевым предложением на втором языке
CN108920473B (zh) * 2018-07-04 2022-08-09 中译语通科技股份有限公司 一种基于同类词与同义词替换的数据增强机器翻译方法
CN110334197A (zh) * 2019-06-28 2019-10-15 科大讯飞股份有限公司 语料处理方法及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070239423A1 (en) * 2006-04-07 2007-10-11 Scott Miller Method and system of machine translation
US20080086300A1 (en) * 2006-10-10 2008-04-10 Anisimovich Konstantin Method and system for translating sentences between languages
CN103914447A (zh) * 2013-01-09 2014-07-09 富士通株式会社 信息处理设备和信息处理方法
CN106649288A (zh) * 2016-12-12 2017-05-10 北京百度网讯科技有限公司 基于人工智能的翻译方法和装置
CN109359308A (zh) * 2018-10-31 2019-02-19 腾讯科技（武汉）有限公司 机器翻译方法、装置及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7496453B2 (ja) 2021-12-14 2024-06-06 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
EP3812951A1 (en) 2021-04-28
JP7208968B2 (ja) 2023-01-19
KR20210050484A (ko) 2021-05-07
RU2737112C1 (ru) 2020-11-24
JP2022511139A (ja) 2022-01-31
CN110781689B (zh) 2021-08-06
CN110781689A (zh) 2020-02-11
US11461561B2 (en) 2022-10-04
KR102327790B1 (ko) 2021-11-17
US20210124880A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
US10614265B2 (en) Apparatus, method, and computer program product for correcting speech recognition error
US11640503B2 (en) Input method, input device and apparatus for input
US20170154104A1 (en) Real-time recommendation of reference documents
CN108399914B (zh) 一种语音识别的方法和装置
CN107305438B (zh) 候选项的排序方法和装置、用于候选项排序的装置
CN107564526B (zh) 处理方法、装置和机器可读介质
WO2021120690A1 (zh) 语音识别方法、装置和介质
CN109558599B (zh) 一种转换方法、装置和电子设备
WO2019109663A1 (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN108803890B (zh) 一种输入方法、输入装置和用于输入的装置
WO2019109664A1 (zh) 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置
CN108628819B (zh) 处理方法和装置、用于处理的装置
CN111832315B (zh) 语义识别的方法、装置、电子设备和存储介质
WO2021077559A1 (zh) 信息处理方法、装置及存储介质
CN107424612B (zh) 处理方法、装置和机器可读介质
CN107797676B (zh) 一种单字输入方法及装置
CN112133295B (zh) 语音识别方法、装置及存储介质
CN113239707A (zh) 文本翻译方法、文本翻译装置及存储介质
CN111414766B (zh) 一种翻译方法及装置
CN109979435B (zh) 数据处理方法和装置、用于数据处理的装置
CN115831117A (zh) 实体识别方法、装置、计算机设备和存储介质
CN111178086A (zh) 数据处理方法、装置和介质
CN112612442A (zh) 一种输入方法、装置和电子设备
CN110858100B (zh) 联想候选词生成方法及装置
CN110134850B (zh) 一种搜索方法及装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020500705

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19950143

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19950143

Country of ref document: EP

Kind code of ref document: A1