RU2021135477A - Способ и сервер для выполнения проблемно-ориентированного перевода - Google Patents
Способ и сервер для выполнения проблемно-ориентированного перевода Download PDFInfo
- Publication number
- RU2021135477A RU2021135477A RU2021135477A RU2021135477A RU2021135477A RU 2021135477 A RU2021135477 A RU 2021135477A RU 2021135477 A RU2021135477 A RU 2021135477A RU 2021135477 A RU2021135477 A RU 2021135477A RU 2021135477 A RU2021135477 A RU 2021135477A
- Authority
- RU
- Russia
- Prior art keywords
- token
- tokens
- sequence
- input
- output
- Prior art date
Links
Claims (56)
1. Способ выполнения проблемно-ориентированного перевода предложений с первого языка на второй язык, в котором серверу с работающей на нем нейронной сетью (NN) доступен проблемно-ориентированный словарь, содержащий проблемно-ориентированные переводы слов с первого языка на второй язык, выполняемый сервером и включающий в себя:
- формирование сервером дополненной последовательности входных токенов на основе входного предложения на первом языке и рекомендации, вставленной во входное предложение, при этом входное предложение содержит слово, представленное в дополненной последовательности входных токенов в виде данного входного токена и имеющее проблемно-ориентированный перевод, представленный в виде другого токена, а рекомендация представлена в дополненной последовательности входных токенов в виде входного начального токена и входного конечного токена, где входной начальный токен вставлен в позицию, предшествующую данному входному токену, а входной конечный токен вставлен в позицию, следующую за данным входным токеном, для идентификации входного токена из дополненной последовательности входных токенов как данного входного токена;
- итеративное формирование сервером с применением сети NN последовательности выходных токенов на основе дополненной последовательности входных токенов, при котором:
- в ответ на формирование на данной итерации выходного начального токена в последовательности выходных токенов - применение ограничивающего условия в отношении следующего выходного токена, который должен быть сформирован сетью NN для последовательности выходных токенов, таким образом, чтобы следующий выходной токен представлял собой другой токен; и
- в ответ на формирование на другой итерации выходного конечного токена - прекращение применения ограничивающего условия в отношении следующего токена, который должен быть сформирован сетью NN; и
- формирование сервером второго предложения на втором языке, содержащего проблемно-ориентированный перевод входного слова, с использованием последовательности выходных токенов.
2. Способ по п. 1, отличающийся тем, что данный входной токен представляет собой подпоследовательность входных токенов и входное слово представлено этой подпоследовательностью входных токенов в дополненной последовательности входных токенов.
3. Способ по п. 1, отличающийся тем, что другой токен представляет собой другую подпоследовательность токенов и проблемно-ориентированный перевод слова представлен этой другой подпоследовательностью токенов.
4. Способ по п. 1, отличающийся тем, что проблемно-ориентированный словарь содержит множество проблемно-ориентированных переводов входного слова, представленных соответствующими подпоследовательностями из множества других подпоследовательностей токенов, а применение ограничивающего условия включает в себя применение ограничивающего условия в отношении следующей подпоследовательности выходных токенов, которые должны быть сформированы сетью NN для последовательности выходных токенов, таким образом, чтобы следующая подпоследовательность выходных токенов представляла собой подпоследовательность из множества других подпоследовательностей токенов.
5. Способ по п. 4, отличающийся тем, что следующая подпоследовательность выходных токенов завершается выходным конечным токеном.
6. Способ по п. 4, отличающийся тем, что множество проблемно-ориентированных переводов входного слова содержит грамматические варианты входного слова.
7. Способ по п. 1, отличающийся тем, что сеть NN представляет собой трансформерную модель, содержащую кодер и декодер, а способ на этапе обучения дополнительно включает в себя:
- формирование сервером дополненной последовательности первых токенов на основе первого предложения на первом языке и первой рекомендации, вставленной в первое предложение, при этом первое предложение содержит первое слово, представленное в дополненной последовательности первых токенов в виде данного первого токена, а первая рекомендация представлена в дополненной последовательности первых токенов в виде первого начального токена и первого конечного токена, первый начальный токен вставлен в позицию, предшествующую данному первому токену, а первый конечный токен вставлен в позицию, следующую за данным первым токеном, для идентификации первого токена из последовательности первых токенов как данного первого токена;
- формирование сервером дополненной последовательности вторых токенов на основе второго предложения на втором языке и второй рекомендации, вставленной во второе предложение, которое представляет собой перевод первого предложения и содержит второе слово, представляющее собой проблемно-ориентированный перевод первого слова и представленное в дополненной последовательности вторых токенов в виде данного второго токена, при этом вторая рекомендация представлена в дополненной последовательности вторых токенов в виде второго начального токена и второго конечного токена, где второй начальный токен вставлен в позицию, предшествующую данному второму токену, а второй конечный токен вставлен в позицию, следующую за данным вторым токеном, для идентификации второго токена из последовательности вторых токенов как данного второго токена;
- обучение сервером трансформерной модели путем предоставления дополненной последовательности первых токенов кодеру и дополненной последовательности вторых токенов декодеру таким образом, чтобы обучить декодер формированию выходного начального токена и выходного конечного токена в правильных позициях в последовательности выходных токенов.
8. Способ по п. 1, отличающийся тем, что рекомендация дополнительно представлена в дополненной последовательности входных токенов в виде специального токена перевода-рекомендации и другого токена, вставленных после данного входного токена и перед входным конечным токеном.
9. Способ по п. 1, отличающийся тем, что применение ограничивающего условия включает в себя:
- обращение сервера к подпоследовательности токенов из «белого списка», содержащей другой токен и специальный конечный токен; и
- применение сервером ограничений для модели перевода при формировании подпоследовательности токенов из «белого списка» в качестве следующего выходного токена.
10. Способ обучения трансформерной модели, выполняемой сервером и содержащей кодер и декодер, выполнению перевода с первого языка на второй язык, включающий в себя на этапе обучения:
- формирование сервером дополненной последовательности первых токенов на основе первого предложения на первом языке и первой рекомендации, вставленной в первое предложение, при этом первое предложение содержит первое слово, представленное в дополненной последовательности первых токенов в виде данного первого токена, а первая рекомендация представлена в дополненной последовательности первых токенов в виде первого начального токена и первого конечного токена, где первый начальный токен вставлен в позицию, предшествующую данному первому токену, а первый конечный токен вставлен в позицию, следующую за данным первым токеном, для идентификации первого токена из дополненной последовательности первых токенов как данного первого токена;
- формирование сервером дополненной последовательности вторых токенов на основе второго предложения на втором языке и второй рекомендации, вставленной во второе предложение, которое представляет собой перевод первого предложения и содержит второе слово, представляющее собой проблемно-ориентированный перевод первого слова и представленное в дополненной последовательности вторых токенов в виде данного второго токена, при этом вторая рекомендация представлена в дополненной последовательности вторых токенов в виде второго начального токена и второго конечного токена, где второй начальный токен вставлен в позицию, предшествующую данному второму токену, а второй конечный токен вставлен в позицию, следующую за данным вторым токеном, для идентификации второго токена из дополненной последовательности вторых токенов как данного второго токена;
- обучение сервером трансформерной модели путем предоставления дополненной последовательности первых токенов кодеру и дополненной последовательности вторых токенов декодеру таким образом, чтобы обучить декодер формированию выходного начального токена и выходного конечного токена в правильных позициях в последовательности выходных токенов.
11. Способ по п. 10, отличающийся тем, что он дополнительно включает в себя на этапе использования сети NN:
- итеративное формирование сервером с применением сети NN дополненной последовательности выходных токенов на основе дополненной последовательности входных токенов, при этом:
- в ответ на формирование на данной итерации выходного начального токена в последовательности выходных токенов применяется ограничивающее условие в отношении следующего выходного токена, который должен быть сформирован сетью NN для дополненной последовательности выходных токенов, таким образом, чтобы следующий выходной токен представлял собой другой токен; а
- в ответ на формирование на другой итерации выходного конечного токена прекращается применение ограничивающего условия в отношении следующего выходного токена, который должен быть сформирован сетью NN; и
- формирование сервером второго предложения на втором языке с использованием дополненной последовательности выходных токенов.
12. Сервер для выполнения проблемно-ориентированного перевода предложений с первого языка на второй язык, выполняющий сеть NN, имеющий доступ к проблемно-ориентированному словарю, содержащему проблемно-ориентированные переводы слов с первого языка на второй язык, и способный:
- формировать дополненную последовательность входных токенов на основе входного предложения на первом языке и рекомендации, вставленной во входное предложение, при этом входное предложение содержит слово, представленное в дополненной последовательности входных токенов в виде данного входного токена и имеющее проблемно-ориентированный перевод, представленный в виде другого токена, а рекомендация представлена в дополненной последовательности входных токенов в виде входного начального токена и входного конечного токена, где входной начальный токен вставлен в позицию, предшествующую данному входному токену, а входной конечный токен вставлен в позицию, следующую за данным входным токеном, для идентификации входного токена из дополненной последовательности входных токенов как данного входного токена;
- итеративно формировать с применением сети NN последовательность выходных токенов на основе дополненной последовательности входных токенов, при этом сервер в ходе итеративного формирования способен:
- в ответ на формирование на данной итерации выходного начального токена в последовательности выходных токенов применять ограничивающее условие в отношении следующего выходного токена, подлежащего формированию сетью NN для последовательности выходных токенов, таким образом, чтобы следующий выходной токен представлял собой другой токен; а
- в ответ на формирование на другой итерации выходного конечного токена прекращать применение ограничивающего условия в отношении следующего токена, подлежащего формированию сетью NN; и
- формировать второе предложение на втором языке, содержащее проблемно-ориентированный перевод входного слова, с использованием последовательности выходных токенов.
13. Сервер по п. 12, отличающийся тем, что данный входной токен представляет собой подпоследовательность входных токенов и входное слово представлено этой подпоследовательностью входных токенов в дополненной последовательности входных токенов.
14. Сервер по п. 12, отличающийся тем, что другой токен представляет собой другую подпоследовательность токенов и проблемно-ориентированный перевод слова представлен этой другой подпоследовательностью токенов.
15. Сервер по п. 12, отличающийся тем, что проблемно-ориентированный словарь содержит множество проблемно-ориентированных переводов входного слова, представленных соответствующими подпоследовательностями из множества других подпоследовательностей токенов, а применение ограничивающего условия включает в себя способность сервера применять ограничивающее условие в отношении следующей подпоследовательности выходных токенов, подлежащих формированию сетью NN для последовательности выходных токенов, таким образом, чтобы следующая подпоследовательность выходных токенов представляла собой подпоследовательность из множества других подпоследовательностей токенов.
16. Сервер по п. 15, отличающийся тем, что следующая подпоследовательность выходных токенов завершается выходным конечным токеном.
17. Сервер по п. 15, отличающийся тем, что множество проблемно-ориентированных переводов входного слова содержит грамматические варианты входного слова.
18. Сервер по п. 12, отличающийся тем, что сеть NN представляет собой трансформерную модель, содержащую кодер и декодер, а сервер на этапе обучения дополнительно способен:
- формировать дополненную последовательность первых токенов на основе первого предложения на первом языке и первой рекомендации, вставленной в первое предложение, при этом первое предложение содержит первое слово, представленное в дополненной последовательности первых токенов в виде данного первого токена, а первая рекомендация представлена в дополненной последовательности первых токенов в виде первого начального токена и первого конечного токена, где первый начальный токен вставлен в позицию, предшествующую данному первому токену, а первый конечный токен вставлен в позицию, следующую за данным первым токеном, для идентификации первого токена из дополненной последовательности первых токенов как данного первого токена;
- формировать дополненную последовательность вторых токенов на основе второго предложения на втором языке и второй рекомендации, вставленной во второе предложение, которое представляет собой перевод первого предложения и содержит второе слово, представляющее собой проблемно-ориентированный перевод первого слова и представленное в дополненной последовательности вторых токенов в виде данного второго токена, при этом вторая рекомендация представлена в дополненной последовательности вторых токенов в виде второго начального токена и второго конечного токена, где второй начальный токен вставлен в позицию, предшествующую данному второму токену, а второй конечный токен вставлен в позицию, следующую за данным вторым токеном, для идентификации второго токена из дополненной последовательности вторых токенов как данного второго токена;
- обучать трансформерную модель путем предоставления дополненной последовательности первых токенов кодеру и дополненной последовательности вторых токенов декодеру таким образом, чтобы обучить декодер формированию выходного начального токена и выходного конечного токена в правильных позициях в последовательности выходных токенов.
19. Сервер по п. 12, отличающийся тем, что рекомендация дополнительно представлена в дополненной последовательности входных токенов в виде специального токена перевода-рекомендации и другого токена, вставленных после данного входного токена и перед входным конечным токеном.
20. Сервер по п. 12, отличающийся тем, что применение ограничивающего условия включает в себя способность сервера:
- обращаться к подпоследовательности токенов из «белого списка», содержащей другой токен и специальный конечный токен; и
- применять ограничения для модели перевода при формировании подпоследовательности токенов из «белого списка» в качестве следующего выходного токена.
21. Сервер для обучения трансформерной модели, работающей на сервере и содержащей кодер и декодер, выполнению перевода с первого языка на второй язык, способный на этапе обучения:
- формировать дополненную последовательность первых токенов на основе первого предложения на первом языке и первой рекомендации, вставленной в первое предложение, при этом первое предложение содержит первое слово, представленное в дополненной последовательности первых токенов в виде данного первого токена, а первая рекомендация представлена в дополненной последовательности первых токенов в виде первого начального токена и первого конечного токена, где первый начальный токен вставлен в позицию, предшествующую данному первому токену, а первый конечный токен вставлен в позицию, следующую за данным первым токеном, для идентификации первого токена из дополненной последовательности первых токенов как данного первого токена;
- формировать дополненную последовательность вторых токенов на основе второго предложения на втором языке и второй рекомендации, вставленной во второе предложение, которое представляет собой перевод первого предложения и содержит второе слово, представляющее собой проблемно-ориентированный перевод первого слова и представленное в дополненной последовательности вторых токенов в виде данного второго токена, при этом вторая рекомендация представлена в дополненной последовательности вторых токенов в виде второго начального токена и второго конечного токена, где второй начальный токен вставлен в позицию, предшествующую данному второму токену, а второй конечный токен вставлен в позицию, следующую за данным вторым токеном, для идентификации второго токена из дополненной последовательности вторых токенов как данного второго токена; и
- обучать трансформерную модель путем предоставления дополненной последовательности первых токенов кодеру и дополненной последовательности вторых токенов декодеру таким образом, чтобы обучить декодер формированию выходного начального токена и выходного конечного токена в правильных позициях в последовательности выходных токенов.
22. Сервер по п. 21, отличающийся тем, что он дополнительно способен на этапе использования сети NN:
- итеративно формировать с применением сети NN дополненную последовательность выходных токенов на основе дополненной последовательности входных токенов, при этом сервер в ходе итеративного формирования способен:
- в ответ на формирование на данной итерации выходного начального токена в последовательности выходных токенов применять ограничивающее условие в отношении следующего выходного токена, подлежащего формированию сетью NN для дополненной последовательности выходных токенов, таким образом, чтобы следующий выходной токен представлял собой другой токен; и
- в ответ на формирование на другой итерации выходного конечного токена прекращать применение ограничивающего условия в отношении следующего выходного токена, подлежащего формированию сетью NN; и
- формировать второе предложение на втором языке с использованием дополненной последовательности выходных токенов.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/074,153 US20230177282A1 (en) | 2021-12-02 | 2022-12-02 | Method and server for performing domain-specific translation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2021135477A true RU2021135477A (ru) | 2023-06-02 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022095345A1 (zh) | 一种多模态模型训练方法、装置、设备及存储介质 | |
| CN108287820B (zh) | 一种文本表示的生成方法及装置 | |
| Lou et al. | Improving disfluency detection by self-training a self-attentive model | |
| Othman et al. | Statistical sign language machine translation: from English written text to American sign language gloss | |
| CN107066455A (zh) | 一种多语言智能预处理实时统计机器翻译系统 | |
| Kaur et al. | Review of machine transliteration techniques | |
| Yoshikawa | Joint transition-based dependency parsing and disfluency detection for automatic speech recognition texts | |
| Iwasaki et al. | Japanese abstractive text summarization using BERT | |
| CN112989796A (zh) | 一种基于句法指导的文本命名实体信息识别方法 | |
| CN112016271A (zh) | 语言风格转换模型的训练方法、文本处理方法以及装置 | |
| Kumar et al. | Incomplete follow-up question resolution using retrieval based sequence to sequence learning | |
| Bouillon et al. | A generic multi-lingual open source platform for limited-domain medical speech translation | |
| RU2021135477A (ru) | Способ и сервер для выполнения проблемно-ориентированного перевода | |
| Watanabe et al. | Statistical machine translation based on hierarchical phrase alignment | |
| CN107562718A (zh) | 文本规整方法及装置、存储介质、电子设备 | |
| Shi et al. | Open text semantic parsing using FrameNet and WordNet | |
| Xu et al. | Mandarin language understanding in dialogue context | |
| Tran et al. | Development of a multilingual CCG treebank via universal dependencies conversion | |
| Finch et al. | Hierarchical phrase-based stream decoding | |
| Srinivasan et al. | Code-mixed parse trees and how to find them | |
| RU2021138713A (ru) | Способ и сервер для выполнения контекстно-зависимого перевода | |
| Paul et al. | Improving Data Driven Inverse Text Normalization using Data Augmentation and Machine Translation. | |
| Evang et al. | Improving Low-resource RRG Parsing with Cross-lingual Self-training | |
| Hatzel et al. | Narrative cloze as a training objective: Towards modeling stories using narrative chain embeddings | |
| Mkhwanazi et al. | Generation of segmented isiZulu text |