RU172882U1

RU172882U1 - Устройство для автоматического перевода текста

Info

Publication number: RU172882U1
Application number: RU2016102065U
Authority: RU
Inventors: Иван Валерьевич Смольников; Владимир Владиславович Гусаков; Артем Владимирович Украинец
Original assignee: Общество с ограниченной ответственностью "Технологии управления переводом"
Priority date: 2016-07-20
Filing date: 2016-07-20
Publication date: 2017-07-28

Abstract

Данное техническое решение относится к области обработки цифровых данных с помощью электрических устройств, а точнее к устройствам автоматизированного перевода электронных документов с одного или более исходных естественных языков на один или более целевой естественный язык. Устройство для автоматического перевода текста, содержащее модуль обработки, выход которого соединен с входом модуля обработки документов, выход которого соединен с входом модуля сегментации текста, выход которого соединен с входом модуля обработки текста, выход которого соединен с входом обработки документов. Техническим результатом является повышение скорости и качества обработки документа, а также повышение качества перевода.

Description

ОБЛАСТЬ ТЕХНИКИ

[0001] Данное техническое решение относится к области обработки цифровых данных с помощью электрических устройств, а точнее к устройствам автоматизированного перевода электронных документов с одного или более исходных естественных языков на один или более целевой естественный язык.

УРОВЕНЬ ТЕХНИКИ

[0002] В настоящее время технические решения, предназначенные для перевода на различные языки, обеспечивают приемлемый уровень качества перевода формального содержимого для распространенных языков (например, английский, французский, испанский, немецкий и пр.). При этом для других языков, а также при неформальном или специальном содержимом пользователь должен зачастую прибегать к немашинному переводу (здесь и далее - переводу, выполняемому людьми), что увеличивает время, затраченное на качественный перевод.

[0003] Из уровня техники известна заявка на патент US 20110122448 A1 «Method for translating documents using multifunctional printer machine, involves outputting printouts based on selected page layout templates including original text and translated text in corresponding languages as specified», патентообладатель: XEROX CORP, опубликовано: 26.05.2011. Согласно описанию способ и система для перевода документов с использованием многофункционального принтера, в котором захватывают изображения документа; определяют области документа, которые включают исходный текст; выполняют оптическое распознавание символов в областях документа, которые включают исходный текст; указывают исходный язык, соответствующий исходному тексту; указывают один или более целевой язык, соответствующий переведенному тексту; выполняют перевод оригинального текста в тексте, выбрав один или несколько шаблонов макета страницы. В данном техническом решении используют стандартные шаблоны с выделенными местами для вставки текста, а не сохраняют форматирование исходного файла (включая параграфы, таблицы, шрифты), что является существенным недостатком.

[0004] Также известна заявка на патент US 20050122537 A1 «Combination machine e.g. multi-function copier, has controller to control character recognition part, translation part and voice conversion part to convert recognized characters into images and to convert images into voice signal», патентообладатель: SAMSUNG ELECTRONICS CO LTD, опубликовано: 22.09.2005. Существенным недостатком данного технического решения является то, что перевод не может выполняться с помощью кастомизированного машинного перевода и ранее накопленных текстов, а также при помощи немашинного перевода.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Данное техническое решение направлено на устранение недостатков, присущих существующим решениям из уровня техники.

[0006] Техническим результатом данного технического решения, объективно проявляющимся при реализации заявленного устройства, является повышение качества перевода, выполняемого посредством устройства для автоматического перевода текста.

[0007] Данный технический результат достигается благодаря устройству для автоматического перевода текста, содержащему модуль обработки, выход которого соединен с входом модуля обработки документов, выход которого соединен с входом модуля сегментации текста, выход которого соединен с входом модуля обработки текста, выход которого соединен с входом обработки документов.

[0008] В некоторых вариантах осуществления технического решения модуль обработки содержит блок распознавания голоса и/или речевой ввод данных, и/или речевое оповещение.

[0009] В некоторых вариантах осуществления технического решения модуль обработки содержит блок машинного перевода с возможностью настройки (кастомизации) под конкретную тематику.

[00010] В некоторых вариантах осуществления технического решения модуль обработки содержит блок для создания немашинного перевода.

[00011] В некоторых вариантах осуществления технического решения модуль обработки содержит блок распознавания сканированных изображений.

[00012] В некоторых вариантах осуществления технического решения модуль обработки содержит блок памяти переводов и глоссариев, используемых для машинного и немашинного перевода.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[00013] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемого чертежа, на котором:

На Фиг. 1 схематически показан пример конструктивной схемы устройства перевода документов, работающего в соответствии с одним или несколькими аспектами настоящего технического решения.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[00014] Ниже будут описаны понятия и определения, необходимые для подробного раскрытия осуществляемого решения.

[00015] Согласно варианту реализации технического решения устройство для автоматического перевода текста содержит корпус 101, в котором находится модуль хранения 106, выход которого соединен с модулем обработки 102, выход которого соединен с входом модуля обработки документов 103, выход которого соединен с модулем сегментации текстов 104, выход которого соединен с модулем обработки текстов 105.

[00016] В некоторых вариантах реализации модуль обработки 102 включает в себя блок распознавания сканированных документов, блок распознавания речевого ввода, блок извлечения текстовой и метаинформации.

[00017] После получения входящего документа из модуля хранения 106, модуль обработки документов 102 обрабатывает файл на основе формата файла. Например, файлы с изображением документа могут предварительно обрабатываться путем выполнения оптического распознавания символов методом автоматического сегментирования массива исходных данных на области и объекты (фрагменты текста, графические изображения), дальнейшего разбиения фрагментов текста на изображения символов и распознавания символов, выделения объектов с помехами и неверно распознанных объектов (путем выявления в распознанных смысловых единицах элементов, которые не совпадают с эквивалентными им по месту расположения символами), сортировки вероятных кандидатов распознавания по их статистической значимости, выбора наиболее релевантного кандидата, затем строятся гипотезы принадлежности слов к определенному языку путем сопоставления слов с морфологическими словарями; а файлы с аудио- или видеопотоком могут проходить предварительную обработку путем распознания голоса при помощи временных динамических алгоритмов или скрытых марковских моделей (производится очистка исходного сигнала от шума и выделение полезного сигнала; строятся статистическая модель, описывающая различные звучания звуков в речи, и модель языка, задающая наиболее вероятные звуковые и словесные последовательности и использующая различные правила грамматики языка, информацию о части речи и форме слова; обработка декодером, выбирающим наиболее вероятную последовательность слов входного сигнала).

[00018] В модуле хранения 106 находится база ранее накопленных текстов, которая задействуется при обработке конкретного документа, что позволяет повысить качество перевода.

[00019] Данная база может содержать множество записей памяти перевода, при этом каждая запись содержит фрагмент исходного текста на первом естественном языке и один или несколько фрагментов переведенного текста на другом естественном языке. Таким образом, фрагмент исходного текста может быть автоматически переведен на один или более целевых языков путем извлечения содержимого поля записи базы данных, соответствующего одинаковой записи базы данных памяти для целевого языка и для фрагмента исходного текста. В различных примерах реализации база данных памяти текстов переводов может быть проиндексирована по одному или более полям, соответствующим различным естественным языкам.

[00020] Содержимое базы данных памяти текстов переводов может быть обновлено новыми записями, и/или существующие записи могут быть обновлены с использованием подтвержденных переводов определенных текстов. Каждый фрагмент текста, хранящийся в базе данных памяти текстов переводов, может содержать одно или более предложений. В определенных вариантах реализации база данных памяти текстов переводов может также содержать дополнительную информацию, отражающую различные отношения между частями фрагмента текста на исходном языке и соответствующими частями соответствующего переведенного фрагмента текста (например, отношения на уровне предложений или на уровне слов, синтаксическая или семантическая информация). В различных примерах осуществления технического решения база данных памяти переводов может быть связана с определенным аккаунтом (например, аккаунтом, связанным с пользователем, проектом или организацией), темой, типом документа и т.д. В определенных вариантах реализации устройство перевода может работать с двумя и более базами данных памяти переводов.

[00021] Модуль обработки документов 103 получает предварительно обработанный файл, извлекает текст документа и метаданные документа, отражающие структуру и форматирование документа. Метаданные содержат информацию о шрифтах, тегах, модификаторах текста (жирный, курсив), встроенные изображения и другие объекты, дату создания, дату изменения, внутренние идентификаторы и др. Метаданные документа хранятся в модуле хранения 106.

[00022] Затем текст передается в модуль сегментации текста 104, который разделяет текст на один или более сегментов для дальнейшего перевода, используя набор правил и разделителей (точка+пробел, перенос строки, восклицательный знак+пробел и другие - в зависимости от языка документа). После получения каждого сегмента текста от модуля сегментации текста 104 модуль обработки текста 105 выполняет следующие действия:

- предоставляет пользователю интерфейс верификации исходного текста для проверки результатов исходной обработки (OCR/распознавание текста), который содержит управляющие элементы для редактирования и подтверждения текстовой информации, полученной в результате распознавания, область для отображения исходного изображения, историю изменений сегмента с возможностью отмены и повтора действий;

- запускает процесс машинного перевода с использованием внутренней или внешней (облачной) системы машинного перевода в зависимости от выбора пользователя, для этого производится вызов соответствующих методов API для перевода текстов движков машинного перевода, результат перевода сохраняется в базе данных и передается в пользовательский интерфейс;

- запускает рабочий процесс немашинного перевода, для этого производится вызов методов API системы профессионального перевода SmartCAT (разработана авторами заявки), в которой создается проект с сохранением всей метаинформации (автор, дата создания и т.д.) об исходном документе и тексте, подключаются доступные пользователю лингвистические ресурсы (база памяти переводов, глоссарии, словари, машинный перевод), назначаются исполнители из списка одобренных и доступных пользователю исполнителей (автоматически или при участии менеджера проекта), исполнители выполняют перевод документа;

- запускает пользовательский интерфейс для проверки и редактирования текста после перевода, для загружается текст из системы профессионального перевода SmartCAT.

[00023] Модуль хранения 106 может быть задействован одним или более конструктивными модулями 102-105 для предварительной обработки и перевода текста, причем в таком случае к данному модулю хранения 106, который связан с модулем обработки 102, осуществляют запрос. Глоссарии и исходный текст, хранящийся в блоке хранения 106, могут использоваться для валидации распознанных фрагментов текста путем их сопоставления с имеющимися сегментами и поиска нечетких совпадений. При машинном переводе глоссарии могут использоваться для снятия многозначности перевода слов и задания конкретного варианта перевода, память переводов может использоваться для подстановки вместо имеющихся фрагментов текстов (тогда только оставшиеся непереведенные фрагменты переводятся при помощи машинного перевода, что позволяет улучшить качество текста), а также для набора статистики для перевода устойчивых фраз и конструкций, и отдельных терминов. В немашинном переводе глоссарии и память переводов используются для подсказки переводчику, работающему над текстом.

[00024] Переведенный текст может быть обработан модулем обработки документов 103 для создания выходного файла путем сборки нескольких переведенных фрагментов и применения структуры и форматирования исходного документа, путем считывания и восстановления информации, сохраненной на этапе предварительной обработки.

[00025] Элементы данного устройства находятся в конструктивном единстве и функциональной взаимосвязи, а их совместное использование приводит к созданию нового устройства с новой функцией. Таким образом, конструкция выполняется в жесткой конструкции, все блоки которой связаны, в любом исполнении, не влияющем на сущность технического решения.

[00026] Блоки, используемые в устройстве, могут быть реализованы с помощью электронных компонент, используемых для создания цифровых интегральных схем. Не ограничиваюсь, могут быть использоваться микросхемы, логика работы которых определяется при изготовлении, или программируемые логические интегральные схемы (ПЛИС), логика работы которых задается посредством программирования. Для программирования используются программаторы и отладочные среды, позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др. Альтернативой ПЛИС являются: программируемые логические контроллеры (ПЛК), базовые матричные кристаллы (БМК), требующие заводского производственного процесса для программирования; ASIC - специализированные заказные большие интегральные схемы (БИС), которые при мелкосерийном и единичном производстве существенно дороже.

[00027] Также блоки могут быть реализованы с помощью постоянных запоминающих устройств (см. Лебедев О.Н. Микросхемы памяти и их применение. - М.: Радио и связь, 1990. - 160 с.; Большие интегральные схемы запоминающих устройств: Справочник / А.Ю. Горденов и др. - М.: Радио и связь, 1990. - 288 с.).

[00028] Таким образом, реализация всех используемых блоков достигается стандартными средствами, базирующимися на классических принципах реализации основ вычислительной техники.

ПРИМЕРЫ РЕАЛИЗАЦИИ

Пример 1.

Модуль обработки получает на вход бумажный документ на английском языке из 10 страниц, после чего принимает выбор пользователя - машинный перевод и печать на русский язык. Затем модуль обработки выполняет сканирование документа при помощи сканирующего блока, получая результат в виде PDF файла. Модуль обработки передает полученный файл модулю обработки документов, который выполняет распознавание отсканированного изображения, получая результат в виде DOCX файла. Затем указанный модуль выполняет извлечение текстовой информации из DOCX файла, производит валидацию текста по текстам (базам памяти перевода и глоссариям), хранящимся в запоминающем модуле устройства. Модуль сегментации выполняет сегментацию извлеченного текста и для каждого сегмента текста выполняет машинный перевод с английского на русский с помощью модуля машинного перевода. После получения перевода всех сегментов устройство вставляет полученный перевод в DOCX файл, сохраняет его в запоминающем модуле в привязке к учетной записи пользователя, осуществившего загрузку документа. Устройство печатает документ с помощью модуля печати.

Пример 2.

Модуль обработки получает на вход бумажный документ на русском языке из 20 страниц, после чего принимает выбор пользователя - немашинный (человеческий) перевод на немецкий и французский языки и отправку результата по электронной почте. Модуль обработки выполняет сканирование документа при помощи сканирующего модуля, получая результат в виде PDF файла. Модуль обработки передает полученный файл модулю обработки документов, который выполняет распознавание отсканированного изображения, получая результат в виде DOCX файла.

Указанный модуль выполняет извлечение текстовой информации из DOCX файла, производит валидацию текста по текстам (базам памяти перевода и глоссариям), хранящимся в запоминающем модуле устройства. Модуль сегментации выполняет сегментацию извлеченного текста и направляет документ в модуль немашинного перевода. С помощью специализированного интерфейса профессиональные переводчики выполняют немашинный перевод с русского на немецкий и с английского на французский. После получения перевода всех сегментов устройство вставляет полученный перевод в соответствующие (русский и французский) DOCX файлы, сохраняет их в запоминающем модуле в привязке к учетной записи пользователя, осуществившего загрузку документа. Устройство отправляет документы на электронную почту пользователя с помощью интерфейса электронной почты.

Claims

1. Устройство автоматического перевода текста, выполненное в корпусе, содержащее модуль хранения, выполненный с возможностью хранения глоссариев и накопленных ранее переведенных фрагментов текста, соединенный с модулем предварительной обработки файла документа на основе формата файла, выполненным с возможностью передачи информации файла исходного документа в указанный модуль хранения; модулем обработки документов, выполненным с возможностью извлечения текста и метаданных документа, подлежащих сохранению в указанном модуле хранения, создания выходного файла путем сборки переведенных фрагментов текста, применения структуры и форматирования исходного документа путем считывания и восстановления информации, полученной из указанного модуля хранения; модулем сегментации текста, выполненным с возможностью разделения текста на сегменты с применением набора правил и разделителей, зависящих от языка указанного исходного документа; модулем обработки текста, выполненным с возможностью перевода сегментированного текста, передаваемого в указанный модуль обработки документов, и предоставления интерфейса пользователю с выходным файлом, получаемым от указанного модуля обработки документов.

2. Устройство по п. 1, в котором соединение указанных модулей выполнено посредством соединения выходов и входов модулей в соответствии с указанной последовательностью.

3. Устройство по п. 1, отличающееся тем, что указанный модуль предварительной обработки файла документа включает блок распознавания сканированных документов или изображений сканированных документов.

4. Устройство по п. 3, отличающееся тем, что фрагменты текста распознанных документов подлежат сохранению в указанном модуле хранения.

5. Устройство по п. 4, отличающееся тем, что глоссарии и исходный текст, хранящийся в модуле хранения, могут быть использованы для валидации указанных фрагментов текста распознанных документов путем их сопоставления с имеющимися сегментами и поиска нечетких совпадений.

6. Устройство по п. 1, отличающееся тем, что указанный модуль предварительной обработки файла документа включает блок распознавания речевого ввода.