WO2013032354A1 - Визуализация текста на естественном языке - Google Patents

Визуализация текста на естественном языке Download PDF

Info

Publication number
WO2013032354A1
WO2013032354A1 PCT/RU2011/000666 RU2011000666W WO2013032354A1 WO 2013032354 A1 WO2013032354 A1 WO 2013032354A1 RU 2011000666 W RU2011000666 W RU 2011000666W WO 2013032354 A1 WO2013032354 A1 WO 2013032354A1
Authority
WO
WIPO (PCT)
Prior art keywords
service
text
scene
video
semantic
Prior art date
Application number
PCT/RU2011/000666
Other languages
English (en)
French (fr)
Inventor
Тимур Нуруахитович БЕКМАМБЕТОВ
Антон Алексеевич НОВОСЕЛОВ
Сергей Владимирович КУЗЬМИН
Original Assignee
Общество С Ограниченной Ответственностью "Базелевс Инновации"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Базелевс Инновации" filed Critical Общество С Ограниченной Ответственностью "Базелевс Инновации"
Priority to PCT/RU2011/000666 priority Critical patent/WO2013032354A1/ru
Publication of WO2013032354A1 publication Critical patent/WO2013032354A1/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Abstract

Изобретение относится к визуализации текста на естественном языке, а именно к преобразованию текста на естественном языке в изображение, анимацию или трехмерную сцену, соответствующих этому тексту. Техническим результатом является получение арсенала средств для визуализации текста, написанного на естественном языке, автоматического получения анимированной трехмерной сцены. Для решения поставленной задачи реализован способ визуализации текста, согласно которому сначала получают текст на естественном языке. Затем проводят автоматический семантический разбор предоставляемого текста на естественном языке с целью получения структурированной семантической сети. Далее формируют трехмерную сцену по результатам семантического разбора. Формируют видеоролик или набор картинок из полученных трехмерных сцен. Визуализируют полученный видеоролик или набор картинок.

Description

Визуализация текста на естественном языке
Область техники, к которой относится изобретение
Настоящее изобретение относится к визуализации текста на естественном языке, а именно к преобразованию текста на естественном языке в изображение, анимацию или трехмерную сцену, соответствующих этому тексту.
Предшествующий уровень техники
Существуют продукты, которые позволяют разбирать текст, строить по нему семантические сети, что позволяет из текста определять объекты, субъекты, действия, иерархию понятий, последовательность действий, качественные, количественные и временные характеристики. Существуют продукты, позволяющие строить трехмерную сцену вручную, добавляя модели персонажей, объектов, модели зданий, расставлять камеры, добавлять источники света, анимировать сцену и получать, в результате трёхмерный анимационный ролик или статические картинки. Однако не существует масштабируемых распределенных систем, которые позволяли бы автоматически получить трехмерный ролик или картинку на основе текста на естественном языке.
Сущность изобретения
Решаемая изобретением задача - визуализация текста, написанного на естественном языке в виде трехмерного анимированного видеоролика или набора картинок, обеспечение простоты получения аудиовизуальной превизуализации текста для пользователя. Таким образом, ключевым моментом изобретения является именно визуализация текста. На входе текст, на выходе - картинка или видео.
Технический результат, который может быть получен при осуществлении заявленного способа, - получение арсенала средств для визуализации текста, написанного на естественном языке, автоматического получения анимированной трехмерной сцены. Дополнительным техническим результатом может быть получение полноценной библиотеки-хранилища реквизита (модели, анимация, звук, текстуры и т.д.) для сравнительно точной визуализации текстов, описанных естественным языком.
Для решения поставленной задачи реализован способ визуализации текста, включающий:
получение текста на естественном языке;
проведение автоматического семантического разбора предоставляемого текста на естественном языке с целью получения структурированной семантической сети, для последующей генерации по нему трехмерной сцены;
формирование трехмерной сцены по результатам семантического разбора с использованием встроенной библиотеки реквизита;
формирование видеоролика или набора картинок, используя упомянутые трехмерные сцены;
визуализацию полученного видеоролика или набора картинок.
Еще в одном аспекте заявленного изобретения при формирования видеоролика добавляют синхронное аудио- сопровождение.
Еще в одном аспекте заявленного изобретения семантический разбор текста включает: разбиение текста на предложения;
нумерацию слов в рамках предложения;
выделение объектов, субъектов, действий и свойств;
классификацию всех слов с помощью дерева понятий, позволяющего сводить синонимы к общим понятиям;
однозначную идентификацию объектов в рамках всего текста.
Еще в одном аспекте заявленного изобретения предоставляют пользователю возможность ручного редактирования полученной трехмерной сцены.
Еще в одном аспекте заявленного изобретения предоставляют пользователю возможность ручного редактирования результатов автоматического семантического разбора.
Еще в одном аспекте заявленного изобретения предоставляют пользователю возможность проведения семантического разбора вручную.
Кроме того, для решения поставленной задачи реализована система визуализации текста, содержащая:
веб-сервис, обрабатывающий запросы пользователя на визуализацию текста на естественном языке;
сервис семантического разбора, получающий структурированную семантическую сеть из текста;
базу данных;
сервис компоновщика сцен, использующий результаты семантического разбора и базу данных для построения готовой трехмерной сцены;
сервис рендеринга, обеспечивающий генерацию видеоролика или набора картинок, используя полученные трехмерные сцены; устройство пользователя, визуализирующее готовый видеоролик или набор картинок.
Еще в одном аспекте заявленного изобретения веб-сервис выполнен с возможностью учитывать статистику запросов, накапливать данные по частотным, временным и ресурсным показателям, вычисляемым в процессе перехода от текста к анимации, а также вести учет своей работы в виде лога.
Еще в одном аспекте заявленного изобретения веб-сервис выполнен с возможностью аутентификации пользователя.
Еще в одном аспекте заявленного изобретения система визуализации текста содержит несколько веб-сервисов расположенных как на одном, так и на нескольких машинах.
Еще в одном аспекте заявленного изобретения система визуализации текста дополнительно содержит сервис генерации звука, который генерирует диалоги, готовит наборы звуков, раздающихся в процессе анимации сцены и фоновый трек.
Еще в одном аспекте заявленного изобретения сервис генерации звука объединен с сервисом рендеринга и сервисом компоновщика сцен.
Еще в одном аспекте заявленного изобретения система визуализации текста дополнительно содержит компонент- балансировщик, который оценивает существующие ресурсы компонентов системы и загружает их, распределяя нагрузку.
Еще в одном аспекте заявленного изобретения балансировщик организует последовательную обработку данных сервисом семантического разбора, сервисом компоновщика сцен, сервисом генерации звука, сервисом рендеринга. Еще в одном аспекте заявленного изобретения сервис рендеринга выполнен с возможностью добавления звука и сжатия полученного озвученного ролика.
Краткое описание чертежей
На фигуре представлена примерная схема реализации технического решения.
Подробное раскрытие изобретения
Изобретение далее будет подробно описано со ссылками на прилагаемый чертеж.
Разрабатываемое решение состоит из нескольких сравнительно независимых компонентов. Решение может быть использовано для визуализации текста, необходимой для полнофункциональной работы различных приложений и систем (1), в т.ч. веб-приложений (3), работающих под управлением различных веб-серверов и доступных из пользователям через браузеры, настольных (оконных) GUI-приложений (2), разработанных для различных ОС, приложений под мобильные платформы (Windows Mobile, Symbian, Android, Apple и др.), различных сервисов, в т.ч. веб-сервисов и прочего.
Для обеспечения доступа к технологии используется специальный веб-сервис (Web-service, 4) - независимое приложение, реализующее взаимодействие по протоколу TCP/IP (возможны альтернативы). Приложение позволяет контролировать обработку запросов на анимацию текста, статус запросов, получение и хранение полученного видео-файла. Веб-сервис позволяет учитывать статистику запросов, накапливать данные по частотным, временным и ресурсным показателям, вычисляемым в процессе перехода от текста к анимации, а также вести учет (хронологию) своей работы в виде лога. Также веб-сервис поддерживает аутентификацию. Механизм аутентификации не принципиален (сертификаты, ЭЦП, логин/пароль, аутентификация ОС и др.) Веб-сервис может быть реализован на языке С++ (не является принципиальным). Веб-сервис является масштабируемым. Это означает, что для обслуживания запросов пользователя может существовать несколько веб-сервисов расположенных как на одном, так и на нескольких машинах. С т.з. технологии использование веб-сервиса не является принципиальным: он лишь служит «точкой входа», обеспечивающей доступ к технологии.
Веб сервис(ы) перенаправляют запросы пользователей на получение анимаций по тексту специальному компоненту- балансировщику (Central Router, 5). Этот компонент отвечает за процесс получения анимационного ролика по тексту сцены. Он оценивает существующие ресурсы «рабочих» компонентов и загружает их, распределяя нагрузку, возвращает веб-сервису статус получения видеоролика и передает данные от одного компонента другому. Балансировщик может быть реализован на языке С++. Он взаимодействует с веб-сервисом по протоколу TCP/IP, а с остальными компонентами по протоколу TCP. С т.з. технологии наличие балансировщика принципиально лишь для обеспечения последовательности действий и передачи данных при создании ролика, т.к. в простейшем случае каждый из «рабочих» компонентов реализуется в единственном экземпляре.
Балансировщик организует последовательную обработку данных сервисом семантического разбора (6), сервисом компоновщика сцен (7), сервисом генерации звука (8), сервисом рендеринга (9). Балансировщик отвечает за передачу (пропускает через себя) все данные, используемые в процессе получения видеоролика, кроме результирующего видеоролика (из-за большого объема).
Сервис семантического разбора (ABBYY Service) позволяет получить результаты семантического разбора по тексту сценария для ролика. В качестве технологии семантического разбора используется ABBYY Compreno, требующая для своей работы поддержки службы Windows Active Directory. Компоненты ABBYY Compreno (10) предоставляют СОМ-интерфейсы для получения результатов разбора текста в формате XML. Использование ABBYY Compreno не является принципиальным. Аналогичным образом подойдет другая технология, выдающая следующую информацию (которую можно, например, сконвертировать в похожий XML-формат):
Разбиение текста на предложения;
Нумерацию слов в рамках предложения;
Выделение объектов, субъектов, действий и свойств;
Классификацию всех слов с помощью дерева понятий, позволяющего сводить синонимы к общим понятиям, в том числе информацию по нескольким уровням понятий;
Однозначную идентификацию объектов в рамках всего текста;
Морфологическую информацию;
Информацию об отношениях между словами (отношение прилагательных к существительным, отношения связанных объектов, представленных дополнениями);
Разбор числительных.
В простейшем случае сервис семантического разбора реализуется в единственном экземпляре, однако для обеспечения масштабируемости может быть поддержано и несколько одинаковых сервисов, выполняющих анализ разных кусков текста одновременно.
Сервис компоновщика сцен (Scene Compiler) использует результаты семантического разбора, хранилище моделей, текстур и базу мета- данных для построения готовой анимированной сцены (без звука). При этом сервис выдает описание сцены в специальном JSON-формате, содержащем ссылки на реальные модели файлов. Классовая иерархия, полученная в результате семантического разбора преобразуется в реальные модели и конечные их анимации во времени.
Сервис генерации звука (Sound Processor Service) генерирует диалоги, готовит наборы звуков, раздающихся в процессе анимации сцены и фоновый трек. Также сервис изменяет описание сцены, уточняя синхронизацию со звуком. Выделение отдельного компонента для обработки звука не является принципиальным, т.к. потенциально данный компонент может быть объединен с компонентами рендеринга и компоновщика сцен.
Сервис рендеринга обеспечивает генерацию (рендеринг) видео, наложение звука и сжатие полученного озвученного ролика. В качестве средства визуализации рендера используется трехмерный движок OGRE3D. Полученное видео с аудиодорожкой сжимается стандартным кодаком Н264.
Модели, текстуры, звуки, музыка, анимации и т.д. находятся в файловом хранилище данных (1 1). Доступ к нему осуществляется из сервиса компоновки сцен для обсчета анимаций сцены, из сервиса генерации звука для накладывания различных звуков и из сервиса рендеринга для финального рендеринга и сборки видеоролика. Компоненты рендера, компоновщика сцен и генерации звука могут быть объединены. При этом за счет использования независимых форматов данных в реализации компоновщика сцен, семантически разобранная сцена может редактироваться в т.н. редакторе сценария, где может изменяться разбиение текста сценария на сцены, разметка сцен, выбор моделей, соответствующих объектам, последовательность действий, локация.
Также скомпонованная сцена может совершенствоваться. Для этого может быть разработан редактор сцен, позволяющий изменять сцену на уровне анимаций, ключей-свойств, спецэффектов, положения камер, монтажа, словом - упрощенный 3d редактор с сильно ограниченной и автоматизированной функциональностью пакетов типа Adobe Premiere, Autodesk Maya, Autodesk 3D Studio Max. Для реализации подобного функционала в редактор в одно приложение объединяются сервисы компоновки сцен, генерации звуков, рендеринга.
Описание алгоритма работы системы
1. До того, как веб-сервис «берется» за обработку запроса, с помощью предварительного вызова отдельного метода он возвращает инициатору (приложению) объем собственной загрузки. Если загрузка лишком велика, инициатор обращается к другому экземпляру веб-сервиса. Найдя наименее загруженный экземпляр веб-сервиса инициатор передает ему текстовый фрагмент, который необходимо анимировать. Механизм распределения нагрузки непринципиален для данного алгоритма: возможна последовательная передача запросов доступным веб-сервисам, а если доступен только один веб-сервис, распределение нагрузки вовсе отсутствует. В качестве клиента веб-сервиса может выступать абсолютно любое предложение, «умеющее» вызывать методы веб-сервиса, как напрямую, так и через посредника (например, если пользователь инициирует передачу запроса из тонкого клиента-браузера и веб-сервера).
2. Веб-сервис, получив запрос присваивает ему свой номер (Requestld) и инициирует его обработку, контролируя несколько состояний этого запроса до того момента, пока не будет получен готовый видеоролик, который можно будет отдать инициатору. Для этого первым делом текст запроса передается сервису сематического разбора. Делается это не напрямую, а через специальный распределитель нагрузки (балансировщик или маршрутизатор), маршрутизирующий вызовы для обработки свободным экземплярам сервисов семантического разбора. Маршрутизатор хранит в специальной таблице информацию о состояниях по всем поступившим запросам. Веб сервис и маршрутизатор могут взаимодействовать по протоколу TCP/IP / HTTP / SOAP / др.
3. Для поступившего запроса с переданным идентификатором (Requestld) маршрутизатор выставляет начальное состояние STATE1.
4. Сервис сематического разбора обрабатывает текстовый фрагмент (внутри себя или перенаправляя стороннему компоненту семантического разбора) и получает результаты семантического разбора, например, в формате XML. Например, в случае использования технологии ABBYY Compreno доступ к результатам семантического разбора осуществляется обращением к ABBYY Compreno Server посредством предоставляемого COM API. Сервис семантического разбора возвращает маршрутизатору результаты разбора, взаимодействуя с ним по протоколу TCP/IP.
5. После получения результатов семантического разбора маршрутизатор обновляет состояние запроса с данным идентификатором на STATE2 и возвращает информацию о состоянии запроса веб-сервису. Веб-сервис обновляет состояние запроса в таблице запросов. Это необходимо, в одном примере реализации, при котором веб-сервис передает состояние запроса клиенту.
6. Далее результаты семантического разбора передаются наименее загруженному сервису компоновщика сцен. Таких сервисов также может быть несколько (балансировка нагрузки, также как и для сервиса семантического разбора) и с маршрутизатором они взаимодействуют по протоколу TCP/IP.
7. Сперва сервис компоновки сцен обрабатывает результаты семантического разбора (Datalmporter), переходя от классификации понятий, предоставленной средством семантического разбора к внутренней классификации объектов, субъектов, действий, свойств, к выбору вполне конкретных моделей и списку объектов, субъектов и действий. Для этого используется информация о соответствии классов семантического разбора внутренним классам и информация о доступных моделях в хранилище реквизита. И то, и то хранится в специальной базе мета-данных доступной для сервиса компоновщика сцен. В данном техническом решении может использоваться любая СУБД, как объектная, так и реляционная: например, объектная база данных MongoDB.
8. Далее по полученным данным заполняется данными специальный объект сцены. Объект сцены в дальнейшем подвергается изменениям (изменение состояния объекта). С объектом сцены последовательно работают специальные менеджеры, интеллектуально обрабатывающие разные параметры, необходимые для построения сцены и вносящие соответствующие изменения в объект сцены.
9. Менеджер выбора локации выбирает из репозитория контента наиболее подходящую локацию. Локация представляет собой набор моделей, создающих ландшафт (экстерьер) или комнату (интерьер). По информации об имеющихся предметах, расположенных на сцене по тексту в локацию добавляются недостающие предметы или их эквивалентные, с т.з. классификации объектов заменители.
10. Менеджер размещения задает первоначальное размещение объектов (в т.ч. персонажей в сцене). Объекты расставляются с учетом первоначальной информации о взаимном размещении и точек привязки по умолчанию. Каждая локация содержит набор предопределенных точек для расстановки объектов определенных габаритов.
1 1. Менеджер действий добавляет последовательности действий для каждой составляющей сцены.
12. Составляющие сцены классифицированы по внутренним классам системы. Каждому классу соответствует т.н. контроллер объекта (контроллер персонажа, контроллер животного, контроллер транспорта, контроллер камеры и т.д.). Контролеры составляющих сцены последовательно записывают изменения сцены (перемещения, анимации, изменение свойств объектов), в зависимости от последовательности действий составляющих сцены. Например, если есть действие «идти к стене» для персонажа «Василий» класса «character», то контроллер персонажа переместит персонажа из текущей точки к ближайшей точке стены за некоторое время (рассчитывается из скорости перемещения персонажа) и при этом будет проигрывать анимацию перемещения в течение всего времени перемещения.
13. Все контроллеры записывают последовательность изменений сцены в JSON-формат (текстовый).
14. Записанная в JSON-формате сцена передается обратно маршрутизатору, который, обновляет состояние для данного запроса на STATE3, передает эту информацию веб- сервису. Далее маршрутизатор, распределяя нагрузку, выбирает сервис генерации звука, передавая ему записанную сцену. Для работы с сервисом генерации звука используется протокол TCP/IP. Записанная сцена содержит информацию о диалогах персонажей, для которых необходимо сгенерировать звук. Для диалогов генерируется звук, в JSON-описание сцены вставляются соответствующие маркеры. Описание сцены и сгенерированные звуковые фрагменты для диалогов возвращаются маршрутизатору.
15. Маршрутизатор обновляет состояние запроса на STATE4, передавая эту информацию веб-сервису и, выбрав свободный сервис рендеринга. Сервису рендеринга по TCP/IP пересылается JSON-описание сцены, полученное от сервиса генерации звука. Сервис рендеринга обращается к файловому хранилищу с реквизитом и получает из хранилища файлы моделей, звуков, текстур, на которые ссылается описание сцены. С помощью рендер-движка, например OGRE, сервис рендеринга генерирует видеофайл и аудиодорожку такой же длительности, которая представляет собой смикшированные звуки, соответствующие действиям, фоновую музыку и диалоги. Далее видеофайл и звуковая дорожка объединяются вместе и сжимаются кодеком, например Н264.
16. После генерации видео-файла сервис-рендеринга отправляет маршрутизатору сообщение, что видеофайл успешно сгенерирован (маршрутизатор удаляет выполненный запрос) и передает веб-сервису готовый файл с видеороликом.
17. Веб-сервис, получив от сервиса рендеринга файл видеоролика передает его пользователю, сохраняя его на жесткий диск для последующих операций (файл именуется соответствующим номером запроса). После успешной передачи файла инициатору из таблицы запросов веб-сервиса запрос удаляется. При этом веб-сервис поддерживает возможность передачи сохраненных файлов по запросу.
Заявленные способ и система могут быть модифицированы и дополнены таким образом, чтобы была:
возможность одновременного формирования видеороликов по разным сценариям несколькими пользователями; возможность ручного редактирования трехмерной сцены с целью увеличения ее достоверности и получения более качественного видеоролика / набора картинок;
возможность ручного редактирования результатов автоматического семантического разбора с целью получения более достоверной трехмерной сцены;
возможность проведения семантического разбора вручную с целью получения трехмерной сцены, т.е. чтобы ручное редактирование трехмерной сцены поддерживало установку и коррекцию параметров дополнительных источников света, задание траекторий и базовых алгоритмов движения / установки камер, корректировку привязки сцены к временной шкале, изменение свойств объектов, моделей, текстур, наложения необходимых звуковых дорожек, внесение изменений в сцену, связанных со скелетной и лицевой анимацией персонажей, задание поз, движения персонажей, корректировку последовательности действий, происходящих в сцене;
возможность пополнения библиотеки реквизита своим контентом (модели, текстуры, звуки и т.д.) пользователями, т.е. чтобы библиотека реквизита, используемая для построения трехмерной сцены была пополняемой, что позволило бы использовать для визуализации качественные модели, разработанные пользователями ранее;
возможность написания произвольных собственных приложений, использующих данную технологию, с помощью открытого интерфейса.
Примеры использования Данное изобретение реализует технологию FilmLanguage.
Технология визуализации текста FilmLanguage может быть использована для:
Разработки интерфейсного ПО (т.е. ПО, содержащего GUI), позволяющего автоматизировать процесс построения превизов, визуализации кино-сценариев;
Разработки игр (как казуальных, так и других);
Разработки различных сервисов, в т.ч. веб-сервисов, облегчающих генерацию пользовательского контента;
Разработки развлекательных приложений, производящих анимационные ролики по текстовому описанию;
Разработки обучающих приложений.
Представленный чертеж иллюстрирует архитектуру, функциональность и работу возможных реализаций систем и способов согласно различным вариантам осуществления данного изобретения. В этой связи, каждый блок может представлять собой модуль, сегмент или часть кода, который содержит одну или несколько исполняемых команд для реализации определенной логической функции (функций). Следует также отметить, что в некоторых альтернативных реализациях, функции, указанные в блоке, могут осуществляться в порядке, отличном от указанного на чертежах. Например, два блока, показанные последовательно, могут фактически исполняться в обратном порядке, в зависимости от включенной функциональности. Следует также отметить, что каждый проиллюстрированный блок и комбинации блоков на чертеже могут быть реализованы посредством специализированных основанных на аппаратном обеспечении систем или модулей, которые выполняют специализированные функции или действия, или комбинациями специализированного аппаратного обеспечения и компьютерных команд.
Терминология, используемая здесь, предназначена только для описания конкретных вариантов осуществления, и не предназначена для ограничения данного изобретения приведенным конкретным примером. Как используются здесь, формы единственного числа предназначены для включения в себя также и форм множественного числа, если контекст не указывает ясно иное. Будет ясно, что термины «содержит» и/или «содержащий», «включает» и/или «включающий» и подобные термины при использовании в данном описании, определяют наличие определенных свойств, единых целых, стадий, операций, элементов и/или компонентов, но не устраняют наличие или добавление одного или нескольких других свойств, единых целых, стадий, операций, элементов, компонентов и/или их групп.
Хотя выше проиллюстрированы и описаны конкретные варианты осуществления, специалистам в данной области техники должно быть ясно, что вместо конкретных показанных вариантов осуществления может быть представлена любая конфигурация, которая рассчитана на достижение той же самой цели, и что изобретение имеет другие применения в других средах. Настоящая заявка предназначена для охвата любых адаптаций или вариаций данного изобретения. Следующая формула изобретения никоим образом не предназначена для ограничения объема изобретения конкретными вариантами осуществления, описанными здесь.

Claims

Формула изобретения
1. Способ визуализации текста, содержащий этапы, на которых:
получают текст на естественном языке;
проводят автоматический семантический разбор текста с целью получения структурированной семантической сети;
формируют трехмерные сцены по результатам семантического разбора; формируют видеоролик или набор картинок, используя упомянутые трехмерные сцены;
визуализируют упомянутый видеоролик или набор картинок.
2. Способ по п. 1 , отличающийся тем, что при формировании видеоролика добавляют синхронное аудио-сопровождение.
3. Способ по п. 1, отличающийся тем, что семантический разбор текста включает:
разбиение текста на предложения;
нумерацию слов в рамках предложения;
выделение объектов, субъектов, действий и свойств;
классификацию всех слов с помощью дерева понятий, позволяющего сводить синонимы к общим понятиям;
однозначную идентификацию объектов в рамках всего текста.
4. Способ по п. 1 , отличающийся тем, что предоставляют пользователю возможность ручного редактирования полученной трехмерной сцены.
5. Способ по п. 1 , отличающийся тем, что предоставляют пользователю возможность ручного редактирования результатов автоматического семантического разбора.
6. Способ по п. 1, отличающийся тем, что предоставляют пользователю возможность проведения семантического разбора вручную.
7. Система визуализации текста, содержащая:
ИСПРАВЛЕННЫЙ ЛИСТ (ПРАВИЛО 91.1) веб-сервис, обрабатывающий запросы пользователя на визуализацию текста на естественном языке;
сервис семантического разбора, получающий структурированную семантическую сеть из текста;
базу данных;
сервис компоновщика сцен, использующий результаты семантического разбора и базу данных для построения готовой трехмерной сцены;
сервис рендеринга, обеспечивающий генерацию видеоролика или набора картинок, используя полученные трехмерные сцены;
устройство пользователя, визуализирующее готовый видеоролик или набор картинок.
8. Система по п. 7, отличающаяся тем, что веб-сервис выполнен с возможностью учитывать статистику запросов, накапливать данные по частотным, временным и ресурсным показателям, вычисляемым в процессе перехода от текста к анимации, а также вести учет своей работы в виде лога.
9. Система по п. 7, отличающаяся тем, что веб-сервис выполнен с возможностью аутентификации пользователя.
10. Система по п. 7, отличающаяся тем, что содержит несколько веб- сервисов расположенных как на одном, так и на нескольких машинах.
11. Система по п. 7, отличающаяся тем, что дополнительно содержит сервис генерации звука, который генерирует диалоги, готовит наборы звуков, раздающихся в процессе анимации сцены и фоновый трек.
12. Система по п. 1 1 , отличающаяся тем, что сервис генерации звука объединен с сервисом рендеринга и сервисом компоновщика сцен.
13. Система по п. 1 1 , отличающаяся тем, что дополнительно содержит компонент-балансировщик, который оценивает существующие ресурсы компонентов системы и загружает их, распределяя нагрузку.
14. Система по п. 13, отличающаяся тем, что балансировщик организует последовательную обработку данных сервисом семантического разбора,
ИСПРАВЛЕННЫЙ ЛИСТ (ПРАВИЛО 91.1) сервисом компоновщика сцен, сервисом генерации звука, сервисом рендеринга.
15. Система по п. 14, отличающаяся тем, что сервис рендеринга выполнен с возможностью добавления звука и сжатия полученного озвученного ролика.
ИСПРАВЛЕННЫЙ ЛИСТ (ПРАВИЛО 91.1)
PCT/RU2011/000666 2011-08-31 2011-08-31 Визуализация текста на естественном языке WO2013032354A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/RU2011/000666 WO2013032354A1 (ru) 2011-08-31 2011-08-31 Визуализация текста на естественном языке

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2014111969/08A RU2580022C2 (ru) 2011-08-31 2011-08-31 Визуализация текста на естественном языке
US13/497,613 US9129448B2 (en) 2011-08-31 2011-08-31 Visualization of a natural language text
PCT/RU2011/000666 WO2013032354A1 (ru) 2011-08-31 2011-08-31 Визуализация текста на естественном языке

Publications (1)

Publication Number Publication Date
WO2013032354A1 true WO2013032354A1 (ru) 2013-03-07

Family

ID=47756613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2011/000666 WO2013032354A1 (ru) 2011-08-31 2011-08-31 Визуализация текста на естественном языке

Country Status (3)

Country Link
US (1) US9129448B2 (ru)
RU (1) RU2580022C2 (ru)
WO (1) WO2013032354A1 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013085409A1 (ru) * 2011-12-08 2013-06-13 Общество С Ограниченной Ответственностью Базелевс-Инновации Способ анимации sms-сообщений
WO2016123205A1 (en) * 2015-01-28 2016-08-04 Hahn Bruce C Deep reading machine and method
WO2017072915A1 (ja) * 2015-10-29 2017-05-04 株式会社日立製作所 視覚情報と聴覚情報の同期方法および情報処理装置
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10346476B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Sketch entry and interpretation of graphical user interface design
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10140259B2 (en) 2016-04-28 2018-11-27 Wipro Limited Method and system for dynamically generating multimedia content file
US10909313B2 (en) 2016-06-22 2021-02-02 Sas Institute Inc. Personalized summary generation of data visualizations
US10679002B2 (en) * 2017-04-13 2020-06-09 International Business Machines Corporation Text analysis of narrative documents
US10846318B1 (en) 2017-04-18 2020-11-24 Microstrategy Incorporated Natural language visualizations
CN112204563A (zh) * 2018-02-15 2021-01-08 得麦股份有限公司 用于基于用户通信的视觉场景构建的系统和方法
US10607391B2 (en) 2018-07-04 2020-03-31 International Business Machines Corporation Automated virtual artifact generation through natural language processing
US10853398B2 (en) 2018-11-13 2020-12-01 Adobe Inc. Generating three-dimensional digital content from natural language requests

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
WO2006115962A2 (en) * 2005-04-26 2006-11-02 Microsoft Corporation System for abstracting audio-video codecs
RU2006110208A (ru) * 2003-09-30 2007-10-20 Инка Энтуоркс, Инк. (Kr) Способ синхронизации данных между поставщиками контента и портативным устройством через сеть и система для этого
WO2008094215A1 (en) * 2007-01-31 2008-08-07 Sony Ericsson Mobile Communications Ab Device and method for providing and displaying animated sms messages
RU2380747C2 (ru) * 2004-03-18 2010-01-27 Майкрософт Корпорейшн Отображение таблиц с помощью команд на естественном языке
US20100169076A1 (en) * 2000-10-23 2010-07-01 At&T Corp. Text-to-Scene Conversion
US20100265250A1 (en) * 2007-12-21 2010-10-21 David Koenig Method and system for fast rendering of a three dimensional scene
US7962329B1 (en) * 2000-10-23 2011-06-14 At&T Intellectual Property Ii, L.P. Text-to-scene conversion
US20110196821A1 (en) * 2010-02-10 2011-08-11 DSNR Media Group Ltd. Method and system for generation, adjustment and utilization of web pages selection rules

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022504A (ko) * 2000-09-20 2002-03-27 박종만 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법
US7599838B2 (en) * 2004-09-01 2009-10-06 Sap Aktiengesellschaft Speech animation with behavioral contexts for application scenarios
US7512537B2 (en) * 2005-03-22 2009-03-31 Microsoft Corporation NLP tool to dynamically create movies/animated scenes
EP1866810A1 (en) * 2005-04-04 2007-12-19 MOR(F) Dynamics Pty Ltd Method for transforming language into a visual form
WO2006132332A1 (ja) * 2005-06-10 2006-12-14 Matsushita Electric Industrial Co., Ltd. シナリオ生成装置、シナリオ生成方法、およびシナリオ生成プログラム
US20070146360A1 (en) * 2005-12-18 2007-06-28 Powerproduction Software System And Method For Generating 3D Scenes
KR20080047847A (ko) * 2006-11-27 2008-05-30 삼성전자주식회사 동적 영상물 재생 장치 및 방법
US20110040555A1 (en) * 2009-07-21 2011-02-17 Wegner Peter Juergen System and method for creating and playing timed, artistic multimedia representations of typed, spoken, or loaded narratives, theatrical scripts, dialogues, lyrics, or other linguistic texts
US20120072280A1 (en) * 2010-09-20 2012-03-22 Lin Jennifer W Tracking Conversions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
US7962329B1 (en) * 2000-10-23 2011-06-14 At&T Intellectual Property Ii, L.P. Text-to-scene conversion
US20100169076A1 (en) * 2000-10-23 2010-07-01 At&T Corp. Text-to-Scene Conversion
RU2006110208A (ru) * 2003-09-30 2007-10-20 Инка Энтуоркс, Инк. (Kr) Способ синхронизации данных между поставщиками контента и портативным устройством через сеть и система для этого
RU2380747C2 (ru) * 2004-03-18 2010-01-27 Майкрософт Корпорейшн Отображение таблиц с помощью команд на естественном языке
WO2006115962A2 (en) * 2005-04-26 2006-11-02 Microsoft Corporation System for abstracting audio-video codecs
WO2008094215A1 (en) * 2007-01-31 2008-08-07 Sony Ericsson Mobile Communications Ab Device and method for providing and displaying animated sms messages
US20100265250A1 (en) * 2007-12-21 2010-10-21 David Koenig Method and system for fast rendering of a three dimensional scene
US20110196821A1 (en) * 2010-02-10 2011-08-11 DSNR Media Group Ltd. Method and system for generation, adjustment and utilization of web pages selection rules

Also Published As

Publication number Publication date
US20140160134A1 (en) 2014-06-12
US9129448B2 (en) 2015-09-08
RU2014111969A (ru) 2015-10-10
RU2580022C2 (ru) 2016-04-10

Similar Documents

Publication Publication Date Title
US10923155B2 (en) Synthesizing a presentation from multiple media clips
US20190108835A1 (en) Rights management and syndication of content
KR101869437B1 (ko) 다시점 오디오 및 비디오 대화형 재생
US9898542B2 (en) Narration of network content
JP2017199396A (ja) 汎用サービスを通してのリアル・タイムのドキュメント・プレゼンテーション・データの同期
US9583139B2 (en) Storyboard-directed video production from shared and individualized assets
US8789121B2 (en) System architecture and method for composing and directing participant experiences
US8842158B2 (en) System and method for teleconferencing
JP5745462B2 (ja) メディアコンテンツを供給するための方法及びプログラム並びにサーバ装置
US20180227642A1 (en) Systems and methods for rendering text onto moving image content
JP2021061628A (ja) 情報処理装置および情報処理方法
US8965271B1 (en) Method and mechanism for coordinated capture and organization of multimedia data
US8990693B2 (en) System and method for distributed media personalization
WO2019086037A1 (zh) 视频素材的处理方法、视频合成方法、终端设备及存储介质
CN102436441B (zh) 同步在线文档编辑
US7552228B2 (en) System and method for recording a presentation for on-demand viewing over a computer network
CN103583051B (zh) 用于实时或近实时流传输的播放列表
US7096416B1 (en) Methods and apparatuses for synchronizing mixed-media data files
US9277198B2 (en) Systems and methods for media personalization using templates
US20140068014A1 (en) Just-in-time transcoding of application content
US9940970B2 (en) Video remixing system
US7802004B2 (en) Dynamic streaming media management
US8412729B2 (en) Sharing of presets for visual effects or other computer-implemented effects
US20120185772A1 (en) System and method for video generation
CN105612753A (zh) 媒体流传输期间在适配集合间的切换

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13497613

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11871414

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

ENP Entry into the national phase in:

Ref document number: 2014111969

Country of ref document: RU

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 11871414

Country of ref document: EP

Kind code of ref document: A1