RU2722461C1

RU2722461C1 - Voice robotic question-answer system and method of its automatic interaction with electronic device of user

Info

Publication number: RU2722461C1
Application number: RU2019136994A
Authority: RU
Inventors: Игорь Александрович Калинин; Егор Николаевич Таланцев; Алексей Яковлевич Рыков
Original assignee: Общество с ограниченной ответственностью "Уралинновация"
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2020-06-01
Also published as: WO2021101418A1

Abstract

FIELD: automatic notification.SUBSTANCE: invention relates to automatic notification, information, consultation and collection of answering data. Voice robotic question-answer system comprises a module for automatic start-up of a connection with an electronic user device, configured to interact with an IVR system to provide a connection to an electronic user device, wherein the system further comprises a database with hierarchical models of speech units and a response determination module IVR system, configured to receive audio data from the IVR system, analyzing a database with hierarchical models of speech units based on the sound data received from the IVR system, determining the response based on the audio data received from the IVR system and transmitting the response to the IVR system.EFFECT: technical result is higher probability of connection of voice robotic question-answer system with electronic device of user under condition of its interaction with IVR system.17 cl, 3 dwg

Description

Группа изобретений относится к области автоматического оповещения, информирования, консультирования и сбора опросных данных и может быть использована для голосового и текстового взаимодействия с сотрудниками и клиентами различных организаций и предприятий, а также с частными лицами.The group of inventions relates to the field of automatic notification, informing, consulting and collecting survey data and can be used for voice and text interaction with employees and customers of various organizations and enterprises, as well as with individuals.

Известна система автоинформирования пользователей через их электронные устройства, содержащая модуль автоматического запуска соединения с электронным устройством пользователя, выполненная с возможностью взаимодействия с IVR-системой для обеспечения соединения с электронным устройством пользователя и возможностью загрузки управляющей программы администратором системы [US10194022, дата публикации: 29.01.2019 г., МПК: H04M3/2281].A known system of auto-informing users through their electronic devices, containing a module for automatically starting a connection with a user's electronic device, configured to interact with an IVR system to provide a connection to a user's electronic device and the ability to download a control program by a system administrator [US10194022, publication date: 01/29/2019 g., IPC: H04M3 / 2281].

Известна голосовая роботизированная вопросно-ответная система, содержащая средства преобразования текста в речь и речи в текст, а также модуль автоматического запуска соединения с электронными устройствами операторов поставщиков услуг, активируемый при получении входящего сигнала от электронного устройства пользователя, при этом система выполнена с возможностью взаимодействия с IVR-системой посредством тонального набора, а также голосовых обращений для обеспечения соединения с электронным устройством оператора поставщика услуг [US2012051532, дата публикации: 07.03.2013 г., МПК: H02M3/1584].Known voice-activated robotic question-answer system containing means for converting text to speech and speech to text, as well as a module for automatically starting connections to electronic devices of service provider operators, activated when an incoming signal is received from a user's electronic device, while the system is configured to interact with IVR-system through tone dialing, as well as voice calls to provide a connection to the electronic device of the operator of the service provider [US2012051532, publication date: 03/07/2013, IPC: H02M3 / 1584].

В качестве прототипа выбрана голосовая роботизированная вопросно-ответная система, содержащая средство преобразования текста в речь, а также модуль автоматического запуска соединения с офисной IVR-системой, при этом система выполнена с возможностью взаимодействия с офисной IVR-системой посредством передачи сигналов DTMF, а также посредством голосовых обращений для обеспечения соединения с офисной IVR-системой [US6870835, дата публикации: 22.03.2005 г., МПК: H04Q3/0045].As a prototype, a voice-based robotic question-answer system containing means for converting text to speech, as well as a module for automatically starting a connection with an office IVR system, was selected, the system being configured to interact with the office IVR system by transmitting DTMF signals, as well as by voice calls to ensure connection with the office IVR system [US6870835, publication date: 03/22/2005, IPC: H04Q3 / 0045].

Недостатком прототипа является недостаточно высокая вероятность установления соединения голосовой роботизированной вопросно-ответной системы с электронным устройством пользователя из-за высокого риска получения отрицательного результата при взаимодействии системы с IVR-системой, которая препятствует прямому соединению голосовой системы с электронным устройством пользователя. В частности указанный недостаток проявляется при попытке установления соединения системы с электронным устройством пользователя, занимающего определенную должность в организации, имеющей несколько структурных подразделений, так как голосовое меню, озвучиваемое IVR-системой такой организации, содержит не перечисление конкретных должностей пользователей, звуковые данные которых могут быть беспрепятственно обработаны голосовой роботизированной вопросно-ответной системой и ей может быть получена необходимая тональность звукового набора для выбора соответствующего пункта меню, а содержит перечисление структурных подразделений или обобщенных понятий в отношении к должностям пользователей, которые голосовая система не может самостоятельно интерпретировать и сопоставить результат интерпретации с имеющимися в ее сценарии данными конкретной должности пользователя. Вследствие указанного недостатка голосовая роботизированная вопросно-ответная система вынуждена либо многократно обрабатывать одни и те же звуковые данные, получаемые от IVR-системы, либо принудительно разрывать соединение с электронным устройством пользователя на начальном этапе взаимодействия с IVR-системой такой организации и прекращать попытку установления соединения с электронным устройством пользователя, что не только приводит к невозможности выполнения целевого действия голосовой роботизированной вопросно-ответной системой в отношении пользователя, но и потере потенциальной возможности воздействия на организацию, которая может выступать в качестве целевой аудитории выполняемого сценария, что в значительной степени снижает эффективность голосовой роботизированной вопросно-ответной системы.The disadvantage of the prototype is the lack of a high probability of establishing a connection between the voice-activated robotic question-answer system and the user's electronic device due to the high risk of a negative result when the system interacts with the IVR system, which prevents the direct connection of the voice system with the user's electronic device. In particular, this drawback is manifested when trying to establish a system connection with an electronic device of a user who occupies a certain position in an organization that has several structural units, since the voice menu voiced by the IVR system of such an organization does not contain a list of specific user positions whose audio data may be they are freely processed by a robotic voice-activated question-answer system and it can be obtained with the necessary tonality of sound dialing to select the corresponding menu item, and it contains a list of structural units or generalized concepts in relation to the positions of users that the voice system cannot independently interpret and compare the result of interpretation with existing ones In her scenario, the data for the user's specific position Due to this drawback, the voice-activated robotic question-and-answer system is forced to either repeatedly process the same audio data received from the IVR system or forcefully disconnect the connection with the user's electronic device at the initial stage of interaction with the IVR system of such an organization and stop trying to establish a connection with the user's electronic device, which not only leads to the impossibility of performing the target action by the voice-activated robotic question-answer system in relation to the user, but also to the loss of the potential for impact on the organization, which can act as the target audience of the executed scenario, which significantly reduces the effectiveness of the voice-activated robotic question and answer system.

Техническая проблема, на решение которой направлена группа изобретений, заключается в необходимости повышения эффективности голосовой роботизированной вопросно-ответной системы.The technical problem to which the group of inventions is directed is the need to increase the efficiency of the voice-activated robotic question-answer system.

Технический результат, на достижение которого направлена группа изобретений, заключается в повышении вероятности соединения голосовой роботизированной вопросно-ответной системы с электронным устройством пользователя при условии ее взаимодействия с IVR-системой.The technical result, which the group of inventions aims to achieve, is to increase the likelihood of connecting the voice-activated robotic question-answer system with the user's electronic device, provided that it interacts with the IVR system.

Сущность группы изобретений заключается в следующем.The essence of the group of inventions is as follows.

Голосовая роботизированная вопросно-ответная система содержит модуль автоматического запуска соединения с электронным устройством пользователя, выполненный с возможностью взаимодействия с IVR-системой для обеспечения соединения с электронным устройством пользователя. В отличие от прототипа система содержит базу данных с иерархическими моделями речевых единиц и модуль определения ответа IVR-системе, выполненный с возможностью получения звуковых данных от IVR-системы, анализа базы данных с иерархическими моделями речевых единиц с учетом полученных от IVR-системы звуковых данных, определения ответа с учетом полученных от IVR-системы звуковых данных и передачи ответа IVR-системе.The voice-activated robotic question-answer system comprises a module for automatically starting a connection with a user's electronic device, configured to interact with an IVR system to provide a connection to a user's electronic device. In contrast to the prototype, the system contains a database with hierarchical models of speech units and a response determination module for the IVR system, configured to receive audio data from the IVR system, analyze a database with hierarchical models of speech units, taking into account sound data received from the IVR system, determining the response taking into account the sound data received from the IVR system and transmitting the response to the IVR system.

Способ автоматического взаимодействия голосовой роботизированной вопросно-ответной системы с электронным устройством пользователя включает запуск соединения с электронным устройством пользователя, в процессе которого осуществляется соединение с IVR-системой и взаимодействие с IVR-системой для обеспечения соединения с электронным устройством пользователя. В отличие от прототипа предварительно формируется база данных с иерархическими моделями речевых единиц, а при взаимодействии с IVR-системой производится анализ базы данных с иерархическими моделями речевых единиц с учетом полученных от IVR-системы звуковых данных, определение ответа с учетом полученных от IVR-системы звуковых данных и передача ответа IVR-системе.A method for automatically interacting with a voice-activated robotic question-answer system with a user's electronic device involves starting a connection with a user's electronic device, during which they connect to an IVR system and interact with an IVR system to provide a connection to a user's electronic device. In contrast to the prototype, a database with hierarchical models of speech units is preliminarily formed, and when interacting with an IVR system, a database with hierarchical models of speech units is analyzed taking into account the sound data received from the IVR system, the response is determined taking into account the sound data received from the IVR system data and transmission of the response to the IVR system.

Голосовая роботизированная вопросно-ответная система обеспечивает возможность автоматического осуществления исходящих вызовов по каналам цифровой связи при сопутствующем выполнении сценария. Выполнение сценария подразумевает озвучивание предварительно записанных голосовых сообщений или синтезированной речи в соответствии с алгоритмами специализированного программного обеспечения (в случае с исходящим вызовом), а также в соответствии с вопросами и ответами пользователя, принимающего вызов через электронное устройство от голосовой роботизированной вопросно-ответной системы. Голосовая роботизированная вопросно-ответная система может быть представлена программно-аппаратным комплексом, выполненным с возможностью взаимодействия с электронным устройством пользователя по каналу цифровой связи, например, сервером, содержащим специализированное программное обеспечение и выполненным с возможностью вопросно-ответного взаимодействия с электронным устройством пользователя, а также загрузки, редактирования и удаления специализированного программного обеспечения оператором системы.Voice-activated robotic question-answer system provides the ability to automatically make outgoing calls through digital communication channels with the accompanying execution of the script. The execution of the scenario involves the sounding of pre-recorded voice messages or synthesized speech in accordance with the algorithms of specialized software (in the case of an outgoing call), as well as in accordance with the questions and answers of the user receiving a call through an electronic device from a voice-activated robotic question-answer system. A voice-activated robotic question-answer system can be represented by a software and hardware complex configured to interact with a user's electronic device via a digital communication channel, for example, a server containing specialized software and configured to question-answer interaction with a user's electronic device, as well as loading, editing and removal of specialized software by the system operator.

Модуль автоматического запуска соединения с электронным устройством пользователя обеспечивает возможность запуска сценария взаимодействия с пользователем, принятия входящего вызова со стороны электронного устройства пользователя и/или осуществления исходящего вызова на электронное устройство пользователя в соответствии с данными из баз, которые могут быть представлены базой контактных данных пользователей и базой сценариев, при этом база контактных данных пользователей и база сценариев могут быть интегрированы в модуль автоматического запуска соединения с электронным устройством пользователя, либо они могут быть размещены удаленно и могут быть соединены с модулем автоматического запуска сценария любыми известными средствами обеспечения связи. База контактных данных пользователей может содержать данные об имени, должности, электронном адресе пользователя (например, ссылка на веб-ресурс, телефонный номер, идентификатор в мессенджере и т.д.). База сценариев может содержать сценарии, созданные в автоматическом режиме или загруженные/редактированные оператором системы. Сценарии могут содержать данные о цели, дате, времени, последовательности, длительности и частоте соединения голосовой роботизированной вопросно-ответной системы с электронными устройствами пользователей, структуре вопросов и/или ответов, задаваемых пользователю в процессе совершения вызова, а также данные вопросов и/или ответов, которые могут быть представлены в звуковом или текстовом формате. Модуль автоматического запуска соединения может быть представлен программно-аппаратным комплексом, входящим в состав голосовой роботизированной вопросно-ответной системы и подключенным к сети «Интернет», мобильной телефонной сети или к любой другой телекоммуникационной сети и выполненным с возможностью отправки запросов в базу контактных данных пользователей и базу сценариев и получения содержащихся в них данных.The module for automatically starting a connection with a user's electronic device provides the ability to launch a user interaction scenario, accept an incoming call from the user's electronic device and / or make an outgoing call to the user's electronic device in accordance with the data from the databases, which can be represented by the user’s contact database and a script base, wherein the user contact database and the script database can be integrated into the module for automatically starting a connection to a user's electronic device, or they can be placed remotely and can be connected to the module for automatically starting a script using any known means of communication. The user contact database may contain data about the name, position, email address of the user (for example, a link to a web resource, phone number, identifier in the messenger, etc.). The script database may contain scripts created automatically or loaded / edited by the system operator. Scenarios can contain data on the purpose, date, time, sequence, duration and frequency of connection of a voice-activated robotic question-answer system with user electronic devices, the structure of questions and / or answers asked to the user during a call, as well as data of questions and / or answers that can be presented in audio or text format. The automatic connection start module can be represented by a software and hardware complex that is part of the voice-activated robotic question-answer system and is connected to the Internet, a mobile telephone network, or to any other telecommunication network and configured to send requests to the user’s contact database and database of scripts and obtaining the data contained in them.

Процесс соединения системы с электронным устройством пользователя может быть осуществлен путем выполнения сценария модулем автоматического запуска соединения с электронным устройством пользователя, при этом сценарий может быть выбран из базы сценариев модулем в автоматическом режиме или оператором системы вручную. Для этого модуль автоматического запуска соединения может содержать специализированное программное обеспечение для автоматического ввода данных или подключенные к нему устройства ручного ввода данных оператором. Выполнение выбранного сценария обеспечивает возможность выбора модулем автоматического запуска соединения с электронным устройством пользователя электронного адреса пользователя из базы контактных данных пользователей с последующим установлением соединения с электронным устройством пользователя и выполнением модулем вопросно-ответных операций в случае установленного соединения с электронным устройством пользователя. При этом выбор электронного адреса из базы контактных данных пользователей может осуществляться модулем случайно или в соответствии с командами, указанными в сценарии.The process of connecting the system to the user's electronic device can be carried out by executing a script by the module to automatically start the connection with the user's electronic device, while the script can be selected from the script database by the module in automatic mode or manually by the system operator. To do this, the automatic connection start module may contain specialized software for automatic data entry or the operator’s manual data input devices connected to it. The execution of the selected scenario makes it possible for the module to automatically start the connection with the user's electronic device to enter the user's electronic address from the database of user contact data, then establish a connection with the user's electronic device and perform module question-answer operations in the event of a connection with the user's electronic device. At the same time, the selection of the email address from the database of user contact data can be carried out by the module randomly or in accordance with the commands specified in the script.

Модуль автоматического запуска соединения с электронным устройством пользователя для обеспечения возможности проверки наличия IVR-системы при установлении соединения с электронным устройством пользователя может содержать средство определения наличия IVR-системы, выполненное с возможностью получения звуковых данных от IVR-системы и последующего их анализа посредством различных методов, например, путем определения ключевых слов «вас приветствует», «для вызова», «для соединения с пользователем нажмите 1» и т.д.; путем определения темпа речи и интонации собеседника в получаемых звуковых данных; путем анализа длины пауз между фразами, определением наличия числовых или буквенных значений в конце фраз и т.д. Средство определения наличия IVR-системы может быть представлено программно-аппаратным комплексом, входящим в состав модуля автоматического запуска соединения. Средство определения наличия IVR-системы может быть выполнено с возможностью анализа звуковых данных, получаемых от IVR-системы или электронного устройства пользователя, посредством временного сдвига, растяжения или сжатия звуковой дорожки полученных звуковых данных, а также их эквалайзинга, транскрибации и т.д.The module for automatically starting a connection with a user’s electronic device to enable verification of the presence of an IVR system when establishing a connection with a user’s electronic device may include means for detecting the presence of an IVR system, configured to receive audio data from the IVR system and then analyze them using various methods, for example, by defining the keywords “welcomes you”, “to call”, “to connect to the user, press 1”, etc .; by determining the pace of speech and intonation of the interlocutor in the received audio data; by analyzing the length of pauses between phrases, determining the presence of numerical or alphabetic values at the end of phrases, etc. The means for determining the presence of an IVR system can be represented by a software and hardware complex that is part of the automatic connection start module. The means for determining the presence of an IVR system can be performed with the possibility of analyzing audio data received from an IVR system or a user's electronic device by temporarily shifting, stretching or compressing the audio track of the received audio data, as well as their equalization, transcription, etc.

Модуль автоматического запуска соединения с электронным устройством пользователя для обеспечения возможности взаимодействия с IVR-системой и/или с электронным устройством пользователя может содержать средство вопросно-ответного взаимодействия. Средство вопросно-ответного взаимодействия может быть представлено программно-аппаратным комплексом, обеспечивающим возможность ввода числовых или буквенных значений в меню IVR-системы посредством виртуального устройства ввода (например, виртуальной клавиатуры), обеспечивающего возможность взаимодействия посредством тонального набора (DTMF) и голосового ввода (в том случае если IVR-система поддерживает возможность ввода информации посредством голосовых команд), получения звуковых данных от электронного устройства пользователя, а также обеспечивающим возможность озвучивания пользователю или IVR-системе вопросов и ответов в определенной последовательности в соответствии с данными, указанными в сценарии. Озвучивание вопросов и ответов может быть осуществлено путем воспроизведения предварительно записанных аудиофайлов или путем синтеза речи из текстовых файлов. Средство вопросно-ответного взаимодействия может быть выполнено с возможностью получения звуковых данных от электронного устройства пользователя, их преобразования в необходимый тип и формат и последующего анализа, например, путем сопоставления полученных от электронного устройства пользователя данных с данными, содержащимися в базе сценариев, при этом после этапа анализа средство вопросно-ответного взаимодействия может осуществлять передачу следующих по порядку данных, содержащихся в сценарии.The module for automatically starting a connection with a user’s electronic device to enable interaction with an IVR system and / or with a user’s electronic device may include question-answer interaction means. The question-answer interaction tool can be represented by a hardware-software complex that provides the ability to enter numeric or alphanumeric values in the IVR system menu through a virtual input device (for example, a virtual keyboard) that provides the ability to interact through tone dialing (DTMF) and voice input (in in the event that the IVR system supports the ability to enter information through voice commands), receive sound data from the user's electronic device, and also provides the ability to voice questions and answers to the user or IVR system in a certain sequence in accordance with the data specified in the script. Sounding of questions and answers can be done by playing back pre-recorded audio files or by synthesizing speech from text files. The question-answer interaction tool can be configured to receive audio data from the user's electronic device, convert them to the desired type and format, and then analyze them, for example, by comparing the data received from the user's electronic device with the data contained in the script database, and after that stage of analysis, the means of question-response interaction can transmit the next in order data contained in the script.

База данных с иерархическими моделями речевых единиц обеспечивает возможность хранения в системе связанных между собой данных. Иерархические модели речевых единиц могут храниться в базе в виде древовидных структур, при этом каждая речевая единица может быть представлена в виде акустического отпечатка или текста, которые могут включать одно слово или словосочетание. Каждая древовидная структура содержит родительские и дочерние узлы, связанные между собой логическими переходами по типу «один-к-одному», «один-ко-многим», «многие-к-одному», «многие-ко-многим». Каждый узел обеспечивает возможность хранения сохраненной в него одной речевой единицы, или нескольких синонимичных речевых единиц одного порядка, или производных (измененных по падежам, родам, числам и пр.) речевых единиц. Логические переходы при этом обеспечивают отношение «предок-потомок» между речевыми единицами, находящимися в этих узлах. Таким образом, при использовании логических переходов родительские узлы будут содержать такие речевые единицы, которые являются гиперонимами по отношению к речевым единицам, находящимся в дочерних узлах (гипонимам), соединенных с ними. При этом узлы, не имеющие логического перехода к «предку», могут являться «корнями» древовидной структуры, а речевая единица, находящаяся в таком узле, может являться родовой речевой единицей по отношению к речевым единицам, расположенным в дочерних узлах, связанных с этим узлом. Также узлы, не имеющие логического перехода к потомку, могут являться «листьями» древовидной структуры, а речевая единица, находящаяся в таком узле, может являться видовой (частной) речевой единицей по отношению к речевым единицам, расположенным в родительских по отношению к ней узлах. База данных с иерархическими моделями речевых единиц может быть реляционной, сетевой или иерархической и может быть интегрирована в модуль определения ответа IVR-системе, либо она может быть размещена на удаленном сервере и может быть соединена с модулем определения ответа IVR-системе любыми известными средствами проводной или беспроводной связи.A database with hierarchical models of speech units provides the ability to store related data in a system. Hierarchical models of speech units can be stored in the database in the form of tree structures, and each speech unit can be represented in the form of an acoustic imprint or text, which can include one word or phrase. Each tree structure contains parent and child nodes, interconnected by logical transitions of the type “one-to-one”, “one-to-many”, “many-to-one”, “many-to-many”. Each node provides the ability to store one speech unit stored in it, or several synonymous speech units of the same order, or derivatives (changed by cases, genera, numbers, etc.) of speech units. In this case, logical transitions provide the ancestor-descendant relationship between the speech units located in these nodes. Thus, when using logical transitions, the parent nodes will contain such speech units that are hyperonyms with respect to speech units located in the child nodes (hyponyms) connected to them. Moreover, nodes that do not have a logical transition to the “ancestor” can be the “roots” of the tree structure, and the speech unit located in such a node can be a generic speech unit with respect to speech units located in the child nodes associated with this node . Also, nodes that do not have a logical transition to a descendant can be “leaves” of a tree structure, and a speech unit located in such a node can be a species (private) speech unit with respect to speech units located in the parent units with respect to it. A database with hierarchical models of speech units can be relational, network, or hierarchical and can be integrated into the response determination module of the IVR system, or it can be located on a remote server and can be connected to the response determination module of the IVR system by any known means of wired or wireless connection.

Формирование базы данных с иерархическими моделями речевых единиц может осуществляться в ручном или автоматическом режиме. Для обеспечения возможности формирования базы в ручном режиме программно-аппаратный комплекс, содержащий эту базу, может содержать средство ввода данных оператором, например, клавиатуру, разъем для подключения съемного носителя информации и т.д., а оператором системы может быть посредством электронного устройства определен объем речевой единицы, под которым подразумевается совокупность охватываемых речевой единицей понятий с последующим распределением совокупности понятий, охватываемых речевой единицей, по родительским и дочерним узлам с присваиванием им через электронное устройство соответствующих логических переходов. Для обеспечения возможности формирования базы в автоматическом режиме программно-аппаратный комплекс, содержащий эту базу данных, может содержать средство доступа к сети «Интернет» и средство автоматического формирования базы данных с иерархическими моделями речевых единиц, подключенные к сети «Интернет» и обеспечивать автоматическое определение объема речевой единицы и распределения совокупности понятий, охватываемых речевой единицей, по родительским и дочерним узлам иерархической модели речевых единиц с последующим автоматическим присваиванием им соответствующих логических переходов. При этом определение логических переходов может быть автоматически осуществлено посредством анализа имеющихся вручную составленных иерархических моделей речевых единиц с применением алгоритмов машинного обучения. При этом получение речевых единиц для иерархической модели может быть осуществлено посредством загрузки речевых единиц из «Интернет» ресурсов (словарей и справочников, расположенных в сети интернет и т.д.). При этом средство доступа к телекоммуникационным сетям и средство автоматического формирования базы данных с иерархическими моделями речевых единиц могут быть представлены программно-аппаратными комплексами.The formation of a database with hierarchical models of speech units can be carried out in manual or automatic mode. To enable the formation of the base in manual mode, the hardware-software complex containing this base may contain operator input means, for example, a keyboard, a connector for connecting a removable storage medium, etc., and the volume can be determined by the system operator using an electronic device speech unit, which means the totality of concepts covered by the speech unit, with the subsequent distribution of the totality of concepts covered by the speech unit among the parent and child nodes with the appropriate logical transitions assigned to them through the electronic device. To ensure the possibility of forming a database in automatic mode, the hardware-software complex containing this database may contain means for accessing the Internet and means for automatically creating a database with hierarchical models of speech units connected to the Internet and automatically determine the volume speech units and the distribution of the totality of concepts covered by the speech unit over the parent and child nodes of the hierarchical model of speech units with subsequent automatic assignment of the corresponding logical transitions to them. In this case, the determination of logical transitions can be automatically carried out by analyzing the manually created hierarchical models of speech units using machine learning algorithms. In this case, obtaining speech units for the hierarchical model can be carried out by downloading speech units from the "Internet" resources (dictionaries and directories located on the Internet, etc.). Moreover, a means of access to telecommunication networks and a means of automatically forming a database with hierarchical models of speech units can be represented by software and hardware systems.

Определение ответа с учетом полученных от IVR-системы звуковых данных осуществляется посредством модуля определения ответа IVR-системе, которое для этого может содержать средство присваивания данным пользователя иерархической модели речевых единиц, средство получения звуковых данных от IVR-системы, средство определения в звуковых данных, полученных от IVR-системы, речевой единицы и идентификатора (цифрового или звукового) для соединения с электронным устройством пользователя, средство сопоставления речевой единицы из звуковых данных, полученных от IVR-системы, с иерархической моделью речевых единиц, присвоенной данным пользователя, и средство определения идентификатора для соединения с электронным устройством пользователя IVR-системы, которые могут быть представлены скриптами или совокупностью программно-аппаратных комплексов, интегрированных в модуль определения ответа или расположенных удаленно и подключенных к модулю средствами проводной или беспроводной связи.The response is determined taking into account the sound data received from the IVR system using the response determination module of the IVR system, which for this purpose may contain means for assigning a hierarchical model of speech units to user data, means for receiving sound data from the IVR system, and means for determining the sound data received from an IVR system, a speech unit and an identifier (digital or audio) for connecting to a user’s electronic device, means for matching a speech unit from the audio data received from the IVR system with a hierarchical model of speech units assigned to user data, and means for identifying connections with the electronic device of the user of the IVR system, which can be represented by scripts or a set of software and hardware systems integrated into the response determination module or located remotely and connected to the module by means of wired or wireless communication.

Средство присваивания данным пользователя иерархической модели речевых единиц может быть соединено с базой контактных данных пользователя или с модулем автоматического запуска соединения с электронным устройством пользователя с возможностью получения данных пользователя и может быть выполнено с возможностью выбора иерархической модели речевых единиц из подключенной к нему базы данных с иерархическими моделями речевых единиц с учетом полученных данных пользователя. Присваивание данным пользователя иерархической модели речевых единиц может быть осуществлено при получении данных пользователя, или при начале выполнения сценария системой, или при взаимодействии системы с IVR-системой. Присваивание данным пользователя иерархической модели речевых единиц может быть осуществлено путем получения данных из базы контактных данных пользователя или из базы сценариев и определения соответствия речевых единиц в иерархической модели с данными пользователя или с данными команд из сценария. Присваивание данным пользователя иерархической модели речевых единиц может быть осуществлено путем сопоставления данных пользователя с иерархическими моделями речевых единиц и поиска соответствия данных с речевыми единицами в иерархических моделях. При этом либо данные пользователя могут быть закреплены в базе данных иерархических моделей речевых единиц за соответствующей моделью, либо модель может быть загружена из базы в модуль определения ответа IVR-системы с сопутствующим ее закреплением за данными пользователя. В случае отсутствия подходящей модели речевых единиц средством присваивания данным пользователя иерархической модели речевых единиц может быть сформирован запрос на создание новой иерархической модели речевых единиц с учетом данных пользователя, который может быть впоследствии обработан оператором системы или системой в автоматическом режиме.The tool for assigning user data to a hierarchical model of speech units can be connected to a user contact database or to a module for automatically starting a connection with a user’s electronic device with the ability to receive user data and can be configured to select a hierarchical model of speech units from a hierarchical database connected to it models of speech units taking into account the received user data. Assigning a hierarchical model of speech units to user data can be done when the user data is received, or when the system starts to execute the script, or when the system interacts with the IVR system. Assigning a hierarchical model of speech units to user data can be done by obtaining data from the user’s contact database or from the script database and determining the correspondence of the speech units in the hierarchical model with user data or command data from the script. Assignment of user data to a hierarchical model of speech units can be accomplished by comparing user data with hierarchical models of speech units and searching for correspondence of data with speech units in hierarchical models. In this case, either the user data can be assigned in the database of hierarchical models of speech units to the corresponding model, or the model can be loaded from the database into the module for determining the response of the IVR-system with its associated assignment to the user data. If there is no suitable model of speech units by means of assigning user data to a hierarchical model of speech units, a request can be generated to create a new hierarchical model of speech units taking into account user data, which can be subsequently processed by the system operator or system in automatic mode.

Средство определения в звуковых данных, полученных от IVR-системы, речевой единицы и идентификатора (цифрового или звукового) для соединения с электронным устройством пользователя может быть соединено с модулем автоматического запуска соединения с электронным устройством пользователя, в частности со средством вопросно-ответного взаимодействия с возможностью получения звуковых данных от IVR-системы. Указанное средство может быть реализовано с применением специализированного программного обеспечения для обработки звуковых данных, установленного в модуль определения ответа IVR-системе, а также оно может содержать специализированное программное обеспечение для преобразования звуковых данных, полученных от IVR-системы, в тип и формат данных, которые содержатся в иерархической модели речевых единиц, а также обработки звуковых данных посредством временного сдвига, растяжения или сжатия звуковой дорожки полученного акустического отпечатка, а также эквалайзинга либо транскрибации звуковых данных.The means for determining in the audio data received from the IVR system, the speech unit and the identifier (digital or sound) for connecting to the user's electronic device can be connected to the module for automatically starting the connection with the user's electronic device, in particular with the means of question-answer interaction with the possibility receiving audio data from the IVR system. The specified tool can be implemented using specialized software for processing audio data installed in the response determination module of the IVR system, and it can also contain specialized software for converting audio data received from the IVR system into the type and format of data that are contained in a hierarchical model of speech units, as well as processing audio data by temporarily shifting, stretching or compressing the sound track of the resulting acoustic fingerprint, as well as equalizing or transcribing the audio data.

Средство сопоставления речевой единицы из звуковых данных, полученных от IVR-системы, с иерархической моделью речевых единиц, присвоенной данным пользователя, соединено со средством определения в звуковых данных, полученных от IVR-системы, речевой единицы и идентификатора для соединения с электронным устройством пользователя с возможностью получения речевой единицы, озвученной IVR-системой, а также оно может быть соединено с базой данных иерархических моделей речевых единиц. The means for comparing the speech unit from the audio data received from the IVR system with the hierarchical model of the speech units assigned to the user data is connected to the means for determining in the audio data received from the IVR system the speech unit and identifier for connecting to the user's electronic device with receiving a speech unit voiced by an IVR system, and it can also be connected to a database of hierarchical models of speech units.

Сопоставление речевой единицы из звуковых данных, полученных от IVR-системы, с иерархической моделью речевых единиц может быть осуществлено путем ее сравнения с содержимым иерархической модели речевых единиц, присвоенной данным пользователя. Сравнение с содержимым может быть осуществлено последовательным сопоставлением речевой единицы из звуковых данных, полученных от IVR-системы, с каждой речевой единицей в родительских и дочерних узлах иерархической модели речевых единиц до обнаружения совпадения. В случае если совпадение речевой единицы из звуковых данных, полученных от IVR-системы, и одной из речевых единиц в родительских или дочерних узлах иерархической модели речевых единиц обнаружено, производится фиксирование связи между речевой единицей из звуковых данных, полученных от IVR-системы, и иерархической моделью речевых единиц. В случае отсутствия обнаружения совпадения производится прекращение соединения с электронным устройством пользователя с последующим уведомлением системой оператора. Средство сопоставления речевой единицы из звуковых данных, полученных от IVR-системы, с иерархической моделью речевых единиц, присвоенной данным пользователя, может быть представлено специализированным программным обеспечением, установленным в модуль определения ответа IVR-системе.The comparison of the speech unit from the audio data received from the IVR system with the hierarchical model of the speech units can be carried out by comparing it with the contents of the hierarchical model of the speech units assigned to the user data. Comparison with the contents can be carried out by sequentially matching a speech unit from the audio data received from the IVR system with each speech unit in the parent and child nodes of the hierarchical model of speech units until a match is found. If the coincidence of the speech unit from the audio data received from the IVR system and one of the speech units in the parent or child nodes of the hierarchical model of speech units is detected, the connection between the speech unit from the audio data received from the IVR system and the hierarchical model of speech units. If there is no detection of a match, the connection with the user's electronic device is terminated, followed by notification by the operator system. A means of comparing a speech unit from the audio data received from the IVR system with the hierarchical model of the speech units assigned to the user data can be represented by specialized software installed in the response determination module of the IVR system.

Средство определения идентификатора для соединения с электронным устройством пользователя соединено со средством сопоставления речевой единицы из звуковых данных, полученных от IVR-системы, с иерархической моделью речевых единиц, присвоенной данным пользователя, с возможностью получения данных об обнаружении иерархической модели речевых единиц, соответствующей речевой единице из звуковых данных, полученных от IVR-системы. Определение идентификатора для соединения с электронным устройством пользователя может быть осуществлено после получения данных об обнаружении иерархической модели речевых единиц, при этом средство определения идентификатора для соединения с электронным устройством пользователя может передать идентификатор средству вопросно-ответного взаимодействия, для чего оно может быть соединено с ним любыми средствами проводной и беспроводной передачи данных. При этом в качестве идентификатора для соединения с электронным устройством пользователя может быть использован идентификатор, полученный от IVR-системы при взаимодействии с ней либо автоматически, в соответствии со специфическими особенностями IVR-системы, например голосовая команда, числовое или буквенное значение, либо звук тонального набора, соответствующего идентификатору, полученному от IVR-системы. Передача ответа IVR-системе подразумевает передачу идентификатора для соединения с электронным устройством пользователя модулю автоматического запуска соединения с электронным устройством пользователя, для чего средство определения идентификатора для соединения с электронным устройством пользователя может быть соединено с ним любыми известными средствами передачи данных.The identifier means for identifying the user’s electronic device is connected to the means for matching the speech unit from the audio data received from the IVR system with the hierarchical model of speech units assigned to the user data, with the possibility of obtaining data on the detection of a hierarchical model of speech units corresponding to the speech unit from sound data received from the IVR system. The identification of the identifier for connecting to the user's electronic device can be carried out after receiving data on the discovery of a hierarchical model of speech units, while the identifier for connecting the identifier for connecting to the user's electronic device can transmit the identifier to the question-answer interaction means, for which it can be connected to it by any means of wire and wireless data transmission. In this case, as an identifier for connecting to a user's electronic device, an identifier obtained from the IVR system when interacting with it can be used either automatically, in accordance with the specific features of the IVR system, for example, voice command, numerical or alphabetic value, or tone dialing sound corresponding to the identifier received from the IVR system. Transmitting a response to an IVR system involves transmitting an identifier for connecting to a user’s electronic device to an automatic start module for connecting to a user’s electronic device, for which the means for determining an identifier for connecting to a user’s electronic device can be connected to it using any known means of data transmission.

Дополнительно модуль определения ответа IVR-системе может быть соединен с модулем автоматического запуска соединения с возможностью получения данных об успешном установлении соединения с электронным устройством пользователя, о наличии IVR-системы, с возможностью получения контактных данных пользователя, а также о необходимости запуска или остановки процесса сопоставления речевых единиц из иерархической модели со звуковыми данными, полученными от IVR-системы.In addition, the response determination module of the IVR system can be connected to the automatic connection start module with the possibility of receiving data on successful connection with the user's electronic device, the presence of an IVR system, with the possibility of obtaining user contact data, as well as the need to start or stop the matching process speech units from a hierarchical model with sound data received from an IVR system.

IVR-система представляет собой интерактивную систему, обеспечивающую возможность маршрутизации входящих вызовов, при этом маршрутизация осуществляется при тональном наборе пользователем числового значения на клавиатуре устройства в меню IVR, а навигация пользователей по разделам и подпунктам меню IVR осуществляется путем озвучивания предварительно записанных голосовых сообщений. IVR-система может быть представлена аппаратно-программным комплексом и быть установлена в call-центрах различных организаций, а также может быть представлена мобильным приложением или программой, установленной на электронном устройстве пользователя.The IVR system is an interactive system that provides the ability to route incoming calls, while routing is performed when the user dials a numeric value on the device’s keyboard in the IVR menu, and users navigate through sections and sub-items of the IVR menu by voicing pre-recorded voice messages. An IVR system can be represented by a hardware-software complex and can be installed in call centers of various organizations, and can also be represented by a mobile application or program installed on a user's electronic device.

Соединение элементов голосовой роботизированной вопросно-ответной системы с возможностью обмена данными может быть обеспечено посредством проводной (кабелями, дорожками из проводящего материала) или беспроводной (телефонной, по радиоканалам или посредством сети «Интернет») связи, а также путем копирования данных из одного расположения на носителе информации в другое расположение (в том случае если элементы системы реализованы в пределах одного программно-аппаратного комплекса).The connection of the elements of the voice-activated robotic question-answer system with the possibility of data exchange can be achieved through wired (cables, tracks made of conductive material) or wireless (telephone, via radio channels or via the Internet network), as well as by copying data from one location to information carrier to another location (in the event that system elements are implemented within the same hardware and software complex).

Все средства и модули голосовой роботизированной вопросно-ответной системы могут быть представлены программно-аппаратными комплексами или их частями. Программно-аппаратный комплекс представляет собой совокупность технических и программных средств и может быть представлен одним или несколькими серверами, персональным компьютером, мобильным устройством и пр. содержащими специализированное программное обеспечение.All means and modules of the voice-activated robotic question-answer system can be represented by software and hardware complexes or their parts. A hardware-software complex is a combination of hardware and software and can be represented by one or more servers, a personal computer, a mobile device, etc. containing specialized software.

Группа изобретений может быть выполнена из известных материалов с помощью известных средств, что свидетельствует о ее соответствии критерию патентоспособности «промышленная применимость».The group of inventions can be made of known materials using known means, which indicates its compliance with the patentability criterion of "industrial applicability".

Группа изобретений характеризуется ранее неизвестными существенными отличительными признаками, заключающимися в том, что система содержит:The group of inventions is characterized by previously unknown significant distinguishing features, namely, that the system contains:

- базу данных с иерархическими моделями речевых единиц, которая обеспечивает возможность хранения в системе речевых единиц, используемых при взаимодействии голосовой роботизированной вопросно-ответной системы с IVR-системой, которые распределены по родительским и дочерним узлам, соединенным между собой логическими переходами, связывающими узлы в иерархии между собой, что позволяет использовать их при взаимодействии голосовой роботизированной вопросно-ответной системы с IVR-системой.- a database with hierarchical models of speech units, which provides the ability to store in the system of speech units used in the interaction of the voice-activated robotic question-answer system with the IVR system, which are distributed among the parent and child nodes interconnected by logical transitions connecting nodes in the hierarchy among themselves, which allows them to be used in the interaction of a voice-activated robotic question-answer system with an IVR system.

- модуль определения ответа IVR-системе, выполненный с возможностью получения звуковых данных от IVR-системы, анализа базы данных с иерархическими моделями речевых единиц с учетом звуковых данных, полученных от IVR-системы, определения ответа IVR-системе и передачи ответа IVR-системе, за счет чего обеспечивается возможность разбиения звуковых данных, полученных от IVR-системы, на речевую единицу и идентификатор, присвоенный речевой единице IVR-системой, обеспечивающий соединение с электронным устройством пользователя, сопоставления речевой единицы с иерархическими моделями речевых единиц в базе данных, обнаружения в связанной с данными пользователя иерархической модели речевых единиц той речевой единицы, которая была получена от IVR-системы и определения идентификатора для соединения с электронным устройством пользователя, соответствующего речевой единице, обнаруженной в иерархической модели речевых единиц, связанной с пользователем.- a module for determining the response to the IVR system, configured to receive audio data from the IVR system, analyzing a database with hierarchical models of speech units, taking into account the audio data received from the IVR system, determining the response to the IVR system and transmitting the response to the IVR system, due to which it is possible to split the audio data received from the IVR system into a speech unit and the identifier assigned to the speech unit by the IVR system, which provides connection to the user's electronic device, comparison of the speech unit with hierarchical models of speech units in the database, and detection in the associated with user data of the hierarchical model of speech units of that speech unit that was received from the IVR system and determining an identifier for connecting to a user’s electronic device corresponding to the speech unit found in the hierarchical model of speech units associated with the user.

Совокупность существенных признаков группы изобретений обеспечивает систему данными в виде связанных с данными пользователя речевых единиц, разбитых в иерархии на родительские и дочерние узлы, соединенные между собой логическими переходами, которые при взаимодействии голосовой роботизированной вопросно-ответной системы с IVR-системой используются для поиска соответствия между речевыми единицами, полученными от IVR-системы, и речевыми единицами, содержащимися в иерархических моделях речевых единиц, связанных с данными пользователя. Таким образом это позволяет голосовой роботизированной вопросно-ответной системе при получении звуковых данных от IVR-системы автоматически обнаруживать среди обобщенных понятий и конкретных речевых единиц в базе искомую речевую единицу и по связанному с ней идентификатору устанавливать соединение с электронным устройством пользователя. Таким образом при взаимодействии голосовой роботизированной вопросно-ответной системы с IVR-системой обеспечивается возможность оперативного определения системой необходимого ответа для прохождения многоуровневого голосового меню, что позволяет снизить риск безуспешного взаимодействия голосовой роботизированной вопросно-ответной системы с IVR-системой при установлении соединения с электронным устройством пользователя, благодаря чему обеспечивается достижение технического результата, заключающегося повышении вероятности соединения голосовой роботизированной вопросно-ответной системы с электронным устройством пользователя при условии ее взаимодействия с IVR-системой, тем самым повышая эффективность голосовой роботизированной вопросно-ответной системы.The set of essential features of the group of inventions provides the system with data in the form of speech units associated with user data, hierarchically divided into parent and child nodes, interconnected by logical transitions, which, when interacting with a voice-activated robotic question-answer system with an IVR system, are used to find a match between speech units received from the IVR system, and speech units contained in hierarchical models of speech units associated with user data. Thus, it allows the voice-activated robotic question-answer system, when receiving sound data from the IVR-system, to automatically detect among the generalized concepts and specific speech units in the database the desired speech unit and, using the identifier associated with it, establish a connection with the user's electronic device. Thus, when interacting with a voice-activated robotic question-answer system with an IVR system, it is possible to quickly determine the required answer for a multilevel voice menu system, which reduces the risk of unsuccessful interaction of a voice-activated question-answer system with an IVR system when establishing a connection with a user's electronic device This ensures the achievement of a technical result, which consists in increasing the likelihood of connecting a voice-activated robotic question-answer system with a user's electronic device provided that it interacts with an IVR system, thereby increasing the efficiency of a voice-activated robotic question-answer system.

Группа изобретений обладает ранее неизвестными из уровня техники существенными признаками, что свидетельствует о ее соответствии критерию патентоспособности «новизна» и «изобретательский уровень».The group of inventions possesses essential features previously unknown from the prior art, which indicates its compliance with the patentability criterion of “novelty” and “inventive step”.

Изобретение поясняется следующими фигурами:The invention is illustrated by the following figures:

Фиг. 1 - Схема голосовой роботизированной вопросно-ответной системы при взаимодействии с IVR-системой и электронным устройством пользователя;FIG. 1 - Scheme of a voice-activated robotic question-answer system in interaction with the IVR system and the user's electronic device;

Фиг. 2 - Алгоритм процесса установления связи с электронным устройством пользователя при условии взаимодействия голосовой роботизированной вопросно-ответной системы с IVR-системой, первая часть.FIG. 2 - Algorithm of the process of establishing communication with the user's electronic device, provided that the voice-activated robotic question-answer system interacts with the IVR system, the first part.

Фиг. 3 - Алгоритм процесса установления связи с электронным устройством пользователя при условии взаимодействия голосовой роботизированной вопросно-ответной системы с IVR-системой, вторая часть.FIG. 3 - Algorithm of the process of establishing communication with the user's electronic device, provided that the voice-activated robotic question-answer system interacts with the IVR system, the second part.

Для иллюстрации возможности реализации и более полного понимания сути группы изобретений ниже представлен вариант его осуществления, который может быть любым образом изменен или дополнен, при этом настоящая группа изобретений ни в коем случае не ограничивается представленным вариантом.To illustrate the possibility of implementation and a more complete understanding of the essence of the group of inventions, the following is a variant of its implementation, which can be modified or supplemented in any way, while the present group of inventions is by no means limited to the presented variant.

Голосовая роботизированная вопросно-ответная система содержит модуль 1 автоматического запуска соединения с электронным устройством 2 пользователя, выполненный с возможностью ввода данных в IVR-систему 3 средством 4 вопросно-ответного взаимодействия, получения звуковых данных от IVR-системы 3 средством 5 определения наличия IVR-системы, отправки и получения данных от электронного устройства 2 пользователя средством 4 вопросно-ответного взаимодействия, отправки запросов на получение и последующего получения данных из базы 6 контактных данных пользователей и базы 7 сценариев, при этом система содержит базу 8 данных с иерархическими моделями речевых единиц и модуль 9 определения ответа IVR-системе, выполненный с возможностью отправки запроса на получение и последующего получения контактных данных пользователя из модуля 1 автоматического запуска соединения, отправки запросов на получение и последующего получения данных из базы 8 данных с иерархическими моделями речевых единиц и отправки данных в модуль 1 автоматического запуска соединения, содержащий при этом средство 10 обработки звуковых данных.The voice-activated robotic question-answer system contains a module 1 for automatically starting a connection with a user’s electronic device 2, configured to enter data into the IVR system 3 by means of 4 question-answer interaction, receive audio data from the IVR system 3 by means of 5 determining the presence of an IVR system of sending and receiving data from an electronic device 2 of a user by means of 4 question-answer interaction, sending requests for receiving and subsequent receiving data from a database of 6 contact data of users and a database of 7 scripts, the system comprising a database of 8 data with hierarchical models of speech units and a module 9 determining the response to the IVR system, configured to send a request for receipt and then receive user contact data from module 1 to automatically start a connection, send requests for receive and then receive data from database 8 with hierarchical models of speech units and send yes data to the module 1 to automatically start the connection, containing at the same time means 10 for processing audio data.

Модуль 1 автоматического запуска соединения подключен к базе 7 сценариев с возможностью передачи запроса сценария и получения сценария; подключен к базе 6 контактных данных пользователей с возможностью передачи запроса контактных данных пользователя и получения контактных данных пользователя; выполнен с возможностью подключения к IVR-системе 3 с возможностью передачи команд из сценария и получения данных для соединения с электронным устройством пользователя; подключен к средству 10 обработки звуковых данных с возможностью передачи звуковых данных, полученных от IVR-системы; средство 4 вопросно-ответного взаимодействия выполнено с возможностью отправки вызова на электронное устройство 2 пользователя, получения звуковых данных (голосовых данных или данных тонального набора) от электронного устройства 2 пользователя и передачи голосовых сообщений; с возможностью передачи голосовых команд, числовых или буквенных значений IVR-системе 3; средство 5 определения наличия IVR-системы выполнено с возможностью получения звуковых сообщений от IVR-системы 3; модуль 9 определения ответов IVR-системе подключен к базе данных 8 с иерархическими моделями речевых единиц с возможностью передачи запроса данных и получения данных речевых единиц; соединен с модулем 1 автоматического запуска соединения с возможностью передачи запроса и получения контактных данных пользователя, которому осуществляется исходящий вызов, а также с возможностью передачи данных о голосовых командах, числовых или буквенных значениях.Module 1 for automatically starting a connection is connected to a base of 7 scripts with the ability to send a script request and receive a script; connected to the database of 6 user contact data with the ability to send a request for user contact data and receive user contact data; configured to connect to an IVR system 3 with the ability to transmit commands from a script and receive data for connecting to a user's electronic device; connected to the means 10 for processing audio data with the ability to transmit audio data received from the IVR system; the question-answer interaction means 4 is configured to send a call to the user's electronic device 2, receive audio data (voice data or tone dialing data) from the user's electronic device 2 and transmit voice messages; with the ability to transmit voice commands, numeric or alphabetic values to the IVR-system 3; means 5 for determining the presence of the IVR system is configured to receive audio messages from the IVR system 3; module 9 for determining responses to the IVR system is connected to a database 8 with hierarchical models of speech units with the ability to transmit a data request and receive data of speech units; connected to the module 1 to automatically start the connection with the possibility of transmitting a request and receiving contact information of the user who is making an outgoing call, as well as with the ability to transmit data about voice commands, numerical or alphabetic values.

На Фиг. 1 позициями от 11 до 24 обозначены следующие этапы взаимодействия голосовой роботизированной вопросно-ответной системы с электронным устройством пользователя: In FIG. 1 positions from 11 to 24 indicate the following stages of interaction of a voice-activated robotic question-answer system with a user's electronic device:

Этап 11 - отправка модулем 1 автоматического запуска соединения запроса на получение сценария базе 7 сценариев;Stage 11 - sending by module 1 an automatic start of a connection request for a script to a base of 7 scripts;

Этап 12 - получение модулем 1 автоматического запуска соединения сценария из базы 7 сценариев;Stage 12 - getting module 1 to automatically start a script connection from a database of 7 scripts;

Этап 13 - отправка модулем 1 автоматического запуска соединения запроса на получение контактных данных пользователя базе 6 контактных данных пользователей;Stage 13 - sending by module 1 an automatic start of a connection request for receiving user contact data to a database of 6 user contact data;

Этап 14 - получение модулем 1 автоматического запуска соединения контактных данных для совершения исходящего вызова из базы 6 контактных данных пользователей;Stage 14 - obtaining by module 1 of an automatic start of contact data connection for making an outgoing call from the database 6 of user contact data;

Этап 15 - совершение модулем 1 автоматического запуска соединения исходящего вызова на электронное устройство 2 пользователя;Stage 15 - the completion by module 1 of an automatic start of an outgoing call connection to the user's electronic device 2;

Этап 16 - передача звуковых данных из IVR-системы 3 средству 5 определения наличия IVR-системы;Stage 16 - transfer of audio data from the IVR system 3 to the means 5 for determining the presence of the IVR system;

Этап 17 - передача звуковых данных IVR-системы из модуля 1 автоматического запуска соединения в средство 10 обработки звуковых данных;Stage 17 - transfer of sound data of the IVR system from module 1 to automatically start the connection to the means 10 for processing audio data;

Этап 18 - отправка модулем 9 определения ответа IVR-системе запроса на получение контактных данных пользователя модулю 1 автоматического запуска соединения;Step 18 — sending, by module 9, a response determination to the IVR system, a request for receiving user contact information to module 1 for automatically starting a connection;

Этап 19 - передача модулем 1 автоматического запуска соединения контактных данных пользователя в модуль 9 определения ответа IVR-системе;Stage 19 - transmission by the module 1 of the automatic start of the connection of the user's contact data to the module 9 determining the response of the IVR system;

Этап 20 - запрос модулем 9 определения ответа IVR-системе на получение данных из базы 8 с иерархическими моделями речевых единиц;Stage 20 - a request by module 9 to determine the response of the IVR system to receive data from base 8 with hierarchical models of speech units;

Этап 21 - получение модулем 9 определения ответа IVR-системе данных из базы 8 с иерархическими моделями речевых единиц;Stage 21 - receiving module 9 determine the answer to the IVR data system from the database 8 with hierarchical models of speech units;

Этап 22 - передача идентификатора для установления связи с электронным устройством пользователя в модуль 1 автоматического запуска соединения с электронным устройством пользователя;Step 22 - transmitting an identifier for establishing communication with a user's electronic device to module 1 for automatically starting a connection with a user's electronic device;

Этап 23 - передача средством 4 вопросно-ответного взаимодействия идентификатора для установления связи с электронным устройством пользователя в IVR-систему 3;Stage 23 - the transmission by means 4 of the question-answer interaction identifier to establish communication with the electronic device of the user in the IVR system 3;

Этап 24 - передача маршрута соединения с электронным устройством 2 пользователя из IVR-системы 3 в модуль 1 автоматического запуска соединения;Step 24 - transfer of the connection route with the user's electronic device 2 from the IVR system 3 to the module 1 for automatically starting the connection;

Этап 25 - передача данных вопросов и ответов выполняемого сценария средством 4 вопросно-ответного взаимодействия на электронное устройство 2 пользователя;Stage 25 - data transfer of questions and answers of the executed script by means of 4 question-answer interaction to the electronic device 2 of the user;

Этап 26 - передача звуковых данных с электронного устройства 2 пользователя средству 4 вопросно-ответного взаимодействия.Step 26 - transfer of audio data from the electronic device 2 of the user to the means 4 question-answer interaction.

Группа изобретений работает следующим образом.The group of inventions works as follows.

Оператором системы посредством ввода речевых единиц формируется иерархическая модель речевых единиц, после чего осуществляется ее сохранение в базе 8 данных с иерархическими моделями речевых единиц. Системой из стороннего сервера осуществляется получение данных пользователей (имя, фамилия, отчество, должность и телефонный номер), которые сохраняются в базу 6. В базу 7 сценариев сохраняются сценарии, в которых указана цель, дата и время совершения исходящего вызова на электронное устройство пользователя, структура вопросов и ответов для голосового взаимодействия с пользователем через его электронное устройство.The system operator creates a hierarchical model of speech units by entering speech units, and then saves it in a database of 8 data with hierarchical models of speech units. The system from a third-party server receives user data (name, surname, middle name, position and phone number), which are stored in database 6. In the base of 7 scenarios, scenarios are saved in which the purpose, date and time of the outgoing call to the user's electronic device are indicated, structure of questions and answers for voice interaction with the user through his electronic device.

Модуль 1 автоматического запуска соединения отправляет базе 7 сценариев запрос на получение сценариев. После получения сценария модуль 1 автоматического запуска соединения начинает его выполнение и отправляет базе 6 контактных данных пользователей запрос на получение контактных данных пользователей. Модуль 1 автоматического запуска соединения с электронным устройством пользователя осуществляет набор номера телефона и последующий исходящий вызов, при этом в процессе вызова осуществляется соединение с IVR-системой. Голосовые сообщения в виде звуковых данных в режиме реального времени поступают от IVR-системы 3 в средство 5 определения наличия IVR-системы, после чего средство 5 определения наличия IVR-системы осуществляет анализ звуковых данных, полученных от IVR-системы 3. Средство 5 определения наличия IVR-системы идентифицирует наличие IVR-системы 3, после чего через модуль 1 автоматического запуска соединения осуществляет передачу получаемых от IVR-системы 3 звуковых данных в средство 10 обработки звуковых данных. Средство 10 обработки звуковых данных в режиме реального времени осуществляет транскрибацию полученных звуковых данных.The automatic connection start module 1 sends a request for scripts to the base 7 scripts. After receiving the script, the module 1 for automatically starting the connection starts its execution and sends a request to the user contact data base to the base 6 of the user’s contact data. The module 1 for automatically starting a connection with a user's electronic device dials a phone number and a subsequent outgoing call, while connecting to an IVR system during a call. Real-time voice messages in the form of sound data are received from the IVR system 3 to the means 5 for determining the presence of the IVR system, after which the means 5 for determining the presence of the IVR system analyzes the sound data received from the IVR system 3. Means 5 for determining the presence The IVR system identifies the presence of the IVR system 3, after which, through the automatic connection start module 1, it transfers sound data received from the IVR system 3 to the audio data processing means 10. The means 10 for processing audio data in real time transcribes the received audio data.

Модуль 9 определения ответа IVR-системе получает данные в виде текста и осуществляет его разбиение на отдельные речевые единицы и идентификаторы для соединения с электронным устройством пользователя. Модуль 9 определения ответа IVR-системе отправляет запрос модулю 1 автоматического запуска соединения на получение контактных данных пользователя, которому в данный момент времени осуществляется исходящий вызов, после чего получает контактные данные от модуля 1 автоматического запуска соединения. После получения контактных данных пользователя модуль 9 определения ответа IVR-системе определяет его должность в компании и направляет запрос базе 8 с иерархическими моделями речевых единиц на получение данных иерархической модели речевых единиц, соответствующей должности пользователя, с электронным устройством 2 которого осуществляется соединение системы. Модуль 9 определения ответа IVR-системе получает иерархическую модель речевых единиц, соответствующих должности пользователя, из базы 8, после чего осуществляет поиск речевой единицы, полученной в звуковых данных от IVR-системы 3 в иерархической модели речевых единиц, соответствующей должности пользователя.The response determination module 9 of the IVR system receives data in the form of text and splits it into separate speech units and identifiers for connecting to a user's electronic device. The response determination module 9 of the IVR system sends a request to the module 1 to automatically start the connection to obtain the contact data of the user who is currently receiving an outgoing call, and then receives contact data from the module 1 to automatically start the connection. After receiving the user's contact information, the response determination module 9 of the IVR system determines his position in the company and sends a request to the base 8 with hierarchical models of speech units to receive data of a hierarchical model of speech units corresponding to the position of the user with whose electronic device 2 the system is connected. The response determination module 9 of the IVR system obtains a hierarchical model of speech units corresponding to the user's position from base 8, after which it searches for the speech unit received in the audio data from the IVR system 3 in the hierarchical model of speech units corresponding to the user's position.

Модуль 9 определения ответа IVR-системе сопоставляет речевую единицу, полученную в звуковых данных от IVR-системы, 3 с иерархической моделью речевых единиц, соответствующей должности пользователя, начиная с дочерних узлов. В случае отсутствия соответствия речевых единиц, находящихся в дочерних узлах, с речевой единицей, полученной в звуковых данных от IVR-системы 3, модуль 9 осуществляет проверку речевых единиц, находящихся в родительских узлах иерархической модели, связанных с дочерними узлами логическими переходами, при этом цикл повторяется до родительского узла, не имеющего логической связи с предком. В случае если совпадение речевой единицы, полученной в звуковых данных от IVR-системы 3, с речевой единицей, находящейся в узлах иерархической модели, не обнаружено, то система прекращает установление связи с электронным устройством 2 пользователя. В случае обнаружения совпадения речевой единицы, полученной в звуковых данных от IVR-системы 3, с речевой единицей, находящейся в одном из узлов иерархической модели речевых единиц, то связанный с такой речевой единицей идентификатор считается модулем 9 релевантным для установления связи с электронным устройством пользователя и выбирается им в качестве ответа IVR-системе 3. При этом модулем 9 может быть произведена обработка имеющегося идентификатора или генерирование нового идентификатора, связанного с первоначальным идентификатором, полученным в звуковых данных от IVR-системы 3.The response determination module 9 of the IVR system compares the speech unit received in the audio data from the IVR system 3 with the hierarchical model of speech units corresponding to the user's position, starting from child nodes. In the absence of correspondence of the speech units located in the child nodes with the voice unit received in the audio data from the IVR system 3, module 9 checks the speech units located in the parent nodes of the hierarchical model connected with the child nodes by logical transitions, and the cycle repeats to the parent node that does not have a logical connection with the ancestor. If the coincidence of the speech unit received in the audio data from the IVR system 3 with the speech unit located in the nodes of the hierarchical model is not found, the system stops establishing communication with the electronic device 2 of the user. If a speech unit obtained in the audio data from the IVR system 3 is found to coincide with a speech unit located in one of the nodes of the hierarchical model of speech units, then the identifier associated with such a speech unit is considered by module 9 to be relevant for establishing communication with the user's electronic device and he chooses as an answer to the IVR system 3. In this case, module 9 can process the existing identifier or generate a new identifier associated with the original identifier received in the audio data from the IVR system 3.

Модуль 9 определения ответа IVR-системе осуществляет передачу идентификатора для соединения с электронным устройством пользователя в модуль 1 автоматического запуска соединения, после чего средство 4 вопросно-ответного взаимодействия осуществляет набор числового значения на виртуальной клавиатуре в соответствии с идентификатором и посредством тонального сигнала осуществляет передачу набранного числового значения IVR-системе 3, которая, при его получении осуществляет перевод голосовой роботизированной вопросно-ответной системы в соответствующий выбранному числовому значению подпункт меню IVR. Представленный цикл повторяется до прохождения всех пунктов голосового меню IVR-системы 3.The response determination module 9 to the IVR system transmits an identifier for connecting to a user’s electronic device to the automatic connection start module 1, after which the question-answer interaction means 4 dials a numerical value on the virtual keyboard in accordance with the identifier and transmits the dialed numerical value through a tone signal values of the IVR-system 3, which, upon receipt, translates the voice-activated robotic question-answer system into the IVR menu sub-item corresponding to the selected numerical value. The presented cycle is repeated until all the items in the voice menu of the IVR system 3 are completed.

IVR-система 3 осуществляет соединение голосовой роботизированной вопросно-ответной системы с электронным устройством 2 пользователя путем предоставления модулю 1 данных маршрута соединения. После соединения с электронным устройством 2 пользователя и ответа пользователя со своего электронного устройства 2 средство 10 обработки звуковых данных получает звуковые данные от электронного устройства 2 пользователя. Средство 5 определения наличия IVR-системы не идентифицирует наличие IVR-системы 3, ввиду чего через модуль 1 автоматического запуска соединения передает данные об отсутствии обнаружения IVR-системы в средство 4 вопросно-ответного взаимодействия. При получении данных об отсутствии обнаружения IVR-системы 3 средство 4 вопросно-ответного взаимодействия получает данные сценария и контактных данных пользователя из модуля 1 автоматического запуска соединения, после чего путем синтеза речи из текста озвучивает звуковые данные из сценария. При этом средство 4 вопросно-ответного взаимодействия передает озвученные вопросы и ответы на электронное устройство 2 пользователя по мобильной сети, а также получает звуковые данные от электронного устройства 2 пользователя. По окончании команд в сценарии модуль 1 завершает вызов. Голосовая роботизированная вопросно-ответная система таким же образом одновременно осуществляет исходящие вызовы на электронные устройства других пользователей, контактные данные которых содержатся в базе 6, с сопутствующим выполнением сценариев из базы 7 сценариев. The IVR system 3 connects the voice-activated robotic question-answer system with the user's electronic device 2 by providing the connection route data to module 1. After connecting to the user's electronic device 2 and the user's response from his electronic device 2, the audio data processing means 10 receives audio data from the user's electronic device 2. The means for determining the presence of the IVR system 5 does not identify the presence of the IVR system 3, therefore, through the automatic connection start module 1, it transmits data on the absence of detection of the IVR system to the question-answer interaction means 4. When receiving data about the absence of detection of the IVR system 3, the question-answer interaction tool 4 receives the script data and user contact data from the automatic connection start module 1, after which, by synthesizing speech from the text, it reads the sound data from the script. When this means 4 question-answer interaction transmits the voiced questions and answers to the electronic device 2 of the user via a mobile network, and also receives audio data from the electronic device 2 of the user. At the end of the commands in the script, module 1 ends the call. A voice-activated robotic question-answer system in the same way simultaneously makes outgoing calls to electronic devices of other users, the contact details of which are contained in database 6, with the accompanying execution of scripts from the database of 7 scripts.

Таким образом достигается технический результат, заключающийся в повышении вероятности соединения голосовой роботизированной вопросно-ответной системы с электронным устройством пользователя при условии взаимодействия системы с IVR-системой, тем самым повышается эффективность голосовой роботизированной вопросно-ответной системы.Thus, a technical result is achieved, consisting in increasing the likelihood of connecting the voice-activated robotic question-answer system with the user's electronic device, provided the system interacts with the IVR system, thereby increasing the efficiency of the voice-activated robotic question-answer system.

Claims

1. Voice-activated robotic question-answer system containing a module for automatically starting a connection with a user's electronic device, configured to interact with an IVR system to provide a connection to a user's electronic device, characterized in that it contains a database with hierarchical models of speech units and a determination module response to the IVR system, configured to receive sound data from the IVR system, analyze a database with hierarchical models of speech units, taking into account the sound data received from the IVR system, determine the answer based on the sound data received from the IVR system, and transmit the IVR system.

2. The system according to claim 1, characterized in that the hierarchical models of speech units are presented in the database in the form of tree structures containing parent and child nodes, interconnected by logical transitions that provide an ancestor-child relationship between speech units in nodes.

3. The system according to claim 2, characterized in that the nodes that do not have a logical transition to the “ancestor” represent the “roots” of the tree structure, and the speech unit in such a node is represented by a generic speech unit with respect to speech units located in child nodes associated with this node, and nodes that do not have a logical transition to a "descendant" represent leaves of a tree structure, and the speech unit in such a node is represented by a specific speech unit with respect to speech units located in the parent nodes associated with this node.

4. The system according to claim 2, characterized in that the software and hardware complex containing the database comprises means for automatically generating a database with hierarchical models of speech units connected to the Internet, configured to automatically determine the volume of a speech unit and distribution the set of concepts covered by a speech unit by the parent and child nodes of the hierarchical model of speech units in the database with the subsequent automatic assignment to the nodes of the corresponding logical transitions.

5. The system according to claim 4, characterized in that the means for automatically generating a database with hierarchical models of speech units for determining assigned logical transitions is performed using machine learning algorithms.

6. The system according to claim 1, characterized in that the response determination module of the IVR system comprises interconnected data transfer means for assigning hierarchical model of speech units to user data, means for receiving audio data from the IVR system, means for determining audio data, received from an IVR system, a speech unit and an identifier for connecting to a user’s electronic device, means for matching a speech unit from the audio data received from an IVR system with a hierarchical model of speech units assigned to user data, and means for identifying an identifier for connecting to an electronic device user IVR system.

7. A method for automatically interacting with a voice-activated robotic question-answer system with a user's electronic device, comprising starting a connection with a user's electronic device, during which a connection is made to an IVR system and interacting with an IVR system to provide a connection to a user's electronic device, characterized in that the database with hierarchical models of speech units is preliminarily formed, and when interacting with the IVR system, the database is analyzed with hierarchical models of speech units taking into account the sound data received from the IVR system, the response is determined taking into account the sound data received from the IVR system, and transmission response to the IVR system.

8. The method according to claim 7, characterized in that the hierarchical models of speech units are stored in the database in the form of tree structures with a concomitant distribution of speech units by parent and child nodes, and the nodes are connected by logical transitions that provide an ancestor-child relationship between speech units.

9. The method according to claim 8, characterized in that when using logical transitions, speech units located in the parent nodes are hyperonyms with respect to speech units (hyponyms) located in the child nodes connected to them.

10. The method according to claim 9, characterized in that the speech unit in the node that does not have a logical transition to the "ancestor" is considered a generic speech unit with respect to speech units located in the child nodes associated with this node, and the speech unit in a node that does not have a logical transition to a “descendant” is considered a species (private) speech unit with respect to speech units located in the parent nodes associated with this node.

11. The method according to claim 10, characterized in that the formation of a database with hierarchical models of speech units is performed automatically by determining the volume of the speech unit and distributing the set of concepts covered by the speech unit among the parent and child nodes of the hierarchical model of speech units in the database, followed by automatic assignment to nodes of the corresponding logical transitions.

12. The method according to claim 11, characterized in that the automatic assignment to the nodes of the corresponding logical transitions is performed using machine learning algorithms to existing hierarchical models of speech units.

13. The method according to p. 12, characterized in that the response is determined taking into account the sound data received from the IVR system by assigning a hierarchical model of speech units to user data, receiving sound data from the IVR system, determining the speech unit and identifier in the received sound data for connecting to a user’s electronic device, matching the speech unit from the audio data received from the IVR system with the hierarchical model of speech units assigned to the user’s data, and determining an identifier for connecting to the user's electronic device of the IVR system.

14. The method according to item 13, wherein the assignment of user data to a hierarchical model of speech units is performed by obtaining user data from the user contact database, determining the hierarchical model of speech units corresponding to user data, and assigning the hierarchical model of speech units to user data.

15. The method according to 14, characterized in that in the absence of a suitable model of speech units, a request is generated to create a new hierarchical model of speech units based on user data.

16. The method according to item 13, wherein the comparison of the speech unit from the audio data received from the IVR system with the hierarchical model of speech units can be carried out by sequentially matching the speech unit with each speech unit in the parent and child nodes of the hierarchical model of speech units until a match is found between them.

17. The method according to item 13, wherein the identifier for connecting to a user's electronic device is automatically generated in accordance with the specific features of the IVR system.