WO2020091619A1 - Автоматизированная оценка качества диалоговой системы в реальном времени - Google Patents

Автоматизированная оценка качества диалоговой системы в реальном времени Download PDF

Info

Publication number
WO2020091619A1
WO2020091619A1 PCT/RU2018/000713 RU2018000713W WO2020091619A1 WO 2020091619 A1 WO2020091619 A1 WO 2020091619A1 RU 2018000713 W RU2018000713 W RU 2018000713W WO 2020091619 A1 WO2020091619 A1 WO 2020091619A1
Authority
WO
WIPO (PCT)
Prior art keywords
dialogue
module
text
phrases
quality
Prior art date
Application number
PCT/RU2018/000713
Other languages
English (en)
French (fr)
Inventor
Владимир Александрович СУВОРОВ
Original Assignee
федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (государственный университет)"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (государственный университет)" filed Critical федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (государственный университет)"
Priority to EP18938773.1A priority Critical patent/EP3876228A4/en
Priority to PCT/RU2018/000713 priority patent/WO2020091619A1/ru
Publication of WO2020091619A1 publication Critical patent/WO2020091619A1/ru

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/2227—Quality of service monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5175—Call or contact centers supervision arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/527—Centralised call answering arrangements not requiring operator intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/355—Interactive dialogue design tools, features or methods

Definitions

  • the present invention relates to the field of digital data processing, and in particular to methods for automatically evaluating the quality of a dialogue system based on an assessment of the relevance of individual messages.
  • This method uses a score on a scale, where a person puts a certain number of points to the dialogs according to his opinion.
  • a technical example of the implementation of such a solution are services of the type AWS Mechanical Turk or Yandex Toloka.
  • a series of tasks are formulated for a set of people, by assessing a certain number of dialogs. Further estimates can be averaged.
  • This type of assessment is also implemented in a number of articles and is used everywhere, for example, in chats of the Jivosite type where at the end of the dialogue the user is invited to evaluate the quality of the dialogue.
  • Perplexity solution a mathematical metric from semantic analysis - conditionally how close the probability of receiving a response from the system is close to the probability of receiving an answer in a real situation (https://arxiv.org/pdf/l30l.6705.pdf).
  • the disadvantages of such decisions are poor compliance with the real quality of the dialogue that people perceive. A large level of error in evaluating systems that generate correct, but unlike standard answers. Variability of reference responses.
  • the technical problem to which the claimed technical solution is directed is the creation of a reliable and simple system of automated assessment of the quality of the dialogue system, which allows real-time automated assessment of the quality of the dialogue. Also, a significant problem to be solved of this kind of technical solutions is to ensure an increase in the speed of data processing and the accuracy of processing dialogs.
  • the technical result consists in reducing computing resources and increasing the speed of determining an automated assessment of the quality of a dialogue system by replacing personal information with specialized topic words.
  • a system for real-time automated quality assessment of a dialogue system comprising:
  • a module for determining the subject of the dialogue configured to receive the text of the dialogue in real time and automatically determine the subject of this text of the dialogue;
  • a dialogue text processing module configured to extract phrases from the dialogue text based on topic data that has been determined by the topic determination module
  • a phrase filtering module made with the possibility of replacing personal information with specialized topic words
  • a module of the classifier model of the current state of the dialogue made with the possibility of determining the motivation for continuing the topics of the dialogue in real time based on a sequence of phrases and determining the state of completion of the dialogue on the topics defined by the module for determining the topics of the dialogue;
  • the module of the classifier model of the current quality of the dialogue made with the possibility of receiving information about the status of completion of the dialogue to assign a quality score to the dialogue based on phrases received from the classifier module of the current state of the dialogue of phrases.
  • system further includes a module for further training of the dialogue system, configured to carry out further training of the dialogue based on a ballroom assessment of the quality of the dialogue.
  • an open-source library for thematic modeling of large collections of text documents (BigARTM) or k-means is used to classify topics.
  • the personal information is: numbers, names, place names, company names, individuals
  • the list of topic words is generated in advance using the mechanisms of named entities NER (Named entity recognition).
  • Named Entities Recognizing are objects of a certain type, most often composite, for example, names of organizations, names of people, dates, places, currency, etc. These categories can be represented by concepts of a predefined or dynamically built ontology.
  • FIG. 1 illustrates a general view of the claimed system
  • FIG. 2 illustrates a general diagram of a computing device.
  • the present invention is directed to a system for automated real-time evaluation of the quality of a dialogue system.
  • An example of such a system may be, for example, a call center system, which must decide whether the robot can continue the dialogue with the user.
  • the claimed system (100) includes interconnected module for determining the topics of dialogue (110), a module for processing text of a dialogue (120), a phrase filtering module (130), a classifier model module for the current dialog state status (140), and a classifier model module for the current dialogue quality classifier (150).
  • the dialogue topic determination module (110) is configured to receive dialogue text in real time.
  • An example of such a dialogue can be a dialogue between a user, using, for example, his mobile phone with specialized software, and a bot. Where the user and the bot discuss, for example, user work, hobbies, family, weather, or to conduct dialogs on other topics (topics).
  • the dialogue subject determination module (110) automatically determines the subject of the dialogue text between the above user and the bot.
  • the subject of the obtained dialogue text is automatically determined using an open source library for thematic modeling of large collections of text documents (BigARTM) or using the k-means algorithm.
  • the BigARTM library contains many pre-trained predictors, in particular, neural network models, the purpose of which is to classify the input text of the dialogue between a person and a bot (robot), that is, to find a correspondence between the input text of the dialogue and a predetermined set of possible classes of topics (categories) of previous saved dialogs to which this dialog text may refer.
  • pre-trained predictors in particular, neural network models, the purpose of which is to classify the input text of the dialogue between a person and a bot (robot), that is, to find a correspondence between the input text of the dialogue and a predetermined set of possible classes of topics (categories) of previous saved dialogs to which this dialog text may refer.
  • the classified dialogue text is supplied to the dialogue text processing module (120), which extracts phrases from the dialogue text based on subject data, and which were determined by the subject definition module (110). Then it represents the received text of the dialogue as a set of sequences of selected phrases.
  • phrase filtering module 130
  • personal information is replaced with specialized topic words.
  • each received phrase is analyzed in order to find those sections in the phrase that contain personal information, such as numbers, names, place names, company names, personalities, and this personal information is replaced with specialized topic words.
  • the list of topic words is formed in advance using the mechanisms of named entities NER (Named entity recognition). The following is an example of such a replacement.
  • ⁇ DATE> is a specialized topic word.
  • the motivation for continuation of the subject of the dialogue in real time is determined based on a sequence of phrases and the state of completion of the dialogue is determined by the topic defined by the module for determining the topic of the dialogue.
  • motivation can be defined as follows: from the obtained filtered phrases, the module of the classifier model of the current state of dialogue (140) forms a sequence of phrases by time when they arrived at the module for determining the topic of dialogue (110).
  • linguistic methods of text analysis determines the motivation for continuing the subject of dialogue in real time.
  • phrases may consist of the following phrases:
  • a sequence of phrases can consist of one phrase: "How are you?"
  • sequence of phrases may consist of phrases, for example:
  • the module determines such a sequence of phrases in relation to a given topic that the subject of the second phrase coincides with the subject of the first phrase and assigns an active state of dialogue to this topic.
  • sequence of phrases may consist of phrases, for example:
  • the module determines such a sequence of phrases regarding this topic that the topic of the fourth phrase does not coincide with the topics of the first three phrases and, accordingly, determines the state of completion of the dialogue on the topic defined by the module for determining the topic of the dialogue.
  • a rating is assigned for the dialogue quality based on phrases received from the classifier module of the current state of the phrase dialogue.
  • Assignment of a mark is carried out, for example, using a previously formed database where a list of phrases is stored indicating which score can be assigned to this phrase.
  • this list of phrases can be generated by methods known from the prior art using neural networks.
  • Such a network may be, for example, a two-layer CNN with softmax or a four-layer CNN.
  • device (200) comprises components such as: one or more processors (201), at least one memory (202), data storage means (203), input / output interfaces (204), means B / In (205), means of network interaction (206).
  • processors 201
  • memory 202
  • data storage means 203
  • input / output interfaces 204
  • means B / In 205
  • means of network interaction 206
  • the device processor (201) performs the basic computing operations necessary for the operation of the device (200) or the functionality of one or more of its components.
  • the processor (201) executes the necessary computer-readable instructions contained in the random access memory (202).
  • the processor (201) may be a full instruction set microprocessor (CISC), a reduced instruction set microprocessor (RISC), an extra long instruction microprocessor (VLIW), a processor implementing another instruction set, or processors implementing a combination command sets.
  • the processor (201) can also be one or more special-purpose computing devices, for example, a custom integrated circuit (ASIC), user-programmable gate array (FPGA), digital signal processor (DSP), network processor, etc.
  • the processor (201) is configured to execute instructions for performing the operations and functions discussed herein.
  • the memory (202), as a rule, is made in the form of RAM and contains the necessary program logic that provides the required functionality.
  • the storage medium (203) may be in the form of HDD, SSD disks, array raid, network storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray disks), etc.
  • the tool (203) allows for long-term storage of various types of information, for example, the history of processing transactional requests (logs), user identifiers, etc.
  • Interfaces (204) are standard means for connecting, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS / 2, Lightning, FireWire, and the like.
  • I / O data means (205) keyboard, joystick, display (touch screen), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
  • Network communication tools (206) are selected from a device providing network reception and data transmission, for example, an Ethernet card, a WLAN / Wi-Fi module, a Bluetooth module, a BLE module, an NFC module, IrDa, an RFID module, a GSM modem, and so on. .P.
  • a device providing network reception and data transmission for example, an Ethernet card, a WLAN / Wi-Fi module, a Bluetooth module, a BLE module, an NFC module, IrDa, an RFID module, a GSM modem, and so on. .P.
  • the organization of data exchange via a wired or wireless data channel is provided, for example, WAN, PAN, LAN (LAN), Intranet, Internet, WLAN, WMAN or GSM.
  • the components of the device (200) are interfaced via a common data bus (210).

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Machine Translation (AREA)

Abstract

Настоящее изобретение относится к области обработки цифровых данных, а именно к автоматизированной оценке качества диалоговой системы на базе оценки релевантности индивидуальных сообщений. Заявленная система содержит: модуль определения тематики диалога, выполненный с возможностью получения текста диалога в реальном времени и автоматического определения тематики этого текста диалога; модуль обработки текста диалога, выполненный с возможностью выделения фраз из текста диалога на основе данных о тематике, которые были определены модулем определения тематики; модуль фильтрации фраз, выполненный с возможностью замены персональной информацию на специализированные топик- слова; модуль модели классификатора текущего состояния диалога, выполненный с возможностью определения мотивации продолжения тематики диалога в реальном времени на основе последовательности фраз и определения состояния завершения диалога по тематике, определенной модулем определения тематики диалога; модуль модели классификатора текущего качества диалога, выполненный с возможностью при приеме информации о состоянии завершения диалога присваивать балльную оценку качества диалогу на основании фраз, полученных от модуля классификатора текущего состояния диалога фраз.

Description

АВТОМАТИЗИРОВАННАЯ ОЦЕНКА КАЧЕСТВА ДИАЛОГОВОЙ СИСТЕМЫ В
РЕАЛЬНОМ ВРЕМЕНИ
ОБЛАСТЬ ИЗОБРЕТЕНИЯ
[0001] Настоящее изобретение относится к области обработки цифровых данных, а именно к способам автоматизированной оценки качества диалоговой системы на базе оценки релевантности индивидуальных сообщений.
УРОВЕНЬ ТЕХНИКИ
[0002] Из патента ЕР2287835В1 (МПК G10L15/00; G10L15/22, опубл. 23.02.2011) известна система моделирования поведения пользователя для оценки речевого диалога.
[0003] Из заявки на изобретение US20090112586A1 (МПК G10L15/00, опубл. 30.04.2009) известны система и способ оценки имитаций пользователей в устной диалоговой системе. В данном решении используется пользовательское моделирование разговорной диалоговой системы, которое включает в себя объединение первого набора одного или нескольких баллов из реального диалогового окна пользователя, агрегирование второго набора из одного или нескольких баллов из имитированного диалогового окна пользователя, связанного с пользовательской моделью, определение сходства распределений, связанных с каждым из первого набора и второго набора, где сходство определяется с использованием показателя дивергенции, который не требует каких-либо предположений относительно формы распределений. Недостатками таких решений является большой уровень ошибок при оценке качества диалоговой системы и низкая эффективность за счет низкой скорости обработки диалогов.
[0004] Известны также решения оценки качества диалоговой системы, такие как, способ ассессорной оценки. В данном способе используется оценка по балльной шкале, где человек проставляет некоторое количество баллов диалогам согласно его мнению. Техническим примером имплементации такого решения являются сервисы типа - AWS Mechanical Turk или Яндекс Толока. Набору людей формулируются серии заданий, по оценке некоторого количества диалогов. В дальнейшем оценки могут усредняться. Данный тип оценки также реализован в ряде статей и используется повсеместно, например, в чатах типа Jivosite где в конце диалога пользователю предлагается оценить качество диалога. Недостатками данных решений является то, что они полностью не автоматизированы, т.к. в них принимает участие человек как элемент решения и плохо масштабируемые. [0005] В качестве решений на текущем уровне техники, локально решающие вопросы оценки набора диалогов математическими методами известны из таких решений, например, как: оценка набора диалогов математическими методами с помощью формальных метрик типа F1 или perplexity, где F1 - мера близости используется для сравнения эталонного ответа с реальным. Используется обычно мера близости по словам без их порядка или какая-нибудь модификация (http://www.aclweb.Org/anthology/E 12- 1048): решение Perplexity - математическая метрика из семантического анализа - условно насколько вероятность получения ответа от системы близка к вероятности получения ответа в реальной ситуации (https://arxiv.org/pdf/l30l.6705.pdf). Недостатками таких решений является плохое соответствие реальному качеству диалога, который воспринимается людьми. Большой уровень ошибки при оценке систем, генерирующих верные, но непохожие на эталонные ответы. Вариативность эталонных ответов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0006] Технической проблемой, на решение которой направлено заявленное техническое решение, является создание надежной и простой системы автоматизированной оценки качества диалоговой системы, позволяющей в режиме реального времени осуществлять автоматизированную оценку качества диалога. Также существенной решаемой проблемой подобного рода технических решений является обеспечение повышение скорости обработки данных и точности обработки диалогов.
[0014] Технический результат заключается в снижении вычислительных ресурсов и повышении скорости определения автоматизированной оценки качества диалоговой системы за счет замены персональной информацию на специализированные топик-слова.
[0015] В предпочтительном варианте реализации заявлена система автоматизированной оценки качества диалоговой системы в реальном времени, содержащая:
1) модуль определения тематики диалога, выполненный с возможностью получения текста диалога в реальном времени и автоматического определения тематики этого текста диалога;
2) модуль обработки текста диалога, выполненный с возможностью выделения фраз из текста диалога на основе данных о тематике, которые были определены модулем определения тематики;
3) модуль фильтрации фраз, выполненный с возможностью замены персональной информацию на специализированные топик-слова; 4) модуль модели классификатора текущего состояния диалога, выполненный с возможностью определения мотивации продолжения тематики диалога в реальном времени на основе последовательности фраз и определения состояния завершения диалога по тематике, определенной модулем определения тематики диалога;
5) модуль модели классификатора текущего качества диалога, выполненный с возможностью при приеме информации о состоянии завершения диалога присваивать балльную оценку качества диалогу на основании фраз, полученных от модуля классификатора текущего состояния диалога фраз.
[0016] В частном варианте система дополнительно включает модуль дообучения диалоговой системы, выполненный с возможностью на основе бальной оценки качества диалога осуществлять дообучение диалоговой.
[0017] В другом частном варианте для классификации тематик используется библиотека с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM) или k-means.
[0018] В другом частном варианте персональной информацией являются: числа, имена, названия мест, названия компаний, индивидуальности
[0019] В другом частном варианте список топик-слов формируется заранее с использованием механизмов именованных сущностей NER (Named entity recognition).
[0020] Именованные сущности (NER - Named-Entity Recognizing)— это объекты определенного типа, чаще всего составные, например, названия организаций, имена людей, даты, места, денежные единицы и т.д. Эти категории могут быть представлены концептами заранее определенной или динамически выстраиваемой онтологии.
Примеры именованных сущностей:
- Имена персоналий: И. Сечин, Ben White;
- Географические названия: р. Ока, гор. Москва;
- Названия компаний/организаций: РЖД, ОАО «Уют»;
- Даты и временные отрезки: 02.03.1913, 2 р.т;
- Номера телефонов: +7(123)456-78-90;
- Адреса: 3-ая улица Строителей д. 25, кв.12; - Марки товаров: Nokia, Apple, Land Rover;
- Обозначения денежных единиц: руб., $, GBP;
- Ссылки на литературу: [2], [Иванов, 1995];
- Гены, белки, хим. вещества: H2N-CH(R)-COOH.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0021] Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
Фиг. 1 иллюстрирует общий вид заявленной системы;
Фиг. 2 иллюстрирует общую схему вычислительного устройства.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0022] В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
[0023] Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
[0024] Настоящее изобретение направлено на создание системы автоматизированной оценки качества диалоговой системы в реальном времени.
[0025] Примером такой системы может являться, например, система колл-центра, которая должна принять решения может ли робот продолжить диалог с пользователем.
[0025] Как представлено на Фиг. 1, заявленная система (100) включает связанные между собой модуль определения тематики диалога (110), модуль обработки текста диалога (120), модуль фильтрации фраз (130), модуль модели классификатора текущего состояния диалога (140) и модуль модели классификатора текущего качества диалога (150).
[0026] Модуль определения тематики диалога (110), выполнен с возможностью получения текста диалога в реальном времени. Примером такого диалога может являться диалог между пользователем, с помощью, например, его мобильного телефона со специализированным программным обеспечением, и ботом. Где пользователь и бот обсуждают, например, работу пользователя, хобби, семью, погоду или вести диалоги на прочие темы (тематики).
[0027] Далее модуль определения тематики диалога (110) автоматически определяет тематику текста диалога между указанными выше пользователем и ботом.
При этом тематика полученного текста диалога определяется автоматически с использованием библиотеки с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM) или с использованием алгоритма к средних (k-means).
[0027] В библиотеке BigARTM сохранено множество предварительно обученных предикторов, в частном случае - нейросетевых моделей, целью применения которых является классификация входного текста диалога между человеком и ботом (роботом), то есть нахождения соответствия между входным текстом диалога и заранее определённым множеством возможных классов тематик (категорий) предыдущих сохраненных диалогов, к которым этот текст диалога может относиться.
[0028] Проклассифицированный текст диалога поступает на модуль обработки текста диалога (120), который выделяет фразы из текста диалога на основе данных о тематике, и которые были определены модулем определения тематики (110). После чего представляет полученный текст диалога, как набор последовательностей выделенных фраз.
[0029] Далее эти выделенные фразы поступают на модуль фильтрации фраз (130), в котором происходит замена персональной информацию на специализированные топик-слова. Это происходит следующим образом, анализируется каждая полученная фраз для того, чтобы найти те участки в фразе, в которых содержится персональная информация, такая как числа, имена, названия мест, названия компаний, индивидуальности и осуществляется замена этой персональной информации на специализированные топик-слова. Список топик-слов формируется заранее с использованием механизмов именованных сущностей NER (Named entity recognition). Ниже приведен пример такой замены.
Например фраза «У меня 10 декабря было день рождения» заменяется на фразу «У меня <DATE> было день рождения».
<DATE> является специализированным топик-словом.
[0030] После чего в модуле модели классификатора текущего состояния диалога (140), происходит определение мотивации продолжения тематики диалога в реальном времени на основе последовательности фраз и определение состояния завершения диалога по тематике, определенной модулем определения тематики диалога.
Например, мотивация может быть определена следующим образом: из полученных отфильтрованных фраз модуль модели классификатора текущего состояния диалога (140) формирует последовательность фраз по времени, когда они поступили на модуль определения тематики диалога (110). Известными из уровня техники лингвистическими методами анализа текста осуществляет определение мотивации продолжения тематики диалога в реальном времени.
В частности, последовательность фраз может состоять из следующих фраз:
- Как дела?;
- Хорошо;
- Что делаешь?;
- Митохондрии находятся в клетках.
Пример определения мотивации продолжения тематики: a. Как дела? - Да
B. Как дела? Хорошо - Возможно c. Как дела? Хорошо. Что делаешь? - Да d. Как дела? Хорошо. Что делаешь? Митохондрии находятся в клетках - Нет e. Хорошо - Возможно f. Хорошо. Что делаешь? - Да g. Хорошо. Что делаешь? Митохондрии находятся в клетках - Нет h. Что делаешь? - Да 1. Что делаешь? Митохондрии находятся в клетках. - Возможно j. Митохондрии находятся в клетках. - Возможно
Последовательность фраз может состоять из одной фразы: «Как дела?»
В таком случае согласно известным из уровня техники лингвистическими методам анализа текста определяет такую последовательность фраз в отношении данной тематики мотивированную и назначает активное состояние диалога на данную тематику.
В альтернативном варианте последовательность фраз может состоять из фраз, например:
«Как дела?» - «Хорошо.»
В таком случае согласно известным из уровня техники лингвистическими методам анализа текста модуль определяет такую последовательность фраз в отношении данной тематики, что тематика второй фразы совпадает с тематикой первой фразы и назначает активное состояние диалога на данную тематику.
В другом альтернативном варианте последовательность фраз может состоять из фраз, например:
«Как дела?» - «Хорошо.» - «Что делаешь?» - «Митохондрии находятся в клетках.»
В таком случае согласно известным из уровня техники лингвистическими методам анализа текста модуль определяет такую последовательность фраз в отношении данной тематики, что тематика четвертой фразы не совпадает с тематиками первых трех фраз и соответственно определяет состояние завершения диалога по тематике, определенной модулем определения тематики диалога.
[0031] После определения состояния завершения диалога по тематике в модуле модели классификатора текущего качества диалога (150) происходит присваивание балльной оценки качества диалога на основании фраз, полученных от модуля классификатора текущего состояния диалога фраз.
Присвоение бальной оценки осуществляется, например, с использованием ранее сформированной базы, где хранится список фраз с указанием того какой балл может быть присвоен данной фразы. При этом, данный список фраз может быть сформирован известными из уровня техники методами с помощью нейронных сетей. Такой сетью может быть, например, двухслойная CNN с функцией softmax или четырехслойная CNN. [0032] На Фиг. 2 далее будет представлена общая схема компьютерного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленной системы.
[0033] В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).
[0034] Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функционала одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).
В частности, процессор (201) может представлять собой микропроцессор с полным набором команд (CISC), микропроцессор с сокращенным набором команд (RISC), микропроцессор с командными словами сверхбольшой длины (VLIW), процессор, реализующий другой набор команд, или процессоры, реализующие комбинацию наборов команд. Процессор (201) также может представлять собой одно или несколько вычислительных устройств специального назначения, например, заказную интегральную микросхему (ASIC), программируемую пользователем вентильную матрицу (FPGA), процессор цифровых сигналов (DSP), сетевой процессор и т.п. Процессор (201) настроен на выполнение команд для осуществления рассмотренных в настоящем документе операций и функций.
[0035] Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
[0036] Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки транзакционных запросов (логов), идентификаторов пользователей и т.п.
[0037] Интерфейсы (204) представляют собой стандартные средства для подключения, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
[0038] Выбор интерфейсов (204) зависит от конкретного исполнения устройства (200), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п. [0039] В качестве средств В/В данных (205) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
[0040] Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi- Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
[0041] Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210).
[0042] В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
[0043] Некоторые части описания предпочтительных вариантов реализации представлены в виде алгоритмов и символического представления операций с битами данных в памяти компьютера. Такие описания и представления алгоритмов представляют собой средства, используемые специалистами в области обработки данных, чтобы наиболее эффективно передавать сущность своей работы другим специалистам в данной области. В настоящем документе и в целом алгоритмом называется самосогласованная последовательность операций, приводящих к требуемому результату. Операции требуют физических манипуляций с физическими величинами. Обычно, хотя и не обязательно, эти величины принимают форму электрических или магнитных сигналов, которые можно хранить, передавать, комбинировать, сравнивать и подвергать другим манипуляциям. Оказалось, что прежде всего для обычного использования удобно описывать эти сигналы в виде битов, значений, элементов, символов, членов, цифр и т.д.
[0044] Однако следует иметь в виду, что все эти и подобные термины должны быть связаны с соответствующими физическими величинами, и что они представляют собой просто удобные метки, применяемые к этим величинам. Если иное специально и недвусмысленно не указано в нижеследующем обсуждении, следует принимать, что везде по тексту такие термины как "определение", "вычисление", "расчет", "вычисление", "получение", "установление", "изменение" и т.п., относятся к действиям и процессам вычислительного устройства или аналогичного электронного вычислительного устройства, которое работает с данными и преобразует данные, представленные в виде физических (например, электронных) величин в регистрах и памяти вычислительного устройства, в другие данные, аналогичным образом представленные в виде физических величин в памяти или регистрах вычислительного устройства, либо других подобных устройствах хранения, передачи или отображения информации.
[0045] Следует понимать, что вышеприведенное описание носит иллюстративный, а не ограничительный характер. Различные другие варианты осуществления станут очевидны специалистам в данной области техники после прочтения и понимания приведенного выше описания. Поэтому объем раскрытия должен определяться со ссылкой на прилагаемую формулу изобретения наряду с полным объемом эквивалентов, на которые такие требования предоставляют право.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Система автоматизированной оценки качества диалоговой системы в реальном времени, содержащая:
1) модуль определения тематики диалога, выполненный с возможностью получения текста диалога в реальном времени и автоматического определения тематики этого текста диалога;
2) модуль обработки текста диалога, выполненный с возможностью выделения фраз из текста диалога на основе данных о тематике, которые были определены модулем определения тематики;
3) модуль фильтрации фраз, выполненный с возможностью замены персональной информацию на специализированные топик-слова;
4) модуль модели классификатора текущего состояния диалога, выполненный с возможностью определения мотивации продолжения тематики диалога в реальном времени на основе последовательности фраз и определения состояния завершения диалога по тематике, определенной модулем определения тематики диалога;
5) модуль модели классификатора текущего качества диалога, выполненный с возможностью при приеме информации о состоянии завершения диалога присваивать балльную оценку качества диалогу на основании фраз, полученных от модуля классификатора текущего состояния диалога фраз.
2. Система по п.1, характеризующаяся тем, что дополнительно включает модуль дообучения диалоговой системы, выполненный с возможностью на основе бальной оценки качества диалога осуществлять дообучение диалоговой.
3. Система по п.1, характеризующаяся тем, что для классификации тематик используется библиотека с открытым кодом для тематического моделирования больших коллекций текстовых документов (BigARTM) или k-means.
4. Система по п.1, характеризующаяся тем, что персональной информацией являются: числа, имена, названия мест, названия компаний, индивидуальности. Система по п.1, характеризующаяся тем, что список топик-слов формируется заранее с использованием механизмов именованных сущностей NER (Named entity recognition).
PCT/RU2018/000713 2018-10-30 2018-10-30 Автоматизированная оценка качества диалоговой системы в реальном времени WO2020091619A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18938773.1A EP3876228A4 (en) 2018-10-30 2018-10-30 AUTOMATED ESTIMATE OF THE QUALITY OF A REAL-TIME DIALOGUE SYSTEM
PCT/RU2018/000713 WO2020091619A1 (ru) 2018-10-30 2018-10-30 Автоматизированная оценка качества диалоговой системы в реальном времени

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000713 WO2020091619A1 (ru) 2018-10-30 2018-10-30 Автоматизированная оценка качества диалоговой системы в реальном времени

Publications (1)

Publication Number Publication Date
WO2020091619A1 true WO2020091619A1 (ru) 2020-05-07

Family

ID=70462474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2018/000713 WO2020091619A1 (ru) 2018-10-30 2018-10-30 Автоматизированная оценка качества диалоговой системы в реальном времени

Country Status (2)

Country Link
EP (1) EP3876228A4 (ru)
WO (1) WO2020091619A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035633A (zh) * 2020-08-21 2020-12-04 腾讯科技（深圳）有限公司 数据处理方法、装置、对话设备及存储介质
CN117112744A (zh) * 2023-08-02 2023-11-24 北京聆心智能科技有限公司 大语言模型的评估方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603854B1 (en) * 2000-02-25 2003-08-05 Teltronics, Inc. System and method for evaluating agents in call center
US20070067280A1 (en) * 2003-12-31 2007-03-22 Agency For Science, Technology And Research System for recognising and classifying named entities
US20090112586A1 (en) 2007-10-24 2009-04-30 At&T Lab. Inc. System and method of evaluating user simulations in a spoken dialog system with a diversion metric
US20100272246A1 (en) * 2005-12-14 2010-10-28 Dale Malik Methods, Systems, and Products for Dynamically-Changing IVR Architectures
EP2287835B1 (de) 2009-07-10 2012-05-23 Deutsche Telekom AG Automatisiertes Auswerten der Nutzbarkeit eines Sprachdialogsystems
US20170006161A9 (en) * 2013-03-15 2017-01-05 Genesys Telecommunications Laboratories, Inc. Intelligent automated agent for a contact center
RU2647661C1 (ru) * 2016-12-29 2018-03-16 Самсунг Электроникс Ко., Лтд. Способ определения профиля пользователя мобильного устройства на самом мобильном устройстве и система демографического профилирования

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11516153B2 (en) * 2016-01-25 2022-11-29 Expensify, Inc. Computer system providing a chat engine

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603854B1 (en) * 2000-02-25 2003-08-05 Teltronics, Inc. System and method for evaluating agents in call center
US20070067280A1 (en) * 2003-12-31 2007-03-22 Agency For Science, Technology And Research System for recognising and classifying named entities
US20100272246A1 (en) * 2005-12-14 2010-10-28 Dale Malik Methods, Systems, and Products for Dynamically-Changing IVR Architectures
US20090112586A1 (en) 2007-10-24 2009-04-30 At&T Lab. Inc. System and method of evaluating user simulations in a spoken dialog system with a diversion metric
EP2287835B1 (de) 2009-07-10 2012-05-23 Deutsche Telekom AG Automatisiertes Auswerten der Nutzbarkeit eines Sprachdialogsystems
US20170006161A9 (en) * 2013-03-15 2017-01-05 Genesys Telecommunications Laboratories, Inc. Intelligent automated agent for a contact center
RU2647661C1 (ru) * 2016-12-29 2018-03-16 Самсунг Электроникс Ко., Лтд. Способ определения профиля пользователя мобильного устройства на самом мобильном устройстве и система демографического профилирования

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035633A (zh) * 2020-08-21 2020-12-04 腾讯科技（深圳）有限公司 数据处理方法、装置、对话设备及存储介质
CN112035633B (zh) * 2020-08-21 2023-07-25 腾讯科技（深圳）有限公司 数据处理方法、装置、对话设备及存储介质
CN117112744A (zh) * 2023-08-02 2023-11-24 北京聆心智能科技有限公司 大语言模型的评估方法、装置及电子设备

Also Published As

Publication number Publication date
EP3876228A4 (en) 2021-11-10
EP3876228A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
US11080304B2 (en) Feature vector profile generation for interviews
US11676067B2 (en) System and method for creating data to train a conversational bot
WO2019153737A1 (zh) 用于对评论进行评估的方法、装置、设备和存储介质
US9268766B2 (en) Phrase-based data classification system
US11783131B2 (en) Knowledge graph fusion
WO2018184518A1 (zh) 微博数据处理方法、装置、计算机设备及存储介质
US10909973B2 (en) Intelligent facilitation of communications
CN110705255B (zh) 检测语句之间的关联关系的方法和装置
US11032217B2 (en) Reusing entities in automated task-based multi-round conversation
US20200035229A1 (en) Word clustering and categorization
KR102285142B1 (ko) 챗봇을 위한 학습 데이터 추천 장치 및 방법
US11934787B2 (en) Intent determination in a messaging dialog manager system
Hastie Metrics and evaluation of spoken dialogue systems
US11709553B2 (en) Automated prediction of a location of an object using machine learning
US11099107B2 (en) Component testing plan considering distinguishable and undistinguishable components
Zambrano et al. From ncoder to chatgpt: From automated coding to refining human coding
WO2020091618A1 (ru) Система определения именованных сущностей с динамическими параметрами
US11205048B2 (en) Contextual disambiguation of an entity in a conversation management system
US20210065019A1 (en) Using a dialog system for learning and inferring judgment reasoning knowledge
WO2020091619A1 (ru) Автоматизированная оценка качества диалоговой системы в реальном времени
US11487767B2 (en) Automated object checklist
US11657811B2 (en) Modification of voice commands based on sensitivity
US10970490B2 (en) Automatic evaluation of artificial intelligence-based processes
Surendran et al. Conversational AI-A retrieval based chatbot
KR102155692B1 (ko) 소셜 네트워크 서비스 메시지의 감정 분석을 위한 POS(part of speech) 특징기반의 감정 분석 방법 및 이를 수행하는 감정 분석 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18938773

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018938773

Country of ref document: EP

Effective date: 20210531