WO2020135124A1 - 会话质量评价方法、装置及电子设备 - Google Patents

会话质量评价方法、装置及电子设备 Download PDF

Info

Publication number
WO2020135124A1
WO2020135124A1 PCT/CN2019/125592 CN2019125592W WO2020135124A1 WO 2020135124 A1 WO2020135124 A1 WO 2020135124A1 CN 2019125592 W CN2019125592 W CN 2019125592W WO 2020135124 A1 WO2020135124 A1 WO 2020135124A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversation
user
vector
question
text
Prior art date
Application number
PCT/CN2019/125592
Other languages
English (en)
French (fr)
Inventor
宋凯嵩
林君
孙常龙
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2020135124A1 publication Critical patent/WO2020135124A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present application relates to a session quality evaluation method, device and electronic equipment, and belongs to the field of computer technology.
  • conversations between two characters are often involved, and there is a large market demand for conversation quality assessment between the two characters.
  • One of these two roles can be a user, and the other can provide consulting services or problem solving, such as patients and doctors, customers and lawyers, consumers and customer service personnel, equipment users and technical support.
  • customer service is a role established to solve various consultations, complaints and requests for help for products or services.
  • the quality of customer service will directly affect the user experience of the merchant.
  • some merchants have also set up an evaluation system for customer service quality. Through the user's scoring or evaluation of customer service, some evaluation results of customer service quality can be obtained to check the quality of customer service. service quality.
  • Embodiments of the present invention provide a method, device, and electronic device for evaluating session quality, so as to achieve more reasonable and comprehensive evaluation of session quality among users.
  • An embodiment of the present invention provides a session quality evaluation method, including:
  • the conversation data includes a plurality of question-answer pair data with a contextual relationship.
  • Each question-answer pair data includes a query word vector matrix corresponding to the first user query and a second customer service.
  • the result of the conversation quality classification is determined.
  • An embodiment of the present invention also provides a session quality evaluation device, including:
  • the conversation data acquisition module is used for acquiring conversation data between the first user and the second user.
  • the conversation data includes a plurality of question-answer pair data having a contextual relationship, and each question-answer pair data includes a query corresponding to the query of the first user.
  • the question-answer pair matching module is configured to perform question-answer pair matching processing based on the query word vector matrix and the reply word vector matrix, and generate a first dialogue vector corresponding to each question-answer pair data;
  • the context fusion module is used to perform conversation context fusion processing on the first conversation vector corresponding to each question-answer pair data according to the context relationship to generate a conversation vector;
  • a classification module is used to determine a session quality classification result according to the session vector.
  • An embodiment of the present invention also provides an electronic device, including:
  • a processor fused to the memory, is used to execute the above program for the following processing:
  • the conversation data includes a plurality of question-answer pair data having a contextual relationship.
  • Each question-answer pair data includes a query word vector matrix corresponding to the first user query and the second user.
  • the result of the conversation quality classification is determined.
  • the abstract representation of the entire conversation is determined based on the matching relationship between the user query and the user response and the contextual relationship information between multiple rounds of conversation, so that the user
  • the classification results of intersessional conversation quality can reflect the evaluation results of conversational quality more reasonably and comprehensively.
  • FIG. 1 is a schematic structural diagram of a session evaluation model according to an embodiment of the present invention
  • FIG. 2 is a second structural diagram of a session evaluation model according to an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of a method for evaluating session quality according to an embodiment of the present invention.
  • FIG. 4 is a third schematic structural diagram of a session evaluation model according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a session quality evaluation device according to an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of an electronic device according to an embodiment of the present invention.
  • conversational communication between two roles is often involved.
  • One of the two roles has the intention to seek problem resolution, while the other side acts as a provider of problem solving opinions to communicate with them, for example, patients and doctors.
  • Customers and lawyers users and customer service personnel, equipment users and technical support.
  • it is hoped that the quality of the conversation between the two characters will be evaluated.
  • whether the answer provided by one user can solve the question raised by another user is the core focus of the evaluation of the conversation quality between two users. For example, when the user evaluates the quality of customer service objectively, the main consideration is Whether the answer of the customer service can solve the question raised by the user. If the question raised by the user can be answered, the user will give a higher score or a more satisfactory evaluation result.
  • an embodiment of the present invention proposes a session quality evaluation technology to evaluate the session quality between two characters.
  • the conversation quality evaluation method is mainly described by taking the conversation between the customer service and the user as an example, and whether the conversation between the customer service and the user can solve the user's problem is regarded as the core focus of the evaluation of the customer service quality, that is, Only when the answers provided by the customer service can solve the problems raised by the user, is it considered a high-quality service.
  • the session quality evaluation method of the embodiment of the present invention is not limited to the evaluation of the session quality between customer service and users, but can also be used to evaluate the quality of sessions between other two users. For example, for the conversation between the client and the lawyer, the quality of the lawyer’s legal consultation service can be evaluated based on whether the session solves the legal-related issues consulted by the client
  • the machine learning model shown in Figures 1 and 2 can be constructed, and the machine learning model can be trained by using a supervised training mechanism, so that the trained machine learning model can Evaluation of session quality.
  • the training data can come from the historical session data between two users, and the calibration result for the historical session data can come from the user's evaluation of the session quality, or from the evaluation result after manual calibration.
  • FIGS. 1 and 2 will be further described in conjunction with the following embodiments.
  • the matching relationship characteristics between the query of the first user and the reply of the second user in each question and answer pair of the conversation are obtained,
  • an abstract representation of multiple rounds of conversations can be obtained, so that a more reasonable classification result of the conversation quality can be obtained, reflecting whether the answer provided by the second user can solve the first user’s proposal.
  • FIG. 3 it is a schematic flowchart of a method for evaluating session quality according to an embodiment of the present invention.
  • the method includes:
  • the conversation data includes a plurality of question-answer pair data having a contextual relationship, and each question-answer pair data includes a query word vector matrix corresponding to the first user query and a reply word vector matrix corresponding to the second user response.
  • the conversation here refers to the interaction process between two users. For example, the conversation can specifically refer to a period of interaction between the customer service and the user.
  • the conversation contains multiple rounds of dialogue, and a round of dialogue refers to the form of one question and one answer , Consisting of user inquiries and customer service replies. That is, dialogue refers to a question-answer pair, and conversation refers to a series of question-answer pairs, including multiple rounds of dialogue.
  • the session evaluation model is a machine learning model for evaluating session quality between two users.
  • the conversation data includes n question-answer pair data
  • each question-answer pair data includes a vector representation generated based on the first user query and a vector representation generated based on the second user response .
  • the vector representation mentioned here may represent the first user query and the second user response as a combination of multiple word vectors based on word embedding, that is, the query word vector matrix and the response word vector matrix shown in the figure.
  • S102 Perform question and answer pair matching processing according to the query word vector matrix and the answer word vector matrix, and generate a first dialogue vector corresponding to each question and answer pair data.
  • the processing in this step is handled by the question answering matching layer in the figure, in which the question answering pair matching process is performed on each question answering pair data, forming each question answering pair to generate a corresponding abstraction Representation, that is, the first dialogue vector (in order to distinguish it from the following description, this is called the first dialogue vector).
  • Each first dialogue vector corresponds to a question and answer pair, and also corresponds to a round of dialogue formed by the question and answer pair, that is, each first dialogue vector is equivalent to an abstract representation of a round of dialogue.
  • the first dialogue vector contains relevant information of the matching relationship between the first user query and the second user response in the corresponding question-answer pair.
  • the question answering matching layer may use an attention (Attention) model to perform matching processing, and the output result after the attention model processing is represented in a vector form, which may be called an attention vector.
  • the attention model can be a one-way attention model or a two-way attention model.
  • each element in the attention weight vector corresponds to the words of the first user's query Relative to the overall importance of the second user’s reply or weight information
  • each element in the attention weight vector corresponds to the first The importance or weight information of each word in the user's reply relative to the user's query as a whole.
  • the attention vector generated by using the one-way attention model can be directly used as the above-mentioned first dialogue vector.
  • the first dialogue vector contains The attention weight information of each word in the second user response relative to the first user query and the attention weight information of each word in the first user query relative to the second user response are described.
  • S103 Perform conversation context fusion processing on the first conversation vector corresponding to each question-answer pair data according to the context relationship to generate a conversation vector.
  • the processing of this layer takes into account the context relationship of each question and answer to the data, that is, the context vector information of each first conversation vector is included in the conversation vector.
  • the processing in this step can be processed through the session presentation layer shown in FIG. 1.
  • the session presentation layer can be implemented using the LSTM (Long Short-Term Memory, long-short-term memory network) model.
  • a self-attention can be added in the conversation presentation layer (Self Attention) model, so as to extract the weight information of each round of dialogue in the whole conversation process, and generate a conversation vector based on the weight information.
  • LSTM processing is first performed on the first dialogue vector corresponding to the data of each question and answer pair to generate a second dialogue vector including conversation context information, and the second dialogue vector is fused to generate a conversation vector.
  • self-attention weight calculation may be performed on the second dialogue vector to generate a self-attention weight vector as the above-mentioned conversation vector.
  • each second conversation vector corresponds to a first conversation vector, and a plurality of second conversation vectors may form a sequence of conversation vectors, that is, form a conversation.
  • the calculated self-attention weight vector includes attention weight information of each second conversation vector relative to the conversation vector sequence or the conversation.
  • S104 Determine a session quality classification result according to the session vector.
  • classification processing can be performed based on the conversation vector.
  • the classification process can be realized by the classification layer shown in FIG. 1, and the classification process of the classification layer can be realized by using the Softmax (normalized exponential function) model.
  • the session quality classification result output by the classification layer may be the probability that the current session data corresponds to each classification. For example, if the session quality classification result is set to four categories: excellent, good, medium, and poor, the session quality classification result is also excellent 0.6, good 0.2, medium 0.1, and poor 0.1. According to such probability distribution, it can be based on ranking Determine the final evaluation result.
  • FIG. 4 it is the third schematic diagram of the machine learning model for evaluating the session quality between users according to an embodiment of the present invention.
  • the data preprocessing process and the output layer processing of the machine learning model are added .
  • the pre-processing part is outside the conversation evaluation model.
  • the pre-processed text is called the pending question-answer pair text.
  • the pending question-answer pair text has split the entire session into multiple question-answer pairs in a certain order. Arranged as a sequence of question and answer pairs.
  • the input layer processing mainly includes word embedding processing and LSTM processing for each word vector.
  • the original data that can be obtained is generally the original conversation text between the customer service and the user.
  • the original conversation text may come from a direct text chat record between the first user and the second user, or may come from the original conversation text converted based on the voice chat record.
  • one or more pre-processings in the following aspects can be performed, so that the formed conversation data is more conducive to the further processing of the conversation evaluation model.
  • the above preprocessing includes the following aspects:
  • Question and answer matching screening preliminary judgment whether the question and answer match, the judgment is mainly to calculate the correlation between the first user query text and the second user response text (by calculating the distance of the semantic vector), through the preset Relevance threshold for filtering.
  • the degree of association can also be determined by keyword matching.
  • the original conversation text needs to be split into a plurality of original question-answer pair texts with a conversation context relationship.
  • the original question-answer pair text includes the first user query text and the second user customer service text.
  • Noise elimination It is used to delete the text that appears alone in the original conversation text, meaningless or welcome message at the beginning of the conversation, etc. Noise removal can be performed directly on the original conversation text.
  • Text merge merge consecutive texts into a question and answer pair, for example, several consecutive first user queries or second user responses and the identified supplementary first user queries or second user responses for text merge.
  • Text merge processing can also be directly directed to the original conversation text.
  • the partial processing may include: acquiring the first user's conversation text sequence and the second user's conversation text sequence in the original conversation text, identifying the supplementary first user query text in the first user's conversation text sequence, and converting The supplementary first user query text is incorporated into the supplemented first user query text, and/or, the supplementary second user reply text in the second user's conversation text sequence is identified, and the supplementary second user query text The user response is incorporated into the supplemented second user response text, and then, according to the dialogue order between the user and the second user, the user's conversation text sequence and the second user's conversation text sequence are split and combined to form Multiple pending Q&A pairs in context.
  • Timing adjustment Since the conversation process is more flexible, in order to make the conversation data more effective, the timing relationship between the first user query and the second user response in the conversation process is adjusted to form a better corresponding question and answer pair .
  • This part of the processing may specifically include: acquiring the conversation text sequence of the first user and the conversation text sequence of the second user in the original conversation text, and according to the conversation order and the question-answer matching relationship between the first user and the second user, the first user And the second user's conversation text sequence are split and combined to form multiple to-be-processed question and answer pair texts with contextual relationships.
  • the conversation quality evaluation method of the embodiment of the present invention extracts the matching relationship characteristics between the query of the first user and the reply of the second user in the question and answer pair, and on the other hand, introduces multiple rounds of conversations when abstractly representing the conversation Contextual information.
  • the classification result of the conversation quality between users can be more reasonable, and it can also reflect the evaluation goal of whether the answer provided by the second user can solve the problem raised by the first user.
  • FIG. 5 it is a schematic structural diagram of a session quality evaluation device according to an embodiment of the present invention.
  • the device includes:
  • the conversation data obtaining module 11 is used to obtain conversation data between the first user and the second user.
  • the conversation data includes multiple question-answer pair data with a contextual relationship, and each question-answer pair data includes a query word vector corresponding to the first user query. A matrix and a matrix of reply word vectors corresponding to the reply of the second user.
  • the session data acquisition module 11 may use the input layer processing model in FIG. 2 to generate session data.
  • the session data acquisition module 11 may first obtain the original conversation text between the first user and the second user, and then split the original conversation text into multiple pending Q&A texts with a contextual relationship, and finally multiple pending Q&A texts. Separate word embedding processing and word context fusion processing on the text to generate the above conversation data.
  • the conversation data acquisition module 11 may further include a function of preprocessing the original conversation text (as shown in FIG. 4). The contents of several aspects included in the pre-processing have been described in the previous embodiments, and will not be repeated here.
  • the question and answer pair matching module 12 is configured to perform question and answer pair matching processing based on the query word vector matrix and the reply word vector matrix, and generate a first dialogue vector corresponding to each question and answer pair data.
  • the question and answer pair matching module 12 can be implemented using the relevant models of the question and answer matching layer in FIG. 1, FIG. 2, and FIG. That is, one-way attention model or two-way attention model can be used.
  • the context fusion module 13 is configured to perform conversation context fusion processing on the first conversation vector corresponding to each question-answer pair data according to the context relationship to generate a conversation vector.
  • the context fusion module 13 can be implemented using the relevant models of the session presentation layer in FIG. 1, FIG. 2, and FIG. 4, for example, the context fusion process can be performed using the LSTM model or a combination of the LSTM model and the self-attention model.
  • the classification module 14 is used to determine the classification result of the conversation quality according to the conversation vector.
  • the classification module 14 may be implemented using the relevant models of the classification layer in FIG. 1, FIG. 2, and FIG. 4, for example, it may be implemented using the Softmax model.
  • the conversation quality evaluation device of the embodiment of the present invention extracts the matching relationship characteristics between the query of the first user and the reply of the second user in the question and answer pair, and on the other hand, introduces multiple rounds of conversations when abstractly representing the conversation Contextual information.
  • the classification result of the conversation quality between users can be more reasonable, and it can also reflect the evaluation goal of whether the answer provided by the second user can solve the problem raised by the first user.
  • FIG. 6 is a schematic structural diagram of the electronic device according to an embodiment of the present invention , Specifically including: memory 110 and processor 120.
  • the memory 110 is used to store programs.
  • the memory 110 may be configured to store various other data to support operations on the electronic device. Examples of these data include instructions for any application or method for operating on the electronic device, contact data, phone book data, messages, pictures, videos, etc.
  • the memory 110 may be implemented by any type of volatile or non-volatile storage device or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read only memory (EEPROM), erasable and removable Programmable read only memory (EPROM), programmable read only memory (PROM), read only memory (ROM), magnetic memory, flash memory, magnetic disk or optical disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read only memory
  • EPROM erasable and removable Programmable read only memory
  • PROM programmable read only memory
  • ROM read only memory
  • magnetic memory magnetic memory
  • flash memory magnetic disk or optical disk.
  • the processor 120 coupled to the memory 110, is used to execute the program in the memory 110 for performing the following processes:
  • the conversation data includes multiple question-answer pair data with a contextual relationship.
  • Each question-answer pair data includes a query word vector matrix corresponding to the first user query and a response corresponding to the second user.
  • the question-answer pair matching process is performed to generate the first dialogue vector corresponding to each question-answer pair data
  • the first conversation vector corresponding to each question-answer pair data is subjected to conversation context fusion processing to generate a conversation vector
  • the result of the conversation quality classification is determined.
  • a two-way attention weight vector is calculated as the first dialogue vector, where the two-way attention weight vector includes the attention weight of each word in the second user response relative to the first user query Information and attention weight information of each word in the query of the first user relative to the reply of the second user.
  • performing conversation context fusion processing on the first conversation vector corresponding to each question-answer pair data, and generating the conversation vector may include:
  • LSTM processing is performed on the first dialogue vector corresponding to each question-answer pair data to generate a second dialogue vector including contextual relationship information
  • Fusion processing is performed on the second dialogue vector to generate a conversation vector.
  • the performing text fusion processing on the second conversation vector to generate the conversation vector includes:
  • Self-attention weight calculation is performed on the second dialogue vector, and a self-attention weight vector is generated as the conversation vector.
  • obtaining session data between the first user and the second user may include:
  • splitting the original conversation text into multiple pending question and answer pair texts with a contextual relationship may include:
  • splitting the original conversation text into multiple pending question-answer pair texts with conversation context can include:
  • the first user's conversation text sequence and the second user's conversation text sequence are split and combined to form a plurality of question-answer pair texts with a contextual relationship.
  • splitting the original conversation text into multiple pending question-answer pair texts with conversation context can include:
  • the first user's conversation text sequence and the second user's conversation text sequence are split and combined to form multiple pending question-and-answer pairs with a contextual relationship text.
  • the electronic device may further include: a communication component 130, a power component 140, an audio component 150, a display 160, and other components. Only some components are schematically shown in FIG. 6, and it does not mean that the electronic device includes only the components shown in the figure.
  • the communication component 130 is configured to facilitate wired or wireless communication between the electronic device and other devices.
  • Electronic devices can access wireless networks based on communication standards, such as WiFi, 2G or 3G, or a combination thereof.
  • the communication component 130 receives a broadcast signal or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communication component 130 further includes a near field communication (NFC) module to facilitate short-range communication.
  • NFC near field communication
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology, and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the power supply component 140 provides power for various components of the electronic device.
  • the power supply component 140 may include a power management system, one or more power supplies, and other components associated with generating, managing, and distributing power for electronic devices.
  • the audio component 150 is configured to output and/or input audio signals.
  • the audio component 150 includes a microphone (MIC).
  • the microphone When the electronic device is in an operation mode, such as a call mode, a recording mode, and a voice recognition mode, the microphone is configured to receive an external audio signal.
  • the received audio signal may be further stored in the memory 110 or transmitted via the communication component 130.
  • the audio component 150 further includes a speaker for outputting audio signals.
  • the display 160 includes a screen, which may include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen may be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touch, swipe, and gestures on the touch panel. The touch sensor may not only sense the boundary of the touch or sliding action, but also detect the duration and pressure related to the touch or sliding operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种会话质量评价方法、装置及电子设备，其中，方法包括：获取第一用户与和第二用户之间会话数据；根据各个问答对数据中的查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成第一对话向量；根据上下文关系，进行会话上下文融合处理，生成会话向量；根据会话向量，确定会话质量分类结果。该方法在对用户间的会话进行质量的评价过程中，基于用户查询和用户答复之间的匹配关系特征以及多轮对话之间的上下文关系信息来确定整个会话的抽象表示，使得对用户间会话质量的分类结果能够更加合理和全面地体现会话质量的评价结果。

Description

会话质量评价方法、装置及电子设备
本申请要求2018年12月27日递交的申请号为201811615367.9、发明名称为“会话质量评价方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及一种会话质量评价方法、装置及电子设备，属于计算机技术领域。
背景技术
在许多应用场景中，经常会涉及到两个角色之间的会话交流，对两个角色之间的会话质量评估有着较大的市场需求。这两种角色中的一方可以是用户，另一方可以提供咨询服务或者问题解决的一方，例如，病人与医生、客户与律师、消费者与客服人员、设备使用方与技术支持等。
以客服为例，客服是为了解决用户针对产品或者服务的各种咨询、投诉以及求助等事项而设立的角色，客服的服务质量将直接影响到用户对于商家的用户体验。为了能够更好地对客服服务质量进行管理，一些商家也设置了客服服务质量的评价系统，通过用户对客服服务进行打分或者评价的方式，来获得一些客服服务质量的评价结果，从而检验客服的服务质量。
不过，在现有技术的客服评价机制中，完全依赖于用户的反馈评价，很多用户在与客服交流后，可能不愿意进行评价。另外，虽然很多用户也进行了评价，不过可能一些用户的评价并不客观或者非常随意，也无法对客服的服务质量进行很好的评价。
发明内容
本发明实施例提供一种会话质量评价方法、装置及电子设备，以实现对用户间的会话质量更加合理和全面的评价。
本发明实施例提供了一种会话质量评价方法，包括：
获取第一用户与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二客服答复的答复词向量矩阵；
根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各 个问答对数据对应的第一对话向量；
根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
根据所述会话向量，确定会话质量分类结果。
本发明实施例还提供了一种会话质量评价装置，包括：
会话数据获取模块，用于获取第一用于与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二客服答复对应的答复词向量矩阵；
问答对匹配模块，用于根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；
上下文融合模块，用于根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
分类模块，用于根据所述会话向量，确定会话质量分类结果。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，融合至所述存储器，用于执行上述程序，以用于如下处理：
获取第一用户与第二用户之间会话数据，所述对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复的答复词向量矩阵；
根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；
根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
根据所述会话向量，确定会话质量分类结果。
本发明实施例在对用户间的会话进行质量的评价过程中，基于用户查询和用户答复之间的匹配关系特征以及多轮对话之间的上下文关系信息来确定整个会话的抽象表示，使得对用户间会话质量的分类结果能够更加合理和全面地体现会话质量的评价结果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例的会话评价模型的结构示意图之一；
图2为本发明实施例的会话评价模型的结构示意图之二；
图3为本发明实施例的会话质量评价方法的流程示意图；
图4为本发明实施例的会话评价模型的结构示意图之三；
图5为本发明实施例的会话质量评价装置的结构示意图；
图6为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在一些应用场景中，经常会涉及到两个角色之间的会话交流，两个角色的一方具有寻求问题解决意图，而另一方作为问题解决意见的提供方与其进行会话交流，例如，病人与医生、客户与律师、用户与客服人员、设备使用方与技术支持等。为了能够更好实现更好的会话交流，希望对两个角色之间的会话进行质量评价。在实际应用场景中，可以将一个用户提供的回答是否能够解决另一用户提出的问题作为两个用户之间会话质量的评价核心关注点，例如，用户对客服质量进行客观评价时，主要是考虑客服的回答是否能够解决用户提出的问题，如果用户提出的问题能够得到解答，用户会给出较高的评分或者较满意的评价结果。
针对这样的应用场景，本发明实施例提出了一种会话质量评价技术，来实现对两个角色之间的会话质量进行评估。本发明实施例以主要以客服和用户之间的会话为例来说明会话质量评价方法，将客服与用户之间的会话是否能够解决用户的问题作为对客服服务质量的评价核心关注点，也即，在客服提供的回答能够解决用户的提出的问题时，才被认为是高质量的服务。但是，但本领域技术人员应当明了，本发明实施例的的会话质量评价方法不限于对客服和用户之间的会话质量进行评价，还可用于对其他的两用户之间的会话进行质量评价。例如，对于客户与律师之间的会话，可基于会话是否解决客户 所咨询的法律相关问题，来评价律师提供法律咨询的服务质量
基于这样的技术思想，可以构建出如图1和图2所示的机器学习模型，并通过采用有监督训练机制对该机器学习模型进行训练，从而使得训练后的机器学习模型可以对用户间的会话质量进行评价。训练数据可以来自于两用户之间的历史会话数据，对于历史会话数据的标定结果可以来自于用户对会话质量的评价，也可以来自于经过人工标定的评价结果。关于图1和图2的详细结构，会结合后面的实施例进行进一步说明。
根据本发明的示例性实施方式，在对两用户之间的会话进行质量的评价过程中，一方面获取会话的每个问答对中第一用户查询与第二用户答复之间的匹配关系特征，另一方面基于多轮对话之间的上下文关系信息获取多轮对话的抽象表示，从而能够获取更加合理的会话质量的分类结果，体现出第二用户提供的回答是否能够解决第一用户的提出的问题，以合理且全面地对会话质量进行评价。
下面通过一些具体实施例来进一步说明本发明的技术方案。
实施例一
如图3所示，其为本发明实施例的会话质量评价方法的流程示意图，该方法包括：
S101，获取第一用户与第二用户之间会话数据。会话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵。这里所说的会话是两用户之间的交互过程，例如，会话具体可以是指客服与用户之间的一段交互过程，会话包含了多轮对话，而一轮对话是指一问一答的形式，由用户查询和客服答复构成。也即，对话是指一个问答对，会话是指一系列问答对，包括多轮对话。
如图1和图2所示，其为本发明实施例的会话评价模型的结构示意图之一和结构示意图之二，该会话评价模型为用于两用户间的会话质量评价的机器学习模型。结合图1和图2所示的会话评价模型，对话数据包括了n个问答对数据，每个问答对数据中包含了基于第一用户查询生成的向量表示和基于第二用户答复生成的向量表示。这里所说的向量表示可以是基于词嵌入的方式将第一用户查询和第二用户答复表示为多个词向量的组合，即图中所示的查询词向量矩阵和答复词向量矩阵。
S102，根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量。如图2所示，该步骤的处理由图中的问答匹配层来处理，在该问答匹配层中，会对每个问答对数据分别执行问答对匹配处理，形成每个问答 对生成对应的抽象表示，即第一对话向量(为了与后面的描述进行区分，这里称作第一对话向量)。每个第一对话向量对应一个问答对，也与问答对形成的一轮对话相对应，也即，每个第一对话向量相当于一轮对话的抽象表示。
在第一对话向量包含对应的问答对中第一用户查询和第二用户答复的匹配关系的相关信息。该问答匹配层可以采用注意力(Attention)模型来执行匹配处理，经过注意力模型处理后输出结果以一种向量表示形式，可以称作注意力向量。注意力模型可以采用单向的注意力模型也可以采用双向注意力模型。在采用单向注意模型的情况下，如果计算的是第一用户查询到第二用户答复的注意力权重向量，则该注意力权重向量中的各个元素对应于第一用户查询中的各个词的相对于第二用户答复整体的重要程度或者说是权重信息，反之，如果计算的是第二用户答复到第一用户查询的注意力权重向量，则该注意力权重向量中的各个元素对应于第二用户答复中的各个词的相对于用户查询整体的重要程度或者说是权重信息。采用单向注意模型生成的注意力向量可以直接作为上述的第一对话向量。如果采用的是双向注意力模型，则会生成两个方向上的注意力权重向量，将这个两个方向的注意力向量进行拼接后，作为上述的第一对话向量，即第一对话向量中包含了第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。
S103，根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量。该层的处理考虑了各个问答对数据的上下文关系，也就是说，会话向量中包了各个第一对话向量的上下文关系信息。该步骤的处理可以通过图1所示的会话表示层来进行处理，会话表示层可以利用LSTM(Long Short-Term Memory，是长短期记忆网络)模型来实现。
进一步地，由于在会话的上下文中，各个问答对数据的对于会话质量的评价的重要程度很可能是不同的，因此，可以如图2所示，在会话表示层中，可以加入一个自我注意力(Self Attention)模型，从而提取在整个会话过程中的各轮对话的权重信息，基于这些权重信息来生成会话向量。
在具体实现过程中，先对各个问答对数据对应的第一对话向量执行LSTM处理，生成包括会话上下文关系信息的第二对话向量，并对第二对话向量进行融合处理，生成会话向量。具体地，可对第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为上述的会话向量。这里，每个第二对话向量分别对应一个第一对话向量，多个第 二对话向量可形成一个对话向量序列，也即，形成一段会话。计算得到的自我注意力权重向量包括各个第二对话向量相对于该对话向量序列或该段会话的注意力权重信息。
S104，根据会话向量，确定会话质量分类结果。在通过步骤S103获得了会话向量后，就可以基于该会话向量执行分类处理了。分类处理可通过图1所示的分类层来实现，该分类层的分类处理可以采用Softmax(归一化指数函数)模型来实现。分类层输出的会话质量分类结果可以是当前会话数据对应于各个分类的概率。例如，如果将会话质量分类结果设定为优、良、中、差四个分类的话，会话质量分类结果也是优0.6、良0.2、中0.1、差0.1，根据这样的概率分布，可以基于排名来确定最终的评价结果。
以上内容结合机器学习模型，介绍了本发明实施例的会话质量评价方法的处理流程。下面介绍一下为了形成有效的会话数据，而进行的预处理过程。如图4所示，其为本发明实施例的用户间的会话质量评价的机器学习模型的示意图之三，在图2的基础上，增加了数据预处理过程以及机器学习模型的输出层的处理。其中，预处理部分处于会话评价模型之外，经过预处理后的文本称作待处理问答对文本，待处理问答对文本已经将整个会话拆分为了多个问答对的形式，并且按照一定的顺序排列为了问答对序列。待处理问答对文本经过会话评价模型的输出层的处理后，可以形成上述的会话数据。输入层的处理主要包括词嵌入处理以及对各个词向量进行的LSTM处理。
在实际应用中，能够获取到的原始数据一般是客服与用户之间的原始会话文本。这些原始会话文本可以来自于第一用户与第二用户之间的直接的文字聊天记录，也可以来自于基于语音聊天记录而转换生成的原始会话文本。针对原始会话文本，可以执行如下几个方面中的一项或者多项预处理，从而使得形成的会话数据更加有利于会话评价模型的进一步处理。
具体地，上述的预处理包括如下几个方面：
1)问答对匹配筛选：初步判断问题和回答是否匹配，该判断主要是计算第一用户查询文本与第二用户答复文本之间的关联度(可以通过计算语义向量的距离)，通过预设的关联度阈值进行筛选。作为可选择方案，也可以通过关键字匹配的方式来确定关联度。在进行问答对匹配筛选之前，需要将原始会话文本拆分为多个具有会话上下文关系的原始问答对文本，原始问答对文本包括第一用户查询文本与第二用户客服文本。
2)噪音剔除：用于将原始会话文本中单独出现的文本、无意义或对话起始时的欢迎语等等剔除。噪音剔除可以直接针对原始会话文本来进行。
3)文本合并：将连续出现的文本合并到一个问答对中，例如连续的几个第一用户查询或第二用户答复以及可以识别出来的补充性的第一用户查询或第二用户答复进行文本合并。文本合并的处理也可以直接针对原始会话文本来进行。具体地，该部分处理可以包括：获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列，识别第一用户的会话文本序列中的补充性的第一用户查询文本，将补充性的第一用户查询文本并入到被补充的第一用户查询文本中，和/或，识别第二用户的会话文本序列中的补充性的第二用户答复文本，将补充性的第二用户答复并入到被补充的第二用户答复文本中，然后，根据用户与第二用户之间的对话次序，对用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。
4)时序调整：由于会话的过程较为灵活，为了让会话数据更加有效，对会话过程中的第一用户查询和第二用户答复之间的时序关系进行调整，以形成对应性更好的问答对。该部分处理可以具体包括：获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列，根据第一用户与第二用户之间的对话次序和问答匹配关系，对第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。
本发明实施例的会话质量评价方法，一方面提取了问答对中第一用户查询与第二用户答复之间的匹配关系特征，另一方面，在将会话进行抽象表示时，引入了多轮对话的上下文关系信息。通过两方面的结合，使得对用户间的会话质量的分类结果能够更加合理，更能体现出第二用户提供的回答是否能够解决第一用户的提出的问题这一评价目标。
实施例二
如图5所示，其为本发明实施例的会话质量评价装置的结构示意图，该装置包括：
会话数据获取模块11，用于获取第一用户与第二用户之间会话数据，对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵。会话数据获取模块11可以采用图2中输入层的处理模型，来生成会话数据。会话数据获取模块11可以先获取第一用户与第二用户之间的原始会话文本，然后将原始会话文本拆分为具有上下文关系的多个待处理问答对文本，最后再对多个待处理问答对文本进行分别词嵌入处理和词语上下文融合处理，生成上述会话数据。
会话数据获取模块11还可以进一步包含对原始会话文本的预处理的功能(如图4所示)。关于预处理包括的几个方面的内容，在前面的实施例中已经进行了说明，在此不再赘述。
问答对匹配模块12，用于根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量。问答对匹配模块12可以采用图1、图2以及图4中问答匹配层的相关模型来实现。即可以采用单向注意模型或者采用双向注意力模型来实现。
上下文融合模块13，用于根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量。上下文融合模块13可以采用图1、图2以及图4中会话表示层的相关模型来实现，例如，可以采用LSTM模型或者采用LSTM模型以及自我注意力模型的结合来执行上下文融合处理。
分类模块14，用于根据会话向量，确定会话质量分类结果。分类模块14可以采用图1、图2以及图4中分类层的相关模型来实现，例如，可以采用Softmax模型来实现。
对于上述各个模块的详细处理过程的描述、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
本发明实施例的会话质量评价装置，一方面提取了问答对中第一用户查询与第二用户答复之间的匹配关系特征，另一方面，在将会话进行抽象表示时，引入了多轮对话的上下文关系信息。通过两方面的结合，使得对用户间会话质量的分类结果能够更加合理，更能体现出第二用户提供的回答是否能够解决第一用户的提出的问题这一评价目标。
实施例三
前面实施例描述了本发明实施例的流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图6所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。
存储器110，用于存储程序。
除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如 静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器120，耦合至存储器110，用于执行存储器110中的程序，以用于执行如下处理：
获取第一用户与第二用户之间会话数据，对话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵；
根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；
根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
根据会话向量，确定会话质量分类结果。
其中，根据查询词向量矩阵和答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量可以包括：
根据查询词向量矩阵和答复词向量矩阵，计算双向注意力权重向量，作为第一对话向量，其中，双向注意力权重向量包括第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。
其中，根据上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量可以包括：
对与各个问答对数据对应的第一对话向量执行LSTM处理，生成包括上下文关系信息的第二对话向量；
对第二对话向量进行融合处理，生成会话向量。
其中，所述对所述第二对话向量进行文融合处理，生成会话向量包括：
对所述第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为所述会话向量。
其中，获取第一用户与第二用户之间会话数据可以包括：
获取第一用户与第二用户之间的原始会话文本；
将原始会话文本拆分为具有上下文关系的多个待处理问答对文本；
对多个待处理问答对文本进行分别词嵌入处理和词语上下文融合处理，生成会话数据。
其中，将原始会话文本拆分为具有上下文关系的多个待处理问答对文本可以包括：
将原始会话文本拆分为多个具有上下文关系的原始问答对文本；
计算各个原始问答对文本中第一用户查询文本与第二用户答复文本之间的关联度，将关联度小于预设阈值的原始问答对文本剔除，将剩余的原始问答对文本作为待处理问答对文本。
其中，在将原始会话文本拆分为具有会话上下文关系的多个待处理问答对文本之前还可以包括：
剔除掉原始会话文本中噪音文本。
其中，将原始会话文本拆分为具有会话上下文关系的多个待处理问答对文本可以包括：
获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；
识别第一用户的会话文本序列中的补充性的第一用户查询文本，将补充性的第一用户查询文本并入到被补充的第一用户查询文本中，和/或，识别第二用户的会话文本序列中的补充性的第二用户答复文本，将补充性的第二用户答复并入到被补充的第二用户答复文本中；
根据第一用户与第二用户之间的对话次序，对第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。
其中，将原始会话文本拆分为具有会话上下文关系的多个待处理问答对文本可以包括：
获取原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；
根据第一用户与第二用户之间的对话次序和问答匹配关系，对第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
进一步，如图6所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图6中仅示意性给出部分组件，并不意味着电子设备 只包括图中所示组件。
通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。
显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

  1. 一种会话质量评价方法，包括：
    获取第一用户和第二用户之间会话数据，所述会话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵；
    根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；
    根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
    根据所述会话向量，确定会话质量分类结果。
  2. 根据权利要求1所述的方法，其中，所述根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量包括：
    根据所述查询词向量矩阵和所述答复词向量矩阵，计算双向注意力权重向量，作为所述第一对话向量，其中，所述双向注意力权重向量包括第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。
  3. 根据权利要求2所述的方法，其中，根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量包括：
    对所述与各个问答对数据对应的第一对话向量执行LSTM处理，生成包括上下文关系信息的第二对话向量；
    对所述第二对话向量进行融合处理，生成会话向量。
  4. 根据权利要求3所述的方法，其中，所述对所述第二对话向量进行文融合处理，生成会话向量包括：
    对所述第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为所述会话向量。
  5. 根据权利要求1所述的方法，其中，所述获取第一用户与第二用户之间会话数据包括：
    获取第一用户与第二用户之间的原始会话文本；
    将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本；
    对所述多个所述待处理问答对文本进行分别词嵌入处理和词语上下文融合处理，生 成所述会话数据。
  6. 根据权利要求5所述的方法，其中，将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本包括：
    将所述原始会话文本拆分为多个具有上下文关系的原始问答对文本；
    计算各个原始问答对文本中第一用户查询文本与第二用户答复文本之间的关联度，将关联度小于预设阈值的原始问答对文本剔除，将剩余的原始问答对文本作为所述待处理问答对文本。
  7. 根据权利要求5所述的方法，其中，还包括：
    剔除掉所述原始会话文本中噪音文本。
  8. 根据权利要求5所述的方法，其中，将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本包括：
    获取所述原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；
    识别所述第一用户的会话文本序列中的补充性的第一用户查询文本，将所述补充性的第一用户查询文本并入到被补充的第一用户查询文本中，和/或，识别第二用户的会话文本序列中的补充性的第二用户答复文本，将所述补充性的第二用户答复并入到被补充的第二用户答复文本中；
    根据第一用户与第二用户之间的对话次序，对所述第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。
  9. 根据权利要求5所述的方法，其中，将所述原始会话文本拆分为具有上下文关系的多个待处理问答对文本包括：
    获取所述原始会话文本中第一用户的会话文本序列和第二用户的会话文本序列；
    根据第一用户与第二用户之间的对话次序和问答匹配关系，对所述第一用户的会话文本序列和第二用户的会话文本序列进行拆分组合，形成具有上下文关系的多个待处理问答对文本。
  10. 一种会话质量评价装置，包括：
    会话数据获取模块，用于获取第一用户与第二用户之间会话数据，所述会话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复对应的答复词向量矩阵；
    问答对匹配模块，用于根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；
    上下文融合模块，用于根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
    分类模块，用于根据所述会话向量，确定会话质量分类结果。
  11. 根据权利要求10所述的装置，其中，所述问答对匹配模块具体用于：
    根据所述查询词向量矩阵和所述答复词向量矩阵，计算双向注意力权重向量，作为所述第一对话向量，其中，所述双向注意力权重向量包括第二用户答复中的各个词相对于第一用户查询的注意力权重信息和第一用户查询中的各个词相对于第二用户答复的注意力权重信息。
  12. 根据权利要求10所述的装置，其中，所述上下文融合模块具体用于：
    对所述与各个问答对数据对应的第一对话向量执行LSTM处理，生成包括会话上下文关系信息的第二对话向量；
    对所述第二对话向量进行融合处理，生成会话向量。
  13. 根据权利要求12所述的装置，其中，所述对所述第二对话向量进行融合处理，生成会话向量包括：
    对所述第二对话向量进行自我注意力权重计算，生成自我注意力权重向量作为所述会话向量。
  14. 一种电子设备，包括：
    存储器，用于存储程序；
    处理器，融合至所述存储器，用于执行上述程序，以用于如下处理：
    获取第一用户与第二用户之间会话数据，所述会话数据包括具有上下文关系的多个问答对数据，每个问答对数据包括与第一用户查询对应的查询词向量矩阵和与第二用户答复的答复词向量矩阵；
    根据所述查询词向量矩阵和所述答复词向量矩阵，进行问答对匹配处理，生成与各个问答对数据对应的第一对话向量；
    根据所述上下文关系，对与各个问答对数据对应的第一对话向量进行会话上下文融合处理，生成会话向量；
    根据所述会话向量，确定会话质量分类结果。
PCT/CN2019/125592 2018-12-27 2019-12-16 会话质量评价方法、装置及电子设备 WO2020135124A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811615367.9A CN111382264B (zh) 2018-12-27 2018-12-27 会话质量评价方法、装置及电子设备
CN201811615367.9 2018-12-27

Publications (1)

Publication Number Publication Date
WO2020135124A1 true WO2020135124A1 (zh) 2020-07-02

Family

ID=71128380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/125592 WO2020135124A1 (zh) 2018-12-27 2019-12-16 会话质量评价方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN111382264B (zh)
WO (1) WO2020135124A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897934A (zh) * 2020-07-28 2020-11-06 腾讯科技（深圳）有限公司 问答对生成方法及装置
CN112818105A (zh) * 2021-02-05 2021-05-18 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN113407677A (zh) * 2021-06-28 2021-09-17 北京百度网讯科技有限公司 评估咨询对话质量的方法、装置、设备和存储介质
CN114418542A (zh) * 2022-01-20 2022-04-29 京东科技信息技术有限公司 业务操作流程的检验方法、装置、设备及存储介质
CN116561259A (zh) * 2023-07-07 2023-08-08 北京中关村科金技术有限公司 会话分割模型的测试方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463962A (zh) * 2020-11-18 2021-03-09 深圳木成林科技有限公司 一种聊天记录质检方法及装置
CN112446622A (zh) * 2020-11-30 2021-03-05 北京明略软件系统有限公司 企业微信会话评价方法、系统、电子设备及存储介质
CN113240436A (zh) * 2021-04-22 2021-08-10 北京沃东天骏信息技术有限公司 在线客服话术质检的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178853A1 (en) * 2013-12-19 2015-06-25 International Business Machines Corporation Modeling Asset Transfer Flow Relationships Discovered in Unstructured Data
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107748757A (zh) * 2017-09-21 2018-03-02 北京航空航天大学 一种基于知识图谱的问答方法
CN108052588A (zh) * 2017-12-11 2018-05-18 浙江大学城市学院 一种基于卷积神经网络的文档自动问答系统的构建方法
CN108073587A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 一种自动问答方法、装置及电子设备
CN108846077A (zh) * 2018-06-08 2018-11-20 泰康保险集团股份有限公司 问答文本的语义匹配方法、装置、介质及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301554A (zh) * 2013-07-18 2015-01-21 中兴通讯股份有限公司 一种对客服人员的服务质量进行质检的装置及方法
CN106844530A (zh) * 2016-12-29 2017-06-13 北京奇虎科技有限公司 一种问答对分类模型的训练方法和装置
CN108090127B (zh) * 2017-11-15 2021-02-12 北京百度网讯科技有限公司 建立问答文本评价模型与评价问答文本的方法、装置
CN108170764B (zh) * 2017-12-25 2022-06-14 上海大学 一种基于场景上下文的人机多轮对话模型构建方法
CN108509617A (zh) * 2018-04-04 2018-09-07 上海智臻智能网络科技股份有限公司 知识库构建、基于知识库的智能问答方法及装置、存储介质、终端
CN108804611B (zh) * 2018-05-30 2021-11-19 浙江大学 一种基于自我评论序列学习的对话回复生成方法及系统
CN108960574A (zh) * 2018-06-07 2018-12-07 百度在线网络技术（北京）有限公司 问答的质量确定方法、装置、服务器和存储介质
CN108959246B (zh) * 2018-06-12 2022-07-12 北京慧闻科技(集团)有限公司 基于改进的注意力机制的答案选择方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178853A1 (en) * 2013-12-19 2015-06-25 International Business Machines Corporation Modeling Asset Transfer Flow Relationships Discovered in Unstructured Data
CN108073587A (zh) * 2016-11-09 2018-05-25 阿里巴巴集团控股有限公司 一种自动问答方法、装置及电子设备
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107748757A (zh) * 2017-09-21 2018-03-02 北京航空航天大学 一种基于知识图谱的问答方法
CN108052588A (zh) * 2017-12-11 2018-05-18 浙江大学城市学院 一种基于卷积神经网络的文档自动问答系统的构建方法
CN108846077A (zh) * 2018-06-08 2018-11-20 泰康保险集团股份有限公司 问答文本的语义匹配方法、装置、介质及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897934A (zh) * 2020-07-28 2020-11-06 腾讯科技（深圳）有限公司 问答对生成方法及装置
CN111897934B (zh) * 2020-07-28 2024-03-29 腾讯科技（深圳）有限公司 问答对生成方法及装置
CN112818105A (zh) * 2021-02-05 2021-05-18 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN112818105B (zh) * 2021-02-05 2021-12-07 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN113407677A (zh) * 2021-06-28 2021-09-17 北京百度网讯科技有限公司 评估咨询对话质量的方法、装置、设备和存储介质
CN113407677B (zh) * 2021-06-28 2023-11-14 北京百度网讯科技有限公司 评估咨询对话质量的方法、装置、设备和存储介质
CN114418542A (zh) * 2022-01-20 2022-04-29 京东科技信息技术有限公司 业务操作流程的检验方法、装置、设备及存储介质
CN116561259A (zh) * 2023-07-07 2023-08-08 北京中关村科金技术有限公司 会话分割模型的测试方法、装置、设备及介质
CN116561259B (zh) * 2023-07-07 2023-09-05 北京中关村科金技术有限公司 会话分割模型的测试方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111382264B (zh) 2023-06-09
CN111382264A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
WO2020135124A1 (zh) 会话质量评价方法、装置及电子设备
US11949758B2 (en) Detecting under-utilized features and providing training, instruction, or technical support in an observation platform
CN110008322B (zh) 多轮对话场景下的话术推荐方法和装置
US20200334419A1 (en) Iot-based call assistant device
CN106790004B (zh) 基于人工智能的客服辅助实时提示系统
US10262268B2 (en) Predictive analytic systems and methods
CN107818798A (zh) 客服服务质量评价方法、装置、设备及存储介质
US20180181561A1 (en) Analyzing conversations to automatically identify customer pain points
US20200092420A1 (en) Modeling voice calls to improve an outcome of a call between a representative and a customer
US20170004178A1 (en) Reference validity checker
US20160358115A1 (en) Quality assurance analytics systems and methods
KR20190058066A (ko) 상담데이터 관리 방법 및 장치
US20190340947A1 (en) Personality-type training system and methods
CN112131358A (zh) 场景流程结构及所应用的智能客服系统
US20180183930A1 (en) Analyzing conversations to automatically identify product feature requests
CN115280274A (zh) 环境协作智能系统和方法
CN116762125A (zh) 环境协作智能系统和方法
CN113724036A (zh) 提供问题咨询服务的方法及电子设备
US11682386B2 (en) System and method for electronic communication
CN117094690A (zh) 信息处理方法、电子设备及存储介质
KR102274335B1 (ko) 복수의 상담원을 통한 채팅기반 고객 프로파일 생성 방법 및 장치
KR102137155B1 (ko) 음성인식을 이용한 통화 서비스 시스템 및 방법
CN112911074A (zh) 一种语音通信处理方法、装置、设备和机器可读介质
US11545138B1 (en) Voice review analysis
US20230186897A1 (en) Searching calls based on contextual similarity among calls

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904180

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19904180

Country of ref document: EP

Kind code of ref document: A1