WO2020119031A1 - 基于深度学习的问答反馈方法、装置、设备及存储介质 - Google Patents

基于深度学习的问答反馈方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2020119031A1
WO2020119031A1 PCT/CN2019/088714 CN2019088714W WO2020119031A1 WO 2020119031 A1 WO2020119031 A1 WO 2020119031A1 CN 2019088714 W CN2019088714 W CN 2019088714W WO 2020119031 A1 WO2020119031 A1 WO 2020119031A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
deep learning
preset
target
learning model
Prior art date
Application number
PCT/CN2019/088714
Other languages
English (en)
French (fr)
Inventor
林桂
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020119031A1 publication Critical patent/WO2020119031A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • This application relates to the field of machine learning technology, and in particular to a question-answer feedback method, device, device, and storage medium based on deep learning.
  • question-and-answer robots mainly serve hospitals, company reception desks, and information desks for user consultation.
  • many large hospitals currently have question-and-answer robots in the outpatient hall.
  • the clinicians can input their own questions in front of the robot.
  • the robot searches the answers to the questions through communication with the back-end server and provides them to the clinicians.
  • the robot answering questions mainly depends on the background server's recognition of the question and the matching and retrieval of the question answers.
  • Existing background servers are generally pre-configured with a large number of common questions in the database. When the robot obtains the questions input by the doctor, the background The server pairs the question with the common question in the database. If the pairing is successful, the answer corresponding to the pairing success question is output. If the pairing fails, the server is fed back and the answer cannot be found.
  • Embodiments of the present application provide a question-answer feedback method, device, computer equipment, and storage medium based on deep learning, to solve the problem of high failure rate of existing automatic answering questions.
  • a question answering method based on deep learning including:
  • the first probability value characterizes the target The probability that the problem belongs to the corresponding preset user intention
  • the second deep learning model corresponding to the target user's intention is determined according to the preset intent model correspondence relationship, and the intent model correspondence relationship records the relationship between each preset user intention and each pre-trained second deep learning model Corresponding relationship
  • the second probability value characterizes the target Probability that the question has the same semantic meaning as the corresponding preset question group
  • a question and answer feedback device based on deep learning including:
  • the target problem acquisition module is used to obtain the target problem input by the user
  • a first probability output module which is used to input the target problem as an input to a pre-trained first deep learning model to obtain a first probability value corresponding to each preset user intention output by the first deep learning model, and A probability value represents the probability that the target problem belongs to the corresponding preset user intention;
  • the target intention selection module is used to select the preset user intention with the highest first probability value as the target user intention
  • the model determination module is used to determine the second deep learning model corresponding to the target user's intention according to the preset intent model correspondence, the intent model correspondence records each preset user's intention and each pre-trained second Correspondence between deep learning models;
  • a second probability output module which is used to input the target problem as an input to the determined second deep learning model to obtain the output second probability value corresponding to each preset problem group under the target user's intention,
  • the two probability values represent the probability that the problem semantics are the same between the target problem and the corresponding preset problem group;
  • the target problem group selection module is used to select the preset problem group with the highest second probability value as the target problem group
  • the answer feedback module is used to feed back the preset answer corresponding to the target question group to the user.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor, and the processor implements the computer-readable instructions to implement the above deep learning-based The steps of the Q&A feedback method.
  • One or more non-volatile readable storage media storing computer readable instructions, the computer readable storage media storing computer readable instructions, so that the one or more processors perform the above-mentioned deep learning-based question and answer Feedback method steps.
  • FIG. 1 is a schematic diagram of an application environment of a question answering method based on deep learning in an embodiment of the present application
  • FIG. 2 is a flowchart of a question answering method based on deep learning in an embodiment of the present application
  • FIG. 3 is a schematic flowchart of training a first deep learning model in an application scenario in a question answering method based on deep learning in an embodiment of the present application;
  • FIG. 4 is a schematic flowchart of question preprocessing in an application scenario in a question answering method based on deep learning in an embodiment of the present application;
  • FIG. 5 is a schematic flowchart of training a second deep learning model in an application scenario in a question answering method based on deep learning in an embodiment of the present application;
  • FIG. 6 is a schematic flowchart of combining solr in an application scenario with a question answering method based on deep learning in an embodiment of the present application;
  • FIG. 7 is a schematic structural diagram of a question answering feedback device based on deep learning in an embodiment of the present application.
  • FIG. 8 is a schematic diagram of a computer device in an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a first deep learning model in an embodiment of the present application.
  • FIG. 10 is a schematic structural diagram of a second deep learning model in an embodiment of the present application.
  • the question answering method based on deep learning can be applied in the application environment as shown in FIG. 1, in which the client communicates with the server through the network.
  • the client may be, but not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be realized by an independent server or a server cluster composed of multiple servers.
  • a question answering method based on deep learning is provided.
  • the method is applied to the server in FIG. 1 as an example for illustration, which includes the following steps:
  • the client when the user needs to consult, the client can input the target question, the client communicates with the server, and uploads the target question to the server, so that the server can obtain the target question input by the user.
  • the client can be a robot placed in the outpatient hall, lobby reception desk, etc., or a mobile terminal and other devices carried by the user.
  • the user can use a mobile phone as the client, and connect to the QR code provided by the scanning place. Enter the server to complete the submission of the target question.
  • the client is a question-and-answer robot.
  • the robot is equipped with a voice signal collection device such as a microphone.
  • the robot can collect the user through the voice signal collection device. 'S voice and translated into the target question.
  • the target problem as input into a pre-trained first deep learning model to obtain a first probability value corresponding to each preset user intention output by the first deep learning model.
  • the first probability value represents The probability that the target problem belongs to the corresponding preset user intention;
  • the first deep learning model is pre-trained on the server, and the first deep learning model is mainly used to judge the user's intention through the target problem input by the user, that is, to know which specific question the user asks belongs to In terms of questions, such as the user asking "Where is the pediatrician", the user's intention can be determined as "the location of the pediatrician", and returning the answer corresponding to the "position of the pediatrician” answers the user's question.
  • the first deep learning model can be preset with various preset user intentions according to the requirements of the actual application scenario during pre-training, and sample labeling and training are performed on these preset user intentions during training, so that the first deep learning The model has the ability to identify user intent through questions.
  • the question answering method based on deep learning provided in this embodiment can be applied to scenarios where almost all users, customers, and personnel may ask questions.
  • the following content is mainly used in Examples are given in the hospital scenario, but it should be emphasized that this method can be applied to scenarios including but not limited to hospitals, hotels, restaurants, airports, bus stations, offices, tourist reception halls, etc.
  • the server may input the target problem as an input to a pre-trained first deep learning model to obtain a first probability value corresponding to each preset user intention output by the first deep learning model , Where the first probability value represents the probability that the target question belongs to the corresponding preset user intention.
  • the first deep learning model may be pre-trained through the following steps:
  • the technician may set in advance various preset user intentions that need to be trained on the server.
  • several preset user intentions can be set as follows: disease inquiry, medicine inquiry, in-hospital navigation inquiry, and chat.
  • the server can collect sample questions belonging to each preset user intention through professional knowledge bases, network databases, and other channels.
  • the sample questions corresponding to each preset user intent should reach a certain order of magnitude, and the number of sample questions between each preset user intent may have a certain gap, but should not be too far apart to avoid affecting the first depth
  • the training effect of the learning model are: the number of questions for disease inquiries is 1 million, the number of questions for drug inquiries is 200,000, the number of in-hospital navigation inquiries is 300,000, and the number of inquiries is 20 Ten thousand.
  • step 202 it can be understood that before putting the sample problem into training, the collected sample problem needs to be vectorized separately to obtain the problem vector corresponding to each sample problem, and converting the problem into a vector is more convenient for the first depth Learning model understanding and training. It should be noted that, considering that the collected sample questions have many sources, the format of the sample questions is often not uniform, which is likely to cause interference to subsequent training. Therefore, the server can preprocess these sample problems before vectorization, including stop words, punctuation, and word cutting.
  • the server can first delete the stop words such as " ⁇ ” which have no practical meaning, and delete the punctuation marks such as ".”, Then use a third-party word segmentation tool to segment the text into four words "I come to work today". After preprocessing, the server then vectorizes the text to obtain the word vector of the text in the sample question. By vectorizing each text in the sample question to obtain multiple word vectors, these word vectors are composed of The problem vector for this sample problem. Specifically, the problem vector can be recorded in the form of a data matrix.
  • step 203 it can be understood that the sample question needs to be marked before training.
  • different preset user intentions should be marked separately. For example, assuming a total of 4 preset user intentions, namely disease inquiries, drug inquiries, in-hospital navigation inquiries, and chat, then, for in-hospital navigation inquiries, each sample question under the in-hospital navigation inquiries The tag value is recorded as 1, and the tag value of each sample question under disease inquiry, drug inquiry and chat is recorded as 0, and is used for the subsequent training of the first deep learning model for the navigation inquiry in the hospital; the same is true for When inquiring about a disease, mark the value of each sample question under the disease inquiry as 1, and mark the value of each sample under the medicine inquiry, in-hospital navigation inquiry and chatting as 0, and use it for the subsequent targeting of the hospital. The training of the first deep learning model during navigation inquiry; for the other two preset user intentions, the same processing will be omitted here.
  • the first deep learning model may specifically use a convolutional neural network.
  • the first deep learning model may specifically use a convolutional neural network.
  • the probability value of each first sample of the output is obtained. It can be understood that, for the preset user intent, except that the label value of each question vector under the preset user intent is 1, and the other marker values are all 0, after inputting a question vector into the first deep learning model, the first A deep learning model outputs N first sample probability values, which respectively represent the probability that the problem vector belongs to N preset user intentions.
  • a problem vector is used as input into the first deep learning model.
  • the problem vector is input into the input layer, and the input layer converts the problem vector into The required input format.
  • the problem vector can be consistent with the input format required by the input layer.
  • the input problem vector is entered into the convolutional layer.
  • convolutional layers multiple convolution kernels of different sizes are generally used.
  • the height of the convolution kernel that is, the window value, can be set to about 2-8.
  • the convolution kernel only performs one-dimensional sliding, that is, the width of the convolution kernel is equal to the dimension of the problem vector.
  • the vector enters the pooling layer after passing through the convolutional layer.
  • This method uses maximum pooling, which is the maximum value of sampling.
  • the core function of the convolutional layer and the pooling layer in the classification model is the function of feature extraction. From the input fixed-length text sequence, the local word order information is used to extract the primary features, and the primary features are combined into advanced features. With pooling operations, the steps of feature engineering in traditional machine learning are eliminated.
  • the role of the fully connected layer is the classifier.
  • This method uses a fully connected network with only one hidden layer, which is equivalent to inputting the features extracted by the convolution and pooling layers into a logistic regression classifier for classification. In order to avoid overfitting, this method can add a random inactivation layer to inactivate some neurons, which is equivalent to sampling a full amount of neurons.
  • the softmax layer after passing through the softmax layer, according to the needs of specific application scenarios, it can be defined as 2 classification, that is, the output is a probability value between 0 and 1, so that the first deep learning model finally inputs the first sample through the input layer Probability value.
  • the parameters of the first deep learning model need to be adjusted.
  • the first deep learning model is a convolutional neural network.
  • the network structure of the convolutional neural network mainly includes a convolutional layer, a pooling layer, a random deactivation layer, a regularization layer, and a softmax layer.
  • the parameters of the first deep learning model can be adjusted to make the output of the first deep learning model as "0, 0, 1" , 0", the most important of which is to make the output result as close as possible to the first sample probability value corresponding to "in-hospital navigation inquiry".
  • the staff may manually fine-tune the various parameters in the first deep learning model, and in the process of adjusting the parameters, the results of the first deep learning model may be made more and more The closer it is to the real result, for example, let the output result be the first sample probability value corresponding to "in-hospital navigation inquiry" getting closer to 1; of course, the output result may also be made to correspond to the "in-hospital navigation inquiry".
  • the probability value of a sample is getting away from 1.
  • the staff adjusts to a certain parameter and observes that the first sample probability value is close to 1, it keeps the current trend to adjust the parameter; anyway, if the observation finds that the first sample probability value is far from 1, then stop using The current trend adjustment parameter should stop adjusting this parameter, or adjust the parameter against the trend.
  • the error between each first sample probability value output by the first deep learning model and the label value corresponding to each problem vector can be minimized .
  • step 206 after completing the above steps 203-205 for each preset user intention, it can be determined whether the error between each first sample probability value and the marker value corresponding to each question vector satisfies the preset third One condition, if it is satisfied, it means that the parameters in the first deep learning model have been adjusted in place, and it can be determined that the first deep learning model has been trained; otherwise, if it is not satisfied, it means that the first deep learning model still needs Continue training.
  • the first condition may be preset according to actual usage, specifically, the first condition may be set as: if the error between each first sample probability value and the label value corresponding to each question vector If both are less than the specified error value, it is considered to satisfy the preset first condition.
  • the sample problem in the verification set can be set as follows: using the sample problem in the verification set to perform the above steps 202-204, if the error between the first sample probability value and the label value output by the first deep learning model is within a certain range, it is considered It satisfies the preset first condition.
  • the collection of sample questions in the verification set is similar to the above step 201. Specifically, after performing the above step 201 to collect sample questions for each preset user intent, a certain percentage of the collected sample questions is divided into training sets , The remaining sample questions are divided into validation sets.
  • this embodiment can also pre-process it before putting it into the first deep learning model , Making the target problem easier to identify and analyze the first deep learning model in terms of format and content. Further, as shown in FIG. 4, before step 102, the method further includes:
  • the stop words mentioned here may refer to single Chinese characters with particularly high frequency, such as Chinese characters such as " ⁇ ", “ ⁇ ”, etc., which have no actual language meaning.
  • the specified text may also include punctuation marks, such as Comma, period, etc., these punctuation marks also have no actual language meaning.
  • the server can delete the specified text in the target question. For example, assuming that the specified text includes stop words and punctuation marks, the target question includes the text "I am coming to work today.” Among them, stop words such as " ⁇ ” which have no practical meaning are deleted, and punctuation marks such as ".” are deleted, so that the deleted text "I come to work today” is obtained.
  • the server can first delete the stop words such as "ah” that have no practical meaning. , And delete the punctuation marks such as ".”, so as to get the deleted text "I want to travel on weekends”.
  • the server can also perform word segmentation on the target problem, and undertake the above text "I come to work today", and the server can use a third-party word segmentation tool to segment the text into "I Come to work today” four words.
  • the server may vectorize each word in the target problem to obtain a word vector corresponding to each word as a new target problem.
  • the server may obtain each first probability value output by the first deep learning model, and these first probability values respectively represent the probability that the target problem belongs to each preset user intention. Obviously, the higher the first probability value, the higher the probability that the target problem belongs to the preset user intention. Therefore, the server selects the preset user intention with the highest first probability value among the preset user intentions as the target user intention, This conforms to the actual situation and needs of users to the greatest extent.
  • the server may preset the correspondence relationship of the intention model, and the correspondence relationship of the intention model records the correspondence between each preset user intention and each pre-trained second deep learning model. That is to say, the server pre-trains multiple second deep learning models for each preset user intention, and each preset user intention corresponds to at least one second deep learning model. Therefore, after determining the intent of the target user, the server may determine the second deep learning model corresponding to the intent of the target user according to the preset correspondence relationship of the intent model.
  • the training process and use process of the second deep learning model will be described in detail in the subsequent steps, and will not be repeated here.
  • the second probability value represents the The probability that the problem has the same semantic meaning between the target problem and the corresponding preset problem group;
  • the server may input the target question as input into the second deep learning model to obtain each preset question group under the intention of the target user output by the second deep learning model A corresponding second probability value, wherein the second probability value represents the probability that the problem semantics are the same between the target problem and the corresponding preset problem group.
  • the second deep learning model will output multiple second probability values, and the number of these second probability values is equal to the number of preset problem groups. That is, a corresponding second probability value is output for each preset question group, and the larger the second probability value corresponding to a preset question group is, the higher the probability that the target question belongs to the preset question group.
  • the training process of the second deep learning model will be described in detail below. Further, as shown in FIG. 5, the second deep learning model corresponding to any preset user intention can be pre-trained through the following steps:
  • each preset question group under the intention of the preset user, and each preset question group includes a plurality of historical questions with the same semantic meaning collected in advance;
  • the server can collect corresponding historical questions for the preset user intention.
  • the historical question mentioned here refers to a question that any user belonging to the preset user intention has consulted.
  • the server can collect the questions that the previous medical staff consulted in the hospital through various channels. For example, for the navigation inquiry in the hospital, a large number of questions can be collected and organized at the reception desk of the outpatient hall.
  • historical questions can also be collected from the hospital’s website for common hospital questions that network users have asked; in addition, staff can diversify, expand and supplement on the basis of these collected historical questions, each The historical problems under the intention of the preset user are as complete as possible, and strive to involve all aspects of the user's possible consultation.
  • the server needs to group these collected historical questions to obtain each preset question group. This is because different questions can be classified into the same question and different questions according to whether they have the same semantics, and historical questions with the same question semantics are grouped into a preset question group, so that the server can obtain each preset under the preset user intent Question group.
  • the preset user group of “In-hospital Navigation Inquiry” can be divided into 5 categories and 20 categories of preset question groups, including but not limited to: “reservation registration”, “regular inspection “, “Registration time”, etc.
  • preset question group of “Appointment Registration” can include “I have no ID card, only medical insurance card, can I register?”, “Can I register for others?”, etc. historical issues.
  • the server can randomly select from each preset question group, pairwise pair the historical questions, record the tag value of the question combination of the two paired historical questions belonging to the same preset question group as 1, and record the two paired history The mark value of the question combination that does not belong to the same preset question group is recorded as 0.
  • Question combinations with a marker value of 1 are positive samples, and question combinations with a marker value of 0 are negative samples.
  • the server needs to vectorize the positive and negative samples after sorting out the positive and negative samples. Specifically, the server performs vectorization processing on each problem combination to obtain a combination vector corresponding to each problem combination.
  • the combination vector corresponding to each problem combination can be recorded in the form of a data matrix.
  • each sentence in the problem combination is mapped to an equal-length vector, which is more conducive to the second deep learning model in the training process to identify the combination vector.
  • vectorization mapping sufficient vector length is reserved for each sentence. After the text of each sentence is mapped to a vector, the extra length can be filled with the specified constant vector.
  • the server may input all the combination vectors as inputs to the second deep learning model corresponding to the preset user intention to obtain the output second sample probability values.
  • the second deep learning model outputs a corresponding second sample probability value
  • the second sample probability value represents the two corresponding to the combination vector Whether the problem semantics are the same among the two historical problems, the larger the probability value of the second sample, the greater the probability that the problem semantics are the same between the two historical problems, and conversely, the smaller the probability value of the second sample, the two problems The smaller the probability that the semantics of the questions are the same between historical questions. Therefore, the second sample probability value is a value between 0-1.
  • the second deep learning model is specifically a convolutional neural network.
  • the network structure of the convolutional neural network is mainly: a convolutional layer, a pooling layer, a random deactivation layer, a regularization layer, and a fully connected layer.
  • the two vectors combined for each problem are subjected to operations such as "add”, “subtract”, “multiply”, and "divide” at the model level.
  • Cross entropy is used as the objective function to minimize cross entropy and iterate the model continuously.
  • And finally output the second sample probability value For ease of understanding, as shown in FIG.
  • step 406 it can be understood that, during the training of the second deep learning model, the parameters of the second deep learning model can be adjusted to try to make the output of the second deep learning model correspond to the mark of the problem combination
  • the value is close, that is, the error is minimum.
  • the server adjusts each parameter in the second deep learning model so that the second sample it outputs The probability value is as close to 1 as possible, away from 0.
  • the server can determine the Whether the error between the two-sample probability value and the marker value corresponding to each question combination meets the preset second condition, if it meets, it means that the parameters in the second deep learning model have been adjusted in place, and the second depth can be determined
  • the learning model has been trained; otherwise, if it is not satisfied, it means that the second deep learning model needs to continue training.
  • the second condition may be preset according to actual usage, specifically, the second condition may be set as follows: if the errors between the respective second sample probability values and the marker values corresponding to the respective question combinations are all If it is less than the specified second error value, it is considered to satisfy the preset second condition.
  • it can be set as follows: using the question combination in the second verification set to perform the above steps 404 and 405, if the error between the second sample probability value and the label value output by the second deep learning model is within a certain range, It is considered that it meets the preset second condition.
  • the collection of question combinations in the verification set is similar to the above step 402.
  • a certain proportion of these question combinations is divided into the second training set, and the remaining question combinations Divided into the second verification set. For example, you can randomly divide 80% of each question combination paired out as a sample of the second training set for subsequent training of the second deep learning model, and divide the other 20% into subsequent verification to verify whether the second deep learning model has been trained. , That is, whether the sample of the second verification set that satisfies the preset second condition.
  • the server sets a corresponding preset answer for each preset question group. After determining the target question group, the server can feed back the preset answer corresponding to the target question group to the user, so that the user You can get answers to the questions asked.
  • the method in this embodiment can be implemented on a question-and-answer robot.
  • the user initiates a target question by asking the robot.
  • the robot communicates with the server.
  • the server obtains the target question and executes the method to obtain the pre-correspondence corresponding to the target question. Set the answer and feedback to the user through the robot, which can bring the user a real-time communication experience with the robot.
  • Solr an independent enterprise-level search application server
  • solr is introduced to calculate the similarity (expressed in probability values) between the target question and the preset question, and the probability output with the second deep learning model The values are compared and the higher value is used as the final result. It can be seen that this method combines the advantages of solr to further improve the accuracy of answering questions. Further, as shown in FIG. 6, before step 107, the method may further include:
  • the highest third probability value is greater than the highest second probability value, determine a similar problem with the highest third probability value as a new target problem group;
  • step 107 is performed.
  • the server may configure pre-collected questions that belong to the target user's intention with the same semantics to the solr database, and after obtaining the target question, the target question may be entered into solr for similar question retrieval To obtain each similar problem output by solr and the third probability value corresponding to each similar problem. For example, assuming a total of 1 million questions are configured in the solr database, after searching for similar questions, solr can output the 10 questions with the highest third probability value and the corresponding 10 probability values. A larger third probability value indicates that The higher the similarity between the similar problem and the target problem.
  • the third probability value calculated by solr and the second probability value output by the second deep learning model are consistent in evaluating the effect of similarity, so when the highest When the third probability value is greater than the highest second probability value, it can be considered that the similar problem corresponding to the highest third probability value retrieved by solr is closer to the target problem, so the similar problem with the highest third probability value can be determined Is a new target problem group; and when the highest third probability value is greater than the highest second probability value, it can be considered that the preset problem group corresponding to the highest second probability value output by the second deep learning model is more Approach, so step 107 can be performed.
  • a target problem input by a user is obtained; then, the target problem is input as an input to a pre-trained first deep learning model to obtain each preset user output by the first deep learning model
  • the first probability value corresponding to the intention; then, the preset user intention with the highest first probability value is selected as the target user intention; further, the second deep learning corresponding to the target user intention is determined according to the corresponding relationship of the preset intention model Model, the intent model correspondence records the correspondence between each preset user intent and each pre-trained second deep learning model
  • the target question is used as input to the determined first
  • Two deep learning models to obtain the output second probability value corresponding to each preset question group under the target user's intention
  • the second probability value characterizes the probability that the question semantics are the same between the target question and the corresponding preset question group Selecting the preset question group with the highest second probability value as the target question group; and finally, feeding back the preset answer corresponding to the target question group to the user.
  • this application uses the deep learning model to identify the user's intention through the question after the user enters the problem, and then further selects a suitable deep learning model based on the user's intention to analyze the problem raised by the user, and selects the highest probability value output by the deep learning model
  • the preset answers corresponding to the preset question group are fed back to the user, which improves the response rate and accuracy of the question to a certain extent, can be applied to the question-and-answer robot in large occasions, and improves the user's questioning experience.
  • a question answering feedback device based on deep learning is provided, and the question answering feedback device based on deep learning corresponds one-to-one to the question answering method based on deep learning in the above embodiment.
  • the deep learning based question answering device includes a target question acquisition module 601, a first probability output module 602, a target intention selection module 603, a model determination module 604, a second probability output module 605, and a target question group selection Module 606 and answer feedback module 607.
  • the detailed description of each functional module is as follows:
  • the target question obtaining module 601 is used to obtain the target question input by the user;
  • a first probability output module 602 which is used to input the target problem as an input to a pre-trained first deep learning model to obtain a first probability value corresponding to each preset user intention output by the first deep learning model,
  • the first probability value represents the probability that the target problem belongs to the corresponding preset user intention
  • the target intention selection module 603 is used to select the preset user intention with the highest first probability value as the target user intention
  • the model determination module 604 is configured to determine a second deep learning model corresponding to the target user's intent according to a preset intent model correspondence, where the intent model correspondence records each preset user intent and each pre-trained The correspondence between two deep learning models;
  • a second probability output module 605 which is used to input the target problem as an input to the determined second deep learning model, to obtain an output second probability value corresponding to each preset problem group under the target user's intention,
  • the second probability value represents the probability that the problem semantics are the same between the target problem and the corresponding preset problem group;
  • the target question group selection module 606 is used to select the preset question group with the highest second probability value as the target question group
  • the answer feedback module 607 is configured to feed back the preset answer corresponding to the target question group to the user.
  • the first deep learning model can be pre-trained through the following modules:
  • the sample question collection module 608 is used to separately collect sample questions that belong to the intention of each preset user;
  • the problem vectorization module 609 is used to vectorize the collected sample problems to obtain the problem vector corresponding to each sample problem
  • the question vector marking module 610 is configured to record the mark value of the question vector corresponding to the preset user intention as 1 and the mark value of other question vectors as 0 for each preset user intention;
  • the first model learning module 611 is used to input all the problem vectors as input to the first deep learning model for each preset user intent to obtain the output of each first sample probability value;
  • the first parameter adjustment module 612 is used to adjust the parameters of the first deep learning model with each output of the first sample probability as the adjustment target for each preset user intent to minimize the obtained The error between the first sample probability value and the marker value corresponding to each problem vector;
  • the first model training completion module 613 is configured to determine that the first deep learning model is if the error between each first sample probability value and the label value corresponding to each problem vector satisfies a preset first condition The first trained deep learning model.
  • the question answering device based on deep learning may further include:
  • the designated text deletion module 614 is configured to delete the designated text in the target question, the designated text includes at least stop words or punctuation marks;
  • the question word segmentation processing module 615 is used to perform word segmentation processing on the target question after deleting the specified text to obtain each word in the target question;
  • the new problem vectorization module 616 is used to vectorize each word in the target problem to obtain a word vector corresponding to each word as a new target problem.
  • the second deep learning model corresponding to any preset user intention can be pre-trained by the following modules:
  • a preset question group acquiring module configured to acquire each preset question group under the intention of the preset user, and each preset question group includes a plurality of historical questions with the same semantic meaning collected in advance;
  • the question matching module is used for pairing each of the acquired historical questions to obtain a combination of questions
  • Question group marking module which is used to mark the mark value of two paired historical questions as belonging to the same preset question group, and mark the two paired historical questions as not belonging to the same preset question group The value is recorded as 0;
  • the problem group vectorization module is used to perform vectorization processing on each problem combination to obtain a combination vector corresponding to each problem combination;
  • a second model learning module used to input all combined vectors as input to the second deep learning model corresponding to the preset user intention, to obtain the output second sample probability values
  • the second parameter adjustment module is used to adjust the parameters of the second deep learning model with the output second sample probability values as the adjustment target, so as to minimize the corresponding second sample probability values corresponding to each problem combination Error between the marked values of
  • a second model training completion module configured to determine a second The deep learning model is the trained second deep learning model.
  • the question answering device based on deep learning may further include:
  • the similar question retrieval module is used to input the target question into solr for similar question retrieval, to obtain each similar question output by solr and the third probability value corresponding to each similar question, wherein the database of solr is pre-configured Pre-collected questions that belong to the same semantics of each question under the intention of the target user;
  • a probability value comparison module used to compare the highest third probability value with the highest second probability value
  • a new problem group determination module configured to determine a similar problem with the highest third probability value as a new target problem group if the highest third probability value is greater than the highest second probability value;
  • the trigger module is configured to trigger the answer feedback module if the highest third probability value is less than or equal to the highest second probability value.
  • Each module in the deep learning based question answering feedback device may be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above modules may be embedded in the hardware or independent of the processor in the computer device, or may be stored in the memory in the computer device in the form of software, so that the processor can call and execute the operations corresponding to the above modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure may be as shown in FIG. 8.
  • the computer device includes a processor, memory, network interface, and database connected by a system bus. Among them, the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer device is used to store data involved in the question answering method based on deep learning.
  • the network interface of the computer device is used to communicate with external terminals through a network connection. When the computer readable instructions are executed by the processor to implement a question answering method based on deep learning.
  • a computer device which includes a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the computer-readable instructions
  • the above embodiments are based on The steps of the question answering method of deep learning are, for example, steps 101 to 107 shown in FIG. 2.
  • the processor executes the computer-readable instructions
  • the functions of each module/unit of the question answering and feedback device based on deep learning in the above embodiments are implemented, for example, the functions of modules 601 to 607 shown in FIG. To avoid repetition, I will not repeat them here.
  • a computer-readable storage medium the one or more non-volatile storage media storing computer-readable instructions, when the computer-readable instructions are executed by one or more processors , So that when one or more processors execute computer-readable instructions, the steps of the question answering method based on deep learning in the above method embodiments are implemented, or the one or more non-volatile readable instructions storing computer-readable instructions Storage media, when the computer-readable instructions are executed by one or more processors, so that the one or more processors execute the computer-readable instructions to implement the functions of each module/unit in the deep learning-based question answering device in the foregoing device embodiments . To avoid repetition, I will not repeat them here.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM random access memory
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • RDRAM direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种基于深度学习的问答反馈方法、装置、设备及存储介质，应用于机器学习技术领域，用于解决现有问题自动答复的失败率较高的问题。该方法包括：获取用户输入的目标问题（101）；将目标问题作为输入投入至预先训练好的第一深度学习模型，得到第一深度学习模型输出的各个预设用户意图对应的第一概率值（102）；选取第一概率值最高的预设用户意图作为目标用户意图（103）；根据预设的意图模型对应关系确定出目标用户意图对应的第二深度学习模型（104）；将目标问题作为输入投入至确定出的第二深度学习模型，得到目标用户意图下各个预设问题组对应的第二概率值（105）；选取第二概率值最高的预设问题组作为目标问题组（106）；将目标问题组对应的预设答案反馈至用户（107）。

Description

基于深度学习的问答反馈方法、装置、设备及存储介质
本申请以2018年12月11日提交的申请号为201811507885.9，名称为“基于深度学习的问答反馈方法、装置、设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及机器学习技术领域，尤其涉及基于深度学习的问答反馈方法、装置、设备及存储介质。
背景技术
目前，智能机器人的应用已经越来越广泛，其中，问答型机器人主要服务于医院、公司的前台、咨询台等地方，以供用户咨询。比如，现有很多大型医院在门诊大厅位置设置有问答型机器人，就诊人员可以在机器人前方语音输入自己的问题，机器人通过与后台服务器的通信搜索出问题的答案并提供给就诊人员。其中，机器人回答问题主要依赖于后台服务器对问题的识别和问题答案的匹配、检索，现有后台服务器一般在数据库中预先配置有大量的常见问题，当机器人获取到就诊人员输入的问题时，后台服务器通过将该问题与数据库中的常见问题进行配对，若配对成功，则输出配对成功问题对应的答案，若配对失败，则向就诊人员反馈无法找到答案。
然而，这种问题匹配的方式仅适用于问题较少、用户类型单一的场合，对于大型场合，例如大型医院，由于用户种类较多、不同用户表达同一问题的方式多种多样，且大型医院的问题类型也极其繁多，这就导致该问题匹配的方式难以准确地查找到正确的答案提供给用户，问题答复的失败率也较高，降低了用户对问答型机器人的使用体验。
因此，寻找一种回复率高、答复准确的问题反馈方法成为本领域技术人员亟需解决的问题。
发明内容
本申请实施例提供一种基于深度学习的问答反馈方法、装置、计算机设备及存储介质，以解决现有问题自动答复的失败率较高的问题。
一种基于深度学习的问答反馈方法，包括：
获取用户输入的目标问题；
将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
选取第一概率值最高的预设用户意图作为目标用户意图；
根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
选取第二概率值最高的预设问题组作为目标问题组；
将所述目标问题组对应的预设答案反馈至所述用户。
一种基于深度学习的问答反馈装置，包括：
目标问题获取模块，用于获取用户输入的目标问题；
第一概率输出模块，用于将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
目标意图选取模块，用于选取第一概率值最高的预设用户意图作为目标用户意图；
模型确定模块，用于根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
第二概率输出模块，用于将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
目标问题组选取模块，用于选取第二概率值最高的预设问题组作为目标问题组；
答案反馈模块，用于将所述目标问题组对应的预设答案反馈至所述用户。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于深度学习的问答反馈方法的步骤。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读存储介质存储有计算机可读指令，使得所述一个或多个处理器执行上述基于深度学习的问答反馈方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中基于深度学习的问答反馈方法的一应用环境示意图；
图2是本申请一实施例中基于深度学习的问答反馈方法的一流程图；
图3是本申请一实施例中基于深度学习的问答反馈方法在一个应用场景下训练第一深度学习模型的流程示意图；
图4是本申请一实施例中基于深度学习的问答反馈方法在一个应用场景下进行问题预处理的流程示意图；
图5是本申请一实施例中基于深度学习的问答反馈方法在一个应用场景下训练第二深度学习模型的流程示意图；
图6是本申请一实施例中基于深度学习的问答反馈方法在一个应用场景下结合solr的流程示意图；
图7是本申请一实施例中基于深度学习的问答反馈装置的结构示意图；
图8是本申请一实施例中计算机设备的一示意图；
图9是本申请一实施例中第一深度学习模型的结构示意图；
图10是本申请一实施例中第二深度学习模型的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本 申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的基于深度学习的问答反馈方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，该客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于深度学习的问答反馈方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
101、获取用户输入的目标问题；
本实施例中，当用户需要咨询时，可以通过客户端输入目标问题，该客户端与服务器通信，将该目标问题上传给服务器，从而服务器可以获取到该用户输入的目标问题。其中，该客户端具体可以是放在门诊大厅、大堂前台等场合的机器人，也可以是用户携带的移动终端等设备，比如用户可以使用手机作为该客户端，通过扫描场所提供的二维码接入该服务器完成目标问题的提交。
需要说明的是，用户可以选择使用多种方式输入该目标问题，比如语音输入、文字输入等方式。特别地，在某些应用场景下，客户端为问答型机器人，该机器人上设置有麦克风等语音信号采集装置，用户靠近机器人并说出自己的问题，该机器人即可通过语音信号采集装置采集用户的语音并转化为该目标问题。
102、将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
可以理解的是，服务器上预先训练好有第一深度学习模型，该第一深度学习模型主要用于通过用户输入的目标问题来判断用户意图，也即得知该用户提问的问题具体属于哪一方面的问题，比如用户提问“儿科在哪里”，该用户的意图可以判别为“儿科位置”，返回与“儿科位置”相对应的答案即回答了用户的问题。该第一深度学习模型在预先训练的时候可以根据实际应用场景的需求预先设置有各个预设用户意图，在训练时针对这几个预设用户意图进行样本标注和训练，使得该第一深度学习模型具备通过问题识别用户意图的能力。需要说明的是，本实施例提供的基于深度学习的问答反馈方法可以应用在几乎所有用户、客户、人员可能提问的场景下，本实施例为了便于表述和理解，在后续的内容中主要以在医院场景下进行举例说明，但需要强调的是，本方法可以应用于包括但不限于医院、酒店、餐厅、机场、公交站场、办公室、旅游接待厅等等场景下。
服务器在获取到该目标问题之后，可以将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，其中，该第一概率值表征了所述目标问题属于对应的预设用户意图的概率。
为便于理解，进一步地，如图3所示，在步骤102之前，所述第一深度学习模型可以通过以下步骤预先训练好：
201、分别收集属于各个预设用户意图的样本问题；
202、对收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量；
203、针对每个预设用户意图，将所述预设用户意图对应的问题向量的标记值记为1，其它问题向量的标记值记为0；
204、针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值；
205、针对每个预设用户意图，以输出的各个第一样本概率值作为调整目标，调整所述第一深度学习模型的参数，以最小化得到的所述各个第一样本概率值与各个问题向量 对应的标记值之间的误差；
206、若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差满足预设的第一条件，则确定所述第一深度学习模型为训练好的第一深度学习模型。
对于上述步骤201，本实施例中，针对实际应用场景，技术人员可以预先在服务器上设定好需要训练的各个预设用户意图。例如，在大型医院的场景下，可以设定几个预设用户意图分别为：疾病问询、药品问询、院内导航问询和闲聊。针对这几个预设用户意图，服务器可以通过专业知识库、网络数据库等渠道收集属于各个预设用户意图的样本问题。需要说明的是，每个预设用户意图对应的样本问题应当达到一定的数量级，各个预设用户意图之间样本问题的数量可以有一定差距，但不应相差过远，避免影响对第一深度学习模型的训练效果。例如，可以收集到的样本问题为：疾病问询的问题数量为100万条，药品问询的问题数量为20万条，院内导航问询的问题数量为30万条，闲聊的问题数量为20万条。
对于上述步骤202，可以理解的是，在将样本问题投入训练之前，需要将收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量，将问题转化为向量更便于第一深度学习模型的理解和训练。需要说明的是，考虑到收集到的样本问题来源众多，样本问题的格式往往并不统一，这容易对后续训练造成干扰。因此，服务器在将这些样本问题进行向量化处理之前可以对其进行预处理，包括停用词、标点符号的删除以及字词的切割。例如，假设某个样本问题中的一句文本为“我今天来上班了。”，服务器可以先将其中的“了”等无实际意义的停用词删除，并将“。”等标点符号删除，然后使用第三方分词工具将该文本进行语句分割，转化为“我今天来上班”四个词语。在预处理后，服务器再对该文本进行向量化映射，即可得到该样本问题中该文本的词向量，通过将该样本问题中每个文本进行向量化得到多个词向量，这些词向量组成该样本问题的问题向量。具体地，问题向量可以以数据矩阵的形式记载。
对于上述步骤203，可以理解的是，在训练之前，需要对样本问题进行标记，本实施例中由于需要针对多个预设用户意图进行训练，因此应当针对不同的预设用户意图分别进行标注。举例说明，假设共4个预设用户意图，分别为疾病问询、药品问询、院内导航问询和闲聊，则，针对院内导航问询时，将该院内导航问询下的各个样本问题的标记值记为1，疾病问询、药品问询和闲聊下的各个样本问题的标记值记为0，并用于后续针对该院内导航问询时的第一深度学习模型的训练；同理，针对疾病问询时，将该疾病问询下的各个样本问题的标记值记为1，药品问询、院内导航问询和闲聊下的各个样本问题的标记值记为0，并用于后续针对该院内导航问询时的第一深度学习模型的训练；针对其它两个预设用户意图同理处理，此处不再赘述。
对于上述步骤204，本实施例中，该第一深度学习模型具体可以使用卷积神经网络，在训练时，针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值。可以理解的是，由于针对该预设用户意图，除该预设用户意图下各个问题向量的标记值为1，其它标记值均为0，将一个问题向量输入第一深度学习模型后，该第一深度学习模型输出N个第一样本概率值，这N个第一样本概率值分别表征了该问题向量属于N个预设用户意图的概率。
为便于理解，请参阅图9，在一个应用场景下，将一个问题向量作为输入投入到第一深度学习模型中，首先，该问题向量输入到输入层中，输入层会将该问题向量转换成其所需要的输入格式。本实施例中由于预先对样本问题进行了向量化处理，因此该问题向量可以与输入层所需的输入格式一致。随后，输入成输入的问题向量进入到卷积层中。在卷积层中，一般使用多个不同尺寸的卷积核。卷积核的高度，即窗口值，具体可以设置为2-8左右。卷积核只进行一维的滑动，即卷积核的宽度与问题向量的维度等宽。
向量经过卷积层之后进入池化层，本方法使用最大池化，即采样最大值。卷积层与池 化层在分类模型的核心作用就是特征提取的功能，从输入的定长文本序列中，利用局部词序信息，提取初级的特征，并组合初级的特征为高级特征，通过卷积与池化操作，省去了传统机器学习中的特征工程的步骤。
全连接层的作用就是分类器，本方法使用了只有一层隐藏层的全连接网络，相当于把卷积与池化层提取的特征输入到一个逻辑回归分类器中进行分类。而为了避免过拟合，本方法可以加入随机失活层，使某些神经元失活无效，相当于对全量神经元的采样。最后再经过softmax层，根据具体应用场景的需要，可以定义为2分类，即输出为一个介于0和1之间的概率值，从而最终该第一深度学习模型通过输入层输入第一样本概率值。
对于上述步骤205，可以理解的是，在训练第一深度学习模型的过程中，需要调整该第一深度学习模型的参数。比如，假设该第一深度学习模型为卷积神经网络，该卷积神经网络的网络结构主要包括卷积层、池化层、随机失活层、正则化层和softmax层，每层中均设有若干个参数，在一个样本训练过程中，通过调整这些参数可以影响卷积神经网络的输出结果。举例说明，假设针对院内导航问询这一预设用户意图，将院内导航问询下的某个问题向量投入该第一深度学习模型，其输出的结果为：“0.56，0.2，0.75，0.11”，这四个第一样本概率值代表了该问题向量对应的样本问题分别属于疾病问询、药品问询、院内导航问询和闲聊四个预设用户意图的概率，即该样本问题属于疾病问询的概率为0.56；该样本问题属于药品问询的概率为0.2；该样本问题属于院内导航问询的概率为0.75；该样本问题属于闲聊的概率为0.11。通过该问题向量的标记值为1可知，该样本问题属于院内导航问询，因此可以通过调整该第一深度学习模型的参数，尽量使得第一深度学习模型输出的结果为“0，0，1，0”，其中最主要的是尽量使得输出的结果为对应“院内导航问询”的第一样本概率值尽可能接近1。具体地，工作人员在训练该第一深度学习模型时，可以人工对该第一深度学习模型中的各个参数进行微调，在调节参数过程中，可以使得该第一深度学习模型输出的结果越来越接近真实的结果，例如让输出的结果为对应“院内导航问询”的第一样本概率值越来越接近1；当然，也可能使得输出的结果为对应“院内导航问询”的第一样本概率值越来越远离1。所以，工作人员当针对某个参数调整时，观察发现该第一样本概率值接近1，则保持当前趋势对参数调整；反正，若观察发现该第一样本概率值远离1，则停止采用当前趋势调整参数，应当停止对这个参数进行调整，或者反趋势调整该参数。采用上述调整策略对该第一深度学习模型中的各个参数逐个进行调整，即可让该第一深度学习模型输出的各个第一样本概率值与各个问题向量对应的标记值之间的误差最小。
对于步骤206，在针对各个预设用户意图均执行完成上述步骤203-205之后，可以判断所述各个第一样本概率值与各个问题向量对应的标记值之间的误差是否满足预设的第一条件，若满足，则说明该第一深度学习模型中的各个参数已经调整到位，可以确定该第一深度学习模型已训练完成；反之，若不满足，则说明该第一深度学习模型还需要继续训练。其中，该第一条件可以根据实际使用情况预先设定，具体地，可以将该第一条件设定为：若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差均小于指定误差值，则认为其满足该预设的第一条件。假设各个第一样本概率值为P i，各个标记值为Q i，i为样本问题的编号，即P i为第i个样本问题对应的问题向量输入到第一深度学习模型的概率值，Q i为第i个样本问题对应的标记值。若i任意值时，均有|P i-Q i|＜y，y为预先设定的指定误差值，则可以认为其满足该预设的第一条件。
或者，也可以将其设为：使用验证集中的样本问题执行上述步骤202-204，若第一深度学习模型输出的第一样本概率值与标记值之间的误差在一定范围内，则认为其满足该预设的第一条件。其中，该验证集中的样本问题的收集与上述步骤201类似，具体地，可以执行上述步骤201收集得到各个预设用户意图的样本问题后，将收集得到的样本问题中的一定比例划分为训练集，剩余的样本问题划分为验证集。比如，可以将收集得到的样 本问题中随机划分80％作为后续训练第一深度学习模型的训练集的样本，将其它的20％划分为后续验证第一深度学习模型是否训练完成，也即是否满足预设第一条件的验证集的样本。
考虑到用户的多样性，其输入的目标问题很可能在格式上不符合要求或者存在较多干扰信息，因此，本实施例在将其投入到第一深度学习模型之前还可以对其进行预处理，使得该目标问题在格式和内容上更加便于第一深度学习模型的识别和分析。进一步地，如图4所示，在步骤102之前，本方法还包括：
301、删除所述目标问题中的指定文本，所述指定文本至少包括停用词或标点符号；
302、对删除指定文本后的所述目标问题进行分词处理，得到所述目标问题中的各个词语；
303、将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
对于上述步骤301，这里所说的停用词可以是指使用频率特别高的单汉字，比如“的”、“了”等无实际语言意义的汉字，另外，指定文本还可以包括标点符号，比如逗号、句号等，这些标点符号也没有实际语言意义。执行步骤301时，服务器可以将目标问题中的指定文本删除，举例说明，假设该指定文本包括停用词和标点符号，该目标问题中包括文本“我今天来上班了。”，服务器可以先将其中的“了”等无实际意义的停用词删除，并将“。”等标点符号删除，从而得到删除后的文本“我今天来上班”。再比如，假设该指定文本包括停用词和标点符号，该目标问题中包括文本“我周末好想去旅游啊。”，服务器可以先将其中的“啊”等无实际意义的停用词删除，并将“。”等标点符号删除，从而得到删除后的文本“我周末好想去旅游”。
对于上述步骤302，在删除指定文本后，服务器还可以对该目标问题进行分词处理，承接上述文本“我今天来上班”，服务器可以通过第三方分词工具将该文本进行语句分割，转化为“我今天来上班”四个词语。
对于上述步骤303，在分词得到所述目标问题中的各个词语后，服务器可以将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
103、选取第一概率值最高的预设用户意图作为目标用户意图；
可以理解的是，执行上述步骤102之后，服务器可以得到所述第一深度学习模型输出的各个第一概率值，这些第一概率值分别表征了所述目标问题属于各个预设用户意图的概率。显然，第一概率值越高，说明该目标问题属于该预设用户意图的概率就越高，因此，服务器选取各个预设用户意图中第一概率值最高的预设用户意图作为目标用户意图，这在最大程度上符合用户的实际情况和需求。
104、根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
本实施例中，服务器可以预先设置有意图模型对应关系，该意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系。也就是说，服务器针对各个预设用户意图分别预先训练好了多个第二深度学习模型，每个预设用户意图至少对应有一个第二深度学习模型。因此，在确定出目标用户意图之后，服务器可以根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型。关于第二深度学习模型的训练过程和使用过程将在后续步骤中详细描述，此处不赘述。
105、将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问 题与对应的预设问题组之间问题语义相同的概率；
在确定出所述第二深度学习模型之后，服务器可以将该目标问题作为输入投入至该第二深度学习模型中，得到该第二深度学习模型输出的所述目标用户意图下各个预设问题组对应的第二概率值，其中，该第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率。可以理解的是，服务器将一个目标问题投入该第二深度学习模型后，该第二深度学习模型会输出多个第二概率值，这些第二概率值的数量等于预设问题组的数量，也即针对每个预设问题组输出一个对应的第二概率值，某个预设问题组对应的第二概率值越大，表明了该目标问题属于该预设问题组的概率越高。
为便于理解，下面将对第二深度学习模型的训练过程进行详细描述。进一步地，如图5所示，任一预设用户意图对应的第二深度学习模型可以通过以下步骤预先训练好：
401、获取所述预设用户意图下各个预设问题组，每个预设问题组包括多个预先收集的问题语义相同的历史问题；
402、将获取到的各个所述历史问题两两配对，得到各个问题组合；
403、将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设问题组的问题组合的标记值记为0；
404、对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量；
405、将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值；
406、以输出的各个第二样本概率值作为调整目标，调整所述第二深度学习模型的参数，以最小化得到的所述各个第二样本概率值与各个问题组合对应的标记值之间的误差；
407、若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差满足预设的第二条件，则确定所述预设用户意图对应的第二深度学习模型为训练好的第二深度学习模型。
对于上述步骤401，可以理解的是，服务器可以针对预设用户意图收集相应的历史问题，这里所说的历史问题是指属于该预设用户意图下的任何用户曾经咨询过的问题。比如，在大型医院的应用场景下，服务器可以通过多种渠道收集曾经的就诊人员在该医院中咨询过的问题，例如针对院内导航问询，可以在门诊大厅的接待处收集、整理得到大量的历史问题，另外，还可以从该医院的网站上收集到网络用户曾经提问的常见医院问题；再者，工作人员可以在这些收集到的历史问题的基础上进行发散、扩展和补充，把每个预设用户意图下的历史问题尽可能补充完整，力求涉及用户可能咨询的方方面面问题。另外，服务器针对这些收集回来的历史问题还需要进行分组，得到各个预设问题组。这是因为，不同问题之间根据是否语义相同可以归类为同一问题和不同问题，问题语义相同的历史问题归为一个预设问题组，从而服务器可以获取到该预设用户意图下各个预设问题组。在大型医院的应用场景下，“院内导航问询”的预设用户意图下便可划分出5大类、20小类的预设问题组，包括但不限于：“预约挂号”、“常规检查”、“挂号时间”等，例如，在“预约挂号”的预设问题组中可以包括“我没有带身份证，只有医保卡，可以挂号吗？”、“我能够帮别人挂号吗？”等历史问题。
对于上述步骤402和步骤403，可以理解的是，在进行第二深度学习模型训练之前，需要进行正负样本标注。由于第二深度学习模型的主要作用是判断目标问题是否与某个预设问题组在问题语义上相同，因此，用于训练该第二深度学习模型的正样本应当是一对问题语义相同的历史问题，而负样本则是一对问题语义不相同的历史问题。因此，服务器可以在各个预设问题组中随机抽取，两两配对历史问题，将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设 问题组的问题组合的标记值记为0。标记值为1的问题组合即为正样本，标记值为0的问题组合即为负样本。
对于上述步骤404，经过上述步骤402和步骤403，服务器整理出正负样本之后，还需要将这些正负样本向量化。具体地，服务器对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量，特别地，可将每个问题组合对应的组合向量以数据矩阵的形式记载，在数据矩阵中，问题组合中的每句话均映射成一个等长的向量，这样更加有利于第二深度学习模型在训练过程中对组合向量识别。其中，在进行向量化映射时，针对每句话预留足够的向量长度，在每句话的文本均映射为向量之后，长度多出来的部分可以使用指定的常向量填充。
对于上述步骤405，在得到组合向量后，服务器可以将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值。可以理解的是，服务器每投入一个组合向量至该第二深度学习模型中，该第二深度学习模型输出一个对应的第二样本概率值，该第二样本概率值表征了该组合向量对应的两个历史问题之间是否问题语义相同，第二样本概率值越大，则表明这两个历史问题之间问题语义相同的概率越大，反之，第二样本概率值越小，则表明这两个历史问题之间问题语义相同的概率越小。因此，第二样本概率值为介于0-1之间的数值。
特别地，该第二深度学习模型具体为卷积神经网络，该卷积神经网络的网络结构主要为：卷积层、池化层、随机失活层、正则化层和全连接层，在进行模型训练时，将每个问题组合的两个向量在模型层面进行“加”、“减”、“乘”、“除”等运算，以交叉熵为目标函数，最小化交叉熵，持续迭代模型，最终输出第二样本概率值。为便于理解，如图10所示，在一个应用场景中，假设某个问题组包含问句1和问句2，将这两个问句向量化处理后，得到该问题组对应的组合向量。在将该组合向量投入到第二深度学习模型之后，问句1和问句2的向量经过输入层后向量化分别进入6个卷积层，其中，每个卷积层的卷积核的参数设置不同，每层卷积层之后都连接着最大池化层。经过6层卷积和相应的池化之后将得到的6个输出合并为一个向量矩阵，则问句1对应向量矩阵1，问句2对应向量矩阵2。向量矩阵1和2分别跟彼此进行矩阵“减”和“乘”的计算，然后将两个结果矩阵合并。同样的，将合并矩阵依次输入随机失活层，正则化层和全连接层，最终得到一个介于0和1的输出值，该输出值即为第二样本概率值，其表征了问句1和问句2的相似程度。
对于上述步骤406，可以理解的是，在训练第二深度学习模型的过程中，可以通过调整该第二深度学习模型的参数，尽量使得该第二深度学习模型输出的结果与问题组合对应的标记值逼近，也即误差最小。假设当前投入的组合向量对应的问题组合的标记值为1，也就是说这是一个正样本，则执行步骤406时，服务器调整第二深度学习模型中的各个参数，使得其输出的第二样本概率值尽可能接近1，远离0。
对于上述步骤407，在执行上述步骤405和步骤406，将所有组合向量均投入到第二深度学习模型中进行训练之后，为了验证该第二深度学习模型是否训练完成，服务器可以判断所述各个第二样本概率值与各个问题组合对应的标记值之间的误差是否满足预设的第二条件，若满足，则说明该第二深度学习模型中的各个参数已经调整到位，可以确定该第二深度学习模型已训练完成；反之，若不满足，则说明该第二深度学习模型还需要继续训练。其中，该第二条件可以根据实际使用情况预先设定，具体地，可以将该第二条件设定为：若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差均小于指定第二误差值，则认为其满足该预设的第二条件。或者，也可以将其设为：使用第二验证集中的问题组合执行上述步骤404和步骤405，若第二深度学习模型输出的第二样本概率值与标记值之间的误差在一定范围内，则认为其满足该预设的第二条件。其中，该验证集中的问题组合的收集与上述步骤402类似，具体地，可以执行上述步骤402 获取到各个问题组合后，将这些问题组合中的一定比例划分为第二训练集，剩余的问题组合划分为第二验证集。比如，可以将两两配对出来的各个问题组合中随机划分80％作为后续训练第二深度学习模型的第二训练集的样本，将其它的20％划分为后续验证第二深度学习模型是否训练完成，也即是否满足预设第二条件的第二验证集的样本。
106、选取第二概率值最高的预设问题组作为目标问题组；
可以理解的是，服务器在得到各个第二概率值之后，由于这些第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率，显然，第二概率值越高，说明该目标问题与该第二概率值对应的预设问题组之间问题语义相同的概率越高，因此，服务器选取各个预设问题组中第二概率值最高的预设问题组作为目标问题组，这是符合客观实际情况的。
107、将所述目标问题组对应的预设答案反馈至所述用户。
本实施例中，服务器针对每个预设问题组均设置有对应的预设答案，在确定出目标问题组后，服务器可以将该目标问题组对应的预设答案反馈至所述用户，从而用户可以得到所提问题的答案。特别地，本实施例中的方法可以结合到问答型机器人上实现，用户通过向机器人提问来发起目标问题，机器人与服务器通信，由服务器获取该目标问题并执行本方法得到该目标问题对应的预设答案，通过机器人反馈给用户，可以带给用户一种与机器人实时交流的使用体验。
在现有技术中，solr(一个独立的企业级搜索应用服务器)常被用于计算语句之间的语义相似度，且准确性较高。本实施例中，为了从整体上提升本方法回答问题的准确性，引入solr来计算目标问题与预设问题之间的相似度(以概率值表示)，并与第二深度学习模型输出的概率值进行对比，取值较高的一方作为最终的结果。可见，本方法结合solr的优点，进一步提高了回答问题的准确性。进一步地，如图6所示，在步骤107之前，本方法还可以包括：
501、将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值，其中，所述solr的数据库中预先配置有预先收集的、属于所述目标用户意图下各个问题语义相同的问题；
502、将最高的第三概率值与最高的所述第二概率值进行对比；
503、若最高的第三概率值大于最高的所述第二概率值，则将所述第三概率值最高的相似问题确定为新的目标问题组；
504、若最高的第三概率值小于或等于最高的所述第二概率值，则执行步骤107。
对于上述步骤501，服务器可以将预先收集的、属于所述目标用户意图下各个问题语义相同的问题配置到solr数据库中，在获取到目标问题后，可以将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值。例如，假设配置到solr数据库中共100万个问题，则solr进行相似问题检索后，可以输出其中第三概率值最高的10个问题以及对应的10个概率值，第三概率值越大则表示该相似问题与该目标问题的相似度越高。
对于上述步骤502至504，可以理解的是，可以认为solr计算出的第三概率值与第二深度学习模型输出的第二概率值在评估相似度的效果上是一致的，因此，当最高的第三概率值大于最高的所述第二概率值时，可以认为solr检索出来的最高第三概率值对应的相似问题与目标问题更加接近，因此可以将所述第三概率值最高的相似问题确定为新的目标问题组；而当最高的第三概率值大于最高的所述第二概率值时，可以认为第二深度学习模型输出的最高第二概率值对应的预设问题组与目标问题更加接近，因此可以执行步骤107。
本申请实施例中，首先，获取用户输入的目标问题；然后，将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值；接着，选取第一概率值最高的预设用户意图作为目标用户意图； 再之，根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；次之，将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；选取第二概率值最高的预设问题组作为目标问题组；最后，将所述目标问题组对应的预设答案反馈至所述用户。可见，本申请利用深度学习模型在用户输入问题之后，通过问题识别用户意图，再基于用户意图进一步选取合适的深度学习模型来对用户提出的问题进行分析，选取深度学习模型输出的概率值最高的预设问题组对应的预设答案反馈给用户，在一定程度上提高问题的回复率和准确性，能适用于大型场合下的问答型机器人，且提升用户的提问体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种基于深度学习的问答反馈装置，该基于深度学习的问答反馈装置与上述实施例中基于深度学习的问答反馈方法一一对应。如图7所示，该基于深度学习的问答反馈装置包括目标问题获取模块601、第一概率输出模块602、目标意图选取模块603、模型确定模块604、第二概率输出模块605、目标问题组选取模块606和答案反馈模块607。各功能模块详细说明如下：
目标问题获取模块601，用于获取用户输入的目标问题；
第一概率输出模块602，用于将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
目标意图选取模块603，用于选取第一概率值最高的预设用户意图作为目标用户意图；
模型确定模块604，用于根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
第二概率输出模块605，用于将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
目标问题组选取模块606，用于选取第二概率值最高的预设问题组作为目标问题组；
答案反馈模块607，用于将所述目标问题组对应的预设答案反馈至所述用户。
进一步地，所述第一深度学习模型可以通过以下模块预先训练好：
样本问题收集模块608，用于分别收集属于各个预设用户意图的样本问题；
问题向量化模块609，用于对收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量；
问题向量标记模块610，用于针对每个预设用户意图，将所述预设用户意图对应的问题向量的标记值记为1，其它问题向量的标记值记为0；
第一模型学习模块611，用于针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值；
第一参数调整模块612，用于针对每个预设用户意图，以输出的各个第一样本概率值作为调整目标，调整所述第一深度学习模型的参数，以最小化得到的所述各个第一样本概率值与各个问题向量对应的标记值之间的误差；
第一模型训练完成模块613，用于若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差满足预设的第一条件，则确定所述第一深度学习模型为训练好的第一深 度学习模型。
进一步地，所述基于深度学习的问答反馈装置还可以包括：
指定文本删除模块614，用于删除所述目标问题中的指定文本，所述指定文本至少包括停用词或标点符号；
问题分词处理模块615，用于对删除指定文本后的所述目标问题进行分词处理，得到所述目标问题中的各个词语；
新问题向量化模块616，用于将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
进一步地，任一预设用户意图对应的第二深度学习模型可以通过以下模块预先训练好：
预设问题组获取模块，用于获取所述预设用户意图下各个预设问题组，每个预设问题组包括多个预先收集的问题语义相同的历史问题；
问题配对模块，用于将获取到的各个所述历史问题两两配对，得到各个问题组合；
问题组标记模块，用于将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设问题组的问题组合的标记值记为0；
问题组向量化模块，用于对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量；
第二模型学习模块，用于将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值；
第二参数调整模块，用于以输出的各个第二样本概率值作为调整目标，调整所述第二深度学习模型的参数，以最小化得到的所述各个第二样本概率值与各个问题组合对应的标记值之间的误差；
第二模型训练完成模块，用于若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差满足预设的第二条件，则确定所述预设用户意图对应的第二深度学习模型为训练好的第二深度学习模型。
进一步地，所述基于深度学习的问答反馈装置还可以包括：
相似问题检索模块，用于将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值，其中，所述solr的数据库中预先配置有预先收集的、属于所述目标用户意图下各个问题语义相同的问题；
概率值对比模块，用于将最高的第三概率值与最高的所述第二概率值进行对比；
新问题组确定模块，用于若最高的第三概率值大于最高的所述第二概率值，则将所述第三概率值最高的相似问题确定为新的目标问题组；
触发模块，用于若最高的第三概率值小于或等于最高的所述第二概率值，则触发所述答案反馈模块。
关于基于深度学习的问答反馈装置的具体限定可以参见上文中对于基于深度学习的问答反馈方法的限定，在此不再赘述。上述基于深度学习的问答反馈装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供 环境。该计算机设备的数据库用于存储基于深度学习的问答反馈方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于深度学习的问答反馈方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述实施例中基于深度学习的问答反馈方法的步骤，例如图2所示的步骤101至步骤107。或者，处理器执行计算机可读指令时实现上述实施例中基于深度学习的问答反馈装置的各模块/单元的功能，例如图7所示模块601至模块607的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，该一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述方法实施例中基于深度学习的问答反馈方法的步骤，或者，该一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述装置实施例中基于深度学习的问答反馈装置中各模块/单元的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种基于深度学习的问答反馈方法，其特征在于，包括：
    获取用户输入的目标问题；
    将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
    选取第一概率值最高的预设用户意图作为目标用户意图；
    根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
    将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
    选取第二概率值最高的预设问题组作为目标问题组；
    将所述目标问题组对应的预设答案反馈至所述用户。
  2. 根据权利要求1所述的基于深度学习的问答反馈方法，其特征在于，所述第一深度学习模型通过以下步骤预先训练好：
    分别收集属于各个预设用户意图的样本问题；
    对收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量；
    针对每个预设用户意图，将所述预设用户意图对应的问题向量的标记值记为1，其它问题向量的标记值记为0；
    针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值；
    针对每个预设用户意图，以输出的各个第一样本概率值作为调整目标，调整所述第一深度学习模型的参数，以最小化得到的所述各个第一样本概率值与各个问题向量对应的标记值之间的误差；
    若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差满足预设的第一条件，则确定所述第一深度学习模型为训练好的第一深度学习模型。
  3. 根据权利要求1所述的基于深度学习的问答反馈方法，其特征在于，在将所述目标问题作为输入投入至预先训练好的第一深度学习模型之前，还包括：删除所述目标问题中的指定文本，所述指定文本至少包括停用词或标点符号；
    对删除指定文本后的所述目标问题进行分词处理，得到所述目标问题中的各个词语；
    将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
  4. 根据权利要求1所述的基于深度学习的问答反馈方法，其特征在于，任一预设用户意图对应的第二深度学习模型通过以下步骤预先训练好：
    获取所述预设用户意图下各个预设问题组，每个预设问题组包括多个预先收集的问题语义相同的历史问题；
    将获取到的各个所述历史问题两两配对，得到各个问题组合；
    将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设问题组的问题组合的标记值记为0；
    对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量；
    将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值；
    以输出的各个第二样本概率值作为调整目标，调整所述第二深度学习模型的参数，以最小化得到的所述各个第二样本概率值与各个问题组合对应的标记值之间的误差；
    若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差满足预设的第二条件，则确定所述预设用户意图对应的第二深度学习模型为训练好的第二深度学习模型。
  5. 根据权利要求1至4中任一项所述的基于深度学习的问答反馈方法，其特征在于，在将所述目标问题组对应的预设答案反馈至所述用户之前，还包括：
    将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值，其中，所述solr的数据库中预先配置有预先收集的、属于所述目标用户意图下各个问题语义相同的问题；
    将最高的第三概率值与最高的所述第二概率值进行对比；
    若最高的第三概率值大于最高的所述第二概率值，则将所述第三概率值最高的相似问题确定为新的目标问题组；
    若最高的第三概率值小于或等于最高的所述第二概率值，则执行所述将所述目标问题组对应的预设答案反馈至所述用户的步骤。
  6. 一种基于深度学习的问答反馈装置，其特征在于，包括：
    目标问题获取模块，用于获取用户输入的目标问题；
    第一概率输出模块，用于将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
    目标意图选取模块，用于选取第一概率值最高的预设用户意图作为目标用户意图；
    模型确定模块，用于根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
    第二概率输出模块，用于将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
    目标问题组选取模块，用于选取第二概率值最高的预设问题组作为目标问题组；
    答案反馈模块，用于将所述目标问题组对应的预设答案反馈至所述用户。
  7. 根据权利要求6所述的基于深度学习的问答反馈装置，其特征在于，所述第一深度学习模型通过以下模块预先训练好：
    样本问题收集模块，用于分别收集属于各个预设用户意图的样本问题；
    问题向量化模块，用于对收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量；
    问题向量标记模块，用于针对每个预设用户意图，将所述预设用户意图对应的问题向量的标记值记为1，其它问题向量的标记值记为0；
    第一模型学习模块，用于针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值；
    第一参数调整模块，用于针对每个预设用户意图，以输出的各个第一样本概率值作为调整目标，调整所述第一深度学习模型的参数，以最小化得到的所述各个第一样本概率值与各个问题向量对应的标记值之间的误差；
    第一模型训练完成模块，用于若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差满足预设的第一条件，则确定所述第一深度学习模型为训练好的第一深度学习模型。
  8. 根据权利要求6所述的基于深度学习的问答反馈装置，其特征在于，所述基于深 度学习的问答反馈装置还包括：
    指定文本删除模块，用于删除所述目标问题中的指定文本，所述指定文本至少包括停用词或标点符号；
    问题分词处理模块，用于对删除指定文本后的所述目标问题进行分词处理，得到所述目标问题中的各个词语；
    新问题向量化模块，用于将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
  9. 根据权利要求6所述的基于深度学习的问答反馈装置，其特征在于，任一预设用户意图对应的第二深度学习模型通过以下模块预先训练好：
    预设问题组获取模块，用于获取所述预设用户意图下各个预设问题组，每个预设问题组包括多个预先收集的问题语义相同的历史问题；
    问题配对模块，用于将获取到的各个所述历史问题两两配对，得到各个问题组合；
    问题组标记模块，用于将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设问题组的问题组合的标记值记为0；
    问题组向量化模块，用于对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量；
    第二模型学习模块，用于将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值；
    第二参数调整模块，用于以输出的各个第二样本概率值作为调整目标，调整所述第二深度学习模型的参数，以最小化得到的所述各个第二样本概率值与各个问题组合对应的标记值之间的误差；
    第二模型训练完成模块，用于若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差满足预设的第二条件，则确定所述预设用户意图对应的第二深度学习模型为训练好的第二深度学习模型。
  10. 根据权利要求6至9中任一项所述的基于深度学习的问答反馈装置，其特征在于，所述基于深度学习的问答反馈装置还包括：
    相似问题检索模块，用于将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值，其中，所述solr的数据库中预先配置有预先收集的、属于所述目标用户意图下各个问题语义相同的问题；
    概率值对比模块，用于将最高的第三概率值与最高的所述第二概率值进行对比；
    新问题组确定模块，用于若最高的第三概率值大于最高的所述第二概率值，则将所述第三概率值最高的相似问题确定为新的目标问题组；
    触发模块，用于若最高的第三概率值小于或等于最高的所述第二概率值，则触发所述答案反馈模块。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取用户输入的目标问题；
    将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
    选取第一概率值最高的预设用户意图作为目标用户意图；
    根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
    将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
    选取第二概率值最高的预设问题组作为目标问题组；
    将所述目标问题组对应的预设答案反馈至所述用户。
  12. 根据权利要求11所述的计算机设备，其特征在于，所述第一深度学习模型通过以下步骤预先训练好：
    分别收集属于各个预设用户意图的样本问题；
    对收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量；
    针对每个预设用户意图，将所述预设用户意图对应的问题向量的标记值记为1，其它问题向量的标记值记为0；
    针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值；
    针对每个预设用户意图，以输出的各个第一样本概率值作为调整目标，调整所述第一深度学习模型的参数，以最小化得到的所述各个第一样本概率值与各个问题向量对应的标记值之间的误差；
    若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差满足预设的第一条件，则确定所述第一深度学习模型为训练好的第一深度学习模型。
  13. 根据权利要求11所述的计算机设备，其特征在于，在将所述目标问题作为输入投入至预先训练好的第一深度学习模型之前，所述处理器执行所述计算机可读指令时还实现如下步骤：删除所述目标问题中的指定文本，所述指定文本至少包括停用词或标点符号；
    对删除指定文本后的所述目标问题进行分词处理，得到所述目标问题中的各个词语；
    将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
  14. 根据权利要求11所述的计算机设备，其特征在于，任一预设用户意图对应的第二深度学习模型通过以下步骤预先训练好：
    获取所述预设用户意图下各个预设问题组，每个预设问题组包括多个预先收集的问题语义相同的历史问题；
    将获取到的各个所述历史问题两两配对，得到各个问题组合；
    将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设问题组的问题组合的标记值记为0；
    对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量；
    将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值；
    以输出的各个第二样本概率值作为调整目标，调整所述第二深度学习模型的参数，以最小化得到的所述各个第二样本概率值与各个问题组合对应的标记值之间的误差；
    若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差满足预设的第二条件，则确定所述预设用户意图对应的第二深度学习模型为训练好的第二深度学习模型。
  15. 根据权利要求11至14中任一项所述的计算机设备，其特征在于，在将所述目标问题组对应的预设答案反馈至所述用户之前，所述处理器执行所述计算机可读指令时还实现如下步骤：
    将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值，其中，所述solr的数据库中预先配置有预先收集的、属于所述目标用户意图下各个问题语义相同的问题；
    将最高的第三概率值与最高的所述第二概率值进行对比；
    若最高的第三概率值大于最高的所述第二概率值，则将所述第三概率值最高的相似问题确定为新的目标问题组；
    若最高的第三概率值小于或等于最高的所述第二概率值，则执行所述将所述目标问题组对应的预设答案反馈至所述用户的步骤。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    获取用户输入的目标问题；
    将所述目标问题作为输入投入至预先训练好的第一深度学习模型，得到所述第一深度学习模型输出的各个预设用户意图对应的第一概率值，第一概率值表征了所述目标问题属于对应的预设用户意图的概率；
    选取第一概率值最高的预设用户意图作为目标用户意图；
    根据预设的意图模型对应关系确定出所述目标用户意图对应的第二深度学习模型，所述意图模型对应关系记录了各个预设用户意图与各个预先训练好的第二深度学习模型之间的对应关系；
    将所述目标问题作为输入投入至确定出的所述第二深度学习模型，得到输出的所述目标用户意图下各个预设问题组对应的第二概率值，第二概率值表征了所述目标问题与对应的预设问题组之间问题语义相同的概率；
    选取第二概率值最高的预设问题组作为目标问题组；
    将所述目标问题组对应的预设答案反馈至所述用户。
  17. 根据权利要求16所述的非易失性可读存储介质，其特征在于，所述第一深度学习模型通过以下步骤预先训练好：
    分别收集属于各个预设用户意图的样本问题；
    对收集到的样本问题分别进行向量化处理，得到各个样本问题对应的问题向量；
    针对每个预设用户意图，将所述预设用户意图对应的问题向量的标记值记为1，其它问题向量的标记值记为0；
    针对每个预设用户意图，将所有问题向量作为输入投入至第一深度学习模型，得到输出的各个第一样本概率值；
    针对每个预设用户意图，以输出的各个第一样本概率值作为调整目标，调整所述第一深度学习模型的参数，以最小化得到的所述各个第一样本概率值与各个问题向量对应的标记值之间的误差；
    若所述各个第一样本概率值与各个问题向量对应的标记值之间的误差满足预设的第一条件，则确定所述第一深度学习模型为训练好的第一深度学习模型。
  18. 根据权利要求16所述的非易失性可读存储介质，其特征在于，在将所述目标问题作为输入投入至预先训练好的第一深度学习模型之前，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：删除所述目标问题中的指定文本，所述指定文本至少包括停用词或标点符号；
    对删除指定文本后的所述目标问题进行分词处理，得到所述目标问题中的各个词语；
    将所述目标问题中的各个词语分别进行向量化处理，得到各个词语对应的词向量作为新的目标问题。
  19. 根据权利要求16所述的非易失性可读存储介质，其特征在于，任一预设用户意图对应的第二深度学习模型通过以下步骤预先训练好：
    获取所述预设用户意图下各个预设问题组，每个预设问题组包括多个预先收集的问题语义相同的历史问题；
    将获取到的各个所述历史问题两两配对，得到各个问题组合；
    将两个配对的历史问题属于同一预设问题组的问题组合的标记值记为1，并将两个配对的历史问题不属于同一预设问题组的问题组合的标记值记为0；
    对所述各个问题组合分别进行向量化处理，得到所述各个问题组合对应的组合向量；
    将所有组合向量作为输入投入至所述预设用户意图对应的第二深度学习模型，得到输出的各个第二样本概率值；
    以输出的各个第二样本概率值作为调整目标，调整所述第二深度学习模型的参数，以最小化得到的所述各个第二样本概率值与各个问题组合对应的标记值之间的误差；
    若所述各个第二样本概率值与各个问题组合对应的标记值之间的误差满足预设的第二条件，则确定所述预设用户意图对应的第二深度学习模型为训练好的第二深度学习模型。
  20. 根据权利要求16至19中任一项所述的非易失性可读存储介质，其特征在于，在将所述目标问题组对应的预设答案反馈至所述用户之前，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    将所述目标问题输入solr进行相似问题检索，得到solr输出的各个相似问题以及所述各个相似问题对应的第三概率值，其中，所述solr的数据库中预先配置有预先收集的、属于所述目标用户意图下各个问题语义相同的问题；
    将最高的第三概率值与最高的所述第二概率值进行对比；
    若最高的第三概率值大于最高的所述第二概率值，则将所述第三概率值最高的相似问题确定为新的目标问题组；
    若最高的第三概率值小于或等于最高的所述第二概率值，则执行所述将所述目标问题组对应的预设答案反馈至所述用户的步骤。
PCT/CN2019/088714 2018-12-11 2019-05-28 基于深度学习的问答反馈方法、装置、设备及存储介质 WO2020119031A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811507885.9 2018-12-11
CN201811507885.9A CN109829038A (zh) 2018-12-11 2018-12-11 基于深度学习的问答反馈方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020119031A1 true WO2020119031A1 (zh) 2020-06-18

Family

ID=66858786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088714 WO2020119031A1 (zh) 2018-12-11 2019-05-28 基于深度学习的问答反馈方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN109829038A (zh)
WO (1) WO2020119031A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200210776A1 (en) * 2018-12-29 2020-07-02 Ubtech Robotics Corp Ltd Question answering method, terminal, and non-transitory computer readable storage medium
US20210237757A1 (en) * 2020-01-31 2021-08-05 Toyota Jidosha Kabushiki Kaisha Information processing device, information processing method, and storage medium storing information processing program

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110444292B (zh) * 2019-07-29 2022-04-08 北京爱医生智慧医疗科技有限公司 信息问答方法及系统
CN110390108B (zh) * 2019-07-29 2023-11-21 中国工商银行股份有限公司 基于深度强化学习的任务型交互方法和系统
CN110516057B (zh) * 2019-08-23 2022-10-28 深圳前海微众银行股份有限公司 一种信访问题答复方法及装置
US11508480B2 (en) * 2019-08-28 2022-11-22 International Business Machines Corporation Online partially rewarded learning
CN110852426B (zh) * 2019-11-19 2023-03-24 成都晓多科技有限公司 基于知识蒸馏的预训练模型集成加速方法及装置
CN111079938B (zh) * 2019-11-28 2020-11-03 百度在线网络技术（北京）有限公司 问答阅读理解模型获取方法、装置、电子设备及存储介质
CN111026853B (zh) * 2019-12-02 2023-10-27 支付宝(杭州)信息技术有限公司 目标问题的确定方法、装置、服务器和客服机器人
CN110880141A (zh) * 2019-12-04 2020-03-13 中国太平洋保险（集团）股份有限公司 一种深度双塔模型智能匹配算法及装置
CN111368043A (zh) * 2020-02-19 2020-07-03 中国平安人寿保险股份有限公司 基于人工智能的事件问答方法、装置、设备及存储介质
CN111477310A (zh) * 2020-03-04 2020-07-31 平安国际智慧城市科技股份有限公司 分诊数据处理方法、装置、计算机设备及存储介质
CN112131788B (zh) * 2020-09-18 2022-09-02 江西兰叶科技有限公司 用于教学的电机设计方法及系统
CN113704388A (zh) * 2021-03-05 2021-11-26 腾讯科技（深圳）有限公司 多任务预训练模型的训练方法、装置、电子设备和介质
CN115952274B (zh) * 2023-03-10 2023-06-27 北京百度网讯科技有限公司 基于深度学习模型的数据生成方法、训练方法和装置
CN116127051B (zh) * 2023-04-20 2023-07-11 中国科学技术大学 基于深度学习的对话生成方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803092A (zh) * 2015-11-26 2017-06-06 阿里巴巴集团控股有限公司 一种标准问题数据的确定方法及装置
CN107301213A (zh) * 2017-06-09 2017-10-27 腾讯科技（深圳）有限公司 智能问答方法及装置
CN108228559A (zh) * 2016-12-22 2018-06-29 苏宁云商集团股份有限公司 一种用于用户业务的人机交互实现方法及系统
WO2018149326A1 (zh) * 2017-02-16 2018-08-23 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN108446322A (zh) * 2018-02-10 2018-08-24 灯塔财经信息有限公司 一种智能问答系统的实现方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482427B2 (en) * 2013-03-14 2019-11-19 Worldone, Inc. System and method for concept discovery with online information environments
CN108427722A (zh) * 2018-02-09 2018-08-21 卫盈联信息技术（深圳）有限公司 智能交互方法、电子装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803092A (zh) * 2015-11-26 2017-06-06 阿里巴巴集团控股有限公司 一种标准问题数据的确定方法及装置
CN108228559A (zh) * 2016-12-22 2018-06-29 苏宁云商集团股份有限公司 一种用于用户业务的人机交互实现方法及系统
WO2018149326A1 (zh) * 2017-02-16 2018-08-23 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN107301213A (zh) * 2017-06-09 2017-10-27 腾讯科技（深圳）有限公司 智能问答方法及装置
CN108446322A (zh) * 2018-02-10 2018-08-24 灯塔财经信息有限公司 一种智能问答系统的实现方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200210776A1 (en) * 2018-12-29 2020-07-02 Ubtech Robotics Corp Ltd Question answering method, terminal, and non-transitory computer readable storage medium
US11429810B2 (en) * 2018-12-29 2022-08-30 Ubtech Robotics Corp Ltd Question answering method, terminal, and non-transitory computer readable storage medium
US20210237757A1 (en) * 2020-01-31 2021-08-05 Toyota Jidosha Kabushiki Kaisha Information processing device, information processing method, and storage medium storing information processing program
US11577745B2 (en) * 2020-01-31 2023-02-14 Toyota Jidosha Kabushiki Kaisha Information processing device, information processing method, and storage medium storing information processing program

Also Published As

Publication number Publication date
CN109829038A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
WO2020119031A1 (zh) 基于深度学习的问答反馈方法、装置、设备及存储介质
WO2020119030A1 (zh) 用于答复问题的模型训练方法、装置、设备及存储介质
WO2020237869A1 (zh) 一种问题意图识别方法、装置、计算机设备及存储介质
WO2020232877A1 (zh) 一种问题答案选取方法、装置、计算机设备及存储介质
WO2020155766A1 (zh) 意图识别中的拒识方法、装置、设备及存储介质
WO2020143844A1 (zh) 意图分析方法、装置、显示终端及计算机可读存储介质
WO2020135337A1 (zh) 实体语义关系分类
WO2020147428A1 (zh) 交互内容生成方法、装置、计算机设备及存储介质
WO2020181808A1 (zh) 一种文本标点预测方法、装置、计算机设备及存储介质
WO2021151328A1 (zh) 症状数据处理方法、装置、计算机设备及存储介质
WO2022227162A1 (zh) 问答数据处理方法、装置、计算机设备及存储介质
WO2020233131A1 (zh) 问答处理方法、装置、计算机设备和存储介质
WO2021151327A1 (zh) 分诊数据处理方法、装置、设备及介质
CN108804677A (zh) 结合多层级注意力机制的深度学习问题分类方法及系统
CN109256216A (zh) 医学数据处理方法、装置、计算机设备和存储介质
CN111274371B (zh) 一种基于知识图谱的智能人机对话方法及设备
WO2020147395A1 (zh) 基于情感的文本分类处理方法、装置和计算机设备
CN111309881A (zh) 智能问答中未知问题处理方法、装置、计算机设备和介质
WO2022227203A1 (zh) 基于对话表征的分诊方法、装置、设备及存储介质
CN111370102A (zh) 科室导诊方法、装置以及设备
WO2021151356A1 (zh) 分诊数据处理方法、装置、计算机设备及存储介质
CN112397197A (zh) 基于人工智能的问诊数据处理方法及装置
CN110598210A (zh) 实体识别模型训练、实体识别方法、装置、设备及介质
WO2020159395A1 (ru) Способ создания модели анализа диалогов на базе искусственного интеллекта
CN110377618B (zh) 裁决结果分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19896092

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19896092

Country of ref document: EP

Kind code of ref document: A1