WO2020164333A1 - 基于强化学习模型的业务用户分流方法和装置 - Google Patents

基于强化学习模型的业务用户分流方法和装置 Download PDF

Info

Publication number
WO2020164333A1
WO2020164333A1 PCT/CN2020/070055 CN2020070055W WO2020164333A1 WO 2020164333 A1 WO2020164333 A1 WO 2020164333A1 CN 2020070055 W CN2020070055 W CN 2020070055W WO 2020164333 A1 WO2020164333 A1 WO 2020164333A1
Authority
WO
WIPO (PCT)
Prior art keywords
service
user
services
value
state
Prior art date
Application number
PCT/CN2020/070055
Other languages
English (en)
French (fr)
Inventor
龙翀
王雅芳
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2020164333A1 publication Critical patent/WO2020164333A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5141—Details of processing calls and other types of contacts in an unified manner
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/523—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing
    • H04M3/5232—Call distribution algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/523—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing
    • H04M3/5232—Call distribution algorithms
    • H04M3/5234—Uniform load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/523—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing
    • H04M3/5238—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing with waiting time or load prediction arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/527—Centralised call answering arrangements not requiring operator intervention

Definitions

  • the embodiments of this specification relate to the field of machine learning technology, and more specifically, to a method and device for offloading users requesting services based on reinforcement learning.
  • Hotline customer service and online customer service are the top priorities of customer service. However, on different days (weekdays, weekends, or "Double Eleven"), or in different time periods of the same day (day or night), the frequency of customers calling the hotline or using online is not the same, and peak hours are bound Cause huge pressure on customer service staff. If the scheduling is not good, it will extend the user's waiting time, and even make the user's request unable to be resolved in time, which will greatly affect the user experience.
  • the general way to solve the peak time period is to recommend some suitable users to exit the hotline according to different user characteristics and different accepting capabilities, and use APP, self-service, online customer service and other methods to get the answers they want. This can reduce the pressure of customer service during peak hours, shorten the waiting time of users, and improve user satisfaction.
  • Traditional scheduling methods include rule-based and machine learning methods.
  • the embodiments of the present specification aim to provide a more effective solution for offloading users requesting services based on reinforcement learning to solve the deficiencies in the prior art.
  • one aspect of this specification provides a method for offloading users requesting a first service, wherein the first service corresponds to at least one second service, and the at least one second service is used for offloading For a user requesting the first service, the method includes:
  • the first state at least includes: the first user separately The acceptance probability of the first service and at least one of the second services, the number of accessible users of each of the first service and at least one of the second services at the first moment, and the first service The estimated user increment of each service and at least one of the second services within a predetermined time period starting from the first moment;
  • the first state is input to the Q learning model to obtain each first state corresponding to each of the first service and at least one of the second services in the first state based on the output of the model.
  • Q value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value a value based on the output of the model.
  • determining the service used to access the first user among the first service and at least one of the second services includes: And at least one of the second services and the corresponding service with the largest first Q value is determined as the service for accessing the first user.
  • the first service is telephone customer service
  • the at least one second service includes at least one of the following services: manual online customer service, robot phone customer service, robot online customer service, and knowledge base self-service query.
  • the acceptance probability of the first user for the first service and at least one of the second services is determined based on at least one of the following: the user portrait of the first user, the first user Historical behavior.
  • the Q learning model is trained through the following steps:
  • the reward value corresponding to the reply is obtained based on the following two items: a predetermined reward score when the first user accepts the determined service, the first service, and at least one of the first The number of accessible users of each service after the feedback;
  • the second moment is the moment when the second user makes a request for the first service, and the request of the second user is immediately following the request of the first user
  • the next request where the second status includes at least: the probability of the second user accepting the first service and at least one of the second services, the first service and at least one of the second services The number of users that each service can access at the second moment, and the estimated user increment of each of the first service and at least one of the second services within a predetermined time period starting from the second moment ;
  • the second state is input into the Q learning model to obtain each second state corresponding to each of the first service and at least one of the second services in the second state based on the output of the model Q value;
  • the Q learning model is trained based on the first state, the determined service, and the Q value label value, so that the Q learning model outputs the data corresponding to the determined service based on the first state
  • the first Q value is closer to the Q value tag value.
  • the predetermined reward score value in the case that the user accepts the determined business is the first score, and when the determined business is any business In the case of a second service, the predetermined reward score when the user accepts the determined service is greater than the first score.
  • the reward value decreases.
  • the first service and at least one of the second services are less than 0, the first service and at least one of the second services The smaller the number of accessible users of any service in one of the second services after the feedback, the smaller the reward value.
  • Another aspect of this specification provides a device for offloading a user requesting a first service, wherein the first service corresponds to at least one second service, and the at least one second service is used to offload the request for the first service.
  • the device includes:
  • the obtaining unit is configured to obtain the state at the first moment as the first state, the first moment being the moment when the first user makes a request for the first service, wherein the first state includes at least: The first user’s acceptance probability for the first service and at least one of the second services, the number of users that can be accessed by the first service and at least one of the second services at the first moment, And the estimated user increment of each of the first service and at least one of the second services in a predetermined time period starting from the first moment;
  • the input unit is configured to input the first state into the Q learning model to obtain each of the services related to the first service and at least one of the second services in the first state based on the output of the model Each corresponding first Q value;
  • the determining unit is configured to, based on the respective first Q values, determine the service allocated to the first user among the first service and at least one of the second services, and reply to the office based on the determined service Mentioned first user.
  • the determining unit is further configured to determine the service with the largest first Q value corresponding to the first service and at least one of the second services as the service used to access the first user business.
  • the Q learning model is trained by a training device, and the training device includes:
  • the first obtaining unit is configured to obtain feedback of the first user after replying to the first user based on the determined service to determine whether the first user accepts the determined service;
  • the second obtaining unit is configured to obtain a reward value corresponding to the reply, the reward value being obtained based on the following two items: a predetermined reward score when the first user accepts the determined service, and the first user The number of accessible users for each of a service and at least one of the second services after the feedback;
  • the third acquiring unit is configured to acquire the state at the second moment as the second state, the second moment being the moment when the second user makes a request for the first service, and the second user's request is immediately following The next request of the first user’s request, wherein the second state includes at least: the second user’s acceptance probability of the first service and at least one of the second services, the first The number of accessible users of each service and at least one of the second services at the second time, and the respective schedules of the first service and at least one of the second services from the second time Estimated user increment during the time period;
  • the input unit is configured to input the second state into the Q-learning model to obtain the relationship between the first service and at least one of the second services in the second state based on the output of the model Each corresponding second Q value;
  • the calculation unit is configured to calculate the Q value tag value corresponding to the first state and the determined service based on the maximum value of the reward value and each of the second Q values, and
  • the training unit is configured to train the Q learning model based on the first state, the determined service, and the Q value label value, so that the Q learning model is based on the output of the first state and the The first Q value corresponding to the determined service is closer to the Q value label value.
  • Another aspect of this specification provides a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed in a computer, the computer is caused to execute any of the above methods.
  • Another aspect of this specification provides a computing device including a memory and a processor, wherein the memory stores executable code, and when the processor executes the executable code, any one of the above methods is implemented.
  • Fig. 1 shows a schematic diagram of an apparatus 100 for diversion of business customers according to an embodiment of the present specification
  • Fig. 2 shows a flow chart of a method for offloading a user requesting a first service according to an embodiment of this specification
  • Fig. 3 shows a flowchart of a method for training a Q learning model according to an embodiment of this specification
  • FIG. 4 shows an apparatus 400 for offloading users requesting the first service according to an embodiment of the present specification
  • FIG. 5 shows a training device 500 for training a Q learning model according to an embodiment of the present specification.
  • Fig. 1 shows a schematic diagram of an apparatus 100 for diversion of business customers according to an embodiment of the present specification.
  • the device 100 includes: a Q learning model 11, a decision-making module 12, and a training module 13.
  • the service is, for example, the telephone customer service service of a platform (such as a Taobao platform).
  • a platform such as a Taobao platform.
  • the manual online customer service, robot online customer service, and knowledge base self-service query can be carried out through the platform APP, for example .
  • two other services for diversion are used, such as online customer service and self-service inquiry.
  • Telephone customer service, online customer service and self-service inquiry can be shown as three actions b 1 , b 2 and b 3 that can be adopted in the Q learning model.
  • the state s 1 includes, for example, the first user’s tendency (acceptance probability) for each of the above-mentioned services at the first moment, the reception capacity of each service at the first moment, and the status of each service. Estimated user increment in a predetermined period from the first moment, etc.
  • the Q learning model 11 calculates the Q value corresponding to each action based on the state s 1 , that is, Q(s 1 , b 1 ), Q(s 1 , b 2 ), and Q(s 1 , b 3 ).
  • a predetermined decision-making algorithm can be used to make action decisions, that is, determine which service is selected among telephone customer service, online customer service, and self-service inquiry to allocate to the first user, thereby obtaining a 1 , A 1 is a selected one of b 1 , b 2 and b 3 .
  • the first user's incoming call processing can be performed based on a 1 in the customer service call.
  • the a 1 may be a telephone customer service
  • the first user can be directly connected to the telephone customer service.
  • the a 1 may be online customer service, and the first user can be voiced in the phone to suggest that the first user switch to online customer service to make an inquiry.
  • the first user may have different feedbacks for the above suggestions, such as accepting the suggestion or not accepting the suggestion. In the case that the first user does not accept the above suggestion, the first user is still waiting on the customer service call.
  • the feedback from the first customer has an impact on the state of the environment, for example, on the capacity of each business. Based on whether the user accepts the recommendation and the capacity change of each service, the return value r 1 of the Q learning model caused by the action a 1 can be determined.
  • the environment state s 2 can be obtained.
  • the next incoming call is, for example, the second user dialed in at the second time.
  • the state s 2 includes the second user’s tendency (acceptance probability) for each of the above-mentioned services at the second moment, the reception capacity of each service at the second moment, and the predetermined period of time for each service from the second moment. Estimated user increments within and so on.
  • the Q learning model In the training phase, by inputting the state s 2 into the Q learning model 11, three Q values corresponding to the three services can be obtained. Based on the maximum value of the three Q values and the above return value r 1 , the Calculate the tag value of Q(s 1 , a 1 ) in module 13 Based on the label value, s 1 and a 1, the Q learning model can be trained by the gradient descent method, thereby updating the parameters of the Q learning model.
  • the services that need to be drained in the embodiments of the present specification are not limited to the above-mentioned telephone customer service services, but can be any service with a limited total number of receivable users.
  • the optional actions in the embodiment of this specification are not limited to three, but can be set according to specific scene needs.
  • Figure 2 shows a flow chart of a method for offloading users requesting a first service according to an embodiment of the present specification, wherein the first service corresponds to at least one second service, and the at least one second service is used for For offloading users requesting the first service, the method includes:
  • step S202 the state at the first moment is acquired as the first state, the first moment being the moment when the first user makes a request for the first service, wherein the first state includes at least: The user’s acceptance probability of the first service and at least one of the second services, the number of accessible users of the first service and at least one of the second services at the first moment, and all The estimated user increment of each of the first service and at least one of the second services within a predetermined time period starting from the first moment;
  • step S204 the first state is input to the Q learning model to obtain the respective services corresponding to the first service and at least one of the second services in the first state based on the output of the model Each first Q value of;
  • step S206 based on the respective first Q values, determine the service allocated to the first user among the first service and at least one of the second services, and reply to the first user based on the determined service One user.
  • step S202 the state at the first moment is acquired as the first state, the first moment being the moment when the first user makes a request for the first service, wherein the first state includes at least: The first user’s acceptance probability for the first service and at least one of the second services, the number of users that can be accessed by the first service and at least one of the second services at the first moment, And the estimated user increment of each of the first service and the at least one second service in a predetermined time period starting from the first moment.
  • the first service is, for example, a telephone customer service service
  • the second service includes, for example, two services of online customer service and self-service inquiry.
  • the first user can be any user of the platform. It should be understood that the descriptions of "first”, “second”, etc. in this text are merely used to distinguish similar concepts for simplicity of description, and do not have other limiting effects.
  • the first user dials in the customer service phone, it also requests the phone customer service service. After receiving the request, the platform can obtain the current state of the entire environment as s 1 used to input the Q learning model.
  • U t, C t and e t is a vector of N dimensions, N being the total number of Q-learning operation model, for example as described with reference to FIG. 1, 3, that is, each of U t and C t
  • the dimension corresponds to an action.
  • U t represents the user tendency of the relevant user at time t, and the value in each dimension (for example, between 0 and 1) represents the probability of the user's acceptance of the corresponding action.
  • U t represents the user tendency of the user who dials the customer service phone at time t.
  • the probability of all users accepting the "manual hotline" is very high (for example, 100%).
  • the acceptance probability of different users is determined based on at least one of the following: user portrait and historical behavior.
  • the user portrait can be obtained regularly through the corresponding model.
  • the user portrait includes the "elderly" feature.
  • the elderly are not good at using mobile phones, computers, etc. to conduct online customer service consultation or self-service inquiries.
  • the acceptance probability of "online customer service” and "self-service inquiry” can be set to be low.
  • the user’s historical behavior is, for example, the user’s history of accepting or rejecting these customer service and self-service queries when dialing into customer service calls in the past. Based on the user’s past acceptance of, for example, online customer service, it can be estimated that the user accepted this time The probability of online customer service drainage.
  • the user portrait and the user's historical behavior can be considered comprehensively. For example, the user portrait can be converted into a numerical value, and the user's acceptance probability of the corresponding action can be obtained based on the weighted sum of the user portrait value and the number of times of acceptance.
  • C t represents the remaining reference value of the reception capacity in each action dimension at time t (may be called the "capacity" in each dimension). This value is allowed to be negative. In the case of a negative value, it means that users are waiting in a crowded situation in this dimension; when the value is positive, it means that the reception capacity of this dimension is left.
  • the values of these two dimensions in C t can be determined based on the number of users who can actually be received by the telephone customer service and online customer service at time t , and the values of these two dimensions in C t can be determined in the corresponding
  • the value of the dimension in the self-service query is set to a larger value.
  • e t represents the user increment in each dimension in the next time interval (t, t+T d ) (the number of newly dialed users minus the number of end-of-call users), and T d represents the length of the time interval, such as every Time interval of 5 minutes.
  • e t can be estimated based on historical data, or can be predicted and obtained by a predetermined algorithm. It can be understood that the state s is not limited to only including the features U, C, and e in the above three aspects, but can also include other features, for example, it can also include user portrait features, action features corresponding to each action dimension (such as business connection Input costs, business hours) and so on.
  • the state s 1 (U 1 , C 1 , e 1 ) corresponding to the time 1 can be obtained, where U 1 , C 1 And e 1 can be obtained respectively based on the above method.
  • step S204 the first state is input to the Q learning model to obtain the respective services corresponding to the first service and at least one of the second services in the first state based on the output of the model The first Q value of each.
  • the Q learning model is implemented by a neural network.
  • the neural network can output the Q value corresponding to the state s and action a (ie, Q(s ,a)).
  • the state s 1 suppose that the three actions of telephone customer service, online customer service, and self-service query are represented by b 1 , b 2 and b 3 respectively .
  • (s 1 , b 1 ), ( s 1 , b 2 ) and (s 1 , b 3 ) are respectively input to the Q learning model, so that based on the neural network, the outputs are related to (s 1 , b 1 ), (s 1 , b 2 ) and (s 1 , b 3 )
  • only s 1 may be input to the Q learning model, so that based on the neural network, the outputs correspond to (s 1 , b 1 ), (s 1 , b 2 ) and (s 1 , b 3 ) respectively ⁇ Q 1 , Q 2 and Q 3 .
  • step S206 based on the respective first Q values, determine the service allocated to the first user among the first service and at least one of the second services, and reply to the first user based on the determined service One user.
  • the action a 1 to be executed may be determined based on a predetermined decision algorithm, that is, the service allocated to the first user may be determined.
  • the service corresponding to the maximum value of Q 1 , Q 2 and Q 3 may be allocated to the first user.
  • the action a 1 may be determined based on the ⁇ -greedy strategy.
  • a reply to the request of the first user may be performed based on the action a 1 , that is, the action a 1 is implemented in the environment.
  • the first user dials into the customer service phone
  • a 1 is b 1 , that is, call customer service
  • the first user's call is transferred to the phone customer service
  • a 1 is b 2 , that is online customer service
  • the first user is advised by voice to consult through online customer service.
  • Q is determined by the method based learning model shown in FIG. 2 and 1 corresponding to a state S 1, and a later operation of embodiment 1, may determine that the operation returns a value of 1 r 1 in the environment.
  • s 2 can be acquired, so that one training of the Q learning model can be performed based on s 1 , a 1 , r 1 and s 2 .
  • Fig. 3 shows a flowchart of a method for training a Q-learning model according to an embodiment of this specification, including the following steps:
  • step S302 after replying to the first user based on the determined service, obtain feedback from the first user to determine whether the first user accepts the determined service;
  • step S304 a reward value corresponding to the reply is obtained, and the reward value is obtained based on the following two items: a predetermined reward score in the case that the first user accepts the determined service, the first service, and at least The number of accessible users of each of the second services after the feedback;
  • step S306 the state at the second moment is acquired as the second state, the second moment is the moment when the second user makes a request for the first service, and the request of the second user is immediately following the first The next request of the user’s request, wherein the second state includes at least: the second user’s acceptance probability of the first service and at least one of the second services, the first service and at least one The number of accessible users of each of the second services at the second moment, and the respective pre-sets of the first service and at least one of the second services within a predetermined time period starting from the second moment Estimate user increment;
  • step S308 the second state is input to the Q learning model to obtain the respective services corresponding to the first service and at least one of the second services in the second state based on the output of the model Each second Q value of;
  • step S310 based on the maximum value of the reward value and each of the second Q values, calculate the Q value tag value corresponding to the first state and the determined service, and
  • step S312 the Q learning model is trained based on the first state, the determined service, and the Q value label value, so that the Q learning model is based on the output of the first state and the determined value.
  • the first Q value corresponding to the service is closer to the Q value tag value.
  • step S302 after replying to the first user based on the determined service, obtain the feedback of the first user to determine whether the first user accepts the determined service.
  • the feedback of the first user may be to accept a 1 or not to accept a 1 .
  • a 1 is the above b 1 , that is, it is transferred to the telephone customer service.
  • a 1 is, for example, b 2 , that is, the first user is advised to consult through online customer service.
  • the first user’s feedback is to accept the a 1
  • the first user exits the dial-in Call, and contact the online customer service through, for example, an app. If the first user's feedback is that the a 1 is not accepted, the first user still waits to access the phone customer service.
  • step S304 a reward value corresponding to the reply is obtained, and the reward value is obtained based on the following two items: a predetermined reward score in the case that the first user accepts the determined service, the first service, and at least The number of accessible users of each of the second services after the feedback.
  • the reward value r 1 obtained by implementing the above-mentioned action a 1 in the environment is obtained.
  • the reward value r 1 corresponding to s 1 and a 1 can be obtained by the following formula (1):
  • N-dimensional vector which represents the capacity change of each dimension of the N action dimensions after the action a 1 is implemented.
  • N 3 telephone customer service scenario
  • formula (1) is only an example calculation method for the reward value r1 in the embodiment of this specification, and the embodiment of this specification is not limited to this formula.
  • the activation function is not limited to the use of the Relu function, but the ⁇ function, etc., Not limited to When it is less than zero, it has an effect on the return value r1. When it is greater than zero, the return value r1 can also be affected by comparing the size of each dimension value.
  • step S306 the state at the second moment is acquired as the second state, the second moment is the moment when the second user makes a request for the first service, and the request of the second user is immediately following the first The next request of the user’s request, wherein the second state includes at least: the second user’s acceptance probability of the first service and at least one of the second services, the first service and at least one The number of accessible users of each of the second services at the second moment, and the respective pre-sets of the first service and at least one of the second services within a predetermined time period starting from the second moment Estimate user increment.
  • s 2 can include the following three items: Where U 2 represents the acceptance probability of the second user for the first service and at least one of the second services at time 2, respectively, Represents the number of users accessible to each of the first service and at least one of the second services at time 2 after the above action a 1 and e 2 represents the first service and at least one of the second services The respective estimated user increments in the predetermined period starting from time 2.
  • U 2 and e 2 can be obtained in the same way as U 1 and e 1 above, It can be obtained in the calculation of formula (1) above, so that the second state s2 of the model can be obtained.
  • the second user here may be any user on the platform, and it may also be the above-mentioned first user.
  • step S308 the second state is input to the Q-learning model to obtain the respective services corresponding to the first service and at least one of the second services in the second state based on the output of the model ⁇ each second Q value.
  • the model Similar to the input state s 1 to the model above, by inputting s 2 to the learning model of Q, the model outputs Q(s 2 ,b 1 ), Q(s 2 ,b 2 ) and Q(s 2 ,b 3) can be obtained ), which are all called second Q values to distinguish them from the respective first Q values corresponding to the state s 1 above.
  • step S310 a Q value tag value corresponding to the first state and the determined service is calculated based on the maximum value of the reward value and each of the second Q values.
  • the Q value is usually updated by the following formula (2):
  • ⁇ is a predetermined parameter. It can be understood that in the case that the parameter ⁇ is not equal to 1, the Q(s t , a t ) on the right side of the formula (2) can also be moved to the left side of the formula to make the label of Q(s t , a t ) The value can be calculated based on r t + ⁇ max M Q(s t+1 , a t+1 ).
  • step S312 the Q learning model is trained based on the first state, the determined service, and the Q value label value, so that the Q learning model is based on the output of the first state and the determined value.
  • the first Q value corresponding to the service is closer to the Q value tag value.
  • the Q learning model can be trained based on, for example, the loss function shown in formula (4):
  • ⁇ represents all current parameters in the Q learning model.
  • each parameter in the model can be initialized randomly. Adjust the parameter ⁇ through the gradient descent method, which can make the output value of the Q learning model It is closer to the predicted value shown in formula (3), which makes the model prediction more accurate.
  • the model training is not limited to the loss function shown in formula (4), and various loss function forms well known to those skilled in the art can be used, for example, the absolute value of the difference can be used. And other forms.
  • the reinforcement learning model can be trained multiple times through the method shown in Figure 3 as more user requests (such as dialed customer service calls). If the system will end (terminate or restart), the current trained The model is saved and reloaded at the next system startup to continue training. After the number of training reaches a sufficient number, the learning model may tend to converge, so that training may be stopped.
  • FIG. 4 shows an apparatus 400 for offloading users requesting a first service according to an embodiment of the present specification, wherein the first service corresponds to at least one second service, and the at least one second service is used for offloading requests For the user of the first service, the device includes:
  • the acquiring unit 41 is configured to acquire the state at the first moment as the first state, the first moment being the moment when the first user makes a request for the first service, wherein the first state includes at least: The first user’s acceptance probability of the first service and at least one of the second services, and the number of users that can be accessed by the first service and at least one of the second services at the first moment. , And the estimated user increment of each of the first service and at least one of the second services within a predetermined time period starting from the first moment;
  • the input unit 42 is configured to input the first state into the Q-learning model to obtain the relationship between the first service and at least one of the second service in the first state based on the output of the model Each first Q value corresponding to the business;
  • the determining unit 43 is configured to, based on the respective first Q values, determine the service allocated to the first user among the first service and at least one of the second services, and reply based on the determined service The first user.
  • the determining unit 43 is further configured to determine the service with the largest first Q value in the first service and at least one of the second services as used to access the first user Business.
  • FIG. 5 shows a training device 500 for training a Q learning model according to an embodiment of the present specification, including:
  • the first obtaining unit 51 is configured to obtain feedback of the first user after replying to the first user based on the determined service to determine whether the first user accepts the determined service;
  • the second obtaining unit 52 is configured to obtain a reward value corresponding to the reply, the reward value being obtained based on the following two items: a predetermined reward score when the first user accepts the determined service, and The number of accessible users of each of the first service and at least one of the second services after the feedback;
  • the third acquiring unit 53 is configured to acquire the state at the second moment as the second state, the second moment being the moment when the second user makes a request for the first service, and the second user's request is urgent The next request following the request of the first user, wherein the second state includes at least: the probability of the second user accepting the first service and at least one of the second services, and the first The number of accessible users of a service and at least one of the second services at the second time, and the number of users of the first service and at least one of the second services at the second time Estimated user increment within a predetermined time period;
  • the input unit 54 is configured to input the second state into the Q learning model, so as to obtain the relationship between the first service and the at least one second service in the second state based on the output of the model Each second Q value corresponding to the business;
  • the calculation unit 55 is configured to calculate the Q value label value corresponding to the first state and the determined service based on the reward value and the maximum value of the respective second Q values, and
  • the training unit 56 is configured to train the Q learning model based on the first state, the determined service, and the Q value label value, so that the Q learning model is based on the sum output of the first state The first Q value corresponding to the determined service is closer to the Q value label value.
  • Another aspect of this specification provides a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed in a computer, the computer is caused to execute any of the above methods.
  • Another aspect of this specification provides a computing device including a memory and a processor, wherein the memory stores executable code, and when the processor executes the executable code, any one of the above methods is implemented.
  • the steps of the method or algorithm described in the embodiments disclosed in this document can be implemented by hardware, a software module executed by a processor, or a combination of the two.
  • the software module can be placed in random access memory (RAM), internal memory, read-only memory (ROM), electrically programmable ROM, electrically erasable programmable ROM, registers, hard disks, removable disks, CD-ROMs, or all areas in the technical field. Any other known storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种对请求业务的用户进行分流的方法和装置，所述方法包括：获取第一时刻的状态作为第一状态(S202)，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；将第一状态输入Q学习模型，以基于模型的输出获取在第一状态下与第一业务及至少一个第二业务中的各个业务分别对应的各个第一Q值(S204)；以及基于各个第一Q值，在第一业务及至少一个第二业务中确定分配给第一用户的业务，并基于确定的业务回复第一用户(S206)。

Description

基于强化学习模型的业务用户分流方法和装置 技术领域
本说明书实施例涉及机器学习技术领域，更具体地，涉及一种基于强化学习对请求业务的用户进行分流的方法和装置。
背景技术
随着公司业务的不断扩大，如何为顾客提供优质的客户服务体验是大多数公司都关心的问题。热线客服和在线客服是客户服务的重中之重。然而在不同的日期(工作日、周末、或“双十一”)，或者同一天不同的时间段(白天或晚上)，客户拨打热线或使用在线的频率是不一样的，高峰时间段必然会给客服人员造成巨大的压力。如果调度不好的话，会延长用户的等待时间，甚至让用户的诉求无法得到及时的解决，从而极大影响用户体验。通用的解决高峰时间段的方法是，按照用户特点的不同以及接受能力的不同，推荐一部分合适的用户退出热线，采用APP、自助、在线客服等方式得到他们想要的答案。这样能够减轻高峰时段客服的压力，缩短用户等待时间，提高用户的满意度。传统的调度方法有基于规则的、机器学习的方法等。
因此，需要一种更有效的对公司业务的用户进行分流的方案。
发明内容
本说明书实施例旨在提供一种更有效的基于强化学习对请求业务的用户进行分流的方案，以解决现有技术中的不足。
为实现上述目的，本说明书一个方面提供一种对请求第一业务的用户进行分流的方法，其中，所述第一业务与至少一个第二业务相对应，所述至少一个第二业务用于分流请求所述第一业务的用户，所述方法包括：
获取该第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；
将所述第一状态输入Q学习模型，以基于所述模型的输出获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第一Q值；以及
基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
在一个实施例中，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定用于接入所述第一用户的业务包括，将所述第一业务及至少一个所述第二业务中对应的第一Q值最大的业务确定为用于接入所述第一用户的业务。
在一个实施例中，所述第一业务为电话客服，所述至少一个第二业务包括以下至少一种业务：人工在线客服、机器人电话客服、机器人在线客服、知识库自助查询。
在一个实施例中，所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率基于以下至少一项确定：所述第一用户的用户画像、所述第一用户的历史行为。
在一个实施例中，所述Q学习模型通过以下步骤训练：
当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务；
获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量；
获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中，所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量；
将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值；
基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值，以及
基于所述第一状态、所述确定的业务、及所述Q值标签值训练所述Q学习模型， 以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
在一个实施例中，在所述确定的业务为第一业务的情况中，在用户接受所述确定的业务的情况下的预定奖励分值为第一分值，在所述确定的业务为任一第二业务的情况中，在用户接受所述确定的业务的情况下的预定奖励分值大于所述第一分值。
在一个实施例中，在所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量小于0的情况中，所述回报值减小。
在一个实施例中，在所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量小于0的情况中，所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量越小，所述回报值越小。
本说明书另一方面提供一种对请求第一业务的用户进行分流的装置，其中，所述第一业务与至少一个第二业务相对应，所述至少一个第二业务用于分流请求所述第一业务的用户，所述装置包括：
获取单元，配置为，获取第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；
输入单元，配置为，将所述第一状态输入Q学习模型，以基于所述模型的输出获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第一Q值；以及
确定单元，配置为，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
在一个实施例中，所述确定单元还配置为，将所述第一业务及至少一个所述第二业务中对应的第一Q值最大的业务确定为用于接入所述第一用户的业务。
在一个实施例中，所述Q学习模型通过训练装置训练，所述训练装置包括：
第一获取单元，配置为，当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务；
第二获取单元，配置为，获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量；
第三获取单元，配置为，获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中，所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量；
输入单元，配置为，将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值；
计算单元，配置为，基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值，以及
训练单元，配置为，基于所述第一状态、所述确定的业务、及所述Q值标签值训练所述Q学习模型，以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
在根据本说明书实施例的业务用户分流方案，通过使用强化学习模型，可综合考虑环境因素及决策后的反馈，及时持续地对模型进行调整，从而提高决策的精度，以提高用户的体验。
附图说明
通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：
图1示出根据本说明书实施例用于业务客户引流的装置100的示意图；
图2示出根据本说明书实施例的一种对请求第一业务的用户进行分流的方法流程图；
图3示出根据本说明书实施例的训练Q学习模型的方法流程图；
图4示出根据本说明书实施例的对请求第一业务的用户进行分流的装置400；
图5示出根据本说明书实施例的用于训练Q学习模型的训练装置500。
具体实施方式
下面将结合附图描述本说明书实施例。
图1示出根据本说明书实施例用于业务客户引流的装置100的示意图。如图1所示，装置100中包括：Q学习模型11、决策模块12、以及训练模块13。所述业务例如为平台(例如淘宝平台)的电话客服业务，在高峰时段，拨入客服电话的客户过多时，为提高客户体验，减轻客服压力，需要对部分拨入的客户进行引流。可以将客户引流到多个其它业务中，如人工在线客服、机器人电话客服、机器人在线客服、知识库自助查询等，所述人工在线客服、机器人在线客服、知识库自助查询例如可通过平台APP进行。假设，采用两个用于引流的其它业务，如在线客服和自助查询。可将电话客服、在线客服和自助查询示为Q学习模型中可采用的三个动作b 1、b 2和b 3。
例如，在第一用户拨入客服电话时，在通过Q学习模型11进行对该第一用户的引流时，首先向Q学习模型11输入第一时刻的环境状态s 1，第一时刻即为第一用户拨入电话的时刻，该状态s 1例如包括：第一用户在第一时刻对上述各个业务的倾向度(接受概率)、每个业务在第一时刻的接待容量、以及每个业务的在自第一时刻开始的预定时段内的预估的用户增量等等。Q学习模型11基于该状态s 1计算与每个动作对应的Q值，即Q(s 1,b 1)、Q(s 1,b 2)和Q(s 1,b 3)。在决策模块12中，可基于这三个Q值，通过预定的决策算法进行动作的决策，即确定在电话客服、在线客服和自助查询中选择哪个业务分配给该第一用户，从而获取a 1，a 1为b 1、b 2和b 3中选定的一个。
在确定a 1之后，可在客服电话中基于a 1进行对该第一用户的拨入电话的处理。例如，所述a 1可能为电话客服，则可直接为该第一用户接通电话客服。例如，所述a 1可能为在线客服，则可在电话中语音建议该第一用户改用在线客服的方式进行询问。该第一用户针对上述建议可能有不同的反馈，其例如接受该建议或不接受该建议，在第一用户不接受上述建议的情况中，该第一用户仍在客服电话中等待。第一客户的反馈对环境 状态产生影响，例如对各个业务的容量产生影响。基于用户对该建议的是否接受、以及各个业务的容量变化，可确定由动作a 1引起的该Q学习模型的回报值r 1。
紧接着第一用户的拨入电话之后，在平台接到下一个拨入电话时，可获取环境状态s 2，该下一个拨入电话例如是第二用户在第二时刻拨入的。则，状态s 2包括第二用户在第二时刻对上述各个业务的倾向度(接受概率)、每个业务在第二时刻的接待容量、以及每个业务的在自第二时刻开始的预定时段内的预估的用户增量等等。
在训练阶段，通过将状态s 2输入Q学习模型11，可同样获取与三个业务分别对应的三个Q值，基于该三个Q值中的最大值和上述回报值r 1，可在训练模块13中计算Q(s 1，a 1)的标签值
Figure PCTCN2020070055-appb-000001
基于该标签值、s 1和a 1可通过梯度下降法训练Q学习模型，从而更新Q学习模型的参数。
可以理解，本说明书实施例中的需要引流的业务不限于上述电话客服业务，而可以任何具有有限可接收用户总数的业务。例如，各种在线游戏、订票业务等等。另外，本说明书实施例中的可选的动作也不限于为3个，而可以根据具体的场景需要进行设定。
下面对上述用户分流方法进行详细描述。
图2示出根据本说明书实施例的一种对请求第一业务的用户进行分流的方法流程图，其中，所述第一业务与至少一个第二业务相对应，所述至少一个第二业务用于分流请求所述第一业务的用户，所述方法包括：
在步骤S202，获取第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；
在步骤S204，将所述第一状态输入Q学习模型，以基于所述模型的输出获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第一Q值；以及
在步骤S206，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
首先，在步骤S202，获取第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分 别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量。
如参考图1中所述，所述第一业务例如为电话客服业务，所述第二业务例如包括在线客服和自助查询两个业务。第一用户可为平台的任一用户。需要理解，本文中的“第一”，“第二”等描述，仅仅为了描述的简单而对相似概念进行区分，并不具有其他限定作用。在第一用户拨入客服电话时，也即请求该电话客服业务。平台在接到该请求之后，可获取整个环境的当前状态作为用于输入Q学习模型的s 1。
在本说明书实施例中，环境状态s与时刻相对应，包括三个方面的特征U、C、e，即，可将t时刻的状态s t表示为s t＝(U t,C t,e t)。其中，U t、C t和e t都是N维的向量，N为Q学习模型中的动作总数，例如如参考图1中所述，为3，也就是说U t和C t的每个维度与一个动作相对应。U t表示在t时刻的相关用户的用户倾向度，每一维度上的值(例如在0到1之间)表示该用户对对应动作的接受概率。例如，对于上述客服电话的场景，U t表示在t时刻拨入客服电话的用户的用户倾向度。在总共有电话客服、在线客服和自助查询三个动作选项的情况中，一般说来，可以认为所有用户接受“人工热线”的概率很高(例如100％)。在其他维度(在线客服和自助查询)上，不同用户的接受概率基于其以下至少一项确定：用户画像、历史行为。所述用户画像例如可通过相应模型定期获取，例如所述用户画像中包括“老人”特征，通常，老人不善于通过使用手机、计算机等进行在线的客服咨询或自助查询，因此，该用户对“在线客服”和“自助查询”的接受概率都可以设定为较低。所述用户的历史行为例如为用户在过去拨入客服电话时对这些客服和自助查询的接受或拒绝接受的历史，基于用户在过去接受例如在线客服的占比，可估计该用户在本次接受在线客服引流的概率。或者，可综合考虑用户画像和用户历史行为，例如可将用户画像转换为数值，并基于用户画像数值与接受次数占比的加权和，获取用户对相应动作的接受概率。
C t表示在t时刻每个动作维度上接待能力的剩余参考值(可以称之为每个维度上的“容量”)。该值允许为负，在该值为负的情况中，表示在这个维度上出现了用户拥挤等待的情况；在该值为正的情况中，表示这个维度接待能力尚有剩余。例如，对于电话客服、在线客服和自助查询三种情况，可基于电话客服、在线客服在t时刻实际可接待的用户数目确定C t中这两个维度的值，并可将C t中在对应于自助查询的维度的值设定为较大值。
e t表示在下一个时间区间(t,t+T d)内，每个维度上的用户增量(预计新拨进来的用户数减去通话结束用户数)，T d表示时间间隔长度，例如每5分钟的时间间隔。e t可基于历史数据估计，或者可通过预定算法预测获取。可以理解，所述状态s不限于仅包括上述三个方面的特征U、C、e，还可以包括其他特征，例如，还可以包括用户画像特征、每个动作维度对应的动作特征(如业务接入成本、业务营业时间)等等。
假设第一用户进行对所述第一业务的请求的时刻为时刻1，则可获取与该时刻1对应的状态s 1＝(U 1,C 1,e 1)，其中，U 1、C 1和e 1可分别基于上述方法获取。
在步骤S204，将所述第一状态输入Q学习模型，以基于所述模型的输出获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第一Q值。
如本领域技术人员所知，Q学习模型通过神经网络实现，通过向该神经网络输入状态s和动作a，可从该神经网络输出与状态s和动作a对应的Q值(即，Q(s,a))。在获取上述状态s 1之后，假设上述电话客服、在线客服和自助查询三个动作分别以b 1、b 2和b 3表示，在一个实施例中，可将(s 1，b 1)、(s 1，b 2)和(s 1，b 3)分别输入Q学习模型，从而基于所述神经网络分别输出与(s 1，b 1)、(s 1，b 2)和(s 1，b 3)分别对应的各个第一Q值Q 1、Q 2和Q 3，即，Q 1＝Q(s 1，b 1)、Q 2＝Q(s 1，b 2)、Q 3＝Q(s 1，b 3)。在一个实施例中，可仅将s 1输入Q学习模型，从而基于所述神经网络分别输出与(s 1，b 1)、(s 1，b 2)和(s 1，b 3)分别对应的Q 1、Q 2和Q 3。
在步骤S206，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
在获取各个第一Q值(例如上述Q 1、Q 2和Q 3)之后，可基于预定的决策算法确定将要执行的动作a 1，即，确定分配给第一用户的业务。在一个实施例中，可将与Q 1、Q 2和Q 3中的最大值对应的业务分配给第一用户。在一个实施例中，可基于ε-贪婪策略确定动作a 1。在确定动作a 1之后，可基于动作a 1进行对所述第一用户的请求的回复，也即，在环境中实施动作a 1。例如，在上述第一用户拨入客服电话的情况中，如果a 1为b 1，即电话客服，则将第一用户电话转接至电话客服，如果a 1为b 2，即在线客服，则在电话中通过语音建议第一用户通过在线客服的方式进行咨询。
在通过图2所示方法基于Q学习模型确定与状态s 1对应的a 1，并在环境中实施动作a 1之后，可确定该动作a 1的回报值r 1。在接收与第一用户请求紧接的下一个用户的 请求的时刻，可获取s 2，从而可基于s 1、a 1、r 1和s 2进行对Q学习模型的一次训练。
图3示出根据本说明书实施例的训练Q学习模型的方法流程图，包括以下步骤：
在步骤S302，当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务；
在步骤S304，获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量；
在步骤S306,获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中，所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量；
在步骤S308，将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值；
在步骤S310，基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值，以及
在步骤S312，基于所述第一状态、所述确定的业务、及所述Q值标签值训练所述Q学习模型，以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
首先，在步骤S302，当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务。
所述第一用户的反馈可以是接受a 1，或者不接受a 1。例如，a 1为上述b 1，即转接至电话客服，在该情况中，可以认为第一用户的反馈100％为接受。在一种情况中，a 1例如为b 2，即建议第一用户通过在线客服进行咨询，在该情况中，如果第一用户的反馈是接受该a 1，则第一用户退出该拨入的电话，并通过例如app联系在线客服，如果第一用户的反馈为不接受该a 1，则第一用户仍然等待接入电话客服。
在步骤S304，获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量。
也就是说，在该步骤中，获取通过在环境中实施上述动作a 1所获取的回报值r 1。在本说明书实施例中，可通过以下公式(1)获取与s 1、a 1对应的回报值r 1：
Figure PCTCN2020070055-appb-000002
其中，
Figure PCTCN2020070055-appb-000003
为第一用户接受动作a 1的奖励，如果第一用户不接受，则该值为0。在一个实施例中，例如，当确定的业务a 1为b 1时，即电话客服，在该情况中，可以认为用户会100％接受a 1，在该情况中，可将
Figure PCTCN2020070055-appb-000004
设定为
Figure PCTCN2020070055-appb-000005
当确定的业务a 1为b 2或b 3时，可将对应的
Figure PCTCN2020070055-appb-000006
分别设定为
Figure PCTCN2020070055-appb-000007
和
Figure PCTCN2020070055-appb-000008
由于模型(agent)让用户接受b 2或b 3的难度相比于接受b 1的难度更大，因此，可将
Figure PCTCN2020070055-appb-000009
和
Figure PCTCN2020070055-appb-000010
都设定为大于
Figure PCTCN2020070055-appb-000011
另外，可根据用户分别接受b 2和b 3的难度，确定
Figure PCTCN2020070055-appb-000012
和
Figure PCTCN2020070055-appb-000013
的相对大小。在一个实施例中，可将
Figure PCTCN2020070055-appb-000014
设为0，将
Figure PCTCN2020070055-appb-000015
和
Figure PCTCN2020070055-appb-000016
都设定为正数。
Figure PCTCN2020070055-appb-000017
也为N维的向量，表示在实施动作a 1后N个动作维度每个维度的容量变化。在上述N＝3的电话客服场景中，例如，a 1＝b 3，即在电话中向第一用户建议使用自助查询，在该情况中，如果第一用户接受该建议，则自助查询的容量减1，即ΔC b3＝-1；如果第一用户拒绝自助查询并继续等待直到被转接至客服电话，则客服电话的容量减1，即，ΔC b1＝-1。
通过公式(1)中的Relu函数，当
Figure PCTCN2020070055-appb-000018
中的任一维度值大于等于零时，该维度值经Relu函数作用为0，对回报值r 1不产生影响。当
Figure PCTCN2020070055-appb-000019
中至少一个维度值小于零时，该至少一个维度值的每个经Relu函数作用为至少一个正数，对该至少一个正数取最大值，并基于该最大值减小回报值r 1，也即，将该最大值乘以预定参数λ，并从r 1中减去该乘积。由于通常等待用户数目比较大，可将λ设定为0.7～0.9,以与公式(1)中的第一项相平衡。也就是说，当
Figure PCTCN2020070055-appb-000020
中任一维度值小于零时，表示该维度出现了用户拥挤等待的情况，因此对该结果给与负的回报值，以使得模型减少该情况的出现。
可以理解，公式(1)仅是本说明书实施例中对回报值r1的示例计算方法，本说明书实施例中不限于该公式，例如，激活函数不限于使用Relu函数，而可以使用σ函数等，从而不限于在
Figure PCTCN2020070055-appb-000021
小于零时，对回报值r1起作用，在
Figure PCTCN2020070055-appb-000022
大于零时，也可以通过比较各个维度值的大小而对回报值r1起作用。
在步骤S306,获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中，所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量。
在如上文所述，在第一用户进行对第一业务的请求时，获取该时刻的环境状态s 1(即时刻t＝1的第一状态)，在平台接收到与该第一用户的请求紧接着的第二用户的请求时，可获取该时刻的环境状态s 2(即时刻t＝2的第二状态)。与s 1中各项相对应的，s 2中可包括如下三项：
Figure PCTCN2020070055-appb-000023
其中，U 2表示第二用户在时刻2分别对所述第一业务及至少一个所述第二业务的接受概率，
Figure PCTCN2020070055-appb-000024
表示在经过上述动作a 1之后所述第一业务及至少一个所述第二业务各自在时刻2的可接入的用户数量、以及e 2表示所述第一业务及至少一个所述第二业务各自的在从时刻2开始的预定时段内的预估用户增量。其中，U 2和e 2可通过与上文中对U 1和e 1的获取方式相同的方式获取，
Figure PCTCN2020070055-appb-000025
可在上述对公式(1)的计算中获取，从而可获取模型的第二状态s2。可以理解，这里第二用户可以是平台中的任一用户，其也可能是上述第一用户。
在步骤S308，将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值。
与上文中向模型输入状态s 1类似地，通过向Q学习模型输入s 2，可获取模型输出Q(s 2,b 1)、Q(s 2,b 2)和Q(s 2,b 3)，将其都称为第二Q值，以与上文中与状态s 1对应的各个第一Q值相区分。
在步骤S310，基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值。
在Q学习算法中，通常通过以下公式(2)更新Q值：
Q(s t，a t)←Q(s t，a t)+α(r t+γmax NQ(s t+1，a t+1)-Q(s t，a t))     (2)
在一个实施例中，通过将参数α设定为1从而可获取如下公式(3)：
Q(s t，a t)←r t+γmax NQ(s t+1，a t+1)      (3)
其中，γ为预定参数。可以理解，在参数α不等于1的情况中，同样可通过将公式 (2)右侧的Q(s t，a t)移到公式左侧，从而使得Q(s t，a t)的标签值可基于r t+γmax MQ(s t+1，a t+1)计算获取。
从而，基于公式(3)，通过将上述计算的r 1和各个第二Q值中的最大值代入公式(3)，可将计算的Q(s 1，a 1)值作为通过图2所示方法获取的
Figure PCTCN2020070055-appb-000026
预测值的标签值。
在步骤S312，基于所述第一状态、所述确定的业务、及所述Q值标签值训练所述Q学习模型，以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
在获取Q值标签值之后，可基于例如如公式(4)所示的损失函数进行对Q学习模型的训练：
L＝(Q(s 1，a 1，θ)-(r 1+γmax NQ(s 2，a 2))) 2     (4)
其中，θ代表Q学习模型中的当前全部参数。在该Q学习模型初始进行模型预测时，模型中的各个参数可随机初始化。通过梯度下降法调整参数θ，从而可使得Q学习模型的输出值
Figure PCTCN2020070055-appb-000027
更接近如公式(3)所示的预测值，从而使得模型预测更加准确。可以理解，在本说明书实施例中，不限于通过如公式(4)所示的损失函数进行模型训练，而可以采用本领域技术人员熟知的各种损失函数的形式，例如可以采用差的绝对值等形式。
该强化学习模型可随着更多的用户请求(例如拨通的客服电话)，而不断通过图3所示方法进行多次训练，如果系统将结束(终止或重启)，可以把当前训练出的模型保存起来，并在下次系统启动时重新载入以继续训练。在训练次数达到足够多之后，该学习模型可趋于收敛，从而可停止训练。
图4示出根据本说明书实施例的对请求第一业务的用户进行分流的装置400，其中，所述第一业务与至少一个第二业务相对应，所述至少一个第二业务用于分流请求所述第一业务的用户，所述装置包括：
获取单元41，配置为，获取第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；
输入单元42，配置为，将所述第一状态输入Q学习模型，以基于所述模型的输出 获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第一Q值；以及
确定单元43，配置为，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
在一个实施例中，所述确定单元43还配置为，将所述第一业务及至少一个所述第二业务中对应的第一Q值最大的业务确定为用于接入所述第一用户的业务。
图5示出根据本说明书实施例的用于训练Q学习模型的训练装置500，包括：
第一获取单元51，配置为，当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务；
第二获取单元52，配置为，获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量；
第三获取单元53，配置为，获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中，所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量；
输入单元54，配置为，将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值；
计算单元55，配置为，基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值，以及
训练单元56，配置为，基于所述第一状态、所述确定的业务、及所述Q值标签值训练所述Q学习模型，以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
在根据本说明书实施例的业务用户分流方案，通过使用强化学习模型，可综合考虑环境因素及决策后的反馈，及时持续地对模型进行调整，从而提高决策的精度，以提高用户的体验。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

  1. 一种对请求第一业务的用户进行分流的方法，其中，所述第一业务与至少一个第二业务相对应，所述至少一个第二业务用于分流请求所述第一业务的用户，所述方法包括：
    获取第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；
    将所述第一状态输入Q学习模型，以基于所述模型的输出获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第一Q值；以及
    基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
  2. 根据权利要求1所述的方法，其中，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定用于接入所述第一用户的业务包括，将所述第一业务及至少一个所述第二业务中对应的第一Q值最大的业务确定为用于接入所述第一用户的业务。
  3. 根据权利要求1所述的方法，其中，所述第一业务为电话客服，所述至少一个第二业务包括以下至少一种业务：人工在线客服、机器人电话客服、机器人在线客服、知识库自助查询。
  4. 根据权利要求1所述的方法，其中，所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率基于以下至少一项确定：所述第一用户的用户画像、所述第一用户的历史行为。
  5. 根据权利要求1所述的方法，其中，所述Q学习模型通过以下步骤训练：
    当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务；
    获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量；
    获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中， 所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量；
    将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值；
    基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值，以及
    基于所述第一状态、所述确定的业务、及所述Q值标签值训练所述Q学习模型，以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
  6. 根据权利要求5所述的方法，其中，在所述确定的业务为第一业务的情况中，在用户接受所述确定的业务的情况下的预定奖励分值为第一分值，在所述确定的业务为任一第二业务的情况中，在用户接受所述确定的业务的情况下的预定奖励分值大于所述第一分值。
  7. 根据权利要求5所述的方法，其中，在所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量小于0的情况中，所述回报值减小。
  8. 根据权利要求7所述的方法，其中，在所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量小于0的情况中，所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量越小，所述回报值越小。
  9. 一种对请求第一业务的用户进行分流的装置，其中，所述第一业务与至少一个第二业务相对应，所述至少一个第二业务用于分流请求所述第一业务的用户，所述装置包括：
    获取单元，配置为，获取第一时刻的状态作为第一状态，所述第一时刻为第一用户进行对所述第一业务的请求的时刻，其中，所述第一状态至少包括：所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第一时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第一时刻开始的预定时段内的预估用户增量；
    输入单元，配置为，将所述第一状态输入Q学习模型，以基于所述模型的输出获取在所述第一状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的 各个第一Q值；以及
    确定单元，配置为，基于所述各个第一Q值，在所述第一业务及至少一个所述第二业务中确定分配给所述第一用户的业务，并基于所述确定的业务回复所述第一用户。
  10. 根据权利要求9所述的装置，其中，所述确定单元还配置为，将所述第一业务及至少一个所述第二业务中对应的第一Q值最大的业务确定为用于接入所述第一用户的业务。
  11. 根据权利要求9所述的装置，其中，所述第一业务为电话客服，所述至少一个第二业务包括以下至少一种业务：人工在线客服、机器人电话客服、机器人在线客服、知识库自助查询。
  12. 根据权利要求9所述的装置，其中，所述第一用户分别对所述第一业务及至少一个所述第二业务的接受概率基于以下至少一项确定：所述第一用户的用户画像、所述第一用户的历史行为。
  13. 根据权利要求9所述的装置，其中，所述Q学习模型通过训练装置训练，所述训练装置包括：
    第一获取单元，配置为，当在基于所述确定的业务回复所述第一用户之后，获取所述第一用户的反馈，以确定所述第一用户是否接受所述确定的业务；
    第二获取单元，配置为，获取该回复对应的回报值，所述回报值基于如下两项获取：在所述第一用户接受所述确定的业务的情况下的预定奖励分值、所述第一业务及至少一个所述第二业务各自的在所述反馈之后的可接入的用户数量；
    第三获取单元，配置为，获取第二时刻的状态作为第二状态，所述第二时刻为第二用户进行对所述第一业务的请求的时刻，所述第二用户的请求为紧接着所述第一用户的请求的下一个请求，其中，所述第二状态至少包括：所述第二用户分别对所述第一业务及至少一个所述第二业务的接受概率、所述第一业务及至少一个所述第二业务各自在所述第二时刻的可接入的用户数量、以及所述第一业务及至少一个所述第二业务各自的在从所述第二时刻开始的预定时段内的预估用户增量；
    输入单元，配置为，将所述第二状态输入所述Q学习模型，以基于所述模型的输出获取在第二状态下与所述第一业务及至少一个所述第二业务中的各个业务分别对应的各个第二Q值；
    计算单元，配置为，基于所述回报值和所述各个第二Q值中的最大值，计算与所述第一状态和所述确定的业务对应的Q值标签值，以及
    训练单元，配置为，基于所述第一状态、所述确定的业务、及所述Q值标签值训练 所述Q学习模型，以使得所述Q学习模型基于所述第一状态输出的与所述确定的业务对应的第一Q值更接近所述Q值标签值。
  14. 根据权利要求13所述的装置，其中，在所述确定的业务为第一业务的情况中，在用户接受所述确定的业务的情况下的预定奖励分值为第一分值，在所述确定的业务为任一第二业务的情况中，在用户接受所述确定的业务的情况下的预定奖励分值大于所述第一分值。
  15. 根据权利要求13所述的装置，其中，在所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量小于0的情况中，所述回报值减小。
  16. 根据权利要求15所述的装置，其中，在所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量小于0的情况中，所述第一业务及至少一个所述第二业务中任一业务的在所述反馈之后的可接入的用户数量越小，所述回报值越小。
  17. 一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项的所述的方法。
  18. 一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
PCT/CN2020/070055 2019-02-13 2020-01-02 基于强化学习模型的业务用户分流方法和装置 WO2020164333A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910116972.X 2019-02-13
CN201910116972.XA CN109993314B (zh) 2019-02-13 2019-02-13 基于强化学习模型的业务用户分流方法和装置

Publications (1)

Publication Number Publication Date
WO2020164333A1 true WO2020164333A1 (zh) 2020-08-20

Family

ID=67129821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/070055 WO2020164333A1 (zh) 2019-02-13 2020-01-02 基于强化学习模型的业务用户分流方法和装置

Country Status (3)

Country Link
CN (1) CN109993314B (zh)
TW (1) TWI743558B (zh)
WO (1) WO2020164333A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529325A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 网点业务分配方法、装置、计算机设备及存储介质
CN115171453A (zh) * 2022-06-13 2022-10-11 广东电网有限责任公司 一种基于智能电网的人工客服训练方法及客服系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993314B (zh) * 2019-02-13 2020-07-10 阿里巴巴集团控股有限公司 基于强化学习模型的业务用户分流方法和装置
CN111126621B (zh) * 2019-12-17 2021-02-09 北京九章云极科技有限公司 在线模型训练方法及装置
CN113435674A (zh) * 2020-03-23 2021-09-24 阿里巴巴集团控股有限公司 客户服务资源信息处理、模型生成方法及装置
TWI768484B (zh) * 2020-09-29 2022-06-21 中國信託商業銀行股份有限公司 用於語音客服的進線分派方法及系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150163299A1 (en) * 2011-05-20 2015-06-11 Amazon Technologies, Inc. Load balancer
CN105376151A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 ABtest平台的分流方法及系统
CN108769440A (zh) * 2018-06-06 2018-11-06 北京京东尚科信息技术有限公司 前置分流方法和装置
CN108958939A (zh) * 2018-07-06 2018-12-07 阿里巴巴集团控股有限公司 服务资源的分配方法、装置及服务器
CN109993314A (zh) * 2019-02-13 2019-07-09 阿里巴巴集团控股有限公司 基于强化学习模型的业务用户分流方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148905B (zh) * 2010-02-10 2014-06-11 华为技术有限公司 呼叫排队的方法和装置
CN106303113B (zh) * 2015-06-23 2019-11-08 阿里巴巴集团控股有限公司 一种分流方法和设备
US9723151B2 (en) * 2015-10-19 2017-08-01 Genesys Telecommunications Laboratories, Inc. Optimized routing of interactions to contact center agents based on forecast agent availability and customer patience
CN105847608B (zh) * 2016-03-17 2019-02-22 中国工商银行股份有限公司 一种呼叫中心的路由装置及方法
CN107071193B (zh) * 2016-11-28 2020-05-29 阿里巴巴集团控股有限公司 互动应答系统接入用户的方法和装置
CN107666544B (zh) * 2017-06-15 2020-06-02 平安科技（深圳）有限公司 一种管理ivr进线的方法、装置及设备
US20180374029A1 (en) * 2017-06-27 2018-12-27 Asapp, Inc Selection of customer service requests

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150163299A1 (en) * 2011-05-20 2015-06-11 Amazon Technologies, Inc. Load balancer
CN105376151A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 ABtest平台的分流方法及系统
CN108769440A (zh) * 2018-06-06 2018-11-06 北京京东尚科信息技术有限公司 前置分流方法和装置
CN108958939A (zh) * 2018-07-06 2018-12-07 阿里巴巴集团控股有限公司 服务资源的分配方法、装置及服务器
CN109993314A (zh) * 2019-02-13 2019-07-09 阿里巴巴集团控股有限公司 基于强化学习模型的业务用户分流方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529325A (zh) * 2020-12-18 2021-03-19 平安银行股份有限公司 网点业务分配方法、装置、计算机设备及存储介质
CN112529325B (zh) * 2020-12-18 2024-03-26 平安银行股份有限公司 网点业务分配方法、装置、计算机设备及存储介质
CN115171453A (zh) * 2022-06-13 2022-10-11 广东电网有限责任公司 一种基于智能电网的人工客服训练方法及客服系统

Also Published As

Publication number Publication date
CN109993314A (zh) 2019-07-09
CN109993314B (zh) 2020-07-10
TW202034674A (zh) 2020-09-16
TWI743558B (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
WO2020164333A1 (zh) 基于强化学习模型的业务用户分流方法和装置
CA2962534C (en) Routing callers from a set of callers in an out of order sequence
CN102273185B (zh) 基于多变量标准化评分和影子队列的呼叫路由方法及系统
US8712821B2 (en) Separate matching models based on type of phone associated with a caller
US10334107B2 (en) Call mapping systems and methods using bayesian mean regression (BMR)
US10567586B2 (en) Pooling callers for matching to agents based on pattern matching algorithms
US8794971B2 (en) Method and system for assigning a task to be processed by a crowdsourcing platform
CN108076237B (zh) 一种电话客服数据处理方法及装置
US20080046386A1 (en) Method for making optimal decisions in automated customer care
US8781106B2 (en) Agent satisfaction data for call routing based on pattern matching algorithm
US8634542B2 (en) Separate pattern matching algorithms and computer models based on available caller data
US20090232294A1 (en) Skipping a caller in queue for a call routing center
US20100020961A1 (en) Routing callers to agents based on time effect data
CN109040477B (zh) 一种预测外呼算法的优化方法及外呼调度系统
CN108259685B (zh) 一种呼叫处理方法及装置
US11528364B2 (en) Machine learning system for routing optimization based on historical performance data
CN113344596A (zh) 客服业务处理方法、装置、设备及计算机可读存储介质
CN110572524B (zh) 一种用户呼叫处理方法、装置、存储介质和服务器
CN111031185A (zh) 一种基于人工智能导航的坐席分配方法及相关装置
CN115099727A (zh) 客服路由方法、装置及计算机可读存储介质
CN111601003A (zh) 会话建立方法及装置
CN111935362B (zh) 通话数据处理方法、装置、电子设备及计算机存储介质
CN110581925B (zh) 预测外呼算法参数调整方法、系统及电子设备和存储介质
US11825024B1 (en) Managing outbound calling
US20230015321A1 (en) System and method for generating a response to a user query

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755273

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755273

Country of ref document: EP

Kind code of ref document: A1