WO2020256204A1 - 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법 - Google Patents

텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법 Download PDF

Info

Publication number
WO2020256204A1
WO2020256204A1 PCT/KR2019/007594 KR2019007594W WO2020256204A1 WO 2020256204 A1 WO2020256204 A1 WO 2020256204A1 KR 2019007594 W KR2019007594 W KR 2019007594W WO 2020256204 A1 WO2020256204 A1 WO 2020256204A1
Authority
WO
WIPO (PCT)
Prior art keywords
inquiry
customer
answer
type
classification model
Prior art date
Application number
PCT/KR2019/007594
Other languages
English (en)
French (fr)
Inventor
전인혁
나영균
신정미
조가혜
Original Assignee
주식회사 오니온파이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오니온파이브 filed Critical 주식회사 오니온파이브
Publication of WO2020256204A1 publication Critical patent/WO2020256204A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis

Definitions

  • the present invention relates to a system and method for recommending answers based on text content and sentiment analysis, and more specifically, channels such as e-mail, webpage, and social network service (SNS). It relates to a method and system for automatically recommending appropriate phrases by grasping the type of inquiry, the customer's emotional state, and the customer's situation when writing the response of the person in charge to the content of the inquiry left by the customer through the system.
  • channels such as e-mail, webpage, and social network service (SNS).
  • a representative example of automatic conversation technology is an interactive messenger such as a chatbot.
  • the customer support area must provide answers through emotional connection to understand the customer's emotions and circumstances, so even when using automatic conversation technology such as a conventional chatbot, the customer support person in charge of emotional labor relieves mental and physical stress. The problem of receiving still exists. In addition, since it takes a considerable amount of time for the customer support person to construct an appropriate answer that includes emotional sympathy in the foreword, concluding statement, etc. as well as objective content, there is still a problem that the period for processing inquiries is prolonged.
  • the present invention is to solve the above-described problems, through analysis of customer inquiries collected through various online and offline channels, to grasp the customer's emotional state, situation, and environment, and to answer based on the identified contents.
  • An object of the present invention is to provide a system and method for recommending by structuring.
  • An answer recommendation system based on text content and sentiment analysis is a preprocessor for extracting inquiry content data and customer situation data from customer inquiry information collected through at least one or more of a plurality of channels.
  • a first data analysis unit that learns the type of inquiry about the customer's inquiry information based on natural language processing of the inquiry content data, and generates a first classification model based on the learned result to select the confirmation answer for the inquiry type.
  • Second data that learns the emotion type for the customer's emotional state based on natural language processing of the inquiry content data, and generates a second classification model based on the learned result to select the response response according to the customer's emotional state. It may include an analysis unit and a third data analysis unit that analyzes the customer situation data and generates an emotional response based on the location of the customer and the time of inquiry.
  • the first data analysis unit extracts effective morphemes for each inquiry type from text of inquiry content data using Chi-square statistic, and extracts effective morphemes and Determine the inquiry type for customer inquiry information through the first classification model generation unit and the first classification model that learns the feature vectors each of the words included in the word dictionary for each preset inquiry type. , Based on the determined result, it may include an acknowledgment selection unit that estimates the similarity with candidate answers included in the inquiry type pool and selects the top N (N is a natural number) acknowledgment answers.
  • the confirmation answer selection unit estimates a reliability value for customer inquiry information through a first classification model, selects an inquiry type pool by comparing the estimated reliability value with a preset reference value, and , The similarity can be estimated by vectorizing candidate answers included in the selected query type pool based on whether or not morphemes are included.
  • the second data analysis unit extracts an effective morpheme for an emotional state from the text of the inquiry content data using Chi-square statistic, and selects each of the extracted effective morphemes.
  • a second classification model generation unit that generates a feature vector having the dimension of and learns the emotion type by applying a weight to the feature vector based on whether or not emoticon data is included, and the second classification model provides information on customer inquiries. It may include a response-answer selection unit that determines the emotion type and selects random N (N is a natural number) response responses from among candidate responses included in the emotion type pool based on the determined result.
  • the third data analysis unit analyzes the location of the customer and the time of inquiries based on Internet Protocol (IP) information included in the customer situation data, and Emotional answers can be generated based on information.
  • IP Internet Protocol
  • An answer recommendation system based on text content and emotion analysis is an interface control unit that provides a user interface for recommending a confirmation answer to an inquiry type, a response answer according to the customer's emotional state, and an emotional answer. It may further include.
  • the interface control unit divides the response to the customer's inquiry information into a greeting, a header, a text, and a closing statement on the user interface, and the confirmation response for the inquiry type is a header and a response according to the customer's emotional state. Answers can be recommended in the preface and ending, and emotional answers at the ending.
  • An answer recommendation method based on text content and emotion analysis is in which the preprocessor extracts inquiry content data and customer situation data from customer inquiry information collected through at least one or more of a plurality of channels.
  • the first data analysis unit learns the inquiry type for the customer's inquiry information based on natural language processing of the inquiry content data, and generates a first classification model based on the learned result to select the confirmation answer for the inquiry type.
  • the second data analysis unit learns the emotion type for the customer's emotional state based on natural language processing on the inquiry content data, and creates a second classification model based on the learned result to respond according to the customer's emotional state.
  • the step of selecting an answer and the third data analyzing unit may include analyzing the customer situation data and generating an emotional answer based on the location of the customer and the time of the inquiry.
  • the first classification model generator uses Chi-square statistic to determine each inquiry type from the text of the inquiry content data. Extracting the effective morphemes for, the first classification model generating unit learning the extracted effective morphemes and the feature vectors each having words included in the word dictionary for each preset inquiry type as one dimension, and selecting a confirmation answer
  • An additional first classification model is used to determine the type of inquiry about the customer's inquiry information, and based on the determined result, the degree of similarity with the candidate answers included in the inquiry type pool is estimated, and the top N (N is a natural number). ). It may include the step of selecting the confirmation answers.
  • the confirmation answer selection unit estimating a reliability value for the customer's inquiry information through the first classification model, confirmation answer Step of selecting an inquiry type pool by comparing the estimated reliability value with a preset reference value by the selection unit, and estimating similarity by vectorizing candidate answers included in the selected inquiry type pool by the confirmation answer selection unit based on whether or not morphemes are included. It may include.
  • the second classification model generator uses Chi-square statistic to determine the emotional state from the text of the inquiry content data.
  • the step of extracting the effective morpheme for the second classification model generation unit generates a feature vector each having the extracted effective morpheme as one dimension, and applies a weight to the feature vector based on whether or not emoticon data is included to determine the emotion type.
  • the learning step and the response answer selection unit determine the emotion type for the customer's inquiry information through the second classification model, and based on the determined result, any N of the candidate answers included in the emotion type pool ( N is a natural number) may include the step of selecting a corresponding answer.
  • the third data analysis unit analyzes the location of the customer and the time of inquiries based on Internet Protocol (IP) information included in the customer situation data, and Emotional answers can be generated based on environmental information about the location and time of inquiry.
  • IP Internet Protocol
  • the interface controller provides a user interface for recommending a confirmation answer for an inquiry type, a response response according to the customer's emotional state, and an emotional answer. It may further include the step of.
  • the interface control unit divides the response to the customer's inquiry information into greeting, header, body, and ending on the user interface, and the confirmation answer for the inquiry type is a header, Responses according to the customer's emotional state can be recommended in the preface and ending, and the emotional answer at the ending.
  • a computer-readable recording medium in which a program for executing the above-described method on a computer is recorded may be provided.
  • an answer recommendation system and method provided as an embodiment of the present invention, it is possible to reduce the time required for a customer support person to write an emotional and emotional greeting and a closing statement for a message received from a customer, and to write an accurate answer. By allowing you to invest time, you can maximize the efficiency of customer support work.
  • FIG. 1 is a conceptual diagram illustrating a customer support service provided through an answer recommendation system interlockable with a customer support system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a network relationship between a system for recommending an answer, a plurality of channels, and terminals in charge according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing each configuration of an answer recommendation system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an operation process of an answer recommendation system according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram schematically illustrating an operation process of an answer recommendation system according to an embodiment of the present invention.
  • FIG. 6 to 11 illustrate a user interface provided by an answer recommendation system according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of recommending an answer according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a process of selecting a confirmation answer for an inquiry type according to an embodiment of the present invention.
  • FIG. 14 is a flow chart illustrating a process of selecting the top N confirmation answers according to an embodiment of the present invention.
  • 15 is a flowchart illustrating a process of selecting a response response according to an emotional state of a customer according to an embodiment of the present invention.
  • An answer recommendation system based on text content and sentiment analysis is a preprocessor for extracting inquiry content data and customer situation data from customer inquiry information collected through at least one or more of a plurality of channels.
  • a first data analysis unit that learns the type of inquiry about the customer's inquiry information based on natural language processing of the inquiry content data, and generates a first classification model based on the learned result to select the confirmation answer for the inquiry type.
  • Second data that learns the emotion type for the customer's emotional state based on natural language processing of the inquiry content data, and generates a second classification model based on the learned result to select the response response according to the customer's emotional state. It may include an analysis unit and a third data analysis unit that analyzes the customer situation data and generates an emotional response based on the location of the customer and the time of inquiry.
  • the first data analysis unit extracts effective morphemes for each inquiry type from text of inquiry content data using Chi-square statistic, and extracts effective morphemes and Determine the inquiry type for customer inquiry information through the first classification model generation unit and the first classification model that learns the feature vectors each of the words included in the word dictionary for each preset inquiry type. , Based on the determined result, it may include an acknowledgment selection unit that estimates the similarity with candidate answers included in the inquiry type pool and selects the top N (N is a natural number) acknowledgment answers.
  • the confirmation answer selection unit estimates a reliability value for customer inquiry information through a first classification model, selects an inquiry type pool by comparing the estimated reliability value with a preset reference value, and , The similarity can be estimated by vectorizing candidate answers included in the selected query type pool based on whether or not morphemes are included.
  • the second data analysis unit extracts an effective morpheme for an emotional state from the text of the inquiry content data using Chi-square statistic, and selects each of the extracted effective morphemes.
  • a second classification model generation unit that generates a feature vector having the dimension of and learns the emotion type by applying a weight to the feature vector based on whether or not emoticon data is included, and the second classification model provides information on customer inquiries. It may include a response-answer selection unit that determines the emotion type and selects random N (N is a natural number) response responses from among candidate responses included in the emotion type pool based on the determined result.
  • the third data analysis unit analyzes the location of the customer and the time of inquiries based on Internet Protocol (IP) information included in the customer situation data, and Emotional answers can be generated based on information.
  • IP Internet Protocol
  • An answer recommendation system based on text content and emotion analysis is an interface control unit that provides a user interface for recommending a confirmation answer to an inquiry type, a response answer according to the customer's emotional state, and an emotional answer. It may further include.
  • the interface control unit divides the response to the customer's inquiry information into a greeting, a header, a text, and a closing statement on the user interface, and the confirmation response for the inquiry type is a header and a response according to the customer's emotional state. Answers can be recommended in the preface and ending, and emotional answers at the ending.
  • An answer recommendation method based on text content and emotion analysis is in which the preprocessor extracts inquiry content data and customer situation data from customer inquiry information collected through at least one or more of a plurality of channels.
  • the first data analysis unit learns the inquiry type for the customer's inquiry information based on natural language processing of the inquiry content data, and generates a first classification model based on the learned result to select the confirmation answer for the inquiry type.
  • the second data analysis unit learns the emotion type for the customer's emotional state based on natural language processing on the inquiry content data, and creates a second classification model based on the learned result to respond according to the customer's emotional state.
  • the step of selecting an answer and the third data analyzing unit may include analyzing the customer situation data and generating an emotional answer based on the location of the customer and the time of the inquiry.
  • the first classification model generator uses Chi-square statistic to determine each inquiry type from the text of the inquiry content data. Extracting the effective morphemes for, the first classification model generating unit learning the extracted effective morphemes and the feature vectors each having words included in the word dictionary for each preset inquiry type as one dimension, and selecting a confirmation answer
  • An additional first classification model is used to determine the type of inquiry about the customer's inquiry information, and based on the determined result, the degree of similarity with the candidate answers included in the inquiry type pool is estimated, and the top N (N is a natural number). ). It may include the step of selecting the confirmation answers.
  • the confirmation answer selection unit estimating a reliability value for the customer's inquiry information through the first classification model, confirmation answer Step of selecting an inquiry type pool by comparing the estimated reliability value with a preset reference value by the selection unit, and estimating similarity by vectorizing candidate answers included in the selected inquiry type pool by the confirmation answer selection unit based on whether or not morphemes are included. It may include.
  • the second classification model generator uses Chi-square statistic to determine the emotional state from the text of the inquiry content data.
  • the step of extracting the effective morpheme for the second classification model generation unit generates a feature vector each having the extracted effective morpheme as one dimension, and applies a weight to the feature vector based on whether or not emoticon data is included to determine the emotion type.
  • the learning step and the response answer selection unit determine the emotion type for the customer's inquiry information through the second classification model, and based on the determined result, any N of the candidate answers included in the emotion type pool ( N is a natural number) may include the step of selecting a corresponding answer.
  • the third data analysis unit analyzes the location of the customer and the time of inquiries based on Internet Protocol (IP) information included in the customer situation data, and Emotional answers can be generated based on environmental information about the location and time of inquiry.
  • IP Internet Protocol
  • the interface controller provides a user interface for recommending a confirmation answer for an inquiry type, a response response according to the customer's emotional state, and an emotional answer. It may further include the step of.
  • the interface control unit divides the response to the customer's inquiry information into greeting, header, body, and ending on the user interface, and the confirmation answer for the inquiry type is a header, Responses according to the customer's emotional state can be recommended in the preface and ending, and the emotional answer at the ending.
  • a computer-readable recording medium in which a program for executing the above-described method on a computer is recorded may be provided.
  • FIG. 1 is a conceptual diagram illustrating a customer support service provided through an answer recommendation system 200 interlockable with a customer support system 100 according to an embodiment of the present invention.
  • the customer support system 100 is a system for handling inquiries including customer complaints and complaints about products and services provided by companies, and collects and collects inquiries through various online and offline channels. It is a solution that provides and handles inquiries in an integrated form to the customer support person in charge.
  • inquiries input from terminals of multiple customers are collected by the customer support system 100 through at least one of a plurality of channels 10 (ex. email, web page, SNS, etc.) Then, the collected inquiries can be converted into a form of "ticket". Inquiries converted into tickets may be integrated and provided to a customer support person through the person in charge terminal 20 as shown in FIG. 1. When the customer support person in charge generates an answer to the ticket through the person in charge terminal 20, the generated answer may be converted back to fit the original form of the channels to which the inquiry was input and provided to the customer terminal.
  • a plurality of channels 10 ex. email, web page, SNS, etc.
  • the answer recommendation system 200 is for assisting the customer support person in the above-described customer support system 100 to create an answer, and communicates with the customer support system 100 and wired/wireless as shown in FIG. It may be formed as a separate configuration to be interlocked through a network or may be integrated into the customer support system 100 to form one configuration of the customer support system 100.
  • the response recommendation system 200 receives an inquiry converted into a ticket through interworking with the customer support system 100, analyzes the content of the inquiry and the situation of the customer, and structure the response, An answer may be recommended through a user interface implemented in the person in charge terminal 20. That is, the answer recommendation system 200 may improve the speed and efficiency of processing the person in charge in the customer support system 100.
  • FIG. 2 is a block diagram showing a network relationship between an answer recommendation system 200, a plurality of channels 10, and a person in charge terminal according to an embodiment of the present invention
  • FIG. 3 is an answer recommendation according to an embodiment of the present invention. It is a block diagram showing each configuration of the system 200.
  • the response recommendation system 200 based on text content and emotion analysis is from customer inquiry information collected through at least one or more of a plurality of channels 10.
  • Pre-processing unit 210 that extracts inquiry content data and customer situation data, learns the type of inquiry about customer inquiry information based on natural language processing for inquiry content data, and creates a first classification model based on the learned results
  • the first data analysis unit that selects the confirmation answer for the inquiry type, learns the emotion type for the customer's emotional state based on natural language processing for the inquiry content data, and creates a second classification model based on the learned result.
  • a second data analysis unit 230 that selects a response response according to the customer's emotional state and a third data analysis unit 240 that analyzes the customer situation data and generates an emotional response based on the customer's location and the time of inquiry. It may include.
  • the preprocessor 210 directly collects customer inquiry information through at least one or more of the plurality of channels 10, or the plurality of channels 10 from the customer support system 100 described above. ), the collected and converted inquiry information may be delivered through at least one of. For example, as shown in FIG. 2, the preprocessor 210 may directly receive customer inquiry information through channels such as email, web page, and social network service. In addition, the preprocessor 210 may receive the inquiry information converted into a ticket in the customer support system 100 linked with the answer recommendation system 200 through a wired or wireless communication network.
  • the preprocessor 210 may extract inquiry content data and customer situation data through analysis of inquiry information collected through at least one or more of the plurality of channels 10.
  • Inquiry content data refers to text data containing the summary of inquiries such as customer complaints, complaints, and improvement requests.
  • Customer situation data refers to data on environmental factors of customers that can identify the location and time of inquiries of the customer (i.e. customer terminal) who sent the inquiry information.
  • the preprocessing unit 210 requests from the inquiry information to "Improve the service contents.”
  • the text data including the content of the above can be extracted as inquiry content data, and customer situation data can be generated (or extracted) by identifying the location of the customer terminal and the time of inquiry through tracking the inquiry information through e-mail.
  • the first data analysis unit 220 is based on natural language processing for the inquiry content data among the inquiry content data and customer context data extracted by the preprocessor 210.
  • it may include a first classification model generation unit 221 that performs data analysis and learning for classifying the inquiry type of inquiry information. That is, the first data analysis unit 220 analyzes the text included in the inquiry content data in units of morphemes through the first classification model generation unit 221, and analyzes the text in units of morphemes using machine learning. By analyzing (or learning) the type of inquiry according to the text, a first classification model for determining the type of inquiry information may be generated.
  • the first classification model generation unit 221 may use a word dictionary organized by inquiry type in an analysis process through machine learning.
  • the word dictionary organized by inquiry type refers to a database in which natural languages in morpheme units related to each inquiry type are classified and stored, and may be set in advance before the operation of the system 200.
  • the preset word dictionary can be automatically updated during the above-described data analysis and learning process, and is added through the terminal of a system user including an operator (ie, a person in charge of operating and managing the customer support system 100). , It can be continuously updated by modification or change.
  • the first classification model generation unit 221 extracts text in morpheme units through natural language processing on the inquiry content data, and uses Chi-square statistic from the text of the inquiry content data. Effective morphemes for each inquiry type can be extracted.
  • the first classification model generation unit 221 may learn about the inquiry type by using the extracted effective morphemes and words included in a word dictionary for each of the preset inquiry types. At this time, learning about the inquiry type refers to learning about a feature vector that has the effective morpheme and the words included in the word dictionary for each preset inquiry type as one dimension.
  • the first classification model generation unit 221 collects feedback data on storage, correction, change, etc. of the result classified through the first classification model and reflects it in the previously generated first classification model. I can. In other words, the first classification model generation unit 221 may continuously update the first classification model by using feedback data on the inquiry type of inquiry information generated through a terminal of the system user or the like.
  • the first data analysis unit 220 performs data analysis to recommend an appropriate answer to a person in charge based on the inquiry type determined by the first classification model. It may include an answer selection unit 222. That is, the first data analysis unit 220 determines the type of inquiry about the customer’s inquiry information through the first classification model through the confirmation answer selection unit 222, and based on the determined result, the inquiry type pool By estimating the degree of similarity with the candidate answers included in, the top N (N is a natural number) confirmation answers can be selected.
  • the inquiry type pool refers to a database in which candidate answers arranged by inquiry type are stored, and may be set in advance before the operation of the system 200.
  • Candidate answers represent various examples of variations of the confirmation answer expressing the recognition of the inquiry type, and may be continuously updated through addition, modification or change through the terminal of the system user.
  • the confirmation answer selection unit 222 estimates the inquiry type of inquiry information and the reliability value for the inquiry type through the first classification model, and the estimated reliability value and a preset reference value (ie a user-defined reference value) You can select the inquiry type pool through comparison of.
  • the confirmation answer selection unit 222 may estimate similarity by vectorizing candidate answers included in the selected query type pool based on whether or not morphemes are included, and select the top N confirmation answers based on the estimated similarity.
  • the second data analysis unit 230 is based on natural language processing for the inquiry content data among the inquiry content data and customer context data extracted by the preprocessor 210.
  • it may include a second classification model generation unit 231 that detects the customer's emotional state and analyzes and learns data for classifying the emotion type. That is, the second data analysis unit 230 analyzes the text included in the inquiry content data in units of morphemes through the second classification model generation unit 231, and analyzes the text in units of morphemes using machine learning. By analyzing (or learning) the emotion type based on the text, a second classification model for determining the type of the customer's emotional state may be generated.
  • the second classification model generation unit 231 extracts text in morpheme units through natural language processing on the inquiry content data, and uses chi-square statistics to provide effective morphemes for the emotional state from the text of the inquiry content data. Can be extracted.
  • the second classification model generator 231 may learn about the emotion type by using the effective morpheme for the emotional state.
  • the second classification model generation unit 231 generates a feature vector having the extracted effective morphemes as one dimension, and learns the emotion type by applying a weight to the feature vector based on whether or not emoticon data is included. I can.
  • the second data analysis unit 230 performs data analysis to recommend an appropriate answer to a person in charge based on the emotion type determined by the second classification model. It may include an answer selection unit 232.
  • the response answer selection unit 232 determines the emotion type for the customer's inquiry information through the second classification model, and based on the determined result, the response answer selection unit 232 determines a random number of candidate answers included in the emotion type pool. N (N is a natural number) of responses can be selected.
  • the emotion type pool refers to a database in which candidate answers arranged for each emotional state categorized in a predetermined step are stored, and may be preset before the operation of the system 200.
  • Candidate answers represent various examples of variations of the response answer expressing sympathy (or understanding) for an emotional state, and may be continuously updated through addition, correction, or change through the terminal of the system user.
  • the third data analysis unit 240 analyzes the location of the customer and the time of inquiries based on Internet Protocol (IP) information included in the customer situation data, and And it is possible to generate an emotional answer based on the environmental information on the point of inquiry.
  • IP Internet Protocol
  • the emotional response is a phrase that expresses the sensitivity derived from external factors (ex. weather, season, event, etc.) of the customer's environment, or a stimulus that can be felt by a person based on the stimulus applied from the customer's environment.
  • the third data analysis unit 240 performs machine learning on text data related to environmental factors affecting human emotions such as weather, seasons, and events, and based on the machine learning results, the customer Emotional answers can be generated through natural language generation based on environmental information about the location and time of inquiry.
  • the third data analysis unit 240 may generate an emotional answer by selecting random N answers from a database in which candidate answers related to environmental factors affecting a person's emotions are previously stored.
  • an answer recommendation system 200 based on text content and emotion analysis includes a confirmation response to an inquiry type, a response response according to a customer's emotional state, and an emotional response. It may further include an interface controller 250 that provides a user interface for recommending an answer.
  • the interface controller 250 may structure and graphic the above-described answers, and provide a user interface representing structured and graphic answers to the person in charge terminal 20.
  • a confirmation answer to an inquiry type may be recommended through a user interface that can be implemented in the person in charge terminal 20.
  • an answer desired by the person in charge may be selected for each of the confirmation answer to the inquiry type, a response answer according to the customer's emotional state, and an emotional answer through an external input authorized by the person in charge through the user interface.
  • FIG. 4 is a flowchart illustrating an operation process of the answer recommendation system 200 according to an embodiment of the present invention.
  • the above-described data processing process for each data analysis unit of the answer recommendation system 200 will be described in more detail with reference to FIG. 4.
  • the generation of the first classification model not shown in FIG. 4 may be performed through the following learning process.
  • the first classification model generation unit 221 of the first data analysis unit 220 analyzes the inquiry content data in units of morphemes using a Twitter morpheme analysis method and a Komoran morpheme analysis method. For example, the first classification model generation unit 221 transforms the morphemes included in the text of the inquiry content data into a circle through Twitter morpheme analysis. In addition, the first classification model generation unit 221 extracts endings that cannot be extracted from the Twitter morpheme analysis and positive and negative designations through analysis of the form of the komoran.
  • the first classification model generation unit 221 extracts effective morphemes for each inquiry type using chi-square statistics. For example, the first classification model generation unit 221 uses [Table 1] conceptualizing chi-square statistics and [Equation 1] derived accordingly to determine each morpheme included in all data for a specific inquiry type. Estimate the degree of relevance (ex. weight). When the relevance of each morpheme to a specific inquiry type is estimated, the first classification model generation unit 221 sorts the estimated relevance and extracts the upper L% morpheme as an effective morpheme.
  • c is a specific inquiry type
  • ⁇ c is all inquiry types other than c
  • t is a specific morpheme
  • ⁇ t is a morpheme other than t
  • A, B, C, and D are counting counts for each item ( ie frequency)
  • N means the sum of A, B, C and D.
  • X 2 means the degree of relationship of each morpheme to a specific inquiry type.
  • the first classification model generator 221 assumes that the specific inquiry type c for which the relevance is to be estimated is "payment” and the specific morpheme t is “money”, ⁇ c is "bug” except for "payment”.
  • the remaining inquiry types such as “, "user”, and ⁇ t mean the remaining morphemes such as “me” and “game” excluding "money”.
  • the first classification model generation unit 221 may estimate A as 300, B as 4000, C as 1000, and D as 40000 based on the result of counting the number of morphemes present in the data for the inquiry type. have. This means that in the data of the inquiry type corresponding to "payment", the morpheme "money” appeared 300 times (A) and the morpheme other than "money” appeared 4000 times (B). In addition, it means that the morpheme "money” appeared 1000 times (C) and the morpheme other than "money” appeared 40000 times (D) in the inquiry type data other than "payment".
  • the first classification model generation unit 221 estimates N (ie the total sum of the above-described estimation values) to be 45300, and determines the degree of relation of the morpheme “money” to the inquiry type “payment” [ According to Equation 1], it can be estimated to be about 287.49.
  • the relevance estimated here corresponds to the chi-square value of the morpheme “money” for the inquiry type “payment”.
  • the first classification model generation unit 221 configures, as learning data for machine learning, a feature vector having words included in the word dictionary and upper morphemes extracted by chi-square statistics as one dimension, respectively.
  • the word dictionary can be constructed as shown in [Table 2] below. However, [Table 2] is only an example to aid understanding, and is not limited thereto, and may be variously modified and set.
  • the first classification model generation unit 221 generates a first classification model using a feature vector using a support vector machine, which is one of representative machine learning algorithms.
  • the first classification model refers to a plane that best separates two label data groups in a multidimensional space in which the trained and labeled data are radiated. The type of inquiry is determined according to where the new feature vector is located based on this plane.
  • the confirmation answer selection unit 222 of the first data analysis unit 220 inputs newly collected inquiry content data into the first classification model. Perform inquiry type analysis. For example, the acknowledgment selection unit 222 extracts the input data in units of morphemes using the two morpheme analysis methods described above, and vectorizes the extracted morphemes. The confirmation answer selection unit 222 estimates an inquiry type determination value (i.e. a reliability value for the inquiry type) by inputting the vector value of the morpheme into the first classification model.
  • an inquiry type determination value i.e. a reliability value for the inquiry type
  • the confirmation answer selection unit 222 determines whether there is an inquiry type whose reliability value for the inquiry type estimated through inquiry type analysis is greater than or equal to a user-defined reference value. If there is an inquiry type with a confidence value greater than or equal to the reference value, the inquiry type pool of the inquiry type with the highest confidence value is selected, and the similarity with the candidate answers included in the selected inquiry type pool is calculated, and the top N confirmation answers are selected. Choose. If there is no inquiry type with a reliability value greater than or equal to the reference value, the top N confirmation answers are selected by calculating the similarity with the candidate answers included in the pool of all inquiry types.
  • the similarity calculation refers to estimating the proximity of the feature vectors to the morphemes of the inquiry content data and the candidate answers.
  • the confirmation answer selection unit 222 forms one dimension for each of the extracted morphemes, A feature vector is constructed based on whether the morpheme of each of the inquiry content data and the candidate answers is included in the formed dimension.
  • the acknowledgment selection unit 222 calculates a similarity by estimating a feature vector for the inquiry content data and a feature vector for adjacent candidate answers based on a cosine similarity.
  • the generation of the second classification model not shown in FIG. 4 may be performed through the following learning process.
  • the second data analysis unit 230 descriptions of the same contents as those of the processing process by the first data analysis unit 220 have been omitted.
  • the second classification model generation unit 231 of the second data analysis unit 230 uses the Twitter morpheme analysis method and the Komoran morpheme analysis method in the same manner as the above-described first classification model generation unit 221. Analyze the data in units of morphemes. Next, the second classification model generation unit 231 extracts effective morphemes for the emotional state using chi-square statistics.
  • the second classification model generation unit 231 configures feature vectors each having one dimension of upper morphemes extracted by chi-square statistics as learning data for machine learning. In this case, the second classification model generator 231 applies a weight to each feature vector according to whether or not emoticon data is included. Unlike the inquiry type based on the objective meaning of the word, the emotional state can be expressed through an emoticon in which an expression is formed using letters, and thus the second classification model generator 231 utilizes the emoticon data in the learning process.
  • the emoticon data can be constructed as shown in [Table 3] below on the database.
  • [Table 3] is only an example for aiding understanding, and is not limited thereto and may be variously modified and set.
  • the second classification model generation unit 231 generates a second classification model using a support vector machine, which is one of representative machine learning algorithms, using the feature vector.
  • the second classification model refers to a plane that best separates two label data groups in a multidimensional space in which the trained and labeled data are radiated. The type of inquiry is determined according to where the new feature vector is located based on this plane.
  • the response response selection unit 232 of the second data analysis unit 230 inputs the inquiry content data into the second classification model to analyze the emotion type. Perform. For example, the corresponding answer selection unit 232 extracts the input data in units of morphemes using the two morpheme analysis methods described above, and vectorizes the extracted morphemes. The response-answer selection unit 232 multiplies the weighted vector value of the morpheme based on whether the input data contains an emoticon, and inputs the vector value of the morpheme to which the weight is applied to the second classification model to determine the emotion type (ie, inquiry type). The confidence value for) is estimated.
  • the response-answer selection unit 232 selects the emotion type having the highest confidence value among the confidence values for the emotion type estimated through the previous analysis, and selects an emotion type from the emotion type pool for the selected emotion type. Select N responses. At this time, the response answer selection unit 232 classifies the emotion type into three levels: friendly, hostile, and dramatic.
  • the emotion type pool corresponding to friendship includes casual expression
  • the emotion type pool corresponding to hostility includes neutral expression
  • the emotion type pool corresponding to dramatic hostility includes polite expression.
  • the third data analysis unit 240 analyzes a source of customer situation data to analyze a customer's location and an inquiry point. For example, the third data analysis unit 240 analyzes the source of customer situation data to obtain IP information. The third data analysis unit 240 identifies the location of the city indicated by the acquired IP information and the time of inquiries using GeoIP2 or the like.
  • the third data analysis unit 240 analyzes the customer's environmental information using an open API (Open Application Program Interface) based on the customer's location and the time of inquiry. For example, the third data analysis unit 240 acquires weather information, fine dust information, and the like of a city based on a customer's inquiry time by using an open API related to weather.
  • an open API Open Application Program Interface
  • the third data analysis unit 240 when analysis of customer environmental information is completed, the third data analysis unit 240 generates an emotional answer through natural language generation using deep learning or randomly from a database in which candidate answers are stored (ie emotional answer pool). The N emotional responses of are selected. For example, if it is analyzed that the weather is sunny based on the customer's location and the time of inquiry, the third data analysis unit 240 generates an emotional response to the sunny weather through natural language generation using deep learning. Alternatively, the third data analysis unit 240 selects random N emotional answers from a database in which candidate answers for sunny weather are stored.
  • FIG. 5 is a conceptual diagram schematically illustrating an operation process of the answer recommendation system 200 according to an embodiment of the present invention.
  • the interface controller 250 may classify an answer to a customer's inquiry information into a greeting, a preface, a body, and an ending on a user interface. That is, the interface controller 250 may structure the answer implemented on the person in charge terminal 20 through the user interface into four areas. At this time, the confirmation answer for the inquiry type may be recommended in the foreword, the response response according to the customer's emotional state may be recommended in the foreword and concluding sentence, and the emotional answer in the concluding sentence.
  • the received inquiry content and the customer's situation information may be analyzed through a classification model. If the inquiry type is analyzed as compensation, the emotion type is hostile, and the weather in the city where the customer is located is rainy, the confirmation answer for the inquiry type (i.e. compensation) can be recommended in the foreword through the user interface. As shown in Fig. 5, among a plurality of confirmation answers, "You have inquired because the cumulative payment event compensation was not normally paid.” If the answer is selected by the person in charge, the answer may be displayed in the foreword.
  • Response responses according to emotion type can be recommended in the foreword and ending through the user interface.
  • the corresponding answer recommended in the foreword and the corresponding answer recommended in the ending may be distinguished from each other. That is, even if they have the same emotion type, the response answer pool recommended in the foreword and the response answer pool recommended in the concluding statement are formed separately, and the response responses can be selected separately through the selection process through the above-described similarity estimation in each response pool. I can.
  • the emotional answer based on the weather i.e. rain
  • the emotional answer based on the weather is not substantially related to the content of the inquiry, so it can be recommended in the concluding statement through the user interface.
  • an expression (ex. thank you, etc.) for ending the response may be inserted and recommended in the emotional response.
  • FIGS. 6 to 11 illustrate a user interface provided by the answer recommendation system 200 according to an embodiment of the present invention.
  • a process of recommending and selecting an answer implemented through a user interface will be described in more detail with reference to FIGS. 6 to 11.
  • the basic structure of the output screen implemented in the person in charge terminal 20 through the user interface is shown in FIG. 6.
  • the person in charge clicks the "Inquiry Analysis START" button formed in the customer's inquiry message window displayed at the top of the output screen.
  • Data analysis by the answer recommendation system 200 proceeds at the same time as the "inquiry analysis START” button is clicked, and when the analysis is completed, the "inquiry analysis START” button is changed to a "inquiry analysis complete” button.
  • the first recommended answers are randomly selected and exposed by the answer recommendation system 200 from among a plurality of recommended answers, and may be changed to another answer among the plurality of recommended answers by a person in charge.
  • an information window indicating the emotion type, the inquiry type, and the current weather in the area where the counselor is located is exposed on the right side.
  • the emotion type is divided into three stages: friendly (0), dissatisfaction (1), and very angry (2), and the analysis result of the emotion type is displayed as a highlight.
  • the analysis result of the inquiry type is indicated by the type name and reliability value, and the reliability value is indicated by numbers along with a bar-shaped graph.
  • FIG. 12 is a flowchart illustrating a method of recommending an answer according to an embodiment of the present invention.
  • the preprocessor 210 collects customers through at least one or more of a plurality of channels 10. Step of extracting the inquiry content data and customer situation data from the inquiry information (S110), the first data analysis unit 220 learns and learns the inquiry type for the inquiry information of the customer based on the natural language processing of the inquiry content data. Based on the result, a first classification model is generated to select a confirmation answer for the inquiry type (S120), and the second data analysis unit 230 determines the emotional state of the customer based on natural language processing on the inquiry content data.
  • it may include the step (S140) of generating an emotional answer based on the location of the customer and the time of inquiry.
  • the interface controller 250 provides a confirmation response to an inquiry type, a response response according to the customer's emotional state, and an emotional response. It may further include providing a user interface for recommending an answer (S150).
  • the interface control unit 250 divides the response to the customer's inquiry information into greeting, header, body and ending on the user interface, and The confirmation answer for the response can be recommended in the preface, the response answer according to the customer's emotional state can be recommended in the preface and the concluding statement, and the emotional answer in the ending statement.
  • FIG. 13 is a flowchart illustrating a process of selecting a confirmation answer for an inquiry type according to an embodiment of the present invention.
  • the first classification model generation unit 221 uses chi-square statistics to generate inquiry content data. Extracting the effective morphemes for each inquiry type from the text (S210), the effective morphemes extracted by the first classification model generation unit 221 and the words included in the word dictionary for each of the preset inquiry types into one dimension.
  • the step (S220) of performing learning on a feature vector having a feature vector and the confirmation answer selection unit 222 determine the inquiry type for the customer's inquiry information through the first classification model, and based on the determined result, the inquiry type pool ( Pool), by estimating a degree of similarity with candidate answers included in the pool), and selecting the top N (N is a natural number) confirmation answers (S230).
  • FIG. 14 is a flow chart illustrating a process of selecting the top N confirmation answers according to an embodiment of the present invention.
  • the confirmation answer selection unit 222 uses the first classification model. Estimating the reliability value for the inquiry information (S310), the step of selecting the inquiry type pool by comparing the estimated reliability value with a preset reference value by the confirmation answer selection unit 222 (S320) and a confirmation answer selection unit A step (S330) of estimating the similarity by vectorizing candidate answers included in the selected query type pool based on whether or not morphemes are included (S330).
  • 15 is a flowchart illustrating a process of selecting a response response according to an emotional state of a customer according to an embodiment of the present invention.
  • the second classification model generation unit 231 uses chi-square statistics to Extracting the effective morphemes for the emotional state from the text of the data (S310), the second classification model generation unit 231 generates feature vectors each having the extracted effective morphemes as one dimension, and whether or not emoticon data is included
  • the step of learning the emotion type by applying a weight to the feature vector based on (S320) and the response-answer selection unit 232 determine the emotion type for the customer's inquiry information through the second classification model, and the determined result It may include a step (S330) of selecting any N (N is a natural number) corresponding answers among candidate answers included in the emotion type pool.
  • the third data analysis unit 240 analyzes the location of the customer and the point of inquiries based on the IP information included in the customer situation data, and Emotional answers can be generated based on environmental information about the location of and the point of inquiry.
  • a computer-readable recording medium in which a program for executing the above-described method on a computer is recorded may be provided.
  • the above-described method can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of the data used in the above-described method may be recorded on a computer-readable medium through various means.
  • a recording medium for recording executable computer programs or codes for performing various methods of the present invention should not be understood as including temporary objects such as carrier waves or signals.
  • the computer-readable medium may include a storage medium such as a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), and an optical reading medium (eg, CD-ROM, DVD, etc.).

Abstract

본 발명의 일 실시 예에 따른 답변 추천 시스템은, 복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 전처리부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 제 1 데이터 분석부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 제 2 데이터 분석부 및 고객상황 데이터를 분석하여 고객의 문의시점을 기준으로 하는 감성적 답변을 제공하는 제 3 데이터 분석부를 포함할 수 있다.

Description

텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법
본 발명은 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법에 관한 것으로, 더욱 상세하게는 이메일(E-mail), 웹페이지(Webpage), 소셜네트워크서비스(Social Network Service: SNS) 등의 채널들을 통해 고객이 남긴 문의의 내용에 대한 담당자의 답변 작성 시, 문의유형, 고객의 감정상태, 고객의 상황 등을 파악하여 적합한 문구를 자동으로 추천하는 방법 및 시스템에 관한 것이다.
최근 정보통신 기술의 발달로 기업의 업무 처리를 자동화하여 업무의 효율을 향상시키고자 하는 노력이 이어짐에 따라 컴퓨터를 이용한 자동 대화 기술에 대한 개발이 꾸준히 진행되고 있다. 자동 대화 기술의 대표적인 예시는 챗봇(Chatter robot)과 같은 대화형 메신저이다.
페이스북(Facebook)의 메신저, 텐센트(Tencent)의 위챗(WeChat) 등 현재 서비스가 진행되고 챗봇을 포함한 자동 대화 기술은 대부분 질문의 의미를 정확하게 파악하고, 이에 대한 정확한 답변을 제시하는 것에 초점이 맞춰져 있다. 이는 정확한 정보 전달 및 답변의 제공이라는 측면에서는 바람직하지만, 자연스러운 대화 또는 응대라는 측면을 고려하면 고객에 대한 적절한 서비스를 제공하지 못하는 문제가 있다.
특히, 기업이 제공하고 있는 서비스, 상품 등에 대한 문의를 처리하는 고객지원 영역에서는 문의사항에 대한 정확한 답변을 제공하는 것도 중요하지만 화자의 감정과 상황을 이해하는 감정적 교감을 통해 고객의 서비스 만족도를 유지 또는 향상시켜 나가는 것 또한 중요하다. 따라서, 고객지원 영역에서 종래의 챗봇 등과 같은 자동 대화 기술을 단순히 이용하는 것은 바람직하지 않다.
또한, 전술하였듯이 고객지원 영역은 고객의 감정과 상황을 이해하는 감정적 교감을 통해 답변을 제공해야 하므로, 종래의 챗봇 등과 같은 자동 대화 기술을 이용하더라도 고객지원 담당자가 감정 노동으로 인해 정신적 및 육체적 스트레스를 받는 문제는 여전히 존재한다. 또한, 고객지원 담당자가 객관적 내용뿐만 아니라 머리말, 맺음말 등에 감정적 교감이 포함된 적절한 답변을 구성하는데는 상당한 시간이 소요되므로, 문의사항 처리 기간이 장기화되는 문제가 여전히 존재한다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로서, 온오프라인 상의 여러 채널들을 통해 수집된 고객의 문의에 대한 분석을 통해 고객의 감정상태, 상황 및 환경 등을 파악하고, 파악된 내용을 토대로 답변을 구조화하여 추천하는 시스템 및 방법을 제공함에 목적이 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템은, 복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 전처리부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 제 1 데이터 분석부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 제 2 데이터 분석부 및 고객상황 데이터를 분석하여 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 제 3 데이터 분석부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 데이터 분석부는, 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하며, 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 제 1 분류모델 생성부 및 제 1 분류모델을 통해 고객의 문의정보에 대한 문의유형을 판단하고, 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 확인답변 선별부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 확인답변 선별부는, 제 1 분류모델을 통해 고객의 문의정보에 대한 신뢰도값을 추정하고, 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하며, 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 유사도를 추정할 수 있다.
본 발명의 일 실시 예에 따른 제 2 데이터 분석부는, 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하고, 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하며, 이모티콘 데이터의 포함여부를 기준으로 특징벡터에 대해 가중치를 적용하여 감정유형을 학습하는 제 2 분류모델 생성부 및 제 2 분류모델을 통해 고객의 문의정보에 대한 감정유형을 판단하고, 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 대응답변 선별부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 3 데이터 분석부는, 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 고객의 위치 및 문의시점을 분석하고, 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 감성적 답변을 생성할 수 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템은, 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 인터페이스 제어부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 인터페이스 제어부는, 고객의 문의정보에 대한 답변을 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고, 문의유형에 대한 확인답변은 머리말, 고객의 감정상태에 따른 대응답변은 머리말과 맺음말 및 감성적 답변은 맺음말에서 추천될 수 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법은, 전처리부가 복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 단계, 제 1 데이터 분석부가 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 단계, 제 2 데이터 분석부가 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 단계 및 제 3 데이터 분석부가 고객상황 데이터를 분석하여 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 문의유형에 대한 확인답변을 선별하는 단계는, 제 1 분류모델 생성부가 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하는 단계, 제 1 분류모델 생성부가 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 단계 및 확인답변 선별부가 제 1 분류모델을 통해 고객의 문의정보에 대한 문의유형을 판단하고, 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계는, 확인답변 선별부가 제 1 분류모델을 통해 고객의 문의정보에 대한 신뢰도값을 추정하는 단계, 확인답변 선별부가 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하는 단계 및 확인답변 선별부가 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 유사도를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 고객의 감정상태에 따른 대응답변을 선별하는 단계는, 제 2 분류모델 생성부가 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하는 단계, 제 2 분류모델 생성부가 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하고, 이모티콘 데이터의 포함여부를 기준으로 특징벡터에 대해 가중치를 적용하여 감정유형을 학습하는 단계 및 대응답변 선별부가 제 2 분류모델을 통해 고객의 문의정보에 대한 감정유형을 판단하고, 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 감성적 답변을 생성하는 단계에서는, 제 3 데이터 분석부가 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 고객의 위치 및 문의시점을 분석하고, 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 감성적 답변을 생성할 수 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법은, 인터페이스 제어부가 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 사용자 인터페이스를 제공하는 단계에서는, 인터페이스 제어부가 고객의 문의정보에 대한 답변을 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고, 문의유형에 대한 확인답변은 머리말, 고객의 감정상태에 따른 대응답변은 머리말과 맺음말 및 감성적 답변은 맺음말에서 추천될 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 일 실시 예로서 제공되는 답변 추천 시스템 및 방법에 따르면, 고객지원 담당자가 고객 측으로부터 수신된 메시지에 대한 감정 및 감성적 인사말과 맺음말 작성하는데 소요되는 시간을 줄이고, 정확한 답변을 작성하는데 더 많은 시간을 투자할 수 있도록 함으로써, 고객지원 업무의 효율을 극대화시킬 수 있다.
또한, 감정적 보상과 호의적 대응(ex. 인사, 사과, 감사, 시정 등의 표현)에 따라 불만 고객들의 문제해결에 대한 만족도가 좌우되는 고객지원 업무 시, 감성 및 감정적 인사말과 맺음말을 자동으로 추천해줌으로써, 고객지원 담당자의 감정 노동으로 인한 고통을 최소화함과 동시에 불만 고객들의 만족도를 효과적으로 충족시켜줄 수 있다.
도 1은 본 발명의 일 실시 예에 따라 고객지원 시스템과 연동 가능한 답변 추천 시스템을 통해 제공되는 고객지원 서비스를 나타낸 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 답변 추천 시스템, 복수개의 채널들 및 담당자 단말들의 네트워크 관계를 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 답변 추천 시스템의 각 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 답변 추천 시스템의 동작 과정을 나타낸 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 답변 추천 시스템의 동작 과정을 간략히 나타낸 개념도이다.
도 6 내지 도 11은 본 발명의 일 실시 예에 따른 답변 추천 시스템에서 제공되는 사용자 인터페이스를 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 답변 추천 방법을 나타낸 순서도이다.
도 13은 본 발명의 일 실시 예에 따라 문의유형에 대한 확인답변을 선별하는 과정을 나타낸 순서도이다.
도 14는 본 발명의 일 실시 예에 따라 상위 N개의 확인답변들을 선별하는 과정을 나타낸 순서도이다.
도 15는 본 발명의 일 실시 예에 따라 고객의 감정상태에 따른 대응답변을 선별하는 과정을 나타낸 순서도이다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템은, 복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 전처리부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 제 1 데이터 분석부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 제 2 데이터 분석부 및 고객상황 데이터를 분석하여 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 제 3 데이터 분석부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 1 데이터 분석부는, 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하며, 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 제 1 분류모델 생성부 및 제 1 분류모델을 통해 고객의 문의정보에 대한 문의유형을 판단하고, 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 확인답변 선별부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 확인답변 선별부는, 제 1 분류모델을 통해 고객의 문의정보에 대한 신뢰도값을 추정하고, 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하며, 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 유사도를 추정할 수 있다.
본 발명의 일 실시 예에 따른 제 2 데이터 분석부는, 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하고, 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하며, 이모티콘 데이터의 포함여부를 기준으로 특징벡터에 대해 가중치를 적용하여 감정유형을 학습하는 제 2 분류모델 생성부 및 제 2 분류모델을 통해 고객의 문의정보에 대한 감정유형을 판단하고, 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 대응답변 선별부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 제 3 데이터 분석부는, 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 고객의 위치 및 문의시점을 분석하고, 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 감성적 답변을 생성할 수 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템은, 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 인터페이스 제어부를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 인터페이스 제어부는, 고객의 문의정보에 대한 답변을 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고, 문의유형에 대한 확인답변은 머리말, 고객의 감정상태에 따른 대응답변은 머리말과 맺음말 및 감성적 답변은 맺음말에서 추천될 수 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법은, 전처리부가 복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 단계, 제 1 데이터 분석부가 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 단계, 제 2 데이터 분석부가 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 단계 및 제 3 데이터 분석부가 고객상황 데이터를 분석하여 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 문의유형에 대한 확인답변을 선별하는 단계는, 제 1 분류모델 생성부가 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하는 단계, 제 1 분류모델 생성부가 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 단계 및 확인답변 선별부가 제 1 분류모델을 통해 고객의 문의정보에 대한 문의유형을 판단하고, 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계는, 확인답변 선별부가 제 1 분류모델을 통해 고객의 문의정보에 대한 신뢰도값을 추정하는 단계, 확인답변 선별부가 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하는 단계 및 확인답변 선별부가 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 유사도를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 고객의 감정상태에 따른 대응답변을 선별하는 단계는, 제 2 분류모델 생성부가 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하는 단계, 제 2 분류모델 생성부가 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하고, 이모티콘 데이터의 포함여부를 기준으로 특징벡터에 대해 가중치를 적용하여 감정유형을 학습하는 단계 및 대응답변 선별부가 제 2 분류모델을 통해 고객의 문의정보에 대한 감정유형을 판단하고, 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 감성적 답변을 생성하는 단계에서는, 제 3 데이터 분석부가 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 고객의 위치 및 문의시점을 분석하고, 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 감성적 답변을 생성할 수 있다.
본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법은, 인터페이스 제어부가 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 사용자 인터페이스를 제공하는 단계에서는, 인터페이스 제어부가 고객의 문의정보에 대한 답변을 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고, 문의유형에 대한 확인답변은 머리말, 고객의 감정상태에 따른 대응답변은 머리말과 맺음말 및 감성적 답변은 맺음말에서 추천될 수 있다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따라 고객지원 시스템(100)과 연동 가능한 답변 추천 시스템(200)을 통해 제공되는 고객지원 서비스를 나타낸 개념도이다.
고객지원 시스템(100)이란 기업에서 제공하는 상품, 서비스 등에 대한 고객의 민원, 불만사항 등을 포함하는 문의사항을 처리하기 위한 시스템으로서, 온오프라인의 다양한 채널을 통해 문의사항을 수집하고, 수집된 문의사항을 고객지원 담당자에게 통합된 형태로 제공하여 처리할 수 있도록 하는 솔루션을 말한다.
예를 들어, 도 1과 같이 여러 고객들의 단말에서 입력된 문의사항이 복수개의 채널들(10)(ex. 이메일, 웹페이지, SNS 등) 중 적어도 하나 이상을 통해 고객지원 시스템(100)으로 수집되면, 수집된 문의사항들은 "티켓(ticket)" 이라는 형태로 변환될 수 있다. 티켓으로 변환된 문의사항들은 통합되어 도 1과 같이 담당자단말(20)을 통해 고객지원 담당자에게 제공될 수 있다. 고객지원 담당자가 담당자단말(20)을 통해 티켓에 대한 답변을 생성하면, 생성된 답변은 문의사항이 입력된 채널들의 원래 형태에 맞게 다시 변환되어 고객단말로 제공될 수 있다.
본 발명의 일 실시 예에 따른 답변 추천 시스템(200)은 전술한 고객지원 시스템(100)에서 고객지원 담당자의 답변 작성 업무를 보조하기 위한 것으로서, 도 1 과 같이 고객지원 시스템(100)과 유무선 통신 네트워크를 통해 연동되도록 별도의 구성으로 형성되거나 고객지원 시스템(100)에 통합되어 고객지원 시스템(100)의 일 구성으로 형성될 수 있다.
예를 들어, 답변 추천 시스템(200)은 고객지원 시스템(100)과의 연동을 통해 티켓으로 변환된 문의사항을 전달받아 문의사항의 내용 및 고객의 상황 등을 분석하여 답변을 구조화하고, 구조화된 답변을 담당자단말(20)에서 구현되는 사용자 인터페이스를 통해 추천할 수 있다. 즉, 답변 추천 시스템(200)은 고객지원 시스템(100)에서 담당자 업무 처리의 속도 및 효율을 향상시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 답변 추천 시스템(200), 복수개의 채널들(10) 및 담당자 단말들의 네트워크 관계를 나타낸 블록도이며, 도 3은 본 발명의 일 실시 예에 따른 답변 추천 시스템(200)의 각 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템(200)은, 복수개의 채널들(10) 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 전처리부(210), 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 제 1 데이터 분석부, 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 제 2 데이터 분석부(230) 및 고객상황 데이터를 분석하여 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 제 3 데이터 분석부(240)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 전처리부(210)는 고객의 문의정보를 복수개의 채널들(10) 중 적어도 하나 이상을 통해 직접 수집하거나 전술한 고객지원 시스템(100)으로부터 복수개의 채널들(10) 중 적어도 하나 이상을 통해 수집 및 변환된 문의정보를 전달받을 수 있다. 예를 들어, 도 2와 같이 전처리부(210)는 이메일, 웹페이지, 소셜네트워크서비스 등의 채널들을 통해 고객의 문의정보를 직접 수신할 수 있다. 또한, 전처리부(210)는 답변 추천 시스템(200)과 연동되는 고객지원 시스템(100)에서 티켓으로 변환된 문의정보를 유무선 통신 네트워크을 통해 전달받을 수 있다.
본 발명의 일 실시 예에 따른 전처리부(210)는 복수개의 채널들(10) 중 적어도 하나 이상을 통해 수집된 문의정보에 대한 분석을 통해 문의내용 데이터와 고객상황 데이터를 추출할 수 있다. 문의내용 데이터란 고객의 민원, 불만사항, 개선요청 등의 문의사항에 관한 요지를 담고 있는 텍스트 데이터를 말한다. 고객상황 데이터란 문의정보를 보낸 고객(i.e. 고객단말)의 위치 및 문의시점 등을 파악할 수 있는 고객의 환경적 요인들에 관한 데이터를 말한다.
예를 들어, 고객단말로부터 이메일을 통해 "~ 서비스 내용에 대한 개선을 요청드립니다." 라는 내용을 포함하는 문의정보가 전처리부(210)로 전달되면, 전처리부(210)는 문의정보로부터 "~서비스 내용에 대한 개선을 요청드립니다." 라는 내용을 포함하는 텍스트 데이터를 문의내용 데이터로 추출하고, 이메일을 통해 문의정보에 대한 추적을 통해 고객단말의 위치 및 문의시점 등을 파악하여 고객상황 데이터를 생성(또는 추출)할 수 있다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 제 1 데이터 분석부(220)는, 전처리부(210)에 의해 추출된 문의내용 데이터와 고객상황 데이터 중 문의내용 데이터에 대한 자연어 처리를 기반으로 문의정보의 문의유형을 분류하기 위한 데이터 분석 및 학습을 수행하는 제 1 분류모델 생성부(221)를 포함할 수 있다. 즉, 제 1 데이터 분석부(220)는 제 1 분류모델 생성부(221)를 통해 문의내용 데이터에 포함된 텍스트를 형태소 단위로 분석하고, 기계학습(machine learning)을 이용하여 형태소 단위로 분석된 텍스트에 따른 문의유형을 분석(또는 학습)함으로써, 문의정보의 유형을 결정하기 위한 제 1 분류모델을 생성할 수 있다.
이때, 제 1 분류모델 생성부(221)는 기계학습을 통한 분석 과정에서 문의유형 별로 정리된 단어사전을 이용할 수 있다. 문의유형 별로 정리된 단어사전은 각각의 문의유형과 관련된 형태소 단위의 자연어가 분류 및 저장된 데이터베이스를 말하는 것으로, 시스템(200)의 동작 전 미리 설정될 수 있다. 미리 설정된 단어사전은 전술한 데이터 분석 및 학습 과정에서 자동으로 갱신(Update)될 수 있으며, 운영자(i.e. 고객지원 시스템(100)을 운영 및 관리하는 담당자) 등을 포함하는 시스템 사용자의 단말을 통한 추가, 수정 또는 변경 등에 의해 지속적으로 갱신(Update)될 수 있다.
예를 들어, 제 1 분류모델 생성부(221)는 문의내용 데이터에 대한 자연어 처리를 통해 텍스트를 형태소 단위로 추출하고, 카이-제곱 통계(Chi-square statistic)를 이용하여 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출할 수 있다. 제 1 분류모델 생성부(221)는 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 이용하여 문의유형에 대한 학습을 수행할 수 있다. 이때, 문의유형에 대한 학습은 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 말한다.
본 발명의 일 실시 예에 따른 제 1 분류모델 생성부(221)는 제 1 분류모델을 통해 분류된 결과의 저장, 수정, 변경 등에 대한 피드백 데이터를 수집하여 기 생성된 제 1 분류모델에 반영할 수 있다. 다시 말해서, 제 1 분류모델 생성부(221)는 시스템 사용자의 단말 등을 통해 생성된 문의정보의 문의유형에 대한 피드백 데이터를 이용하여 제 1 분류모델을 지속적으로 갱신(Update)시킬 수 있다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 제 1 데이터 분석부(220)는, 제 1 분류모델에 의해 결정된 문의유형을 기초로 담당자에게 적절한 답변을 추천하기 위한 데이터 분석을 수행하는 확인답변 선별부(222)를 포함할 수 있다. 즉, 제 1 데이터 분석부(220)는 확인답변 선별부(222)를 통해 제 1 분류모델을 통해 고객의 문의정보에 대한 문의유형을 판단하고, 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별할 수 있다.
여기서 문의유형 풀이란 문의유형 별로 정리된 후보답변들이 저장된 데이터베이스를 말하는 것으로, 시스템(200)의 동작 전 미리 설정될 수 있다. 후보답변들은 문의유형에 대한 인지(Recognition)를 표현하는 확인답변의 다양한 변형 예시들을 나타내며, 시스템 사용자의 단말을 통한 추가, 수정 또는 변경 등을 통해 지속적으로 갱신(Update)될 수 있다.
예를 들어, 확인답변 선별부(222)는 제 1 분류모델을 통해 문의정보의 문의유형 및 문의유형에 대한 신뢰도값을 추정하고, 추정된 신뢰도값과 기 설정된 기준값(i.e. 사용자 정의된 기준값)과의 비교를 통해 문의유형 풀을 선택할 수 있다. 확인답변 선별부(222)는 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 유사도를 추정하고, 추정된 유사도를 기준으로 상위 N개의 확인답변들을 선별할 수 있다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 제 2 데이터 분석부(230)는, 전처리부(210)에 의해 추출된 문의내용 데이터와 고객상황 데이터 중 문의내용 데이터에 대한 자연어 처리를 기반으로 고객의 감정상태를 파악하고, 이에 대한 감정유형을 분류하기 위한 데이터 분석 및 학습을 수행하는 제 2 분류모델 생성부(231)를 포함할 수 있다. 즉, 제 2 데이터 분석부(230)는 제 2 분류모델 생성부(231)를 통해 문의내용 데이터에 포함된 텍스트를 형태소 단위로 분석하고, 기계학습(machine learning)을 이용하여 형태소 단위로 분석된 텍스트를 기초로 감정유형을 분석(또는 학습)함으로써, 고객의 감정상태에 대한 유형을 결정하는 제 2 분류모델을 생성할 수 있다.
예를 들어, 제 2 분류모델 생성부(231)는 문의내용 데이터에 대한 자연어 처리를 통해 텍스트를 형태소 단위로 추출하고, 카이-제곱 통계를 이용하여 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출할 수 있다. 제 2 분류모델 생성부(231)는 감정상태에 대한 유효 형태소를 이용하여 감정유형에 대한 학습을 수행할 수 있다. 이때, 제 2 분류모델 생성부(231)는 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하며, 이모티콘 데이터의 포함여부를 기준으로 특징벡터에 대해 가중치를 적용하여 감정유형을 학습할 수 있다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 제 2 데이터 분석부(230)는, 제 2 분류모델에 의해 결정된 감정유형을 기초로 담당자에게 적절한 답변을 추천하기 위한 데이터 분석을 수행하는 대응답변 선별부(232)를 포함할 수 있다. 예를 들어, 대응답변 선별부(232)는 제 2 분류모델을 통해 고객의 문의정보에 대한 감정유형을 판단하고, 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별할 수 있다.
여기서 감정유형 풀이란 소정의 단계로 유형화된 감정상태 별로 정리된 후보답변들이 저장된 데이터베이스를 말하는 것으로, 시스템(200)의 동작 전 미리 설정될 수 있다. 후보답변들은 감정상태에 대한 교감(또는 이해)을 표현하는 대응답변의 다양한 변형 예시들을 나타내며, 시스템 사용자의 단말을 통한 추가, 수정 또는 변경 등을 통해 지속적으로 갱신(Update)될 수 있다.
한편, 본 발명의 일 실시 예에 따른 제 3 데이터 분석부(240)는, 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 고객의 위치 및 문의시점을 분석하고, 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 감성적 답변을 생성할 수 있다. 여기서 감성적 답변이란 고객이 처한 환경의 외부요인(ex. 날씨, 계절, 이벤트 등)에 의해 도출되는 감수성(Sensibility)을 표현하는 문구 또는 고객이 처한 환경으로부터 가해지는 자극을 기초로 사람이 느낄 수 있는 감정을 자연어로 표현한 텍스트를 말한다.
예를 들어, 제 3 데이터 분석부(240)는 날씨, 계절, 이벤트 등의 사람의 감정에 영향을 주는 환경적 요인들과 관련된 텍스트 데이터에 대한 기계학습을 수행하고, 기계학습된 결과를 토대로 고객의 위치 및 문의시점에 대한 환경정보를 기초로 자연어 생성을 통해 감성적 답변을 생성할 수 있다. 또한, 제 3 데이터 분석부(240)는 사람의 감정에 영향을 주는 환경적 요인들과 관련된 후보답변들이 미리 저장된 데이터베이스에서 임의의 N개의 답변을 선별함으로써 감성적 답변을 생성할 수 있다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템(200)은, 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 인터페이스 제어부(250)를 더 포함할 수 있다. 인터페이스 제어부(250)는 전술한 답변들을 구조화 및 그래픽화 할 수 있으며, 구조화 및 그래픽화된 답변들을 나타내는 사용자 인터페이스를 담당자단말(20)로 제공할 수 있다.
예를 들어, 담당자의 고객 문의에 대한 답변 작성 시, 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변은 담당자단말(20)에서 구현 가능한 사용자 인터페이스를 통해 추천될 수 있다. 이때, 담당자로부터 사용자 인터페이스를 통해 인가된 외부 입력을 통해 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변 각각에 대해 담당자가 원하는 답변이 선택될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 답변 추천 시스템(200)의 동작 과정을 나타낸 순서도이다. 이하에서는 도 4를 참조하여 답변 추천 시스템(200)의 전술한 데이터 분석부 별 데이터 처리 과정을 보다 구체적으로 살펴보도록 한다.
(1) 제 1 데이터 분석부(220)에 의한 처리 과정
도 4에 도시되지 않은 제 1 분류모델의 생성은 다음과 같은 학습 과정을 통해 수행될 수 있다.
먼저, 제 1 데이터 분석부(220)의 제 1 분류모델 생성부(221)는 트위터(Twitter) 형태소 분석 방식과 코모란(Komoran) 형태소 분석 방식을 이용하여 문의내용 데이터를 형태소 단위로 분석한다. 예를 들어, 제 1 분류모델 생성부(221)는 트위터 형태소 분석을 통해 문의내용 데이터의 텍스트에 포함된 형태소들을 원형으로 변형한다. 또한, 제 1 분류모델 생성부(221)는 코모란 형태 분석을 통해 트위터 형태소 분석에서 추출하지 못하는 어미와 긍정 및 부정 지정사를 추출한다.
다음으로, 제 1 분류모델 생성부(221)는 카이-제곱 통계를 이용하여 각 문의유형에 대한 유효 형태소들을 추출한다. 예를 들어, 제 1 분류모델 생성부(221)는 카이-제곱 통계를 개념화한 [표 1] 및 이에 따라 도출된 [식 1]을 이용하여 특정 문의유형에 대한 모든 데이터에 포함된 각 형태소의 관련도(ex. 가중치)를 추정한다. 특정 문의유형에 대한 각 형태소의 관련도가 추정되면, 제 1 분류모델 생성부(221)는 추정된 관련도를 정렬하여 상위 L%의 형태소를 유효 형태소로서 추출한다.
[표 1]
Figure PCTKR2019007594-appb-img-000001
이때, [표 1]에서 c는 특정 문의유형, ~c는 c가 아닌 모든 문의유형, t는 특정 형태소, ~t는 t가 아닌 형태소, A, B, C 및 D는 각 항목별 카운팅 횟수(i.e. 빈도수), N은 A, B, C 및 D의 합을 의미한다. 이러한 [표 1]을 기초로 도출된 관련도 추정을 위한 수식은 다음과 같다.
[식 1]
Figure PCTKR2019007594-appb-img-000002
여기서 X 2는 특정 문의유형에 대한 각 형태소의 관련도를 의미한다.
예를 들어, 제 1 분류모델 생성부(221)에서 관련도를 추정하고자 하는 특정 문의유형 c가 "결제", 특정 형태소 t가 "돈"이라고 가정하면, ~c는 "결제"를 제외한 "버그", "유저" 등의 나머지 문의유형, ~t는 "돈"을 제외한 "나", "게임" 등의 나머지 형태소를 의미한다.
이때, 제 1 분류모델 생성부(221)는 문의유형에 대한 데이터에 존재하는 각 형태소의 수를 카운팅한 결과를 기초로 A는 300, B는 4000, C는 1000, D는 40000으로 추정할 수 있다. 이는 "결제"에 해당하는 문의유형의 데이터에서 "돈"이라는 형태소가 300번(A), "돈"이 아닌 형태소가 4000번(B) 나타났음을 의미한다. 또한, "결제"가 아닌 문의유형의 데이터에서 "돈"이라는 형태소가 1000번(C), "돈"이 아닌 형태소가 40000번(D) 나타났음을 의미한다.
전술한 추정값들을 기초로 제 1 분류모델 생성부(221)는 N(i.e. 전술한 추정값들의 전체 합)을 45300으로 추정하고, "결제" 라는 문의유형에 대한 "돈" 이라는 형태소의 관련도를 [식 1]에 따라 약 287.49로 추정할 수 있다. 여기서 추정된 관련도는 "결제"라는 문의유형에 대해 "돈" 이라는 형태소가 가지는 카이-제곱 값에 해당한다.
제 1 분류모델 생성부(221)는 단어사전에 포함된 단어들과 카이-제곱 통계로 추출한 상위 형태소들을 각각 하나의 차원으로 갖는 특징벡터를 기계학습을 위한 학습 데이터로서 구성한다. 단어사전은 다음의 [표 2]와 같이 구축될 수 있다. 다만, [표 2]는 이해를 돕기 위한 하나의 예시일 뿐이며, 이에 한정되고 않고 다양하게 변형 및 설정될 수 있다.
[표 2]
Figure PCTKR2019007594-appb-img-000003
제 1 분류모델 생성부(221)는 특징벡터를 대표적인 기계학습 알고리즘 중 하나인 서포트 벡터 머신(Support Vector Machine)을 이용하여 제 1 분류모델을 생성한다. 제 1 분류모델은 학습되어 레이블(label)된 데이터들이 방사된 다차원의 공간에서 두 레이블 데이터 집단을 가장 잘 분리하는 평면을 의미한다. 이 평면을 기준으로 어떤 곳에 새로운 특징벡터가 위치하느냐에 따라 문의유형을 판별한다.
이와 같은 학습 과정을 통해 제 1 분류모델이 생성되면, 도 4와 같이 제 1 데이터 분석부(220)의 확인답변 선별부(222)는 신규로 수집된 문의내용 데이터를 제 1 분류모델에 입력하여 문의유형 분석을 수행한다. 예를 들어, 확인답변 선별부(222)는 입력된 데이터를 전술한 2가지 형태소 분석 방식을 이용하여 형태소 단위로 추출하고, 추출된 형태소를 벡터화한다. 확인답변 선별부(222)는 형태소의 벡터값을 제 1 분류모델에 입력하여 문의유형 판별값(i.e. 문의유형에 대한 신뢰도값)을 추정한다.
도 4를 참조하면, 확인답변 선별부(222)는 문의유형 분석을 통해 추정된 문의유형에 대한 신뢰도값이 사용자 정의된 기준값 이상인 문의유형이 존재하는지 여부를 판단한다. 신뢰도값이 기준값 이상인 문의유형이 존재하는 경우, 그 중 신뢰도값이 가장 높은 문의유형의 문의유형 풀을 선택하고, 선택된 문의유형 풀에 포함된 후보답변과의 유사도를 계산하여 상위 N개의 확인답변들을 선택한다. 만약 신뢰도값이 기준값 이상인 문의유형이 존재하지 않는다면, 전체 모든 문의유형 풀에 포함된 후보답변과의 유사도를 계산하여 그 중 상위 N개의 확인답변들을 선택한다.
이때, 유사도 계산은 문의내용 데이터와 후보답변들 각각의 형태소에 대한 특징벡터의 근접도를 추정하는 것을 말한다. 예를 들어, 트위터 및 코모란 형태소 분석 방식을 통해 문의내용 데이터와 후보답변들 각각에 대해 형태소가 추출되면, 확인답변 선별부(222)는 추출된 모든 형태소 각각에 대해 하나의 차원을 형성하고, 형성된 차원에 문의내용 데이터와 후보답변들 각각의 형태소가 포함되는지 여부를 기준으로 특징벡터를 구성한다. 확인답변 선별부(222)는 문의내용 데이터에 대한 특징벡터와 코사인 유사도(Cosine similarity)로 근접한 후보답변들에 대한 특징벡터를 추정함으로써 유사도를 계산한다.
(2) 제 2 데이터 분석부(230)에 의한 처리 과정
도 4에 도시되지 않은 제 2 분류모델의 생성은 다음과 같은 학습 과정을 통해 수행될 수 있다. 제 2 데이터 분석부(230)에 의한 처리 과정에 있어서 제 1 데이터 분석부(220)에 의한 처리 과정에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
먼저, 제 2 데이터 분석부(230)의 제 2 분류모델 생성부(231)는 전술한 제 1 분류모델 생성부(221)와 동일하게 트위터 형태소 분석 방식과 코모란 형태소 분석 방식을 이용하여 문의내용 데이터를 형태소 단위로 분석한다. 다음으로, 제 2 분류모델 생성부(231)는 카이-제곱 통계를 이용하여 감정상태에 대한 유효 형태소들을 추출한다.
제 2 분류모델 생성부(231)는 카이-제곱 통계로 추출한 상위 형태소들을 각각 하나의 차원으로 갖는 특징벡터를 기계학습을 위한 학습 데이터로서 구성한다. 이때, 제 2 분류모델 생성부(231)는 각각의 특징벡터에 대해 이모티콘 데이터의 포함여부에 따라 가중치를 적용한다. 감정상태는 단어의 객관적 의미에 기초한 문의유형과는 달리 문자를 이용하여 표정을 형상화한 이모티콘을 통해 표현될 수 있으므로, 제 2 분류모델 생성부(231)는 이모티콘 데이터를 학습 과정에서 활용한다.
이모티콘 데이터는 데이터베이스 상에서 다음의 [표 3]과 같이 구축될 수 있다. 다만, [표 3]은 이해를 돕기 위한 하나의 예시일 뿐이며, 이에 한정되고 않고 다양하게 변형 및 설정될 수 있다.
[표 3]
Figure PCTKR2019007594-appb-img-000004
제 2 분류모델 생성부(231)는 특징벡터를 대표적인 기계학습 알고리즘 중 하나인 서포트 벡터 머신을 이용하여 제 2 분류모델을 생성한다. 제 2 분류모델은 학습되어 레이블(label)된 데이터들이 방사된 다차원의 공간에서 두 레이블 데이터 집단을 가장 잘 분리하는 평면을 의미한다. 이 평면을 기준으로 어떤 곳에 새로운 특징벡터가 위치하느냐에 따라 문의유형을 판별한다.
이와 같은 학습 과정을 통해 제 2 분류모델이 생성되면, 도 4와 같이 제 2 데이터 분석부(230)의 대응답변 선별부(232)는 문의내용 데이터를 제 2 분류모델에 입력하여 감정유형 분석을 수행한다. 예를 들어, 대응답변 선별부(232)는 입력된 데이터를 전술한 2가지 형태소 분석 방식을 이용하여 형태소 단위로 추출하고, 추출된 형태소를 벡터화한다. 대응답변 선별부(232)는 입력된 데이터의 이모티콘 포함여부를 기준으로 형태소의 벡터값에 가중치를 곱하고, 가중치가 적용된 형태소의 벡터값을 제 2 분류모델에 입력하여 감정유형 판별값(i.e. 문의유형에 대한 신뢰도값)을 추정한다.
도 4를 참조하면, 대응답변 선별부(232)는 앞선 분석을 통해 추정된 감정유형에 대한 신뢰도값 중 가장 높은 신뢰도값을 가지는 감정유형을 선택하고, 선택된 감정유형에 대한 감정유형 풀에서 임의의 N개의 대응답변을 선별한다. 이때, 대응답변 선별부(232)는 감정유형을 우호, 적대, 극적대의 3단계로 분류한다. 우호에 해당하는 감정유형 풀에는 일상적(Casual) 표현, 적대에 해당하는 감정유형 풀에는 중립적(Neutral) 표현, 극적대에 해당하는 감정유형 풀에는 공손한(Polite) 표현이 포함된다.
(3) 제 3 데이터 분석부(240)에 의한 처리 과정
도 4를 참조하면, 제 3 데이터 분석부(240)는 고객상황 데이터의 소스를 분석하여 고객의 위치 및 문의시점을 분석한다. 예를 들어, 제 3 데이터 분석부(240)는 고객상황 데이터의 소스를 분석하여 아이피정보를 획득한다. 제 3 데이터 분석부(240)는 획득된 아이피정보가 나타내는 도시의 위치 및 문의시점을 GeoIP2 등을 이용하여 파악한다.
다음으로, 제 3 데이터 분석부(240)는 고객의 위치 및 문의시점을 기준으로 오픈 API(Open Application Program Interface)를 이용하여 고객의 환경정보를 분석한다. 예를 들어, 제 3 데이터 분석부(240)는 날씨와 관련된 오픈 API를 이용하여 고객의 문의시점을 기준으로 한 도시의 날씨정보, 미세먼지정보 등을 획득한다.
도 4를 참조하면, 고객의 환경정보 분석이 완료되면, 제 3 데이터 분석부(240)는 딥러닝을 이용한 자연어 생성을 통해 감성적 답변을 생성하거나 후보답변이 저장된 데이터베이스(i.e. 감성적 답변 풀)에서 임의의 N개의 감성적 답변을 선별한다. 예를 들어, 고객의 위치 및 문의시점을 기준으로 날씨가 맑은 것으로 분석되면, 제 3 데이터 분석부(240)는 맑은 날씨에 대한 감성적 답변을 딥러닝을 이용한 자연어 생성을 통해 생성한다. 또는, 제 3 데이터 분석부(240)는 맑은 날씨에 대한 후보답변이 저장된 데이터베이스에서 임의의 N개의 감성적 답변을 선별한다.
도 5는 본 발명의 일 실시 예에 따른 답변 추천 시스템(200)의 동작 과정을 간략히 나타낸 개념도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 인터페이스 제어부(250)는, 고객의 문의정보에 대한 답변을 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분할 수 있다. 즉, 인터페이스 제어부(250)는 사용자 인터페이스를 통해 담당자단말(20) 상에서 구현되는 답변을 4가지 영역으로 구조화할 수 있다. 이때, 문의유형에 대한 확인답변은 머리말, 고객의 감정상태에 따른 대응답변은 머리말과 맺음말 및 감성적 답변은 맺음말에서 추천될 수 있다.
예를 들어, 게임 서비스와 관련하여 고객의 문의가 도 5와 같이 접수된 경우, 접수된 문의 내용 및 고객의 상황정보가 분류모델을 통해 분석될 수 있다. 문의유형은 보상, 감정유형은 적대, 고객이 위치한 도시의 날씨는 우천으로 분석되면, 문의유형(i.e. 보상)에 대한 확인답변은 사용자 인터페이스를 통해 머리말에서 추천될 수 있다. 도 5와 같이 복수개의 확인답변 중 "누적 결제 이벤트 보상이 정상 지급되지 않아서 문의하셨네요." 라는 답변이 담당자에 의해 선택되면, 해당 답변은 머리말에 표시될 수 있다.
감정유형(i.e. 적대)에 따른 대응답변은 사용자 인터페이스를 통해 머리말 및 맺음말에서 추천될 수 있다. 이때, 머리말에 추천되는 대응답변과 맺음말에서 추천되는 대응답변은 서로 구별될 수 있다. 즉, 동일한 감정유형이더라도 머리말에서 추천되는 대응답변 풀과 맺음말에서 추천되는 대응답변 풀은 분리되어 형성되며, 각각의 대응답변 풀에서 전술한 유사도 추정을 통한 선별 과정을 통해 대응답변이 별개로 선별될 수 있다.
날씨(i.e. 우천)에 기초한 감성적 답변은 문의내용과는 실질적으로 관련이 없으므로, 사용자 인터페이스를 통해 맺음말에서 추천될 수 있다. 이때, 도 5와 같이 감성적 답변에는 답변을 마무리하는 표현(ex. 감사합니다 등)이 함께 삽입되어 추천될 수 있다.
도 6 내지 도 11은 본 발명의 일 실시 예에 따른 답변 추천 시스템(200)에서 제공되는 사용자 인터페이스를 나타낸다. 이하에서는 도 6 내지 도 11을 참조하여 사용자 인터페이스를 통해 구현되는 답변 추천 및 선택 과정을 보다 구체적으로 살펴보도록 한다.
사용자 인터페이스를 통해 담당자단말(20)에서 구현되는 출력화면의 기본적인 구조는 도 6과 같다. 먼저, 담당자는 출력화면의 상단에 표시된 고객의 문의 메시지창에 형성된 "문의 분석 START" 버튼을 클릭한다. "문의 분석 START" 버튼의 클릭과 동시에 답변 추천 시스템(200)에 의한 데이터 분석이 진행되고, 분석이 완료되면 "문의 분석 START" 버튼은 "문의 분석 완료" 버튼으로 변경된다.
담당자의 버튼 클릭을 통해 문의 분석이 완료되면, 도 6과 같이 분석된 결과에 따른 추천답변들이 답변창에 자동으로 입력된다. 최초로 추천되는 답변들은 복수개의 추천답변들 중에서 답변 추천 시스템(200)에 의해 임의로 선택되어 노출된 것으로, 담당자에 의해 복수개의 추천답변들 중 다른 답변으로 변경될 수 있다.
또한, 담당자의 버튼 클릭을 통해 문의 분석이 완료되면, 감정유형, 문의유형 및 상담원이 위치한 지역의 현재 날씨를 표시하는 정보창이 우측에 노출된다. 도 7을 참조하면, 감정유형은 우호(0), 불만(1), 매우 화남(2)의 3단계로 구별되어 표시되며, 감정유형의 분석 결과는 하이라이트로 표시된다. 문의유형의 분석 결과는 유형명과 신뢰도값으로 표시되며, 신뢰도값은 바(bar)형태의 그래프와 함께 숫자로 표시된다.
도 8 내지 도 11를 참조하면, 담당자가 머리말 및 맺음말에 표시된 추천답변들을 클릭하면, 복수개의 추천답변들이 드롭 앤 다운(Drop and Down) 방식으로 노출된다. 담당자가 드롭 앤 다운 방식으로 노출된 추천답변창의 우측 상단에 형성된 "새로고침" 버튼을 클릭하면, 선택되지 않은 나머지 추천답변들은 랜덤하게 변경된다. 담당자가 새로운 추천답변을 선택하면, 선택된 추천답변으로 문장이 자동 변환된다.
도 12는 본 발명의 일 실시 예에 따른 답변 추천 방법을 나타낸 순서도이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법은, 전처리부(210)가 복수개의 채널들(10) 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 단계(S110), 제 1 데이터 분석부(220)가 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 문의정보에 대한 문의유형을 학습하고, 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 단계(S120), 제 2 데이터 분석부(230)가 문의내용 데이터에 대한 자연어 처리를 기초로 고객의 감정상태에 대한 감정유형을 학습하고, 학습된 결과를 기초로 제 2 분류모델을 생성하여 고객의 감정상태에 따른 대응답변을 선별하는 단계(S130) 및 제 3 데이터 분석부(240)가 고객상황 데이터를 분석하여 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 단계(S140)를 포함할 수 있다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법은, 인터페이스 제어부(250)가 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 단계(S150)를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 사용자 인터페이스를 제공하는 단계(S150)에서는, 인터페이스 제어부(250)가 고객의 문의정보에 대한 답변을 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고, 문의유형에 대한 확인답변은 머리말, 고객의 감정상태에 따른 대응답변은 머리말과 맺음말 및 감성적 답변은 맺음말에서 추천될 수 있다.
도 13은 본 발명의 일 실시 예에 따라 문의유형에 대한 확인답변을 선별하는 과정을 나타낸 순서도이다.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 문의유형에 대한 확인답변을 선별하는 단계(S120)는, 제 1 분류모델 생성부(221)가 카이-제곱 통계를 이용하여 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하는 단계(S210), 제 1 분류모델 생성부(221)가 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 단계(S220) 및 확인답변 선별부(222)가 제 1 분류모델을 통해 고객의 문의정보에 대한 문의유형을 판단하고, 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계(S230)를 포함할 수 있다.
도 14는 본 발명의 일 실시 예에 따라 상위 N개의 확인답변들을 선별하는 과정을 나타낸 순서도이다.
도 14를 참조하면, 본 발명의 일 실시 예에 따른 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계(S230)는, 확인답변 선별부(222)가 제 1 분류모델을 통해 고객의 문의정보에 대한 신뢰도값을 추정하는 단계(S310), 확인답변 선별부(222)가 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하는 단계(S320) 및 확인답변 선별부(222)가 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 유사도를 추정하는 단계(S330)를 포함할 수 있다.
도 15는 본 발명의 일 실시 예에 따라 고객의 감정상태에 따른 대응답변을 선별하는 과정을 나타낸 순서도이다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른 고객의 감정상태에 따른 대응답변을 선별하는 단계(S130)는, 제 2 분류모델 생성부(231)가 카이-제곱 통계를 이용하여 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하는 단계(S310), 제 2 분류모델 생성부(231)가 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하고, 이모티콘 데이터의 포함여부를 기준으로 특징벡터에 대해 가중치를 적용하여 감정유형을 학습하는 단계(S320) 및 대응답변 선별부(232)가 제 2 분류모델을 통해 고객의 문의정보에 대한 감정유형을 판단하고, 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 단계(S330)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 감성적 답변을 생성하는 단계(S140)에서는, 제 3 데이터 분석부(240)가 고객상황 데이터에 포함된 아이피정보를 기초로 고객의 위치 및 문의시점을 분석하고, 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 감성적 답변을 생성할 수 있다.
본 발명의 일 실시 예에 따른 방법과 관련하여서는 전술한 시스템(200)에 대한 내용이 적용될 수 있다. 따라서, 방법과 관련하여, 전술한 시스템(200)에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템에 있어서,
    복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 전처리부;
    상기 문의내용 데이터에 대한 자연어 처리를 기초로 상기 고객의 문의정보에 대한 문의유형을 학습하고, 상기 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 제 1 데이터 분석부;
    상기 문의내용 데이터에 대한 자연어 처리를 기초로 상기 고객의 감정상태에 대한 감정유형을 학습하고, 상기 학습된 결과를 기초로 제 2 분류모델을 생성하여 상기 고객의 감정상태에 따른 대응답변을 선별하는 제 2 데이터 분석부; 및
    상기 고객상황 데이터를 분석하여 상기 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 제 3 데이터 분석부를 포함하는 답변 추천 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 데이터 분석부는,
    카이-제곱 통계(Chi-square statistic)를 이용하여 상기 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하며, 상기 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 제 1 분류모델 생성부; 및
    상기 제 1 분류모델을 통해 상기 고객의 문의정보에 대한 문의유형을 판단하고, 상기 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 확인답변 선별부를 포함하는 것을 특징으로 하는 답변 추천 시스템.
  3. 제 2 항에 있어서,
    상기 확인답변 선별부는,
    상기 제 1 분류모델을 통해 상기 고객의 문의정보에 대한 신뢰도값을 추정하고, 상기 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하며, 상기 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 상기 유사도를 추정하는 것을 특징으로 하는 답변 추천 시스템.
  4. 제 1 항에 있어서,
    상기 제 2 데이터 분석부는,
    카이-제곱 통계(Chi-square statistic)를 이용하여 상기 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하고, 상기 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하며, 이모티콘 데이터의 포함여부를 기준으로 상기 특징벡터에 대해 가중치를 적용하여 상기 감정유형을 학습하는 제 2 분류모델 생성부; 및
    상기 제 2 분류모델을 통해 상기 고객의 문의정보에 대한 감정유형을 판단하고, 상기 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 대응답변 선별부를 포함하는 것을 특징으로 하는 답변 추천 시스템.
  5. 제 1 항에 있어서,
    상기 제 3 데이터 분석부는,
    상기 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 상기 고객의 위치 및 문의시점을 분석하고, 상기 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 상기 감성적 답변을 생성하는 것을 특징으로 하는 답변 추천 시스템.
  6. 제 1 항에 있어서,
    상기 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 인터페이스 제어부를 더 포함하는 답변 추천 시스템.
  7. 제 6 항에 있어서,
    상기 인터페이스 제어부는,
    상기 고객의 문의정보에 대한 답변을 상기 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고,
    상기 문의유형에 대한 확인답변은 상기 머리말, 상기 고객의 감정상태에 따른 대응답변은 상기 머리말과 맺음말 및 상기 감성적 답변은 상기 맺음말에서 추천되는 것을 특징으로 하는 답변 추천 시스템.
  8. 텍스트의 내용 및 감정 분석에 기반한 답변 추천 방법에 있어서,
    전처리부가 복수개의 채널들 중 적어도 하나 이상을 통해 수집된 고객의 문의정보로부터 문의내용 데이터 및 고객상황 데이터를 추출하는 단계;
    제 1 데이터 분석부가 상기 문의내용 데이터에 대한 자연어 처리를 기초로 상기 고객의 문의정보에 대한 문의유형을 학습하고, 상기 학습된 결과를 기초로 제 1 분류모델을 생성하여 문의유형에 대한 확인답변을 선별하는 단계;
    제 2 데이터 분석부가 상기 문의내용 데이터에 대한 자연어 처리를 기초로 상기 고객의 감정상태에 대한 감정유형을 학습하고, 상기 학습된 결과를 기초로 제 2 분류모델을 생성하여 상기 고객의 감정상태에 따른 대응답변을 선별하는 단계; 및
    제 3 데이터 분석부가 상기 고객상황 데이터를 분석하여 상기 고객의 위치 및 문의시점을 기준으로 하는 감성적 답변을 생성하는 단계를 포함하는 답변 추천 방법.
  9. 제 8 항에 있어서,
    상기 문의유형에 대한 확인답변을 선별하는 단계는,
    제 1 분류모델 생성부가 카이-제곱 통계(Chi-square statistic)를 이용하여 상기 문의내용 데이터의 텍스트로부터 각각의 문의유형에 대한 유효 형태소를 추출하는 단계;
    상기 제 1 분류모델 생성부가 상기 추출된 유효 형태소와 기 설정된 문의유형 별 단어사전에 포함된 단어들을 각각 하나의 차원으로 갖는 특징벡터에 대한 학습을 수행하는 단계; 및
    확인답변 선별부가 상기 제 1 분류모델을 통해 상기 고객의 문의정보에 대한 문의유형을 판단하고, 상기 판단된 결과를 기초로 문의유형 풀(Pool)에 포함된 후보답변들과의 유사도를 추정하여 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계를 포함하는 것을 특징으로 하는 답변 추천 방법.
  10. 제 9 항에 있어서,
    상기 상위 N개(N은 자연수)의 확인답변들을 선별하는 단계는,
    상기 확인답변 선별부가 상기 제 1 분류모델을 통해 상기 고객의 문의정보에 대한 신뢰도값을 추정하는 단계;
    상기 확인답변 선별부가 상기 추정된 신뢰도값과 기 설정된 기준값과의 비교를 통해 문의유형 풀을 선택하는 단계; 및
    상기 확인답변 선별부가 상기 선택된 문의유형 풀에 포함된 후보답변들을 형태소 포함여부를 기준으로 벡터화하여 상기 유사도를 추정하는 단계를 포함하는 것을 특징으로 하는 답변 추천 방법.
  11. 제 8 항에 있어서,
    상기 고객의 감정상태에 따른 대응답변을 선별하는 단계는,
    제 2 분류모델 생성부가 카이-제곱 통계(Chi-square statistic)를 이용하여 상기 문의내용 데이터의 텍스트로부터 감정상태에 대한 유효 형태소를 추출하는 단계;
    상기 제 2 분류모델 생성부가 상기 추출된 유효 형태소를 각각 하나의 차원으로 갖는 특징벡터를 생성하고, 이모티콘 데이터의 포함여부를 기준으로 상기 특징벡터에 대해 가중치를 적용하여 상기 감정유형을 학습하는 단계; 및
    대응답변 선별부가 상기 제 2 분류모델을 통해 상기 고객의 문의정보에 대한 감정유형을 판단하고, 상기 판단된 결과를 기초로 감정유형 풀(Pool)에 포함된 후보답변들 중 임의의 N개(N은 자연수)의 대응답변을 선별하는 단계를 포함하는 것을 특징으로 하는 답변 추천 방법.
  12. 제 8 항에 있어서,
    상기 감성적 답변을 생성하는 단계에서는,
    상기 제 3 데이터 분석부가 상기 고객상황 데이터에 포함된 아이피(Internet Protocol: IP)정보를 기초로 상기 고객의 위치 및 문의시점을 분석하고, 상기 고객의 위치 및 문의시점에 대한 환경정보에 기초하여 상기 감성적 답변을 생성하는 것을 특징으로 하는 답변 추천 방법.
  13. 제 8 항에 있어서,
    인터페이스 제어부가 상기 문의유형에 대한 확인답변, 고객의 감정상태에 따른 대응답변 및 감성적 답변을 추천하기 위한 사용자 인터페이스를 제공하는 단계를 더 포함하는 답변 추천 방법.
  14. 제 13 항에 있어서,
    상기 사용자 인터페이스를 제공하는 단계에서는,
    상기 인터페이스 제어부가 상기 고객의 문의정보에 대한 답변을 상기 사용자 인터페이스 상에서 인사말, 머리말, 본문 및 맺음말로 구분하고,
    상기 문의유형에 대한 확인답변은 상기 머리말, 상기 고객의 감정상태에 따른 대응답변은 상기 머리말과 맺음말 및 상기 감성적 답변은 상기 맺음말에서 추천되는 것을 특징으로 하는 답변 추천 방법.
  15. 제 8 항 내지 제 14 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2019/007594 2019-06-17 2019-06-24 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법 WO2020256204A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190071772A KR102218468B1 (ko) 2019-06-17 2019-06-17 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법
KR10-2019-0071772 2019-06-17

Publications (1)

Publication Number Publication Date
WO2020256204A1 true WO2020256204A1 (ko) 2020-12-24

Family

ID=74040212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007594 WO2020256204A1 (ko) 2019-06-17 2019-06-24 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102218468B1 (ko)
WO (1) WO2020256204A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095724A (zh) * 2021-04-30 2021-07-09 中国银行股份有限公司 一种数据处理方法及装置
CN116821287A (zh) * 2023-08-28 2023-09-29 湖南创星科技股份有限公司 基于知识图谱和大语言模型的用户心理画像系统及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102315487B1 (ko) 2020-10-31 2021-10-20 방만혁 본관과 단관이 결합되어 이루어진 복합관 및, 이 복합관의 연결구조
KR102319651B1 (ko) * 2021-02-19 2021-11-01 (주)아와소프트 사용자 페르소나 기반의 감정교류를 이용한 챗봇 서비스 제공 시스템 및 그 방법
KR102347020B1 (ko) * 2021-10-19 2022-01-04 주식회사 큐로드 인공지능 기반 특성분석을 통한 맞춤형 고객센터 솔루션 제공방법
WO2023219298A1 (ko) * 2022-05-09 2023-11-16 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102642948B1 (ko) * 2023-06-16 2024-03-04 오케스트로 주식회사 클라우드 기반의 인공지능 분류 방법을 통한 문의 관리 시스템 및 이를 포함하는 문의응답 통합 관리 플랫폼

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120087220A (ko) * 2010-11-25 2012-08-07 주식회사 케이티 온라인 고객 응대 방법 및 시스템
US20150178371A1 (en) * 2013-12-23 2015-06-25 24/7 Customer, Inc. Systems and methods for facilitating dialogue mining
KR20160060243A (ko) * 2014-11-19 2016-05-30 한국전자통신연구원 고객 응대 서비스 장치 및 방법
KR20170137419A (ko) * 2016-06-03 2017-12-13 오영재 실시간 답변 메시지 생성을 이용한 고객 상담 서비스 제공 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101851788B1 (ko) * 2017-06-23 2018-04-24 주식회사 마인드셋 텍스트 감성 분석의 감정사전 업데이트 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110017559A (ko) 2009-08-14 2011-02-22 에스케이 텔레콤주식회사 감정 분석 방법 및 장치
KR20160149488A (ko) * 2015-06-18 2016-12-28 한국전자통신연구원 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법
KR20180041372A (ko) * 2016-10-14 2018-04-24 주식회사 엘지유플러스 Ai 서버의 채팅 서비스 방법 및 이를 수행하는 ai 서버
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120087220A (ko) * 2010-11-25 2012-08-07 주식회사 케이티 온라인 고객 응대 방법 및 시스템
US20150178371A1 (en) * 2013-12-23 2015-06-25 24/7 Customer, Inc. Systems and methods for facilitating dialogue mining
KR20160060243A (ko) * 2014-11-19 2016-05-30 한국전자통신연구원 고객 응대 서비스 장치 및 방법
KR20170137419A (ko) * 2016-06-03 2017-12-13 오영재 실시간 답변 메시지 생성을 이용한 고객 상담 서비스 제공 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101851788B1 (ko) * 2017-06-23 2018-04-24 주식회사 마인드셋 텍스트 감성 분석의 감정사전 업데이트 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095724A (zh) * 2021-04-30 2021-07-09 中国银行股份有限公司 一种数据处理方法及装置
CN113095724B (zh) * 2021-04-30 2024-03-01 中国银行股份有限公司 一种数据处理方法及装置
CN116821287A (zh) * 2023-08-28 2023-09-29 湖南创星科技股份有限公司 基于知识图谱和大语言模型的用户心理画像系统及方法
CN116821287B (zh) * 2023-08-28 2023-11-17 湖南创星科技股份有限公司 基于知识图谱和大语言模型的用户心理画像系统及方法

Also Published As

Publication number Publication date
KR20200143991A (ko) 2020-12-28
KR102218468B1 (ko) 2021-02-22

Similar Documents

Publication Publication Date Title
WO2020256204A1 (ko) 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법
CN107680019B (zh) 一种考试方案的实现方法、装置、设备及存储介质
Akhtar et al. The potential of chatbots: analysis of chatbot conversations
CN105095288B (zh) 数据分析方法及数据分析装置
WO2010036013A2 (ko) 웹 문서에서의 의견 추출 및 분석 장치 및 그 방법
WO2012134180A2 (ko) 문장에 내재한 감정 분석을 위한 감정 분류 방법 및 컨텍스트 정보를 이용한 다중 문장으로부터의 감정 분류 방법
WO2021141419A1 (en) Method and apparatus for generating customized content based on user intent
CN113505586A (zh) 一种融合语义分类与知识图谱的坐席辅助问答方法与系统
CN107679070B (zh) 一种智能阅读推荐方法与装置、电子设备
WO2019093599A1 (ko) 사용자 관심 정보 생성 장치 및 그 방법
WO2019125054A1 (en) Method for content search and electronic device therefor
CN110019703B (zh) 数据标记方法及装置、智能问答方法及系统
WO2019125082A1 (en) Device and method for recommending contact information
Zhao et al. Sentiment analysis on the online reviews based on hidden Markov model
EP3652925A1 (en) Device and method for recommending contact information
WO2020111827A1 (ko) 프로필 자동생성서버 및 방법
US20240037422A1 (en) Method for constructing a user interface knowledge base, and corresponding computer program product, storage medium and computing machine
CN114783421A (zh) 智能推荐方法和装置、设备、介质
US11134045B2 (en) Message sorting system, message sorting method, and program
CN114240250A (zh) 一种职业评测的智能管理方法及系统
CN114186041A (zh) 一种答案输出方法
WO2020122339A1 (ko) 전자 장치 및 그의 제어 방법
Hafaiedh et al. AdRobot: A smart segmentation application for automated & personalized marketing campaigns
Salminen et al. Manual and automatic methods for user needs detection in requirements engineering: Key Concepts and challenges
WO2023095629A1 (ja) 対話管理装置、対話管理システム及び対話管理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933356

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933356

Country of ref document: EP

Kind code of ref document: A1