WO2023162009A1 - 感情情報活用装置、感情情報活用方法及びプログラム - Google Patents

感情情報活用装置、感情情報活用方法及びプログラム Download PDF

Info

Publication number
WO2023162009A1
WO2023162009A1 PCT/JP2022/007270 JP2022007270W WO2023162009A1 WO 2023162009 A1 WO2023162009 A1 WO 2023162009A1 JP 2022007270 W JP2022007270 W JP 2022007270W WO 2023162009 A1 WO2023162009 A1 WO 2023162009A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
call
emotion
emotional
search
Prior art date
Application number
PCT/JP2022/007270
Other languages
English (en)
French (fr)
Inventor
一比良 松井
俊彦 田中
健一 町田
Original Assignee
Ｎｔｔテクノクロス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｔｔテクノクロス株式会社 filed Critical Ｎｔｔテクノクロス株式会社
Priority to PCT/JP2022/007270 priority Critical patent/WO2023162009A1/ja
Publication of WO2023162009A1 publication Critical patent/WO2023162009A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying

Definitions

  • the present invention relates to an emotion information utilization device, an emotion information utilization method, and a program.
  • Patent Document 1 Techniques for estimating a speaker's emotion from voice or text have been known for some time (for example, Patent Document 1), and are used in contact centers (also called call centers) for operator evaluation and response support. .
  • emotional information it was not possible to fully utilize the estimation result of emotions (hereinafter also referred to as emotional information).
  • An embodiment of the present invention has been made in view of the above points, and aims to utilize emotional information.
  • an emotional information utilization apparatus includes a database storing call information including emotional information representing a speaker's emotion at least for each predetermined segment, and extracting the segment from the database. and a search unit that searches for the call information based on a search condition that includes at least the emotion information.
  • a contact center system 1 that can be used for the following will be described.
  • the contact center is only one example, and in addition to the contact center, for example, the target is an office, etc., where the emotion of the person working there is estimated during a call, and the emotion information that is the estimation result is collected. It can also be applied in the same way when it is utilized for telephone response support, analysis/improvement of telephone response quality, and the like.
  • the contact center system 1 that implements the following (1) to (3) will be described below.
  • the above (1) for example, it is possible to analyze the quality of response with higher accuracy and to improve the quality of response more effectively.
  • the above (2) it becomes possible to assist the operator's response more effectively.
  • the above (3) makes it possible to easily interpret the evaluation results when a certain call is evaluated.
  • FIG. 1 shows an example of the overall configuration of a contact center system 1 according to this embodiment.
  • the contact center system 1 includes an emotion information utilization device 10, one or more operator terminals 20, one or more supervisor terminals 30, and one or more analyst terminals 40.
  • a PBX (Private branch exchange) 50 and a customer terminal 60 are included.
  • the emotion information utilization device 10, the operator terminal 20, the supervisor terminal 30, the analyst terminal 40, and the PBX 50 are installed in a contact center environment E, which is the system environment of the contact center.
  • the contact center environment E is not limited to the system environment in the same building, and may be, for example, system environments in a plurality of geographically separated buildings.
  • the emotion information utilization device 10 converts a voice call between a customer and an operator into text in real time by speech recognition, estimates the emotion of the customer and the operator, and uses the estimated emotion information to support the operator's response. Use for quality analysis/improvement, call evaluation, etc.
  • the emotion information utilization device 10 displays various screens (for example, a call search screen, a search result screen, a response support screen, an operator monitoring screen, etc., which will be described later) for performing response support and analysis/improvement of response quality. It is provided to the operator terminal 20, the supervisor terminal 30, or the analyst terminal 40.
  • the operator terminal 20 is various terminals such as a PC (personal computer) used by an operator, and functions as an IP (Internet Protocol) telephone. For example, the operator terminal 20 displays a response support screen during a call with a customer.
  • PC personal computer
  • IP Internet Protocol
  • the supervisor terminal 30 is various terminals such as a PC (personal computer) used by the supervisor.
  • the supervisor terminal 30 can search for past calls on the call search screen and display the search results on the search result screen.
  • the supervisor terminal 30 can display an operator monitoring screen for monitoring the call in the background while the operator is talking with the customer.
  • the supervisor is a person who monitors the operator's telephone call and supports the operator's telephone answering work when a problem is likely to occur or upon request from the operator. Generally, a single supervisor monitors calls of several to a dozen operators.
  • the analyst terminal 40 is various terminals such as a PC (personal computer) used by an analyst who analyzes and improves the response quality.
  • the analyst terminal 40 can search for past calls on the call search screen and display the search results on the search result screen.
  • a supervisor may also serve as an analyst, and in this case, the supervisor terminal 30 also functions as the analyst terminal 40 .
  • the PBX 50 is a telephone exchange (IP-PBX) and is connected to a communication network 70 including a VoIP (Voice over Internet Protocol) network and a PSTN (Public Switched Telephone Network).
  • IP-PBX telephone exchange
  • VoIP Voice over Internet Protocol
  • PSTN Public Switched Telephone Network
  • the customer terminals 60 are various terminals such as smart phones, mobile phones, and landline phones used by customers.
  • the overall configuration of the contact center system 1 shown in FIG. 1 is an example, and other configurations may be used.
  • the emotion information utilization device 10 is included in the contact center environment E in the example shown in FIG. function may be realized by a cloud service or the like.
  • the PBX 50 is an on-premise telephone exchange, but may be realized by a cloud service.
  • FIG. 2 shows the functional configuration of the emotion information utilization device 10 according to this embodiment.
  • the emotion information utilization device 10 has a speech recognition text conversion unit 101, an emotion estimation unit 102, a UI provision unit 103, a search unit 104, and an evaluation unit 105.
  • These units are implemented by, for example, one or more programs installed in the emotion information utilization device 10 causing a processor such as a CPU (Central Processing Unit) to execute processing.
  • a processor such as a CPU (Central Processing Unit) to execute processing.
  • CPU Central Processing Unit
  • the emotion information utilization device 10 also has a call information DB 106 .
  • the DB (database) is implemented by, for example, an auxiliary storage device such as a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the DB may be implemented by, for example, a database server or the like connected to the emotion information utilization apparatus 10 via a communication network.
  • the voice recognition text conversion unit 101 converts the voice call between the operator terminal 20 and the customer terminal 60 into text by voice recognition. At this time, the speech recognition text conversion unit 101 performs speech recognition for each speaker and converts the speech into text. As a result, the operator's voice and the customer's voice are each converted into text.
  • speech recognition text the text obtained by speech recognition is also referred to as "speech recognition text".
  • the emotion estimation unit 102 estimates the speaker's emotion information for each predetermined segment during a voice call between the operator terminal 20 and the customer terminal 60 .
  • Emotional information is information representing the result of estimating the speaker's emotions. ”, “Joy”, and the like. However, this is only an example, and the emotion may be classified in a wider range such as "positive” or “negative”, or may be classified in any other manner. Also, definitions of emotion categories may be added, changed, or deleted by, for example, a user or the like.
  • the emotion estimating unit 102 may, for example, estimate the speaker's emotional information for each utterance or estimate the speaker's emotional information for the entire call. You can The emotion estimating unit 102 may estimate the speaker's emotional information using, for example, an emotion estimation model using a known deep learning technique or the like. At this time, the emotion estimation unit 102 may estimate emotion information from the voice during voice communication between the operator terminal 20 and the customer terminal 60, or may estimate the emotion information from the voice recognition text obtained by the voice recognition text conversion unit 101. Emotional information may be inferred.
  • the emotion estimation unit 102 may construct an emotion estimation model for estimating emotion information for each segment, and estimate the emotion information for each segment using this emotion estimation model. Then, construct an emotion estimation model that estimates the emotion information for each utterance. After estimating the emotion information for each utterance using this emotion estimation model, divide the utterances by taking the average of the emotion information contained in each segment. You may estimate the emotional information for each.
  • the emotion estimating unit 102 estimates the speaker's emotional information for each segment shown in any of (A) to (B) below.
  • (A) Temporal Delimitation For example, after obtaining the average of general call duration, it is divided into three parts, namely "beginning", “middle”, and “end”. Then, the emotional information of the speaker is estimated for each of the "initial stage", the “middle stage", and the "final stage”. Specifically, for example, if the average call time is "3 minutes”, the call start (0:00) to 1:00 is “early”, and 1:01 to 2:00 is “ The middle stage”, and the period from 2:01 to the end of the call is the "end stage".
  • the customer's emotional information and the operator's emotional information from the start of the call to 1:00, the customer's emotional information and the operator's emotional information from 1:01 to 2:00, and the call from 2:01 to the end of the call.
  • the emotional information of the customer and the emotional information of the operator are estimated respectively.
  • dividing into ⁇ beginning'', ⁇ middle'', and ⁇ end'' is just an example, and the ⁇ first half'' and ⁇ second half'' may be divided into two divisions, or even finer divisions of four or more divisions may be used.
  • a scene is a scene of a topic in a call between an operator and a customer.
  • Scenes include, for example, "Opening” representing the scene of the first greeting, "Item Confirmation” representing the scene of confirming the customer's request, and "Product Description” representing the scene of explaining the product. , "Status Confirmation”, which indicates the scene of confirming the customer's situation; It should be noted that the scene can be specified, for example, from speech recognition text or the like using a known technique.
  • a call event is, for example, an event such as hold, transfer, occurrence of silence for a predetermined length, or the like.
  • a call event is, for example, an event such as hold, transfer, occurrence of silence for a predetermined length, or the like.
  • one segment is from the start of the call to the transfer, and one segment is from the transfer to the end of the call.
  • Emotion information is estimated respectively.
  • a transfer occurs once in a certain call and then a hold occurs once, there is one break from the start of the call to the transfer, one break from the transfer to the hold, and one break from the hold to the call.
  • the customer's emotion information and the operator's emotion information are estimated at each segment, with each segment extending until the end.
  • the UI providing unit 103 transmits display information for displaying various screens (for example, a call search screen, a search result screen, a response support screen, an operator monitoring screen, etc.) to the operator terminal 20, the supervisor terminal 30, or the analyst terminal 40. do.
  • various screens for example, a call search screen, a search result screen, a response support screen, an operator monitoring screen, etc.
  • the search unit 104 When the search unit 104 receives a search request including search conditions specified on the call search screen, the search unit 104 searches for call information from the call information DB 106 using these search conditions. Further, the search unit 104 converts search results including call information retrieved from the call information DB 106 into the sender of the search request.
  • the evaluation unit 105 creates an evaluation model from emotional information of a call that has been manually evaluated in advance, and uses this evaluation model to evaluate the call to be evaluated.
  • the call information DB 106 stores call information of past calls.
  • the call information includes, for example, a call ID that uniquely identifies the call, the date and time of the call, the duration of the call, an operator ID that uniquely identifies the operator who answered the call, the operator name, the extension number of the operator, Information such as the customer's phone number, the speech recognition text of the call, each segment of the call and emotional information for each segment is included.
  • the speaker's emotional information for each utterance may be included, or the speaker's emotional information for the entire call may be included.
  • Information representing call reasons may also be included.
  • the call reason also known as the call purpose, is the reason the customer is calling.
  • a single call may have multiple call reasons, and in this case, the call information includes information representing each of the multiple call reasons.
  • the call information is created for each call between the customer and the operator and stored in the call information DB 106.
  • the search unit 104 receives a search request from the supervisor terminal 30 or the analyst terminal 40 (step S101).
  • the search request is sent to the emotion information utilization device 10 by specifying search conditions on the call search screen displayed on the supervisor terminal 30 or the analyst terminal 40 and pressing a search button.
  • search unit 104 searches for call information from the call information DB 106 using the search conditions included in the search request received in step S101 (step S102).
  • search conditions include, for example, divisions and emotion information at the divisions. This makes it possible to retrieve calls in which certain emotions are estimated at certain intervals.
  • the search unit 104 transmits search results including the call information searched in step S102 to the supervisor terminal 30 or the analyst terminal 40 that sent the search request (step S103).
  • the search unit 104 does not retrieve the call information itself, but part of the information contained in the call information (for example, call ID, call duration, operator ID, operator name, each segment and emotion information for each segment, etc.). You may send search results that are
  • ⁇ Example of call search screen and search result screen (Part 1) ⁇ 4 and 5 show an example of a call search screen and a search result screen when the emotional information of the entire call and the emotional information of each section (A) are estimated.
  • These call search screens and search result screens are displayed by the supervisor terminal 30 or the analyst based on display information (display information on the call search screen, display information on the search result screen) created and transmitted by the UI providing unit 103. Displayed on the terminal 40 .
  • temporal delimiters in the example shown in FIG. 4, "beginning", “middle”, and “end" can be selected and designated as search conditions.
  • the customer's emotions in the divisions designated in the division designation field 1001 ("satisfied”, “unsatisfied”, “anger”, “normal”, “anxiety”, “Doubt”, “Consent") can be selected and specified.
  • a search button 1003 is a button for sending a search request.
  • a supervisor or an analyst presses a search button 1003 after specifying a delimiter and an emotion in a delimiter specification field 1001 and an emotion specification field 1002, respectively.
  • the supervisor terminal 30 or the analyst terminal 40 sends a search request including the delimiters and emotions specified in the delimiter specification field 1001 and the emotion specification field 1002 as search conditions to the emotion information utilization device 10 .
  • the customer's emotion is specified in the emotion specification field 1002.
  • a separate column for specifying the speaker may be provided and the emotion specification field may be used.
  • the emotion of the speaker may be specified.
  • the emotion designation column 1002 for example, "positive” and “negative” may be designated.
  • it may be possible to specify multiple sets of time divisions and emotions in those divisions for example, (“early stage”, “anger") and ("final stage", "satisfaction")). may be able to.).
  • emotions changed at multiple time intervals e.g., emotions changed between “middle” and “end”
  • the same emotion continued at multiple time intervals e.g., It may also be possible to specify a search condition such as the fact that the same emotion continued from the “start” to the “end”.
  • search result screen 1100 shown in FIG. 5 includes search result columns 1110 and 1120 in which the contents of call information included in the search result are displayed.
  • the search result columns 1110 and 1120 display the date and time of the call, the duration of the call, the operator's name, the operator's extension number, and the customer's telephone number, respectively.
  • Search result columns 1110 and 1120 also include emotion estimation result columns 1111 and 1121, respectively.
  • an icon representing the customer's emotion information for the entire call is displayed, and three divisions ("beginning", “middle”, “end") are displayed in parentheses. ), an icon representing the customer's emotional information is displayed.
  • the customer's emotional information for the entire call is "anger”
  • the customer's emotional information in the "initial stage” is "satisfied”
  • the customer's emotional information in the "middle stage” is "normal”
  • the customer's emotional information in the "end stage” is "normal”.
  • the emotional information of is “anger”, and represents that the customer's emotion changes from “satisfied” to "normal” to “anger”.
  • an icon representing the emotional information of the customer for the entire call is displayed, and is separated into three brackets (“beginning”, “middle”, “Last stage"), an icon representing the customer's emotional information is displayed.
  • the customer's emotional information for the entire call is "satisfied”
  • the customer's emotional information for the "initial stage” is "normal”
  • the customer's emotional information for the "middle stage” is “satisfied”
  • the customer's emotional information for the "end stage” is "satisfied”.
  • is "satisfied” indicates that the customer's emotion has changed from "normal” to "satisfied” to "satisfied”.
  • search result column 1110 or the search result column 1120 is selected, more detailed content of the call information corresponding to the selected search result column is displayed.
  • supervisors and analysts can search for past calls that match the search conditions by using time divisions and emotions (particularly customer emotions) at those divisions as search conditions.
  • This makes it possible to extract calls, etc. in which the customer is angry at a certain time segment (for example, the end of the call), for example, planning measures to improve such calls, It can be used for operator education and the like.
  • the emotional information in the whole call or the break before the latest break is displayed.
  • specific conditions for example, the customer's emotional information in the latest section is "negative" or a specific emotion, the emotional information other than negative has changed to negative, the negative or specific emotion is Continuing with a certain plurality of breaks, and having a specific emotion at a break representing a specific scene.
  • a supervisor, an analyst, or the like may be able to designate specific scenes or specific emotions.
  • the call is regarded as having no problem and the transition of emotional information is omitted, reducing the amount of information and reducing the confirmation burden on supervisors and analysts.
  • supervisors and analysts can more easily confirm calls that require attention.
  • the above specific conditions are conditions for omitting part of the display for calls with no problems, but conversely, if you want to omit part of the display for calls other than good calls, For example, a change from non-positive emotion information to a positive one, positive or a specific emotion continuing in a certain number of segments, or the like may be specified conditions.
  • ⁇ Example of call search screen and search result screen (Part 2) ⁇ 6 and 7 show an example of a call search screen and a search result screen when emotional information is estimated for each segment of (B) above.
  • These call search screens and search result screens are displayed by the supervisor terminal 30 or the analyst based on display information (display information on the call search screen, display information on the search result screen) created and transmitted by the UI providing unit 103. Displayed on the terminal 40 .
  • scenes in the example shown in FIG. 6, "opening”, “item confirmation”, “product description”, “situation hearing”, “personal identification”, and “closing”
  • the customer's emotions in the example shown in FIG. 6, “satisfied”, “unsatisfied”, “angry”, “normal”, “ “Anxiety”, “Doubt”, “Consent”
  • a search button 2003 is a button for sending a search request.
  • a search request including the scene (delimiter) and the emotion specified in the delimiter designation field 2001 and the emotion designation field 2002 as search conditions is transmitted from the supervisor terminal 30 or the analyst terminal 40 to the emotion information utilization device 10. be.
  • the emotions of the customer are specified in the emotion specification field 2002.
  • a column for specifying the speaker may be separately provided and the emotion specification field In 2002, the emotion of the speaker may be specified.
  • search result screen 2100 shown in FIG. 7 includes search result columns 2110 and 2120 in which the contents of call information included in the search result are displayed.
  • the search result columns 2110 and 2120 display the date and time of the call, the duration of the call, the operator's name, the operator's extension number, and the customer's phone number, respectively.
  • Search result columns 2110 and 2120 also include emotion estimation result columns 2111 and 2121, respectively.
  • buttons representing the customer's emotional information in each scene of the call are displayed.
  • the customer's emotional information is "normal” in “opening”
  • the customer's emotional information is "unsatisfactory” in "understanding the business”
  • the customer's emotional information is "normal” in "personal identification”.
  • the customer's emotional information in "product description” is “questionable”
  • the customer's emotional information in "closing” is "normal".
  • buttons representing the customer's emotional information in each scene of the call are displayed.
  • the customer's emotional information is "normal” in “opening”
  • the customer's emotional information is "normal” in "business understanding”
  • the customer's emotional information is "satisfied”
  • the customer's emotional information in "Closing” represents "satisfaction”.
  • search result column 2110 or the search result column 2120 When the search result column 2110 or the search result column 2120 is selected, more detailed contents of the call information corresponding to the selected search result column are displayed.
  • the talk script is, for example, a manual (or a script) in which the contents to be spoken by the operator for each scene are described.
  • ⁇ Response support> In order to support the operator's response during a call with the customer, emotion information is utilized to display the customer's emotion on the operator terminal 20 in real time, or to display the customer's emotion on the supervisor terminal 30 of the supervisor monitoring the operator. A case of displaying in real time will be explained.
  • the response support processing will be described below with reference to FIG. It should be noted that the following response support processing is repeatedly executed at predetermined intervals (for example, at intervals of several seconds) during a call between the customer and the operator.
  • the UI provision unit 103 receives the speech recognition text obtained by the speech recognition text conversion unit 101 from a predetermined time ago to the present and the emotion information estimated by the emotion estimation unit 102 (step S201). It is assumed that the emotion estimation unit 102 estimates the speaker's emotion information for each utterance and also estimates the speaker's emotion information for each segment.
  • the UI providing unit 103 creates display information (display information of the response support screen, display information of the operator monitoring screen, or both) including the speech recognition text and emotion information received in step S201.
  • this display information may be the display information of the response support screen or the operator monitoring screen itself, or if the response support screen or the operator monitoring screen is already displayed on the operator terminal 20 or the supervisor terminal 30, that information may be displayed on the operator terminal 20 or supervisor terminal 30. Display information representing the difference may be used. Further, the display information may include information displayed in an advice display column of a response support screen, which will be described later, information for notifying an alert on an operator monitoring screen, and the like.
  • the UI providing unit 103 then transmits the display information created in step S202 to the operator terminal 20 and the supervisor terminal 30 (step S203).
  • ⁇ Response support screen An example of the response support screen displayed on the operator terminal 20 of a certain operator is shown in FIG. This response support screen is displayed on the operator terminal 20 based on the display information (display information of the response support screen) created and transmitted by the UI providing unit 103 .
  • the response support screen 3000 shown in FIG. 9 includes a current emotion display field 3010, a history display field 3020, and an advice display field 3030.
  • the current emotion display column 3010 displays the customer's current emotion information ("doubt" in the example shown in FIG. 9).
  • the current emotion display column 3010 may display, for example, the customer's emotion information in the scene immediately before the current scene (that is, the immediately preceding scene).
  • the history display field 3020 displays the customer's and operator's utterance timings from the start of the call to the present and emotional information for each scene (delimitation).
  • the customer's emotion in “opening” is “anger”
  • the customer's environment in “understanding of business” is “anger”
  • the current scene is “description of product”.
  • a display component representing "speech is present” is displayed at the timing of speech. Note that, for example, by superimposing a mouse cursor or the like on the display component, the speech recognition text or the like corresponding to the display component may be displayed.
  • the advice display column 3030 displays the current scene, information for supporting the operator, and the like. In the example shown in FIG. 9, it is displayed that the current scene is "description of goods” and that the current scene has many "questions" about the customer's feelings and should be explained in an easy-to-understand manner.
  • the operator can confirm the current customer's emotions and the customer's emotions for each segment in real time.
  • information for supporting the operator can be checked in real time according to the customer's feelings. Therefore, the operator can appropriately respond to the customer.
  • the operator can, for example, detect false declarations by customers.
  • the emotion information utilization device 10 detects or estimates that there is a high possibility of such a false declaration, and information indicating the detection or estimation result is transmitted to the operator terminal 20 and displayed in the advice display column of the response support screen. may be displayed.
  • advice may be selected and displayed in the advice display field of the response support screen based on the emotional information of the customer or operator at the current or previous segment.
  • the advice displayed in the advice display column may be selected from those prepared in advance according to, for example, changes in the scene or emotional information, or may be based on the best practices of other excellent operators in the same situation. may be selected, or advice that meets the conditions may be selected according to conditions such as scenes and emotional information.
  • Information in the entire call or in the segment before the latest segment may be displayed.
  • FIG. 1 An example of an operator monitoring screen displayed on a certain supervisor's supervisor terminal 30 is shown in FIG. This operator monitoring screen is displayed on the supervisor terminal 30 based on display information (display information of the operator monitoring screen) created and transmitted by the UI providing unit 103 .
  • the operator monitoring screen 3100 shown in FIG. 10 includes call content columns 3110 to 3130 that display the call content of the operator monitored by the supervisor. Further, the extension number, call duration, operator name, etc. are displayed in each of the call contents columns 3110 to 3130, respectively. Further, each of the call contents columns 3110-3130 includes current scene columns 3111-3131 and current emotion columns 3112-3132, respectively.
  • the call content field 3110 includes a current scene field 3111 and a current emotion field 3112.
  • the current scene field 3111 displays an icon representing "understanding the business” and the current emotion field 3112 displays an icon representing "satisfaction”. It is This indicates that the current scene of the call monitored in the call content field 3110 is "understanding the business" and the customer's current emotion is "satisfied”.
  • the call content column 3120 includes a current scene column 3121 and a current emotion column 3122.
  • the current scene column 3121 contains an icon representing "identity verification” and the current emotion column 3122 contains an icon representing "doubt”. is displayed. This indicates that the current scene of the call monitored in the call content column 3120 is "personal identification" and the customer's current emotion is "question”.
  • the call content column 3130 includes a current scene column 3131 and a current emotion column 3132.
  • the current scene column 3131 has an icon representing "opening” and the current emotion column 3132 has an icon representing "anger.” is displayed. This indicates that the current scene of the call monitored in the call content column 3130 is "opening" and the customer's current emotion is "anger".
  • call content columns 3110 to 3130 When any of the call content columns 3110 to 3130 is selected, more detailed content of the call corresponding to the selected call content column (for example, voice recognition text of the call, etc.) is displayed.
  • the supervisor can monitor, in real time, the current scene (break) of the operator's call, the current emotion of the customer, etc. For this reason, the supervisor can, for example, identify a call that is likely to lead to complaints from the customer's feelings, and intervene in the call to assist the operator of the call.
  • the supervisor may be notified of some information by any method based on the transition of the customer's emotional information.
  • an alert for example, an alert by blinking, outputting sound, etc.
  • an alert may be notified on the operator monitoring screen.
  • an alert may be notified when the customer's emotion changes from other than "anger” to "anger.”
  • an alert may be notified when the customer's emotion is "anger” in a specific scene (for example, "personal identification", etc.).
  • the emotion information utilization apparatus 10 may determine whether or not notification of such an alert is necessary, and information representing the determination result or the like may be transmitted to the supervisor terminal 30 .
  • ⁇ Call evaluation> In order to facilitate interpretation when evaluating a certain call, a case will be described in which past calls are modeled using emotional information, and the call to be evaluated is evaluated using the model. The call evaluation process will be described below with reference to FIG. Note that the following steps S301 and S302 are processes performed in advance, and step S303 is a process performed for each call to be evaluated.
  • the evaluation unit 105 acquires evaluated call information from the call information DB 106 (step S301).
  • the evaluated call information is the call information that has been manually evaluated in advance among the call information stored in the call information DB 106 .
  • the evaluated call information of a call that is manually evaluated as good call will be referred to as "good call information”.
  • good call information Various viewpoints can be considered for evaluating whether a certain call is excellent or not. It is conceivable to evaluate "a call that was highly recommended and led to a contract" as an excellent call. However, these are only examples, and the present invention is not limited to these. A call that serves as a model for other operators from some point of view can be evaluated as a good call.
  • the evaluation unit 105 uses the evaluated call information acquired in step S301 to create an evaluation model by a known clustering method, a known machine learning method, or the like (step S302).
  • the evaluation unit 105 evaluates the call information of the evaluation target call using the evaluation model created in step S303 (step S303).
  • k 1,..., Kn ⁇ .
  • Kn is the number of utterances contained in the nth evaluated call information xn .
  • the emotion information e nk may be, for example, categorical values representing emotions such as “anger”, “satisfaction”, and “dissatisfied”, or the probability or likelihood of these emotions being elements. It may be a vector or an array.
  • the evaluated call information is divided for each call reason and represented as described above. For example, if the n-th evaluated call information xn includes two call reasons rn and r'n , evaluate the evaluated call information xn as ⁇ r n , ⁇ (e nk , p nk , t nk )
  • k 1,..., K'n ⁇ and ⁇ r'n , ⁇ ( enk , pnk , tnk )
  • k 1 , .
  • Completed call information x N+1 ⁇ r N+1 , ⁇ (e N+1, k , p N+1, k , t N+1, k )
  • k 1 , .
  • the number of evaluated call information items is represented by N, assuming that the evaluated call information items including multiple call reasons have been divided as described above.
  • ⁇ Learning data used to create an evaluation model Any one of the following (a) to (d) is used as learning data.
  • a clustering method for variable-length sequences is used.
  • clusters are constructed from the learning data, and these clusters serve as evaluation models.
  • k 1, . k , p k )
  • k 1, . and
  • ⁇ Evaluation method If the distance from the center of gravity of any cluster is small (for example, if the distance is less than a predetermined threshold), the call to be evaluated is evaluated as a good call, and if not, the call to be evaluated is good. Evaluate as not a call. Also, depending on which cluster's distance to the center of gravity is small, what kind of good call is the call to be evaluated? "Is the product or service recommended very well and the call led to a contract?", etc.).
  • the evaluated call information includes excellent call information, call information of calls evaluated as not bad (hereinafter referred to as normal call information), and calls that are evaluated as calls requiring improvement. It is assumed that the call information of the call (hereinafter referred to as call information requiring improvement) has been acquired. However, it is not always necessary to acquire the three types of good call information, normal call information, and call information requiring improvement. Only the information needs to be acquired, and on the other hand, if it is desired to evaluate whether or not the call to be evaluated is the call requiring improvement, only the normal call information and the call requiring improvement information need to be acquired.
  • ⁇ Learning data used to create an evaluation model Any one of the above (a) to (d) is used as learning data. It is assumed that these learning data are provided with information indicating which of the "excellent call”, “ordinary call”, and “improvement call” is evaluated as teacher data.
  • a classification model that classifies into three classes of "excellent call”, "ordinary call”, or “improvement call” is constructed by supervised learning as an evaluation model using a machine learning technique. For example, if you want to evaluate whether or not a call to be evaluated is a good call, you can build a classification model that classifies it into two classes, "good call” or "ordinary call” (other than good call), as an evaluation model. On the other hand, if you want to evaluate whether or not the call to be evaluated is a call requiring improvement, you can construct a classification model that classifies the call into two classes, "ordinary call” or "call requiring improvement", as an evaluation model. .
  • the interpretation result can be used for various analyzes (for example, analysis for improving the quality of response), and can be used for operator evaluation. (for example, awarding an excellent operator).

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一実施形態に係る感情情報活用装置は、少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報が格納されたデータベースと、前記データベースから、前記区切りと前記感情情報とが少なくとも含まれる検索条件により前記通話情報を検索する検索部と、を有する。

Description

感情情報活用装置、感情情報活用方法及びプログラム
　本発明は、感情情報活用装置、感情情報活用方法及びプログラムに関する。
　音声やテキストから話者の感情を推定する技術が従来から知られており（例えば、特許文献１）、コンタクトセンタ（又は、コールセンタとも呼ばれる。）におけるオペレータの評価や応対支援等に用いられている。
特開２０１２－１１３５４２号公報
　しかしながら、従来では、感情の推定結果（以下、感情情報ともいう。）を十分に活用することができていなかった。
　例えば、従来では、通話全体や発話毎の話者の感情情報を推定することはできる一方で、オペレータの応対支援や顧客に対する応対品質の分析・改善等を行う際に重要となる或るひとまとまりの区切り単位で話者の感情情報を推定することができなかった。このため、オペレータの応対支援や顧客に対する応対品質の分析・改善等のために感情情報を十分に活用することができていなかった。
　また、例えば、従来では、或る通話を評価したい場合、その通話の良し悪しを感情情報から解釈することが困難であった。このため、通話評価のために感情情報を十分に活用することができていなかった。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、感情情報を活用することを目的とする。
　上記目的を達成するため、一実施形態に係る感情情報活用装置は、少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報が格納されたデータベースと、前記データベースから、前記区切りと前記感情情報とが少なくとも含まれる検索条件により前記通話情報を検索する検索部と、を有する。
　感情情報を活用することができる。
本実施形態に係るコンタクトセンタシステムの全体構成の一例を示す図である。 本実施形態に係る感情情報活用装置の機能構成の一例を示す図である。 本実施形態に係る通話検索処理の一例を示すフローチャートである。 通話検索画面（その１）の一例を示す図である。 検索結果画面（その１）の一例を示す図である。 通話検索画面（その２）の一例を示す図である。 検索結果画面（その２）の一例を示す図である。 本実施形態に係る応対支援処理の一例を示すフローチャートである。 応対支援画面の一例を示す図である。 オペレータ監視画面の一例を示す図である。 本実施形態に係る通話評価処理の一例を示すフローチャートである。
　以下、本発明の一実施形態について説明する。本実施形態では、コンタクトセンタを対象として、通話中の２者（オペレータ及び顧客）の感情を推定し、その推定結果である感情情報をオペレータの応対支援や応対品質の分析・改善、通話評価等に活用することが可能なコンタクトセンタシステム１について説明する。
　なお、コンタクトセンタを対象とすることは一例であって、コンタクトセンタ以外にも、例えば、オフィス等を対象として、そこで勤務する者の通話中の感情を推定し、その推定結果である感情情報を電話応対支援や電話応対品質の分析・改善等に活用する場合にも同様に適用することが可能である。
　以下では、次の（１）～（３）を実現するコンタクトセンタシステム１について説明する。
　（１）或るひとまとまりの区切り単位で話者の感情情報を推定し、顧客に対する応対品質の分析・改善等にその感情情報を活用する。
　（２）或るひとまとまりの区切り単位で話者の感情情報を推定し、通話中におけるオペレータの応対支援にその感情情報を活用する。
　（３）過去の通話の感情情報から通話をモデル化し、或る通話を評価する際の解釈にその通話の感情情報を活用する。
　上記の（１）により、例えば、より精度の良い応対品質の分析を行ったり、より効果的な応対品質の改善を図ったりすることが可能となる。上記の（２）により、より効果的にオペレータの応対を支援することが可能となる。上記の（３）により、或る通話を評価した場合にその評価結果を容易に解釈することが可能となる。
　＜コンタクトセンタシステム１の全体構成＞
　本実施形態に係るコンタクトセンタシステム１の全体構成例を図１に示す。図１に示すように、本実施形態に係るコンタクトセンタシステム１には、感情情報活用装置１０と、１以上のオペレータ端末２０と、１以上のスーパバイザ端末３０と、１以上の分析者端末４０と、ＰＢＸ（Private branch exchange）５０と、顧客端末６０とが含まれる。ここで、感情情報活用装置１０、オペレータ端末２０、スーパバイザ端末３０、分析者端末４０及びＰＢＸ５０は、コンタクトセンタのシステム環境であるコンタクトセンタ環境Ｅ内に設置されている。なお、コンタクトセンタ環境Ｅは同一の建物内のシステム環境に限られず、例えば、地理的に離れた複数の建物内のシステム環境であってもよい。
　感情情報活用装置１０は、顧客とオペレータとの間の音声通話を音声認識によってリアルタイムにテキストに変換すると共に顧客とオペレータの感情を推定し、その推定結果である感情情報をオペレータの応対支援や応対品質の分析・改善、通話評価等に活用する。また、感情情報活用装置１０は、これらの応対支援や応対品質の分析・改善等を行うための各種画面（例えば、後述する通話検索画面、検索結果画面、応対支援画面、オペレータ監視画面等）をオペレータ端末２０、スーパバイザ端末３０又は分析者端末４０に提供する。
　オペレータ端末２０は、オペレータが利用するＰＣ（パーソナルコンピュータ）等の各種端末であり、ＩＰ（Internet Protocol）電話機として機能する。
オペレータ端末２０には、例えば、顧客との通話中に応対支援画面が表示される。
　スーパバイザ端末３０は、スーパバイザが利用するＰＣ（パーソナルコンピュータ）等の各種端末である。スーパバイザ端末３０は、過去の通話を通話検索画面で検索し、その検索結果を検索結果画面に表示させることができる。また、スーパバイザ端末３０は、オペレータが顧客と通話中にバックグラウンドでその通話を監視するためのオペレータ監視画面を表示することができる。なお、スーパバイザとは、オペレータの通話を監視し、何等かの問題が発生しそうな場合やオペレータからの要請に応じてオペレータの電話応対業務を支援する者のことである。通常、数人～十数人程度のオペレータの通話が１人のスーパバイザにより監視されることが一般的である。
　分析者端末４０は、応対品質の分析・改善等を行う分析者が利用するＰＣ（パーソナルコンピュータ）等の各種端末である。分析者端末４０は、過去の通話を通話検索画面で検索し、その検索結果を検索結果画面に表示させることができる。なお、分析者はスーパバイザが兼務していてもよく、この場合はスーパバイザ端末３０が分析者端末４０としても機能することになる。
　ＰＢＸ５０は、電話交換機（ＩＰ－ＰＢＸ）であり、ＶｏＩＰ（Voice over Internet Protocol）網やＰＳＴＮ（Public Switched Telephone Network）を含む通信ネットワーク７０に接続されている。ＰＢＸ５０は、顧客端末６０から着信あった場合に予め決められた１以上のオペレータ端末２０を呼び出し、その呼び出しに応答したいずれかのオペレータ端末２０と当該顧客端末６０とを接続する。
　顧客端末６０は、顧客が利用するスマートフォンや携帯電話、固定電話等の各種端末である。
　なお、図１に示すコンタクトセンタシステム１の全体構成は一例であって、他の構成であってもよい。例えば、図１に示す例では感情情報活用装置１０がコンタクトセンタ環境Ｅに含まれているが（つまり、感情情報活用装置１０はオンプレミス型であるが）、感情情報活用装置１０の全部又は一部の機能がクラウドサービス等により実現されていてもよい。同様に、図１に示す例では、ＰＢＸ５０はオンプレミス型の電話交換機であるが、クラウドサービスにより実現されていてもよい。
　＜感情情報活用装置１０の機能構成＞
　本実施形態に係る感情情報活用装置１０の機能構成を図２に示す。図２に示すように、本実施形態に係る感情情報活用装置１０は、音声認識テキスト変換部１０１と、感情推定部１０２と、ＵＩ提供部１０３と、検索部１０４と、評価部１０５とを有する。これら各部は、例えば、感情情報活用装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。
　また、本実施形態に係る感情情報活用装置１０は、通話情報ＤＢ１０６を有する。当該ＤＢ（データベース）は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置により実現される。なお、当該ＤＢは、例えば、感情情報活用装置１０と通信ネットワークを介して接続されるデータベースサーバ等により実現されていてもよい。
　音声認識テキスト変換部１０１は、オペレータ端末２０と顧客端末６０との間の音声通話を音声認識によりテキストに変換する。また、このとき、音声認識テキスト変換部１０１は、話者毎に音声認識を行ってテキストに変換する。これにより、オペレータの音声と顧客の音声とがそれぞれテキストに変換される。以下、音声認識によって得られたテキストを「音声認識テキスト」ともいう。
　感情推定部１０２は、オペレータ端末２０と顧客端末６０との間の音声通話中に、所定の区切り毎に話者の感情情報を推定する。感情情報とは話者の感情を推定した結果を表す情報であり、感情としては、例えば、「満足」、「不満足」、「怒り」、「平常」、「不安」、「疑問」、「納得」、「喜び」等が挙げられる。ただし、これは一例であって、感情は、例えば、「ポジティブ」、「ネガティブ」といったより広い分類であってもよいし、その他の任意の分類であってもよい。また、感情の分類の定義は、例えば、ユーザ等が追加、変更、削除できてもよい。
　ただし、感情推定部１０２は、区切り毎に話者の感情情報を推定することに加えて、例えば、発話毎に話者の感情情報を推定したり、通話全体の話者の感情情報を推定したりしてもよい。なお、感情推定部１０２は、例えば、既知の深層学習技術等を利用した感情推定モデルにより話者の感情情報を推定すればよい。このとき、感情推定部１０２は、オペレータ端末２０と顧客端末６０との間の音声通話中の音声から感情情報を推定してもよいし、音声認識テキスト変換部１０１によって得られた音声認識テキストから感情情報を推定してもよい。また、区切り毎に感情情報を推定する際に、感情推定部１０２は、区切り単位で感情情報を推定する感情推定モデルを構築し、この感情推定モデルにより区切り毎の感情情報を推定してもよいし、発話単位で感情情報を推定する感情推定モデルを構築し、この感情推定モデルにより発話毎の感情情報を推定した上で、各区切りに含まれる発話の感情情報の平均等を取ることで区切り毎の感情情報を推定してもよい。
　ここで、感情推定部１０２は、例えば、以下の（Ａ）～（Ｂ）のいずれかに示す区切り毎に話者の感情情報を推定する。
　（Ａ）時間的な区切り
　例えば、一般的な通話時間の平均を求めた上でそれを３分割し、「序盤」、「中盤」、「終盤」とする。そして、「序盤」、「中盤」、「終盤」毎に話者の感情情報を推定する。具体的には、例えば、一般的な通話時間の平均が「３分」である場合、通話開始（０：００）～１：００までが「序盤」、１：０１～２：００までが「中盤」、２：０１～通話終了までが「終盤」となる。このため、通話開始～１：００までの間の顧客の感情情報とオペレータの感情情報、１：０１～２：００までの間の顧客の感情情報とオペレータの感情情報、２：０１～通話終了までの間の顧客の感情情報とオペレータの感情情報がそれぞれ推定されることになる。
　ただし、「序盤」、「中盤」、「終盤」と区切ることは一例であって、２分割した「前半」、「後半」を区切りとしてもよいし、４分割以上の更に細かい区切りとしてもよい。
　（Ｂ）シーン（話題）単位の区切り
　シーンとは、オペレータと顧客の間で行われている通話における話題の場面のことである。シーンとしては、例えば、最初の挨拶等の場面を表す「オープニング」、顧客からの用件を確認している場面を表す「用件確認」、商品を説明している場面を表す「商品説明」、顧客の状況を確認している場面を表す「状況確認」、顧客に対して本人確認を行っている場面を表す「本人確認」、最後の挨拶等の場面を表す「クロージング」等がある。なお、シーンは、例えば、既知の技術により音声認識テキスト等から特定することが可能である。
　具体的には、例えば、或る通話のシーンが「オープニング」、「用件確認」、「商品説明」、「クロージング」であった場合、「オープニング」における顧客の感情情報とオペレータの感情情報、「用件確認」における顧客の感情情報とオペレータの感情情報、「商品説明」における顧客の感情情報とオペレータの感情情報、「クロージング」における顧客の感情情報とオペレータの感情情報がそれぞれ推定されることになる。
　（Ｃ）通話イベントで区切られる区切り
　通話イベントとは、例えば、保留、転送、所定の長さの無音状態の発生、等といったイベントのことである。具体的には、例えば、或る通話で転送が１回発生した場合、通話開始から転送までを１つの区切り、転送から通話終了までを１つの区切りとして、各区切りで顧客の感情情報とオペレータの感情情報がそれぞれ推定されることになる。他の具体例として、例えば、或る通話で転送が１回発生した後、保留が１回発生した場合、通話開始から転送までを１つの区切り、転送から保留までを１つの区切り、保留から通話終了までを１つの区切りとして、各区切りで顧客の感情情報とオペレータの感情情報がそれぞれ推定されることになる。
　上記の（Ａ）の区切り毎に感情情報を推定することで、例えば、顧客とオペレータの時間的な感情の変化や流れを把握することが可能となる。上記の（Ｂ）の区切り毎に感情情報を推定することで、例えば、シーン毎に顧客とオペレータの感情を把握することが可能となる。上記の（Ｃ）の区切り毎に感情情報を推定することで、例えば、他のオペレータやスーパバイザに電話を転送した前後、通話を保留にしてＦＡＱ等を検索したりスーパバイザに相談したりした前後、無音状態が発生した前後といったイベント発生の前後における顧客とオペレータの感情の変化を把握することが可能となる。これらにより、例えば、より精度の良い応対品質の分析、より効果的な応対品質の改善、より効果的なオペレータの応対支援等を行うことが可能となる。
　ＵＩ提供部１０３は、各種画面（例えば、通話検索画面、検索結果画面、応対支援画面、オペレータ監視画面等）を表示させるための表示情報をオペレータ端末２０、スーパバイザ端末３０又は分析者端末４０に送信する。
　検索部１０４は、通話検索画面で指定された検索条件が含まれる検索要求を受信すると、この検索条件を用いて通話情報ＤＢ１０６から通話情報を検索する。また、検索部１０４は、通話情報ＤＢ１０６から検索された通話情報が含まれる検索結果を、検索要求の送信元に変換する。
　評価部１０５は、予め人手で評価された通話の感情情報から評価モデルを作成した上で、この評価モデルを用いて、評価対象の通話を評価する。
　通話情報ＤＢ１０６は、過去の通話の通話情報が格納される。ここで、通話情報には、例えば、通話を一意に識別する通話ＩＤ、当該通話の通話日時、通話時間、当該通話に応対したオペレータを一意に識別するオペレータＩＤ、オペレータ名、オペレータの内線番号、顧客の電話番号、当該通話の音声認識テキスト、当該通話の各区切りとその区切り毎の感情情報等といった情報が含まれる。これら以外にも、例えば、発話毎の話者の感情情報が含まれていてもよいし、通話全体の話者の感情情報が含まれていてもよい。また、コールリーズンを表す情報が含まれていてもよい。コールリーズンとは通話用件とも呼ばれ、顧客が電話をしてきた理由のことである。１つの通話に複数のコールリーズンが存在することもあり、この場合には、複数のコールリーズンの各々を表す情報が通話情報に含まれることになる。
　なお、通話情報は顧客とオペレータとの間で通話毎に作成され、通話情報ＤＢ１０６に格納される。
　＜通話検索＞
　顧客に対する応対品質の分析・改善等のために、感情情報を活用して過去の通話の通話情報を検索する場合について説明する。以下、通話検索処理について、図３を参照しながら説明する。
　検索部１０４は、スーパバイザ端末３０又は分析者端末４０から検索要求を受信する（ステップＳ１０１）。なお、検索要求は、スーパバイザ端末３０又は分析者端末４０上に表示されている通話検索画面で検索条件が指定された上で検索ボタンが押下されることで感情情報活用装置１０に送信される。
　次に、検索部１０４は、上記のステップＳ１０１で受信した検索要求に含まれる検索条件を用いて通話情報ＤＢ１０６から通話情報を検索する（ステップＳ１０２）。なお、後述するように、検索条件としては、例えば、区切りとその区切りにおける感情情報等が挙げられる。これにより、或る区切りで或る感情が推定された通話を検索することができる。
　そして、検索部１０４は、上記のステップＳ１０２で検索された通話情報が含まれる検索結果を、検索要求の送信元のスーパバイザ端末３０又は分析者端末４０に送信する（ステップＳ１０３）。なお、検索部１０４は、通話情報そのものではなく、通話情報に含まれる一部の情報（例えば、通話ＩＤ、通話時間、オペレータＩＤ、オペレータ名、各区切りとその区切り毎の感情情報等）が含まれる検索結果を送信してもよい。
　　≪通話検索画面及び検索結果画面例（その１）≫
　以下、通話全体の感情情報と上記の（Ａ）の区切り毎に感情情報とが推定された場合の通話検索画面及び検索結果画面の一例を図４及び図５に示す。なお、これらの通話検索画面及び検索結果画面は、ＵＩ提供部１０３によって作成及び送信された表示情報（通話検索画面の表示情報、検索結果画面の表示情報）に基づいて、スーパバイザ端末３０又は分析者端末４０上に表示される。
　図４に示す通話検索画面１０００には、区切り指定欄１００１と、感情指定欄１００２と、検索ボタン１００３とが含まれている。区切り指定欄１００１では、検索条件として、時間的な区切り（図４に示す例では「序盤」、「中盤」、「終盤」）を選択及び指定することができる。感情指定欄１００２では、検索条件として、区切り指定欄１００１で指定された区切りにおける顧客の感情（図４に示す例では「満足」、「不満足」、「怒り」、「平常」、「不安」、「疑問」、「納得」）を選択及び指定することができる。検索ボタン１００３は、検索要求を送信するためのボタンである。スーパバイザ又は分析者は、区切り指定欄１００１及び感情指定欄１００２で区切り及び感情をそれぞれ指定した上で、検索ボタン１００３を押下する。これにより、区切り指定欄１００１及び感情指定欄１００２にそれぞれ指定された区切り及び感情が検索条件として含まれる検索要求が、スーパバイザ端末３０又は分析者端末４０から感情情報活用装置１０に送信される。
　なお、図４に示す例では感情指定欄１００２には顧客の感情が指定されるものとしたが、例えば、別途、話者（オペレータ又は顧客）を指定するための欄を設けて、感情指定欄１００２にはその話者の感情が指定されるものとしてもよい。また、感情指定欄１００２では、例えば、「ポジティブ」、「ネガティブ」を指定可能であってもよい。また、時間的な区切りとその区切りにおける感情の組を複数指定することができてもよい（例えば、（「序盤」，「怒り」）かつ（「終盤」、「満足」）といった検索条件を指定することができてもよい。）。更に、複数の時間的な区切りで感情が変化したこと（例えば、「中盤」と「終盤」で感情が変化したこと等）、複数の時間的な区切りで同一の感情が継続したこと（例えば、「序盤」から「終盤」まで同一の感情が継続したこと等）等いった検索条件を指定することができてもよい。
　上記の検索要求に対する検索結果を感情情報活用装置１０から受信すると、スーパバイザ端末３０又は分析者端末４０には、例えば、図５に示す検索結果画面１１００が表示される。図５に示す検索結果画面１１００には、検索結果に含まれる通話情報の内容が表示される検索結果欄１１１０及び１１２０が含まれている。
　検索結果欄１１１０及び１１２０にはそれぞれ、通話日時や通話時間、オペレータ名、オペレータの内線番号、顧客の電話番号が表示されている。また、検索結果欄１１１０及び１１２０にはそれぞれ感情推定結果欄１１１１及び１１２１が含まれている。
　例えば、検索結果欄１１１０の感情推定結果欄１１１１には、通話全体の顧客の感情情報を表すアイコンが表示されていると共に、括弧内に３つ区切り（「序盤」、「中盤」、「終盤」）のそれぞれにおける顧客の感情情報を表すアイコンが表示されている。図５に示す例では、通話全体の顧客の感情情報は「怒り」、「序盤」における顧客の感情情報は「満足」、「中盤」における顧客の感情情報は「平常」、「終盤」における顧客の感情情報は「怒り」であり、「満足」→「平常」→「怒り」と顧客の感情が推移したことを表している。
　同様に、例えば、検索結果欄１１２０の感情推定結果欄１１２１には、通話全体の顧客の感情情報を表すアイコンが表示されていると共に、括弧内に３つ区切り（「序盤」、「中盤」、「終盤」）のそれぞれにおける顧客の感情情報を表すアイコンが表示されている。図５に示す例では、通話全体の顧客の感情情報は「満足」、「序盤」における顧客の感情情報は「平常」、「中盤」における顧客の感情情報は「満足」、「終盤」における顧客の感情情報は「満足」であり、「平常」→「満足」→「満足」と顧客の感情が推移したことを表している。
　なお、検索結果欄１１１０や検索結果欄１１２０が選択された場合、選択された検索結果欄に対応する通話情報のより詳細な内容が表示される。
　このように、スーパバイザや分析者は、時間的な区切りとその区切りにおける感情（特に顧客の感情）を検索条件として、その検索条件に合致する過去の通話を検索することができる。これにより、或る特定の時間的な区切り（例えば、通話の終盤等）に顧客が怒っている通話等を抽出することが可能となり、例えば、そのような通話を改善するための施策の立案、オペレータの教育等に役立てることができるようになる。
　また、（「序盤」，「怒り」）かつ（「終盤」、「満足」）といった複数の区切り及び感情の組を検索条件として指定することもできるため、例えば、序盤は顧客が怒っていたが、終盤は顧客が満足した通話等を抽出することが可能となり、例えば、そのような通話を優良な通話として評価したり、オペレータの教育等に役立てたりすることができるようになる。
　なお、例えば、検索結果欄１１１０において、通話全体又は最新の区切りにおける顧客の感情情報が或る特定の条件に合致する場合のみ、通話全体又は最新の区切りよりも前の区切りにおける感情情報を表示してもよい。ここで、特定の条件としては、例えば、最新の区切りにおける顧客の感情情報が「ネガティブ」又は特定の感情であること、ネガティブ以外の感情情報からネガティブに変化したこと、ネガティブ又は特定の感情が或る一定の複数の区切りで継続したこと、特定のシーンを表す区切りで特定の感情であったこと、等が挙げられる。このとき、特定のシーンや特定の感情はスーパバイザや分析者等が指定できてもよい。
　これにより、特定の条件に合致しない場合にはその通話は問題ないものとして感情情報の推移の表示が省略されるため、情報量が減り、スーパバイザや分析者の確認負担が削減される。言い換えれば、注意が不要な通話に関しては表示の一部が省略されるため、スーパバイザや分析者は、注意すべき通話をより容易に確認することが可能となる。
　なお、上記の特定の条件は問題のない通話に関して表示の一部を省略するための条件であるが、これは逆に、優良な通話以外の通話に関して表示の一部を省略したい場合には、例えば、ポジティブ以外の感情情報からポジティブに変化したこと、ポジティブ又は特定の感情が或る一定の複数の区切りで継続したこと、等を特定の条件としてもよい。
　　≪通話検索画面及び検索結果画面例（その２）≫
　以下、上記の（Ｂ）の区切り毎に感情情報が推定された場合の通話検索画面及び検索結果画面の一例を図６及び図７に示す。なお、これらの通話検索画面及び検索結果画面は、ＵＩ提供部１０３によって作成及び送信された表示情報（通話検索画面の表示情報、検索結果画面の表示情報）に基づいて、スーパバイザ端末３０又は分析者端末４０上に表示される。
　図６に示す通話検索画面２０００には、区切り指定欄２００１と、感情指定欄２００２と、検索ボタン２００３とが含まれている。区切り指定欄２００１では、検索条件として、シーン（図６に示す例では「オープニング」、「用件確認」、「商品説明」、「状況ヒアリング」、「本人確認」、「クロージング」）を選択及び指定することができる。感情指定欄２００２では、検索条件として、区切り指定欄２００１で指定されたシーン（区切り）における顧客の感情（図６に示す例では「満足」、「不満足」、「怒り」、「平常」、「不安」、「疑問」、「納得」）を選択及び指定することができる。検索ボタン２００３は、検索要求を送信するためのボタンである。スーパバイザ又は分析者は、区切り指定欄２００１及び感情指定欄２００２でシーン（区切り）及び感情をそれぞれ指定した上で、検索ボタン２００３を押下する。これにより、区切り指定欄２００１及び感情指定欄２００２にそれぞれ指定されたシーン（区切り）及び感情が検索条件として含まれる検索要求が、スーパバイザ端末３０又は分析者端末４０から感情情報活用装置１０に送信される。
　なお、図６に示す例では感情指定欄２００２には顧客の感情が指定されるものとしたが、例えば、別途、話者（オペレータ又は顧客）を指定するための欄を設けて、感情指定欄２００２にはその話者の感情が指定されるものとしてもよい。また、シーン（区切り）とその区切りにおける感情の組を複数指定することができてもよい（例えば、（「オープニング」，「怒り」）かつ（「クロージング」、「満足」）といった検索条件を指定することができてもよい。）。
　上記の検索要求に対する検索結果を感情情報活用装置１０から受信すると、スーパバイザ端末３０又は分析者端末４０には、例えば、図７に示す検索結果画面２１００が表示される。図７に示す検索結果画面２１００には、検索結果に含まれる通話情報の内容が表示される検索結果欄２１１０及び２１２０が含まれている。
　検索結果欄２１１０及び２１２０にはそれぞれ、通話日時や通話時間、オペレータ名、オペレータの内線番号、顧客の電話番号が表示されている。また、検索結果欄２１１０及び２１２０にはそれぞれ感情推定結果欄２１１１及び２１２１が含まれている。
　例えば、検索結果欄２１１０の感情推定結果欄２１１１には、通話の各シーンのそれぞれにおける顧客の感情情報を表すアイコンが表示されている。図７に示す例では、「オープニング」における顧客の感情情報は「平常」、「用件把握」における顧客の感情情報は「不満足」、「本人確認」における顧客の感情情報は「平常」、「商品説明」における顧客の感情情報は「疑問」、「クロージング」における顧客の感情情報は「平常」であることを表している。
　同様に、例えば、検索結果欄２１２０の感情推定結果欄２１２１には、通話の各シーンのそれぞれにおける顧客の感情情報を表すアイコンが表示されている。図７に示す例では、「オープニング」における顧客の感情情報は「平常」、「用件把握」における顧客の感情情報は「平常」、「状況ヒアリング」における顧客の感情情報は「満足」、「クロージング」における顧客の感情情報は「満足」であることを表している。
　なお、検索結果欄２１１０や検索結果欄２１２０が選択された場合、選択された検索結果欄に対応する通話情報のより詳細な内容が表示される。
　このように、スーパバイザや分析者は、シーンを表す区切りとその区切りにおける感情（特に顧客の感情）を検索条件として、その検索条件に合致する過去の通話を検索することができる。これにより、或る特定のシーンに顧客が怒っている通話等を抽出することが可能となり、例えば、そのような通話を改善するための施策の立案、オペレータの教育、トークスクリプトの改善等に役立てることができるようになる。なお、トークスクリプトとは、例えば、シーン毎にオペレータが発話すべき内容等が記載されたマニュアル（又は台本）のことである。
　また、（「オープニング」，「怒り」）かつ（「クロージング」、「満足」）といった複数の区切り及び感情の組を検索条件として指定することもできるため、例えば、オープニングでは顧客が怒っていたが、クロージングでは顧客が満足した通話等を抽出することが可能となり、例えば、そのような通話を優良な通話として評価したり、オペレータの教育等に役立てたりすることができるようになる。
　＜応対支援＞
　顧客との通話中におけるオペレータの応対を支援するために、感情情報を活用して顧客の感情をオペレータ端末２０上にリアルタイムに表示したり、そのオペレータを監視しているスーパバイザのスーパバイザ端末３０上にリアルタイムに表示したりする場合について説明する。以下、応対支援処理について、図８を参照しながら説明する。なお、以下の応対支援処理は、顧客とオペレータの通話中に所定の時間毎（例えば、数秒程度毎）に繰り返し実行される。
　ＵＩ提供部１０３は、所定の時間前から現在までの間に音声認識テキスト変換部１０１によって得られた音声認識テキストと感情推定部１０２によって推定された感情情報とを受け取る（ステップＳ２０１）。なお、感情推定部１０２は発話毎に話者の感情情報を推定すると共に、区切り毎に話者の感情情報を推定しているものとする。
　次に、ＵＩ提供部１０３は、上記のステップＳ２０１で受け取った音声認識テキストと感情情報とが含まれる表示情報（応対支援画面の表示情報若しくはオペレータ監視画面の表示情報、又はその両方）を作成する（ステップＳ２０２）。なお、この表示情報は応対支援画面やオペレータ監視画面そのものの表示情報であってもよいし、応対支援画面やオペレータ監視画面がオペレータ端末２０やスーパバイザ端末３０上に既に表示されている場合にはその差分を表す表示情報であってもよい。また、表示情報には、後述する応対支援画面のアドバイス表示欄に表示される情報、オペレータ監視画面でアラートを通知するための情報等が含まれていてもよい。
　そして、ＵＩ提供部１０３は、上記のステップＳ２０２で作成した表示情報をオペレータ端末２０やスーパバイザ端末３０に送信する（ステップＳ２０３）。
　　≪応対支援画面≫
　以下、或るオペレータのオペレータ端末２０上に表示される応対支援画面の一例を図９に示す。なお、この応対支援画面は、ＵＩ提供部１０３によって作成及び送信された表示情報（応対支援画面の表示情報）に基づいて、オペレータ端末２０上に表示される。
　図９に示す応対支援画面３０００には、現在感情表示欄３０１０と、履歴表示欄３０２０と、アドバイス表示欄３０３０とが含まれる。
　現在感情表示欄３０１０には、顧客の現在の感情情報（図９に示す例では「疑問」）が表示される。なお、現在感情表示欄３０１０には、例えば、現在のシーンの１つ前のシーン（つまり、直前のシーン）における顧客の感情情報が表示されてもよい。
　履歴表示欄３０２０には、通話開始から現在までの顧客及びオペレータの発話タイミングとシーン（区切り）毎の感情情報とが表示される。図９に示す例では「オープニング」における顧客の感情は「怒り」、「用件把握」における顧客の環境は「怒り」であり、現在のシーンは「商品説明」であることが表されている。また、発話があったタイミングには「発話あり」を表す表示部品が表示されている。なお、例えば、その表示部品の上のマウスカーソル等の重畳させることで、当該表示部品に対応する音声認識テキスト等が表示されてもよい。
　アドバイス表示欄３０３０には、現在のシーン、オペレータを支援するための情報等が表示される。図９に示す例では、現在のシーンは「商品説明」であること、現在のシーンにおいて顧客の感情に「疑問」が多く、分かりやすく説明すべきこと、が表示されている。
　なお、図９に示す例では区切りとしてシーンを採用したが、上記の（Ａ）や（Ｂ）に示した区切りが採用されてもよい。
　このように、オペレータは、現在の顧客の感情や区切り毎の顧客の感情をリアルタイムに確認することができる。また、顧客の感情に応じて、オペレータを支援するための情報もリアルタイムで確認することができる。このため、オペレータは、顧客に対して適切な応対を行うことが可能となる。
　また、シーン毎の顧客の感情がリアルタイムに表示されるため、例えば、オペレータは、顧客の虚偽申告等を検知することも可能となる。一例を挙げると、「本人確認」シーンにおいて、オペレータが顧客の個人情報を確認する際に、顧客の感情として「不安」が多い場合に虚偽申告の可能性が高いことを検知することが可能となる。なお、このような虚偽申告の可能性が高いことを感情情報活用装置１０で検知又は推定し、その検知又は推定結果等を表す情報をオペレータ端末２０に送信して応対支援画面のアドバイス表示欄に表示させてもよい。これ以外にも、応対支援画面のアドバイス表示欄には、現在又はそれ以前の区切りにおける顧客又はオペレータの感情情報に基づいて、アドバイスが選択及び表示されてもよい。アドバイス表示欄に表示されるアドバイスは、例えば、シーンや感情情報の変化等に応じて予め用意されたものから選択されてもよいし、他の優れたオペレータの同じ状況におけるベストプラクティスに基づく応対内容が選択されてもよいし、シーンや感情情報等の条件に応じてその条件に合致するアドバイスが選択されてもよい。
　なお、例えば、図５に示す検索結果画面１１００の検索結果欄１１１０と同様に、履歴表示欄３０２０において、通話全体又は最新の区切りにおける顧客の感情情報が或る特定の条件に合致する場合のみ、通話全体又は最新の区切りよりも前の区切りにおける情報（発話タイミングと感情情報）を表示してもよい。
　　≪オペレータ監視画面≫
　以下、或るスーパバイザのスーパバイザ端末３０上に表示されるオペレータ監視画面の一例を図１０に示す。なお、このオペレータ監視画面は、ＵＩ提供部１０３によって作成及び送信された表示情報（オペレータ監視画面の表示情報）に基づいて、スーパバイザ端末３０上に表示される。
　図１０に示すオペレータ監視画面３１００には、当該スーパバイザが監視対象としているオペレータの通話内容が表示される通話内容欄３１１０～３１３０が含まれる。また、各通話内容欄３１１０～３１３０にはそれぞれ、内線番号、通話時間、オペレータ名等が表示されている。また、各通話内容欄３１１０～３１３０にはそれぞれ現在シーン欄３１１１～３１３１と現在感情欄３１１２～３１３２とがそれぞれ含まれている。
　例えば、通話内容欄３１１０には現在シーン欄３１１１と現在感情欄３１１２とが含まれており、現在シーン欄３１１１には「用件把握」、現在感情欄３１１２には「満足」を表すアイコンが表示されている。これは、通話内容欄３１１０で監視している通話の現在のシーンは「用件把握」、顧客の現在の感情は「満足」であることを表している。
　同様に、例えば、通話内容欄３１２０には現在シーン欄３１２１と現在感情欄３１２２とが含まれており、現在シーン欄３１２１には「本人確認」、現在感情欄３１２２には「疑問」を表すアイコンが表示されている。これは、通話内容欄３１２０で監視している通話の現在のシーンは「本人確認」、顧客の現在の感情は「疑問」であることを表している。
　同様に、例えば、通話内容欄３１３０には現在シーン欄３１３１と現在感情欄３１３２とが含まれており、現在シーン欄３１３１には「オープニング」、現在感情欄３１３２には「怒り」を表すアイコンが表示されている。これは、通話内容欄３１３０で監視している通話の現在のシーンは「オープニング」、顧客の現在の感情は「怒り」であることを表している。
　なお、通話内容欄３１１０～３１３０のいずれかが選択された場合、選択された通話内容欄に対応する通話のより詳細な内容（例えば、その通話の音声認識テキスト等）が表示される。
　このように、スーパバイザは、自身が監視対象としているオペレータの通話における現在のシーン（区切り）や顧客の現在の感情等をリアルタイムに監視することができる。このため、スーパバイザは、例えば、顧客の感情からクレームに繋がりそうな通話等に特定し、その通話に介入することで、その通話のオペレータを支援することができる。
　また、例えば、顧客の感情情報の遷移等に基づいて、スーパバイザに何等かの情報が任意の方法で通知されてもよい。具体例を挙げれば、オペレータ監視画面上にアラート（例えば、点滅や音の出力等によるアラート）が通知されてもよい。一例として、シーン毎に感情情報が推定されたときに、顧客の感情が「怒り」以外から「怒り」に遷移した場合にアラートを通知してもよい。また、例えば、特定のシーン（例えば、「本人確認」等）で顧客の感情が「怒り」である場合にアラートを通知してもよい。更に、例えば、通話開始時から怒っている通話を除外するため、顧客の感情が「怒り」であっても、「オープニング」でも顧客の感情が「怒り」である場合にはアラートを通知しないようにしてもよい。なお、このようなアラートの通知要否を感情情報活用装置１０で判定し、その判定結果等を表す情報をスーパバイザ端末３０に送信してもよい。
　＜通話評価＞
　或る通話を評価する際の解釈を容易にするために、感情情報を活用して過去の通話をモデル化し、そのモデルにより評価対象の通話を評価する場合について説明する。以下、通話評価処理について、図１１を参照しながら説明する。なお、以下のステップＳ３０１～ステップＳ３０２は事前に実施する処理であり、ステップＳ３０３は評価対象の通話毎に実施する処理である。
　評価部１０５は、通話情報ＤＢ１０６の中から評価済み通話情報を取得する（ステップＳ３０１）。ここで、評価済み通話情報とは、通話情報ＤＢ１０６に格納されている通話情報のうち、予め人手で評価された通話情報のことである。以下、人手で優良な通話と評価された通話の評価済み通話情報を「優良通話情報」ということにする。或る通話が優良なものであるか否かを評価する観点としては様々なものが考えられるが、例えば、「顧客説明が非常に上手く、顧客が満足してくれた通話」や「商品又はサービス勧奨が非常に上手く、契約に繋がった通話」等を優良通話と評価することが考えられる。ただし、これらは一例であって、これらに限られるものではなく、何等かの観点で他のオペレータの模範となるような通話を優良通話と評価することができる。
　次に、評価部１０５は、上記のステップＳ３０１で取得された評価済み通話情報を用いて、既知のクラスタリング手法又は既知の機械学習の手法等により評価モデルを作成する（ステップＳ３０２）。
　そして、評価部１０５は、上記のステップＳ３０３で作成された評価モデルを用いて、評価対象通話の通話情報の評価する（ステップＳ３０３）。
　　≪評価モデルの作成方法及び評価対象通話の評価方法≫
　ここで、以下では、上記のステップＳ３０１で取得された評価済み通話情報の数をＮとして、各評価済み通話情報をｘｎ（ｎ＝１，・・・，Ｎ）とする。また、発話毎に感情情報が推定されたものとして、評価済み通話情報ｘｎに含まれるｋ番目の発話の感情情報をｅｎｋ、ｋ番目の発話を行った話者をｐｎｋ、ｋ番目の発話が行われた発話時刻をｔｎｋとする。また、評価済み通話情報ｘｎのコールリーズンをｒｎとする。
　このとき、ｎ番目の評価済み通話情報はｘｎ＝｛ｒｎ，｛（ｅｎｋ，ｐｎｋ，ｔｎｋ）｜ｋ＝１，・・・，Ｋｎ｝｝と表される。Ｋｎはｎ番目の評価済み通話情報ｘｎに含まれる発話数である。なお、感情情報ｅｎｋは、例えば、「怒り」や「満足」、「不満足」等の感情を表すカテゴリカルな値であってもよいし、これらの感情である確率又は尤度を要素とするベクトル又は配列であってもよい。
　なお、１つの評価済み通話情報に複数のコールリーズンが含まれる場合は、コールリーズン毎に評価済み通話情報を分割し、上記の通りに表されるものとする。例えば、ｎ番目の評価済み通話情報ｘｎに２つのコールリーズンｒｎとｒ'ｎが含まれる場合、評価済み通話情報ｘｎを｛ｒｎ，｛（ｅｎｋ，ｐｎｋ，ｔｎｋ）｜ｋ＝１，・・・，Ｋ'ｎ｝｝と｛ｒ'ｎ，｛（ｅｎｋ，ｐｎｋ，ｔｎｋ）｜ｋ＝Ｋ'ｎ＋１，・・・，Ｋｎ｝｝とに分割した上で、前者をあらためてｘｎ＝｛ｒｎ，｛（ｅｎｋ，ｐｎｋ，ｔｎｋ）｜ｋ＝１，・・・，Ｋｎ｝｝とし、後者はリナンバリングした上でＮ＋１番目の評価済み通話情報ｘＮ＋１＝｛ｒＮ＋１，｛（ｅＮ＋１，ｋ，ｐＮ＋１，ｋ，ｔＮ＋１，ｋ）｜ｋ＝１，・・・，ＫＮ＋１｝｝とすればよい。
　以下では、複数のコールリーズンが含まれる評価済み通話情報は上記のような分割が行われたものとして、評価済み通話情報の数をあらためてＮで表す。
　　（評価モデルの作成方法及び評価対象通話の評価方法その１）
　以下、図１０のステップＳ３０２では評価済み通話情報として優良通話情報が取得されたものとする。
　・評価モデルの作成に用いる学習用データ
　以下の（ａ）～（ｄ）のいずれかを学習用データとする。
　（ａ）ｘｎ＝｛ｅｎｋ｜ｋ＝１，・・・，Ｋｎ｝（ｎ＝１，・・・，Ｎ）を学習用データとする。つまり、各優良通話情報に含まれる感情情報の系列のみを学習用データとする。
　（ｂ）ｘｎ＝｛（ｅｎｋ，ｐｎｋ）｜ｋ＝１，・・・，Ｋｎ｝（ｎ＝１，・・・，Ｎ）を学習用データとする。つまり、各優良通話情報に含まれる感情情報と話者の系列のみを学習用データとする。
　（ｃ）ｘｎ＝｛（ｅｎｋ，ｐｎｋ，ｔｎｋ）｜ｋ＝１，・・・，Ｋｎ｝（ｎ＝１，・・・，Ｎ）を学習用データとする。つまり、各優良通話情報に含まれる感情情報と話者と発話時刻の系列を学習用データとする。
　（ｄ）ｘｎ＝｛ｒｎ，｛（ｅｎｋ，ｐｎｋ，ｔｎｋ）｜ｋ＝１，・・・，Ｋｎ｝｝（ｎ＝１，・・・，Ｎ）を学習用データとする。つまり、各優良通話情報に含まれる感情情報と話者と発話時刻の系列に加えて、その優良通話情報に含まれるコールリーズンも学習用データとする。
　・モデル化の方法
　例えば、可変長の系列に対するクラスタリング手法を用いる。これにより、学習用データからクラスタが構築され、これらのクラスタが評価モデルとなる。
　・評価用データ
　評価対象の通話情報をｘ＝｛ｒ，｛（ｅｋ，ｐｋ，ｔｋ）｜ｋ＝１，・・・，Ｋ｝｝（ただし、Ｋは発話数）と表したとき、学習用データと同様の形式を評価用データとする。すなわち、上記の（ａ）を学習用データとした場合はｘ＝｛ｅｋ｜ｋ＝１，・・・，Ｋ｝、上記の（ｂ）を学習用データとした場合はｘ＝｛（ｅｋ，ｐｋ）｜ｋ＝１，・・・，Ｋ｝、上記の（ｃ）を学習用データとした場合はｘ＝｛（ｅｋ，ｐｋ，ｔｋ）｜ｋ＝１，・・・，Ｋ｝、上記の（ｄ）を学習用データとした場合はｘ＝｛ｒ，｛（ｅｋ，ｐｋ，ｔｋ）｜ｋ＝１，・・・，Ｋ｝｝を評価用データとする。
　・評価方法
　いずれかのクラスタの重心との距離が小さい場合（例えば、当該距離が所定の閾値以下の場合）は評価対象の通話を優良通話と評価し、そうでない場合は評価対象の通話を優良通話でないと評価する。また、どのクラスタの重心との距離が小さいかによって、評価対象の通話がどのような優良通話であるのか（例えば、「顧客説明が非常に上手く、顧客が満足してくれた通話」なのか、「商品又はサービス勧奨が非常に上手く、契約に繋がった通話」なのか等）を評価する。
　　（評価モデルの作成方法及び評価対象通話の評価方法その２）
　以下、図１０のステップＳ３０２では評価済み通話情報として、優良通話情報と、悪くはない通話と評価された通話の通話情報（以下、普通通話情報という。）と、改善が必要な通話と評価された通話の通話情報（以下、要改善通話情報）とが取得されたものとする。ただし、優良通話情報、普通通話情報及び要改善通話情報の３種類を取得する必要は必ずしもなく、例えば、評価対象通話が優良通話であるか否かを評価したい場合には優良通話情報と普通通話情報のみが取得されればよいし、その一方で評価対象通話が要改善通話であるか否かを評価したい場合には普通通話情報と要改善通話情報のみが取得されればよい。
　・評価モデルの作成に用いる学習用データ
　上記の（ａ）～（ｄ）のいずれかを学習用データとする。なお、これらの学習用データには、「優良通話」、「普通通話」又は「要改善通話」のいずれと評価されたかを表す情報が教師データとして付与されているものとする。
　・モデル化の方法
　例えば、機械学習の手法により、「優良通話」、「普通通話」又は「要改善通話」の３クラスに分類する分類モデルを評価モデルとして教師あり学習により構築する。なお、例えば、評価対象通話が優良通話であるか否かを評価したい場合には「優良通話」又は「普通通話」（優良通話以外）の２クラスに分類する分類モデルを評価モデルとして構築すればよいし、その一方で評価対象通話が要改善通話であるか否かを評価したい場合には「普通通話」又は「要改善通話」の２クラスに分類する分類モデルを評価モデルとして構築すればよい。
　・評価用データ
　評価対象の通話情報をｘ＝｛ｒ，｛（ｅｋ，ｐｋ，ｔｋ）｜ｋ＝１，・・・，Ｋ｝｝（ただし、Ｋは発話数）と表したとき、学習用データと同様の形式を評価用データとする。
　・評価方法
　評価用データを評価モデルに入力したときの出力から、評価対象通話が「優良通話」、「普通通話」又は「要改善通話」のいずれであるかを評価する。
　以上により、通話を評価する際にその評価結果を容易に解釈することが可能となり、その解釈結果を様々な分析（例えば、応対品質を改善するための分析等）に活用したり、オペレータの評価（例えば、優秀なオペレータを表彰する等）に活用したりすることができるようになる。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１　　　　コンタクトセンタシステム
　１０　　　感情情報活用装置
　２０　　　オペレータ端末
　３０　　　スーパバイザ端末
　４０　　　分析者端末
　５０　　　ＰＢＸ
　６０　　　顧客端末
　７０　　　通信ネットワーク
　１０１　　音声認識テキスト変換部
　１０２　　感情推定部
　１０３　　ＵＩ提供部
　１０４　　検索部
　１０５　　評価部
　１０６　　通話情報ＤＢ

Claims (18)

  1. 　少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報が格納されたデータベースと、
    　前記データベースから、前記区切りと前記感情情報とが少なくとも含まれる検索条件により前記通話情報を検索する検索部と、
    　を有する感情情報活用装置。
  2. 　前記区切りは、時間的な区切り、前記通話情報に対応する通話における話題の場面を表すシーン単位の区切り、又は所定の通話イベントで前記通話が区切られる単位の区切り、のいずれかである、請求項１に記載の感情情報活用装置。
  3. 　前記検索部により検索された通話情報に含まれる感情情報を第１の表示部に表示させるＵＩ提供部、を更に有する請求項１又は２に記載の感情情報活用装置。
  4. 　前記ＵＩ提供部は、
    　前記検索部により検索された通話情報に含まれる前記区切り毎の感情情報を前記第１の表示部に表示させる、請求項３に記載の感情情報活用装置。
  5. 　前記ＵＩ提供部は、
    　前記検索部により検索された通話情報に含まれる前記区切り毎の感情情報のうちの最新の区切りの感情情報が、ネガティブな感情を示す感情情報である場合、前記最新の区切りの感情情報と、前記最新の区切りよりも前の区切りの感情情報とを、前記第１の表示部に表示させる、請求項４に記載の感情情報活用装置。
  6. 　前記ＵＩ提供部は、
    　前記感情情報を、前記感情情報活用装置と通信ネットワークを介して接続される第１の端末が備える前記第１の表示部に表示させる、請求項３乃至５の何れか一項に記載の感情情報活用装置。
  7. 　第１の話者と第２の話者との間の通話に関する発話から、前記区切り毎の感情情報と前記発話毎の感情情報を推定する感情推定部を有し、
    　前記ＵＩ提供部は、
    　前記通話が行われる間、前記区切り毎の感情情報と前記発話毎の感情情報とを第２の表示部に表示させる、請求項３乃至６の何れか一項に記載の感情情報活用装置。
  8. 　前記ＵＩ提供部は、
    　特定の区切りで特定の感情情報が推定された場合、所定の通知先に所定の情報を通知する、請求項７に記載の感情情報活用装置。
  9. 　前記ＵＩ提供部は、
    　前記特定の区切りで前記特定の感情情報が推定された場合であっても、前記通話の最初の区切りで前記特定の感情情報が推定されたときには前記所定の通知先に前記所定の情報を通知しない、請求項８に記載の感情情報活用装置。
  10. 　前記ＵＩ提供部は、
    　前記区切り毎の感情情報に関して、ネガティブな感情を示す感情情報以外からネガティブな感情を示す感情情報に変化した場合、ポジティブな感情を示す感情情報以外からポジティブな感情を示す感情情報に変化した場合、ネガティブな感情を示す感情情報が一定の区切りで継続した場合、又はポジティブな感情を示す感情情報が一定の区切りで継続した場合、のいずれかである場合、前記所定の通知先に前記所定の情報を通知する、請求項８又は９に記載の感情情報活用装置。
  11. 　前記ＵＩ提供部は、
    　前記所定の情報を、前記感情情報活用装置と通信ネットワークを介して接続される第２の端末に通知する、請求項８乃至１０の何れか一項に記載の感情情報活用装置。
  12. 　前記感情推定部は、
    　前記データベースに格納されている通話情報のうち予め人手で評価された通話情報に含まれる感情情報をモデル化した評価モデルを作成し、前記評価モデルにより評価対象通話の通話情報を評価する評価部を更に有する請求項７乃至１１の何れか一項に記載の感情情報活用装置。
  13. 　前記評価部は、
    　前記発話毎の感情情報の系列をクラスタリング又は機械学習技術によりモデル化した評価モデルを作成し、前記評価モデルにより評価対象通話の通話情報を評価する、請求項１２に記載の感情情報活用装置。
  14. 　少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報が格納されたデータベースと、
    　前記データベースを参照して、所定の条件に合致する通話情報に含まれる感情情報を表示部に表示させるＵＩ提供部と、
    　を有する感情情報活用装置。
  15. 　少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報をデータベースに格納する格納手順と、
    　前記データベースから、前記区切りと前記感情情報とが少なくとも含まれる検索条件により前記通話情報を検索する検索手順と、
    　をコンピュータが実行する感情情報活用方法。
  16. 　少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報をデータベースに格納する格納手順と、
    　前記データベースを参照して、所定の条件に合致する通話情報に含まれる感情情報を表示部に表示させるＵＩ提供手順と、
    　をコンピュータが実行する感情情報活用方法。
  17. 　少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報をデータベースに格納する格納手順と、
    　前記データベースから、前記区切りと前記感情情報とが少なくとも含まれる検索条件により前記通話情報を検索する検索手順と、
    　をコンピュータに実行させるプログラム。
  18. 　少なくとも所定の区切り毎の話者の感情を表す感情情報が含まれる通話情報をデータベースに格納する格納手順と、
    　前記データベースを参照して、所定の条件に合致する通話情報に含まれる感情情報を表示部に表示させるＵＩ提供手順と、
    　をコンピュータに実行させるプログラム。
PCT/JP2022/007270 2022-02-22 2022-02-22 感情情報活用装置、感情情報活用方法及びプログラム WO2023162009A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/007270 WO2023162009A1 (ja) 2022-02-22 2022-02-22 感情情報活用装置、感情情報活用方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/007270 WO2023162009A1 (ja) 2022-02-22 2022-02-22 感情情報活用装置、感情情報活用方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023162009A1 true WO2023162009A1 (ja) 2023-08-31

Family

ID=87764963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007270 WO2023162009A1 (ja) 2022-02-22 2022-02-22 感情情報活用装置、感情情報活用方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023162009A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175336A (ja) * 2008-01-23 2009-08-06 Seiko Epson Corp コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラム
JP2015064826A (ja) * 2013-09-26 2015-04-09 日本電信電話株式会社 感情検索装置、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175336A (ja) * 2008-01-23 2009-08-06 Seiko Epson Corp コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラム
JP2015064826A (ja) * 2013-09-26 2015-04-09 日本電信電話株式会社 感情検索装置、方法及びプログラム

Similar Documents

Publication Publication Date Title
US10194029B2 (en) System and methods for analyzing online forum language
US10262195B2 (en) Predictive and responsive video analytics system and methods
US9992336B2 (en) System for analyzing interactions and reporting analytic results to human operated and system interfaces in real time
US8531501B2 (en) System and method for assisting an agent in a contact center
US8943394B2 (en) System and method for interacting with live agents in an automated call center
WO2014069120A1 (ja) 分析対象決定装置及び分析対象決定方法
JP7297797B2 (ja) 保留を管理するための方法および装置
JP6314579B2 (ja) 通信装置、通信方法及びプログラム
US10924611B2 (en) Voice recognition system and call evaluation setting method
WO2023162009A1 (ja) 感情情報活用装置、感情情報活用方法及びプログラム
JP2023532182A (ja) トーン及び音声分類のための累積平均スペクトルエントロピー分析
JP2019186707A (ja) 電話システムおよびプログラム
JP2018170611A (ja) コールセンタシステム及び通話監視方法
EP2693429A1 (en) System and method for analyzing voice communications
JPWO2020116531A1 (ja) 会話分析システム、方法及びプログラム
WO2022208711A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2014069444A1 (ja) 不満会話判定装置及び不満会話判定方法
JP2017053997A (ja) 音声認識装置、音声認識方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22928540

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024502264

Country of ref document: JP