WO2014069120A1 - 分析対象決定装置及び分析対象決定方法 - Google Patents

分析対象決定装置及び分析対象決定方法 Download PDF

Info

Publication number
WO2014069120A1
WO2014069120A1 PCT/JP2013/075242 JP2013075242W WO2014069120A1 WO 2014069120 A1 WO2014069120 A1 WO 2014069120A1 JP 2013075242 W JP2013075242 W JP 2013075242W WO 2014069120 A1 WO2014069120 A1 WO 2014069120A1
Authority
WO
WIPO (PCT)
Prior art keywords
specific
section
conversation
utterance
specific utterance
Prior art date
Application number
PCT/JP2013/075242
Other languages
English (en)
French (fr)
Inventor
岡部 浩司
祥史 大西
真 寺尾
真宏 谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US14/436,159 priority Critical patent/US10083686B2/en
Priority to JP2014544378A priority patent/JP6358093B2/ja
Publication of WO2014069120A1 publication Critical patent/WO2014069120A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936Speech interaction details
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5166Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present invention relates to a conversation analysis technique.
  • An example of a technology for analyzing conversation is a technology for analyzing call data.
  • data of a call performed in a department called a call center or a contact center is analyzed.
  • a contact center such a department that specializes in the business of responding to customer calls such as inquiries, complaints and orders regarding products and services.
  • Patent Document 1 a store clerk utterance section is specified from the voice of a call, and emotion recognition is performed for each store clerk utterance section, thereby calculating employee satisfaction for each store clerk utterance section.
  • a method for calculating the overall satisfaction based on the above has been proposed.
  • Patent Document 2 a voice keyword is extracted from a store clerk's talk section by voice recognition with respect to the customer's recorded data, and the customer's talk section is specified based on the collection timing associated with the voice keyword.
  • the customer's talk section having a predetermined time relationship with the store clerk utterance section and the store clerk's talk section is specified, but there may be many of these sections in the conversation (call). Is expensive. For example, even if the customer's anger is limited only, there are many utterance sections representing the customer's anger in a conversation in which the customer feels dissatisfied.
  • the present invention has been made in view of such circumstances, and provides a technique for realizing an efficient cause analysis regarding a specific emotion or specific action of a conversation participant in a conversation.
  • the first aspect relates to an analysis target determining apparatus.
  • the analysis target determining apparatus is configured to obtain a plurality of specific events in one conversation participant or a plurality of conversation participants in the conversation or one conversation in the conversation from data corresponding to the voice of the conversation.
  • a detection unit for detecting a plurality of specific utterance sections representing one specific event of the participant, and a cause analysis target regarding the specific event of the conversation participant of the conversation based on the plurality of specific utterance sections detected by the detection unit
  • a target determining unit that determines a cause analysis target section having a number smaller than the number of the plurality of specific utterance sections.
  • the second aspect relates to an analysis target determination method executed by at least one computer.
  • the analysis target determining method according to the second aspect is based on the data corresponding to the voice of the conversation, from one conversation participant of the conversation or a plurality of specific events in the conversation participants, or one conversation of the conversation.
  • a plurality of specific utterance sections representing one specific event of the participant are detected, and based on the detected plurality of specific utterance sections, the cause analysis target sections regarding the specific event of the conversation participant of the conversation, Determining a cause analysis target section having a number smaller than the number of the plurality of specific utterance sections.
  • Another aspect of the present invention may be a program that causes at least one computer to implement each configuration in the first aspect, or a computer-readable recording medium that records such a program. There may be.
  • This recording medium includes a non-transitory tangible medium.
  • FIG. 6 is a diagram illustrating an example of an analysis screen in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an analysis screen in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an analysis screen in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an analysis screen in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an analysis screen in Embodiment 1.
  • the analysis target determining apparatus uses one conversation participant of the conversation or a plurality of specific events in the conversation participant from data corresponding to the voice of the conversation, or one conversation of the conversation.
  • the analysis target determination method is executed by at least one computer, and from data corresponding to the voice of conversation, a plurality of specific events in one conversation participant or a plurality of conversation participants of the conversation, or , Detecting a plurality of specific utterance sections representing one specific event of one conversation participant of the conversation, and a cause related to the specific event of the conversation participants of the conversation based on the detected plurality of specific utterance sections Determining the number of cause analysis target sections that are analysis target sections, which is smaller than the number of the plurality of specific utterance sections.
  • conversation means that two or more speakers speak by expressing their intentions by uttering a language.
  • conversation participants can speak directly, such as at bank counters and cash registers at stores, and in remote conversations such as telephone conversations and video conferencing.
  • a continuous area where one conversation participant is speaking in the voice of the conversation is referred to as an utterance or an utterance section.
  • the utterance section is detected as a section in which the amplitude of a predetermined value or more continues in the speech waveform of the conversation participant.
  • a normal conversation is formed from an utterance section, a silent section, etc. of each conversation participant.
  • the utterance and the utterance section may be a sound section.
  • a plurality of specific utterance sections are detected from data corresponding to the voice of conversation.
  • the plurality of specific utterance sections to be detected are one specific event of one conversation participant of the conversation or one conversation participant of the conversation among the plurality of utterance sections forming the conversation. It is an utterance section representing a plurality of specific events or a plurality of specific events of a plurality of conversation participants of the conversation.
  • the specific event is a specific event of a conversation participant to be subjected to cause analysis, and a specific event of the conversation participant or another conversation participant related to the specific event. More specifically, the specific event is a specific emotion or specific behavior of a conversation participant, or a specific emotion possessed (performed) by another conversation participant in association with the specific emotion or specific behavior of the conversation participant. Or it is a specific action.
  • the specific emotion is at least one of the mental states held by human beings such as anger, dissatisfaction, satisfaction, interest and impression.
  • the specific action is at least one of human actions that are accompanied by the specific emotions such as apologizing, disconnecting a call, hitting a desk, and patting a tongue, and generating a sound.
  • an utterance interval in which a certain conversation participant is interested is exemplified. For example, an utterance interval of “true?” At a high tone of the conversation participant is detected as the specific utterance interval.
  • an utterance section indicating an apology of a conversation participant is exemplified. For example, a section in which the conversation participant uttered “I am sorry” is detected as a specific utterance section.
  • the specific emotion and the specific action are not limited.
  • the analysis target determination apparatus and the analysis target determination method described above are not limited to application to a contact center system that handles call data, and can be applied to various modes that handle conversation data. For example, they can also be applied to in-house call management systems other than contact centers, and personal terminals owned by PCs (Personal Computers), fixed telephones, mobile phones, tablet terminals, smartphones, etc. .
  • conversation data for example, data indicating conversation between a person in charge and a customer at a bank counter or a store cash register can be exemplified.
  • the term “call” refers to a call from when a caller has a caller to a caller until the call is disconnected.
  • FIG. 1 is a conceptual diagram showing a configuration example of a contact center system 1 in the first embodiment.
  • the contact center system 1 in the first embodiment includes an exchange (PBX) 5, a plurality of operator telephones 6, a plurality of operator terminals 7, a file server 9, a call analysis server 10, and the like.
  • the call analysis server 10 includes a configuration corresponding to the analysis target determination device in the above-described embodiment.
  • the exchange 5 is communicably connected via a communication network 2 to a call terminal (customer telephone) 3 such as a PC, a fixed telephone, a mobile phone, a tablet terminal, or a smartphone that is used by a customer.
  • the communication network 2 is a public network such as the Internet or a PSTN (Public Switched Telephone Network), a wireless communication network, or the like.
  • the exchange 5 is connected to each operator telephone 6 used by each operator of the contact center. The exchange 5 receives the call from the customer and connects the call to the operator telephone 6 of the operator corresponding to the call.
  • Each operator uses an operator terminal 7.
  • Each operator terminal 7 is a general-purpose computer such as a PC connected to a communication network 8 (LAN (Local Area Network) or the like) in the contact center system 1.
  • LAN Local Area Network
  • each operator terminal 7 records customer voice data and operator voice data in a call between each operator and the customer.
  • the customer voice data and the operator voice data may be generated by being separated from the mixed state by predetermined voice processing. Note that this embodiment does not limit the recording method and the recording subject of such audio data.
  • Each voice data may be generated by a device (not shown) other than the operator terminal 7.
  • the file server 9 is realized by a general server computer.
  • the file server 9 stores the call data of each call between the customer and the operator together with the identification information of each call.
  • Each call data includes time information, a pair of customer voice data and operator voice data, and the like.
  • Each voice data may include sounds input from the customer telephone 3 and the operator terminal 7 in addition to the voices of the customer and the operator.
  • the file server 9 acquires customer voice data and operator voice data from another device (each operator terminal 7 or the like) that records each voice of the customer and the operator.
  • the call analysis server 10 analyzes each call data stored in the file server 9 and outputs an analysis result according to the user's request.
  • the call analysis server 10 may display it on its own display device, or may display the analysis result on a browser on the user terminal by the WEB server function.
  • the call analysis server 10 has a CPU (Central Processing Unit) 11, a memory 12, an input / output interface (I / F) 13, a communication device 14 and the like as a hardware configuration.
  • the memory 12 is a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk, a portable storage medium, or the like.
  • the input / output I / F 13 is connected to a device such as a keyboard or a mouse that accepts input of a user operation, or a device that provides information to the user such as a display device or a printer.
  • the communication device 14 communicates with the file server 9 and the like via the communication network 8. Note that the hardware configuration of the call analysis server 10 is not limited.
  • FIG. 2 is a diagram conceptually illustrating a processing configuration example of the call analysis server 10 in the first embodiment.
  • the call analysis server 10 in the first embodiment includes a call data acquisition unit 20, a condition acquisition unit 21, a detection unit 22, a specification unit 23, a target determination unit 24, a display processing unit 25, and the like.
  • Each of these processing units is realized, for example, by executing a program stored in the memory 12 by the CPU 11. Further, the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card, or another computer on the network via the input / output I / F 13 and stored in the memory 12. Good.
  • a portable recording medium such as a CD (Compact Disc) or a memory card
  • the call data acquisition unit 20 acquires, from the file server 9, call data of a plurality of calls to be analyzed together with identification information of each call.
  • the plurality of call data may be acquired by communication between the call analysis server 10 and the file server 9, or may be acquired via a portable recording medium.
  • the condition acquisition unit 21 displays at least one of a condition for narrowing down a call to be analyzed (hereinafter referred to as a call condition) and a condition for specifying a specific utterance section (hereinafter referred to as a section condition). Obtained from the processing unit 25.
  • the section condition also acts as a condition for excluding a call in which a specific utterance section is not detected.
  • the specific utterance section is an utterance section that is a basis for determining a target section for customer dissatisfaction analysis among a plurality of utterance sections forming each call.
  • call conditions and section conditions may be specified.
  • each call condition for example, one of a keyword, an expression, and a sound accompanying a specific action of the caller is specified.
  • each section condition one specific event of one caller in the above-described embodiment is specified.
  • specific emotions or specific actions and their subjects are specified in each section condition.
  • the cause of the cause analysis is customer dissatisfaction
  • various events indicating customer dissatisfaction are specified in the call condition, and the customer's anger (dissatisfaction) emotion
  • the operator's apology behavior are included in the section condition Etc. are specified.
  • the present embodiment does not limit the call condition itself and the section condition itself.
  • the detection unit 22 analyzes the call data that matches all the call conditions from the plurality of call data acquired by the call data acquisition unit 20. Extract as Furthermore, when the section condition is acquired by the condition acquisition unit 21, the detection unit 22 detects a specific utterance section corresponding to each section condition in each call data that matches all the call conditions. Call data not including a specific utterance section is excluded from the analysis target.
  • the detection unit 22 includes a voice recognition unit 27, a specific expression table 28, an emotion recognition unit 29, and the like. Each of these processing units is also realized by executing a program in the same manner as other processing units.
  • the detection unit 22 executes at least one of the voice recognition unit 27 and the emotion recognition unit 29, thereby extracting call data that matches the call condition, detecting a specific utterance section according to the section condition, and the like.
  • the detection unit 22 Before executing at least one of the voice recognition unit 27 and the emotion recognition unit 29, the detection unit 22 detects each utterance section of the operator and the customer from each voice data of the operator and the customer included in the call data. May be. By this detection, the detection unit 22 acquires the start time and the end time of each utterance section.
  • the present embodiment does not limit the specific method for detecting the utterance section.
  • the utterance section may be detected by the voice recognition process of the voice recognition unit 27.
  • the call data acquisition unit 20 may acquire information on the utterance section of the call data together with the call data.
  • the operator's utterance section may include a sound input from the operator terminal 7, and the customer's utterance section may include a sound input from the customer telephone 3.
  • the voice recognition unit 27 performs voice recognition processing on each utterance section of each voice data of the operator and the customer included in the call data. Thereby, the voice recognition unit 27 acquires each voice text data and each utterance time data corresponding to the operator voice and the customer voice from the call data.
  • the voice text data is character data in which a voice uttered by a customer or an operator is converted into text.
  • Each utterance time data indicates the utterance time of each voice text data, and includes the start time and the end time of each utterance section in which each voice text data is obtained.
  • a known method may be used for the voice recognition process, and the voice recognition process itself and various voice recognition parameters used in the voice recognition process are not limited.
  • the voice recognition unit 27 may include a specific behavior sound detection unit 31.
  • the specific behavior sound detection unit 31 recognizes an event indicating customer dissatisfaction that can be specified as a call condition, such as an event in which a call is cut off in the middle or a call disconnect sound of a predetermined volume or higher.
  • the specific behavior sound detection unit 31 may hold the sound feature information of the disconnection sound in advance and recognize the disconnection sound using this information, or based on the call disconnection time data sent together with the call data, You may make it recognize the event by which the telephone call was interrupted on the way.
  • the voice recognition unit 27 may specify call data representing customer dissatisfaction using voice data using a known method.
  • the voice recognition process itself by the voice recognition unit 27 is not limited.
  • the specific expression table 28 holds specific expression data that can be specified by the call condition and the section condition.
  • the specific expression data is held as character data.
  • the specific expression table 28 holds the thanks expression data and the apology expression data as the specific expression data in such a manner that it can be distinguished from the thank expression and the apology expression.
  • the emotion recognition unit 29 performs emotion recognition processing on each utterance section of at least one voice data of the operator and the customer included in the call data based on the section condition acquired by the condition acquisition section 21.
  • the emotion recognition unit 29 acquires prosodic feature information from the speech in each utterance section, and uses this prosodic feature information to determine whether each utterance section represents a specific event specified by the section condition. .
  • the prosodic feature information for example, a fundamental frequency, voice power, or the like is used.
  • a known technique may be used for the emotion recognition process (see the following reference example), and the emotion recognition process itself is not limited.
  • Yoshio Nomoto et al. "Estimation of anger feeling from dialogue speech using temporal relationship between prosodic information and utterance", Proceedings of the Acoustical Society of Japan, 89-92, March 2010
  • the emotion recognition unit 29 may determine whether or not each utterance section represents a specific event of the caller specified by the section condition by using an identification model of SVM (Support Vector Vector Machine). Specifically, when “customer anger” can be designated as the section condition, the emotion recognition unit 29 gives prosodic feature information of the utterance sections of “anger” and “normal” as learning data, and “anger” An identification model learned to discriminate between “normal” and “normal” may be stored in advance. Also, if “operator's normal apology” and “operator's deep apology” can be specified as the section condition, the emotion recognizing unit 29 determines the prosodic features of the utterance sections of “operator's normal apology” and “operator's deep apology”.
  • SVM Serial Vector Vector Machine
  • the emotion recognition unit 29 selects an identification model corresponding to the acquired section condition, and gives prosodic feature information of each utterance section to the selected identification model, whereby each utterance section is designated by the section condition. It is determined whether or not it represents a specific event of the caller.
  • the detection unit 22 stores the voice text data of each utterance section of the customer obtained in the execution of the voice recognition unit 27 in the specific expression table 28.
  • the call data that does not include the expressed thank-you expression data is extracted as call data that matches the call conditions.
  • the detection unit 22 determines whether or not the event has occurred for each call by the above-described processing of the voice recognition unit 27 for the customer's voice data. And call data including the event is extracted as an analysis target.
  • the detection unit 22 specifies each utterance section determined to represent “anger” by the emotion recognition unit 29 regarding the customer's voice data as a specific utterance section. At the same time, the call data in which the specific utterance section is not detected is excluded from the analysis target.
  • the specifying unit 23 specifies at least one reference time for a specific utterance section of each call detected by the detection unit 22 by a method corresponding to at least one specific event represented by the specific utterance section.
  • the specifying unit 23 has a reference time specifying method determined for each section condition.
  • the specifying unit 23 executes the following specifying method for the section condition in which a plurality of specific utterance sections are detected.
  • the specifying unit 23 includes a plurality of first specific utterance sections representing one specific event of one caller, and each of the first specific utterance sections having a time width between adjacent first specific utterance sections shorter than a predetermined time. At least one reference time is specified from within a section formed by combining pairs.
  • the specifying unit 23 specifies the reference time by using the specific utterance section as it is for the specific utterance section detected by the detection unit 22 according to other section conditions.
  • the predetermined time may be switched for each section condition. If the predetermined time is set to 0 (zero) or no value (NULL), the specific utterance section detected by the detection unit 22 may be used as it is, and the reference time may be specified.
  • the present inventors have derived that there is a high possibility that there is a cause related to the specific event around a certain time in a plurality of specific utterance intervals that occur continuously. For example, if there are continuous utterances that represent the dissatisfaction of the customer who is a conversation participant, the cause of the customer's dissatisfaction does not exist in the vicinity of all the utterances.
  • the present inventors have found that there are utterance sections that are less likely to occur frequently but have a high possibility that the cause of the specific event to be subjected to cause analysis exists. For example, it has been derived that an utterance section representing an apology of a conversation participant has such characteristics. Furthermore, there are light apologies and deep apologies for the apology of conversation participants, and it was found that the above-mentioned characteristic tendency is stronger in the utterance section expressing deep apology than in the utterance section expressing light apology. . Therefore, in the present embodiment, as described above, the specifying unit 23 switches the reference time specifying method for each section condition.
  • the specifying unit 23 specifies a reference time for a specific utterance section indicating customer dissatisfaction or a light apology of the operator using the same specification method as that of the first specific utterance section described above, and a specific utterance indicating the deep appreciation of the operator For the section, the reference time is specified using the same specification method as that for the second specific utterance section described above.
  • the first specific utterance section represents customer dissatisfaction
  • the first specific utterance section that is shorter than a predetermined time between adjacent first specific utterance sections is positioned at the head of the section formed by combining the pairs.
  • At least one reference time is specified based on the first specific utterance section. Note that the switching of the reference time specifying method is not limited only to the relationship between the customer's anger and the operator's apology.
  • the reference time specifying method using the first specific utterance section or the second specific utterance section is not limited.
  • the start time or end time of the specific utterance section may be set as the reference time, or any one time within the specific utterance section may be set as the reference time.
  • a time obtained by adding a certain predetermined time to any one time in the specific utterance section may be set as the reference time.
  • a plurality of times in the specific utterance section may be set to a plurality of types of reference times such that the start time of the specific utterance section is the reference time A and the end time is the reference time B.
  • the object determining unit 24 determines a predetermined time range based on the reference time specified by the specifying unit 23 as a cause analysis target section of customer dissatisfaction.
  • the cause analysis target section may be determined in a predetermined time range starting from the reference time, may be determined in a predetermined time range starting from the reference time, or may be determined in a predetermined range centering on the reference time. It may be determined.
  • the cause analysis target section is determined to be a range in which a time that is a predetermined time before the reference time A starts and a time that is a predetermined time after the reference time B ends. May be.
  • the target determining unit 24 When a plurality of section conditions are specified, the target determining unit 24 finally determines a range that overlaps a plurality of cause analysis target sections determined based on each reference time obtained from each section condition. The cause of customer dissatisfaction is determined as the analysis target section.
  • the predetermined time range for determining the cause analysis target section may be set to a different value for each section condition, or may be set to the same value.
  • the target determination unit 24 excludes, from the analysis targets, the call data for which the final cause analysis target section has not been set by the target determination unit 24 from among the call data extracted by the detection unit 22.
  • FIG. 3 is a diagram conceptually illustrating an example of determining the cause analysis target section in the first embodiment.
  • the predetermined time width used for specifying the reference time is indicated by x
  • the predetermined time range used for determining the cause analysis target section is indicated by (a + b).
  • the start time of the first specific utterance section in the combined section is determined as the reference time
  • the range of the previous a seconds and the subsequent b seconds is analyzed with the reference time as the central time point. Determined as the target section.
  • this embodiment does not restrict
  • the time widths a and b may be the same value.
  • FIG. 4 is a diagram conceptually illustrating an example of determining a cause analysis target section in the first embodiment.
  • a plurality of specific utterance sections are detected and reference times are specified for two section conditions of customer (CU) anger and operator (OP) deep appreciation.
  • CU customer
  • OP operator
  • the time range of a second before and b seconds after the reference time is determined as the cause analysis target section, and the reference time is selected for the deep appreciation of the operator.
  • a time range of m seconds before and n seconds after is determined as the cause analysis target section.
  • a range in which the target sections corresponding to the customer's anger and the operator's deep appreciation overlap is determined as the cause analysis target section regarding the customer's dissatisfaction.
  • the display processing unit 25 includes a plurality of first drawing elements that individually represent a plurality of specific utterance sections detected by the detection unit 22 and a second drawing element that represents a target section for cause analysis determined by the target determination unit 24. However, for each call extracted as an analysis target, drawing data arranged in accordance with the time series in the call is generated.
  • the display processing unit 25 displays the analysis result screen on the display device connected to the call analysis server 10 via the input / output I / F 13 based on the drawing data. Further, the display processing unit 25 may have a WEB server function and display the drawing data on the WEB client device. Further, the display processing unit 25 displays an input screen for allowing the user to specify the call condition and the section condition. Thereby, the condition acquisition part 21 acquires the telephone call conditions and area conditions designated by the user via this input screen.
  • FIG. 5 is a flowchart showing an operation example of the call analysis server 10 in the first embodiment.
  • the call analysis server 10 has already acquired a plurality of call data.
  • the call analysis server 10 acquires a plurality of call data stored in the file server 9.
  • the call analysis server 10 acquires at least one of a call condition and a section condition (S50).
  • the call analysis server 10 displays at least one of the call condition and the section condition input via the input screen by displaying the input screen on the display device.
  • the call analysis server 10 determines whether or not the voice recognition process is necessary based on the call condition and the section condition acquired in (S50) (S51). The call analysis server 10 previously holds information on whether or not voice recognition processing is necessary for each call condition and each section condition.
  • the call analysis server 10 performs voice recognition processing on the plurality of acquired call data in response to the determination of (S51) (S51; YES) (S53).
  • this voice recognition process is a process for acquiring voice text data from the voice data of each utterance section, a process for detecting an event in which a call is cut off in the middle, a call disconnect sound of a predetermined volume or more, etc. from the voice data.
  • the call analysis server 10 determines a specific voice recognition process based on the condition acquired in (S50).
  • the call analysis server 10 Based on the result of the voice recognition process in (S52), the call analysis server 10 relates to each call data that has been subject to the voice recognition process in (S52), and is indicated by the section condition acquired in (S50). A specific utterance section representing the specific event is detected (S53). In (S50), when the section condition requiring the voice recognition process is not acquired, (S53) is not executed.
  • the call analysis server 10 does not satisfy the condition acquired in (S50) among the plurality of call data targeted for the voice recognition process in (S52) based on the result of the voice recognition process in (S52).
  • the call data and the call data in which the specific utterance section is not detected by executing (S53) are excluded from the analysis target (S54).
  • the call analysis server 10 determines whether or not emotion recognition processing is necessary based on the conditions acquired in (S50) (S55). The call analysis server 10 previously holds information on whether or not emotion recognition processing is necessary for each call condition and each section condition.
  • the call analysis server 10 In response to the determination in (S55) (S55; YES), the call analysis server 10 recognizes emotions for a plurality of call data acquired in advance or the call data extracted as an analysis target in (S54). The process is executed (S56). As described above, the emotion recognition process determines whether or not each utterance section represents a specific event of the caller corresponding to the condition acquired in (S50). For example, the call analysis server 10 selects an identification model corresponding to the condition acquired in (S50), and performs emotion recognition processing using the selected identification model.
  • the call analysis server 10 Based on the result of the emotion recognition process in (S56), the call analysis server 10 relates to each call data targeted for the emotion recognition process in (S56), and a specific utterance representing a specific event of the caller corresponding to the section condition Each section is detected (S57).
  • the call analysis server 10 narrows down the call data based on the detection result of (S57) (S58). In other words, the call analysis server 10 excludes the call data for which the specific utterance section is not detected in (S57) from the analysis target.
  • the call analysis server 10 determines whether or not the detected specific utterance section exists in the processing so far (S59). When there is a specific utterance section (S59; YES), the call analysis server 10 uses at least one reference time from each specific utterance section of each call using a specific method according to the section condition for each section condition. Specify (S60). The specific identification method is as described above.
  • the call analysis server 10 determines a cause analysis target section of customer dissatisfaction for each call based on each reference time of each call (S61). At this time, when a plurality of section conditions are acquired, the call analysis server 10 determines a section that overlaps with each cause analysis target section corresponding to each section condition as a final cause analysis target section of dissatisfaction.
  • the call analysis server 10 detects at least one of (S53) and (S57) for each call data extracted as an analysis target in the processing so far, or for each call corresponding to each call data acquired in advance.
  • a plurality of first drawing elements individually representing the specified specific utterance sections, and second drawing elements representing the cause analysis target sections determined in (S61) are generated in accordance with the time series in the call. To do.
  • the call analysis server 10 displays an analysis result screen on the display device based on the drawing data (S62).
  • a specific utterance section representing one specific event of one caller indicated by the section condition is detected.
  • the periphery of a certain time in the segment is the reference point (the head periphery in the case of customer anger).
  • the reference point For specific utterance sections that do not appear frequently but are likely to be close to the location that indicates the cause of customer dissatisfaction, such as the deep gratitude of the operator, each of them is used as a reference point (reference time). Then, a predetermined time range based on this reference time is determined as a cause analysis target section of customer dissatisfaction.
  • the above-described information processing reflecting the occurrence characteristics of the specific event of the caller such as the customer's anger and the operator's deep appreciation is executed. Furthermore, when a plurality of section conditions are designated, a range in which cause analysis target sections determined from each specific utterance section corresponding to each section condition overlap is determined as a final cause analysis target section.
  • a plurality of specific utterance sections representing at least one specific event of at least one caller, and a cause analysis of customer dissatisfaction obtained from the plurality of specific utterance sections are output. Therefore, according to the first embodiment, for each call, while confirming the distribution of the specific utterance section representing the specific event of the caller, the location of the cause analysis target section regarding customer dissatisfaction can be confirmed at the same time. It is possible to easily grasp the outline of the entire call regarding customer dissatisfaction and the utterance situation around the cause analysis target section. Furthermore, according to the first embodiment, it becomes easy to analyze which particular event of which party is more useful for identifying the cause of customer dissatisfaction.
  • FIGS. 6 to 8 are diagrams illustrating examples of analysis screens according to the first embodiment.
  • the analysis screens shown in FIGS. 6 to 8 include an analysis result screen displayed by the display processing unit 25 in the first embodiment described above, and a screen for inputting call conditions and section conditions.
  • This analysis screen includes a call condition designation part G51, a section condition designation part G52, an analysis execution button G53, an analysis result display part G55, and the like.
  • Elements G51, G52, and G53 correspond to the input screen
  • element G55 corresponds to the analysis result screen.
  • each condition is determined using only voice text data or voice data as an analysis attribute.
  • “keyword” and “no CU thanks” in the call condition and “OP apology (“ apology ”expression”) in the section condition are determined using only the voice text data.
  • “CU anger (“ phone disconnecting sound ”behavior)” in the call condition, “OP apology (shen xie)” and “CU anger (“ anger ”emotion)” in the section condition are determined using voice data.
  • CU indicates a customer and OP indicates an operator.
  • the analysis result display unit G55 represents each call indicated by each call data extracted as an analysis target by the detection unit 22 among a plurality of call data acquired by the call data acquisition unit 20 for each row.
  • the date and time when each call was made is displayed, and the time series of each call is represented from the left to the right of the page.
  • each specific utterance section detected for each section condition and an utterance section including a keyword given as the call condition are divided into lines and respectively represented. It is.
  • a region indicating an utterance section including a keyword is shown in a colored manner on the top line of each call column (reference numeral G55-1 in FIG.
  • FIG. 7 in addition to the region indicating the utterance interval including the keyword (reference numeral G55-1 in FIG. 6), the region indicating the specific utterance interval indicating “CU anger (“ anger ”emotion)” is the highest in each call column. It is shown colored in the lower row (reference numeral G55-2 in FIG. 7).
  • a region (Symbol G55-1 in FIG. 6) indicating an utterance interval including a keyword and a region (Symbol G55-2 in FIG. 7) indicating a specific utterance interval representing “CU anger (“ anger ”emotion)”.
  • a region indicating a specific utterance section representing “OP apology (“ Fukasetsu ”status)” is colored and represented in the second line from the bottom of each call column (reference numeral G55 in FIG. 8). -3).
  • the cause analysis target section related to the customer dissatisfaction determined by the target determination unit 24 indicates the time range. (G55-5). Furthermore, identification information (numerical values in the examples of FIGS. 7 and 8) for identifying the cause analysis target section is set in the cause analysis target section represented in each communication column in the time series order of the call.
  • the target section of the cause analysis determined based on the specific utterance section is displayed. Therefore, according to the first embodiment, for each call, it is possible to simultaneously confirm the position of the cause analysis target section regarding the specific emotion while confirming the distribution of the specific utterance section representing the specific event of the caller. It becomes easy to grasp the outline of the entire call regarding the dissatisfaction of the voice and the utterance situation around the cause occurrence section.
  • the display processing unit 25 may display a screen for specifically confirming the content of the call as shown in FIG.
  • FIG. 9 is a diagram illustrating an example of a call content confirmation screen according to the first embodiment. For example, when a call is selected on the analysis screens shown in FIGS. 6 to 8, the display processing unit 25 displays the call content confirmation screen for the selected call.
  • the date and time of the call and the contents of the inquiry are shown at the top of the screen.
  • the inquiry content is, for example, data input by the operator using the operator terminal 7 and is acquired by the call data acquisition unit 20 together with each call data.
  • the call content confirmation screen includes an utterance information display part G81.
  • the utterance information display unit G81 displays each utterance section in each row, and displays the start time G81-1, the utterer (OP or CU) G81-2, and the voice text data G81-3 for each utterance section. To do.
  • the voice text data G81-3 is data acquired by the voice recognition unit 27 described above.
  • the utterance information display unit G81 is configured to display information of all utterance sections by scrolling the screen when the information of all utterance sections cannot be displayed.
  • the utterance section included in the cause analysis target section regarding customer dissatisfaction determined by the target determination unit 24 is displayed so as to be distinguishable from other utterance sections.
  • the utterance section is displayed with a thick frame (G81-5).
  • each specific utterance section corresponding to each section condition is displayed so as to be distinguishable.
  • the user can identify the specific cause which made the customer dissatisfied easily by confirming the actual utterance content of the cause analysis object section and its periphery.
  • the identification information of the cause analysis target section regarding the customer dissatisfaction determined by the target determination unit 24 is listed on the call content confirmation screen (reference numeral G82).
  • the display processing unit 25 detects the selection operation of the identification information, and automatically scrolls the utterance information display unit G81 so that the utterance section included in the cause analysis target section specified by the selected identification information is displayed. Furthermore, when each line of the utterance information display part G81 is selected, it is possible to reproduce the voice of the utterance section corresponding to the selected line. As a result, the user can immediately confirm the utterance section estimated to cause the customer's dissatisfaction by the call analysis server 10 and the utterance contents in the vicinity thereof, and can perform the cause analysis work efficiently.
  • the keyword “keyboard” is designated as a call condition (call condition designation part G51).
  • the call analysis server 10 acquires the keyword “keyboard” as a call condition.
  • the call analysis server 10 matches the call data including the keyword “keyboard” in the voice text data of each utterance section of the customer obtained by the execution of the voice recognition unit 27 with the call conditions. Extract as call data.
  • the analysis result display unit G55 displays only calls having an utterance section including the keyword.
  • the call analysis server 10 specifies an utterance section including the keyword (not referred to as a specific utterance section), and for each of these calls, an area indicating the utterance section including the keyword is colored and displayed.
  • the call analysis server 10 specifies each utterance section determined to represent “anger” by the emotion recognition unit 29 for each utterance section of the customer of each extracted call data as a specific utterance section, and also specifies a specific utterance. Call data for which no section has been detected is excluded from extraction targets.
  • the call analysis server 10 specifies a reference time from a specific utterance section representing customer anger, and determines a cause analysis target section regarding customer dissatisfaction based on the reference time. Since there are locations where the specific utterance section representing the customer's anger is continuously generated, the call analysis server 10 specifies the reference time using the specific utterance section at the head of the portion.
  • the call analysis server 10 acquires the call condition (keyword “keyboard”), the section condition “CU anger (“ anger ”feeling)”, and the section condition “OP apology (“ depth apology ”situation)”.
  • the section condition of “OP apology (“ Shen Xie ”status)” is processed as follows. First, the call analysis server 10 specifies the utterance section of the operator including the apology expression data held in the specific expression table 28 based on the operator's voice text data obtained by the execution of the voice recognition unit 27.
  • the call analysis server 10 specifies an utterance section determined to represent “deep appreciation” by the emotion recognition unit 29 for each specified utterance section as a specific utterance section that matches the section condition. Then, the call analysis server 10 overlaps the cause analysis target section obtained from the reference time of the specific utterance section representing the customer's anger and the cause analysis target section obtained from the reference time of the specific utterance section representing the deep appreciation of the operator. Is determined as a cause analysis target section regarding customer dissatisfaction.
  • the number of cause analysis target sections can be reduced by increasing the section condition, that is, the specific event of the caller.
  • the section condition that is, the specific event of the caller.
  • the cause analysis target section may actually increase the probability of including an event that causes customer dissatisfaction. Because it can. Thereby, the efficiency of the cause analysis regarding the specific event of the caller in the call can be improved.
  • a specific utterance section that represents one specific event of one talker that occurs continuously is one of them.
  • the cause analysis target section was determined from the part (top).
  • the cause analysis is performed from each specific utterance section even if the specific utterance section is continuously generated depending on the specified section condition, that is, the specific event of the caller. It does not exclude the form in which the target section is determined.
  • a range that overlaps with a plurality of cause analysis target sections determined based on a plurality of designated section conditions is finally determined as a cause analysis target section of customer dissatisfaction with the call.
  • the cause analysis target section can be narrowed down from all the specific utterance sections.
  • the above-described call analysis server 10 may be realized by a plurality of computers.
  • the detection unit 22 may be realized on at least one other computer.
  • the call analysis server 10 may provide the detection unit 22 with information on the call condition and the section condition, and may acquire the start end time and the end time regarding the specific utterance section from the detection unit 22.
  • call data is handled.
  • the analysis target determination device and the analysis target determination method described above may be applied to devices and systems that handle conversation data other than calls.
  • a recording device for recording a conversation to be analyzed is installed at a place (conference room, bank window, store cash register, etc.) where the conversation is performed. Further, when the conversation data is recorded in a state in which the voices of a plurality of conversation participants are mixed, the conversation data is separated from the mixed state into voice data for each conversation participant by a predetermined voice process.
  • An analysis object determination device comprising:
  • (Appendix 2) A specifying unit that specifies at least one reference time from the plurality of specific utterance sections by at least one method according to at least one specific event represented by the plurality of specific utterance sections detected by the detection unit;
  • the target determining unit determines a predetermined time range based on the at least one reference time specified by the specifying unit as the cause analysis target section;
  • the analysis object determination apparatus according to attachment 1.
  • the at least one reference is selected from the sections formed by combining pairs of first specific utterance sections in which the time width between adjacent first specific utterance sections is shorter than a predetermined time. Identify time, The analysis target determination device according to attachment 2.
  • the specific unit includes the plurality of specific utterance sections detected by the detection unit, the plurality of first specific utterance sections, and the conversation different from the specific event of the conversation participant represented by the plurality of first specific utterance sections.
  • the reference time is further specified using the second specific utterance section as it is,
  • the target determining unit further determines a predetermined time range based on a reference time obtained from the second specific utterance section as the cause analysis target section;
  • the analysis object determination device according to attachment 3.
  • the specific unit includes a first specific utterance section representing one specific event of one conversation participant of the conversation and a plurality of specific utterance sections detected by the detection unit.
  • the first specific utterance interval and the The reference time is specified using the second specific utterance section as it is,
  • the target determining unit determines a predetermined time range based on each reference time obtained from the first specific utterance section and the second specific utterance section, respectively, as the cause analysis target section.
  • the analysis target determination device according to attachment 2.
  • the target determination unit is configured to determine the cause determined based on the reference time obtained from the cause analysis target section and the second specific utterance section determined based on the reference time obtained from the first specific utterance section. 6.
  • the analysis target determining device according to appendix 4 or 5, wherein a section overlapping with the analysis target section is determined as the cause analysis target section.
  • the detecting unit detects the plurality of first specific utterance sections representing dissatisfaction of the first conversation participant and the second specific utterance section representing an apology of the second conversation participant;
  • the target determining unit determines the cause analysis target section related to dissatisfaction of the first conversation participant.
  • the analysis object determination device according to appendix 4 or 6.
  • Appendix 8 A plurality of first drawing elements that individually represent a plurality of specific utterance sections detected by the detection unit, and a second drawing element that represents the cause analysis target section determined by the target determination unit, A drawing data generation unit for generating drawing data arranged in time series,
  • the analysis object determination device according to any one of appendices 1 to 7, further comprising:
  • the drawing data generation unit displays a plurality of speech text data related to a plurality of utterance sections of the conversation along a time series in the conversation for each utterance section, and the speech of the utterance section included in the cause analysis target section Text data is displayed so as to be distinguishable from others, drawing data in which identification information of the cause analysis target section is displayed is generated, and in response to a user operation on the identification information on a display screen based on the drawing data, Enable screen transition such that the speech text data of the utterance section included in the cause analysis target section specified by the identification information is displayed.
  • the analysis object determination device according to attachment 8.
  • Appendix 10 In an analysis object determination method executed by at least one computer, A plurality of specific events in one conversation participant or a plurality of conversation participants of the conversation or one specific event of one conversation participant in the conversation from data corresponding to the voice of the conversation To detect a specific utterance section of Based on the plurality of detected specific utterance sections, determine a cause analysis target section related to a specific event of the conversation participant of the conversation, which is less than the number of the plurality of specific utterance sections. To Analytical object determination method.
  • Appendix 11 Identifying at least one reference time from the plurality of specific utterance intervals by at least one method according to at least one specific event represented by the plurality of specific utterance intervals detected; A predetermined time range based on the specified at least one reference time is determined as the cause analysis target section;
  • the reference time is specified when the plurality of detected specific utterance sections include a plurality of first specific utterance sections representing one specific event of one conversation participant of the conversation.
  • the at least one reference time is selected from the sections formed by combining pairs of the first specific utterance sections whose time width between adjacent first specific utterance sections is shorter than a predetermined time. Identify The analysis object determination method according to attachment 11.
  • the identification of the reference time is different from the conversation event specific event represented by the plurality of first specific utterance sections and the plurality of first specific utterance sections in the plurality of detected specific utterance sections.
  • the reference time is further specified using the second specific utterance section as it is.
  • the determination of the cause analysis target section further determines a predetermined time range based on a reference time obtained from the second specific utterance section as the cause analysis target section.
  • the reference time is specified by a first specific utterance section representing one specific event of one conversation participant of the conversation and a conversation represented by the first specific utterance section in the plurality of detected specific utterance sections.
  • the first specific utterance interval and the second specific utterance interval 2 Specify the reference time using the specific utterance section as it is.
  • the determination of the cause analysis target section is to determine a predetermined time range based on each reference time respectively obtained from the first specific utterance section and the second specific utterance section as the cause analysis target section.
  • the analysis object determination method according to attachment 11.
  • the determination of the cause analysis target section is performed based on the reference time obtained from the cause analysis target section and the second specific utterance section determined based on the reference time obtained from the first specific utterance section. 15. The analysis target determination method according to appendix 13 or 14, wherein a section where the cause analysis target section overlaps is determined as the cause analysis target section.
  • the detection of the specific utterance section detects the plurality of first specific utterance sections representing dissatisfaction of the first conversation participant and the second specific utterance section representing an apology of the second conversation participant, The determination of the cause analysis target section determines the cause analysis target section related to the dissatisfaction of the first conversation participant.
  • the analysis target determination method according to attachment 13 or 15.
  • Appendix 17 A drawing in which a plurality of first drawing elements individually representing the plurality of detected specific utterance sections and a second drawing element representing the determined cause analysis target section are arranged according to a time series in the conversation Generate data, The analysis target determination method according to any one of appendices 10 to 16, further including:
  • Appendix 20 A computer-readable recording medium on which the program according to appendix 19 is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)

Abstract

 分析対象決定装置は、会話の音声に対応するデータから、当該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、当該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出する検出部と、検出部により検出される複数の特定発話区間に基づいて、当該会話の会話参加者の特定事象に関する原因分析対象区間であって、それら複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する対象決定部と、を有する。

Description

分析対象決定装置及び分析対象決定方法
 本発明は、会話の分析技術に関する。
 会話を分析する技術の一例として、通話データを分析する技術がある。例えば、コールセンタ、コンタクトセンタなどと呼ばれる部署で行われる通話のデータが分析される。以降、このような、商品やサービスに関する問い合わせや苦情や注文といった顧客からの電話に応対する業務を専門的に行う部署をコンタクトセンタと表記する。
 コンタクトセンタに寄せられる顧客の声には、顧客ニーズや満足度などが反映されている場合が多く、顧客との通話からそのような顧客の感情やニーズを抽出することは、リピータ顧客を増加させるために企業にとって大変重要である。このように通話者の感情等を抽出することが望まれる対象通話は、コンタクトセンタにおける通話だけに留まらない。
 下記特許文献1には、通話の音声から店員発話区間を特定し、店員発話区間ごとに感情認識を行うことで、店員発話区間ごとに従業員満足度を算出し、算出された従業員満足度に基づいて総合的な満足度を算出する手法が提案されている。下記特許文献2には、接客の録音データに対する音声認識により、店員の話し掛け区間から音声キーワードを抽出し、この音声キーワードに関連付けられた収集タイミングに基づいて、顧客の話し掛け区間を特定し、この特定された顧客の話し掛け区間の音声データを対象に感情認識を行う手法が提案されている。
特開2011-237957号公報 特開2011-210100号公報
 しかしながら、上述のような各提案手法では、店員発話区間や店員の話し掛け区間と所定の時間関係にある顧客の話し掛け区間が特定されるが、会話(通話)内ではこれら区間は多数存在する可能性が高い。例えば、顧客の怒りの感情のみに制限したとしても、顧客が不満を感じた会話において、その顧客の怒りを表す発話区間は、多数存在することが多い。
 従って、上述のような各提案手法では、或る会話における、会話に参加する者(以降、会話参加者と表記する)の特定感情又は特定行動に関する原因を分析したい場合に、上述のように特定された多数の区間を分析対象とする必要があるため、分析効率が悪い。
 本発明は、このような事情に鑑みてなされたものであり、会話における会話参加者の特定感情又は特定行動に関する原因分析の効率化を実現する技術を提供する。
 本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
 第1の態様は、分析対象決定装置に関する。第1態様に係る分析対象決定装置は、会話の音声に対応するデータから、当該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、当該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出する検出部と、検出部により検出される複数の特定発話区間に基づいて、当該会話の会話参加者の特定事象に関する原因分析対象区間であって、それら複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する対象決定部と、を有する。
 第2の態様は、少なくとも1つのコンピュータにより実行される分析対象決定方法に関する。第2態様に係る分析対象決定方法は、会話の音声に対応するデータから、当該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、当該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出し、検出される複数の特定発話区間に基づいて、当該会話の会話参加者の特定事象に関する原因分析対象区間であって、それら複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する、ことを含む。
 なお、本発明の他の態様としては、上記第1の態様における各構成を少なくとも1つのコンピュータに実現させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
 上記各態様によれば、会話における会話参加者の特定感情又は特定行動に関する原因分析の効率化を実現する技術を提供することができる。
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1実施形態におけるコンタクトセンタシステムの構成例を示す概念図である。 第1実施形態における通話分析サーバの処理構成例を概念的に示す図である。 第1実施形態における原因分析対象区間の決定の例を概念的に示す図である。 第1実施形態における原因分析対象区間の決定の例を概念的に示す図である。 第1実施形態における通話分析サーバの動作例を示すフローチャートである。 実施例1における分析画面の一例を示す図である。 実施例1における分析画面の一例を示す図である。 実施例1における分析画面の一例を示す図である。 実施例1における通話内容確認画面の例を示す図である。
 以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
 本実施形態に係る分析対象決定装置は、会話の音声に対応するデータから、当該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、当該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出する検出部と、検出部により検出される複数の特定発話区間に基づいて、当該会話の会話参加者の特定事象に関する原因分析対象区間であって、それら複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する対象決定部と、を有する。
 本実施形態に係る分析対象決定方法は、少なくとも1つのコンピュータにより実行され、会話の音声に対応するデータから、当該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、当該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出し、検出される複数の特定発話区間に基づいて、当該会話の会話参加者の特定事象に関する原因分析対象区間であって、それら複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する、ことを含む。
 ここで、会話とは、2以上の話者が、言語の発声などによる意思表示によって、話をすることを意味する。会話には、銀行の窓口や店舗のレジ等のように、会話参加者が直接、話をする形態もあれば、通話機を用いた通話やテレビ会議等のように、離れた位置にいる会話参加者同士が話をする形態もあり得る。また、会話の音声中、一人の会話参加者が声を発している連続領域を発話又は発話区間と表記する。例えば、発話区間は、会話参加者の音声波形において所定値以上の振幅が継続している区間として検出される。通常の会話は、各会話参加者の発話区間、無声区間などから形成される。ここで、音声には、人間が発する声に加えて、人間以外の物から生じる音も含まれる。よって、発話及び発話区間は、音の区間であってもよい。
 本実施形態では、会話の音声に対応するデータから、複数の特定発話区間が検出される。検出される複数の特定発話区間は、当該会話を形成する複数の発話区間の中の、当該会話の1人の会話参加者の1つの特定事象、又は、当該会話の1人の会話参加者の複数の特定事象、若しくは、当該会話の複数の会話参加者の複数の特定事象を表す発話区間である。ここで、特定事象とは、原因分析の対象となる会話参加者の特定事象、及び、その特定事象に関連するその会話参加者又は他の会話参加者の特定事象である。更に具体的には、特定事象とは、会話参加者の特定感情又は特定行動、若しくは、その会話参加者のその特定感情又はその特定行動に伴って他の会話参加者が持つ(行う)特定感情又は特定行動である。
 ここで、特定感情とは、例えば、怒り、不満、満足感、興味、感動などのような人間が抱く心的状態の中の少なくとも1つである。特定行動とは、謝罪をする、通話を切断する、机を叩く、舌打ちをするなどといった上記特定感情に伴い行われかつ音声を生じさせる人間の動作の中の少なくとも1つである。上記特定発話区間の一例として、或る会話参加者が興味を表す発話区間が例示され、例えば、会話参加者の高いトーンでの「本当ですか」という発声区間が特定発話区間として検出される。また、他の例として、会話参加者の謝罪を表す発話区間が例示され、例えば、会話参加者が「申し訳ございません」と発声した区間が特定発話区間として検出される。なお、本実施形態において上記特定感情及び上記特定行動は制限されない。
 このような特定発話区間は、会話参加者が特定事象を引き起こす会話内に、複数存在する場合が多い。従って、このように検出された全ての特定発話区間を分析対象とするのでは、効率が悪い。そこで、本実施形態では、このように検出された複数の特定発話区間に基づいて、当該会話の会話参加者の特定事象に関する原因分析対象区間であって、それら複数の特定発話区間の数よりも少ない数の原因分析対象区間が決定される。複数の特定発話区間からそれよりも数の少ない原因分析対象区間を決める方法は、後述する詳細実施形態及び実施例で示すように複数存在し得るため、後述の複数の方法や他の周知の手法を用いて、原因分析対象区間を決めることができる。
 このように、本実施形態によれば、全ての特定発話区間を分析対象とするのではなく、それらの特定発話区間から推定される当該原因が存在する可能性が高い部分のみを分析対象とすることができるため、原因分析の効率を向上させることができる。
 以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として、第1実施形態を例示する。以下の実施形態は、上述の分析対象決定装置及び分析対象決定方法をコンタクトセンタシステムに適用した場合の例である。よって、以下の詳細実施形態では、コンタクトセンタにおける、顧客とオペレータとの間の通話が、分析対象の会話に設定される例が示される。これにより、会話参加者は、通話者であり、顧客とオペレータである。また、以下の詳細実施形態では、顧客の不満(怒り)が、原因分析の対象の特定感情に設定される。但し、本実施形態は、原因分析の対象の特定感情を制限しない。例えば、顧客の満足感、顧客の関心度、オペレータのストレス感など他の特定感情が原因分析の対象に設定されてもよい。
 また、上述の分析対象決定装置及び分析対象決定方法は、通話データを扱うコンタクトセンタシステムへの適用に限定されるものではなく、会話データを扱う様々な態様に適用可能である。例えば、それらは、コンタクトセンタ以外の社内の通話管理システムや、個人が所有する、PC(Personal Computer)、固定電話機、携帯電話機、タブレット端末、スマートフォン等の通話端末などに適用することも可能である。更に、会話データとしては、例えば、銀行の窓口や店舗のレジにおける、担当者と顧客の会話を示すデータなどが例示できる。以下、通話とは、或る通話者と或る通話者とがそれぞれ持つ通話機間が呼接続されてから呼切断されるまでの間の呼を意味する。
 [第1実施形態]
 〔システム構成〕
 図1は、第1実施形態におけるコンタクトセンタシステム1の構成例を示す概念図である。第1実施形態におけるコンタクトセンタシステム1は、交換機(PBX)5、複数のオペレータ電話機6、複数のオペレータ端末7、ファイルサーバ9、通話分析サーバ10等を有する。通話分析サーバ10は、上述の実施形態における分析対象決定装置に相当する構成を含む。
 交換機5は、通信網2を介して、顧客により利用される、PC、固定電話機、携帯電話機、タブレット端末、スマートフォン等の通話端末(顧客電話機)3と通信可能に接続されている。通信網2は、インターネットやPSTN(Public Switched Telephone Network)等のような公衆網、無線通信ネットワーク等である。更に、交換機5は、コンタクトセンタの各オペレータが用いる各オペレータ電話機6とそれぞれ接続される。交換機5は、顧客からの呼を受け、その呼に応じたオペレータのオペレータ電話機6にその呼を接続する。
 各オペレータは、オペレータ端末7をそれぞれ用いる。各オペレータ端末7は、コンタクトセンタシステム1内の通信網8(LAN(Local Area Network)等)に接続される、PC等のような汎用コンピュータである。例えば、各オペレータ端末7は、各オペレータと顧客との間の通話における顧客の音声データ及びオペレータの音声データをそれぞれ録音する。顧客の音声データとオペレータの音声データとは、混合状態から所定の音声処理により分離されて生成されてもよい。なお、本実施形態は、このような音声データの録音手法及び録音主体を限定しない。各音声データの生成は、オペレータ端末7以外の他の装置(図示せず)により行われてもよい。
 ファイルサーバ9は、一般的なサーバコンピュータにより実現される。ファイルサーバ9は、顧客とオペレータとの間の各通話の通話データを、各通話の識別情報と共にそれぞれ格納する。各通話データには、時間情報、顧客の音声データとオペレータの音声データとのペアなどがそれぞれ含まれる。各音声データには、顧客及びオペレータの声に加えて、顧客電話機3及びオペレータ端末7から入力される音も含まれてもよい。ファイルサーバ9は、顧客及びオペレータの各音声を録音する他の装置(各オペレータ端末7等)から、顧客の音声データとオペレータの音声データとを取得する。
 通話分析サーバ10は、ファイルサーバ9に格納される各通話データをそれぞれ分析し、ユーザの要求に応じた分析結果を出力する。通話分析サーバ10は、自身が持つ表示装置に表示させてもよいし、WEBサーバ機能により当該分析結果をユーザ端末上のブラウザに表示させるようにしてもよい。
 通話分析サーバ10は、図1に示されるように、ハードウェア構成として、CPU(Central Processing Unit)11、メモリ12、入出力インタフェース(I/F)13、通信装置14等を有する。メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク、可搬型記憶媒体等である。入出力I/F13は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置、表示装置やプリンタ等のようなユーザに情報を提供する装置などと接続される。通信装置14は、通信網8を介して、ファイルサーバ9などと通信を行う。なお、通話分析サーバ10のハードウェア構成は制限されない。
 〔処理構成〕
 図2は、第1実施形態における通話分析サーバ10の処理構成例を概念的に示す図である。第1実施形態における通話分析サーバ10は、通話データ取得部20、条件取得部21、検出部22、特定部23、対象決定部24、表示処理部25等を有する。これら各処理部は、例えば、CPU11によりメモリ12に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F13を介してインストールされ、メモリ12に格納されてもよい。
 通話データ取得部20は、ファイルサーバ9から、分析対象となる複数通話の通話データを各通話の識別情報と共にそれぞれ取得する。それら複数の通話データは、通話分析サーバ10とファイルサーバ9との間の通信により取得されてもよいし、可搬型記録媒体を介して取得されてもよい。
 条件取得部21は、分析対象の通話を絞り込むための条件(以降、通話条件と表記する)、及び、特定発話区間を特定するための条件(以降、区間条件と表記する)の少なくとも一方を表示処理部25から取得する。但し、区間条件は、特定発話区間が検出されない通話を除外するための条件としても作用する。特定発話区間とは、各通話を形成する複数の発話区間の中の、顧客の不満分析の対象区間を決める上での元となる発話区間である。
 通話条件及び区間条件はいずれも複数指定されてもよい。各通話条件には、例えば、キーワード、表現、通話者の特定行動に伴う音などの1つがそれぞれ指定される。各区間条件には、上述の実施形態における、1人の通話者の1つの特定事象がそれぞれ指定される。言い換えれば、各区間条件には、特定感情又は特定行動、及び、それらの主体がそれぞれ指定される。本実施形態では、原因分析の対象が顧客の不満であるため、通話条件には、顧客の不満を表す各種事象が指定され、区間条件には、顧客の怒り(不満)感情、オペレータの謝罪行動などが指定される。但し、本実施形態は、通話条件自体及び区間条件自体を制限しない。
 検出部22は、条件取得部21により通話条件が取得されている場合には、通話データ取得部20により取得された複数の通話データの中から、全ての通話条件に合致する通話データを分析対象として抽出する。更に、検出部22は、条件取得部21により区間条件が取得されている場合には、全ての通話条件に合致する各通話データにおいて、各区間条件に応じた特定発話区間をそれぞれ検出し、この特定発話区間を含まない通話データを分析対象から除外する。
 検出部22は、音声認識部27、特定表現テーブル28、感情認識部29等を有する。これら各処理部についても、他の処理部と同様に、プログラムの実行により実現される。検出部22は、音声認識部27及び感情認識部29の少なくとも一方を実行することにより、通話条件に合致する通話データの抽出、区間条件に応じた特定発話区間の検出などを行う。
 検出部22は、音声認識部27及び感情認識部29の少なくとも一方を実行する前に、通話データに含まれるオペレータ及び顧客の各音声データから、オペレータ及び顧客の各発話区間をそれぞれ検出するようにしてもよい。この検出により、検出部22は、各発話区間の始端時間及び終端時間を取得する。本実施形態は、発話区間の具体的検出方法を制限しない。発話区間は、音声認識部27の音声認識処理によって検出されてもよい。また、通話データ取得部20が、通話データと共に、その通話データの発話区間の情報を取得するようにしてもよい。また、オペレータの発話区間には、オペレータ端末7により入力された音も含まれ、顧客の発話区間には、顧客電話機3により入力された音も含まれてもよい。
 音声認識部27は、通話データに含まれるオペレータ及び顧客の各音声データの各発話区間に対して音声認識処理をそれぞれ行う。これにより、音声認識部27は、当該通話データから、オペレータ音声及び顧客音声に対応する各音声テキストデータ及び各発声時間データをそれぞれ取得する。ここで、音声テキストデータとは、顧客又はオペレータにより発された声がテキスト化された文字データである。各発声時間データは、各音声テキストデータの発声時間をそれぞれ示し、各音声テキストデータが得られた各発話区間の始端時間及び終端時間をそれぞれ含む。なお、本実施形態では、この音声認識処理には、周知な手法が利用されればよく、その音声認識処理自体及びその音声認識処理で利用される各種音声認識パラメータを制限しない。
 また、音声認識部27は、特定行動音検出部31を有するようにしてもよい。特定行動音検出部31は、途中で通話が切断された事象や、所定音量以上の通話切断音等、通話条件として指定され得る、顧客の不満を表す事象を認識する。特定行動音検出部31は、切断音の音声特徴情報を予め保持し、この情報を用いて切断音を認識するようにしてもよいし、通話データと共に送られる通話切断時間のデータに基づいて、途中で通話が切断された事象を認識するようにしてもよい。
 また、音声認識部27は、周知の手法を用いて、音声データを用いて顧客の不満を表す通話データを特定するようにしてもよい。本実施形態は、音声認識部27による音声認識処理自体を制限しない。
 特定表現テーブル28は、通話条件及び区間条件で指定され得る特定表現データを保持する。特定表現データは、文字データとして保持される。また、特定表現テーブル28は、お礼表現データ及び謝罪表現データをお礼表現と謝罪表現とに区別され得る態様で特定表現データとして保持する。
 感情認識部29は、条件取得部21により取得される区間条件に基づいて、通話データに含まれるオペレータ及び顧客の少なくとも一方の音声データの各発話区間に対して感情認識処理をそれぞれ行う。感情認識部29は、各発話区間における音声から韻律的特徴情報を取得し、この韻律的特徴情報を用いて、各発話区間が当該区間条件で指定される特定事象を表すか否かを判定する。韻律的特徴情報としては、例えば、基本周波数や音声パワー等が利用される。なお、本実施形態では、この感情認識処理には、周知な手法が利用されればよく(以下の参考例を参照)、感情認識処理自体は制限されない。
 参考例:野本済央ほか、「韻律情報と発話の時間的関係性を用いた対話音声からの怒り感情推定」、日本音響学会講演論文集、89から92頁、2010年3月
 感情認識部29は、SVM(Support Vector Machine)の識別モデルを用いて、各発話区間が当該区間条件で指定される通話者の特定事象を表すか否かを判定するようにしてもよい。具体的には、当該区間条件として「顧客の怒り」が指定され得る場合、感情認識部29は、「怒り」と「平常」の発話区間の韻律的特徴情報を学習データとして与え、「怒り」と「平常」とを識別するように学習された識別モデルを予め保持するようにしてもよい。また、当該区間条件として「オペレータの通常謝罪」と「オペレータの深謝」とが指定され得る場合、感情認識部29は、「オペレータの通常謝罪」と「オペレータの深謝」の発話区間の韻律的特徴情報を学習データとして与え、それらを識別するように学習された識別モデルを予め保持するようにしてもよい。感情認識部29は、取得された区間条件に対応する識別モデルを選択し、この選択された識別モデルに、各発話区間の韻律的特徴情報を与えることにより、各発話区間が当該区間条件で指定される通話者の特定事象を表すか否かを判定する。
 検出部22は、例えば、通話条件として「顧客のお礼なし」が与えられた場合、音声認識部27の実行により得られた、顧客の各発話区間の音声テキストデータに、特定表現テーブル28に保持されるお礼表現データが含まれない通話データを、通話条件に合致する通話データとして抽出する。また、検出部22は、通話条件として「途中で通話が切断された事象」が与えられた場合、顧客の音声データに対する音声認識部27の上述のような処理により、各通話に関しその事象の有無を判定し、その事象を含む通話データを分析対象として抽出する。また、検出部22は、区間条件として「顧客の怒り」が与えられた場合、顧客の音声データに関し感情認識部29により「怒り」を表すと判定された各発話区間を特定発話区間としてそれぞれ特定すると共に、特定発話区間が検出されなかった通話データを分析対象から除外する。
 特定部23は、検出部22により検出された各通話の特定発話区間に関し、特定発話区間が表す少なくとも1つの特定事象に応じた手法により、少なくとも1つの基準時間を特定する。例えば、特定部23は、区間条件毎に決められた基準時間の特定手法をそれぞれ持つ。
 特定部23は、複数の特定発話区間が検出されるような区間条件については、次のような特定方法を実行する。特定部23は、1人の通話者の1つの特定事象を表す複数の第1特定発話区間における、隣接する第1特定発話区間の間の時間幅が所定時間より短い第1特定発話区間の各ペアが結合されてなる区間内の中から、少なくとも1つの基準時間を特定する。
 一方、特定部23は、他の区間条件に応じて検出部22により検出された特定発話区間については、その特定発話区間をそのまま用いて、基準時間を特定する。基準時間の特定では、上記所定時間が区間条件毎に切り換えられてもよい。所定時間が0(ゼロ)や値無し(NULL)に設定されていれば、検出部22により検出された特定発話区間がそのまま用いられて、基準時間が特定されるようにしてもよい。
 本発明者らは、1つの区間条件を満たす第1特定発話区間、即ち、1人の会話参加者(通話者)の1つの特定事象を表す特定発話区間が、連続的に生じている場合に、その全ての特定発話区間にその特定事象に関する原因が存在するわけではないことを見出した。本発明者らは、連続的に生じている複数の特定発話区間の中の或る時間の周辺に、その特定事象に関する原因が存在する可能性が高いことを導出した。例えば、会話参加者である顧客の不満を表す発話区間が連続的に生じている場合に、その全ての発話区間の周辺に顧客の不満の原因が存在するわけではなく、その連続的に生じている不満を表す複数の発話区間の中の先頭周辺に、その不満の原因が存在する可能性が高いことが導出された。また、連続的に生じている怒りを表す複数の発話区間の中の終端周辺に、満足感の原因が存在する可能性がある。
 更に、本発明者らは、頻出することは少ないが、その前後に、原因分析の対象となる特定事象の原因が存在する可能性が高い発話区間があることを見出した。例えば、会話参加者の謝罪を表す発話区間がこのような特性を持つことが導出された。更に、会話参加者の謝罪にも、軽い謝罪と深謝とが存在し、深謝を表す発話区間のほうが、軽い謝罪を表す発話区間よりも、上述のような特性傾向が強いことが見出された。そこで、本実施形態では、上述のように、特定部23は、区間条件毎に、基準時間の特定方法を切り替える。例えば、特定部23は、顧客の不満やオペレータの軽い謝罪を表す特定発話区間については上述の第1特定発話区間と同様の特定方法を用いて基準時間を特定し、オペレータの深謝を表す特定発話区間については上述の第2特定発話区間と同様の特定方法を用いて基準時間を特定する。第1特定発話区間が顧客の不満を表す場合、隣接する第1特定発話区間の間の時間幅が所定時間より短い第1特定発話区間の各ペアが結合されてなる区間内の先頭に位置する第1特定発話区間に基づいて、少なくとも1つの基準時間が特定される。なお、基準時間の特定方法の切り替えは、顧客の怒りとオペレータの謝罪との関係のみに制限されない。
 本実施形態では、第1特定発話区間又は第2特定発話区間を用いた基準時間の特定手法は制限されない。例えば、特定発話区間の始端時間又は終端時間が基準時間に設定されてもよいし、特定発話区間内のいずれか1つの時間が基準時間に設定されてもよい。また、特定発話区間内のいずれか1つの時間に或る所定時間を加算した時間が基準時間に設定されてもよい。また、特定発話区間の始端時間が基準時間A、終端時間が基準時間Bといったように、特定発話区間内の複数の時間が複数種類の基準時間に設定されてもよい。
 対象決定部24は、特定部23により特定される基準時間を基準とする所定時間範囲を顧客の不満の原因分析対象区間に決定する。原因分析対象区間は、基準時間を始端とした所定時間範囲に決定されてもよいし、基準時間を終端とした所定時間範囲に決定されてもよいし、基準時間を中心点とした所定範囲に決定されてもよい。また、原因分析対象区間は、複数種類の基準時間が設定された場合、基準時間Aの所定時間だけ前の時刻を始端とし、基準時間Bの所定時間だけ後の時刻を終端とする範囲に決定されてもよい。
 対象決定部24は、複数の区間条件が指定されている場合、各区間条件から得られる各基準時間に基づいて決定される複数の原因分析対象区間で重複する範囲を、最終的に、その通話の顧客の不満の原因分析対象区間に決定する。原因分析対象区間を決めるための上記所定時間範囲は、区間条件毎に異なる値に設定されてもよいし、同値に設定されてもよい。対象決定部24は、検出部22により抽出された各通話データの中で、対象決定部24により最終的な原因分析の対象区間が設定されなかった通話データを分析対象から除外する。
 図3は、第1実施形態における原因分析対象区間の決定の例を概念的に示す図である。図3では、基準時間を特定するために用いられる上記所定時間幅がxで示されており、原因分析対象区間を決定するために用いられる上記所定時間範囲が(a+b)で示される。図3の例によれば、結合されてなる区間内の先頭の特定発話区間の始端時間が基準時間に決定され、その基準時間を中心時点として、前a秒、後ろb秒の範囲が原因分析対象区間に決定される。なお、本実施形態は、原因分析対象区間の決定方法をこのような方法に制限しない。時間幅a及びbを同一値にしてもよい。
 図4は、第1実施形態における原因分析対象区間の決定の例を概念的に示す図である。図4の例では、顧客(CU)の怒りとオペレータ(OP)の深謝との2つの区間条件に関し、複数の特定発話区間がそれぞれ検出され、かつ、基準時間がそれぞれ特定されている。更に、図4の例によれば、顧客の怒りについては、基準時間を中心に前a秒、後ろb秒の時間範囲が原因分析対象区間に決定され、オペレータの深謝については、基準時間を中心に前m秒、後ろn秒の時間範囲が原因分析対象区間に決定される。最終的に、顧客の怒り及びオペレータの深謝に対応する各対象区間が重複する範囲が、顧客の不満に関する原因分析対象区間に決定される。
 表示処理部25は、検出部22により検出される複数の特定発話区間を個別に表わす複数の第1描画要素、及び、対象決定部24により決定される原因分析の対象区間を表す第2描画要素が、分析対象として抽出された各通話に関し、通話内の時系列に応じてそれぞれ並ぶ描画データを生成する。表示処理部25は、この描画データに基づいて分析結果画面を通話分析サーバ10に入出力I/F13を介して接続される表示装置に表示させる。また、表示処理部25は、WEBサーバ機能を持ち、この描画データをWEBクライアント装置に表示させるようにしてもよい。更に、表示処理部25は、通話条件及び区間条件をユーザに指定させるための入力画面を表示させる。これにより、条件取得部21は、この入力画面を介してユーザに指定された通話条件及び区間条件を取得する。
 〔動作例〕
 以下、第1実施形態における分析対象決定方法について図5を用いて説明する。図5は、第1実施形態における通話分析サーバ10の動作例を示すフローチャートである。ここで、通話分析サーバ10は、複数の通話データを既に取得している。例えば、通話分析サーバ10は、ファイルサーバ9に格納される複数の通話データを取得している。
 通話分析サーバ10は、通話条件及び区間条件の少なくとも一方を取得する(S50)。通話分析サーバ10は、入力画面を表示装置に表示させることにより、この入力画面を介して入力される通話条件及び区間条件の少なくとも一方を取得する。
 通話分析サーバ10は、(S50)で取得された通話条件及び区間条件に基づいて、音声認識処理の要否を判定する(S51)。通話分析サーバ10は、予め、各通話条件及び各区間条件について音声認識処理が必要か否かの情報をそれぞれ保持する。
 通話分析サーバ10は、(S51)の判定に応じて(S51;YES)、取得されている複数の通話データに対して音声認識処理を実行する(S53)。この音声認識処理は、上述したように、各発話区間の音声データから音声テキストデータを取得する処理、途中で通話が切断された事象、所定音量以上の通話切断音等を音声データから検出する処理などを含む。通話分析サーバ10は、(S50)で取得された条件に基づいて、具体的な音声認識処理を決定する。
 通話分析サーバ10は、(S52)の音声認識処理の結果に基づいて、(S52)で音声認識処理の対象とされた各通話データに関し、(S50)で取得された区間条件により示される通話者の特定事象を表わす特定発話区間を検出する(S53)。(S50)において、音声認識処理を必要とする区間条件が取得されていない場合には、(S53)は実行されない。
 通話分析サーバ10は、(S52)の音声認識処理の結果に基づいて、(S52)で音声認識処理の対象とされた複数の通話データの中で、(S50)で取得された条件を満たさない通話データ、及び、(S53)の実行により特定発話区間が検出されなかった通話データを分析対象から除外する(S54)。
 続いて、通話分析サーバ10は、(S50)で取得された条件に基づいて、感情認識処理の要否を判定する(S55)。通話分析サーバ10は、予め、各通話条件及び各区間条件について感情認識処理が必要か否かの情報をそれぞれ保持する。
 通話分析サーバ10は、(S55)の判定に応じて(S55;YES)、予め取得されていた複数の通話データ、又は、(S54)で分析対象として抽出された通話データに対して、感情認識処理を実行する(S56)。感情認識処理は、上述したように、各発話区間が(S50)で取得された条件に対応する通話者の特定事象を表すか否かを判定する。例えば、通話分析サーバ10は、(S50)で取得された条件に対応する識別モデルを選択し、この選択された識別モデルを用いて感情認識処理を行う。
 通話分析サーバ10は、(S56)の感情認識処理の結果に基づいて、(S56)で感情認識処理の対象とされた各通話データに関し、区間条件に対応する通話者の特定事象を表す特定発話区間をそれぞれ検出する(S57)。通話分析サーバ10は、(S57)の検出結果に基づいて、通話データを絞り込む(S58)。言い換えれば、通話分析サーバ10は、(S57)で特定発話区間が検出されなかった通話データを分析対象から除外する。
 通話分析サーバ10は、ここまでの処理で、検出された特定発話区間が存在するか否かを判定する(S59)。通話分析サーバ10は、特定発話区間が存在する場合(S59;YES)、各区間条件に関し、その区間条件に応じた特定手法を用いて、各通話の特定発話区間から少なくとも1つの基準時間をそれぞれ特定する(S60)。具体的特定手法については、上述のとおりである。
 通話分析サーバ10は、各通話の各基準時間に基づいて、各通話に関し、顧客の不満の原因分析対象区間をそれぞれ決定する(S61)。このとき、複数の区間条件が取得されている場合、通話分析サーバ10は、各区間条件に対応する各原因分析対象区間で重複する区間を最終的な不満の原因分析対象区間に決定する。
 通話分析サーバ10は、ここまでの処理で分析対象として抽出された各通話データ、又は、予め取得されていた各通話データに対応する各通話に関し、(S53)及び(S57)の少なくとも一方で検出された特定発話区間を個別に表わす複数の第1描画要素、及び、(S61)で決定された原因分析対象区間を表す第2描画要素が通話内の時系列に応じてそれぞれ並ぶ描画データを生成する。通話分析サーバ10は、この描画データに基づいて分析結果画面を表示装置に表示させる(S62)。
 なお、図5に例示されるフローチャートでは、複数の工程(処理)が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。例えば、複数の区間条件が取得された場合には、各区間条件に関し、工程(S52)から工程(S54)と、工程(S56)から工程(S58)とを並行に実行してもよい。
 〔第1実施形態の作用及び効果〕
 上述したように第1実施形態では、取得された各区間条件について、その区間条件が示す1人の通話者の1つの特定事象を表す特定発話区間がそれぞれ検出される。このような特定発話区間は、通話者が特定事象を引き起こす通話内に、複数存在する場合が多い。従って、このように検出された全ての特定発話区間を分析対象とするのでは、効率が悪い。そこで、第1実施形態では、区間条件毎、即ち、通話者の特定事象毎に予め決められている特定手法により、当該複数の特定発話区間から少なくとも1つの基準時間が特定される。これにより、顧客の怒りのような連続的に生じる複数の特定発話区間については、それらが結合されてなる区間内の或る時間の周辺(顧客の怒りの場合には先頭周辺)が基準点(基準時間)とされ、オペレータの深謝のような頻出しないが顧客の不満の原因を示す箇所に近い可能性が高い特定発話区間については、それら個々が基準点(基準時間)とされる。そして、この基準時間を基準とする所定時間範囲が、顧客の不満の原因分析対象区間に決定される。
 このように、第1実施形態によれば、通話者の特定事象を表す全ての特定発話区間を分析対象とするのではなく、顧客の不満に関する原因が存在する可能性が高い部分のみを分析対象とすることができるため、原因分析の効率を向上させることができる。
 更に、第1実施形態では、原因分析対象区間を決めるにあたり、上述した、顧客の怒りやオペレータの深謝のような通話者の特定事象の発生特性が反映された情報処理が実行される。更に、複数の区間条件が指定されている場合には、各区間条件に対応する各特定発話区間から決定される原因分析対象区間が重複する範囲が最終的な原因分析対象区間に決定される。
 これにより、第1実施形態によれば、決定された原因分析対象区間に顧客の不満の原因となる事象が含まれる可能性を高めることが出来る。
 更に、第1実施形態では、各通話に関し、少なくとも1人の通話者の少なくとも1つの特定事象を表す複数の特定発話区間、及び、これら複数の特定発話区間から得られた顧客の不満の原因分析対象区間が共にそれぞれ出力される。従って、第1実施形態によれば、各通話に関し、通話者の特定事象を表す特定発話区間の分布を確認しつつ、顧客の不満に関する原因分析対象区間の位置を同時に確認することができるため、顧客の不満に関する通話全体の概要やその原因分析対象区間周辺の発話状況を把握し易くすることができる。更に、第1実施形態によれば、どの通話者のどの特定事象がより顧客の不満の原因箇所の特定に役立つのかといった分析もし易くなる。
 以下に実施例を挙げ、上述の第1実施形態を更に詳細に説明する。但し、本発明は以下の実施例から何ら制限を受けない。
 《画面例》
 図6、図7及び図8は、実施例1における分析画面の一例をそれぞれ示す図である。図6から図8に示される分析画面は、上述の第1実施形態における表示処理部25により表示される分析結果画面、及び、通話条件及び区間条件の入力画面を含む。この分析画面は、通話条件の指定部G51、区間条件の指定部G52、分析実行ボタンG53、分析結果表示部G55などを含む。要素G51、G52及びG53が上記入力画面に相当し、要素G55が上記分析結果画面に相当する。
 通話条件の指定部G51及び区間条件の指定部G52では、分析属性として、各条件が、音声テキストデータのみを用いて判定されるか、音声データを用いて判定されるかが区別可能に表わされている。この分析属性に応じて、通話条件における「キーワード」及び「CUお礼なし」、区間条件における「OP謝罪(「申し訳」表現)」については、音声テキストデータのみを用いて判定される。また、通話条件における「CU怒り(「電話切断音」振る舞い)」、区間条件における「OP謝罪(深謝)」及び「CU怒り(「怒り」感情)」については、音声データを用いて判定される。ここで、CUは顧客を示し、OPはオペレータを示す。
 分析結果表示部G55は、通話データ取得部20により取得された複数の通話データの中の、検出部22により分析対象として抽出された各通話データが示す各通話を行毎に表わす。分析結果表示部G55の各通話欄の左端には、各通話が行われた日時が表示され、各通話の時系列が紙面の左から右方向に表わされる。更に、分析結果表示部G55内の各通話を示す欄には、各区間条件に関しそれぞれ検出された各特定発話区間、及び、通話条件として与えられるキーワードを含む発話区間が、各行に分かれてそれぞれ表わされる。図6では、キーワードを含む発話区間を示す領域が、各通話欄の最上位行に、着色されて表わされている(図6の符号G55-1)。図7では、キーワードを含む発話区間を示す領域(図6の符号G55-1)に加えて、「CU怒り(「怒り」感情)」を表す特定発話区間を示す領域が、各通話欄の最下位行に、着色されて表わされている(図7の符号G55-2)。図8では、キーワードを含む発話区間を示す領域(図6の符号G55-1)、及び、「CU怒り(「怒り」感情)」を表す特定発話区間を示す領域(図7の符号G55-2)に加えて、「OP謝罪(「深謝」状況)」を表す特定発話区間を示す領域が、各通話欄の下位から2行目に、着色されて表わされている(図8の符号G55-3)。
 更に、図7及び図8に示されるように、分析結果表示部G55内の各通話欄には、対象決定部24により決定された顧客の不満に関する原因分析対象区間が、その時間範囲を示すようにそれぞれ表示されている(G55-5)。更に、各通信欄に表わされる原因分析対象区間には、通話の時系列順に、原因分析対象区間を識別するための識別情報(図7及び図8の例では数値)が設定されている。
 このように、実施例1において表示される分析結果画面では、各通話に関し、区間条件に合致する特定発話区間と同時に、その特定発話区間に基づいて決められる原因分析の対象区間が表示される。従って、実施例1によれば、各通話に関し、通話者の特定事象を表す特定発話区間の分布を確認しつつ、その特定感情に関する原因分析対象区間の位置を同時に確認することができるため、顧客の不満に関する通話全体の概要やその原因発生区間周辺の発話状況を把握し易くなる。
 表示処理部25は、図6から図8に示される分析画面に加えて、図9に示されるような、更に通話内容を具体的に確認するための画面を表示させるようにしてもよい。図9は、実施例1における通話内容確認画面の例を示す図である。例えば、表示処理部25は、図6から図8に示される分析画面において或る通話が選択されると、その選択された通話に関し、この通話内容確認画面を表示させる。
 図9の例では、画面上部にその通話が行われた日時及び問い合わせ内容が示される。問い合わせ内容は、例えば、オペレータ端末7を用いてオペレータにより入力されたデータであり、各通話データと共に通話データ取得部20により取得される。更に、通話内容確認画面は、発話情報表示部G81を含む。発話情報表示部G81は、各発話区間を各行に表わし、各発話区間に関し、始端時間G81-1、発声元の通話者(OPかCUか)G81-2、音声テキストデータG81-3をそれぞれ表示する。音声テキストデータG81-3は、上述の音声認識部27により取得されるデータである。発話情報表示部G81は、全ての発話区間の情報が表示しきれない場合には、画面スクロールにより全ての発話区間の情報が表示されるように形成される。
 更に、対象決定部24により決定された顧客の不満に関する原因分析対象区間に含まれる発話区間は、他の発話区間と区別可能に表示される。図9の例では、その発話区間は、太枠表示されている(G81-5)。また、図9には表れていないが、各区間条件に対応する各特定発話区間がそれぞれ区別可能に着色されて表示される。これにより、ユーザは、原因分析対象区間及びその周辺の実際の発声内容を確認することにより、容易に、顧客を不満にさせた具体的な原因を特定することができる。更に、この通話内容確認画面には、対象決定部24により決定された顧客の不満に関する原因分析対象区間の識別情報が列挙されている(符号G82)。表示処理部25は、識別情報の選択操作を検出し、選択された識別情報により特定される原因分析対象区間に含まれる発話区間が表示されるように、発話情報表示部G81を自動スクロールさせる。更に、発話情報表示部G81の各行が選択されると、その選択された行に対応する発話区間の音声が再生されるようにすることも可能である。これにより、ユーザは、通話分析サーバ10により顧客の不満の原因となると推定された発話区間及びその周辺の発話内容を即座に確認することができ、効率よく原因分析作業を行なうことができる。
 以下、図6、図7及び図8の各々について、分析結果表示部G55、即ち、分析結果画面を表示させるための通話分析サーバ10の動作例をそれぞれ説明する。
 図6では、「キーボード」というキーワードが通話条件として指定されている(通話条件の指定部G51)。これにより、通話分析サーバ10は、「キーボード」というキーワードを通話条件として取得する。続いて、通話分析サーバ10は、音声認識部27の実行により得られた、顧客の各発話区間の音声テキストデータの中に、そのキーワード「キーボード」が含まれる通話データを、通話条件に合致する通話データとして抽出する。これにより、分析結果表示部G55には、そのキーワードを含む発話区間を持つ通話のみが表示される。このとき、通話分析サーバ10は、そのキーワードを含む発話区間を特定し(特定発話区間とは呼ばない)、これら各通話に関し、そのキーワードを含む発話区間を示す領域を着色して表示させる。
 図7では、図6の通話条件(キーワード「キーボード」)に加えて、「CU怒り(「怒り」感情)」が区間条件として指定されている(区間条件の指定部G52)。これにより、通話分析サーバ10は、通話条件(キーワード「キーボード」)、及び、区間条件「CU怒り(「怒り」感情)」を取得する。通話分析サーバ10は、音声認識部27の実行により得られた、顧客の各発話区間の音声テキストデータの中に、そのキーワード「キーボード」が含まれる通話データを、通話条件に合致する通話データとして抽出する。更に、通話分析サーバ10は、抽出された各通話データの顧客の各発話区間に関し感情認識部29により「怒り」を表すと判定された各発話区間を特定発話区間としてそれぞれ特定すると共に、特定発話区間が検出されなかった通話データを抽出対象から除外する。通話分析サーバ10は、顧客の怒りを表す特定発話区間から基準時間を特定し、その基準時間を基準に顧客の不満に関する原因分析対象区間を決定する。顧客の怒りを表す特定発話区間は連続的に発生している箇所もあるため、通話分析サーバ10は、その箇所の先頭の特定発話区間を用いて基準時間を特定する。
 図8では、図7の通話条件(キーワード「キーボード」)及び区間条件(CU怒り)に加えて、「OP謝罪(「深謝」状況)」が区間条件として指定されている(区間条件の指定部G52)。これにより、通話分析サーバ10は、通話条件(キーワード「キーボード」)、区間条件「CU怒り(「怒り」感情)」、及び、区間条件「OP謝罪(「深謝」状況)」を取得する。「OP謝罪(「深謝」状況)」の区間条件については、次のように処理される。まず、通話分析サーバ10は、音声認識部27の実行により得られた、オペレータの音声テキストデータに基づいて、特定表現テーブル28に保持される謝罪表現データを含むオペレータの発話区間を特定する。通話分析サーバ10は、この特定された各発話区間に関し感情認識部29により「深謝」を表すと判定された発話区間を、この区間条件に合致する特定発話区間として特定する。そして、通話分析サーバ10は、顧客の怒りを表す特定発話区間の基準時間から得られる原因分析対象区間と、オペレータの深謝を表す特定発話区間の基準時間から得られる原因分析対象区間との重複範囲を、顧客の不満に関する原因分析対象区間に決定する。
 図7及び図8を比較すれば分かるように、実施例1によれば、区間条件、即ち、通話者の特定事象を増やすことにより、原因分析対象区間の数をより少なくすることが出来る。これは、区間条件を増やすことで、原因分析対象区間を決めるための材料を増やすことができ、結果として、原因分析対象区間が実際に顧客の不満の原因となる事象を含む確率を上げることができるからである。これにより、通話における通話者の特定事象に関する原因分析の効率を向上することができる。
 [補足]
 上述の第1実施形態及び実施例1では、図3及び図4に示されるように、連続的に生じている、1人の通話者の1つの特定事象を表す特定発話区間については、その一部(先頭)から原因分析対象区間が決定された。しかしながら、第1実施形態及び実施例1は、指定された区間条件、即ち、通話者の特定事象によっては、特定発話区間が連続的に生じている場合でも、それら各特定発話区間からそれぞれ原因分析対象区間が決定される形態を排除するものではない。この場合には、指定された複数の区間条件に基づいて決定される複数の原因分析対象区間で重複する範囲を、最終的に、その通話の顧客の不満の原因分析対象区間に決定することにより、全ての特定発話区間の中から原因分析対象区間を絞ることができる。
 [変形例]
 上述の第1実施形態及び実施例1では、複数の区間条件が指定されている場合、各区間条件から得られる各基準時間に基づいて決定される複数の原因分析対象区間で重複する範囲が、最終的に、その通話の顧客の不満の原因分析対象区間に決定された。しかしながら、重複する範囲に制限せず、各区間条件から決定される全ての原因分析対象区間を原因分析対象区間に決めるようにしてもよい。この場合でも、連続的に生じている特定発話区間については基準時間の特定により原因分析対象区間が絞られるため、全ての発話区間又は特定発話区間を分析するよりは、分析効率を上げることができる。
 また、上述の通話分析サーバ10は、複数のコンピュータにより実現されてもよい。例えば、検出部22が少なくとも1つの他のコンピュータ上で実現されてもよい。この場合、通話分析サーバ10は、通話条件や区間条件の情報を検出部22に与え、検出部22から、特定発話区間に関する始端時間及び終端時間を取得するようにしてもよい。
 [他の実施形態]
 上述の実施形態及び実施例では、通話データが扱われたが、上述の分析対象決定装置及び分析対象決定方法は、通話以外の会話データを扱う装置やシステムに適用されてもよい。この場合、例えば、分析対象となる会話を録音する録音装置がその会話が行われる場所(会議室、銀行の窓口、店舗のレジなど)に設置される。また、会話データが複数の会話参加者の声が混合された状態で録音される場合には、その混合状態から所定の音声処理により会話参加者毎の音声データに分離される。
 また、上述の実施形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
 上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
(付記1)
 会話の音声に対応するデータから、該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出する検出部と、
 前記検出部により検出される複数の特定発話区間に基づいて、前記会話の会話参加者の特定事象に関する原因分析対象区間であって、該複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する対象決定部と、
 を備える分析対象決定装置。
(付記2)
 前記検出部により検出される複数の特定発話区間が表す少なくとも1つの特定事象に応じた少なくとも1つの手法により、該複数の特定発話区間から少なくとも1つの基準時間を特定する特定部を更に備え、
 前記対象決定部は、前記特定部により特定される前記少なくとも1つの基準時間を基準とする所定時間範囲を前記原因分析対象区間に決定する、
 付記1に記載の分析対象決定装置。
(付記3)
 前記特定部は、前記検出部により検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す複数の第1特定発話区間が含まれている場合、該複数の第1特定発話区間における、隣接する第1特定発話区間の間の時間幅が所定時間より短い第1特定発話区間の各ペアが結合されてなる区間内の中から、前記少なくとも1つの基準時間を特定する、
 付記2に記載の分析対象決定装置。
(付記4)
 前記特定部は、前記検出部により検出される複数の特定発話区間に、前記複数の第1特定発話区間と共に、前記複数の第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間が更に含まれる場合、該第2特定発話区間をそのまま用いて基準時間を更に特定し、
 前記対象決定部は、前記第2特定発話区間から得られる基準時間を基準とする所定時間範囲を、前記原因分析対象区間に更に決定する、
 付記3に記載の分析対象決定装置。
 (付記5)
 前記特定部は、前記検出部により検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す第1特定発話区間と、該第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間とが含まれる場合、該第1特定発話区間及び該第2特定発話区間をそのまま用いて前記基準時間を特定し、
 前記対象決定部は、前記第1特定発話区間及び前記第2特定発話区間からそれぞれ得られる各基準時間を基準とする所定時間範囲をそれぞれ、前記原因分析対象区間に決定する、
 付記2に記載の分析対象決定装置。
(付記6)
 前記対象決定部は、前記第1特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間と前記第2特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間とが重複する区間を、前記原因分析対象区間に決定する付記4又は5に記載の分析対象決定装置。
(付記7)
 前記検出部は、第1会話参加者の不満を表す前記複数の第1特定発話区間と、第2会話参加者の謝罪を表す前記第2特定発話区間とを検出し、
 前記対象決定部は、前記第1会話参加者の不満に関する前記原因分析対象区間を決定する、
 付記4又は6に記載の分析対象決定装置。
(付記8)
 前記検出部により検出される複数の特定発話区間を個別に表わす複数の第1描画要素、及び、前記対象決定部により決定される前記原因分析対象区間を表す第2描画要素が、前記会話内の時系列に応じて並ぶ描画データを生成する描画データ生成部、
 を更に備える付記1から7のいずれか1つに記載の分析対象決定装置。
(付記9)
 前記描画データ生成部は、前記会話の複数の発話区間に関する複数の音声テキストデータが、発話区間毎に前記会話内の時系列に沿って表示され、前記原因分析対象区間に含まれる発話区間の音声テキストデータが他と区別可能に表示され、前記原因分析対象区間の識別情報が表示される描画データを生成し、該描画データに基づく表示画面上での該識別情報に対するユーザ操作に応じて、該識別情報で特定される原因分析対象区間に含まれる発話区間の音声テキストデータが表示されるような画面遷移を可能とする、
 付記8に記載の分析対象決定装置。
(付記10)
 少なくとも1つのコンピュータにより実行される分析対象決定方法において、
 会話の音声に対応するデータから、該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出し、
 前記検出される複数の特定発話区間に基づいて、前記会話の会話参加者の特定事象に関する原因分析対象区間であって、該複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する、
 ことを含む分析対象決定方法。
(付記11)
 前記検出される複数の特定発話区間が表す少なくとも1つの特定事象に応じた少なくとも1つの手法により、該複数の特定発話区間から少なくとも1つの基準時間を特定し、
 前記特定される少なくとも1つの基準時間を基準とする所定時間範囲を前記原因分析対象区間に決定する、
 ことを更に含む付記10に記載の分析対象決定方法。
(付記12)
 前記基準時間の特定は、前記検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す複数の第1特定発話区間が含まれている場合、該複数の第1特定発話区間における、隣接する第1特定発話区間の間の時間幅が所定時間より短い第1特定発話区間の各ペアが結合されてなる区間内の中から、前記少なくとも1つの基準時間を特定する、
 付記11に記載の分析対象決定方法。
(付記13)
 前記基準時間の特定は、前記検出される複数の特定発話区間に、前記複数の第1特定発話区間と共に、前記複数の第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間が更に含まれる場合、該第2特定発話区間をそのまま用いて基準時間を更に特定し、
 前記原因分析対象区間の決定は、前記第2特定発話区間から得られる基準時間を基準とする所定時間範囲を、前記原因分析対象区間に更に決定する、
 付記12に記載の分析対象決定方法。
 (付記14)
 前記基準時間の特定は、前記検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す第1特定発話区間と、該第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間とが含まれる場合、該第1特定発話区間及び該第2特定発話区間をそのまま用いて前記基準時間を特定し、
 前記原因分析対象区間の決定は、前記第1特定発話区間及び前記第2特定発話区間からそれぞれ得られる各基準時間を基準とする所定時間範囲をそれぞれ、前記原因分析対象区間に決定する、
 付記11に記載の分析対象決定方法。
(付記15)
 前記原因分析対象区間の決定は、前記第1特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間と前記第2特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間とが重複する区間を、前記原因分析対象区間に決定する付記13又は14に記載の分析対象決定方法。
(付記16)
 前記特定発話区間の検出は、第1会話参加者の不満を表す前記複数の第1特定発話区間と、第2会話参加者の謝罪を表す前記第2特定発話区間とを検出し、
 前記原因分析対象区間の決定は、前記第1会話参加者の不満に関する前記原因分析対象区間を決定する、
 付記13又は15に記載の分析対象決定方法。
(付記17)
 前記検出される複数の特定発話区間を個別に表わす複数の第1描画要素、及び、前記決定される前記原因分析対象区間を表す第2描画要素が、前記会話内の時系列に応じて並ぶ描画データを生成する、
 ことを更に含む付記10から16のいずれか1つに記載の分析対象決定方法。
(付記18)
 前記描画データの生成は、前記会話の複数の発話区間に関する複数の音声テキストデータが、発話区間毎に前記会話内の時系列に沿って表示され、前記原因分析対象区間に含まれる発話区間の音声テキストデータが他と区別可能に表示され、前記原因分析対象区間の識別情報が表示される描画データを生成し、該描画データに基づく表示画面上での該識別情報に対するユーザ操作に応じて、該識別情報で特定される原因分析対象区間に含まれる発話区間の音声テキストデータが表示されるような画面遷移を可能とする、
 付記17に記載の分析対象決定方法。
(付記19)
 少なくとも1つのコンピュータに、付記10から18のいずれか1つに記載の分析対象決定方法を実行させるプログラム。
(付記20)
 付記19に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
 この出願は、2012年10月31日に出願された日本出願特願2012-240742号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (15)

  1.  会話の音声に対応するデータから、該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出する検出部と、
     前記検出部により検出される複数の特定発話区間に基づいて、前記会話の会話参加者の特定事象に関する原因分析対象区間であって、該複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する対象決定部と、
     を備える分析対象決定装置。
  2.  前記検出部により検出される複数の特定発話区間が表す少なくとも1つの特定事象に応じた少なくとも1つの手法により、該複数の特定発話区間から少なくとも1つの基準時間を特定する特定部を更に備え、
     前記対象決定部は、前記特定部により特定される前記少なくとも1つの基準時間を基準とする所定時間範囲を前記原因分析対象区間に決定する、
     請求項1に記載の分析対象決定装置。
  3.  前記特定部は、前記検出部により検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す複数の第1特定発話区間が含まれている場合、該複数の第1特定発話区間における、隣接する第1特定発話区間の間の時間幅が所定時間より短い第1特定発話区間の各ペアが結合されてなる区間内の中から、前記少なくとも1つの基準時間を特定する、
     請求項2に記載の分析対象決定装置。
  4.  前記特定部は、前記検出部により検出される複数の特定発話区間に、前記複数の第1特定発話区間と共に、前記複数の第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間が更に含まれる場合、該第2特定発話区間をそのまま用いて基準時間を更に特定し、
     前記対象決定部は、前記第2特定発話区間から得られる基準時間を基準とする所定時間範囲を、前記原因分析対象区間に更に決定する、
     請求項3に記載の分析対象決定装置。
  5.  前記特定部は、前記検出部により検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す第1特定発話区間と、該第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間とが含まれる場合、該第1特定発話区間及び該第2特定発話区間をそのまま用いて前記少なくとも1つの基準時間を特定し、
     前記対象決定部は、前記第1特定発話区間及び前記第2特定発話区間からそれぞれ得られる各基準時間を基準とする所定時間範囲をそれぞれ、前記原因分析対象区間に決定する、
     請求項2に記載の分析対象決定装置。
  6.  前記対象決定部は、前記第1特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間と前記第2特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間とが重複する区間を、前記原因分析対象区間に決定する請求項4又は5に記載の分析対象決定装置。
  7.  前記検出部は、第1会話参加者の不満を表す前記複数の第1特定発話区間と、第2会話参加者の謝罪を表す前記第2特定発話区間とを検出し、
     前記対象決定部は、前記第1会話参加者の不満に関する前記原因分析対象区間を決定する、
     請求項4又は6に記載の分析対象決定装置。
  8.  前記検出部により検出される複数の特定発話区間を個別に表わす複数の第1描画要素、及び、前記対象決定部により決定される前記原因分析対象区間を表す第2描画要素が、前記会話内の時系列に応じて並ぶ描画データを生成する描画データ生成部、
     を更に備える請求項1から7のいずれか1項に記載の分析対象決定装置。
  9.  前記描画データ生成部は、前記会話の複数の発話区間に関する複数の音声テキストデータが、発話区間毎に前記会話内の時系列に沿って表示され、前記原因分析対象区間に含まれる発話区間の音声テキストデータが他と区別可能に表示され、前記原因分析対象区間の識別情報が表示される描画データを生成し、該描画データに基づく表示画面上での該識別情報に対するユーザ操作に応じて、該識別情報で特定される原因分析対象区間に含まれる発話区間の音声テキストデータが表示されるような画面遷移を可能とする、
     請求項8に記載の分析対象決定装置。
  10.  少なくとも1つのコンピュータにより実行される分析対象決定方法において、
     会話の音声に対応するデータから、該会話の1人の会話参加者又は複数の会話参加者における複数の特定事象、若しくは、該会話の1人の会話参加者の1つの特定事象を表す、複数の特定発話区間を検出し、
     前記検出される複数の特定発話区間に基づいて、前記会話の会話参加者の特定事象に関する原因分析対象区間であって、該複数の特定発話区間の数よりも少ない数の原因分析対象区間を決定する、
     ことを含む分析対象決定方法。
  11.  前記検出される複数の特定発話区間が表す少なくとも1つの特定事象に応じた少なくとも1つの手法により、該複数の特定発話区間から少なくとも1つの基準時間を特定し、
     前記特定される少なくとも1つの基準時間を基準とする所定時間範囲を前記原因分析対象区間に決定する、
     ことを更に含む請求項10に記載の分析対象決定方法。
  12.  前記基準時間の特定は、前記検出される複数の特定発話区間に、前記会話の1人の会話参加者の1つの特定事象を表す複数の第1特定発話区間が含まれている場合、該複数の第1特定発話区間における、隣接する第1特定発話区間の間の時間幅が所定時間より短い第1特定発話区間の各ペアが結合されてなる区間内の中から、前記少なくとも1つの基準時間を特定する、
     請求項11に記載の分析対象決定方法。
  13.  前記基準時間の特定は、前記検出される複数の特定発話区間に、前記複数の第1特定発話区間と共に、前記複数の第1特定発話区間が表わす会話参加者の特定事象とは異なる該会話参加者の他の特定事象、又は、他の会話参加者の特定事象を表す第2特定発話区間が更に含まれる場合、該第2特定発話区間をそのまま用いて基準時間を更に特定し、
     前記原因分析対象区間の決定は、前記第2特定発話区間から得られる基準時間を基準とする所定時間範囲を、前記原因分析対象区間に更に決定する、
     請求項12に記載の分析対象決定方法。
  14.  前記原因分析対象区間の決定は、前記第1特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間と前記第2特定発話区間から得られる前記基準時間に基づいて決定される前記原因分析対象区間とが重複する区間を、前記原因分析対象区間に決定する請求項13に記載の分析対象決定方法。
  15.  少なくとも1つのコンピュータに、請求項10から14のいずれか1項に記載の分析対象決定方法を実行させるプログラム。
PCT/JP2013/075242 2012-10-31 2013-09-19 分析対象決定装置及び分析対象決定方法 WO2014069120A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/436,159 US10083686B2 (en) 2012-10-31 2013-09-19 Analysis object determination device, analysis object determination method and computer-readable medium
JP2014544378A JP6358093B2 (ja) 2012-10-31 2013-09-19 分析対象決定装置及び分析対象決定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012240742 2012-10-31
JP2012-240742 2012-10-31

Publications (1)

Publication Number Publication Date
WO2014069120A1 true WO2014069120A1 (ja) 2014-05-08

Family

ID=50627036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/075242 WO2014069120A1 (ja) 2012-10-31 2013-09-19 分析対象決定装置及び分析対象決定方法

Country Status (3)

Country Link
US (1) US10083686B2 (ja)
JP (1) JP6358093B2 (ja)
WO (1) WO2014069120A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181296A (ja) * 2017-04-10 2018-11-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供装置、情報提供方法及びコンピュータープログラム
CN109192207A (zh) * 2018-09-17 2019-01-11 顺丰科技有限公司 语音通信装置、语音通信方法及系统、设备、存储介质
JP2019215808A (ja) * 2018-06-14 2019-12-19 Zホールディングス株式会社 評価装置、評価方法および評価プログラム
JP2020000713A (ja) * 2018-06-29 2020-01-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 分析装置、分析方法及びコンピュータープログラム
US10592997B2 (en) 2015-06-23 2020-03-17 Toyota Infotechnology Center Co. Ltd. Decision making support device and decision making support method
WO2022249462A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6213476B2 (ja) * 2012-10-31 2017-10-18 日本電気株式会社 不満会話判定装置及び不満会話判定方法
US20150310877A1 (en) * 2012-10-31 2015-10-29 Nec Corporation Conversation analysis device and conversation analysis method
JP6341092B2 (ja) * 2012-10-31 2018-06-13 日本電気株式会社 表現分類装置、表現分類方法、不満検出装置及び不満検出方法
US9645994B2 (en) * 2014-12-09 2017-05-09 Conduent Business Services, Llc Methods and systems for automatic analysis of conversations between customer care agents and customers
US9781169B2 (en) * 2015-01-27 2017-10-03 Tevnos LLC Switch controller for separating multiple portions of call
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
EP3185523B1 (en) * 2015-12-21 2018-10-10 Wipro Limited System and method for providing interaction between a user and an embodied conversational agent
US9934784B2 (en) * 2016-06-30 2018-04-03 Paypal, Inc. Voice data processor for distinguishing multiple voice inputs
JP6522695B2 (ja) * 2017-07-13 2019-05-29 本田技研工業株式会社 ライフログ活用システム、方法及びプログラム
US11399096B2 (en) * 2017-11-29 2022-07-26 Afiniti, Ltd. Techniques for data matching in a contact center system
US11887622B2 (en) * 2018-09-14 2024-01-30 United States Department Of Veteran Affairs Mental health diagnostics using audio data
US11854575B1 (en) * 2019-09-30 2023-12-26 Amazon Technologies, Inc. System for presentation of sentiment data
US11521642B2 (en) * 2020-09-11 2022-12-06 Fidelity Information Services, Llc Systems and methods for classification and rating of calls based on voice and text analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
JP2004037989A (ja) * 2002-07-05 2004-02-05 Nippon Telegr & Teleph Corp <Ntt> 音声受付システム
WO2010041507A1 (ja) * 2008-10-10 2010-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 会話における特定状況を抽出するシステムおよび方法
JP2010134233A (ja) * 2008-12-05 2010-06-17 Fujitsu Ltd 対話選別プログラム、対話選別装置、および対話選別方法
JP2012090337A (ja) * 2012-01-13 2012-05-10 Toshiba Corp 電子機器および表示処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7222075B2 (en) * 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
JP3728172B2 (ja) * 2000-03-31 2005-12-21 キヤノン株式会社 音声合成方法および装置
EP1513135A1 (en) * 2002-06-12 2005-03-09 Mitsubishi Denki Kabushiki Kaisha Speech recognizing method and device thereof
TWI255412B (en) * 2004-09-29 2006-05-21 Inventec Corp System and method for displaying an image according to audio signals
US20070067174A1 (en) * 2005-09-22 2007-03-22 International Business Machines Corporation Visual comparison of speech utterance waveforms in which syllables are indicated
US20070118372A1 (en) * 2005-11-23 2007-05-24 General Electric Company System and method for generating closed captions
KR20100028312A (ko) * 2008-09-04 2010-03-12 삼성전자주식회사 휴대 단말기의 파일 편집 방법 및 장치
US20100332287A1 (en) * 2009-06-24 2010-12-30 International Business Machines Corporation System and method for real-time prediction of customer satisfaction
US8843368B2 (en) * 2009-08-17 2014-09-23 At&T Intellectual Property I, L.P. Systems, computer-implemented methods, and tangible computer-readable storage media for transcription alignment
US8406608B2 (en) * 2010-03-08 2013-03-26 Vumanity Media, Inc. Generation of composited video programming
JP2011210100A (ja) 2010-03-30 2011-10-20 Seiko Epson Corp 接客データ記録装置、接客データ記録方法およびプログラム
JP2011237957A (ja) 2010-05-10 2011-11-24 Seiko Epson Corp 満足度算出装置、満足度算出方法およびプログラム
US9105042B2 (en) * 2013-02-07 2015-08-11 Verizon Patent And Licensing Inc. Customer sentiment analysis using recorded conversation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
JP2004037989A (ja) * 2002-07-05 2004-02-05 Nippon Telegr & Teleph Corp <Ntt> 音声受付システム
WO2010041507A1 (ja) * 2008-10-10 2010-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 会話における特定状況を抽出するシステムおよび方法
JP2010134233A (ja) * 2008-12-05 2010-06-17 Fujitsu Ltd 対話選別プログラム、対話選別装置、および対話選別方法
JP2012090337A (ja) * 2012-01-13 2012-05-10 Toshiba Corp 電子機器および表示処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592997B2 (en) 2015-06-23 2020-03-17 Toyota Infotechnology Center Co. Ltd. Decision making support device and decision making support method
JP2018181296A (ja) * 2017-04-10 2018-11-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供装置、情報提供方法及びコンピュータープログラム
JP7080029B2 (ja) 2017-04-10 2022-06-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提供装置、情報提供方法及びコンピュータープログラム
JP2019215808A (ja) * 2018-06-14 2019-12-19 Zホールディングス株式会社 評価装置、評価方法および評価プログラム
JP7057229B2 (ja) 2018-06-14 2022-04-19 ヤフー株式会社 評価装置、評価方法および評価プログラム
JP2020000713A (ja) * 2018-06-29 2020-01-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 分析装置、分析方法及びコンピュータープログラム
JP7144217B2 (ja) 2018-06-29 2022-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 分析装置、分析方法及びコンピュータープログラム
CN109192207A (zh) * 2018-09-17 2019-01-11 顺丰科技有限公司 语音通信装置、语音通信方法及系统、设备、存储介质
WO2022249462A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム

Also Published As

Publication number Publication date
US20150287402A1 (en) 2015-10-08
US10083686B2 (en) 2018-09-25
JPWO2014069120A1 (ja) 2016-09-08
JP6358093B2 (ja) 2018-07-18

Similar Documents

Publication Publication Date Title
JP6358093B2 (ja) 分析対象決定装置及び分析対象決定方法
WO2014069076A1 (ja) 会話分析装置及び会話分析方法
US11811970B2 (en) Voice and speech recognition for call center feedback and quality assurance
JP6341092B2 (ja) 表現分類装置、表現分類方法、不満検出装置及び不満検出方法
US8494149B2 (en) Monitoring device, evaluation data selecting device, agent evaluation device, agent evaluation system, and program
WO2010041507A1 (ja) 会話における特定状況を抽出するシステムおよび方法
JP6213476B2 (ja) 不満会話判定装置及び不満会話判定方法
EP4086903A1 (en) System with post-conversation evaluation, electronic device, and related methods
JP6327252B2 (ja) 分析対象決定装置及び分析対象決定方法
JP6365304B2 (ja) 会話分析装置及び会話分析方法
JP5691174B2 (ja) オペレータ選定装置、オペレータ選定プログラム、オペレータ評価装置、オペレータ評価プログラム及びオペレータ評価方法
US20190199858A1 (en) Voice recognition system and call evaluation setting method
WO2014069443A1 (ja) 不満通話判定装置及び不満通話判定方法
WO2023162009A1 (ja) 感情情報活用装置、感情情報活用方法及びプログラム
JP5679005B2 (ja) 会話異常検知装置、会話異常検知方法、及び会話異常検知プログラム
WO2022208711A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2014069444A1 (ja) 不満会話判定装置及び不満会話判定方法
KR20180034927A (ko) 통화 음성을 분석하는 통신 단말기
JP2010008765A (ja) 音声認識方法、音声認識システム、および音声認識装置
CN110784595A (zh) 一种来电信息的处理方法以及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13851376

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014544378

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14436159

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13851376

Country of ref document: EP

Kind code of ref document: A1