WO2017199646A1 - 顧客応対制御システム、顧客応対システム及びプログラム - Google Patents

顧客応対制御システム、顧客応対システム及びプログラム Download PDF

Info

Publication number
WO2017199646A1
WO2017199646A1 PCT/JP2017/014877 JP2017014877W WO2017199646A1 WO 2017199646 A1 WO2017199646 A1 WO 2017199646A1 JP 2017014877 W JP2017014877 W JP 2017014877W WO 2017199646 A1 WO2017199646 A1 WO 2017199646A1
Authority
WO
WIPO (PCT)
Prior art keywords
customer
operator
response
reception
unit
Prior art date
Application number
PCT/JP2017/014877
Other languages
English (en)
French (fr)
Inventor
孫　正義
筒井　多圭志
康介 朝長
清 大浦
Original Assignee
Ｃｏｃｏｒｏ Ｓｂ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｃｏｃｏｒｏ Ｓｂ株式会社 filed Critical Ｃｏｃｏｒｏ Ｓｂ株式会社
Priority to CN201780024929.XA priority Critical patent/CN109074595A/zh
Priority to EP17799078.5A priority patent/EP3435316A4/en
Publication of WO2017199646A1 publication Critical patent/WO2017199646A1/ja
Priority to US16/188,272 priority patent/US10542149B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/58—Arrangements for transferring received calls from one subscriber to another; Arrangements affording interim conversations between either the calling or the called party and a third party
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5175—Call or contact centers supervision arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5183—Call or contact centers with computer-telephony arrangements

Definitions

  • the present invention relates to a customer reception control system, a customer reception system, and a program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2011-253389
  • the customer may not be appropriately handled depending on the condition of the operator.
  • a customer reception control system may include a customer information acquisition unit that acquires customer information that is customer information that can be handled by the customer reception device.
  • the customer reception control system may include a presentation control unit that presents customer information to the first operator.
  • the customer reception control system may include a reception information generation unit that generates first reception information indicating the content of reception that the customer reception apparatus should respond to the customer based on the operation of the first operator.
  • the customer reception control system includes a reception control unit that instructs the customer to respond to the customer through the customer reception device by instructing the customer reception device to respond to the customer based on the first reception information. Good.
  • the customer reception control system may include an operator emotion specifying unit that specifies the emotion of the first operator.
  • the customer reception control system may include a reception determination unit that determines whether or not the first operator continues to respond to the customer through the customer reception device based on the emotion of the first operator.
  • the operator emotion specifying unit may specify the type and strength of the first operator's emotion.
  • the response determination unit continues the state in which the first operator responds to the customer through the customer response device when the strength exceeding a predetermined value is specified for a predetermined type of emotion by the operator emotion specifying unit You may decide not to.
  • the operator emotion specifying unit may specify the anger strength of the first operator.
  • the reception determination unit may determine that the first operator does not continue to respond to the customer through the customer reception device when the strength of anger exceeds a predetermined value.
  • the customer response control system selects a second operator to respond to the customer from a plurality of operators when the response determination unit determines that the customer response device does not perform the response based on the first response information.
  • An operator selection unit 220 may be provided.
  • the customer reception control system may include a reception notification unit that notifies the second operator that the customer response should be started.
  • the response information generating unit should respond to the customer based on the operation of the second operator.
  • Second response information indicating the response content may be generated.
  • the reception control unit may cause the second operator to respond to the customer through the customer reception apparatus by instructing the customer reception apparatus to respond to the customer based on the second reception information.
  • the first response information may include text data indicating the utterance content of the operator.
  • the reception control unit may transmit the text data to the customer reception device so that the customer reception device speaks.
  • the customer-facing device may have a first state that autonomously responds to the customer and a second state that responds to the customer based on reception information based on the operation of the operator.
  • the customer reception control system notifies the operator of response history information indicating the content of the customer reception device autonomously responding to the customer in the first state when the customer reception device transitions from the first state to the second state.
  • a response history notification unit may be provided.
  • the customer reception control system may include a customer emotion identification unit that identifies the type and strength of the customer's emotion that the customer reception device is responding to based on the state of the customer detected by the customer reception device.
  • the customer reception control system is configured to transition the customer reception apparatus from the first state to the second state when a strength exceeding a predetermined value is specified for a predetermined type of emotion by the customer emotion specifying unit.
  • a control unit may be provided.
  • the customer emotion identification unit may identify the strength of the customer's anger that the customer service device is responding to.
  • the transition control unit may cause the customer reception device to transition from the first state to the second state when a strength exceeding a predetermined value is specified for a predetermined type of emotion by the customer emotion specifying unit. .
  • the customer reception control system may further include an emotion notification unit that notifies the operator of information indicating the type of customer emotion.
  • the customer information may include at least one of a customer image acquired by the customer response device, a customer utterance content acquired by the customer response device, and information related to a purchase history of a product purchased by the customer in the past.
  • a system in a second aspect of the present invention, may comprise the customer response control system described above.
  • the system may comprise the customer service device described above.
  • the functional block structure of the robot 40 and the server 60 is shown schematically. It is a figure which illustrates roughly the sequence in case the robot 40a of an autonomous operation state is responding to the customer 50a. It is a figure which illustrates roughly the sequence until it asks the operator 80a to respond to the customer 50a.
  • the display content of the reception notification by the operator terminal 70a is shown schematically.
  • a display content of the computer 72a when the robot 40a is in an operator response state is schematically shown.
  • a sequence in the case where the robot 40a is responding to the customer 50a based on the operation of the operator 80a is schematically shown.
  • FIG. 1 schematically shows an example of a usage scene of a customer reception system 10 according to the present embodiment.
  • the customer reception system 10 includes a server 60, a robot 40a, a robot 40b, and a robot 40c, and an operator terminal 70a, an operator terminal 70b, and an operator terminal 70c.
  • the components including the operator terminal 70a, the operator terminal 70b, the operator terminal 70c, and the server 60 also function as a customer reception control system.
  • the robot 40a, the robot 40b, and the robot 40c are provided remotely from the operator terminal 70a, the operator terminal 70b, and the operator terminal 70c. Further, the robot 40a, the robot 40b, and the robot 40c are also provided remotely with the server 60.
  • the operator 80a can operate any one of the robot 40a, the robot 40b, and the robot 40c through the server 60 and the communication network 90 using the operator terminal 70a.
  • the operator 80b can operate any one of the robot 40a, the robot 40b, and the robot 40c through the server 60 and the communication network 90 using the operator terminal 70b.
  • the operator 80c can operate any one of the robot 40a, the robot 40b, and the robot 40c through the server 60 and the communication network 90 using the operator terminal 70c.
  • the robot 40a, the robot 40b, and the robot 40c are arranged, for example, at the reception of a store or an office, and can autonomously respond to customers who have visited.
  • the robot 40b is autonomously responding to the customer 50b.
  • the robot 40c is responding autonomously to the customer 50c.
  • the operator 80a is responding to the customer 50a through the operator terminal 70a, the server 60, and the robot 40a.
  • the robot 40 a has a camera function and a microphone function, and transmits the captured image and sound of the customer 50 a to the server 60 through the communication network 90.
  • the server 60 transmits the received image and sound to the operator terminal 70a through the communication network 90.
  • the operator terminal 70a has a computer 72a and a headset 74a.
  • the computer 72 a receives the image and sound of the customer 50 a acquired by the robot 40 a through the server 60.
  • the image received by the computer 72a is provided to the operator 80a through the screen of the computer 72a.
  • the voice received by the computer 72a is provided to the operator 80a through the headset 74a.
  • the server 60 also provides the computer 72a with various types of customer information such as the current emotion of the customer 50a and the purchase history of the product of the customer 50a.
  • the headset 74a has a microphone function, and transmits the voice data of the operator 80a acquired by the microphone function to the server 60.
  • the server 60 transmits the utterance text data based on the voice data to the robot 40a through the communication network 90.
  • the robot 40a utters according to the received utterance text data. Accordingly, the operator 80a can respond to the customer 50a through the robot 40a.
  • the operator terminal 70a has a camera function, and transmits an image of the operator 80a acquired by the camera function to the server 60.
  • the server 60 identifies the emotion of the operator 80a based on information such as the voice and image of the operator 80a received from the computer 72a.
  • the server 60 determines that the emotion of the operator 80a has deteriorated, the server 60 requests the operator 80b, who is not in customer service, to respond to the customer 50a instead of the operator 80a whose emotion has deteriorated.
  • the operator 80b responds to the customer 50a through the operator terminal 70b and the robot 40a. Thereby, according to the customer reception system 10, an operator can be replaced when it is judged that the operator 80a cannot properly respond to the customer due to deterioration of the emotion of the operator 80a.
  • the robot 40b and the robot 40c have substantially the same function as the robot 40a.
  • the robot 40a, the robot 40b, and the robot 40c may be collectively referred to as the robot 40.
  • the operator terminal 70b includes a computer 72b and a headset 74b, and has substantially the same function as the operator terminal 70a.
  • the operator terminal 70c has a computer 72c and a headset 74c, and has substantially the same function as the operator terminal 70a.
  • the operator terminal 70a, the operator terminal 70b, and the operator terminal 70c may be collectively referred to as the operator terminal 70.
  • the operation of the combination of the robot 40 a and the operator terminal 70 a or the combination of the robot 40 a and the operator terminal 70 b may be particularly taken up.
  • the combination of the robot 40 and the operator terminal 70 is not limited to this combination, and the same operation can be realized in any combination.
  • FIG. 2 schematically shows the functional block configuration of the robot 40 and the server 60.
  • the robot 40 includes a sensor unit 120, an information processing unit 130, a control target 160, and a communication unit 102.
  • the information processing unit 130 may be a processor such as an MPU.
  • the communication unit 102 is responsible for communication with the server 60.
  • the communication unit 102 may be a communication device such as a network IF.
  • Control object 160 includes a speaker.
  • the control object 160 also includes a motor that drives a movable part such as a limb or head of the robot 40.
  • the sensor unit 120 includes various sensors such as a microphone, a gyro sensor, a motor sensor, and a camera.
  • the microphone of the sensor unit 120 acquires ambient sound. For example, the microphone of the sensor unit 120 acquires the voice of the customer 50.
  • the camera of the sensor unit 120 shoots with visible light and generates image information.
  • the gyro sensor of the sensor unit 120 detects the angular velocity of the entire robot 40 and each part of the robot 40.
  • the motor sensor of the sensor unit 120 detects the rotation angle of the drive shaft of the motor that drives the movable part of the robot 40.
  • the sensor unit 120 outputs, to the information processing unit 130, various types of sensor data such as voice data acquired by a microphone, an image captured by a camera, an angular velocity detected by a gyro sensor, and a rotation angle detected by a motor sensor. To do.
  • the information processing unit 130 supplies the acquired sensor signal to the communication unit 102 and transmits it to the server 60. Further, the information processing unit 130 determines the behavior of the robot 40 based on various sensor data detected by the sensor unit 120. The information processing unit 130 controls the control target 160 based on the determined action.
  • the information processing unit 130 determines the utterance content of the robot 40, the movement of the limb of the robot 40, and the like based on various sensor data and information acquired from the server 60. Specifically, the information processing unit 130 analyzes the voice data acquired by the microphone of the sensor unit 120 and identifies the utterance content of the customer 50. In addition, the information processing unit 130 identifies the facial expression of the customer 50 based on image information generated by the camera of the sensor unit 120. The information processing unit 130 determines the utterance content of the robot 40 and the movements of the limbs of the robot 40 based on the utterance content of the customer 50, the facial expression of the customer 50, etc., and controls the speaker and motor of the control target 160.
  • the robot 40 speaks and moves the limbs and the like. Thereby, the robot 40 can understand the utterance content of the customer 50 and the like, and can talk with the customer 50 or guide the customer 50. Thus, the robot 40 can autonomously respond to the customer 50.
  • the robot 40 may transmit information acquired by the sensor unit 120 to the server 60, and the server 60 may determine the utterance content of the robot 40, the movement of the limbs, and the like.
  • the robot 40 may receive the instruction information such as the utterance content and the movement of the limb determined by the server 60 and operate the utterance and the limb based on the instruction information.
  • the server 60 determines the behavior of the robot 40 as described above, since the human instruction is not substantially involved in the behavior of the robot 40, it can be considered that the robot 40 is responding autonomously.
  • the content uttered by the robot 40 may be determined by the server 60 and transmitted to the robot 40.
  • the block provided with the functional part and the robot 40 for the utterance content in the server 60 can function as a customer service device.
  • the server 60 includes an information processing unit 230, a communication unit 202, a communication unit 204, and a storage unit 280.
  • the information processing unit 230 includes a reception control unit 240, a customer emotion specifying unit 250, a transition control unit 252, an operator emotion specifying unit 210, an operator selection unit 220, a reception information generating unit 242, and a presentation control unit 208.
  • a processor such as an MPU.
  • the functions of the reception control unit 240, the customer emotion identification unit 250, the transition control unit 252, the operator emotion identification unit 210, the operator selection unit 220, the reception information generation unit 242, and the presentation control unit 208 are processor functions. May be realized by reading a program stored in the recording medium 290.
  • the communication unit 202 is responsible for communication with the robot 40.
  • the communication unit 202 includes a customer information acquisition unit 200.
  • the communication unit 204 is responsible for communication with the operator terminal 70.
  • the communication unit 204 includes a notification unit 270 that mainly handles notification to the operator 80.
  • the communication unit 202 and the communication unit 204 may be communication devices such as a network IF.
  • the storage unit 280 includes a storage medium such as a hard disk device or a flash memory.
  • the storage unit 280 includes a volatile storage device such as a RAM.
  • the storage unit 280 stores program code read by the response control unit 240 at the time of execution, various kinds of temporary data, data necessary for executing the processing of the information processing unit 230, and the like.
  • the customer information acquisition unit 200 acquires customer information that is customer information that can be handled by the robot 40.
  • the customer information acquisition unit 200 receives customer information acquired by the robot 40 through the communication network 90.
  • the customer information may include at least one of the customer image acquired by the robot 40, the utterance content of the customer acquired by the robot 40, and the purchase history of products purchased by the customer in the past.
  • the purchase history of the product purchased by the customer in the past may be stored in the storage unit 280.
  • the presentation control unit 208 presents the customer information acquired by the customer information acquisition unit 200 to the first operator.
  • the first operator is one of the operators 80.
  • the presentation control unit 208 transmits customer information from the communication unit 204 to the operator terminal 70 and causes the computer 72 of the operator terminal 70 to display the customer information.
  • the reception information generation unit 242 generates first reception information indicating the content of reception that the robot 40 should respond to the customer based on the operation of the first operator. For example, the reception information generation unit 242 generates utterance text data to be uttered by the robot 40 based on the voice data of the first operator acquired from the operator terminal 70.
  • the response control unit 240 instructs the first operator to respond to the customer through the robot 40 by instructing the robot 40 to respond to the customer based on the first response information. Specifically, the reception control unit 240 transmits the utterance text data to the robot 40 and causes the robot 40 to utter.
  • the operator emotion specifying unit 210 specifies the emotion of the first operator.
  • the response determination unit 272 determines whether or not the first operator continues to respond to the customer through the robot 40 based on the emotion of the first operator.
  • the operator emotion specifying unit 210 specifies the emotion type and strength of the first operator.
  • the response determination unit 272 indicates a state in which the first operator responds to the customer through the robot 40 when the operator emotion specifying unit 210 specifies a strength exceeding a predetermined value for a predetermined type of emotion. Judge that it will not continue. Note that whether or not “a strength exceeding a predetermined value is specified for a predetermined type of emotion” is sometimes referred to as a response stop condition.
  • the operator emotion specifying unit 210 specifies the strength of the anger of the first operator. Then, the response determination unit 272 determines that the first operator does not continue to respond to the customer through the robot 40 when the strength of anger exceeds a predetermined value.
  • the operator selection unit 220 selects, from among a plurality of operators, a second operator to respond to the customer when the response determination unit 272 determines that the robot 40 does not perform the response based on the first response information. To do. Then, the notification unit 270 notifies the second operator that the customer service should be started. Specifically, the notification unit 270 transmits a response notification to the operator terminal 70 operated by the second operator.
  • the response information generation unit 242 should respond to the customer based on the operation of the second operator.
  • Second response information indicating the content of the response is generated.
  • the second response information may be utterance text data indicating the utterance content based on the voice data of the second operator.
  • the response control unit 240 instructs the robot 40 to respond to the customer based on the second response information, thereby causing the second operator to respond to the customer through the robot 40.
  • the robot 40 has an autonomous operation state that autonomously responds to the customer and an operator reception state that responds to the customer based on the reception information based on the operation of the operator.
  • the notification unit 270 notifies the operator of response history information indicating the content of the robot 40 autonomously responding to the customer in the autonomous operation state. Thereby, the operator can confirm what kind of reception the robot 40 has done and determine the contents of the reception.
  • the notification unit 270 may notify the operator of information indicating the type of customer emotion. Thereby, the operator 80 can determine an appropriate response content in consideration of the customer's feelings.
  • the customer emotion specifying unit 250 specifies the type and strength of the customer's emotion that the robot 40 is responding to based on the customer state detected by the robot 40.
  • the transition control unit 252 causes the robot 40 to transition from the autonomous operation state to the operator reception state when the customer emotion specifying unit 250 specifies a strength exceeding a predetermined value for a predetermined type of emotion.
  • a strength exceeding a predetermined value for a predetermined type of emotion thereby, for example, when the customer's emotions deteriorate during the robot 40 autonomously responding, the operator can respond to the customer.
  • the customer's emotion does not deteriorate during the robot 40's autonomous response, it is not necessary to respond to the operator.
  • the customer emotion specifying unit 250 specifies the strength of the customer's anger that the robot 40 is responding to.
  • the transition control unit 252 moves the robot 40 that is responding to the customer from the autonomous operation state. Transition to the operator response state.
  • the customer information may include at least one of a customer image acquired by the robot 40, customer utterance content acquired by the robot 40, and information related to a purchase history of a product purchased by the customer in the past.
  • FIG. 3 is a diagram schematically illustrating a sequence when the robot 40a in an autonomous operation state is responding to the customer 50a.
  • the robot 40 a transmits sensor information such as sound and images detected by the sensor unit 120 to the server 60.
  • the face image of the customer 50a and the name “Mr. A” of the customer 50a are already stored in the storage unit 280 of the server 60.
  • the reception control unit 240 learns the name of the customer 50a from conversations and the like exchanged between the robot 40a and the customer 50a in the past, and the storage unit 280 stores the face image and the name “A” of the customer 50a. "Man" is stored in association with each other.
  • the response control unit 240 collates the face image received from the robot 40a with the face image stored in the storage unit 280, and the person who has visited is the man A, and that the visitor has visited in the past. Judge that there is a person. Thereby, the information “A man came” is generated. Then, the response control unit 240 decides to utter “You came again” as the appropriate response content in this situation, sends the text data of the utterance content to the robot 40a, and sends it to the robot 40a. Speak.
  • the robot 40a transmits the voice data to the server 60 when a reply “Yes, I came to buy a mobile cover” is returned from the customer 50a after speaking.
  • the customer emotion specifying unit 250 specifies the emotion strength of the customer 50a for each of a plurality of emotion types based on information such as voice and image received from the robot 40a. For example, the customer emotion specifying unit 250 specifies the strengths of “joy”, “anger”, “sorrow”, and “easy”. As an example, the customer emotion identifying unit 250 identifies the type of emotion and the strength of the emotion based on the facial expression identified from the image, the voice status identified from the voice, and the like. Here, examples of the voice state include voice states such as whether or not anger is included and whether or not it seems to be fun. Note that the customer emotion specifying unit 250 may extract a voice feature amount such as a fundamental frequency from the voice, and specify a voice state based on the extracted voice feature amount. The customer emotion specifying unit 250 may specify the strongest emotion as the current emotion of the customer 50a.
  • the reception control unit 240 when the emotion of “Easy” is identified as “Emotion” of the customer 50a, the reception control unit 240 generates information “A man seems to be happy”.
  • the transition control unit 252 maintains the autonomous operation state of the robot 40a without requesting the operator 80 to respond because the customer emotion specifying unit 250 determines that the emotion of the customer 50a has not deteriorated.
  • the communication unit 202 continues to receive a response history indicating the utterance content and operation content of the robot 40a from the robot 40a, and the storage unit 280 stores the response history in association with the time.
  • FIG. 4 is a diagram schematically illustrating a sequence until the operator 80a is requested to respond to the customer 50a. From the voice of the customer 50a and the expression of the customer 50a after the server 60 speaks to the robot 40a "What did you come to buy today?" And the information “A man is angry” is generated. In response to this, the transition control unit 252 determines that the robot 40a is to be transitioned from the autonomous operation state to the operator reception state.
  • the operator selection unit 220 selects the operator 80 that should respond to the customer 50a from the operators 80.
  • the operator selection unit 220 selects an operator other than the operator who is currently serving another customer 50 as the operator 80 to be served to the customer 50a.
  • the operator selection unit 220 may select the operator 80 having a higher response capability as the emotion of the customer 50a increases.
  • Information indicating the response capability of the operator 80 is stored in the storage unit 280 in association with information for identifying the operator 80, and the operator selection unit 220 refers to the information stored in the storage unit 280, and The operator 80 that should respond to 50a may be selected. The response capability of the operator 80a will be described later in relation to the performance table.
  • the notification unit 270 transmits a reception notification to the operator terminal 70a operated by the operator 80a.
  • the notification unit 270 indicates the information indicating the emotion of the customer 50a, the information indicating the response history between the robot 40a and the customer 50a, the image of the customer 50a, and the past purchase history of the customer 50a together with the response notification. Information is transmitted to the operator terminal 70a.
  • FIG. 5 schematically shows the display contents of the reception notification by the operator terminal 70a.
  • the computer 72a when receiving the response notification from the server 60, the computer 72a displays an object 410 indicating that the response is requested on the screen of the computer 72a.
  • the computer 72a notifies the operator 80a by outputting a notification sound to the headset 74a worn by the operator 80a.
  • the computer 72a shifts to the reception mode.
  • FIG. 6 schematically shows the display contents of the computer 72a when the robot 40a is in an operator reception state.
  • the computer 72 a displays information indicating the emotion of the customer 50 a received from the server 60 on the object 510. Further, the computer 72 a displays the face image of the customer 50 a received from the server 60 on the object 520. In addition, the computer 72 a displays, on the object 530, information indicating the reception history between the robot 40 a and the customer 50 a received from the server 60. In addition, the computer 72 a displays information indicating the purchase history of the customer 50 a received from the server 60 on the object 560.
  • the computer 72a displays a manual button 561 and an automatic button 562 on the screen.
  • the automatic button 562 is a button for instructing the robot 40a to transition to the autonomous response state.
  • the manual button 561 is a button for instructing the robot 40a to transition to the operator reception state. In FIG. 6, since the robot 40a has transitioned to the operator reception state, the manual button 561 is already selected, and the automatic button 562 is selectable.
  • the computer 72a acquires the voice acquired by the robot 40a from the server 60, outputs it to the headset 74a, and provides the voice to the operator 80a.
  • the computer 72a acquires the voice collected by the microphone unit of the headset 74a as voice data and transmits it to the server 60.
  • the voice data may be voice data itself representing a voice waveform.
  • the voice data may be converted into text in the server 60 and transmitted to the robot 40a as speech text data.
  • the computer 72a may extract the language from the voice data and convert it into text, and transmit the obtained text data to the server 60.
  • the text data transmitted to the server 60 may be transmitted as it is as text data to be uttered from the robot 40a.
  • the computer 72a transmits an image of the operator 80a acquired by the camera 76a included in the computer 72a to the server 60.
  • the operator emotion identification unit 210 of the server 60 identifies the emotion of the operator 80a from the received voice and image of the operator 80a.
  • the emotion specified by the operator emotion specifying unit 210 is transmitted from the communication unit 204 of the server 60 to the operator terminal 70a.
  • the computer 72 a displays information indicating the emotion of the operator 80 a received from the server 60 on the object 570.
  • FIG. 7 schematically shows a sequence when the robot 40a is responding to the customer 50a based on the operation of the operator 80a.
  • voice data “I am sorry many times” is transmitted from the computer 72a to the server 60.
  • the reception information generation unit 242 generates reception information including utterance text data to be uttered by the robot 40a based on the received voice data.
  • the response control unit 240 transmits the response information to the robot 40a through the communication unit 202, and causes the robot 40a to speak according to the utterance text data.
  • the computer 72a and the server 60 cause the operator 80a to respond to the customer 50a through the robot 40a.
  • the robot 40a sequentially transmits the sensor information detected by the sensor unit 120 to the server 60, and the server 60 determines the emotion of the customer 50a.
  • Information indicating the customer's emotions, a response history between the robot 40a and the customer 50a, and a customer image are sequentially transmitted from the server 60 to the computer 72a.
  • FIG. 8 is a diagram schematically illustrating a sequence until the person who responds to the customer 50a is switched to the operator 80b.
  • the customer's 50a utterance is sent to the computer 72a as voice data and output from the headset 74a.
  • the computer 72a transmits the voice data generated from the utterance to the server 60.
  • the computer 72a transmits the image of the operator 80a acquired by the camera 76a to the server 60.
  • the operator emotion specifying unit 210 determines the emotion type and strength of the operator 80a based on the voice data “Jaana!” Of the operator 80a and the facial expression specified from the face image of the operator 80a. Identify.
  • the operator emotion specifying unit 210 may specify an emotion from the face image and the voice data by the same processing as the operation of the customer emotion specifying unit 250.
  • the operator selection unit 220 selects the operator 80b as an operator to respond to the customer 50a through the robot 40a. Select.
  • the notification part 270 transmits a reception notice to the operator terminal 70b operated by the operator 80b.
  • the notification unit 270 indicates the information indicating the emotion of the customer 50a, the information indicating the response history between the robot 40a and the customer 50a, the image of the customer 50a, and the past purchase history of the customer 50a together with the response notification. Information is transmitted to the operator terminal 70b.
  • the computer 72b when the computer 72b receives the response notification from the server 60, the computer 72b displays a screen similar to the screen shown in FIG. Since the operation of the operator terminal 70b in response to the response notification is substantially the same as the operation described with reference to FIG. When the computer 72b transitions to the reception mode, the computer 72b displays a screen shown in FIG.
  • FIG. 9 schematically shows the contents displayed by the computer 72b in the reception mode. As illustrated, the computer 72b displays the same type of information as the information included in the display content shown in FIG.
  • the response history displayed on the object 530 by the computer 72b includes a history of the robot 40a responding to the customer 50a in an autonomous operation state and a history of the operator 80a responding to the customer 50a through the robot 40a. Thereby, the operator 80b can confirm the past response history of the operator 80a, and can start the response to the customer 50a.
  • FIG. 10 schematically shows a sequence until the robot 40a returns to the autonomous operation state.
  • the operator 80b confirms the response history shown in FIG. 9 and utters "See you later!
  • the voice of the operator 80b is acquired by the headset 74b, and the computer 72b receives the voice data of the utterance. Is transmitted to the server 60.
  • the reception information generation unit 242 converts the received voice data into utterance text data and transmits it to the robot 40a to cause the robot 40a to speak. Thereafter, voice data “I will see you again!” From the customer 50 a is transmitted to the operator terminal 70 b through the server 60.
  • the operator 80b determines to end the response, the operator 80b presses the automatic button 562 on the screen of the computer 72b, and causes the computer 72b to transmit a transition instruction to the server 60 to make the robot 40a transition to the autonomous operation state.
  • the reception control unit 240 transmits an instruction to transition to the autonomous operation state to the robot 40a.
  • the communication unit 102 receives the instruction to transition to the autonomous response state
  • the information processing unit 130 and the response control unit 240 resume the autonomous response process based on the sensor information of the sensor unit 120a.
  • FIG. 11 schematically shows a performance table used to select an appropriate operator 80.
  • the data of the performance table is stored in the storage unit 280 of the server 60.
  • the storage unit 280 associates the operator identification information for identifying the operator 80 with the attribute of the customer 50 to which each operator 80 responds and the emotion of the customer 50 before the operator 80 starts the response.
  • the type and the response actual value are stored in association with each other.
  • the attributes of the customer 50 include the age group of the customer and the gender of the customer.
  • the type of customer's emotion at the time of reception indicates the type of emotion that the operator 80 needs to respond to, such as “anger” and “sorrow”.
  • the response result value is added when the feeling of the customer 50 is improved by the response of the operator 80.
  • the information processing unit 230 adds a predetermined value to the corresponding response performance value when the anger intensity of the customer 50 is decreased by a predetermined value or more by the operator 80, and stores it in the storage unit 280. To do.
  • the information processing unit 230 adds a predetermined value to the corresponding response performance value when the emotion of the customer 50 changes from “anger” or “sorrow” to “joy” or “easy” by the operator 80. Then, it may be stored in the storage unit 280.
  • the response stored in the result table in association with the operator identification information of the operator 80b A predetermined value is added to the actual value.
  • the operator selection unit 220 When selecting the operator 80 that should respond to the customer 50, the operator selection unit 220 refers to the data in the performance table stored in the storage unit 280 and selects the operator 80 that can appropriately respond to the target customer 50. To do. For example, the operator selection unit 220 searches for the operator identification information associated with the information matching the attribute of the target customer 50 and the current emotion type from the data in the result table. And the operator selection part 220 extracts the operator identification information with which the higher response performance value is matched among the searched operator identification information with higher priority. For example, the operator selection part 220 extracts the operator identification information with which the highest response performance value is matched among the searched operator identification information. Then, the operator selection unit 220 selects the operator 80 identified by the extracted operator identification information as an operator that should respond to the target customer 50. Thereby, it is possible to select the operator 80 having a high response capability with respect to the attributes and emotions of the target customer 50.
  • the operator 80 when it is determined that the operator 80 cannot properly respond to the customer 50 in the system in which the operator 80 responds to the customer through the robot 40, the operator 80 The answering by 80 can be stopped and the answering person can be switched to another operator 80.
  • the response determination unit 272 indicates that the operator 80 does not continue to respond to the customer 50 through the robot 40 when the strength of the emotion of “grief” exceeds a predetermined value. You can judge. In addition, the response determination unit 272 indicates that the operator 80 does not continue to respond to the customer 50 through the robot 40 when the strength of the feeling of “sorrow” of the operator 80 exceeds a predetermined value. You may judge.
  • Various types of emotions can be applied as the type of emotion used for the response stop condition of the operator 80 in addition to the above-mentioned “anger”, “sad”, and “sorrow”.
  • the emotion of the operator 80 is an example of parameters used by the reception determination unit 272 for the reception stop condition.
  • the response determination unit 272 determines that the operator 80 does not continue to respond to the customer 50 when it is determined that the status of the operator 80 matches a predetermined type of status in addition to the emotion of the operator 80. It's okay. Examples of the state of the operator 80 include fatigue of the operator 80. In the server 60, the information processing unit 230 may specify the fatigue of the operator 80 from the voice and facial expression of the operator 80.
  • the response determination unit 272 determines that the response stop condition of the operator 80 is satisfied
  • the information processing unit 230 replaces the operator 80 or switches the operator 80 in addition to switching the operator 80.
  • the administrator may be notified that the response stop condition has been satisfied.
  • the manager of the operator 80 may be a supervisor who supervises the work of the operator 80.
  • the server 60 has mainly described the case of switching to the operator reception state when the customer 50's emotions deteriorate.
  • the server 60 may switch to the operator reception state when it is determined that the robot 40 cannot appropriately respond to the customer 50 in the autonomous operation state.
  • the server 60 may switch to the operator response state when the appropriate utterance content to be uttered by the robot 40 cannot be determined.
  • the server 60 may switch to the operator reception state when a customer 50 of a predetermined gender visits. For example, when a woman visits, it may be switched to an operator reception state.
  • the robot 40 may autonomously respond to men and the operator 80 may respond to women.
  • a predetermined customer 50 visits in advance, it may be switched to the operator reception state.
  • an operator 80 may respond to a customer 50 who frequently purchases expensive products. Further, the operator 80 may respond to the customer 50 whose emotions have deteriorated due to the response by the robot 40 in the past. Further, the operator 80 may simply respond when a customer visits. For example, when there is no person nearby, the robot 40 may perform the soliciting action in the autonomous operation state, and may transition to the operator reception state when the person approaches.
  • the function of the server 60 may be implemented by one or more computers. At least some functions of the server 60 may be implemented by a virtual machine. In addition, at least a part of the functions of the server 60 may be implemented in the cloud. In the above description, the server 60 has the function of determining the utterance content of the robot 40a. Of the functions of the server 60, at least a part of the functions related to the control of the robot 40a is implemented in the robot 40a. Good. Of the functions of the server 60, at least some of the functions related to the control of the operator terminal 70 may be implemented in the operator terminal 70.
  • the robot 40 is an example of a customer service device. Various forms other than the robot can be adopted as the customer service device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

顧客応対制御システムは、顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、顧客情報を第１のオペレータへ提示させる提示制御部と、第１のオペレータの動作に基づいて、顧客に対して顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部と、第１の応対情報に基づいて顧客に応対するよう顧客応対装置に指示することにより、第１のオペレータに、顧客に対して顧客応対装置を通じて応対させる応対制御部と、第１のオペレータの感情を特定するオペレータ感情特定部と、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続するか否かを、第１のオペレータの感情に基づいて判断する応対判断部とを備える。

Description

顧客応対制御システム、顧客応対システム及びプログラム
　本発明は、顧客応対制御システム、顧客応対システム及びプログラムに関する。
　ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。
　［先行技術文献］
　［特許文献］
　［特許文献１］特開２０１１－２５３３８９号公報
解決しようとする課題
　オペレータが顧客応対装置を通じて顧客に応対するシステムにおいて、オペレータの状態によっては、顧客に対して適切に応対できない場合がある。
一般的開示
　本発明の第１の態様においては、顧客応対制御システムが提供される。顧客応対制御システムは、顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部を備えてよい。顧客応対制御システムは、顧客情報を第１のオペレータへ提示させる提示制御部を備えてよい。顧客応対制御システムは、第１のオペレータの動作に基づいて、顧客に対して顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部を備えてよい。顧客応対制御システムは、第１の応対情報に基づいて顧客に応対するよう顧客応対装置に指示することにより、第１のオペレータに、顧客に対して顧客応対装置を通じて応対させる応対制御部を備えてよい。顧客応対制御システムは、第１のオペレータの感情を特定するオペレータ感情特定部を備えてよい。顧客応対制御システムは、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続するか否かを、第１のオペレータの感情に基づいて判断する応対判断部を備えてよい。
　オペレータ感情特定部は、第１のオペレータの感情の種別及び強さを特定してよい。応対判断部は、オペレータ感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続しない旨を判断してよい。
　オペレータ感情特定部は、第１のオペレータの怒りの強さを特定してよい。応対判断部は、怒りの強さが予め定められた値を超えた場合に、第１のオペレータが顧客応対装置を通じて顧客に応対する状態を継続しない旨を判断してよい。
　顧客応対制御システムは、応対判断部が第１の応対情報に基づく応対を顧客応対装置に行わせない旨を判断した場合に、顧客に応対する第２のオペレータを、複数のオペレータの中から選択するオペレータ選択部２２０を備えてよい。顧客応対制御システムは、第２のオペレータに、顧客への応対を開始すべき旨を通知する応対通知部を備えてよい。
　応対通知部が顧客への応対を開始すべき旨を第２のオペレータに通知した後に、応対情報生成部は、第２のオペレータの動作に基づいて、顧客に対して顧客応対装置が応対するべき応対内容を示す第２の応対情報を生成してよい。応対制御部は、第２の応対情報に基づいて顧客に応対するよう顧客応対装置に指示することにより、第２のオペレータに、顧客に対して顧客応対装置を通じて応対させてよい。
　第１の応対情報は、オペレータの発話内容を示すテキストデータを含んでよい。応対制御部は、テキストデータを顧客応対装置に送信して、顧客応対装置に発話させてよい。
　顧客応対装置は、顧客に対し自律的に応対する第１状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行う第２状態とを有してよい。顧客応対制御システムは、顧客応対装置が第１状態から第２状態に遷移した場合に、顧客応対装置が第１状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する応対履歴通知部を備えてよい。
　顧客応対制御システムは、顧客応対装置が検出した顧客の状態に基づいて、顧客応対装置が応対している顧客の感情の種別及び強さを特定する顧客感情特定部を備えてよい。顧客応対制御システムは、顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、顧客応対装置を第１状態から第２状態に遷移させる遷移制御部を備えてよい。
　顧客感情特定部は、顧客応対装置が応対している顧客の怒りの強さを特定してよい。遷移制御部は、顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、顧客応対装置を第１状態から第２状態に遷移させてよい。
　顧客応対制御システムは、顧客の感情の種別を示す情報をオペレータに通知する感情通知部をさらに備えてよい。
　顧客情報は、顧客応対装置が取得した顧客の画像、顧客応対装置が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴に関する情報のうちの少なくともいずれか一つを含んでよい。
　本発明の第２の態様においては、システムが提供される。システムは、上記の顧客応対制御システムを備えてよい。システムは、上記の顧客応対装置を備えてよい。
　本発明の第３の態様においては、コンピュータを、上記の顧客応対制御システムとして機能させるためのプログラムが提供される。
　なお、上記の一般的開示は、必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションも、発明となりうる。
本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。 ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。 自律動作状態のロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に説明する図である。 顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。 オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。 ロボット４０ａがオペレータ応対状態の場合におけるコンピュータ７２ａの表示内容を概略的に示す。 オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に示す。 顧客５０ａへの応対者をオペレータ８０ｂに切り換えるまでのシーケンスを概略的に説明する図である。 応対モード時のコンピュータ７２ｂによる表示内容を概略的に示す。 ロボット４０ａが自律動作状態に復帰するまでのシーケンスを概略的に示す。 適切なオペレータ８０を選択するために用いられる実績テーブルを概略的に示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。顧客応対システム１０は、サーバ６０と、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃと、オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃとを備える。オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃ並びにサーバ６０を備える構成部分は、顧客応対制御システムとしても機能する。
　ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃとは遠隔に設けられる。また、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、サーバ６０とも遠隔に設けられる。オペレータ８０ａは、オペレータ端末７０ａを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。同様に、オペレータ８０ｂは、オペレータ端末７０ｂを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。オペレータ８０ｃは、オペレータ端末７０ｃを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。
　ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、例えば店舗や事務所の受付等に配置されて、来訪した顧客に対して自律的に応対することができる。図１に示す状況において、顧客５０ｂに対しては、ロボット４０ｂが自律的に応対中である。顧客５０ｃに対しては、ロボット４０ｃが自律的に応対中である。
　顧客５０ａに対しては、オペレータ８０ａが、オペレータ端末７０ａ、サーバ６０及びロボット４０ａを通じて応対中である。ロボット４０ａは、カメラ機能及びマイク機能を有しており、撮影した顧客５０ａの画像及び音声を、通信ネットワーク９０を通じてサーバ６０に送信する。サーバ６０は、受信した画像及び音声を、通信ネットワーク９０を通じてオペレータ端末７０ａに送信する。
　オペレータ端末７０ａは、コンピュータ７２ａ及びヘッドセット７４ａを有する。コンピュータ７２ａは、ロボット４０ａにより取得された顧客５０ａの画像及び音声を、サーバ６０を通じて受信する。コンピュータ７２ａが受信した画像は、コンピュータ７２ａの画面を通じてオペレータ８０ａに提供される。また、コンピュータ７２ａが受信した音声は、ヘッドセット７４ａを通じてオペレータ８０ａに提供される。また、サーバ６０は、顧客５０ａの現在の感情、顧客５０ａの商品の購入履歴等、様々な種別の顧客情報を、コンピュータ７２ａに提供する。
　オペレータ端末７０ａにおいて、ヘッドセット７４ａは、マイク機能を有しており、マイク機能で取得したオペレータ８０ａの音声データを、サーバ６０に送信する。サーバ６０は、音声データに基づく発話テキストデータを、通信ネットワーク９０を通じてロボット４０ａに送信する。ロボット４０ａは、受信した発話テキストデータに従って発話する。これにより、オペレータ８０ａは、ロボット４０ａを通じて顧客５０ａに応対することができる。
　また、オペレータ端末７０ａは、カメラ機能を有しており、カメラ機能で取得したオペレータ８０ａの画像をサーバ６０に送信する。サーバ６０は、コンピュータ７２ａから受信したオペレータ８０ａの音声及び画像等の情報に基づいて、オペレータ８０ａの感情を特定する。サーバ６０は、オペレータ８０ａの感情が悪化したと判断すると、顧客応対中でないオペレータ８０ｂに、感情が悪化したオペレータ８０ａに代わり、顧客５０ａへの応対を依頼する。オペレータ８０ｂは、オペレータ端末７０ｂ及びロボット４０ａを通じて、顧客５０ａに応対する。これにより、顧客応対システム１０によれば、オペレータ８０ａの感情が悪化する等して、オペレータ８０ａが顧客に対して適切に応対できない状態にある判断した場合に、オペレータを交代することができる。
　なお、ロボット４０ｂ及びロボット４０ｃは、ロボット４０ａと略同一の機能を有する。顧客応対システム１０の説明において、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃを、ロボット４０と総称する場合がある。また、オペレータ端末７０ｂは、コンピュータ７２ｂ及びヘッドセット７４ｂを有し、オペレータ端末７０ａと略同一の機能を有する。オペレータ端末７０ｃは、コンピュータ７２ｃ及びヘッドセット７４ｃを有し、オペレータ端末７０ａと略同一の機能を有する。顧客応対システム１０の説明において、オペレータ端末７０ａ、オペレータ端末７０ｂ及びオペレータ端末７０ｃを、オペレータ端末７０と総称する場合がある。
　なお、顧客応対システム１０の説明において、特にロボット４０ａとオペレータ端末７０ａとの組み合わせ又はロボット４０ａとオペレータ端末７０ｂとの組み合わせの動作を取り上げる場合がある。しかし、ロボット４０とオペレータ端末７０との組み合わせはこの組み合わせのみに限られず、任意の組み合わせにおいて同様の動作を実現できる。
　図２は、ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。まず、ロボット４０の機能ブロック構成について説明する。ロボット４０は、センサ部１２０と、情報処理部１３０と、制御対象１６０と、通信部１０２とを有する。情報処理部１３０は、ＭＰＵ等のプロセッサであってよい。通信部１０２は、サーバ６０との通信を担う。通信部１０２は、ネットワークＩＦ等の通信デバイスであってよい。
　制御対象１６０は、スピーカを含む。制御対象１６０はまた、ロボット４０の肢部や頭部等の可動部を駆動するモータ等を含む。
　センサ部１２０は、マイク、ジャイロセンサ、モータセンサ、カメラ等の各種のセンサを有する。センサ部１２０のマイクは、周囲の音声を取得する。例えば、センサ部１２０のマイクは、顧客５０の音声を取得する。センサ部１２０のカメラは、可視光によって撮影して画像情報を生成する。センサ部１２０のジャイロセンサは、ロボット４０全体及びロボット４０の各部の角速度を検出する。センサ部１２０のモータセンサは、ロボット４０の可動部を駆動するモータの駆動軸の回転角度を検出する。
　センサ部１２０は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度等の各種のセンサデータを、情報処理部１３０に出力する。情報処理部１３０は、取得したセンサ信号を通信部１０２に供給して、サーバ６０へ送信させる。また、情報処理部１３０は、センサ部１２０で検出された各種のセンサデータに基づいて、ロボット４０の行動を決定する。情報処理部１３０は、決定した行動に基づいて制御対象１６０を制御する。
　例えば、情報処理部１３０は、各種のセンサデータやサーバ６０から取得した情報に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動き等を決定する。具体的には、情報処理部１３０は、センサ部１２０のマイクで取得された音声データを解析して顧客５０の発話内容を特定する。また、情報処理部１３０は、センサ部１２０のカメラで生成された画像情報に基づいて、顧客５０の表情を特定する。情報処理部１３０は、顧客５０の発話内容、顧客５０の表情等に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動きを決定し、制御対象１６０のスピーカ及びモータを制御して、ロボット４０に発話させ、肢部等を動作させる。これにより、ロボット４０は、顧客５０の発話内容等を理解して、顧客５０と会話したり、顧客５０を案内したりすることができる。このように、ロボット４０は、顧客５０に対し自律的に応対することができる。
　なお、ロボット４０は、センサ部１２０で取得した情報等をサーバ６０に送信し、サーバ６０がロボット４０の発話内容や肢部の動き等を決定してもよい。ロボット４０は、サーバ６０で決定された発話内容や肢部の動き等の指示情報を受信して、当該指示情報に基づいて発話や肢部を動作させてよい。このようにサーバ６０がロボット４０の行動を決定する場合も、ロボット４０の行動に人間の指示が実質的に関与していないため、ロボット４０が自律的に応対しているとみなすことができる。
　なお、ロボット４０が発話する内容は、サーバ６０において決定されて、ロボット４０に送信されてもよい。この場合、サーバ６０における発話内容を機能部分とロボット４０とを備えるブロックが、顧客応対装置として機能し得る。
　次に、サーバ６０の機能ブロック構成について説明する。サーバ６０は、情報処理部２３０と、通信部２０２と、通信部２０４と、格納部２８０とを有する。情報処理部２３０は、応対制御部２４０と、顧客感情特定部２５０と、遷移制御部２５２と、オペレータ感情特定部２１０と、オペレータ選択部２２０と、応対情報生成部２４２と、提示制御部２０８とを有する。情報処理部２３０の機能は、ＭＰＵ等のプロセッサによって実装されてよい。例えば、応対制御部２４０と、顧客感情特定部２５０と、遷移制御部２５２と、オペレータ感情特定部２１０と、オペレータ選択部２２０と、応対情報生成部２４２と、提示制御部２０８の機能は、プロセッサが記録媒体２９０に格納されたプログラムを読み込むことで実現されてよい。
　通信部２０２は、ロボット４０との通信を担う。通信部２０２は、顧客情報取得部２００を有する。通信部２０４は、オペレータ端末７０との通信を担う。通信部２０４は、主としてオペレータ８０への通知を担う通知部２７０を有する。通信部２０２及び通信部２０４は、ネットワークＩＦ等の通信デバイスであってよい。格納部２８０は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部２８０は、ＲＡＭ等の揮発性記憶装置を有する。格納部２８０は、応対制御部２４０が実行時に読み出すプログラムコードや各種の一時データの他、情報処理部２３０の処理の実行に必要なデータ等を格納する。
　顧客情報取得部２００は、ロボット４０が応対可能な顧客の情報である顧客情報を取得する。例えば、顧客情報取得部２００は、ロボット４０が取得した顧客の情報を、通信ネットワーク９０を通じて受信する。なお、顧客情報は、ロボット４０が取得した顧客画像、ロボット４０が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴のうちの少なくともいずれか一つを含んでよい。顧客が過去に購入した商品の購入履歴は、格納部２８０に格納されていてよい。
　提示制御部２０８は、顧客情報取得部２００が取得した顧客情報を第１のオペレータへ提示させる。第１のオペレータとは、オペレータ８０のうちの１人のオペレータである。提示制御部２０８は、顧客情報を通信部２０４からオペレータ端末７０に送信させて、オペレータ端末７０のコンピュータ７２に顧客情報を表示させる。
　応対情報生成部２４２は、第１のオペレータの動作に基づいて、顧客に対してロボット４０が応対するべき応対内容を示す第１の応対情報を生成する。例えば、応対情報生成部２４２は、オペレータ端末７０から取得した、第１のオペレータの音声データに基づいて、ロボット４０に発話させる発話テキストデータを生成する。
　応対制御部２４０は、第１の応対情報に基づいて顧客に応対するようロボット４０に指示することにより、第１のオペレータに、顧客に対してロボット４０を通じて応対させる。具体的には、応対制御部２４０は、発話テキストデータをロボット４０に送信して、ロボット４０に発話させる。
　オペレータ感情特定部２１０は、第１のオペレータの感情を特定する。応対判断部２７２は、第１のオペレータがロボット４０を通じて顧客に応対する状態を継続するか否かを、第１のオペレータの感情に基づいて判断する。
　具体的には、オペレータ感情特定部２１０は、第１のオペレータの感情の種別及び強さを特定する。応対判断部２７２は、オペレータ感情特定部２１０により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、第１のオペレータがロボット４０を通じて顧客に応対する状態を継続しない旨を判断する。なお、「予め定められた種別の感情について予め定められた値を超える強さが特定された」か否かを、応対停止条件と呼ぶ場合がある。
　より具体的には、オペレータ感情特定部２１０は、第１のオペレータの怒りの強さを特定する。そして、応対判断部２７２は、怒りの強さが予め定められた値を超えた場合に、第１のオペレータがロボット４０を通じて顧客に応対する状態を継続しない旨を判断する。
　オペレータ選択部２２０は、応対判断部２７２が第１の応対情報に基づく応対をロボット４０に行わせない旨を判断した場合に、顧客に応対する第２のオペレータを、複数のオペレータの中から選択する。そして、通知部２７０は、第２のオペレータに、顧客への応対を開始すべき旨を通知する。具体的には、通知部２７０は、第２のオペレータが操作するオペレータ端末７０に応対通知を送信する。
　通知部２７０が顧客への応対を開始すべき旨を第２のオペレータに通知した後、応対情報生成部２４２は、第２のオペレータの動作に基づいて、顧客に対してロボット４０が応対するべき応対内容を示す第２の応対情報を生成する。第２の応対情報は、第２のオペレータの音声データに基づく発話内容を示す発話テキストデータであってよい。応対制御部２４０は、第２の応対情報に基づいて顧客に応対するようロボット４０に指示することにより、第２のオペレータに、顧客に対してロボット４０を通じて応対させる。
　ロボット４０は、顧客に対し自律的に応対する自律動作状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行うオペレータ応対状態とを有する。通知部２７０は、ロボット４０が自律動作状態からオペレータ応対状態に遷移した場合に、ロボット４０が自律動作状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する。これにより、オペレータは、ロボット４０がどのような応対をしたかを確認して、応対内容を決定することができる。
　なお、通知部２７０は、顧客の感情の種別を示す情報をオペレータに通知してよい。これにより、オペレータ８０は、顧客の感情を考慮して適切な応対内容を決定することができる。
　顧客感情特定部２５０は、ロボット４０が検出した顧客の状態に基づいて、ロボット４０が応対している顧客の感情の種別及び強さを特定する。遷移制御部２５２は、顧客感情特定部２５０により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、ロボット４０を自律動作状態からオペレータ応対状態に遷移させる。これにより、例えば、ロボット４０が自律応対中に顧客の感情が悪化した場合に、その顧客にオペレータが応対するようにすることができる。一方で、ロボット４０が自律応対中に顧客の感情が悪化しなかった場合には、オペレータに応対させずに済む。
　顧客感情特定部２５０は、ロボット４０が応対している顧客の怒りの強さを特定する。遷移制御部２５２は、顧客感情特定部２５０により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、当該顧客に応対しているロボット４０を自律動作状態からオペレータ応対状態に遷移させる。なお、顧客情報は、ロボット４０が取得した顧客の画像、ロボット４０が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴に関する情報のうちの少なくともいずれか一つを含んでよい。
　図３は、自律動作状態のロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に説明する図である。ロボット４０ａは、センサ部１２０で検出した音声、画像等のセンサ情報を、サーバ６０に送信する。
　ここで、サーバ６０の格納部２８０には、顧客５０ａの顔画像と、顧客５０ａの名前「Ａ男さん」とが既に格納されているとする。例えば、応対制御部２４０が、過去にロボット４０ａと顧客５０ａとの間で交わされた会話等から顧客５０ａの名前を学習しており、格納部２８０には、顧客５０ａの顔画像と名前「Ａ男さん」とが対応づけて格納されている。
　この場合において、応対制御部２４０は、ロボット４０ａから受信した顔画像と格納部２８０に格納されている顔画像とを照合して、来客した人物がＡ男さんであり、過去に来客したことがある人であると判断する。これにより、「Ａ男さんが来た。」という情報を生成する。そして、応対制御部２４０は、この状況における適切な応対内容として「また来てくれましたね」と発話することを決定して、ロボット４０ａに当該発話内容のテキストデータを送信して、ロボット４０ａに発話させる。ロボット４０ａは、発話後に顧客５０ａから「うん、携帯カバーを買いに来たよ。」という返事が返って来ると、音声データをサーバ６０に送信する。
　顧客感情特定部２５０は、ロボット４０ａから受信した音声、画像等の情報に基づいて、顧客５０ａの感情の強さを、複数の感情の種別毎に特定する。例えば、顧客感情特定部２５０は、「喜」「怒」「哀」「楽」のそれぞれの強さを特定する。一例として、顧客感情特定部２５０は、画像から特定した顔の表情や、音声から特定した声の状態等に基づいて、感情の種別と、その感情の強さを特定する。ここで、声の状態としては、怒気を含むか否か、楽しそうであるか否か等の声の状態を例示できる。なお、顧客感情特定部２５０は、音声から基本周波数等の音声特徴量を抽出して、抽出した音声特徴量に基づいて、声の状態を特定してよい。顧客感情特定部２５０は、最も強い感情を、顧客５０ａの現在の感情として特定してよい。
　ここで、顧客５０ａの感情として、「喜怒哀楽」のうち「楽」の感情が特定されると、応対制御部２４０は、「Ａ男さんは楽しそう。」という情報を生成する。遷移制御部２５２は、顧客感情特定部２５０により顧客５０ａの感情が悪化していないと判断されていることから、オペレータ８０に対応を依頼せず、ロボット４０ａの自律動作状態を維持する。なお、サーバ６０において通信部２０２は、ロボット４０ａの発話内容や動作内容等を示す応対履歴をロボット４０ａから受信し続けており、格納部２８０は応対履歴を時刻に対応づけて格納する。
　図４は、顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。サーバ６０は、ロボット４０ａに「今日は何を買いに来たのですか？」と発話させた後における、「携帯カバーだよ！！」という顧客５０ａの音声及び顧客５０ａの表情から、「怒」の感情が閾値を超えたと判断して、「Ａ男さんは怒っています。」という情報を生成する。これに応じて、遷移制御部２５２は、ロボット４０ａを自立動作状態からオペレータ応対状態に遷移させる旨を決定する。
　この場合、オペレータ選択部２２０は、オペレータ８０の中から、顧客５０ａに応対するべきオペレータ８０を選択する。例えば、オペレータ選択部２２０は、現在他の顧客５０に応対中のオペレータ以外のオペレータを、顧客５０ａに応対するべきオペレータ８０として選択する。なお、オペレータ選択部２２０は、顧客５０ａの感情の強さが強いほど、応対能力がより高いオペレータ８０を選択してよい。オペレータ８０の応対能力を示す情報は、オペレータ８０を識別する情報に対応づけて格納部２８０に格納されており、オペレータ選択部２２０は、格納部２８０に格納されている情報を参照して、顧客５０ａに応対するべきオペレータ８０を選択してよい。オペレータ８０ａの応対能力については、実績テーブルに関連して後述する。
　オペレータ選択部２２０が、顧客５０ａへ応対させるべきオペレータとしてオペレータ８０ａを選択すると、通知部２７０は、オペレータ８０ａが操作するオペレータ端末７０ａに、応対通知を送信する。この場合、通知部２７０は、応対通知と共に、顧客５０ａの感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報、顧客５０ａの画像、及び顧客５０ａの過去の購入履歴を示す情報を、オペレータ端末７０ａに送信する。
　図５は、オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から応対通知を受信すると、応対が依頼されたことを示すオブジェクト４１０を、コンピュータ７２ａの画面に表示する。なお、コンピュータ７２ａは、オペレータ８０ａが着用しているヘッドセット７４ａに通知音を出力することにより、オペレータ８０ａに通知する。オペレータ８０ａがオブジェクト４１０を押すことにより、コンピュータ７２ａがオブジェクト４１０が押されたことを検出すると、コンピュータ７２ａは応対モードに遷移する。
　図６は、ロボット４０ａがオペレータ応対状態の場合におけるコンピュータ７２ａの表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの感情を示す情報を、オブジェクト５１０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの顔画像を、オブジェクト５２０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報を、オブジェクト５３０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、顧客５０ａの購入履歴を示す情報を、オブジェクト５６０に表示する。
　また、コンピュータ７２ａは、手動ボタン５６１及び自動ボタン５６２を画面に表示する。自動ボタン５６２は、ロボット４０ａに自律応対状態に遷移することを指示するためのボタンである。手動ボタン５６１は、ロボット４０ａにオペレータ応対状態に遷移することを指示するためのボタンである。図６においては、ロボット４０ａがオペレータ応対状態に遷移した状態であるので、手動ボタン５６１は既に選択された状態にあり、自動ボタン５６２が選択可能な状態にある。
　コンピュータ７２ａは、ロボット４０ａにより取得された音声をサーバ６０から取得して、ヘッドセット７４ａに出力して、オペレータ８０ａに音声を提供する。ここで、コンピュータ７２ａは、ヘッドセット７４ａのマイク部が収集した音声を音声データとして取得して、サーバ６０に送信する。
　なお、音声データとは、音声波形を表す音声データそのものであってよい。この場合、サーバ６０において音声データがテキスト化されて、発話テキストデータとしてロボット４０ａに送信されてよい。なお、コンピュータ７２ａは、音声データから言語を抽出してテキスト化して、得られたテキストデータを、サーバ６０に送信してよい。この場合、サーバ６０に送信されたテキストデータは、ロボット４０ａから発話させるべきテキストのデータとしてそのまま送信されてよい。
　また、コンピュータ７２ａは、コンピュータ７２ａが有するカメラ７６ａにより取得されたオペレータ８０ａの画像をサーバ６０に送信する。サーバ６０のオペレータ感情特定部２１０は、受信したオペレータ８０ａの音声及び画像から、オペレータ８０ａの感情を特定する。オペレータ感情特定部２１０が特定した感情は、サーバ６０の通信部２０４からオペレータ端末７０ａに送信される。コンピュータ７２ａは、サーバ６０から受信したオペレータ８０ａの感情を示す情報をオブジェクト５７０に表示する。
　図７は、オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している場合のシーケンスを概略的に示す。
　オペレータ８０ａは、図６のオブジェクト５３０内の応対履歴を考慮して、「何度もごめんね」と発話すると、コンピュータ７２ａから「何度もごめんね」という音声データがサーバ６０に送信される。サーバ６０において、通信部２０４が音声データを受信すると、応対情報生成部２４２は、受信した音声データに基づいて、ロボット４０ａに発話させる発話テキストデータを含む応対情報を生成する。応対制御部２４０は、通信部２０２を通じて応対情報をロボット４０ａへ送信させて、発話テキストデータに従ってロボット４０ａに発話させる。これにより、コンピュータ７２ａ及びサーバ６０は、オペレータ８０ａに、ロボット４０ａを通じて顧客５０ａに対して応対させる。
　なお、ロボット４０ａは、センサ部１２０で検出したセンサ情報を逐次サーバ６０に送信し、サーバ６０において、顧客５０ａの感情が判断される。そして、顧客の感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴及び顧客画像は、サーバ６０からコンピュータ７２ａに逐次に送信される。
　図８は、顧客５０ａへの応対者をオペレータ８０ｂに切り換えるまでのシーケンスを概略的に説明する図である。顧客５０ａの「もういいよ！」という発話が、コンピュータ７２ａに音声データとして送信されてヘッドセット７４ａから出力される。これに対して、オペレータ８０ａが怒って「じゃあな！！」と発話すると、コンピュータ７２ａは、当該発話から生成した音声データをサーバ６０に送信する。また、コンピュータ７２ａは、カメラ７６ａで取得されたオペレータ８０ａの画像をサーバ６０へ送信する。
　サーバ６０において、オペレータ感情特定部２１０は、オペレータ８０ａの「じゃあな！！」という音声データと、オペレータ８０ａの顔画像から特定した表情に基づいて、オペレータ８０ａの感情の種別と、その強さを特定する。なお、オペレータ感情特定部２１０は、顧客感情特定部２５０の動作と同様の処理により、顔画像及び音声データから感情を特定してよい。応対判断部２７２がオペレータ８０ａの「怒」の感情の強さが閾値を超えたと判断すると、オペレータ選択部２２０は、オペレータ８０の中から、ロボット４０ａを通じて顧客５０ａへ応答するべきオペレータとして、オペレータ８０ｂを選択する。
　オペレータ選択部２２０が、顧客５０ａへ応対させるべきオペレータとしてオペレータ８０ｂを選択すると、通知部２７０は、オペレータ８０ｂが操作するオペレータ端末７０ｂに、応対通知を送信する。この場合、通知部２７０は、応対通知と共に、顧客５０ａの感情を示す情報、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報、顧客５０ａの画像、及び顧客５０ａの過去の購入履歴を示す情報を、オペレータ端末７０ｂに送信する。
　オペレータ端末７０ｂにおいて、コンピュータ７２ｂがサーバ６０から応対通知を受信すると、コンピュータ７２ｂは、図５に示した画面と同様の画面を表示する。応答通知に対するオペレータ端末７０ｂの動作は、図５等に関連して説明した動作と略同一であるので、説明を省略する。コンピュータ７２ｂは、応対モードに遷移すると、図９に示す画面を表示する。
　図９は、応対モード時のコンピュータ７２ｂによる表示内容を概略的に示す。図示されるように、コンピュータ７２ｂは、図６に示す表示内容に含まれる情報と同じ種類の情報を表示する。
　コンピュータ７２ｂがオブジェクト５３０に表示する応対履歴には、ロボット４０ａが自律動作状態で顧客５０ａに応対した履歴と、オペレータ８０ａがロボット４０ａを通じて顧客５０ａに応対した履歴とが含まれる。これにより、オペレータ８０ｂは、過去のオペレータ８０ａの応対履歴を確認して、顧客５０ａへの応対を開始することができる。
　図１０は、ロボット４０ａが自律動作状態に復帰するまでのシーケンスを概略的に示す。オペレータ８０ｂは、図９に示す応対履歴を確認して、「じゃあまた後でね！」という発話をすると、オペレータ８０ｂの音声はヘッドセット７４ｂで取得されて、コンピュータ７２ｂが、当該発話の音声データをサーバ６０に送信する。
　サーバ６０において、応対情報生成部２４２は、受信した音声データを発話テキストデータに変換してロボット４０ａに送信して、ロボット４０ａに発話させる。その後、顧客５０ａからの「また後でね！」という音声データが、サーバ６０を通じてオペレータ端末７０ｂに送信される。オペレータ８０ｂは、応対を終了する旨を判断すると、コンピュータ７２ｂの画面上の自動ボタン５６２を押して、コンピュータ７２ｂに、ロボット４０ａを自律動作状態に遷移させる旨の遷移指示をサーバ６０へ送信させる。
　サーバ６０において、通信部２０４が、自律動作状態に遷移させる旨の指示を受信すると、応対制御部２４０は、自律動作状態への遷移指示をロボット４０ａに送信する。ロボット４０ａにおいて、通信部１０２が自律応対状態への遷移指示を受信すると、情報処理部１３０及び応対制御部２４０は、センサ部１２０ａのセンサ情報に基づく自律応対処理を再開する。このように、顧客応対システム１０によれば、オペレータ８０による応対とロボット４０の自律応対をシームレスに切り替えることができる。
　図１１は、適切なオペレータ８０を選択するために用いられる実績テーブルを概略的に示す。実績テーブルのデータは、サーバ６０の格納部２８０に格納される。具体的には、格納部２８０は、オペレータ８０を識別するオペレータ識別情報に対応付けて、それぞれのオペレータ８０が応対した顧客５０の属性と、オペレータ８０が応対を開始する前の顧客５０の感情の種類と、応対実績値とを対応づけて格納する。
　顧客５０の属性は、顧客の年齢層及び顧客の性別等を含む。応対時の顧客の感情の種類は、「怒」や「哀」等、オペレータ８０の応対が必要となる感情の種類を示す。応対実績値は、オペレータ８０の応対によって顧客５０の感情が好転した場合に、加算される。例えば、情報処理部２３０は、オペレータ８０の応対によって顧客５０の怒りの強さが一定値以上減少した場合に、対応する応答実績値に予め定められた値を加算して、格納部２８０に格納する。情報処理部２３０は、オペレータ８０の応対によって顧客５０の感情が「怒」又は「哀」から「喜」又は「楽」に変わった場合に、対応する応答実績値に予め定められた値を加算して、格納部２８０に格納してよい。
　例えば上記の例において、オペレータ８０ｂの応対により、顧客５０ａの「怒」の感情の強さが一定値以上減少した場合に、実績テーブルにオペレータ８０ｂのオペレータ識別情報に対応づけて格納されている応答実績値に予め定められた値を加算する。
　オペレータ選択部２２０は、顧客５０に応対するべきオペレータ８０を選択する場合に、格納部２８０に格納された実績テーブルのデータを参照して、対象となる顧客５０に適切に応対できるオペレータ８０を選択する。例えば、オペレータ選択部２２０は、対象となる顧客５０の属性と現在の感情の種類とに適合する情報に対応づけられたオペレータ識別情報を、実績テーブル内のデータから検索する。そして、オペレータ選択部２２０は、検索されたオペレータ識別情報のうち、より高い応対実績値が対応づけられているオペレータ識別情報を、より優先して抽出する。例えば、オペレータ選択部２２０は、検索されたオペレータ識別情報のうち、最も高い応対実績値が対応づけられているオペレータ識別情報を抽出する。そして、オペレータ選択部２２０は、抽出したオペレータ識別情報で識別されるオペレータ８０を、対象となる顧客５０に応対すべきオペレータとして選択する。これにより、対象となる顧客５０の属性や感情に対して応対能力が高いオペレータ８０を選択することができる。
　以上に説明したように、顧客応対システム１０によれば、オペレータ８０がロボット４０を通じて顧客に応対するシステムにおいて、オペレータ８０が顧客５０に対して適切に応対できない状況と判断された場合に、当該オペレータ８０による応対を停止して、応対者を他のオペレータ８０に切り換えることができる。
　なお、サーバ６０において、応対判断部２７２は、「悲」の感情の強さが予め定められた値を超えた場合に、当該オペレータ８０がロボット４０を通じて顧客５０に応対する状態を継続しない旨を判断してよい。他にも、応対判断部２７２は、オペレータ８０の「哀」の感情の強さが予め定められた値を超えた場合に、当該オペレータ８０がロボット４０を通じて顧客５０に応対する状態を継続しない旨を判断してよい。オペレータ８０の応対停止条件に用いる感情の種別は、上述した「怒」、「悲」、「哀」の他に、様々な感情を適用できる。また、オペレータ８０の感情は、応対判断部２７２が、応対停止条件に用いるパラメータの一例である。応対判断部２７２は、オペレータ８０の感情以外に、オペレータ８０の状態が、予め定められた種別の状態に合致すると判断された場合に、オペレータ８０が顧客５０に応対する状態を継続しないと判断してよい。オペレータ８０の状態としては、オペレータ８０の疲れ等を例示できる。サーバ６０において、情報処理部２３０は、オペレータ８０の音声や表情から、オペレータ８０の疲れを特定してよい。
　また、応対判断部２７２が、オペレータ８０の応対停止条件を満たすと判断された場合に、情報処理部２３０は、オペレータ８０を切り換えることに替えて又はオペレータ８０を切り換えることに加えて、オペレータ８０の管理者に、応対停止条件が満たされた旨を通知してよい。オペレータ８０の管理者は、オペレータ８０の業務を監督する監督者等であってよい。
　なお、図４における説明では主として、サーバ６０は、顧客５０の感情が悪化した場合にオペレータ応対状態に切り替える場合について説明した。その他に、サーバ６０は、ロボット４０が自律動作状態において顧客５０に適切な対応ができないと判断された場合にオペレータ応対状態に切り替えてよい。例えば、サーバ６０は、ロボット４０に発話させる適切な発話内容を決定できなかった場合に、オペレータ応対状態に切り替えてよい。また、サーバ６０は、予め定められた性別の顧客５０が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、女性が来訪した場合に、オペレータ応対状態に切り替えて良い。例えば、化粧品等の女性用のグッズ売り場においては、男性にはロボット４０が自律的に応対し、女性にはオペレータ８０が応対するようにしてよい。また、予め定められた特定の顧客５０が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、高価な商品を頻繁に購入する顧客５０に対しては、オペレータ８０が応対するようにしてよい。また、過去にロボット４０による応対によって感情が悪化した顧客５０に対しては、オペレータ８０が応対するようにしてよい。また、単に顧客が来訪した場合に、オペレータ８０が応対するようにしてよい。例えば、人が近く存在しない場合には、ロボット４０は自律動作状態で勧誘行動を行い、人が近づいてきた場合に、オペレータ応対状態に遷移してよい。
　なお、サーバ６０の機能は、１以上のコンピュータによって実装されてよい。サーバ６０の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ６０の機能の少なくとも一部は、クラウドで実装されてよい。また、上記の説明では、ロボット４０ａの発話内容を決定する機能をサーバ６０が担うとしたが、サーバ６０の機能のうち、ロボット４０ａの制御に関する機能の少なくとも一部は、ロボット４０ａに実装されてよい。また、サーバ６０の機能のうち、オペレータ端末７０の制御に関する機能の少なくとも一部の機能は、オペレータ端末７０に実装されてもよい。なお、ロボット４０は、顧客応対装置の一例である。顧客応対装置として、ロボット以外の様々な形態を採用し得る。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０　顧客応対システム
４０　ロボット
５０　顧客
６０　サーバ
９０　通信ネットワーク
７０　オペレータ端末、７２　コンピュータ、７４　ヘッドセット　７６　カメラ
８０　オペレータ
１０２　通信部
１２０　センサ部
１３０　情報処理部
１６０　制御対象
２００　顧客情報取得部
２０２　通信部
２０４　通信部
２０８　提示制御部
２１０　オペレータ感情特定部
２２０　オペレータ選択部
２３０　情報処理部
２４０　応対制御部
２４２　応対情報生成部
２５０　顧客感情特定部
２５２　遷移制御部
２７０　通知部
２７２　応対判断部
２８０　格納部
２９０　記録媒体
４１０　オブジェクト
５１０、５２０、５３０、５６０、５７０　オブジェクト
５６１　手動ボタン、５６２　自動ボタン

Claims (13)

  1. 　顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、
    　前記顧客情報を第１のオペレータへ提示させる提示制御部と、
    　前記第１のオペレータの動作に基づいて、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す第１の応対情報を生成する応対情報生成部と、
    　前記第１の応対情報に基づいて前記顧客に応対するよう前記顧客応対装置に指示することにより、前記第１のオペレータに、前記顧客に対して前記顧客応対装置を通じて応対させる応対制御部と、
    　前記第１のオペレータの感情を特定するオペレータ感情特定部と、
    　前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続するか否かを、前記第１のオペレータの感情に基づいて判断する応対判断部と
    を備える顧客応対制御システム。
  2. 　前記オペレータ感情特定部は、前記第１のオペレータの感情の種別及び強さを特定し、
    　前記応対判断部は、前記オペレータ感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続しない旨を判断する
    請求項１に記載の顧客応対制御システム。
  3. 　前記オペレータ感情特定部は、前記第１のオペレータの怒りの強さを特定し、
    　前記応対判断部は、前記怒りの強さが予め定められた値を超えた場合に、前記第１のオペレータが前記顧客応対装置を通じて前記顧客に応対する状態を継続しない旨を判断する
    請求項２に記載の顧客応対制御システム。
  4. 　前記応対判断部が前記第１の応対情報に基づく応対を前記顧客応対装置に行わせない旨を判断した場合に、前記顧客に応対する第２のオペレータを、複数のオペレータの中から選択するオペレータ選択部２２０と、
    　前記第２のオペレータに、前記顧客への応対を開始すべき旨を通知する応対通知部と
    をさらに備える請求項１から３のいずれか一項に記載の顧客応対制御システム。
  5. 　前記応対通知部が前記顧客への応対を開始すべき旨を前記第２のオペレータに通知した後に、前記応対情報生成部は、前記第２のオペレータの動作に基づいて、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す第２の応対情報を生成し、
    　前記応対制御部は、前記第２の応対情報に基づいて前記顧客に応対するよう前記顧客応対装置に指示することにより、前記第２のオペレータに、前記顧客に対して前記顧客応対装置を通じて応対させる
    請求項４に記載の顧客応対制御システム。
  6. 　前記第１の応対情報は、前記第１のオペレータの発話内容を示すテキストデータを含み、
    　前記応対制御部は、前記テキストデータを前記顧客応対装置に送信して、前記顧客応対装置に発話させる
    請求項１から５のいずれか一項に記載の顧客応対制御システム。
  7. 　前記顧客応対装置は、顧客に対し自律的に応対する第１状態と、オペレータの動作に基づく応対情報に基づいて顧客への応対を行う第２状態とを有し、
    　前記顧客応対装置が前記第１状態から前記第２状態に遷移した場合に、前記顧客応対装置が前記第１状態において前記顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する応対履歴通知部
    をさらに備える請求項１から６のいずれか一項に記載の顧客応対制御システム。
  8. 　前記顧客応対装置が検出した顧客の状態に基づいて、前記顧客応対装置が応対している顧客の感情の種別及び強さを特定する顧客感情特定部と、
    　前記顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、前記顧客応対装置を前記第１状態から前記第２状態に遷移させる遷移制御部と
    をさらに備える請求項７に記載の顧客応対制御システム。
  9. 　前記顧客感情特定部は、前記顧客応対装置が応対している顧客の怒りの強さを特定し、
    　前記遷移制御部は、前記顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された場合に、前記顧客応対装置を前記第１状態から前記第２状態に遷移させる
    請求項８に記載の顧客応対制御システム。
  10. 　前記顧客の感情の種別を示す情報をオペレータに通知する感情通知部
    をさらに備える請求項８又は９に記載の顧客応対制御システム。
  11. 　前記顧客情報は、前記顧客応対装置が取得した前記顧客の画像、前記顧客応対装置が取得した前記顧客の発話内容、前記顧客が過去に購入した商品の購入履歴に関する情報のうちの少なくともいずれか一つを含む
    請求項１から１０のいずれか一項に記載の顧客応対制御システム。
  12. 　請求項１から１１のいずれか一項に記載の顧客応対制御システムと、
    　前記顧客応対装置と
    を備える顧客応対システム。
  13. 　コンピュータを、請求項１から１１のいずれか一項に記載の顧客応対制御システムとして機能させるためのプログラム。
PCT/JP2017/014877 2016-05-16 2017-04-11 顧客応対制御システム、顧客応対システム及びプログラム WO2017199646A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780024929.XA CN109074595A (zh) 2016-05-16 2017-04-11 顾客应对控制系统、顾客应对系统及程序
EP17799078.5A EP3435316A4 (en) 2016-05-16 2017-04-11 CLIENT ASSISTANCE CONTROL SYSTEM, CLIENT ASSISTANCE SYSTEM, AND PROGRAM
US16/188,272 US10542149B2 (en) 2016-05-16 2018-11-12 Customer serving control system, customer serving system and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016097819A JP6219448B1 (ja) 2016-05-16 2016-05-16 顧客応対制御システム、顧客応対システム及びプログラム
JP2016-097819 2016-05-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/188,272 Continuation US10542149B2 (en) 2016-05-16 2018-11-12 Customer serving control system, customer serving system and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2017199646A1 true WO2017199646A1 (ja) 2017-11-23

Family

ID=60156824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014877 WO2017199646A1 (ja) 2016-05-16 2017-04-11 顧客応対制御システム、顧客応対システム及びプログラム

Country Status (5)

Country Link
US (1) US10542149B2 (ja)
EP (1) EP3435316A4 (ja)
JP (1) JP6219448B1 (ja)
CN (1) CN109074595A (ja)
WO (1) WO2017199646A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900726A (zh) * 2018-06-28 2018-11-27 北京首汽智行科技有限公司 基于语音机器人的人工客服转接方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9938052B2 (en) 2015-02-17 2018-04-10 Sealtap Gmbh Safety mechanism for containers
JP6772686B2 (ja) * 2016-09-06 2020-10-21 富士通株式会社 接客支援プログラム、接客支援方法、接客支援システムおよび情報処理装置
JP6957915B2 (ja) * 2017-03-21 2021-11-02 日本電気株式会社 情報処理装置、注意喚起方法、およびプログラム
JP2020154559A (ja) * 2019-03-19 2020-09-24 Ｎｔｔテクノクロス株式会社 情報処理装置、情報処理方法及びプログラム
JP7392377B2 (ja) * 2019-10-10 2023-12-06 沖電気工業株式会社 機器、情報処理方法、プログラム、情報処理システムおよび情報処理システムの方法
WO2021086284A1 (en) * 2019-10-30 2021-05-06 Turkiye Garanti Bankasi Anonim Sirketi Customer satisfaction detection system
JP7405660B2 (ja) * 2020-03-19 2023-12-26 Ｌｉｎｅヤフー株式会社 出力装置、出力方法及び出力プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116307A (ja) * 1996-06-14 1998-05-06 Fujitsu Ltd 電話取引支援システム及びその支援システムでの処理をコンピュータに実行させるためのプログラムを格納した記録媒体
JP2002051153A (ja) * 2000-08-07 2002-02-15 Fujitsu Ltd Ｃｔｉサーバ及びプログラム記録媒体
JP2004252668A (ja) * 2003-02-19 2004-09-09 Fujitsu Ltd コンタクトセンタ運用管理プログラム、装置および方法
JP2009294647A (ja) * 2008-05-09 2009-12-17 Agi:Kk 行動分析装置及びコールセンターシステム
US20100278318A1 (en) * 2009-04-30 2010-11-04 Avaya Inc. System and Method for Detecting Emotions at Different Steps in a Communication
JP2011198061A (ja) * 2010-03-19 2011-10-06 Oki Electric Industry Co Ltd 情報提供サーバ、及び、当該情報提供サーバを実現するプログラム
US20140257820A1 (en) * 2013-03-10 2014-09-11 Nice-Systems Ltd Method and apparatus for real time emotion detection in audio interactions
JP2015049337A (ja) * 2013-08-30 2015-03-16 株式会社東芝 音声応答装置、音声応答プログラム及び音声応答方法
JP2015141428A (ja) * 2014-01-27 2015-08-03 株式会社日立システムズ サーバー装置、感情報知システム、感情報知方法、及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2314232B (en) 1996-06-14 2000-11-22 Fujitsu Ltd Telephone transaction support system
US7222075B2 (en) * 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
JP4072033B2 (ja) * 2002-09-24 2008-04-02 本田技研工業株式会社 受付案内ロボット装置
JP4851447B2 (ja) * 2005-06-09 2012-01-11 株式会社エイ・ジー・アイ ピッチ周波数を検出する音声解析装置、音声解析方法、および音声解析プログラム
US7720784B1 (en) * 2005-08-30 2010-05-18 Walt Froloff Emotive intelligence applied in electronic devices and internet using emotion displacement quantification in pain and pleasure space
JP2007286376A (ja) * 2006-04-18 2007-11-01 Toyota Motor Corp 音声案内システム
JP2008153897A (ja) * 2006-12-15 2008-07-03 Promise Co Ltd 通話履歴通知システム
US7728735B2 (en) * 2007-12-04 2010-06-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for estimating a mood of a user, using a mood of a user for network/service control, and presenting suggestions for interacting with a user based on the user's mood
JP2010213127A (ja) * 2009-03-12 2010-09-24 Broad Service Co Ltd コールセンター応対システム
JP5326899B2 (ja) * 2009-07-21 2013-10-30 パナソニック株式会社 アプライト型電気掃除機
US8715179B2 (en) * 2010-02-18 2014-05-06 Bank Of America Corporation Call center quality management tool
JP2011253389A (ja) 2010-06-02 2011-12-15 Fujitsu Ltd 端末および擬似会話用返答情報作成プログラム
US20120317038A1 (en) * 2011-04-12 2012-12-13 Altisource Solutions S.A R.L. System and methods for optimizing customer communications
US9031222B2 (en) * 2011-08-09 2015-05-12 Cisco Technology, Inc. Automatic supervisor intervention for calls in call center based upon video and/or speech analytics of calls
US20150310877A1 (en) * 2012-10-31 2015-10-29 Nec Corporation Conversation analysis device and conversation analysis method
US9047871B2 (en) * 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
JP6529078B2 (ja) * 2013-09-06 2019-06-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
US20150254679A1 (en) * 2014-03-07 2015-09-10 Genesys Telecommunications Laboratories, Inc. Vendor relationship management for contact centers
CN109245994B (zh) * 2015-12-30 2021-04-23 上海智臻智能网络科技股份有限公司 一种机器人客服方法
WO2017145466A1 (ja) * 2016-02-26 2017-08-31 ソニー株式会社 情報処理システム、クライアント端末、情報処理方法、および記録媒体
CN107731225A (zh) * 2016-08-10 2018-02-23 松下知识产权经营株式会社 待客装置、待客方法以及待客系统
US20190005421A1 (en) * 2017-06-28 2019-01-03 RankMiner Inc. Utilizing voice and metadata analytics for enhancing performance in a call center

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116307A (ja) * 1996-06-14 1998-05-06 Fujitsu Ltd 電話取引支援システム及びその支援システムでの処理をコンピュータに実行させるためのプログラムを格納した記録媒体
JP2002051153A (ja) * 2000-08-07 2002-02-15 Fujitsu Ltd Ｃｔｉサーバ及びプログラム記録媒体
JP2004252668A (ja) * 2003-02-19 2004-09-09 Fujitsu Ltd コンタクトセンタ運用管理プログラム、装置および方法
JP2009294647A (ja) * 2008-05-09 2009-12-17 Agi:Kk 行動分析装置及びコールセンターシステム
US20100278318A1 (en) * 2009-04-30 2010-11-04 Avaya Inc. System and Method for Detecting Emotions at Different Steps in a Communication
JP2011198061A (ja) * 2010-03-19 2011-10-06 Oki Electric Industry Co Ltd 情報提供サーバ、及び、当該情報提供サーバを実現するプログラム
US20140257820A1 (en) * 2013-03-10 2014-09-11 Nice-Systems Ltd Method and apparatus for real time emotion detection in audio interactions
JP2015049337A (ja) * 2013-08-30 2015-03-16 株式会社東芝 音声応答装置、音声応答プログラム及び音声応答方法
JP2015141428A (ja) * 2014-01-27 2015-08-03 株式会社日立システムズ サーバー装置、感情報知システム、感情報知方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3435316A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900726A (zh) * 2018-06-28 2018-11-27 北京首汽智行科技有限公司 基于语音机器人的人工客服转接方法

Also Published As

Publication number Publication date
JP2017207801A (ja) 2017-11-24
CN109074595A (zh) 2018-12-21
EP3435316A4 (en) 2019-04-17
JP6219448B1 (ja) 2017-10-25
US10542149B2 (en) 2020-01-21
US20190082055A1 (en) 2019-03-14
EP3435316A1 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
JP6219448B1 (ja) 顧客応対制御システム、顧客応対システム及びプログラム
JP6447578B2 (ja) 音声対話装置および音声対話方法
CN111086009B (zh) 通信机器人及计算机可读存储介质
JP2004236186A (ja) 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
JP2017151517A (ja) ロボット制御システム
US11769499B2 (en) Driving interaction object
WO2017170620A1 (ja) 顧客応対制御システム、顧客応対システム及びプログラム
JP6707671B2 (ja) 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
JP6345729B2 (ja) 応対データ収集システム、顧客応対システム及びプログラム
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR102433964B1 (ko) 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
JP2020182092A (ja) 警備システム及び監視表示装置
US20230317054A1 (en) Face image processing system, face image generation information providing apparatus, face image generation information providing method, and face image generation information providing program
JP6929960B2 (ja) 情報処理装置及び情報処理方法
CN113806499A (zh) 电话作业的培训方法、装置、电子设备和存储介质
WO2018056169A1 (ja) 対話装置、処理方法、プログラム
WO2020031292A1 (ja) 音声ａｉモデル切替システム、音声ａｉモデル切替方法、及びプログラム
JP2015186199A5 (ja)
JP2019072787A (ja) 制御装置、ロボット、制御方法、および制御プログラム
CN113658213B (zh) 形象呈现方法、相关装置及计算机程序产品
EP4131130A1 (en) Method and device for providing interpretation situation information
CN109845246B (zh) 信息处理装置、信息处理方法、程序和通信系统
KR20180034927A (ko) 통화 음성을 분석하는 통신 단말기
CN116996364A (zh) 通信系统、控制方法和存储介质
CN113314112A (zh) 对话方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017799078

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017799078

Country of ref document: EP

Effective date: 20181023

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17799078

Country of ref document: EP

Kind code of ref document: A1