WO2022049613A1 - 情報処理装置、推定方法、及び推定プログラム - Google Patents

情報処理装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
WO2022049613A1
WO2022049613A1 PCT/JP2020/032977 JP2020032977W WO2022049613A1 WO 2022049613 A1 WO2022049613 A1 WO 2022049613A1 JP 2020032977 W JP2020032977 W JP 2020032977W WO 2022049613 A1 WO2022049613 A1 WO 2022049613A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
utterance
emotion
emotions
information
Prior art date
Application number
PCT/JP2020/032977
Other languages
English (en)
French (fr)
Inventor
政人 土屋
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022546733A priority Critical patent/JP7162783B2/ja
Priority to PCT/JP2020/032977 priority patent/WO2022049613A1/ja
Publication of WO2022049613A1 publication Critical patent/WO2022049613A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce

Definitions

  • This disclosure relates to an information processing device, an estimation method, and an estimation program.
  • the emotion of the individual may be estimated based only on the information about the individual.
  • the estimation method may not have high estimation accuracy.
  • the purpose of this disclosure is to improve the estimation accuracy.
  • the information processing apparatus detects the utterance section based on the acquisition unit that acquires the voice signal of the first sound source and the voice signal, and based on the utterance section, the utterance section feature that is the feature amount of the utterance section.
  • a detection extraction unit that extracts the amount
  • a voice recognition execution unit that executes voice recognition based on the utterance section feature amount, information indicating the past emotions of the first sound source, and past emotions of the second sound source.
  • a storage unit that stores information indicating the above, the utterance section feature amount, the utterance content obtained by executing the voice recognition, information indicating the past emotions of the first sound source, and the second sound source. It has an emotion estimation unit that estimates the emotion of the first sound source based on the information indicating the past emotions of the above.
  • the estimation accuracy can be improved.
  • FIG. 1 is a diagram showing a communication system.
  • the communication system includes an information processing device 100, a portable device 200, an automatic response system 300, a speaker 400, a microphone 401, a camera 402, and a display 403.
  • the automatic answering system 300 answers.
  • the operation is switched to the operator operation. The conditions will be described later.
  • the information processing device 100 is a device that executes an estimation method.
  • the information processing device 100 may be called an emotion estimation device.
  • the information processing device 100 communicates with the portable device 200 and the automatic response system 300 via the interface adapter 11. Further, the information processing device 100 can wirelessly communicate with the portable device 200 and the automatic response system 300.
  • the information processing apparatus 100 connects the speaker 400 and the microphone 401 via the interface adapter 12.
  • the information processing apparatus 100 connects the camera 402 and the display 403 via the interface adapter 13.
  • the portable device 200 is a device used by the client.
  • the portable device 200 is a smartphone.
  • the automatic response system 300 is realized by one or more electric devices.
  • the automatic response system 300 acts as a pseudo operator.
  • the speaker 400 outputs the voice of the client.
  • the operator's voice is input to the microphone 401.
  • the microphone 401 converts the voice into a voice signal.
  • the microphone is also called a microphone.
  • the camera 402 captures the operator's face.
  • the camera 402 transmits the image obtained by taking a picture to the information processing apparatus 100.
  • the display 403 displays the information output by the information processing apparatus 100.
  • FIG. 2 is a diagram showing an example of hardware included in the information processing apparatus.
  • the information processing device 100 includes a processor 101, a volatile storage device 102, a non-volatile storage device 103, and an input / output interface 104.
  • the processor 101 controls the entire information processing device 100.
  • the processor 101 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), a microcontroller, a DSP (Digital Signal Processor), and the like.
  • the processor 101 may be a multiprocessor.
  • the information processing apparatus 100 may have a processing circuit instead of the processor 101.
  • the processing circuit may be a single circuit or a composite circuit.
  • the volatile storage device 102 is the main storage device of the information processing device 100.
  • the volatile storage device 102 is a RAM (Random Access Memory).
  • the non-volatile storage device 103 is an auxiliary storage device of the information processing device 100.
  • the non-volatile storage device 103 may be a ROM (Read Only Memory), an EPROM (Erasable Programmable Read Only Memory), an EPROM (Electrically Erasable Programle Digital) Read-Ondride HDD (Read-Only) Is.
  • the input / output interface 104 communicates with the portable device 200, the automatic response system 300, the speaker 400, the microphone 401, the camera 402, and the display 403. Further, the information processing device 100 can acquire information from an external device.
  • the external device is a USB (Universal Serial Bus) memory.
  • FIG. 3 is a diagram showing a functional block included in the information processing apparatus.
  • the information processing device 100 includes an acquisition unit 110, a detection / extraction unit 120, a voice recognition execution unit 130, an utterance content storage unit 140, an emotion estimation unit 150, an emotion history storage unit 160, a switching determination unit 170, a weight storage unit 171 and an output unit. It has 180 and an end determination unit 190. Further, the information processing apparatus 100 may include an acquisition unit 110a, a detection / extraction unit 120a, a voice recognition execution unit 130a, and an emotion estimation unit 150a.
  • the utterance content storage unit 140, the emotion history storage unit 160, and the weight storage unit 171 may be realized as a storage area secured in the volatile storage device 102 or the non-volatile storage device 103. Further, the utterance content storage unit 140, the emotion history storage unit 160, and the weight storage unit 171 are collectively referred to as a storage unit.
  • Part or all of the acquisition unit 110, 110a, the detection / extraction unit 120, 120a, the voice recognition execution unit 130, 130a, the emotion estimation unit 150, 150a, the switching determination unit 170, the output unit 180, and the end determination unit 190 are processed. It may be realized by a circuit. Further, a part or all of the acquisition unit 110, 110a, the detection / extraction unit 120, 120a, the voice recognition execution unit 130, 130a, the emotion estimation unit 150, 150a, the switching determination unit 170, the output unit 180, and the end determination unit 190 , May be realized as a module of a program executed by the processor 101. For example, the program executed by the processor 101 is also called an estimation program. For example, the estimation program is recorded on a recording medium.
  • the acquisition unit 110 acquires the audio signal A1.
  • the audio signal A 1 is a digital signal.
  • the voice signal A 1 indicates a signal indicating the voice of the client (hereinafter referred to as the voice signal of the client), a signal indicating the voice of the operator (hereinafter referred to as the voice signal of the operator), or voice information output by the automatic response system 300. It is a signal (hereinafter referred to as an audio signal of an automatic response system).
  • the acquisition unit 110a acquires the audio signal B1 .
  • the audio signal B 1 will be described.
  • the information processing device 100 may input the voice signal of the client and the voice signal of the operator or the voice signal of the automatic response system at the same time.
  • the voice signal A 1 is the voice signal of the client
  • the voice signal B 1 is the voice signal of the operator.
  • the voice signal A 1 is the voice signal of the client
  • the voice signal B 1 is the voice signal of the automatic response system.
  • the functions of the acquisition unit 110a, the detection / extraction unit 120a, the voice recognition execution unit 130a, and the emotion estimation unit 150a are the functions of the acquisition unit 110, the detection / extraction unit 120, the voice recognition execution unit 130, and the emotion estimation unit 150. It is the same.
  • the detection / extraction unit 120a, the voice recognition execution unit 130a, and the emotion estimation unit 150a perform processing using the utterance section feature vector based on the voice signal B 1 and the voice signal B 1 , and the detection / extraction unit 120, the voice recognition execution unit 130, And the process in which the emotion estimation unit 150 uses the utterance section feature vector based on the voice signal A 1 and the voice signal A 1 is the same. Therefore, the description of the functions of the acquisition unit 110a, the detection / extraction unit 120a, the voice recognition execution unit 130a, and the emotion estimation unit 150a will be omitted.
  • the utterance section feature vector will be described later.
  • the client, operator, and automatic response system 300 are also referred to as sound sources.
  • the operator or autoresponder system 300 is also referred to as the second sound source.
  • the client is also referred to as the second sound source.
  • the client and the operator are also referred to as users.
  • the client is the first user, the operator is also referred to as the second user. If the operator is the first user, the client is also referred to as the second user.
  • the detection / extraction unit 120 detects the utterance section based on the voice signal.
  • the detection / extraction unit 120 extracts the utterance section feature vector based on the utterance section.
  • the utterance section feature vector is a feature quantity of the utterance section. Further, the utterance section feature vector may be expressed as a feature quantity related to the utterance of the utterance section. The function of the detection / extraction unit 120 will be described in detail.
  • FIG. 4 is a diagram showing a detection / extraction unit.
  • the detection / extraction unit 120 includes a feature amount extraction unit 121, a preprocessing execution unit 122, and an utterance section detection unit 123.
  • the feature amount extraction unit 121 extracts the feature vector F 1 based on the audio signal A 1 .
  • the feature vector F 1 is also referred to as a feature quantity.
  • the feature vector F 1 is an MFCC (Mel Frequency Cepstrum Cofficients) or a fundamental frequency. Also, the MFCC or fundamental frequency is often used in the voice domain.
  • MFCC Mel Frequency Cepstrum Cofficients
  • the pre-processing execution unit 122 executes pre - processing on the feature vector F1.
  • the preprocessing includes a process of aligning values in the range of 0 to 1, a process of linearly transforming a covariance matrix using an identity matrix as an index related to variance, and a process of removing outliers.
  • the pre-processing execution unit 122 outputs the pre-processing and post-processing feature vector FP 1 by executing the pre-processing.
  • the utterance section detection unit 123 detects the utterance section based on the pre-processed feature vector FP 1 .
  • the detected utterance section is the k-th utterance section among the utterance sections detected so far by the utterance section detection unit 123.
  • the utterance section detection unit 123 extracts the utterance section feature vector Xk , which is the feature amount of the utterance section, based on the detected utterance section.
  • the utterance section feature vector is also referred to as a utterance section feature quantity.
  • the audio signal A 1 and the audio signal B 1 may be input to the information processing apparatus 100 at the same time. However, it is assumed that the audio signal A 1 and the audio signal B 1 do not overlap. In other words, the utterance section detected by the utterance section detection unit 123 based on the voice signal A 1 and the utterance section detected by the utterance section detection unit of the detection extraction unit 120a based on the voice signal B 1 do not overlap. ..
  • the voice recognition execution unit 130 executes voice recognition based on the utterance section feature vector Xk .
  • the voice recognition execution unit 130 can execute voice recognition by using a known technique.
  • the voice recognition execution unit 130 executes voice recognition using a model such as HMM (Hidden Markov Model) or LSTM (Long Short Term Memory).
  • the result of voice recognition is called the utterance content Tk .
  • the utterance content Tk includes information indicating the speaker.
  • the voice recognition execution unit 130 stores the utterance content Tk in the utterance content storage unit 140.
  • the utterance content storage unit 140 stores the utterance content history table. The utterance content history table will be explained concretely.
  • FIG. 5 is a diagram showing an example of an utterance content history table.
  • the utterance content history table 141 is stored in the utterance content storage unit 140.
  • the utterance content history table 141 shows the history of the utterance content. That is, the result of voice recognition by the voice recognition execution unit 130 is registered in the utterance content history table 141 in chronological order.
  • the utterance content history table 141 will be described in detail.
  • the utterance content history table 141 has items for the utterance ID (identifier), the speaker, and the utterance content.
  • An identifier is registered in the item of the utterance ID.
  • Information indicating the speaker is registered in the speaker item. For example, an operator, a client, and the like are registered in the speaker item.
  • the utterance content is registered in the utterance content item.
  • FIG. 5 shows that the content of the utterance uttered by the client and the content of the utterance uttered by the operator are registered in the utterance content history table 141 after the conversation between the client and the operator starts.
  • the content of the utterance made by the client and the content of the utterance made by the operator are also called the utterance history.
  • the content of the utterance uttered by the client is the first utterance history
  • the content of the utterance uttered by the operator is the second utterance history.
  • the content of the utterance uttered by the client is the second utterance history.
  • the content of the utterance uttered by the client after the conversation between the client and the automatic response system 300 is started and the utterance content based on the voice signal of the automatic response system may be registered.
  • the content of the utterance uttered by the client and the content of the utterance based on the voice signal of the automatic response system are also referred to as the utterance history.
  • the utterance history For example, when the content of the utterance uttered by the client is the first utterance history, the content of the utterance based on the voice signal of the automatic response system is the second utterance history.
  • the utterance content based on the voice signal of the automatic response system is the first utterance history, the utterance content uttered by the client is the second utterance history.
  • the utterance content corresponding to the utterance ID “0000” may be considered as the utterance content T1.
  • the utterance content corresponding to the utterance ID “0001” may be considered as the utterance content T 2 .
  • the utterance content corresponding to the utterance ID "0002” may be considered as the utterance content T3.
  • the utterance content corresponding to the utterance ID "0003” may be considered as the utterance content T k-1 .
  • the utterance content corresponding to the utterance ID "0004" may be considered as the utterance content Tk .
  • the utterance content storage unit 140 stores the utterance content T 1 to tk .
  • the emotion estimation unit 150 uses the sound source of the voice signal A1 (for example, the client) based on the utterance section feature vector X k , the utterance content tk , the information indicating the past emotions of the client, and the information indicating the past emotions of the operator. Or estimate the emotions of the operator). Further, the emotion estimation unit 150 is a sound source of the voice signal A1 based on the utterance section feature vector X k , the utterance content tk , the information indicating the past emotions of the client, and the information indicating the past emotions of the automatic response system. Estimate emotions (eg, client or autoresponder system 300).
  • the past emotions of the automatic response system are emotions estimated by the emotion estimation unit 150 based on the voice signal of the automatic response system.
  • the emotion estimation unit 150 may execute the estimation using the trained model. Further, the estimated emotion may be considered as an emotion corresponding to the utterance content Tk .
  • the emotion estimation unit 150 is based on the utterance section feature vector X k , the utterance contents T1 to TK from the 1st to the kth , and the emotion estimation results E1 to Ek-1 from the 1st to the k-1st . Then, the emotion of the sound source of the audio signal A1 may be estimated. In the following description, it is assumed that the estimation is mainly performed. The estimation method will be described later.
  • the emotion estimation results E1 to Ek-1 are stored in the emotion history storage unit 160.
  • the estimated result is called the emotion estimation result Ek .
  • the emotion estimation result Ek may indicate an emotion value which is a quantified emotion value.
  • the emotion estimation unit 150 stores the emotion estimation result Ek in the emotion history storage unit 160. Here, the information stored in the emotion history storage unit 160 will be described.
  • FIG. 6 is a diagram showing an example of an emotion history table.
  • the emotion history table 161 is stored in the emotion history storage unit 160.
  • the emotion history table 161 shows the estimated emotion history. That is, the estimation result by the emotion estimation unit 150 is registered in the emotion history table 161 in time series.
  • the emotion history table 161 has an utterance ID and an emotion item. An identifier is registered in the item of the utterance ID.
  • the utterance ID of the emotion history table 161 has a correspondence relationship with the utterance ID of the utterance content history table 141.
  • the result of estimation by the emotion estimation unit 150 is registered in the emotion item. For example, "Anger: 50" is registered in the emotion item. In this way, the emotion value may be registered in the emotion item.
  • the emotion history table 161 may have a speaker item.
  • FIG. 6 shows that the information indicating the past emotions of the client and the information indicating the past emotions of the operator are registered in the emotion history table 161.
  • FIG. 6 shows that the estimated client emotion history and the estimated operator emotion history are registered in the emotion history table 161 since the conversation between the client and the operator started. ing.
  • the emotions of the client and the operator are specified based on the correspondence between the utterance ID of the emotion history table 161 and the utterance ID of the utterance content history table 141.
  • information indicating the past emotions of the client and information indicating the past emotions of the automatic response system may be registered in the emotion history table 161.
  • the estimated emotion history of the client and the estimated emotion history of the automatic response system may be registered in the emotion history table 161. be.
  • the emotion corresponding to the utterance ID “0000” may be considered as the emotion estimation result E1 .
  • the emotion corresponding to the utterance ID “0001” may be considered as the emotion estimation result E2.
  • the emotion corresponding to the utterance ID “0002” may be considered as the emotion estimation result E3 .
  • the emotion corresponding to the utterance ID “0003” may be considered as the emotion estimation result Ek-1 .
  • the emotion history storage unit 160 stores the emotion estimation results E1 to Ek-1 .
  • the emotion corresponding to the utterance ID “0004” may be considered as the emotion estimation result Ek . In this way, the emotion estimation result Ek obtained by executing the emotion estimation unit 150 is stored in the emotion history storage unit 160.
  • the emotion estimation unit 150 can obtain the probability that a specific emotion occurs by calculating the posterior probability distribution P shown by the equation (1).
  • W is a model parameter.
  • K and k indicate the kth.
  • the emotion estimation unit 150 can obtain the probability that a specific emotion occurs by using the trained model.
  • the trained model may be called a stochastic generative model.
  • the autoregressive neural network is used in the trained model, the equation (1) becomes the equation (2).
  • L and l are the number of layers of the autoregressive neural network.
  • the output result of the nonlinear function f in one layer is often used as the average value of the normal distribution.
  • the equation (2) becomes the equation (3) by substituting the normal distribution into the likelihood function.
  • ⁇ is a hyperparameter that controls the variance.
  • I is an identity matrix.
  • N is a high-dimensional Gaussian distribution.
  • a sigmoid function, a Relu (Rectifier Liner Unit) function, or the like may be used as the nonlinear function f.
  • the emotion estimation unit 150 maximizes the probability obtained by using the equation (3).
  • the emotion estimation unit 150 maximizes the probability by using a known technique.
  • the calculation is simplified by assuming a normal distribution or the like for P (W).
  • the emotion estimation unit 150 may use Bayesian inference instead of maximizing the probability.
  • the emotion estimation unit 150 can obtain a marginalized integrated prediction distribution with respect to the model parameter W of the equation (1) by using Bayesian inference.
  • the predicted distribution is a distribution that does not depend on the model parameter W.
  • the emotion estimation unit 150 can predict the probability that the current operator's utterance may cause a specific emotion to the client by using the prediction distribution.
  • the prediction is resistant to parameter estimation errors or model errors.
  • the equation when Bayesian inference is used is presented as equation (4). Note that P is a predicted distribution or a posterior probability distribution.
  • the model parameter W can be obtained by learning using the equation (5).
  • Correct annotation data is used as the training data.
  • the correct annotation data may be labeled with the emotion estimation result Ek .
  • a character string of the utterance content T k may be attached to the correct annotation data as a label.
  • the correct annotation data may be labeled with the result of recognition performed by the speech recognition system (not shown in FIG. 1).
  • Equation (5) can be difficult. Therefore, it is conceivable to perform approximate inference using a known method such as a stochastic variational inference method.
  • a known method such as a stochastic variational inference method.
  • the problem of approximate inference of equation (5) results in the problem of estimating the variational parameter ⁇ that maximizes the lower limit of evidence L as in equation (6).
  • q is an approximate distribution with respect to the posterior probability distribution in Eq. (5).
  • KL indicates the distance between distributions by Kullback-Leibler divergence.
  • equation (6) becomes equation (7).
  • the score function estimation method When solving the variational parameter ⁇ that maximizes the lower limit of evidence L, the score function estimation method, the reparameterized gradient method, the stochastic gradient descent Langevin dynamics method, etc. can be used.
  • the emotion estimation unit 150 may estimate the probability that a specific emotion will occur as the emotion value of the specific emotion. For example, when the specific emotion is "anger” and the probability is "50", the emotion estimation unit 150 may estimate the emotion value of "anger” to be “50". Further, the emotion estimation unit 150 may estimate that the specific emotion is generated if the probability is equal to or higher than a preset threshold value.
  • the emotion estimation unit 150 uses the utterance section feature vector X k , the utterance content T 1 to TK , the emotion estimation result E 1 to E k-1 , and the trained model.
  • the emotion corresponding to the utterance content Tk may be estimated.
  • the emotion estimation unit 150 stores the emotion estimation result Ek in the emotion history storage unit 160.
  • the emotion estimation result Ek may be considered as a discrete scalar quantity or a continuous vector quantity.
  • the switching determination unit 170 determines whether or not to switch from the operation of the automatic response system 300 to the operator operation. Specifically, the switching determination unit 170 identifies the number S times the client's emotion has changed within a preset time based on the client's emotion history registered in the emotion history table 161. Here, for example, the preset time is 1 minute. Further, the emotion of the client is specified based on the correspondence between the utterance ID of the emotion history table 161 and the utterance ID of the utterance content history table 141. For example, the switching determination unit 170 can identify that the utterance ID “0002” in the emotion history table 161 indicates the emotion of the client based on the correspondence.
  • the switching determination unit 170 determines whether or not the number of times S is equal to or greater than a preset threshold value. When the number of times S is equal to or greater than the threshold value, the switching determination unit 170 switches from the operation of the automatic response system 300 to the operator operation.
  • the judgment process will be explained using a specific example.
  • the emotions of the client in one minute are registered.
  • the client's emotions in one minute are calm, sadness, anger, calm, and anger.
  • the switching determination unit 170 specifies that the number of times S of the client's emotion changes is 5. When the number of times S is equal to or greater than the threshold value, the switching determination unit 170 switches to operator operation.
  • the information processing apparatus 100 can be made to respond to the operator before it becomes a serious situation by switching to the operator operation. Further, the information processing apparatus 100 can improve customer satisfaction by switching to the operator operation.
  • the weight storage unit 171 will be described.
  • the weight storage unit 171 stores the weight table. The weight table will be described.
  • FIG. 7 is a diagram showing an example of a weight table.
  • the weight table 172 is stored in the weight storage unit 171.
  • the weight table 172 is also referred to as weight information.
  • the weight table 172 has attributes, conditions, and weight items.
  • Information indicating the attribute is registered in the attribute item.
  • the "number of times" indicated by the attribute item is the number of times the client has made a call.
  • Information indicating the condition is registered in the condition item.
  • Information indicating the weight is registered in the weight item.
  • the information registered in the condition item may be considered as a vector.
  • the information registered in the condition item is a five-dimensional vector indicating age, gender, number of times, region, and presence / absence of drinking.
  • the information indicated by the attribute and condition items may be referred to as personality information. Therefore, the weight table 172 shows the correspondence between the personality information and the weight.
  • the acquisition unit 110 acquires the personality information of the client.
  • the acquisition unit 110 acquires the personality information of the client from an external device that can be connected to the information processing device 100. Further, for example, when the personality information of the client is stored in the volatile storage device 102 or the non-volatile storage device 103, the acquisition unit 110 acquires the personality information of the client from the volatile storage device 102 or the non-volatile storage device 103. do.
  • the personality information may be information obtained by analyzing the audio signal A1 or information obtained by listening to the information from the client.
  • the switching determination unit 170 calculates a value based on the personality information of the client, the number of times S, and the weight table 172. When the value is equal to or higher than the threshold value, the switching determination unit 170 switches from the operation of the automatic response system 300 to the operator operation.
  • the switching determination unit 170 refers to the weight table 172 and specifies the weight “1.5”. The switching determination unit 170 multiplies or adds the weight "1.5" to the number of times S. When the calculated value is equal to or higher than the threshold value, the switching determination unit 170 switches to the operator operation.
  • the information processing apparatus 100 determines whether or not to switch to the operator operation in consideration of the personality information of the client. Thereby, the information processing apparatus 100 can adjust the timing of switching to the operator operation for each client.
  • the switching determination unit 170 may switch to the operator operation when the emotion estimation result Ek is the emotion of the client and the emotion value of the emotion is equal to or higher than a preset threshold value.
  • the acquisition unit 110 acquires the personality information of the client or the operator.
  • the acquisition unit 110 acquires personality information of a client or an operator from an external device that can be connected to the information processing device 100.
  • the acquisition unit 110 acquires the personality information of the client or the operator from the volatile storage device 102 or the non-volatile storage device 103.
  • the emotion estimation unit 150 may estimate emotions by using the trained model generated by learning using the weight table 172 as learning data and the personality information of the client or the operator. Further, the emotion estimation unit 150 can estimate the emotion value to which the weight is added or multiplied by using the learned model and the personality information.
  • any of the equations (1) to (4) used in the trained model is changed by the learning.
  • the modified equation (3) is shown as equation (8). Note that Z indicates information contained in the weight table 172.
  • the information processing apparatus 100 may use the weight table 172 as training data to generate a trained model using any of the equations (5) to (7).
  • the output unit 180 specifies the emotion estimation result of the client from the emotion estimation results E1 to Ek . Specifically, the output unit 180 refers to the emotion history table 161 and identifies the emotion of the client. When the output unit 180 specifies the emotion of the client, the output unit 180 specifies the emotion of the client based on the correspondence between the utterance ID of the emotion history table 161 and the utterance ID of the utterance content history table 141. The output unit 180 outputs the identified client emotion estimation result (that is, information indicating the client emotion) and the client personality information to the display 403.
  • the identified client emotion estimation result that is, information indicating the client emotion
  • FIG. 8 is a diagram showing a specific example of a screen displayed on a display.
  • the screen 500 in the upper part of FIG. 8 shows a state before the automatic answering is switched to the operator operation and the call with the client is started.
  • the area 510 in the screen 500 is an area where the personality information of the client is displayed.
  • the area 520 in the screen 500 is an area in which the client's emotion estimation result (that is, information indicating the client's emotion) is displayed.
  • the area 530 in the screen 500 is an area in which audio signals between the operator and the client are displayed. The audio signal displayed in the area 530 moves from left to right. Then, in the area 530, the latest audio signal is displayed at the left end.
  • the screen 500 in the lower figure of FIG. 8 shows a state during a call.
  • the client's emotions are displayed as a ratio in the area 520 in the screen 500.
  • the area 531 in the screen 500 is an area in which the operator's voice signal is displayed.
  • the area 532 in the screen 500 is an area in which the audio signal of the client is displayed.
  • the emotion value of the client's anger indicated by the emotion estimation result Ek is equal to or higher than a predetermined threshold value
  • the utterance content T k which is the content of the utterance uttered by the operator before the voice signal A1 is acquired.
  • the output unit 180 outputs information calling attention. For example, when the emotion value of anger based on the utterance section 541 of the client is equal to or higher than a predetermined threshold value and the utterance content TK-1 of the operator causes anger, the output unit 180 is the utterance of the operator.
  • Information that calls attention is output, which is associated with the section 542 (that is, the utterance section of the utterance content T k-1 ).
  • the output unit 180 can use the trained model to determine whether or not the operator's utterance content T k-1 is content that causes anger.
  • the utterance content TK-1 is also referred to as a user utterance content.
  • the output unit 180 executes the above processing even when the emotion estimation result Ek is another negative emotion.
  • other negative emotions include anxiety.
  • the output unit 180 outputs information indicating that there is no problem. For example, if the emotion value of anger based on the utterance section 543 of the client is equal to or higher than a predetermined threshold value and the utterance content TK-1 of the operator is not the content that causes anger, the output unit 180 may use the utterance section of the operator. Information indicating that there is no problem associated with 544 (that is, the utterance section of the utterance content T k-1 ) is output. As a result, information indicating that there is no problem is displayed in the area 552 in the screen 500. This allows the operator to know that there was no problem with his or her remarks. In this way, the operator can obtain various information from the screen 500.
  • the end determination unit 190 determines whether or not the dialogue has ended. For example, the end determination unit 190 determines that the dialogue has ended when the client's call ends.
  • FIG. 9 is a flowchart (No. 1) showing an example of processing executed by the information processing apparatus.
  • the acquisition unit 110 acquires the audio signal A1.
  • the audio signal A 1 may be temporarily stored in the volatile storage device 102.
  • the feature amount extraction unit 121 extracts the feature vector F 1 based on the audio signal A 1 .
  • Step S13 The preprocessing execution unit 122 executes preprocessing on the feature vector F1.
  • the pre-processing execution unit 122 outputs the pre-processing and post-processing feature vector FP 1 by executing the pre-processing.
  • Step S14 The utterance section detection unit 123 executes the utterance section detection process based on the pre-processed feature vector FP 1 .
  • Step S15 The utterance section detection unit 123 determines whether or not the utterance section has been detected. If the utterance section is not detected, the process proceeds to step S11. When the utterance section is detected, the utterance section detection unit 123 extracts the utterance section feature vector X k based on the utterance section. Then, the process proceeds to step S16.
  • Step S16 The voice recognition execution unit 130 executes voice recognition based on the utterance section feature vector Xk . The result of voice recognition is the utterance content Tk .
  • the voice recognition execution unit 130 registers the utterance content Tk in the utterance content history table 141.
  • the emotion estimation unit 150 is a voice signal A corresponding to the utterance content T k based on the utterance section feature vector X k , the utterance content T 1 to T k , and the emotion estimation results E 1 to E k-1 . Estimate the emotion of one sound source (eg, client). The emotion estimation unit 150 registers the emotion estimation result Ek in the emotion history table 161. Then, the process proceeds to step S21.
  • FIG. 10 is a flowchart (No. 2) showing an example of processing executed by the information processing apparatus.
  • Step S21 The switching determination unit 170 determines whether or not the automatic response system 300 is being executed. If the autoresponder system 300 is running, the process proceeds to step S22. If the operator operation is being executed, the process proceeds to step S24.
  • Step S22 The switching determination unit 170 determines whether or not to switch the operation to the operator operation. If it is determined to switch to the operator operation, the process proceeds to step S23. If it is determined not to switch to the operator operation, the process proceeds to step S25.
  • Step S23 The switching determination unit 170 switches the operation to the operator operation.
  • Step S24 The output unit 180 outputs the information indicating the emotion of the client and the personality information of the client to the display 403.
  • Step S25 The end determination unit 190 determines whether or not the dialogue has ended. When the dialogue ends, the process ends. If the dialogue is not completed, the process proceeds to step S11.
  • FIG. 11 is a diagram showing a specific example of emotion estimation processing.
  • FIG. 11 shows a state in which the client and the operator are having a conversation.
  • the client at time TM1 is angry.
  • Anger is the emotion estimation result Ek-2 .
  • the operator is upset by what the client says.
  • the operator at time TM2 becomes sad.
  • the sadness is the emotion estimation result Ek-1 .
  • the client hears the operator's remark or the client senses that the operator is sad, the client's emotion at time TM3 becomes angry.
  • the information processing apparatus 100 can estimate that the emotion of the client at time TM3 is angry.
  • the estimation process will be specifically described.
  • the client emits a voice at time TM3.
  • the information processing apparatus 100 acquires the voice signal A1 which is the voice signal.
  • the information processing apparatus 100 obtains the utterance section feature vector X k and the utterance content T k based on the voice signal A1 .
  • the information processing apparatus 100 estimates the emotion of the client at the time TM 3 based on the utterance section feature vector X k , the utterance content T k , the emotion estimation result E k-2 , and the emotion estimation result E k-1 .
  • the emotion estimation result Ek-1 is information indicating the emotion estimated before the audio signal A 1 is acquired.
  • the emotion estimation result E k-2 is information indicating the emotion estimated before the emotion indicated by the emotion estimation result E k-1 is estimated.
  • the emotion estimation result Ek obtained by the execution of the information processing apparatus 100 indicates anger. Further, for example, anger may be considered as "Anger: 10".
  • the information processing apparatus 100 estimates the emotion of the current client in consideration of the emotion of the client estimated in the past and the emotion of the operator. That is, the information processing apparatus 100 estimates the emotions of the current client in consideration of the emotions of both.
  • the information processing apparatus 100 does not estimate the current client's emotions based only on the information about the client. Therefore, the information processing apparatus 100 can perform highly accurate estimation.
  • the information processing apparatus 100 can improve the estimation accuracy. Further, the information processing apparatus 100 includes an utterance section feature vector X k , an utterance content T 1 to TK (that is, utterances of all clients and operators), and an emotion estimation result E 1 to E k-1 (that is, in the past). The current client's emotions may be estimated based on all the estimated history). That is, the information processing apparatus 100 may estimate by further considering all the utterances of the client and the operator and all the histories estimated in the past. The information processing apparatus 100 can perform more accurate estimation by executing estimation based on many elements.
  • 11 interface adapter, 12 interface adapter, 13 interface adapter 100 information processing device, 101 processor, 102 volatile storage device, 103 non-volatile storage device, 104 input / output interface, 110, 110a acquisition unit, 120, 120a detection and extraction unit, 121 feature amount extraction unit, 122 preprocessing execution unit, 123 speech section detection unit, 130, 130a voice recognition execution unit, 140 speech content storage unit, 141 speech content history table, 150, 150a emotion estimation unit, 160 emotion history storage unit.
  • 161 emotion history table 161 emotion history table, 170 switching judgment unit, 171 weight storage unit, 172 weight table, 180 output unit, 190 end judgment unit, 200 portable device, 300 automatic response system, 400 speaker, 401 microphone, 402 camera, 403 display, 500 screens, 510,520,530,531,532 areas, 541,542,543,544 speech sections, 551,552 areas.

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

情報処理装置（１００）は、第１の音源の音声信号を取得する取得部（１１０）と、音声信号に基づいて、発話区間を検出し、発話区間に基づいて、発話区間の特徴量である発話区間特徴量を抽出する検出抽出部（１２０）と、発話区間特徴量に基づいて、音声認識を実行する音声認識実行部（１３０）と、第１の音源の過去の感情を示す情報と第２の音源の過去の感情を示す情報とを記憶する記憶部と、発話区間特徴量、音声認識を実行することにより得られた発話内容、第１の音源の過去の感情を示す情報、及び第２の音源の過去の感情を示す情報に基づいて、第１の音源の感情を推定する感情推定部（１５０）と、を有する。

Description

情報処理装置、推定方法、及び推定プログラム
　本開示は、情報処理装置、推定方法、及び推定プログラムに関する。
　コールセンターでは、クライアントのクレームに対する処理及びクライアントの問い合わせに対する処理が行われている。従来、これらの処理は、人によって行われていた。しかし、音声認識、応答生成、及び音声合成の技術を組み合わせることで、コールセンターには、自動応答システムが導入された。自動応答システムを導入することで、コストが削減される。しかし、クライアントが、自動応答システムで対応されることは不誠実であると思う場合がある。自動応答システムで対応することは、クレーム及びクライアントのフラストレーションを増加させる。そこで、自動応答システムが当該クレーム又は当該問合せを解決できない場合、運用が、自動応答システムからオペレータ運用に切り替わる。ここで、自動応答システムからオペレータ運用に切り替える技術が提案されている（特許文献１を参照）。特許文献１では、感情が閾値を超えた場合、運用がオペレータ運用に切り替わる。
特開２０１７－２０７８０１号公報
　ところで、個人に関する情報のみに基づいて、当該個人の感情が、推定される場合がある。しかし、当該推定の方法は、推定精度が高くない場合がある。
　本開示の目的は、推定精度を高めることである。
　本開示の一態様に係る情報処理装置が提供される。情報処理装置は、第１の音源の音声信号を取得する取得部と、前記音声信号に基づいて、発話区間を検出し、前記発話区間に基づいて、前記発話区間の特徴量である発話区間特徴量を抽出する検出抽出部と、前記発話区間特徴量に基づいて、音声認識を実行する音声認識実行部と、前記第１の音源の過去の感情を示す情報と第２の音源の過去の感情を示す情報とを記憶する記憶部と、前記発話区間特徴量、前記音声認識を実行することにより得られた発話内容、前記第１の音源の過去の感情を示す情報、及び前記第２の音源の過去の感情を示す情報に基づいて、前記第１の音源の感情を推定する感情推定部と、を有する。
　本開示によれば、推定精度を高めることができる。
通信システムを示す図である。 情報処理装置が有するハードウェアの例を示す図である。 情報処理装置が有する機能ブロックを示す図である。 検出抽出部を示す図である。 発話内容履歴テーブルの例を示す図である。 感情履歴テーブルの例を示す図である。 重みテーブルの例を示す図である。 ディスプレイに表示される画面の具体例を示す図である。 情報処理装置が実行する処理の例を示すフローチャート（その１）である。 情報処理装置が実行する処理の例を示すフローチャート（その２）である。 感情の推定処理の具体例を示す図である。
　以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
実施の形態．
　図１は、通信システムを示す図である。通信システムは、情報処理装置１００、携帯装置２００、自動応答システム３００、スピーカ４００、マイク４０１、カメラ４０２、及びディスプレイ４０３を含む。
　通信システムでは、クライアントから通話があった場合、自動応答システム３００が応答を行う。通信システムでは、条件が満たされた場合、運用が、オペレータ運用に切り替わる。なお、当該条件については、後で説明する。
　情報処理装置１００は、推定方法を実行する装置である。情報処理装置１００は、感情推定装置と呼んでもよい。情報処理装置１００は、インタフェースアダプタ１１を介して、携帯装置２００と自動応答システム３００と通信する。また、情報処理装置１００は、携帯装置２００と自動応答システム３００と無線で通信することができる。情報処理装置１００は、インタフェースアダプタ１２を介して、スピーカ４００とマイク４０１と接続する。情報処理装置１００は、インタフェースアダプタ１３を介して、カメラ４０２とディスプレイ４０３と接続する。
　携帯装置２００は、クライアントが使用する装置である。例えば、携帯装置２００は、スマートフォンである。
　自動応答システム３００は、１以上の電気装置によって実現される。自動応答システム３００は、疑似的なオペレータの役割を果たす。
　スピーカ４００は、クライアントの音声を出力する。マイク４０１には、オペレータの音声が入力される。マイク４０１は、当該音声を音声信号に変換する。ここで、マイクは、マイクロフォンとも言う。カメラ４０２は、オペレータの顔を撮影する。カメラ４０２は、撮影することにより得らえた画像を情報処理装置１００に送信する。ディスプレイ４０３は、情報処理装置１００が出力した情報を表示する。
　次に、情報処理装置１００が有するハードウェアを説明する。
　図２は、情報処理装置が有するハードウェアの例を示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、不揮発性記憶装置１０３、及び入出力インタフェース１０４を有する。
　プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、マイクロコントローラ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などである。プロセッサ１０１は、マルチプロセッサでもよい。情報処理装置１００は、プロセッサ１０１に変えて、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
　揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。
　入出力インタフェース１０４は、携帯装置２００、自動応答システム３００、スピーカ４００、マイク４０１、カメラ４０２、及びディスプレイ４０３と通信する。
　また、情報処理装置１００は、外部装置から情報を取得することができる。例えば、外部装置は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリである。
　次に、情報処理装置１００が有する機能を説明する。
　図３は、情報処理装置が有する機能ブロックを示す図である。情報処理装置１００は、取得部１１０、検出抽出部１２０、音声認識実行部１３０、発話内容記憶部１４０、感情推定部１５０、感情履歴記憶部１６０、切替判定部１７０、重み記憶部１７１、出力部１８０、及び終了判定部１９０を有する。また、情報処理装置１００は、取得部１１０ａ、検出抽出部１２０ａ、音声認識実行部１３０ａ、及び感情推定部１５０ａを有してもよい。
　発話内容記憶部１４０、感情履歴記憶部１６０、及び重み記憶部１７１は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。また、発話内容記憶部１４０、感情履歴記憶部１６０、及び重み記憶部１７１の総称は、単に記憶部と呼ぶ。
　取得部１１０，１１０ａ、検出抽出部１２０，１２０ａ、音声認識実行部１３０，１３０ａ、感情推定部１５０，１５０ａ、切替判定部１７０、出力部１８０、及び終了判定部１９０の一部又は全部は、処理回路によって実現してもよい。また、取得部１１０，１１０ａ、検出抽出部１２０，１２０ａ、音声認識実行部１３０，１３０ａ、感情推定部１５０，１５０ａ、切替判定部１７０、出力部１８０、及び終了判定部１９０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、推定プログラムとも言う。例えば、推定プログラムは、記録媒体に記録されている。
　取得部１１０は、音声信号Ａ１を取得する。音声信号Ａ１は、デジタル信号である。また、音声信号Ａ１は、クライアントの音声を示す信号（以下、クライアントの音声信号）、オペレータの音声を示す信号（以下、オペレータの音声信号）、又は自動応答システム３００が出力した音声情報を示す信号（以下、自動応答システムの音声信号）である。
　取得部１１０ａは、音声信号Ｂ１を取得する。音声信号Ｂ１について説明する。情報処理装置１００には、クライアントの音声信号と、オペレータの音声信号又は自動応答システムの音声信号とが同じ時期に入力される場合がある。例えば、当該場合では、音声信号Ａ１がクライアントの音声信号であり、音声信号Ｂ１がオペレータの音声信号である。また、例えば、当該場合では、音声信号Ａ１がクライアントの音声信号であり、音声信号Ｂ１が自動応答システムの音声信号である。
　ここで、取得部１１０ａ、検出抽出部１２０ａ、音声認識実行部１３０ａ、及び感情推定部１５０ａの機能は、取得部１１０、検出抽出部１２０、音声認識実行部１３０、及び感情推定部１５０の機能と同じである。例えば、検出抽出部１２０ａ、音声認識実行部１３０ａ、及び感情推定部１５０ａが音声信号Ｂ１及び音声信号Ｂ１に基づく発話区間特徴ベクトルを用いる処理と、検出抽出部１２０、音声認識実行部１３０、及び感情推定部１５０が音声信号Ａ１及び音声信号Ａ１に基づく発話区間特徴ベクトルを用いる処理とは、同じである。そのため、取得部１１０ａ、検出抽出部１２０ａ、音声認識実行部１３０ａ、及び感情推定部１５０ａの機能の説明は、省略する。なお、発話区間特徴ベクトルについては、後で説明する。
　また、クライアント、オペレータ、及び自動応答システム３００は、音源とも言う。例えば、クライアントが第１の音源である場合、オペレータ又は自動応答システム３００は、第２の音源とも言う。オペレータ又は自動応答システム３００が第１の音源である場合、クライアントは、第２の音源とも言う。さらに、クライアントとオペレータは、ユーザとも言う。例えば、クライアントが第１のユーザである場合、オペレータは、第２のユーザとも言う。オペレータが第１のユーザである場合、クライアントは、第２のユーザとも言う。
　検出抽出部１２０は、音声信号に基づいて、発話区間を検出する。検出抽出部１２０は、発話区間に基づいて、発話区間特徴ベクトルを抽出する。なお、発話区間特徴ベクトルは、発話区間の特徴量である。また、発話区間特徴ベクトルは、発話区間の発話に関する特徴量と表現してもよい。検出抽出部１２０の機能を詳細に説明する。
　図４は、検出抽出部を示す図である。検出抽出部１２０は、特徴量抽出部１２１、前処理実行部１２２、及び発話区間検出部１２３を有する。
　特徴量抽出部１２１は、音声信号Ａ１に基づいて、特徴ベクトルＦ１を抽出する。なお、特徴ベクトルＦ１は、特徴量とも言う。なお、例えば、特徴ベクトルＦ１は、ＭＦＣＣ（Ｍｅｌ　Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒｕｍ　Ｃｏｅｆｆｉｃｉｅｎｔｓ）又は基本周波数である。また、ＭＦＣＣ又は基本周波数は、音声ドメインでよく使用される。
　前処理実行部１２２は、特徴ベクトルＦ１に前処理を実行する。例えば、前処理には、値を０から１の範囲に揃える処理、単位行列を分散に関する指標として共分散行列を線形変換する処理、外れ値を除去する処理などがある。前処理実行部１２２は、前処理を実行することで、前処理後特徴ベクトルＦＰ１を出力する。
　発話区間検出部１２３は、前処理後特徴ベクトルＦＰ１に基づいて、発話区間を検出する。ここで、検出された発話区間は、発話区間検出部１２３が今まで検出した発話区間のうち、ｋ番目の発話区間である。発話区間検出部１２３は、検出された発話区間に基づいて、当該発話区間の特徴量である発話区間特徴ベクトルＸｋを抽出する。なお、発話区間特徴ベクトルは、発話区間特徴量とも言う。
　ここで、情報処理装置１００には、音声信号Ａ１と音声信号Ｂ１とが同じ時期に入力される場合がある。ただし、音声信号Ａ１と音声信号Ｂ１とが重ならないものとする。言い換えれば、発話区間検出部１２３が音声信号Ａ１に基づいて検出した発話区間と検出抽出部１２０ａの発話区間検出部が音声信号Ｂ１に基づいて検出した発話区間とは、重ならないものとする。
　次に、図３に戻って、音声認識実行部１３０を説明する。
　音声認識実行部１３０は、発話区間特徴ベクトルＸｋに基づいて、音声認識を実行する。音声認識実行部１３０は、公知技術を用いて、音声認識を実行できる。例えば、音声認識実行部１３０は、ＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）、ＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ　Ｔｅｒｍ　Ｍｅｍｏｒｙ）などのモデルを用いて、音声認識を実行する。
　音声認識の結果は、発話内容Ｔｋと呼ぶ。発話内容Ｔｋには、話者を示す情報が含まれる。音声認識実行部１３０は、発話内容Ｔｋを発話内容記憶部１４０に格納する。
　発話内容記憶部１４０は、発話内容履歴テーブルを記憶する。発話内容履歴テーブルを具体的に説明する。
　図５は、発話内容履歴テーブルの例を示す図である。発話内容履歴テーブル１４１は、発話内容記憶部１４０に格納される。発話内容履歴テーブル１４１は、発話内容の履歴を示す。すなわち、発話内容履歴テーブル１４１には、音声認識実行部１３０による音声認識の結果が、時系列に登録される。発話内容履歴テーブル１４１を詳細に説明する。
　発話内容履歴テーブル１４１は、発話ＩＤ（ｉｄｅｎｔｉｆｉｅｒ）、話者、及び発話内容の項目を有する。発話ＩＤの項目には、識別子が登録される。話者の項目には、話者を示す情報が登録される。例えば、話者の項目には、オペレータ、クライアントなどが登録される。発話内容の項目には、発話内容が登録される。
　図５は、クライアントとオペレータとの会話が開始してから、クライアントが発した発話の内容とオペレータが発した発話の内容とが発話内容履歴テーブル１４１に登録されていることを示している。クライアントが発した発話の内容とオペレータが発した発話の内容とは、発話履歴とも言う。例えば、クライアントが発した発話の内容が第１の発話履歴である場合、オペレータが発した発話の内容は、第２の発話履歴である。オペレータが発した発話の内容が第１の発話履歴である場合、クライアントが発した発話の内容は、第２の発話履歴である。
　また、発話内容履歴テーブル１４１には、クライアントと自動応答システム３００との会話が開始してから、クライアントが発した発話の内容と自動応答システムの音声信号に基づく発話内容とが登録される場合もある。クライアントが発した発話の内容と自動応答システムの音声信号に基づく発話内容とは、発話履歴とも言う。例えば、クライアントが発した発話の内容が第１の発話履歴である場合、自動応答システムの音声信号に基づく発話内容は、第２の発話履歴である。自動応答システムの音声信号に基づく発話内容が第１の発話履歴である場合、クライアントが発した発話の内容は、第２の発話履歴である。
　ここで、例えば、発話ＩＤ“００００”に対応する発話内容は、発話内容Ｔ１と考えてもよい。発話ＩＤ“０００１”に対応する発話内容は、発話内容Ｔ２と考えてもよい。発話ＩＤ“０００２”に対応する発話内容は、発話内容Ｔ３と考えてもよい。発話ＩＤ“０００３”に対応する発話内容は、発話内容Ｔｋ－１と考えてもよい。発話ＩＤ“０００４”に対応する発話内容は、発話内容Ｔｋと考えてもよい。このように、発話内容記憶部１４０には、発話内容Ｔ１～Ｔｋが格納される。
　次に、図３に戻って、感情推定部１５０を説明する。
　感情推定部１５０は、発話区間特徴ベクトルＸｋ、発話内容Ｔｋ、クライアントの過去の感情を示す情報、及びオペレータの過去の感情を示す情報に基づいて、音声信号Ａ１の音源（例えば、クライアント又はオペレータ）の感情を推定する。また、感情推定部１５０は、発話区間特徴ベクトルＸｋ、発話内容Ｔｋ、クライアントの過去の感情を示す情報、及び自動応答システムの過去の感情を示す情報に基づいて、音声信号Ａ１の音源（例えば、クライアント又は自動応答システム３００）の感情を推定する。なお、自動応答システムの過去の感情とは、自動応答システムの音声信号に基づいて、感情推定部１５０により推定された感情である。感情推定部１５０は、推定を実行する場合、学習済モデルを用いて、推定を実行してもよい。また、推定される感情は、発話内容Ｔｋに対応する感情と考えてもよい。
　また、感情推定部１５０は、発話区間特徴ベクトルＸｋ、１～ｋ番目までの発話内容Ｔ１～Ｔｋ、及び１～ｋ－１番目までの感情推定結果Ｅ１～Ｅｋ－１に基づいて、音声信号Ａ１の音源の感情を推定してもよい。以下の説明では、主に当該推定が実行されるものとする。当該推定の方法については、後で説明する。なお、感情推定結果Ｅ１～Ｅｋ－１は、感情履歴記憶部１６０に格納されている。
　推定された結果は、感情推定結果Ｅｋと呼ぶ。感情推定結果Ｅｋは、定量化された感情の値である感情値を示してもよい。感情推定部１５０は、感情推定結果Ｅｋを感情履歴記憶部１６０に格納する。ここで、感情履歴記憶部１６０に格納される情報を説明する。
　図６は、感情履歴テーブルの例を示す図である。感情履歴テーブル１６１は、感情履歴記憶部１６０に格納される。感情履歴テーブル１６１は、推定された感情の履歴を示す。すなわち、感情履歴テーブル１６１には、感情推定部１５０による推定の結果が、時系列に登録される。
　感情履歴テーブル１６１は、発話ＩＤと感情の項目を有する。発話ＩＤの項目には、識別子が登録される。感情履歴テーブル１６１の発話ＩＤは、発話内容履歴テーブル１４１の発話ＩＤと対応関係を有する。感情の項目には、感情推定部１５０による推定の結果が登録される。例えば、感情の項目には、“Ａｎｇｅｒ：５０”が登録される。このように、感情の項目には、感情値が登録されてもよい。感情履歴テーブル１６１は、話者の項目を有してもよい。
　図６は、クライアントの過去の感情を示す情報とオペレータの過去の感情を示す情報とが感情履歴テーブル１６１に登録されていることを示している。詳細には、図６は、クライアントとオペレータとの会話が開始してから、推定されたクライアントの感情の履歴と推定されたオペレータの感情の履歴が感情履歴テーブル１６１に登録されていることを示している。なお、クライアント及びオペレータの感情は、感情履歴テーブル１６１の発話ＩＤと発話内容履歴テーブル１４１の発話ＩＤとの対応関係に基づいて、特定される。
　また、感情履歴テーブル１６１には、クライアントの過去の感情を示す情報と自動応答システムの過去の感情を示す情報とが登録される場合もある。詳細には、クライアントと自動応答システム３００との会話が開始してから、推定されたクライアントの感情の履歴と推定された自動応答システムの感情の履歴とが感情履歴テーブル１６１に登録される場合がある。
　ここで、例えば、発話ＩＤ“００００”に対応する感情は、感情推定結果Ｅ１と考えてもよい。発話ＩＤ“０００１”に対応する感情は、感情推定結果Ｅ２と考えてもよい。発話ＩＤ“０００２”に対応する感情は、感情推定結果Ｅ３と考えてもよい。発話ＩＤ“０００３”に対応する感情は、感情推定結果Ｅｋ－１と考えてもよい。このように、感情履歴記憶部１６０には、感情推定結果Ｅ１～Ｅｋ－１が、格納されている。
　また、発話ＩＤ“０００４”に対応する感情は、感情推定結果Ｅｋと考えてもよい。このように、感情推定部１５０の実行により得られた感情推定結果Ｅｋが、感情履歴記憶部１６０に格納される。
　次に、感情の推定方法を説明する。
　感情推定部１５０は、式（１）が示す事後確率分布Ｐを算出することで、特定の感情が生じる確率を得ることができる。なお、Ｗは、モデルパラメータである。Ｋ及びｋは、ｋ番目を示す。
Figure JPOXMLDOC01-appb-M000001
　感情推定部１５０は、学習済モデルを用いて、特定の感情が生じる確率を得ることができる。ここで、当該学習済モデルは、確率的生成モデルと呼んでもよい。当該学習済モデルで自己回帰ニューラルネットワークが使用されている場合、式（１）は、式（２）になる。なお、Ｌ及びｌは、自己回帰ニューラルネットワークの層の数である。
Figure JPOXMLDOC01-appb-M000002
　ここで、自己回帰ニューラルネットワークでは、１層における非線形関数ｆの出力結果を正規分布の平均値として、用いる場合が多い。この場合、式（２）は、正規分布が尤度関数に代入されることで、式（３）になる。なお、σは、分散を制御するハイパーパラメータである。Ｉは、単位行列である。Ｎは、高次元のガウス分布である。非線形関数ｆには、シグモイド関数、Ｒｅｌｕ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）関数などが用いられてもよい。
Figure JPOXMLDOC01-appb-M000003
　感情推定部１５０は、式（３）を用いることで得られた確率を最大化する。確率を最大化する場合、感情推定部１５０は、公知技術を用いて、確率を最大化する。なお、確率を最大化する場合、Ｐ（Ｗ）に関して、正規分布等を仮定することで、計算が簡易化される。
　また、感情推定部１５０は、確率の最大化の代わりに、ベイズ推論を用いてもよい。感情推定部１５０は、ベイズ推論を用いることで、式（１）のモデルパラメータＷに関して、周辺化積分された予測分布を得ることができる。予測分布は、モデルパラメータＷに依存しない分布である。例えば、感情推定部１５０は、予測分布を用いることで、現在のオペレータの発話がクライアントに特定の感情を引き起こす可能性があるか否かの確率を予測できる。当該予測は、パラメータ推定誤差又はモデル誤りに強い。ベイズ推論が用いられる場合の式を式（４）として提示する。なお、Ｐは、予測分布又は事後確率分布である。
Figure JPOXMLDOC01-appb-M000004
　式（４）の積分及び総和演算では、モデルパラメータＷを考慮する必要がある。そのため、式（４）の計算が困難な場合がある。そこで、ラプラス近似などが用いられてもよい。
　ここで、モデルパラメータＷは、式（５）を用いた学習により、得ることができる。学習データには、正解アノテーションデータが用いられる。正解アノテーションデータには、感情推定結果Ｅｋのラベルが付されてもよい。正解アノテーションデータには、発話内容Ｔｋの文字列がラベルとして、付されてもよい。正解アノテーションデータには、図１で図示が省略されている音声認識システムで実行された認識の結果がラベルとして、付されてもよい。
Figure JPOXMLDOC01-appb-M000005
　式（５）の計算は、困難な場合がある。そこで、確率的変分推論法などの公知の手法を用いて、近似推論を行うことが考えられる。確率的変分推論法が用いられる場合、式（５）を近似推論する問題は、式（６）のようなエビデンス下限Ｌを最大化する変分パラメータξを推定する問題に帰着する。なお、ｑは、式（５）の事後確率分布に対する近似分布である。ＫＬは、カルバック・ライブラーダイバージェンスによる分布間の距離を示す。
Figure JPOXMLDOC01-appb-M000006
　学習済モデルで自己回帰ニューラルネットワークが使用される場合、式（６）は、式（７）になる。
Figure JPOXMLDOC01-appb-M000007
　エビデンス下限Ｌを最大化させる変分パラメータξを解く場合、スコア関数推定法、再パラメータ化勾配法、確率的勾配ランジュバン動力学法などを用いることができる。
　感情推定部１５０は、特定の感情が生じる確率を、当該特定の感情の感情値として推定してもよい。例えば、当該特定の感情が“怒り”であり、当該確率が“５０”である場合、感情推定部１５０は、“怒り”の感情値を“５０”と推定してもよい。また、感情推定部１５０は、当該確率が予め設定された閾値以上であれば、当該特定の感情が生じていると推定してもよい。
　また、当該確率を算出せずに、感情推定部１５０は、発話区間特徴ベクトルＸｋ、発話内容Ｔ１～Ｔｋ、感情推定結果Ｅ１～Ｅｋ－１、及び学習済モデルを用いて、発話内容Ｔｋに対応する感情を推定してもよい。
　このように、感情が推定される。そして、感情推定部１５０は、感情推定結果Ｅｋを感情履歴記憶部１６０に格納する。なお、感情推定結果Ｅｋは、離散的なスカラー量又は連続的なベクトル量と考えてもよい。
　切替判定部１７０は、通信システムで自動応答システム３００が実行している場合、自動応答システム３００の運用からオペレータ運用に切り替えるか否かを判定する。詳細には、切替判定部１７０は、感情履歴テーブル１６１に登録されているクライアントの感情の履歴に基づいて、予め設定された時間内に、クライアントの感情が変化した回数Ｓを特定する。ここで、例えば、予め設定された時間は、１分である。また、クライアントの感情は、感情履歴テーブル１６１の発話ＩＤと発話内容履歴テーブル１４１の発話ＩＤとの対応関係に基づいて、特定される。例えば、切替判定部１７０は、当該対応関係に基づいて、感情履歴テーブル１６１の発話ＩＤ“０００２”がクライアントの感情を示していることを特定できる。切替判定部１７０は、回数Ｓが予め設定された閾値以上であるか否かを判定する。切替判定部１７０は、回数Ｓが当該閾値以上である場合、自動応答システム３００の運用からオペレータ運用に切り替える。
　具体例を用いて、判定処理を説明する。感情履歴テーブル１６１には、１分間におけるクライアントの感情が登録されている。１分間におけるクライアントの感情は、平静、哀しみ、怒り、平静、及び怒りとする。切替判定部１７０は、クライアントの感情が変化した回数Ｓが５であることを特定する。切替判定部１７０は、回数Ｓが閾値以上である場合、オペレータ運用に切り替える。
　このように、情報処理装置１００は、オペレータ運用に切り替えることで、深刻な状況になる前にオペレータに応対させることができる。また、情報処理装置１００は、オペレータ運用に切り替えることで、顧客満足度を向上させることができる。
　ここで、重み記憶部１７１を説明する。重み記憶部１７１は、重みテーブルを記憶する。重みテーブルを説明する。
　図７は、重みテーブルの例を示す図である。重みテーブル１７２は、重み記憶部１７１に格納される。重みテーブル１７２は、重み情報とも言う。重みテーブル１７２は、属性、条件、及び重みの項目を有する。
　属性の項目には、属性を示す情報が登録される。なお、属性の項目が示す“回数”は、クライアントが電話をかけてきた回数である。条件の項目には、条件を示す情報が登録される。重みの項目には、重みを示す情報が登録される。
　また、条件の項目に登録される情報は、ベクトルと考えてもよい。例えば、条件の項目に登録される情報は、年齢、性別、回数、地域、飲酒の有無を示す５次元ベクトルである。
　例えば、属性及び条件の項目が示す情報は、パーソナリティ情報と呼んでもよい。よって、重みテーブル１７２は、パーソナリティ情報と重みとの対応関係を示している。
　重みテーブル１７２が用いられる場合を説明する。まず、取得部１１０は、クライアントのパーソナリティ情報を取得する。例えば、取得部１１０は、クライアントのパーソナリティ情報を情報処理装置１００に接続可能な外部装置から取得する。また、例えば、クライアントのパーソナリティ情報が揮発性記憶装置１０２又は不揮発性記憶装置１０３に格納されている場合、取得部１１０は、クライアントのパーソナリティ情報を揮発性記憶装置１０２又は不揮発性記憶装置１０３から取得する。当該パーソナリティ情報は、音声信号Ａ１を分析することで得られた情報でもよいし、クライアントから聞き出すことにより得られた情報でもよい。切替判定部１７０は、クライアントのパーソナリティ情報、回数Ｓ、及び重みテーブル１７２に基づいて、値を算出する。切替判定部１７０は、当該値が当該閾値以上である場合、自動応答システム３００の運用からオペレータ運用に切り替える。
　具体例を用いて説明する。パーソナリティ情報は、クライアントが男性であることを示しているものとする。切替判定部１７０は、重みテーブル１７２を参照し、重み“１．５”を特定する。切替判定部１７０は、重み“１．５”を回数Ｓに乗算又は加算する。切替判定部１７０は、算出された値が当該閾値以上である場合、オペレータ運用に切り替える。
　このように、情報処理装置１００は、クライアントのパーソナリティ情報を考慮して、オペレータ運用に切り替えるか否かを判定する。これにより、情報処理装置１００は、オペレータ運用に切り替えるタイミングを、クライアント毎に調整できる。
　また、切替判定部１７０は、感情推定結果Ｅｋがクライアントの感情である場合、当該感情の感情値が予め設定された閾値以上である場合、オペレータ運用に切り替えてもよい。
　ここで、取得部１１０は、クライアント又はオペレータのパーソナリティ情報を取得する。例えば、取得部１１０は、クライアント又はオペレータのパーソナリティ情報を情報処理装置１００に接続可能な外部装置から取得する。また、例えば、取得部１１０は、クライアント又はオペレータのパーソナリティ情報を揮発性記憶装置１０２又は不揮発性記憶装置１０３から取得する。感情推定部１５０は、学習データとして重みテーブル１７２を用いて学習することにより生成された学習済モデルと、クライアント又はオペレータのパーソナリティ情報とを用いて、感情を推定してもよい。また、感情推定部１５０は、当該学習済モデルと当該パーソナリティ情報とを用いることで、重みが加算又は乗算された感情値を推定できる。なお、当該学習により、学習済モデルで使用される式（１）～（４）のいずれかは、変更される。例えば、変更された式（３）を式（８）として、示す。なお、Ｚは、重みテーブル１７２に含まれる情報を示す。
Figure JPOXMLDOC01-appb-M000008
　また、情報処理装置１００は、学習データとして重みテーブル１７２を用いて、式（５）～（７）のいずれかを使用する学習済モデルを生成してもよい。
　出力部１８０は、感情推定結果Ｅ１～Ｅｋの中から、クライアントの感情推定結果を特定する。詳細には、出力部１８０は、感情履歴テーブル１６１を参照し、クライアントの感情を特定する。出力部１８０がクライアントの感情を特定する場合、出力部１８０は、感情履歴テーブル１６１の発話ＩＤと発話内容履歴テーブル１４１の発話ＩＤとの対応関係に基づいて、クライアントの感情を特定する。出力部１８０は、特定されたクライアントの感情推定結果（すなわち、クライアントの感情を示す情報）と、クライアントのパーソナリティ情報をディスプレイ４０３に出力する。
　ここで、ディスプレイ４０３に表示される画面を例示する。
　図８は、ディスプレイに表示される画面の具体例を示す図である。図８の上図の画面５００は、自動応答からオペレータ運用に切り替わり、かつクライアントとの通話が開始する前の状態を示している。
　画面５００内の領域５１０は、クライアントのパーソナリティ情報が表示される領域である。画面５００内の領域５２０は、クライアントの感情推定結果（すなわち、クライアントの感情を示す情報）が表示される領域である。画面５００内の領域５３０は、オペレータとクライアントとの音声信号が表示される領域である。領域５３０に表示される音声信号は、左から右に移動する。そして、領域５３０では、最新の音声信号が左端に表示される。
　図８の下図の画面５００は、通話中の状態を示している。画面５００内の領域５２０には、クライアントの感情が比率で表示される。画面５００内の領域５３１は、オペレータの音声信号が表示される領域である。画面５００内の領域５３２は、クライアントの音声信号が表示される領域である。
　ここで、感情推定結果Ｅｋが示すクライアントの怒りの感情値が予め定められた閾値以上であり、かつ音声信号Ａ１が取得される前にオペレータが発した発話の内容である発話内容Ｔｋ－１が怒りを生じさせる内容である場合、出力部１８０は、注意を促す情報を出力する。例えば、クライアントの発話区間５４１に基づく怒りの感情値が予め定められた閾値以上であり、かつオペレータの発話内容Ｔｋ－１が怒りを生じさせる内容である場合、出力部１８０は、オペレータの発話区間５４２（すなわち、発話内容Ｔｋ－１の発話区間）に対応付ける、注意を促す情報を出力する。そして、画面５００内の領域５５１には、注意を促す情報が表示される。なお、例えば、出力部１８０は、学習済モデルを用いて、オペレータの発話内容Ｔｋ－１が怒りを生じさせる内容であるか否かを判定できる。また、発話内容Ｔｋ－１は、ユーザ発話内容とも言う。オペレータは、注意を促す情報を見ることで、発言を注意するようになる。そして、オペレータが発言を注意することで、クライアントの怒りが鎮められる。上記では、ネガティブな感情の例として、感情推定結果Ｅｋが怒りである場合を説明した。出力部１８０は、感情推定結果Ｅｋが他のネガティブな感情である場合でも、上記の処理を実行する。なお、例えば、他のネガティブな感情とは、不安などである。
　また、感情推定結果Ｅｋが示すクライアントの怒りの感情値が予め定められた閾値以上であり、かつ感情推定結果Ｅｋが推定される前のオペレータの発話内容Ｔｋ－１が怒りを生じさせる内容でない場合、出力部１８０は、問題がない旨を示す情報を出力する。例えば、クライアントの発話区間５４３に基づく怒りの感情値が予め定められた閾値以上であり、かつオペレータの発話内容Ｔｋ－１が怒りを生じさせる内容でない場合、出力部１８０は、オペレータの発話区間５４４（すなわち、発話内容Ｔｋ－１の発話区間）に対応付ける、問題がない旨を示す情報を出力する。これにより、画面５００内の領域５５２には、問題がない旨を示す情報が表示される。これにより、オペレータは、自分の発言に問題がなかったことを知ることができる。
　このように、オペレータは、画面５００から様々な情報を得ることができる。
　図３に戻って、終了判定部１９０を説明する。
　終了判定部１９０は、対話が終了したか否かを判定する。例えば、終了判定部１９０は、クライアントの通話が終了したときに、対話が終了したと判定する。
　次に、情報処理装置１００が実行する処理を、フローチャートを用いて、説明する。
　図９は、情報処理装置が実行する処理の例を示すフローチャート（その１）である。
　（ステップＳ１１）取得部１１０は、音声信号Ａ１を取得する。なお、音声信号Ａ１は、一時的に揮発性記憶装置１０２に格納されてもよい。
　（ステップＳ１２）特徴量抽出部１２１は、音声信号Ａ１に基づいて、特徴ベクトルＦ１を抽出する。
　（ステップＳ１３）前処理実行部１２２は、特徴ベクトルＦ１に前処理を実行する。前処理実行部１２２は、前処理を実行することで、前処理後特徴ベクトルＦＰ１を出力する。
　（ステップＳ１４）発話区間検出部１２３は、前処理後特徴ベクトルＦＰ１に基づいて、発話区間の検出処理を実行する。
　（ステップＳ１５）発話区間検出部１２３は、発話区間が検出されたか否かを判定する。発話区間が検出されなかった場合、処理は、ステップＳ１１に進む。発話区間が検出された場合、発話区間検出部１２３は、当該発話区間に基づいて、発話区間特徴ベクトルＸｋを抽出する。そして、処理は、ステップＳ１６に進む。
　（ステップＳ１６）音声認識実行部１３０は、発話区間特徴ベクトルＸｋに基づいて、音声認識を実行する。音声認識の結果は、発話内容Ｔｋである。音声認識実行部１３０は、発話内容Ｔｋを発話内容履歴テーブル１４１に登録する。
　（ステップＳ１７）感情推定部１５０は、発話区間特徴ベクトルＸｋ、発話内容Ｔ１～Ｔｋ、及び感情推定結果Ｅ１～Ｅｋ－１に基づいて、発話内容Ｔｋに対応する音声信号Ａ１の音源（例えば、クライアント）の感情を推定する。感情推定部１５０は、感情推定結果Ｅｋを感情履歴テーブル１６１に登録する。そして、処理は、ステップＳ２１に進む。
　図１０は、情報処理装置が実行する処理の例を示すフローチャート（その２）である。
　（ステップＳ２１）切替判定部１７０は、自動応答システム３００が実行しているか否かを判定する。自動応答システム３００が実行している場合、処理は、ステップＳ２２に進む。オペレータ運用が実行されている場合、処理は、ステップＳ２４に進む。
　（ステップＳ２２）切替判定部１７０は、運用をオペレータ運用に切り替えるか否かを判定する。
　オペレータ運用に切り替えると判定した場合、処理は、ステップＳ２３に進む。オペレータ運用に切り替えないと判定した場合、処理は、ステップＳ２５に進む。
　（ステップＳ２３）切替判定部１７０は、運用をオペレータ運用に切り替える。
　（ステップＳ２４）出力部１８０は、クライアントの感情を示す情報と、クライアントのパーソナリティ情報をディスプレイ４０３に出力する。
　（ステップＳ２５）終了判定部１９０は、対話が終了したか否かを判定する。対話が終了した場合、処理は、終了する。対話が終了していない場合、処理は、ステップＳ１１に進む。
　次に、図を用いて、感情の推定処理を具体的に説明する。
　図１１は、感情の推定処理の具体例を示す図である。図１１は、クライアントとオペレータとが会話をしている状態を示している。
　時刻ＴＭ１のクライアントは、怒っている。怒りは、感情推定結果Ｅｋ－２とする。クライアントの発言により、オペレータは、動揺する。そして、時刻ＴＭ２のオペレータは、哀しくなる。哀しさは、感情推定結果Ｅｋ－１とする。クライアントがオペレータの発言を聞くことで、又はオペレータが哀しんでいることをクライアントが察知することで、時刻ＴＭ３のクライアントの感情は、微怒になる。情報処理装置１００は、時刻ＴＭ３のクライアントの感情が微怒であることを推定できる。以下、推定処理を具体的に説明する。
　クライアントは、時刻ＴＭ３に音声を発する。情報処理装置１００は、当該音声の信号である音声信号Ａ１を取得する。情報処理装置１００は、音声信号Ａ１に基づいて、発話区間特徴ベクトルＸｋと発話内容Ｔｋとを得る。情報処理装置１００は、発話区間特徴ベクトルＸｋ、発話内容Ｔｋ、感情推定結果Ｅｋ－２、及び感情推定結果Ｅｋ－１に基づいて、時刻ＴＭ３におけるクライアントの感情を推定する。なお、感情推定結果Ｅｋ－１は、音声信号Ａ１が取得される前に推定された感情を示す情報である。感情推定結果Ｅｋ－２は、感情推定結果Ｅｋ－１が示す感情が推定される前に推定された感情を示す情報である。情報処理装置１００の実行により得られた感情推定結果Ｅｋは、微怒を示す。また、例えば、微怒は、“Ａｎｇｅｒ：１０”と考えてもよい。
　ここで、人が、相手の感情が反映された発言を受けることで又は相手の感情を察知することで、現在の当該人の感情は、次の感情に変化する。そのため、双方の感情の履歴を考慮することで、精度の高い推定が行える。そこで、情報処理装置１００は、過去に推定されたクライアントの感情とオペレータの感情とを考慮して、現在のクライアントの感情を推定する。すなわち、情報処理装置１００は、双方の感情を考慮して、現在のクライアントの感情を推定する。情報処理装置１００は、クライアントに関する情報のみに基づいて、現在のクライアントの感情を推定しない。そのため、情報処理装置１００は、精度の高い推定を行うことができる。
　よって、実施の形態によれば、情報処理装置１００は、推定精度を高めることができる。
　また、情報処理装置１００は、発話区間特徴ベクトルＸｋ、発話内容Ｔ１～Ｔｋ（すなわち、全てのクライアントとオペレータの発話）、及び感情推定結果Ｅ１～Ｅｋ－１（すなわち、過去に推定された全ての履歴）に基づいて、現在のクライアントの感情を推定してもよい。すなわち、情報処理装置１００は、クライアントとオペレータの全ての発話と、過去に推定された全ての履歴とをさらに考慮して推定してもよい。情報処理装置１００は、多くの要素に基づいて、推定を実行することで、より精度の高い推定を行うことができる。
　１１　インタフェースアダプタ、　１２　インタフェースアダプタ、　１３　インタフェースアダプタ、　１００　情報処理装置、　１０１　プロセッサ、　１０２　揮発性記憶装置、　１０３　不揮発性記憶装置、　１０４　入出力インタフェース、　１１０，１１０ａ　取得部、　１２０，１２０ａ　検出抽出部、　１２１　特徴量抽出部、　１２２　前処理実行部、　１２３　発話区間検出部、　１３０，１３０ａ　音声認識実行部、　１４０　発話内容記憶部、　１４１　発話内容履歴テーブル、　１５０，１５０ａ　感情推定部、　１６０　感情履歴記憶部、　１６１　感情履歴テーブル、　１７０　切替判定部、　１７１　重み記憶部、　１７２　重みテーブル、　１８０　出力部、　１９０　終了判定部、　２００　携帯装置、　３００　自動応答システム、　４００　スピーカ、　４０１　マイク、　４０２　カメラ、　４０３　ディスプレイ、　５００　画面、　５１０，５２０，５３０，５３１，５３２　領域、　５４１，５４２，５４３，５４４　発話区間、　５５１，５５２　領域。

Claims (11)

  1. 　第１の音源の音声信号を取得する取得部と、
    　前記音声信号に基づいて、発話区間を検出し、前記発話区間に基づいて、前記発話区間の特徴量である発話区間特徴量を抽出する検出抽出部と、
    　前記発話区間特徴量に基づいて、音声認識を実行する音声認識実行部と、
    　前記第１の音源の過去の感情を示す情報と第２の音源の過去の感情を示す情報とを記憶する記憶部と、
    　前記発話区間特徴量、前記音声認識を実行することにより得られた発話内容、前記第１の音源の過去の感情を示す情報、及び前記第２の音源の過去の感情を示す情報に基づいて、前記第１の音源の感情を推定する感情推定部と、
    　を有する情報処理装置。
  2. 　前記記憶部は、前記第１の音源と前記第２の音源との会話が開始してから、前記第１の音源が発した発話の内容を示す第１の発話履歴と前記第２の音源が発した発話の内容を示す第２の発話履歴とをさらに記憶し、
    　前記感情推定部は、前記第１の発話履歴、前記第２の発話履歴、前記発話区間特徴量、前記音声認識を実行することにより得られた発話内容、前記第１の音源の過去の感情を示す情報、及び前記第２の音源の過去の感情を示す情報に基づいて、前記第１の音源の感情を推定する、
    　請求項１に記載の情報処理装置。
  3. 　前記第２の音源の過去の感情は、前記音声信号が取得される前に推定された感情であり、
    　前記第１の音源の過去の感情は、前記第２の音源の過去の感情が推定される前に推定された感情である、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記第１の音源の過去の感情を示す情報は、前記第１の音源と前記第２の音源との会話が開始してから、推定された前記第１の音源の感情の履歴であり、
    　前記第２の音源の過去の感情を示す情報は、前記第１の音源と前記第２の音源との会話が開始してから、推定された前記第２の音源の感情の履歴である、
    　請求項１又は２に記載の情報処理装置。
  5. 　前記取得部は、前記第１の音源のパーソナリティ情報を取得し、
    　前記感情推定部は、パーソナリティ情報と重みとの対応関係を示す重み情報を用いて学習することにより生成された学習済モデルと前記第１の音源のパーソナリティ情報とを用いて、前記第１の音源の感情を推定する、
    　請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　出力部をさらに有し、
    　前記第１の音源は、第１のユーザであり、
    　前記第２の音源は、第２のユーザであり、
    　前記感情推定部は、前記第１のユーザの感情の値である感情値を推定し、
    　前記記憶部は、前記音声信号が取得される前に前記第２のユーザが発した発話の内容であるユーザ発話内容を記憶し、
    　前記出力部は、前記感情値が予め定められた閾値以上であり、かつ前記ユーザ発話内容がネガティブな感情を生じさせる内容である場合、注意を促す情報を出力する、
    　請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　出力部をさらに有し、
    　前記第１の音源は、第１のユーザであり、
    　前記第２の音源は、第２のユーザであり、
    　前記感情推定部は、前記第１のユーザの感情の値である感情値を推定し、
    　前記記憶部は、前記音声信号が取得される前に前記第２のユーザが発した発話の内容であるユーザ発話内容を記憶し、
    　前記出力部は、前記感情値が予め定められた閾値以上であり、かつ前記ユーザ発話内容がネガティブな感情を生じさせない内容である場合、問題がない旨を示す情報を出力する、
    　請求項１から５のいずれか１項に記載の情報処理装置。
  8. 　切替判定部をさらに有し、
    　前記第１の音源は、ユーザであり、
    　前記第２の音源は、１以上の電気装置により実現される自動応答システムであり、
    　前記第１の音源の過去の感情を示す情報は、前記ユーザと前記自動応答システムとの会話が開始してから、推定された前記ユーザの感情の履歴であり、
    　前記切替判定部は、前記ユーザの感情の履歴に基づいて、予め設定された時間内に、前記ユーザの感情が変化した回数を特定し、前記回数が予め設定された閾値以上であるか否かを判定し、前記回数が前記閾値以上である場合、前記自動応答システムの運用からオペレータ運用に切り替える、
    　請求項１から５のいずれか１項に記載の情報処理装置。
  9. 　前記取得部は、前記ユーザのパーソナリティ情報を取得し、
    　前記記憶部は、パーソナリティ情報と重みとの対応関係を示す重み情報を記憶し、
    　前記切替判定部は、前記ユーザのパーソナリティ情報、前記回数、及び前記重み情報に基づいて、値を算出し、前記値が前記閾値以上である場合、前記自動応答システムの運用から前記オペレータ運用に切り替える、
    　請求項８に記載の情報処理装置。
  10. 　記憶部を有する情報処理装置が、
    　第１の音源の音声信号を取得し、
    　前記音声信号に基づいて、発話区間を検出し、
    　前記発話区間に基づいて、前記発話区間の特徴量である発話区間特徴量を抽出し、
    　前記発話区間特徴量に基づいて、音声認識を実行し、
    　前記記憶部に格納されている前記第１の音源の過去の感情を示す情報と第２の音源の過去の感情を示す情報、前記発話区間特徴量、及び前記音声認識を実行することにより得られた発話内容に基づいて、前記第１の音源の感情を推定する、
    　推定方法。
  11. 　記憶部を有する情報処理装置に、
    　第１の音源の音声信号を取得し、
    　前記音声信号に基づいて、発話区間を検出し、
    　前記発話区間に基づいて、前記発話区間の特徴量である発話区間特徴量を抽出し、
    　前記発話区間特徴量に基づいて、音声認識を実行し、
    　前記記憶部に格納されている前記第１の音源の過去の感情を示す情報と第２の音源の過去の感情を示す情報、前記発話区間特徴量、及び前記音声認識を実行することにより得られた発話内容に基づいて、前記第１の音源の感情を推定する、
    　処理を実行させる推定プログラム。
     
PCT/JP2020/032977 2020-09-01 2020-09-01 情報処理装置、推定方法、及び推定プログラム WO2022049613A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022546733A JP7162783B2 (ja) 2020-09-01 2020-09-01 情報処理装置、推定方法、及び推定プログラム
PCT/JP2020/032977 WO2022049613A1 (ja) 2020-09-01 2020-09-01 情報処理装置、推定方法、及び推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/032977 WO2022049613A1 (ja) 2020-09-01 2020-09-01 情報処理装置、推定方法、及び推定プログラム

Publications (1)

Publication Number Publication Date
WO2022049613A1 true WO2022049613A1 (ja) 2022-03-10

Family

ID=80491814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032977 WO2022049613A1 (ja) 2020-09-01 2020-09-01 情報処理装置、推定方法、及び推定プログラム

Country Status (2)

Country Link
JP (1) JP7162783B2 (ja)
WO (1) WO2022049613A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053826A (ja) * 2006-08-22 2008-03-06 Oki Electric Ind Co Ltd 電話応答システム
JP2016076117A (ja) * 2014-10-07 2016-05-12 株式会社Ｎｔｔドコモ 情報処理装置及び発話内容出力方法
JP2018169843A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2019020684A (ja) * 2017-07-21 2019-02-07 日本電信電話株式会社 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140358B2 (ja) 2017-03-21 2022-09-21 日本電気株式会社 応対業務支援システム、応対業務支援方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053826A (ja) * 2006-08-22 2008-03-06 Oki Electric Ind Co Ltd 電話応答システム
JP2016076117A (ja) * 2014-10-07 2016-05-12 株式会社Ｎｔｔドコモ 情報処理装置及び発話内容出力方法
JP2018169843A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2019020684A (ja) * 2017-07-21 2019-02-07 日本電信電話株式会社 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム

Also Published As

Publication number Publication date
JP7162783B2 (ja) 2022-10-28
JPWO2022049613A1 (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
CN111028827B (zh) 基于情绪识别的交互处理方法、装置、设备和存储介质
JP6465077B2 (ja) 音声対話装置および音声対話方法
KR101610151B1 (ko) 개인음향모델을 이용한 음성 인식장치 및 방법
JP5024154B2 (ja) 関連付け装置、関連付け方法及びコンピュータプログラム
KR100826875B1 (ko) 온라인 방식에 의한 화자 인식 방법 및 이를 위한 장치
TWI681383B (zh) 用於確定語音信號對應語言的方法、系統和非暫態電腦可讀取媒體
JP3584458B2 (ja) パターン認識装置およびパターン認識方法
US11132993B1 (en) Detecting non-verbal, audible communication conveying meaning
JP7222938B2 (ja) インタラクション装置、インタラクション方法、およびプログラム
JP2018169494A (ja) 発話意図推定装置および発話意図推定方法
CN111209380B (zh) 对话机器人的控制方法、装置、计算机设备和存储介质
CN111968645B (zh) 一种个性化的语音控制系统
JPWO2018147193A1 (ja) モデル学習装置、推定装置、それらの方法、およびプログラム
JP2019020684A (ja) 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム
JP2017010309A (ja) 意思決定支援装置および意思決定支援方法
JP3298858B2 (ja) 低複雑性スピーチ認識器の区分ベースの類似性方法
JP2022000825A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPWO2020044543A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20200100332A (ko) 화자 모델을 업데이트하는 음성 인식 장치, 방법 및 컴퓨터 프로그램
JP7160778B2 (ja) 評価システム、評価方法、及びコンピュータプログラム。
CN110853669A (zh) 音频识别方法、装置及设备
JP2018021953A (ja) 音声対話装置および音声対話方法
KR20180063341A (ko) 음성 인식 장치, 음성 강조 장치, 음성 인식 방법, 음성 강조 방법 및 네비게이션 시스템
JP2013257418A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022049613A1 (ja) 情報処理装置、推定方法、及び推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20952353

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022546733

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20952353

Country of ref document: EP

Kind code of ref document: A1