WO2020174680A1 - 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020174680A1
WO2020174680A1 PCT/JP2019/007918 JP2019007918W WO2020174680A1 WO 2020174680 A1 WO2020174680 A1 WO 2020174680A1 JP 2019007918 W JP2019007918 W JP 2019007918W WO 2020174680 A1 WO2020174680 A1 WO 2020174680A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
estimated
emotion
acoustic
emotion estimation
Prior art date
Application number
PCT/JP2019/007918
Other languages
English (en)
French (fr)
Inventor
隆行 荒川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021501512A priority Critical patent/JP7115625B2/ja
Priority to EP19917143.0A priority patent/EP3932311A4/en
Priority to CN201980092989.4A priority patent/CN113473913A/zh
Priority to US17/433,694 priority patent/US11984136B2/en
Priority to PCT/JP2019/007918 priority patent/WO2020174680A1/ja
Publication of WO2020174680A1 publication Critical patent/WO2020174680A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/75—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 for modelling vocal tract parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs

Definitions

  • the present invention relates to an emotion estimation device and an emotion estimation method for estimating emotion, and further to a computer-readable recording medium recording a program for realizing these.
  • a device that uses communication technology to estimate emotions is known. Techniques for estimating such emotions are used, for example, to facilitate conversations over the telephone, dialogues with robots, and the like.
  • Patent Document 1 estimates a user's emotion by using a voice of the user input through a microphone, an image of the facial expression of the user captured by an imaging device, or the like.
  • a device for supporting dialogue is disclosed.
  • the user's voice is further combined with the image in which the user's facial expression is captured to estimate the emotion, but the image is easily affected by lighting or the like. , After all, the accuracy of estimating emotions decreases.
  • One example of the object of the present invention is to provide an emotion estimation device, an emotion estimation method, and a computer-readable recording medium that improve the accuracy of emotion estimation.
  • an emotion estimation device is A first acoustic signal output to the ear canal and a second acoustic signal in which the first acoustic signal reverberates in the body is used to generate acoustic characteristic information indicating acoustic characteristics, and a generation unit, An estimation unit that estimates emotions using the acoustic characteristic information, It is characterized by having.
  • the emotion estimation method is (A) generating acoustic characteristic information representing acoustic characteristics by using the first acoustic signal output to the ear canal and the second acoustic signal that the first acoustic signal reverberates in the body, (B) estimating emotions using the acoustic characteristic information, It is characterized by having.
  • a computer-readable recording medium recording the program according to one aspect of the present invention, On the computer, (A) generating acoustic characteristic information representing acoustic characteristics by using the first acoustic signal output to the ear canal and the second acoustic signal that the first acoustic signal reverberates in the body, (B) estimating emotions using the acoustic characteristic information, It is characterized in that a program including an instruction to execute is recorded.
  • FIG. 1 is a diagram illustrating an example of an emotion estimation device.
  • FIG. 2 is a diagram showing an example of a system having an emotion estimation device.
  • FIG. 3 is a diagram showing an example of the resonance frequency and the spectrum shape.
  • FIG. 4 is a diagram showing an example of the data structure of the resonance frequency information and the state estimation information.
  • FIG. 5 is a diagram showing an example of a data structure of spectrum shape information and state estimation information.
  • FIG. 6 is a diagram showing an example of resonance frequencies and spectrum shapes included in the state estimation information.
  • FIG. 7 is a diagram showing an example of a data structure of state information and emotion estimation information.
  • FIG. 8 is a diagram showing an example of a data structure of emotion estimation information of the modified example.
  • FIG. 9 is a diagram illustrating an example of the operation of the emotion estimation device.
  • FIG. 10 is a diagram illustrating an example of a computer that realizes the emotion estimation device.
  • FIG. 1 is a diagram illustrating an example of an emotion estimation device.
  • the emotion estimation device shown in FIG. 1 is a device that improves the accuracy of emotion estimation. Further, as shown in FIG. 1, the emotion estimation device 1 includes a generation unit 2 and an estimation unit 3.
  • the generation unit 2 uses the acoustic signal (first acoustic signal) output to the external auditory meatus and the reverberant sound signal (second acoustic signal) reverberated in the body to determine the acoustic characteristics.
  • the acoustic characteristic information to represent is generated.
  • the estimation unit 3 estimates the emotion using the acoustic characteristic information.
  • the acoustic signal x(t) output to the external auditory meatus of the target user and the echo signal y(t) reflecting the state of the internal organs are used.
  • FIG. 2 is a diagram showing an example of a system having an emotion estimation device.
  • the system according to the present embodiment has an ear wearing device 20 and an output device 30 in addition to the emotion estimating device 1.
  • the emotion estimation device 1 also includes a test electric signal generation unit 11, an echo electric signal acquisition unit 12, and an output information generation unit 13.
  • the estimation unit 3 includes a calculation unit 14, a state estimation unit 15, and an emotion estimation unit 16.
  • the ear placement device 20 includes an inspection sound signal reproducing unit 21 and an echo sound signal recording unit 22.
  • the ear placement device 20 has an inspection sound signal reproduction unit 21 for outputting an acoustic signal to the external auditory meatus, and an echo sound signal recording unit 22 for inputting (measuring) an echo sound signal in the external auditory meatus.
  • the ear mounting device 20 is a device that is mounted on the external ear canal as shown in the cross-sectional view of the external ear (a diagram showing the auricle, external auditory meatus, and eardrum) of FIG.
  • the ear mounting device 20 may be, for example, an earphone with a microphone.
  • the configuration of the ear placement device 20 is not limited to the configuration shown in FIG. 2 and may be any configuration capable of measuring a reverberant sound signal with respect to an acoustic signal.
  • the inspection sound signal reproduction unit 21 (acoustic signal output unit) receives the electric signal corresponding to the acoustic signal generated by the inspection electric signal generation unit 11, the inspection sound signal reproduction unit 21 generates and generates the acoustic signal based on the received electric signal. Output an acoustic signal to the ear canal.
  • the inspection sound signal reproducing unit 21 may be, for example, a speaker.
  • the echo sound signal recording unit 22 (acoustic signal input unit) receives the echo sound signal corresponding to the acoustic signal output from the inspection electric signal generation unit 11, the echo sound signal recording unit 22 converts the echo sound signal into an electric signal to obtain the echo electric signal acquisition unit. Send to 12.
  • the echo signal recording unit 22 may be a microphone, for example.
  • the output device 30 acquires output information, which will be described later, converted into a format that can be output by the output information generation unit 13, and outputs the generated image and sound based on the output information.
  • the output device 30 is, for example, an image display device using a liquid crystal, an organic EL (Electro Luminescence), or a CRT (Cathode Ray Tube). Further, the image display device may include an audio output device such as a speaker.
  • the output device 30 may be a printing device such as a printer.
  • the inspection electric signal generation unit 11 generates an electric signal used for outputting an acoustic signal and transmits the electric signal to the inspection sound signal reproduction unit 21. Specifically, the inspection electrical signal generation unit 11 generates an M-sequence (Maximal Length Sequence) signal, a TSP (Time Stretched Pulse) signal, a Log-TSP signal, and the like as the electrical signal corresponding to the acoustic signal. Further, the inspection electric signal generation unit 11 transmits an electric signal corresponding to the acoustic signal to the generation unit 2.
  • M-sequence Maximal Length Sequence
  • TSP Time Stretched Pulse
  • Log-TSP Log-TSP signal
  • the acoustic signal may include a sweep signal, music, guide voice, and the like.
  • the frequency used for the acoustic signal is set according to the target organ. For example, when the vocal tract/airway is targeted, it is desirable that the frequency band of the acoustic signal is 100 [Hz] to 4 k[Hz]. However, it is not limited to this frequency band.
  • the vocal tract is, for example, a path through which the voice passes, and is a cavity in the body through which the sound emitted from the vocal cords passes before being emitted outside the body.
  • the respiratory tract (developing organ) is, for example, a path through which breath sounds pass, and is involved in external breathing, and is composed of the upper respiratory tract (nasal cavity, pharynx, larynx, etc.) and the lower respiratory tract (trachea, main bronchus, lungs, etc.)
  • the echo electric signal acquisition unit 12 receives an electric signal corresponding to the echo signal from the echo signal recording unit 22, adjusts the received electric signal, and transmits the electric signal to the generation unit 2. Specifically, the reverberation electric signal acquisition unit 12 adjusts the received electric signal using a circuit having a filter, an amplifier, etc., and transmits the adjusted electric signal to the generation unit 2.
  • the generation unit 2 uses the electric signal corresponding to the acoustic signal x(t) and the electric signal corresponding to the reverberation sound signal y(t) to generate acoustic characteristic information indicating the acoustic characteristic.
  • acoustic characteristic for example, an impulse response h(t) or a transfer function H( ⁇ ) or H(z) obtained by Fourier transform or Laplace transform of the impulse response is used.
  • the generation unit 2 first receives an electric signal corresponding to the acoustic signal x(t) from the inspection electric signal generation unit 11. Further, the generation unit 2 receives the electric signal corresponding to the echo sound signal y(t) from the echo electric signal acquisition unit 12. Then, the generation unit 2 uses the acoustic characteristic information (impulse response h(t) or transfer function H( based on each of the electric signals corresponding to the received acoustic signal x(t) and echo sound signal y(t)). ⁇ ) or H(z)).
  • acoustic characteristic information impulse response h(t) or transfer function H( based on each of the electric signals corresponding to the received acoustic signal x(t) and echo sound signal y(t).
  • the generation unit 2 stores the acoustic characteristic information in a storage unit (not shown).
  • the storage unit may be provided inside the emotion estimation device 1 or outside the emotion estimation device 1.
  • the echo signal y(t) reflects changes (changes in reflectance, attenuation rate, etc.) according to the state of the organ of the subject, the impulse response h(t) or the transfer function H( ⁇ ).
  • the echo signal includes, for example, an acoustic signal returned from the space from the head to the lungs (external ear canal and vocal tract/airway).
  • the reflectance is the rate of reflection with respect to the input
  • the attenuation rate is the rate of attenuation per unit time or unit cycle.
  • the estimation unit 3 estimates emotions using acoustic characteristic information. Specifically, the estimating unit 3 estimates the state of the vocal tract and the state of the respiratory tract using the acoustic characteristic information, and estimates the emotion using the estimated state of the vocal tract and the state of the respiratory tract. Note that the estimation unit 3 estimates at least one of at least one of mouth opening/closing, vocal chord opening/closing, articulation position, and breathing type (lung breathing, abdominal breathing, etc.) to determine the state of the vocal tract and the airway. State.
  • the estimation unit 3 (calculation unit 14, state estimation unit 15, emotion estimation unit 16) will be specifically described.
  • the calculation unit 14 uses the acoustic characteristic information to calculate resonance frequency information having information indicating a resonance frequency (frequency having a peak value in the frequency characteristic) or spectrum shape information indicating a spectrum shape.
  • FIG. 3 is a diagram showing an example of the resonance frequency and the spectrum shape.
  • FIG. 3 shows the resonance frequencies f1, f2, and f3 included in the resonance frequency information and the shape of the spectrum included in the spectrum shape information.
  • the calculation of the resonance frequency will be described.
  • the calculation unit 14 first acquires acoustic characteristic information from the generation unit 2. Subsequently, the calculation unit 14 performs spectrum analysis using the acoustic characteristics to calculate the resonance frequency regarding the subject.
  • the calculating unit 14 employs, for example, linear predictive coding (LPC) as the spectrum analysis to calculate the resonance frequency. After that, the calculation unit 14 generates resonance frequency information representing the resonance frequency and stores the generated resonance frequency information in the storage unit.
  • LPC linear predictive coding
  • the method of calculating the resonance frequency is not limited to linear predictive coding, and may be any method that can calculate the resonance frequency.
  • the calculation unit 14 first acquires acoustic characteristic information from the generation unit 2. Subsequently, the calculation unit 14 performs spectrum analysis using the acoustic characteristics to calculate a spectrum shape (spectrum envelope) regarding the subject.
  • the calculation unit 14 employs, for example, Chemistrum analysis as the spectrum analysis to calculate the spectrum shape. After that, the calculation unit 14 generates the spectrum shape information indicating the spectrum shape and stores the generated spectrum shape information in the storage unit.
  • the state estimation unit 15 estimates the state of the organ of the subject by referring to the state estimation information stored in advance using the resonance frequency information or the spectrum shape information.
  • the organ state is, for example, the state of the vocal tract or the state of the airway.
  • the state of the vocal tract can be, for example, the state of opening and closing the mouth, opening and closing the vocal cords, and the position of articulation.
  • the airway state may be, for example, the type of breathing.
  • the length of the air column changes depending on whether the vocal cords (glottis) are opened or closed. For example, the length of the air column from the mouth to the vocal cords or the length of the air column from the mouth to the lungs changes.
  • the formant frequency including the resonance frequency and the spectral shape change due to changes in the position of the tongue and teeth.
  • the size of the respiratory tract changes depending on whether it is pulmonary breathing or abdominal breathing, or pulmonary breathing (lung contraction) or abdominal breathing (diaphragm up or down).
  • the state estimation unit 15 generates state information representing the state of the organ and stores it in the storage unit.
  • the state information has, for example, information indicating the state of the vocal tract and the state of the airway.
  • the state of the vocal tract has information indicating states such as opening and closing of the mouth, opening and closing of the vocal cords, and the position of articulation.
  • the airway state has, for example, information indicating the type of breathing.
  • the state estimating unit 15 first acquires the resonance frequency information generated by the calculating unit 14. Subsequently, the state estimation unit 15 calculates the distance using the resonance frequency information and the state estimation information shown in FIG. 4, and estimates the state of the organ using the calculated distance.
  • FIG. 4 is a diagram showing an example of a data structure of resonance frequency information and state estimation information.
  • the state estimating unit 15 uses the feature amount having the resonance frequencies f1, f2,... Included in the resonance frequency information 41 to open and close the mouth included in the state estimation information 42. .. corresponding to open and characterized by the resonant frequencies F21, F22... Corresponding to closed.
  • the state estimation unit 15 selects a feature amount having a short distance, and sets the state corresponding to the selected feature amount as the mouth opening/closing state. Similarly, the state of the opening and closing of the vocal cords, the position of articulation (sounds of “a”, “e, o”, “i”, “m, n”, and “u”) and the type of breathing (pulmonary breathing, abdominal breathing) The estimation unit 15 estimates the state. Then, the state estimation unit 15 generates state information representing the state of the organ and stores it in the storage unit.
  • the state estimation unit 15 first acquires the spectrum shape information generated by the calculation unit 14. Subsequently, the state estimation unit 15 calculates the distance using the spectrum shape information and the state estimation information illustrated in FIG. 5, and estimates the state of the organ using the calculated distance.
  • FIG. 5 is a diagram showing an example of a data structure of spectrum shape information and state estimation information.
  • the state estimating unit 15 uses the feature amount having the information sp1 representing the spectral shape included in the spectrum shape information 51 as the feature to be included in the opening and closing of the mouth included in the state estimation information 52.
  • the distance between the characteristic amount having the spectral shape SP11 corresponding to the open and the characteristic amount having the spectral shape SP21 corresponding to the closed is calculated.
  • FIG. 6 is a diagram showing an example of resonance frequencies and spectrum shapes included in the state estimation information.
  • the spectral shapes shown in A and B of FIG. 6 correspond to the spectral shapes SP11 and SP12 shown in FIG. 5, for example.
  • the state estimation unit 15 selects a state corresponding to a feature amount having a short distance and sets the mouth open/closed state. Similarly, the state of the opening and closing of the vocal cords, the position of articulation (sounds of “a”, “e, o”, “i”, “m, n”, and “u”) and the type of breathing (pulmonary breathing, abdominal breathing) The estimation unit 15 estimates the state. Then, the state estimation unit 15 generates state information representing the state of the organ and stores it in the storage unit.
  • the emotion estimation unit 16 estimates an emotion using the estimated vocal tract state and airway state. Specifically, the emotion estimation unit 16 first acquires the state information from the state estimation unit 15. Subsequently, the emotion estimation unit 16 estimates the emotion by referring to the emotion estimation information using the state information. After that, the emotion estimation unit 16 transmits information indicating the estimated emotion to the output information generation unit 13.
  • FIG. 7 is a diagram showing an example of a data structure of state information and emotion estimation information.
  • the state information 71 includes information about mouth opening/closing, vocal cord opening/closing, articulation position, airway state, and breathing type
  • the emotion estimation information 72 refers to the emotion estimation information 72.
  • “joy” is selected as the emotion.
  • the emotion estimation unit 16 may estimate a function or emotion generated by using multivariate analysis such as principal component analysis or multiple regression analysis.
  • each information included in the state information is a variable
  • each emotion is a principal component (composite variable)
  • the compound variable includes as much information amount (variance) of the original variable as possible.
  • each information included in the state information is used as an explanatory variable and each emotion is used as a target variable to generate a regression formula. Then, the emotion estimation unit 16 estimates the emotion using the generated regression equation.
  • the emotion estimating unit 16 may estimate the emotion using SVM (Support Vector Machine). Specifically, a learning model for identifying emotions is applied to the emotion estimation unit 16, and state information is used as an input to estimate emotions. For example, the estimated mouth opening/closing, vocal cord opening/closing, articulation position, airway state, breathing type, etc. are input to the learning model to estimate emotions.
  • SVM Serial Vector Machine
  • the learning model is generated by learning in advance using supervised data in the learning phase.
  • a learning model generated based on machine learning other than SVM may be applied to the emotion estimation unit 16.
  • machine learning other than SVM it is possible to use a neural network or a decision tree.
  • the estimation unit 3 estimates the vocal tract state and the respiratory tract state using the acoustic characteristic information, and estimates the facial expression of the target person using the estimated vocal tract state and the respiratory tract state. Good. In that case, as shown in FIG. 8, facial expressions such as “true face” are added.
  • FIG. 8 is a diagram showing an example of a data structure of emotion estimation information of the modified example.
  • the output information generation unit 13 acquires the information indicating the emotion from the emotion estimation unit 16
  • the output information generation unit 13 generates the output information based on the information and transmits the output information to the output device 30.
  • the output device 30 outputs the emotion of the target person based on the output information.
  • FIG. 9 is a diagram illustrating an example of the operation of the emotion estimation device.
  • FIGS. 2 to 8 will be referred to as appropriate.
  • the emotion estimation method is implemented by operating the emotion estimation device. Therefore, the description of the emotion estimation method according to the present embodiment will replace the following description of the operation of the emotion estimation device.
  • the inspection sound signal reproduction unit 21 when the inspection sound signal reproduction unit 21 first receives an electric signal corresponding to the acoustic signal generated by the inspection electric signal generation unit 11, the inspection sound signal reproduction unit 21 generates an acoustic signal based on the received electric signal. Then, the generated acoustic signal is output to the ear canal (step A1).
  • the echo sound signal recording unit 22 inputs (measures) the echo sound signal with respect to the acoustic signal output from the inspection electrical signal generation unit 11 (step A2). Then, the echo sound signal recording unit 22 converts the received echo sound signal into an electric signal and transmits the electric signal to the echo electric signal acquisition unit 12.
  • the generation unit 2 generates acoustic characteristic information indicating acoustic characteristics using the electric signal corresponding to the acoustic signal x(t) and the electric signal corresponding to the reverberation sound signal y(t) (step).
  • acoustic characteristic for example, an impulse response h(t) or a transfer function H( ⁇ ) or H(z) obtained by Fourier transform or Laplace transform of the impulse response is used.
  • step A3 the generation unit 2 first receives an electric signal corresponding to the acoustic signal x(t) from the inspection electric signal generation unit 11. Further, the generation unit 2 receives the electric signal corresponding to the echo sound signal y(t) from the echo electric signal acquisition unit 12.
  • step A3 the generation unit 2 uses the acoustic characteristic information (impulse response h(t) or impulse response h(t) or the acoustic response information based on the electric signals corresponding to the received acoustic signal x(t) and echo sound signal y(t), respectively.
  • a transfer function H( ⁇ ) or H(z), etc. the generation unit 2 stores the acoustic characteristic information in a storage unit (not shown).
  • the calculation unit 14 calculates the resonance frequency information indicating the resonance frequency or the spectrum shape information indicating the spectrum shape using the acoustic characteristic information (step A4).
  • step A4 The calculation of the resonance frequency in step A4 will be described.
  • the calculation unit 14 first acquires acoustic characteristic information from the generation unit 2. Subsequently, the calculation unit 14 performs spectrum analysis using the acoustic characteristics to calculate the resonance frequency of the subject.
  • the calculating unit 14 employs, for example, linear predictive coding (LPC) as the spectrum analysis to calculate the resonance frequency. Then, in step A4, the calculation unit 14 generates resonance frequency information representing the resonance frequency and stores the generated resonance frequency information in the storage unit.
  • LPC linear predictive coding
  • step A4 The calculation of the spectrum shape in step A4 will be described.
  • the calculation unit 14 first acquires acoustic characteristic information from the generation unit 2. Subsequently, the calculation unit 14 performs spectrum analysis using the acoustic characteristics to calculate a spectrum shape (spectrum envelope) regarding the subject.
  • the calculating unit 14 employs, for example, Chemistrum analysis as the spectrum analysis to calculate the spectrum shape. Then, in step A4, the calculation unit 14 generates spectrum shape information indicating the spectrum shape, and stores the generated spectrum shape information in the storage unit.
  • the state estimating unit 15 estimates the state of the organ of the subject using the generated resonance frequency information or spectrum shape information (step A5). Specifically, in step A5, the state estimation unit 15 first acquires the generated resonance frequency information or spectrum shape information.
  • step A5 the state estimation unit 15 estimates the state of the organ of the subject by referring to the state estimation information stored in advance using the resonance frequency information or the spectrum shape information.
  • the state estimation unit 15 generates state information representing the state of the organ and stores it in the storage unit.
  • the state information has, for example, information indicating the state of the vocal tract and the state of the airway.
  • the state of the vocal tract has information indicating states such as opening and closing of the mouth, opening and closing of the vocal cords, and the position of articulation.
  • the airway state has, for example, information indicating the type of breathing.
  • step A5 the state estimation unit 15 first acquires the resonance frequency information generated by the calculation unit 14. Then, in step A5, the state estimation unit 15 calculates the distance using the resonance frequency information and the state estimation information shown in FIG. 4, and estimates the state of the organ using the calculated distance.
  • the state estimating unit 15 uses the feature amount having the resonance frequencies f1, f2... .. corresponding to open and characterized by the resonant frequencies F21, F22,... Corresponding to closed.
  • the state estimation unit 15 selects a feature amount having a short distance and sets the state corresponding to the selected feature amount as the mouth opening/closing state. Similarly, the state of the opening and closing of the vocal cords, the position of articulation (sounds of “a”, “e, o”, “i”, “m, n”, and “u”) and the type of breathing (pulmonary breathing, abdominal breathing) The estimation unit 15 estimates the state. Then, the state estimation unit 15 generates state information representing the state of the organ and stores it in the storage unit.
  • step 5 the state estimating unit 15 first acquires the spectrum shape information generated by the calculating unit 14. Then, in step 5, the state estimation unit 15 calculates the distance using the spectrum shape information and the state estimation information shown in FIG. 5, and estimates the state of the organ using the calculated distance.
  • the state estimating unit 15 uses the feature amount having the information sp1 representing the spectral shape included in the spectrum shape information 51 as the feature to be included in the opening and closing of the mouth included in the state estimation information 52.
  • the distance between the characteristic amount having the spectral shape SP11 corresponding to the open and the characteristic amount having the spectral shape SP21 corresponding to the closed is calculated.
  • the state estimation unit 15 selects the state corresponding to the feature amount having a short distance to make the mouth open/closed. Similarly, the state of the opening and closing of the vocal cords, the position of articulation (sounds of “a”, “e, o”, “i”, “m, n”, and “u”) and the type of breathing (pulmonary breathing, abdominal breathing) The estimation unit 15 estimates the state. Then, the state estimation unit 15 generates state information representing the state of the organ and stores it in the storage unit.
  • the emotion estimation unit 16 estimates an emotion using the estimated vocal tract state and airway state (step A6). Specifically, in step A6, the emotion estimation unit 16 first acquires the state information from the state estimation unit 15. Subsequently, in step A6, the emotion estimation unit 16 estimates the emotion by referring to the emotion estimation information using the state information. Then, in step A6, the state estimation unit 15 transmits the information representing the estimated emotion to the output information generation unit 13.
  • the state information 71 includes information about mouth opening/closing, vocal cord opening/closing, articulation position, airway state, and breathing type
  • the emotion estimation information 72 refers to the emotion estimation information 72.
  • “joy” is selected as the emotion.
  • the emotion estimation unit 16 may estimate a function or emotion generated by using a multivariate analysis such as a principal component analysis or a multiple regression analysis.
  • the emotion estimation unit 16 may estimate the emotion using SVM. Specifically, a learning model for identifying emotions is applied to the emotion estimation unit 16, and state information is used as an input to estimate emotions. For example, the estimated mouth opening/closing, vocal cord opening/closing, articulation position, airway state, breathing type, etc. are input to the learning model to estimate emotions.
  • the learning model is generated by learning in advance using supervised data in the learning phase.
  • a learning model generated based on machine learning other than SVM may be applied to the emotion estimation unit 16.
  • machine learning other than SVM it is possible to use a neural network or a decision tree.
  • step A6 the estimation unit 3 estimates the state of the vocal tract and the state of the airway using the acoustic characteristic information, and uses the estimated state of the vocal tract and the state of the airway to estimate the face of the subject.
  • the facial expression may be estimated. In that case, as shown in FIG. 8, facial expressions such as “true face” are added.
  • the output information generation unit 13 acquires the information indicating the emotion from the emotion estimation unit 16
  • the output information generation unit 13 generates the output information based on the information (step A7).
  • the output information generation unit 13 transmits the output information to the output device 30.
  • the output device 30 outputs the emotion of the target person based on the output information (step A8).
  • the acoustic signal x(t) output to the external auditory meatus of the target user and the reverberant sound signal y(t) reflecting the state of the internal organs are used. Then, it is generated using acoustic characteristic information such as impulse response h(t) or transfer function H(z). Therefore, the states of the organs in the body can be estimated from the acoustic characteristic information, so that the emotions of the target person can be accurately estimated by using the states of these organs.
  • smooth communication can be realized in a conversation via a telephone, a conversation with a robot, or the like.
  • the program according to the embodiment of the present invention may be any program that causes a computer to execute steps A1 to A8 shown in FIG.
  • the emotion estimation device and the emotion estimation method according to the present embodiment can be realized by installing and executing this program on a computer.
  • the processor of the computer functions as the generation unit 2, the estimation unit 3 (the calculation unit 14, the state estimation unit 15, the emotion estimation unit 16) and the output information generation unit 13 to perform processing.
  • each computer may function as any one of the generation unit 2, the estimation unit 3 (calculation unit 14, state estimation unit 15, emotion estimation unit 16) and the output information generation unit 13.
  • FIG. 10 is a block diagram showing an example of a computer that realizes the emotion estimation device according to the exemplary embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader/writer 116, and a communication interface 117. These respective units are connected to each other via a bus 121 so as to be capable of data communication.
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the CPU 111 expands the program (code) according to the present embodiment stored in the storage device 113 into the main memory 112 and executes these in a predetermined order to perform various calculations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader/writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads programs from the recording medium 120, and writes processing results in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as a flexible disk, or a CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) can be given.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic recording media such as a flexible disk
  • CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) can be given.
  • the emotion estimation device 1 can be realized not by using a computer in which a program is installed but by using hardware corresponding to each unit. Further, the emotion estimation device 1 may be partially realized by a program and the remaining part may be realized by hardware.
  • a first acoustic signal output to the ear canal and a second acoustic signal in which the first acoustic signal reverberates in the body is used to generate acoustic characteristic information indicating acoustic characteristics, and a generation unit,
  • An estimation unit that estimates emotions using the acoustic characteristic information An emotion estimation device comprising:
  • Appendix 2 The emotion estimation device according to appendix 1, The estimating unit estimates the state of the vocal tract and the state of the respiratory tract using the acoustic characteristic information, and estimates the emotion using the estimated state of the vocal tract and the state of the respiratory tract. Estimator.
  • the emotion estimation device (Appendix 4) The emotion estimation device according to attachment 2 or 3, The estimation unit estimates at least one of at least one of opening and closing of mouth, opening and closing of vocal cord, position of articulation, and type of breath, and sets the state of the vocal tract and the state of the airway. Emotion estimation device.
  • the emotion estimation device uses the acoustic characteristic information to generate resonance frequency information indicating a resonance frequency or spectrum shape information indicating a spectrum shape, and the generated resonance frequency information or the spectrum shape information, An emotion estimation device that estimates the state of the vocal tract and the state of the airway.
  • An emotion estimation method comprising:
  • the present invention is useful in fields requiring voice profiling and the like. Specifically, it is useful in fields such as telephone conversation, dialogue with robots, criminal investigation, marketing, and medical care.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Otolaryngology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Prostheses (AREA)
  • Toys (AREA)

Abstract

感情推定装置１は、外耳道に出力された第一の音響信号と、第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成部２と、音響特性情報を用いて、感情を推定する、推定部３と、を有する。

Description

感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、感情を推定する感情推定装置、感情推定方法に関し、更には、これらを実現するためのプログラムを記録しているコンピュータ読み取り可能な記録媒体に関する。
　感情を推定する技術を用いて、コミュニケーションを円滑にする装置が知られている。そのような感情を推定する技術は、例えば、電話による会話、ロボットとの対話などを円滑に行うために用いられている。
　関連する技術として、特許文献１には、マイクロホンを介して入力された利用者の音声、撮像装置を用いて撮像した利用者の表情が撮像された画像などを用いて、利用者の感情を推定し、対話を支援する装置が開示されている。
特開２００６－０７１９３６号公報
　しかしながら、上述した特許文献１に開示された装置では、マイクロホンを用いて利用者の音声が入力されるため、環境音などノイズの影響を音声が受けやすい。そのため、感情を推定する精度が低下する。
　そこで、特許文献１に開示された装置では、更に、利用者の音声に、利用者の表情が撮像された画像を組み合わせて感情を推定しているが、画像は照明の影響などを受けやすいため、やはり感情を推定する精度が低下する。
　本発明の目的の一例は、感情を推定する精度を向上させる、感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における感情推定装置は、
　外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成部と、
　前記音響特性情報を用いて、感情を推定する、推定部と、
　を有することを特徴とする。
　また、上記目的を達成するため、本発明の一側面における感情推定方法は、
（ａ）外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
（ｂ）前記音響特性情報を用いて、感情を推定する、ステップと、
　を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるプログラムを記録したコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
（ａ）外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
（ｂ）前記音響特性情報を用いて、感情を推定する、ステップと、
　を実行させる命令を含むプログラムを記録していることを特徴とする。
　以上のように本発明によれば、感情を推定する精度を向上させることができる。
図１は、感情推定装置の一例を示す図である。 図２は、感情推定装置を有するシステムの一例を示す図である。 図３は、共鳴周波数とスペクトル形状の一例を示す図である。 図４は、共鳴周波数情報と状態推定情報のデータ構造の一例を示す図である。 図５は、スペクトル形状情報と状態推定情報のデータ構造の一例を示す図である。 図６は、状態推定情報に含まれる共鳴周波数とスペクトル形状の一例を示す図である。 図７は、状態情報と感情推定情報のデータ構造の一例を示す図である。 図８は、変形例の感情推定情報のデータ構造の一例を示す図である。 図９は、感情推定装置の動作の一例を示す図である。 図１０は、感情推定装置を実現するコンピュータの一例を示す図である。
（実施の形態）
　以下、本発明の実施の形態について、図１から図１０を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施の形態における感情推定装置１の構成について説明する。図１は、感情推定装置の一例を示す図である。
　図１に示す感情推定装置は、感情を推定する精度を向上させる装置である。また、図１に示すように、感情推定装置１は、生成部２と、推定部３とを有する。
　このうち、生成部２は、外耳道に出力された音響信号（第一の音響信号）と、当該音響信号が体内で反響した反響音信号（第二の音響信号）とを用いて、音響特性を表す音響特性情報を生成する。推定部３は、音響特性情報を用いて、感情を推定する。
　このように、本実施の形態においては、対象となる利用者の外耳道に出力された音響信号ｘ（ｔ）と、体内の器官の状態が反映された反響音信号ｙ（ｔ）とを用いて、インパルス応答ｈ（ｔ）又は伝達関数Ｈ（ω）又はＨ（ｚ）などの音響特性情報を用いて生成する。そのため、音響特性情報から体内の器官の状態を推定できるので、対象者の感情を精度よく推定することができる。
［システム構成］
　続いて、図２を用いて、本実施の形態における感情推定装置１の構成をより具体的に説明する。図２は、感情推定装置を有するシステムの一例を示す図である。
　図２に示すように、本実施の形態におけるシステムは、感情推定装置１に加え、耳装着装置２０、出力装置３０を有する。また、感情推定装置１は、生成部２と、推定部３に加え、検査電気信号生成部１１、反響電気信号取得部１２、出力情報生成部１３を有する。更に、推定部３は、算出部１４、状態推定部１５、感情推定部１６を有する。耳装着装置２０は、検査音信号再生部２１、反響音信号録音部２２を有する。
　耳装着装置２０は、外耳道に音響信号を出力するための検査音信号再生部２１と、外耳道において反響音信号を入力（計測）する反響音信号録音部２２とを有している。具体的には、耳装着装置２０は、図２の外耳の断面図（耳介、外耳道、鼓膜を示す図）に示すように、外耳道に装着して用いる装置である。耳装着装置２０としては、例えば、マイクロホン付のイヤホンなどが考えられる。
　なお、耳装着装置２０の構成は、図２に示した構成に限定されるものではなく、音響信号に対する反響音信号を計測できる構成であればよい。
　検査音信号再生部２１（音響信号出力部）は、検査電気信号生成部１１で生成された音響信号に対応する電気信号を受信すると、受信した電気信号に基づいて音響信号を生成し、生成した音響信号を外耳道に出力する。なお、検査音信号再生部２１は、例えば、スピーカなどが考えられる。
　反響音信号録音部２２（音響信号入力部）は、検査電気信号生成部１１から出力された音響信号に対する反響音信号を受信すると、反響音信号を、電気信号に変換して反響電気信号取得部１２へ送信する。なお、反響音信号録音部２２は、例えば、マイクロホンなどが考えられる。
　出力装置３０は、出力情報生成部１３により、出力可能な形式に変換された、後述する出力情報を取得し、その出力情報に基づいて、生成した画像及び音声などを出力する。出力装置３０は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置などである。更に、画像表示装置は、スピーカなどの音声出力装置などを備えていてもよい。なお、出力装置３０は、プリンタなどの印刷装置でもよい。
　検査電気信号生成部１１は、音響信号を出力するために用いる電気信号を生成し、検査音信号再生部２１へ送信する。具体的には、検査電気信号生成部１１は、音響信号に対応する電気信号として、Ｍ系列（Maximal Length Sequence）信号、ＴＳＰ（Time Stretched Pulse）信号、Ｌｏｇ－ＴＳＰ信号などを生成する。また、検査電気信号生成部１１は、音響信号に対応する電気信号を生成部２へ送信する。
　なお、音響信号には、スイープ信号、音楽、ガイド音声などを含めてもよい。また、音響信号で用いる周波数は、対象とする器官に応じて設定する。例えば、声道・気道などを対象とする場合には、音響信号の周波数帯は１００［Ｈｚ］から４ｋ［Ｈｚ］とすることが望ましい。ただし、この周波数帯に限定されるものではない。
　ここで、声道（構音器官）とは、例えば、声の通る道で、声帯より発せられた音が、体外に放出されるまでの間に通過してくる、体内の空洞である。気道（発生器官）は、例えば、呼吸音の通る道で、外呼吸に関与し、上気道（鼻腔、咽頭、喉頭など）と下気道（気管、主気管支、肺など）から構成される
　反響電気信号取得部１２は、反響音信号に対応する電気信号を反響音信号録音部２２から受信し、受信した電気信号を調整して、生成部２へ送信する。具体的には、反響電気信号取得部１２は、受信した電気信号をフィルタ、増幅器などを有する回路を用いて調整をし、調整した電気信号を生成部２へ送信する。
　生成部２は、音響信号ｘ（ｔ）に対応する電気信号と、反響音信号ｙ（ｔ）に対応する電気信号とを用いて、音響特性を表す音響特性情報を生成する。音響特性としては、例えば、インパルス応答ｈ（ｔ）、又はインパルス応答をフーリエ変換又はラプラス変換した伝達関数Ｈ（ω）又はＨ（ｚ）などを用いる。
　具体的には、生成部２は、まず、検査電気信号生成部１１から音響信号ｘ（ｔ）に対応する電気信号を受信する。また、生成部２は、反響電気信号取得部１２から反響音信号ｙ（ｔ）に対応する電気信号を受信する。続いて、生成部２は、受信した音響信号ｘ（ｔ）と反響音信号ｙ（ｔ）とに対応する電気信号それぞれに基づいて、音響特性情報（インパルス応答ｈ（ｔ）又は伝達関数Ｈ（ω）又はＨ（ｚ）など）を生成する。
　続いて、生成部２は、音響特性情報を不図示の記憶部に記憶する。なお、記憶部は、感情推定装置１の内部に設けてもよいし、外部に設けてもよい。
　反響音信号ｙ（ｔ）には、対象者の器官の状態に応じた変化（反射率・減衰率などの変化）が反映されているので、インパルス応答ｈ（ｔ）又は伝達関数Ｈ（ω）又はＨ（ｚ）などの音響特性情報を生成することで、体内の器官の状態に関連する情報を抽出できる。また、反響音信号には、例えば、頭部から肺にかけての空間（外耳道及び声道・気道）から戻ってきた音響信号が含まれる。なお、反射率は、入力に対して反射した割合であり、減衰率は、単位時間もしくは単位周期に減衰する割合である。
　推定部３は、音響特性情報を用いて感情を推定する。具体的には、推定部３は、音響特性情報を用いて、声道の状態、気道の状態を推定し、推定した声道の状態、気道の状態を用いて感情を推定する。なお、推定部３は、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類（肺呼吸、腹式呼吸など）のいずれか一つ以上の状態を推定し、声道の状態、気道の状態とする。
　推定部３（算出部１４、状態推定部１５、感情推定部１６）について具体的に説明する。
　算出部１４は、音響特性情報を用いて、共鳴周波数（周波数特性におけるピーク値をとる周波数）を表す情報を有する共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を算出する。
　図３は、共鳴周波数とスペクトル形状の一例を示す図である。図３は、共鳴周波数情報に含まれる共鳴周波数ｆ１、ｆ２、ｆ３と、スペクトル形状情報に含まれるスペクトルの形状を示している。
　共鳴周波数の算出について説明する。
　算出部１４は、まず、生成部２から音響特性情報を取得する。続いて、算出部１４は、音響特性を用いてスペクトル分析をして、対象者に関する共鳴周波数を算出する。算出部１４は、例えば、スペクトル分析として線形予測符号化（ＬＰＣ：Linear Predictive Coding）などを採用して、共鳴周波数を算出する。その後、算出部１４は、共鳴周波数を表す共鳴周波数情報を生成して、生成した共鳴周波数情報を記憶部に記憶する。なお、共鳴周波数の算出方法は、線形予測符号化に限定されず、共鳴周波数が算出できる方法であればよい。
　スペクトル形状の算出について説明する。
　算出部１４は、まず、生成部２から音響特性情報を取得する。続いて、算出部１４は、音響特性を用いてスペクトル分析をして、対象者に関するスペクトル形状（スペクトル包絡）を算出する。算出部１４は、例えば、スペクトル分析としてケムストラム分析などを採用して、スペクトル形状を算出する。その後、算出部１４は、スペクトル形状を表すスペクトル形状情報を生成して、生成したスペクトル形状情報を記憶部に記憶する。
　状態推定部１５は、生成した共鳴周波数情報、又はスペクトル形状情報を用いて、対象者の器官の状態を推定する。具体的には、状態推定部１５は、まず、生成した共鳴周波数情報、又はスペクトル形状情報を取得する。
　続いて、状態推定部１５は、共鳴周波数情報、又はスペクトル形状情報を用いて、あらかじめ記憶されている状態推定情報を参照して、対象者の器官の状態を推定する。器官の状態は、例えば、声道の状態、気道の状態などである。
　なお、声道の状態は、例えば、口の開閉、声帯の開閉、構音の位置などの状態が考えられる。気道の状態は、例えば、呼吸の種類が考えられる。
　口の開閉においては、口が開いている場合、口内の圧力が下がるため、低周波の音圧が下がる。また、口の開閉により気柱管共鳴モデルにおける開端・閉端が変化するので、共鳴周波数が変化する。
　声帯の開閉においては、声帯（声門）の開閉によって気柱の長さが変化する。例えば、口から声帯までの気柱の長さ、又は口から肺までの気柱の長さが変化する。
　構音の位置においては、舌や歯の位置の変化により、共鳴周波数を含むフォルマント周波数、スペクトル形状が変化する。
　呼吸の種類においては、肺呼吸、腹式呼吸かにより、肺呼吸（肺が収縮）、腹式呼吸（横隔膜が上下）により、気道の大きさが変化する。
　続いて、状態推定部１５は、器官の状態を表す状態情報を生成して、記憶部に記憶する。状態情報は、例えば、声道の状態、気道の状態を表す情報を有している。声道の状態には、例えば、口の開閉、声帯の開閉、構音の位置などの状態を表す情報を有している。また、気道の状態は、例えば、呼吸の種類を表す情報を有している。
　共鳴周波数を用いた場合について説明する。
　状態推定部１５は、まず、算出部１４が生成した共鳴周波数情報を取得する。続いて、状態推定部１５は、図４に示す共鳴周波数情報と状態推定情報とを用いて距離を算出し、算出した距離を用いて器官の状態を推定する。
　図４は、共鳴周波数情報と状態推定情報のデータ構造の一例を示す図である。例えば、口の開閉を推定する場合、状態推定部１５は、共鳴周波数情報４１に含まれる共鳴周波数ｆ１、ｆ２・・・を特徴とする特徴量を用いて、状態推定情報４２が有する口の開閉に含まれる開に対応する共鳴周波数Ｆ１１、Ｆ１２・・・を特徴とする特徴量と、閉に対応する共鳴周波数Ｆ２１、Ｆ２２・・・を特徴とする特徴量との距離をそれぞれ算出する。
　また、状態推定部１５は、距離が近い特徴量を選択し、選択した特徴量に対応する状態を口の開閉状態とする。同様に、声帯の開閉、構音の位置（「ａ」「ｅ、ｏ」「ｉ」「ｍ、ｎ」「ｕ」の音など）、呼吸の種類（肺呼吸、腹式呼吸）についても、状態推定部１５は状態を推定する。続いて、状態推定部１５は、器官の状態を表す状態情報を生成して、記憶部に記憶する。
　スペクトル形状を用いた場合について説明する。
　状態推定部１５は、まず、算出部１４が生成したスペクトル形状情報を取得する。続いて、状態推定部１５は、図５に示すスペクトル形状情報と状態推定情報とを用いて距離を算出し、算出した距離を用いて器官の状態を推定する。
　図５は、スペクトル形状情報と状態推定情報のデータ構造の一例を示す図である。例えば、口の開閉を推定する場合、状態推定部１５は、スペクトル形状情報５１に含まれるスペクトル形状を表す情報ｓｐ１を特徴とする特徴量を用いて、状態推定情報５２が有する口の開閉に含まれる開に対応するスペクトル形状ＳＰ１１を特徴とする特徴量と、閉に対応するスペクトル形状ＳＰ２１を特徴とする特徴量との距離をそれぞれ算出する。
　図６は、状態推定情報に含まれる共鳴周波数とスペクトル形状の一例を示す図である。図６のＡ、Ｂに示すスペクトル形状は、例えば、図５に示すスペクトル形状ＳＰ１１、ＳＰ１２に対応する。
　その後、状態推定部１５は、距離が近い特徴量に対応する状態を選択して、口の開閉状態とする。同様に、声帯の開閉、構音の位置（「ａ」「ｅ、ｏ」「ｉ」「ｍ、ｎ」「ｕ」の音など）、呼吸の種類（肺呼吸、腹式呼吸）についても、状態推定部１５は状態を推定する。続いて、状態推定部１５は、器官の状態を表す状態情報を生成して、記憶部に記憶する。
　感情推定部１６は、推定した声道の状態、気道の状態を用いて感情を推定する。具体的には、感情推定部１６は、まず、状態推定部１５から状態情報を取得する。続いて、感情推定部１６は、状態情報を用いて、感情推定情報を参照し、感情を推定する。その後、感情推定部１６は、推定した感情を表す情報を出力情報生成部１３に送信する。
　図７は、状態情報と感情推定情報のデータ構造の一例を示す図である。例えば、図７に示すように状態情報７１が、口の開閉、声帯の開閉、構音の位置、気道の状態、呼吸の種類についての情報を有している場合、感情推定情報７２を参照して、感情を選択する。図７の例では、感情として「喜び」が選択される。
　また、感情推定部１６は、主成分分析又は重回帰分析などの多変量解析を用いて生成した関数、感情を推定してもよい。
　主成分分析の場合、例えば、状態情報が有する情報それぞれを変数とし、感情それぞれを主成分（合成変数）とし、合成変数ができるだけ多く元の変数の情報量（分散）を含むように決められた重み付を用いて関数を生成する。そして、感情推定部１６は、生成した関数を用いて感情を推定する。
　重回帰分析の場合、例えば、状態情報が有する情報それぞれを説明変数とし、感情それぞれを目的変数として回帰式を生成する。そして、感情推定部１６は、生成した回帰式を用いて感情を推定する。
　更に、感情推定部１６は、ＳＶＭ（Support Vector Machine）を用いて、感情を推定してもよい。具体的には、感情推定部１６に、感情を識別する学習モデルを適用し、状態情報を入力として感情を推定する。例えば、推定した口の開閉、声帯の開閉、構音の位置、気道の状態、呼吸の種類などを、学習モデルに入力して、感情を推定する。
　なお、学習モデルは、学習フェーズにおいて、教師ありデータを用いて、あらかじめ学習をして生成する。
　また、ＳＶＭ以外の機械学習に基づいて生成した学習モデルを感情推定部１６に適用してもよい。例えば、ＳＶＭ以外の機械学習としては、ニューラルネットワーク、決定木を用いることが考えられる。
　更に、推定部３は、音響特性情報を用いて、声道の状態、気道の状態を推定し、推定した声道の状態、気道の状態を用いて、対象者の顔の表情を推定してもよい。その場合、図８に示すように、「真顔」などの顔の表情を追加する。図８は、変形例の感情推定情報のデータ構造の一例を示す図である。
　出力情報生成部１３は、感情推定部１６から感情を表す情報を取得すると、当該情報に基づいて出力情報を生成して、出力情報を出力装置３０へ送信する。出力装置３０は、出力情報に基づいて、対象者の感情を出力する。
［装置動作］
　次に、本発明の実施の形態における感情推定装置の動作について図９を用いて説明する。図９は、感情推定装置の動作の一例を示す図である。以下の説明においては、適宜図２から図８を参照する。また、本実施の形態では、感情推定装置を動作させることによって、感情推定方法が実施される。よって、本実施の形態における感情推定方法の説明は、以下の感情推定装置の動作説明に代える。
　図９に示すように、最初に、検査音信号再生部２１は、検査電気信号生成部１１で生成された音響信号に対応する電気信号を受信すると、受信した電気信号に基づいて音響信号を生成し、生成した音響信号を外耳道に出力する（ステップＡ１）。
　続いて、反響音信号録音部２２は、検査電気信号生成部１１から出力された音響信号に対する反響音信号を入力（計測）する（ステップＡ２）。その後、反響音信号録音部２２は、受信した反響音信号を、電気信号に変換して反響電気信号取得部１２へ送信する。
　続いて、生成部２は、音響信号ｘ（ｔ）に対応する電気信号と、反響音信号ｙ（ｔ）に対応する電気信号とを用いて、音響特性を表す音響特性情報を生成する（ステップＡ３）。音響特性としては、例えば、インパルス応答ｈ（ｔ）、又はインパルス応答をフーリエ変換又はラプラス変換した伝達関数Ｈ（ω）又はＨ（ｚ）などを用いる。
　具体的には、ステップＡ３において、生成部２は、まず、検査電気信号生成部１１から音響信号ｘ（ｔ）に対応する電気信号を受信する。また、生成部２は、反響電気信号取得部１２から反響音信号ｙ（ｔ）に対応する電気信号を受信する。
　続いて、ステップＡ３において、生成部２は、受信した音響信号ｘ（ｔ）と反響音信号ｙ（ｔ）とに対応する電気信号それぞれに基づいて、音響特性情報（インパルス応答ｈ（ｔ）又は伝達関数Ｈ（ω）又はＨ（ｚ）など）を生成する。そして、ステップＡ３において、生成部２は、音響特性情報を不図示の記憶部に記憶する。
　続いて、算出部１４は、音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を算出する（ステップＡ４）。
　ステップＡ４における共鳴周波数の算出について説明する。
　ステップＡ４において、算出部１４は、まず、生成部２から音響特性情報を取得する。続いて、算出部１４は、音響特性を用いてスペクトル分析をして、対象者に関する共鳴周波数を算出する。算出部１４は、例えば、スペクトル分析として線形予測符号化（ＬＰＣ：Linear Predictive Coding）などを採用して、共鳴周波数を算出する。その後、ステップＡ４において、算出部１４は、共鳴周波数を表す共鳴周波数情報を生成して、生成した共鳴周波数情報を記憶部に記憶する。
　ステップＡ４におけるスペクトル形状の算出について説明する。
　ステップＡ４において、算出部１４は、まず、生成部２から音響特性情報を取得する。続いて、算出部１４は、音響特性を用いてスペクトル分析をして、対象者に関するスペクトル形状（スペクトル包絡）を算出する。算出部１４は、例えば、スペクトル分析としてケムストラム分析などを採用して、スペクトル形状を算出する。その後、ステップＡ４において、算出部１４は、スペクトル形状を表すスペクトル形状情報を生成して、生成したスペクトル形状情報を記憶部に記憶する。
　続いて、状態推定部１５は、生成した共鳴周波数情報、又はスペクトル形状情報を用いて、対象者の器官の状態を推定する（ステップＡ５）。具体的には、ステップＡ５において、状態推定部１５は、まず、生成した共鳴周波数情報、又はスペクトル形状情報を取得する。
　続いて、ステップＡ５において、状態推定部１５は、共鳴周波数情報、又はスペクトル形状情報を用いて、あらかじめ記憶されている状態推定情報を参照して、対象者の器官の状態を推定する。
　続いて、ステップＡ５において、状態推定部１５は、器官の状態を表す状態情報を生成して、記憶部に記憶する。状態情報は、例えば、声道の状態、気道の状態を表す情報を有している。声道の状態には、例えば、口の開閉、声帯の開閉、構音の位置などの状態を表す情報を有している。また、気道の状態は、例えば、呼吸の種類を表す情報を有している。
　共鳴周波数を用いて推定する場合について説明する。
　ステップＡ５おいて、状態推定部１５は、まず、算出部１４が生成した共鳴周波数情報を取得する。続いて、ステップＡ５おいて、状態推定部１５は、図４に示す共鳴周波数情報と状態推定情報とを用いて距離を算出し、算出した距離を用いて器官の状態を推定する。
　例えば、口の開閉を推定する場合、状態推定部１５は、共鳴周波数情報４１に含まれる共鳴周波数ｆ１、ｆ２・・・を特徴とする特徴量を用いて、状態推定情報４２が有する口の開閉に含まれる開に対応する共鳴周波数Ｆ１１、Ｆ１２・・・を特徴とする特徴量と、閉に対応する共鳴周波数Ｆ２１、Ｆ２２・・・を特徴とする特徴量との距離をそれぞれ算出する。
　その後、ステップ５おいて、状態推定部１５は、距離が近い特徴量を選択し、選択した特徴量に対応する状態を口の開閉状態とする。同様に、声帯の開閉、構音の位置（「ａ」「ｅ、ｏ」「ｉ」「ｍ、ｎ」「ｕ」の音など）、呼吸の種類（肺呼吸、腹式呼吸）についても、状態推定部１５は状態を推定する。続いて、状態推定部１５は、器官の状態を表す状態情報を生成して、記憶部に記憶する。
　スペクトル形状を用いて推定する場合について説明する。
　ステップ５おいて、状態推定部１５は、まず、算出部１４が生成したスペクトル形状情報を取得する。続いて、ステップ５おいて、状態推定部１５は、図５に示すスペクトル形状情報と状態推定情報とを用いて距離を算出し、算出した距離を用いて器官の状態を推定する。
　例えば、口の開閉を推定する場合、状態推定部１５は、スペクトル形状情報５１に含まれるスペクトル形状を表す情報ｓｐ１を特徴とする特徴量を用いて、状態推定情報５２が有する口の開閉に含まれる開に対応するスペクトル形状ＳＰ１１を特徴とする特徴量と、閉に対応するスペクトル形状ＳＰ２１を特徴とする特徴量との距離をそれぞれ算出する。
　その後、ステップ５おいて、状態推定部１５は、距離が近い特徴量に対応する状態を選択して、口の開閉状態とする。同様に、声帯の開閉、構音の位置（「ａ」「ｅ、ｏ」「ｉ」「ｍ、ｎ」「ｕ」の音など）、呼吸の種類（肺呼吸、腹式呼吸）についても、状態推定部１５は状態を推定する。続いて、状態推定部１５は、器官の状態を表す状態情報を生成して、記憶部に記憶する。
　続いて、感情推定部１６は、推定した声道の状態、気道の状態を用いて感情を推定する（ステップＡ６）。具体的には、ステップＡ６において、感情推定部１６は、まず、状態推定部１５から状態情報を取得する。続いて、ステップＡ６において、感情推定部１６は、状態情報を用いて、感情推定情報を参照し、感情を推定する。その後、ステップＡ６において、状態推定部１５は、推定した感情を表す情報を出力情報生成部１３に送信する。
　例えば、図７に示すように状態情報７１が、口の開閉、声帯の開閉、構音の位置、気道の状態、呼吸の種類についての情報を有している場合、感情推定情報７２を参照して、感情を選択する。図７の例では、感情として「喜び」が選択される。
　また、ステップＡ６においては、感情推定部１６は、主成分分析又は重回帰分析などの多変量解析を用いて生成した関数、感情を推定してもよい。
　更に、感情推定部１６は、ＳＶＭを用いて、感情を推定してもよい。具体的には、感情推定部１６に、感情を識別する学習モデルを適用し、状態情報を入力として感情を推定する。例えば、推定した口の開閉、声帯の開閉、構音の位置、気道の状態、呼吸の種類などを、学習モデルに入力して、感情を推定する。
　なお、学習モデルは、学習フェーズにおいて、教師ありデータを用いて、あらかじめ学習をして生成する。
　また、ＳＶＭ以外の機械学習に基づいて生成した学習モデルを感情推定部１６に適用してもよい。例えば、ＳＶＭ以外の機械学習としては、ニューラルネットワーク、決定木を用いることが考えられる。
　また、ステップＡ６においては、推定部３は、音響特性情報を用いて、声道の状態、気道の状態を推定し、推定した声道の状態、気道の状態を用いて、対象者の顔の表情を推定してもよい。その場合、図８に示すように、「真顔」などの顔の表情を追加する。
　続いて、出力情報生成部１３は、感情推定部１６から感情を表す情報を取得すると、当該情報に基づいて出力情報を生成する（ステップＡ７）。そして、出力情報生成部１３は、出力情報を出力装置３０へ送信する。続いて、出力装置３０は、出力情報に基づいて、対象者の感情を出力する（ステップＡ８）。
［本実施の形態の効果］
　以上のように本実施の形態によれば、対象となる利用者の外耳道に出力された音響信号ｘ（ｔ）と、体内の器官の状態が反映された反響音信号ｙ（ｔ）とを用いて、インパルス応答ｈ（ｔ）又は伝達関数Ｈ（ｚ）などの音響特性情報を用いて生成する。そのため、音響特性情報から体内の器官の状態を推定できるので、これら器官の状態を用いることで、対象者の感情を精度よく推定することができる。
　また、本実施の形態を用いることにより感情を推定できるため、電話を介した会話、ロボットとの対話などにおいて、円滑なコミュニケーションを実現することができる。
　また、本実施の形態を用いることにより感情を推定できるため、犯罪捜査、マーケティング、医療などの分野において、音声プロファイリングなどに有用である。
［プログラム］
　本発明の実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ１からＡ８を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における感情推定装置と感情推定方法とを実現することができる。この場合、コンピュータのプロセッサは、生成部２、推定部３（算出部１４、状態推定部１５、感情推定部１６）、出力情報生成部１３として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、生成部２、推定部３（算出部１４、状態推定部１５、感情推定部１６）、出力情報生成部１３のいずれかとして機能してもよい。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、感情推定装置を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態における感情推定装置を実現するコンピュータの一例を示すブロック図である。
　図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
　なお、本実施の形態における感情推定装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、感情推定装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
［付記］
　以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１６）により表現することができるが、以下の記載に限定されるものではない。
（付記１）
　外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成部と、
　前記音響特性情報を用いて、感情を推定する、推定部と、
　を有することを特徴とする感情推定装置。
（付記２）
　付記１に記載の感情推定装置であって、
　前記推定部は、前記音響特性情報を用いて声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて前記感情を推定する
　ことを特徴とする感情推定装置。
（付記３）
　付記２に記載の感情推定装置であって、
　前記推定部は、声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて表情を推定する
　ことを特徴とする感情推定装置。
（付記４）
　付記２又は３に記載の感情推定装置であって、
　前記推定部は、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類、のいずれか一つ以上の状態を推定し、前記声道の状態、前記気道の状態とする
　ことを特徴とする感情推定装置。
（付記５）
　付記４に記載の感情推定装置であって、
　前記推定部は、前記音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を生成し、生成した前記共鳴周波数情報、又は前記スペクトル形状情報を用いて、前記声道の状態、前記気道の状態を推定する
　ことを特徴とする感情推定装置。
（付記６）
　付記１から５のいずれか一つに記載の感情推定装置であって、
　前記外耳道に前記第一の音響信号を出力する、音響信号出力部と、
　前記第二の音響信号を入力する、音響信号入力部と、
　を有することを特徴とする感情推定装置。
（付記７）
（ａ）外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
（ｂ）前記音響特性情報を用いて、感情を推定する、ステップと、
　を有することを特徴とする感情推定方法。
（付記８）
　付記７に記載の感情推定方法であって、
　前記（ｂ）のステップにおいて、前記音響特性情報を用いて声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて前記感情を推定する
　ことを特徴とする感情推定方法。
（付記９）
　付記８に記載の感情推定方法であって、
　前記（ｂ）のステップにおいて、声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて表情を推定する
　ことを特徴とする感情推定方法。
（付記１０）
　付記８又は９に記載の感情推定方法であって、
　前記（ｂ）のステップにおいて、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類、のいずれか一つ以上の状態を推定し、前記声道の状態、前記気道の状態とする
　ことを特徴とする感情推定方法。
（付記１１）
　付記１０に記載の感情推定方法であって、
　前記（ｂ）のステップにおいて、前記音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を生成し、生成した前記共鳴周波数情報、又は前記スペクトル形状情報を用いて、前記声道の状態、前記気道の状態を推定する
　ことを特徴とする感情推定方法。
（付記１２）
　コンピュータに、
（ａ）外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
（ｂ）前記音響特性情報を用いて、感情を推定する、ステップと、
　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１３）
　付記１２に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、前記音響特性情報を用いて声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて前記感情を推定する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１４）
　付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて表情を推定する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１５）
　付記１３又は１４に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類、のいずれか一つ以上の状態を推定し、前記声道の状態、前記気道の状態とする
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１６）
　付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、前記音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を生成し、生成した前記共鳴周波数情報、又は前記スペクトル形状情報を用いて、前記声道の状態、前記気道の状態を推定する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように本発明によれば、感情を推定する精度を向上させることができる。本発明は、音声プロファイリングなどが必要な分野において有用である。具体的には、電話を介した会話、ロボットとの対話、犯罪捜査、マーケティング、医療などの分野において有用である。
　　１　感情推定装置
　　２　生成部
　　３　推定部
　１１　検査電気信号生成部
　１２　反響電気信号取得部
　１３　出力情報生成部
　１４　算出部
　１５　状態推定部
　１６　感情推定部
　２０　耳装着装置
　２１　検査音信号再生部
　２２　反響音信号録音部
　３０　出力装置
　４１　共鳴周波数情報
　４２　状態推定情報
　５１　スペクトル形状情報
　５２　状態推定情報
　７１　状態情報
　７２、８１　感情推定情報
１１０　コンピュータ
１１１　ＣＰＵ
１１２　メインメモリ
１１３　記憶装置
１１４　入力インターフェイス
１１５　表示コントローラ
１１６　データリーダ／ライタ
１１７　通信インターフェイス
１１８　入力機器
１１９　ディスプレイ装置
１２０　記録媒体
１２１　バス

Claims (16)

  1. 　外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成手段と、
    　前記音響特性情報を用いて、感情を推定する、推定手段と、
    　を有することを特徴とする感情推定装置。
  2. 　請求項１に記載の感情推定装置であって、
    　前記推定手段は、前記音響特性情報を用いて声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて前記感情を推定する
    　ことを特徴とする感情推定装置。
  3. 　請求項２に記載の感情推定装置であって、
    　前記推定手段は、声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて表情を推定する
    　ことを特徴とする感情推定装置。
  4. 　請求項２又は３に記載の感情推定装置であって、
    　前記推定手段は、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類のいずれか一つ以上の状態を推定し、前記声道の状態、前記気道の状態とする
    　ことを特徴とする感情推定装置。
  5. 　請求項４に記載の感情推定装置であって、
    　前記推定手段は、前記音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を生成し、生成した前記共鳴周波数情報、又は前記スペクトル形状情報を用いて、前記声道の状態、前記気道の状態を推定する
    　ことを特徴とする感情推定装置。
  6. 　請求項１から５のいずれか一つに記載の感情推定装置であって、
    　前記外耳道に前記第一の音響信号を出力する、音響信号出力手段と、
    　前記第二の音響信号を入力する、音響信号入力手段と、
    　を有することを特徴とする感情推定装置。
  7. （ａ）外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
    （ｂ）前記音響特性情報を用いて、感情を推定する、ステップと、
    　を有することを特徴とする感情推定方法。
  8. 　請求項７に記載の感情推定方法であって、
    　前記（ｂ）のステップにおいて、前記音響特性情報を用いて声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて前記感情を推定する
    　ことを特徴とする感情推定方法。
  9. 　請求項８に記載の感情推定方法であって、
    　前記（ｂ）のステップにおいて、声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて表情を推定する
    　ことを特徴とする感情推定方法。
  10. 　請求項８又は９に記載の感情推定方法であって、
    　前記（ｂ）のステップにおいて、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類のいずれか一つ以上の状態を推定し、前記声道の状態、前記気道の状態とする
    　ことを特徴とする感情推定方法。
  11. 　請求項１０に記載の感情推定方法であって、
    　前記（ｂ）のステップにおいて、前記音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を生成し、生成した前記共鳴周波数情報、又は前記スペクトル形状情報を用いて、前記声道の状態、前記気道の状態を推定する
    　ことを特徴とする感情推定方法。
  12. 　コンピュータに、
    （ａ）外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
    （ｂ）前記音響特性情報を用いて、感情を推定する、ステップと、
    　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  13. 　請求項１２に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｂ）のステップにおいて、前記音響特性情報を用いて声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて前記感情を推定する
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  14. 　請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｂ）のステップにおいて、声道の状態、気道の状態を推定し、推定した前記声道の状態、前記気道の状態を用いて表情を推定する
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  15. 　請求項１３又は１４に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｂ）のステップにおいて、少なくとも口の開閉、声帯の開閉、構音の位置、呼吸の種類のいずれか一つ以上の状態を推定し、前記声道の状態、前記気道の状態とする
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  16. 　請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｂ）のステップにおいて、前記音響特性情報を用いて、共鳴周波数を表す共鳴周波数情報、又はスペクトル形状を表すスペクトル形状情報を生成し、生成した前記共鳴周波数情報、又は前記スペクトル形状情報を用いて、前記声道の状態、前記気道の状態を推定する
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2019/007918 2019-02-28 2019-02-28 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体 WO2020174680A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021501512A JP7115625B2 (ja) 2019-02-28 2019-02-28 感情推定装置、感情推定方法、及びプログラム
EP19917143.0A EP3932311A4 (en) 2019-02-28 2019-02-28 EMOTION ASSESSMENT DEVICE AND METHOD AND COMPUTER READABLE RECORDING MEDIA
CN201980092989.4A CN113473913A (zh) 2019-02-28 2019-02-28 情绪估计设备、情绪估计方法和计算机可读记录介质
US17/433,694 US11984136B2 (en) 2019-02-28 2019-02-28 Emotion estimation apparatus, emotion estimation method, and computer readable recording medium
PCT/JP2019/007918 WO2020174680A1 (ja) 2019-02-28 2019-02-28 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007918 WO2020174680A1 (ja) 2019-02-28 2019-02-28 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2020174680A1 true WO2020174680A1 (ja) 2020-09-03

Family

ID=72238386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007918 WO2020174680A1 (ja) 2019-02-28 2019-02-28 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US11984136B2 (ja)
EP (1) EP3932311A4 (ja)
JP (1) JP7115625B2 (ja)
CN (1) CN113473913A (ja)
WO (1) WO2020174680A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071936A (ja) 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
WO2010090175A1 (ja) * 2009-02-05 2010-08-12 国立大学法人大阪大学 入力デバイス、ウェアラブルコンピュータ、及び入力方法
WO2014083778A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 情報提供方法
JP2015109964A (ja) * 2013-11-11 2015-06-18 株式会社電通サイエンスジャム 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP2018099239A (ja) * 2016-12-20 2018-06-28 Kddi株式会社 フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
US20060183980A1 (en) * 2005-02-14 2006-08-17 Chang-Ming Yang Mental and physical health status monitoring, analyze and automatic follow up methods and its application on clothing
US8542095B2 (en) * 2008-02-22 2013-09-24 Nec Corporation Biometric authentication device, biometric authentication method, and storage medium
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
US20110040155A1 (en) * 2009-08-13 2011-02-17 International Business Machines Corporation Multiple sensory channel approach for translating human emotions in a computing environment
JP2014003502A (ja) * 2012-06-19 2014-01-09 Toshiba Corp 信号処理装置及び信号処理方法
JP6761598B2 (ja) 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
CN108594991A (zh) * 2018-03-28 2018-09-28 努比亚技术有限公司 一种帮助用户调节情绪的方法、装置和计算机存储介质
CN108391207A (zh) * 2018-03-30 2018-08-10 广东欧珀移动通信有限公司 数据处理方法、装置、终端、耳机及可读存储介质
CN109391870B (zh) * 2018-11-10 2021-01-15 上海麦克风文化传媒有限公司 一种基于人体运动状态自调节耳机音频信号播放的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071936A (ja) 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
WO2010090175A1 (ja) * 2009-02-05 2010-08-12 国立大学法人大阪大学 入力デバイス、ウェアラブルコンピュータ、及び入力方法
WO2014083778A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 情報提供方法
JP2015109964A (ja) * 2013-11-11 2015-06-18 株式会社電通サイエンスジャム 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP2018099239A (ja) * 2016-12-20 2018-06-28 Kddi株式会社 フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3932311A4

Also Published As

Publication number Publication date
EP3932311A1 (en) 2022-01-05
JP7115625B2 (ja) 2022-08-09
US11984136B2 (en) 2024-05-14
JPWO2020174680A1 (ja) 2021-12-16
EP3932311A4 (en) 2022-02-09
US20220148617A1 (en) 2022-05-12
CN113473913A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN111833896B (zh) 融合反馈信号的语音增强方法、系统、装置和存储介质
JP5000647B2 (ja) 音声状態モデルを使用したマルチセンサ音声高品質化
Zañartu et al. Subglottal impedance-based inverse filtering of voiced sounds using neck surface acceleration
JP2002537585A (ja) 音声およびアコースティック信号の有声音化励起を特徴付けて、音声からアコースティック・ノイズを除去し、音声を合成するシステムおよび方法
JP2012510088A (ja) 音声推定インタフェースおよび通信システム
KR20150123579A (ko) 사용자 음성으로부터 감정정보를 확인하는 방법 및 장치
JP2013037174A (ja) 雑音／残響除去装置とその方法とプログラム
Dupont et al. Combined use of close-talk and throat microphones for improved speech recognition under non-stationary background noise
WO2020174680A1 (ja) 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体
Deng et al. Modeling the influence of COVID-19 protective measures on the mechanics of phonation
JP7099615B2 (ja) 状態推定装置、状態推定方法、及びプログラム
Akafi et al. Assessment of hypernasality for children with cleft palate based on cepstrum analysis
JP7147954B2 (ja) 属性推定装置、属性推定方法、及びプログラム
JP2004274234A (ja) 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体
JP4240878B2 (ja) 音声認識方法及び音声認識装置
CN1263423C (zh) 利用呼吸系统所发出之声音来检测呼吸系统状况的装置
US20240005937A1 (en) Audio signal processing method and system for enhancing a bone-conducted audio signal using a machine learning model
Li et al. Towards Pitch-Insensitive Speaker Verification via Soundfield
Radha et al. A Study on Alternative Speech Sensor
KR20200092500A (ko) 뉴럴 보코더 및 화자 적응형 모델을 구현하기 위한 뉴럴 보코더의 훈련 방법
JP2005189483A (ja) 声質モデル生成方法、声質変換方法、並びにそれらのためのコンピュータプログラム、当該プログラムを記録した記録媒体、及び当該プログラムによりプログラムされたコンピュータ
McLoughlin et al. Mouth state detection from low-frequency ultrasonic reflection
CN116052712A (zh) 语音信号处理方法、装置、计算设备及存储介质
Howard et al. Bio-inspired evolutionary oral tract shape modeling for physical modeling vocal synthesis
JP2022069766A (ja) 骨伝導マイクロホン、骨伝導マイクロホンの音声強調方法及び、音声強調プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917143

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501512

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019917143

Country of ref document: EP

Effective date: 20210928