WO2020174682A1 - 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020174682A1
WO2020174682A1 PCT/JP2019/007920 JP2019007920W WO2020174682A1 WO 2020174682 A1 WO2020174682 A1 WO 2020174682A1 JP 2019007920 W JP2019007920 W JP 2019007920W WO 2020174682 A1 WO2020174682 A1 WO 2020174682A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
attribute
resonance frequency
acoustic
ear canal
Prior art date
Application number
PCT/JP2019/007920
Other languages
English (en)
French (fr)
Inventor
隆行 荒川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/007920 priority Critical patent/WO2020174682A1/ja
Priority to JP2021501514A priority patent/JP7147954B2/ja
Priority to CN201980092988.XA priority patent/CN113490453A/zh
Priority to EP19916860.0A priority patent/EP3932306A4/en
Priority to US17/433,704 priority patent/US20220151514A1/en
Publication of WO2020174682A1 publication Critical patent/WO2020174682A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/12Audiometering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6815Ear
    • A61B5/6817Ear canal

Definitions

  • the present invention relates to an attribute estimating device and an attribute estimating method for estimating attributes, and further to a computer-readable recording medium recording a program for realizing these.
  • a device that smoothly conducts criminal investigations and marketing using technology that estimates the attributes of individuals is known. For example, the technique of estimating the attribute of an individual is used in criminal investigations to match the evidence left at the crime scene with the attribute of the individual, and to narrow down the suspect based on the matching result.
  • the technique of estimating the attribute of an individual is used in marketing to match the product with the attribute of the purchaser, and to estimate what product the customer purchases under what conditions based on the matching result. It is used to create models, develop efficient products, and plan sales strategies.
  • Patent Document 1 discloses a device that estimates an attribute (sex, age) of an individual based on audio and video. According to the apparatus, the sex and age are estimated using the feature value extracted from the audio information and the video information.
  • a user's voice is combined with an image in which the facial expression of the user is captured to estimate an attribute of an individual, but the image is easily affected by lighting or the like.
  • the accuracy of estimating individual attributes is reduced.
  • An example of an object of the present invention is to provide an attribute estimation device, an attribute estimation method, and a computer-readable recording medium that estimates the attribute of a target person using an echo sound signal.
  • a first acoustic signal output to the ear canal and a second acoustic signal in which the first acoustic signal reverberates in the body is used to generate acoustic characteristic information indicating acoustic characteristics, and a generation unit,
  • An estimation unit that estimates an attribute using the acoustic characteristic information, It is characterized by having.
  • the attribute estimation method is (A) generating acoustic characteristic information representing acoustic characteristics by using the first acoustic signal output to the ear canal and the second acoustic signal that the first acoustic signal reverberates in the body, (B) estimating an attribute using the acoustic characteristic information, It is characterized by having.
  • a computer-readable recording medium recording the program according to one aspect of the present invention, On the computer, (A) generating acoustic characteristic information representing acoustic characteristics by using the first acoustic signal output to the ear canal and the second acoustic signal that the first acoustic signal reverberates in the body, (B) estimating an attribute using the acoustic characteristic information, It is characterized in that a program including an instruction to execute is recorded.
  • the attribute of the target person can be estimated using the echo sound signal.
  • FIG. 1 is a diagram showing an example of an attribute estimation device.
  • FIG. 2 is a diagram showing an example of a system having an attribute estimation device.
  • FIG. 3 is a diagram showing an example of the resonance frequency.
  • FIG. 4 is a diagram showing an example of a data structure of resonance frequency information.
  • FIG. 5 is a diagram for explaining the learning model.
  • FIG. 6 is a diagram showing an example of a data structure of resonance frequency information in the modified example.
  • FIG. 7: is a figure for demonstrating the learning model in a modification.
  • FIG. 8 is a diagram illustrating an example of the operation of the attribute estimation device.
  • FIG. 9 is a diagram illustrating an example of a computer that realizes the attribute estimation device.
  • FIG. 1 is a diagram showing an example of an attribute estimation device.
  • the attribute estimation device 1 shown in FIG. 1 is a device that can estimate the attribute of the target person using the echo sound signal. Moreover, as shown in FIG. 1, the attribute estimation device 1 includes a generation unit 2 and an estimation unit 3.
  • the generation unit 2 uses the acoustic signal (first acoustic signal) output to the external auditory meatus and the reverberant sound signal (second acoustic signal) reverberated in the body to determine the acoustic characteristics.
  • the acoustic characteristic information to represent is generated.
  • the estimation unit 3 estimates the attribute using the acoustic characteristic information.
  • the acoustic signal x(t) output to the external auditory meatus of the target user and the echo signal y(t) reflecting the state of the internal organs are used.
  • FIG. 2 is a diagram showing an example of a system having an attribute estimation device.
  • the system according to the present embodiment has an ear wearing device 20 and an output device 30 in addition to the attribute estimating device 1.
  • the attribute estimation device 1 also includes a test electric signal generation unit 11, an echo electric signal acquisition unit 12, and an output information generation unit 13.
  • the estimation unit 3 includes a calculation unit 14 and an attribute estimation unit 15.
  • the ear placement device 20 includes an inspection sound signal reproducing unit 21 and an echo sound signal recording unit 22.
  • the ear placement device 20 has an inspection sound signal reproduction unit 21 for outputting an acoustic signal to the external auditory meatus, and an echo sound signal recording unit 22 for inputting (measuring) an echo sound signal in the external auditory meatus.
  • the ear mounting device 20 is a device that is mounted on the external ear canal as shown in the cross-sectional view of the external ear (a diagram showing the auricle, external auditory meatus, and eardrum) of FIG.
  • the ear mounting device 20 may be, for example, an earphone with a microphone.
  • the configuration of the ear placement device 20 is not limited to the configuration shown in FIG. 2 and may be any configuration capable of measuring a reverberant sound signal with respect to an acoustic signal.
  • the inspection sound signal reproduction unit 21 (acoustic signal output unit) receives the electric signal corresponding to the acoustic signal generated by the inspection electric signal generation unit 11, the inspection sound signal reproduction unit 21 generates and generates the acoustic signal based on the received electric signal. Output an acoustic signal to the ear canal.
  • the inspection sound signal reproducing unit 21 may be, for example, a speaker.
  • the echo signal recording unit 22 receives the echo signal corresponding to the acoustic signal output from the inspection electrical signal generation unit 11 and converts the echo signal into an electrical signal to obtain the echo electrical signal acquisition unit. Send to 12.
  • the echo signal recording unit 22 may be a microphone, for example.
  • the output device 30 acquires output information, which will be described later, converted into a format that can be output by the output information generation unit 13, and outputs the generated image and sound based on the output information.
  • the output device 30 is, for example, an image display device using a liquid crystal, an organic EL (Electro Luminescence), or a CRT (Cathode Ray Tube). Further, the image display device may include an audio output device such as a speaker.
  • the output device 30 may be a printing device such as a printer.
  • the inspection electric signal generation unit 11 generates an electric signal used for outputting an acoustic signal and transmits the electric signal to the inspection sound signal reproduction unit 21. Specifically, the inspection electrical signal generation unit 11 generates an M-sequence signal (Maximal Length Sequence), a TSP (Time Stretched Pulse) signal, a Log-TSP signal, and the like as the electrical signal corresponding to the acoustic signal. Further, the inspection electric signal generation unit 11 transmits an electric signal corresponding to the acoustic signal to the generation unit 2.
  • M-sequence signal Maximal Length Sequence
  • TSP Time Stretched Pulse
  • Log-TSP Log-TSP signal
  • the acoustic signal may include a sweep signal, music, guide voice, and the like.
  • the frequency used for the acoustic signal is set according to the target organ. For example, when the vocal tract/airway is targeted, it is desirable that the frequency band of the acoustic signal is 100 [Hz] to 4 k[Hz]. However, it is not limited to this frequency band.
  • the vocal tract is, for example, a path through which the voice passes, and is a cavity in the body through which the sound emitted from the vocal cords passes before being emitted outside the body.
  • the respiratory tract (developing organ) is, for example, a path through which breath sounds pass, and is involved in external breathing, and is composed of the upper respiratory tract (nasal cavity, pharynx, larynx, etc.) and the lower respiratory tract (trachea, main bronchus, lungs, etc.).
  • the echo electric signal acquisition unit 12 receives an electric signal corresponding to the echo signal from the echo signal recording unit 22, adjusts the received electric signal, and transmits the electric signal to the generation unit 2. Specifically, the reverberation electric signal acquisition unit 12 adjusts the received electric signal using a circuit having a filter, an amplifier, etc., and transmits the adjusted electric signal to the generation unit 2.
  • the generation unit 2 uses the electric signal corresponding to the acoustic signal x(t) and the electric signal corresponding to the reverberation sound signal y(t) to generate acoustic characteristic information indicating the acoustic characteristic.
  • acoustic characteristic for example, an impulse response h(t) or a transfer function H( ⁇ ) or H(z) obtained by Fourier transform or Laplace transform of the impulse response is used.
  • the generation unit 2 first receives an electric signal corresponding to the acoustic signal x(t) from the inspection electric signal generation unit 11. Further, the generation unit 2 receives the electric signal corresponding to the echo sound signal y(t) from the echo electric signal acquisition unit 12. Then, the generation unit 2 uses the acoustic characteristic information (impulse response h(t) or transfer function H( based on each of the electric signals corresponding to the received acoustic signal x(t) and echo sound signal y(t)). ⁇ ) or H(z)).
  • acoustic characteristic information impulse response h(t) or transfer function H( based on each of the electric signals corresponding to the received acoustic signal x(t) and echo sound signal y(t).
  • the generation unit 2 stores the acoustic characteristic information in a storage unit (not shown).
  • the storage unit may be provided inside the attribute estimation device 1 or outside the attribute estimation device 1.
  • the echo signal y(t) reflects changes (changes in reflectance, attenuation rate, etc.) according to the state of the organ of the subject, the impulse response h(t) or the transfer function H( ⁇ ).
  • the impulse response h(t) or the transfer function H( ⁇ ) it is possible to extract information related to the state of internal organs.
  • the reflectance is the rate of reflection with respect to the input
  • the attenuation rate is the rate of attenuation per unit time or unit cycle.
  • the echo signal includes, for example, an acoustic signal returned from the space from the head to the lungs (external ear canal and vocal tract/airway).
  • the estimating unit 3 estimates the shape of the ear canal, the shape of the vocal tract, and the shape of the airway using the acoustic characteristic information, and estimates the attributes using the estimated shape of the ear canal, the shape of the vocal tract, and the shape of the airway.
  • the attributes are, for example, sex, age, height, weight, physique and the like.
  • the estimation unit 3 uses the acoustic characteristic information to calculate resonance frequency information representing resonance frequencies for each of the ear canal, vocal tract, and airway, and uses the calculated resonance frequency information to determine the shape of the ear canal and the voice. Estimate the shape of the road and the shape of the airway.
  • the estimation unit 3 may calculate the attenuation coefficient for each resonance frequency information and estimate the shape of the ear canal, the shape of the vocal tract, and the shape of the airway using the resonance frequency information and the attenuation coefficient.
  • the estimation unit 3 (calculation unit 14, attribute estimation unit 15) will be specifically described.
  • the calculation unit 14 uses the acoustic characteristic information to calculate resonance frequency information having information indicating a resonance frequency (frequency having a peak value in the frequency characteristic) for each type of organ.
  • FIG. 3 is a diagram showing an example of the resonance frequency.
  • FIG. 3 shows the resonance frequencies f1, f2, and f3 included in the resonance frequency information.
  • the calculation of the resonance frequency will be described.
  • the calculation unit 14 first acquires acoustic characteristic information from the generation unit 2. Subsequently, the calculation unit 14 calculates the resonance frequency related to the ear canal, vocal tract, and airway using the acoustic characteristics.
  • the calculation unit 14 employs, for example, linear predictive coding (LPC) to calculate the resonance frequency. After that, the calculation unit 14 generates resonance frequency information representing the resonance frequency and stores the generated resonance frequency information in the storage unit.
  • LPC linear predictive coding
  • the method of calculating the resonance frequency is not limited to linear predictive coding, and may be any method that can calculate the resonance frequency.
  • FIG. 4 is a diagram showing an example of a data structure of resonance frequency information.
  • the resonance frequency information 41 of FIG. 4 has the resonance frequency f1 corresponding to the external auditory meatus, the resonance frequency f2 corresponding to the vocal tract, and the resonance frequency f3 corresponding to the airway calculated by the calculating unit 14.
  • the length of the ear canal is about 2.8 [cm]
  • the length of the vocal tract is about 8.5 [cm]
  • the length of the airway is about 17.0 [cm]
  • the speed of sound is 340 [m/sec].
  • the resonance frequency f1 appears near 6 k[Hz]
  • the resonance frequency f2 appears near 1 k[Hz]
  • the resonance frequency f3 appears near 500 [Hz].
  • the attribute estimation unit 15 estimates the attribute using the calculated resonance frequency information. Specifically, the attribute estimation unit 15 first acquires the generated resonance frequency information. Subsequently, the attribute estimation unit 15 uses the acquired resonance frequency information (resonance frequencies f1 to f3 for each organ) as an input and uses a learning model for estimating attributes, for example, sex, age, height, weight, physique, etc. Estimate the attributes of. After that, the attribute estimation unit 15 transmits the information indicating the estimated attribute to the output information generation unit 13.
  • FIG. 5 is a diagram for explaining the learning model.
  • the attribute estimation unit 15 inputs the resonance frequency f1 corresponding to the external auditory meatus, the resonance frequency f2 corresponding to the vocal tract, and the resonance frequency f3 corresponding to the airway to the learning model, and the estimation result is the attribute.
  • the learning model may use SVM (Support Vector Machine) when estimating attributes as a discrimination problem, and SVR (Support Vector Regression) when estimating attributes as a regression problem.
  • SVM Serial Vector Machine
  • SVR Serial Vector Regression
  • the learning model using SVM is suitable for determining gender (male and female), age (under 10s, 10s, 20s, etc.). Further, the learning model using SVR is suitable for determining age, height, weight, physique, and the like. However, the learning model is not limited to SVM and SVR.
  • the learning model is generated by learning in advance using supervised data in the learning phase.
  • the output information generation unit 13 acquires the information indicating the attribute from the attribute estimation unit 15, the output information generation unit 13 generates the output information based on the information and transmits the output information to the output device 30.
  • the output device 30 outputs the attribute of the subject based on the output information.
  • the subject is likely to be thin if the attenuation coefficient is large.
  • the reason is that when the attenuation coefficient is large, the attenuation is slow, and it is presumed that the acoustic signal is reflected by a hard surface. That is, it can be estimated that the subject has a high possibility of being thin because the proportion of bones is higher than that of fats and muscles.
  • the calculation unit 14 in the modification will be described.
  • the calculating unit 14 uses the acoustic characteristic information to calculate resonance frequency information including the resonance frequency and the attenuation coefficient for each type of organ. Specifically, the calculation unit 14 calculates the resonance frequency and the attenuation coefficient corresponding to each resonance frequency.
  • the damping coefficient for example, a damping ratio (damping factor), a logarithmic damping rate, a loss coefficient, a Q value, etc. may be calculated and used.
  • FIG. 6 is a diagram showing an example of a data structure of resonance frequency information in the modified example.
  • the resonance frequencies f1, f2, and f3 are associated with pieces of information D1, D2, and D3 representing attenuation coefficients.
  • the attribute estimation unit 15 in the modification will be described.
  • the attribute estimation unit 15 estimates the attribute using the resonance frequency information having the calculated attenuation coefficient. Specifically, the attribute estimation unit 15 first acquires resonance frequency information having the generated damping coefficient.
  • the attribute estimation unit 15 inputs the resonance frequency information as shown in FIG. 6 and uses a learning model for estimating attributes to estimate attributes such as gender, age, height, weight, and physique. After that, the attribute estimation unit 15 transmits the information indicating the estimated attribute to the output information generation unit 13.
  • FIG. 7 is a diagram for explaining the learning model.
  • the attribute estimation unit 15 causes the resonance frequency f1 and the attenuation coefficient D1 corresponding to the ear canal, the resonance frequency f2 and the attenuation coefficient D2 corresponding to the vocal tract, the resonance frequency f3 and the attenuation coefficient corresponding to the airway.
  • D3 and D3 By inputting D3 and D3 into the learning model, the attribute which is the estimation result is obtained.
  • FIG. 8 is a diagram illustrating an example of the operation of the attribute estimation device.
  • FIGS. 2 to 7 will be appropriately referred to.
  • the attribute estimation method is implemented by operating the attribute estimation device. Therefore, the description of the attribute estimation method according to the present embodiment will replace the following description of the operation of the attribute estimation device.
  • the inspection sound signal reproduction unit 21 receives an electric signal corresponding to the acoustic signal generated by the inspection electric signal generation unit 11, the inspection sound signal reproduction unit 21 generates an acoustic signal based on the received electric signal. Then, the generated acoustic signal is output to the ear canal (step A1).
  • the echo sound signal recording unit 22 inputs (measures) the echo sound signal with respect to the acoustic signal output from the inspection electrical signal generation unit 11 (step A2). Then, the echo sound signal recording unit 22 converts the received echo sound signal into an electric signal and transmits the electric signal to the echo electric signal acquisition unit 12.
  • the generation unit 2 generates acoustic characteristic information indicating acoustic characteristics using the electric signal corresponding to the acoustic signal x(t) and the electric signal corresponding to the reverberation sound signal y(t) (step).
  • acoustic characteristic for example, an impulse response h(t) or a transfer function H( ⁇ ) or H(z) obtained by Fourier transform or Laplace transform of the impulse response is used.
  • step A3 the generation unit 2 first receives an electric signal corresponding to the acoustic signal x(t) from the inspection electric signal generation unit 11. Further, the generation unit 2 receives the electric signal corresponding to the echo sound signal y(t) from the echo electric signal acquisition unit 12.
  • step A3 the generation unit 2 uses the acoustic characteristic information (impulse response h(t) or impulse response h(t) or the acoustic response information based on the electric signals corresponding to the received acoustic signal x(t) and echo sound signal y(t), respectively.
  • a transfer function H( ⁇ ) or H(z), etc. the generation unit 2 stores the acoustic characteristic information in a storage unit (not shown).
  • the calculation unit 14 calculates the resonance frequency information representing the resonance frequency for each type of organ using the acoustic characteristic information (step A4).
  • step A4 The calculation of the resonance frequency in step A4 will be described.
  • the calculation unit 14 first acquires acoustic characteristic information from the generation unit 2. Subsequently, the calculation unit 14 performs spectrum analysis using the acoustic characteristics to calculate the resonance frequency of the subject.
  • the calculation unit 14 employs, for example, linear predictive coding (LPC) to calculate the resonance frequency.
  • LPC linear predictive coding
  • step A4 the calculation unit 14 generates resonance frequency information representing the resonance frequency and stores the generated resonance frequency information in the storage unit.
  • the method of calculating the resonance frequency is not limited to linear predictive coding, and may be any method that can calculate the resonance frequency.
  • the attribute estimation unit 15 estimates the attribute using the calculated resonance frequency information (step A5). Specifically, in step A5, the attribute estimation unit 15 first acquires the generated resonance frequency information.
  • the attribute estimation unit 15 receives the acquired resonance frequency information (resonance frequencies f1 to f3 for each organ) as an input, and uses a learning model for identifying attributes, for example, sex, age, height, Estimate attributes such as weight and physique.
  • step A5 the attribute estimation unit 15 transmits information representing the estimated attribute to the output information generation unit 13.
  • the output information generation unit 13 acquires the information indicating the attribute from the attribute estimation unit 15
  • the output information generation unit 13 generates the output information based on the information (step A6).
  • the output information generation unit 13 transmits the output information to the output device 30.
  • the output device 30 outputs the attribute of the subject based on the output information (step A7).
  • step A4 the calculation unit 14 uses the acoustic characteristic information to calculate resonance frequency information including the resonance frequency and the attenuation coefficient for each type of organ. Specifically, in step A4, the calculation unit 14 calculates the resonance frequency and the attenuation coefficient corresponding to each resonance frequency.
  • the damping coefficient for example, a damping ratio (damping factor), a logarithmic damping rate, a loss coefficient, a Q value, etc. may be calculated and used.
  • step A5 the attribute estimation unit 15 estimates the attribute using the resonance frequency information having the calculated attenuation coefficient. Specifically, in step A5, the attribute estimation unit 15 first acquires resonance frequency information having the generated damping coefficient.
  • step A5 the attribute estimation unit 15 receives the resonance frequency information as shown in FIG. 6 as an input and uses a learning model for identifying the attributes, for example, attributes such as sex, age, height, weight, and physique. To estimate. Then, in step A5, the attribute estimation unit 15 transmits information representing the estimated attribute to the output information generation unit 13.
  • the acoustic signal x(t) output to the external auditory meatus of the target user and the reverberant sound signal y(t) reflecting the state of the internal organs are used. Then, it is generated using acoustic characteristic information such as impulse response h(t) or transfer function H(z). Therefore, since the state of the internal organs can be estimated from the acoustic characteristic information, attributes such as the gender, age, height, weight, and physique of the subject can be estimated.
  • the attributes of the target person can be estimated by using this embodiment, it is useful in fields such as criminal investigation and marketing.
  • the program in the embodiment of the present invention may be a program that causes a computer to execute steps A1 to A8 shown in FIG.
  • the attribute estimation device and the attribute estimation method according to the present embodiment can be realized by installing and executing this program on a computer.
  • the processor of the computer functions as the generation unit 2, the estimation unit 3 (calculation unit 14, attribute estimation unit 15), and the output information generation unit 13 and performs the processing.
  • each computer may function as any one of the generation unit 2, the estimation unit 3 (the calculation unit 14, the attribute estimation unit 15), and the output information generation unit 13.
  • FIG. 9 is a block diagram showing an example of a computer that realizes the attribute estimation device in the exemplary embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader/writer 116, and a communication interface 117. These respective units are connected to each other via a bus 121 so as to be capable of data communication.
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the CPU 111 expands the program (code) according to the present embodiment stored in the storage device 113 into the main memory 112 and executes these in a predetermined order to perform various calculations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader/writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads programs from the recording medium 120, and writes processing results in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic recording medium such as a flexible disk (Flexible Disk), or a CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) can be given.
  • CF Compact Flash
  • SD Secure Digital
  • a magnetic recording medium such as a flexible disk (Flexible Disk)
  • a CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory)
  • the attribute estimation device 1 in the present embodiment can be realized not by using a computer in which a program is installed but by using hardware corresponding to each unit. Further, the attribute estimation device 1 may be partially realized by a program and the remaining part may be realized by hardware.
  • a first acoustic signal output to the ear canal and a second acoustic signal in which the first acoustic signal reverberates in the body is used to generate acoustic characteristic information indicating acoustic characteristics, and a generation unit,
  • An estimation unit that estimates an attribute using the acoustic characteristic information An attribute estimation device comprising:
  • the attribute estimation device uses the acoustic characteristic information to estimate the shape of the ear canal, the shape of the vocal tract, the shape of the airway, and uses the estimated shape of the ear canal, the shape of the vocal tract, and the shape of the airway.
  • An attribute estimation apparatus which estimates the attribute.
  • the attribute estimation device calculates an attenuation coefficient for each of the resonance frequency information, and estimates the shape of the ear canal, the shape of the vocal tract, and the shape of the airway using the resonance frequency information and the attenuation coefficient. Characteristic attribute estimation device.
  • the attribute estimation device according to any one of appendices 1 to 4,
  • the attribute estimation apparatus is characterized in that the attribute is at least one of sex, age, height, weight, and physique.
  • An attribute estimation method comprising:
  • the acoustic frequency information is used to calculate resonance frequency information indicating a resonance frequency for each of the ear canal, the vocal tract, and the airway, and the calculated resonance frequency information is used to calculate the ear canal.
  • the method of estimating an attribute comprising estimating the shape of a vocal tract, the shape of the vocal tract, and the shape of the airway.
  • the attribute estimation method according to any one of appendices 7 to 10, The attribute estimation method is characterized in that the attribute is at least one of sex, age, height, weight, and physique.
  • Appendix 16 The computer-readable recording medium according to any one of appendices 12 to 15, The computer-readable recording medium, wherein the attribute is at least one of gender, age, height, weight, and physique.
  • the attribute of the target person can be estimated using the echo sound signal.
  • the present invention is useful in fields such as criminal investigation and marketing.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Instructional Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

属性推定装置1は、外耳道に出力された第一の音響信号と、第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成部2と、音響特性情報を用いて属性を推定する、推定部3とを有する。

Description

属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体
 本発明は、属性を推定する属性推定装置、属性推定方法に関し、更には、これらを実現するためのプログラムを記録しているコンピュータ読み取り可能な記録媒体に関する。
 個人の属性を推定する技術を用いて、犯罪捜査、マーケティングなどを円滑に行う装置が知られている。例えば、個人の属性を推定する技術は、犯罪捜査において、犯行現場に残されていた証拠と個人の属性とをマッチングさせ、マッチングの結果に基づいて、被疑者を絞り込むために用いられている。
 また、個人の属性を推定する技術は、マーケティングにおいて、商品と購入者の属性とをマッチングさせ、マッチングの結果に基づいて、顧客がどのような条件においてどんな商品を購入するのかを推定するためのモデル作成、効率的な商品開発、販売戦略を立案するために用いられる。
 また、関連する技術として、特許文献1には、音声及び映像に基づいて、個人の属性(性別、年齢)を推定する装置が開示されている。その装置によれば、音声情報及び映像情報から抽出した特徴値を用いて性別、年齢を推定する。
特開2010-152866号公報
 しかしながら、上述した特許文献1に開示された装置では、マイクロホンを用いて利用者の音声が入力されるため、環境音などノイズの影響を音声が受けやすい。そのため、個人の属性を推定する精度が低下する。
 また、特許文献1に開示された装置では、利用者の音声に、利用者の表情が撮像された画像を組み合わせて個人の属性を推定しているが、画像は照明の影響などを受けやすいため、やはり個人の属性を推定する精度が低下する。
 本発明の目的の一例は、反響音信号を用いて対象者の属性を推定する、属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本発明の一側面における属性推定装置は、
 外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成部と、
 前記音響特性情報を用いて属性を推定する、推定部と、
 を有することを特徴とする。
 また、上記目的を達成するため、本発明の一側面における属性推定方法は、
(a)外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
(b)前記音響特性情報を用いて属性を推定する、ステップと、
 を有することを特徴とする。
 更に、上記目的を達成するため、本発明の一側面におけるプログラムを記録したコンピュータ読み取り可能な記録媒体は、
 コンピュータに、
(a)外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
(b)前記音響特性情報を用いて属性を推定する、ステップと、
 を実行させる命令を含むプログラムを記録していることを特徴とする。
 以上のように本発明によれば、反響音信号を用いて対象者の属性を推定できる。
図1は、属性推定装置の一例を示す図である。 図2は、属性推定装置を有するシステムの一例を示す図である。 図3は、共鳴周波数の一例を示す図である。 図4は、共鳴周波数情報のデータ構造の一例を示す図である。 図5は、学習モデルの説明をするための図である。 図6は、変形例における共鳴周波数情報のデータ構造の一例を示す図である。 図7は、変形例における学習モデルの説明をするための図である。 図8は、属性推定装置の動作の一例を示す図である。 図9は、属性推定装置を実現するコンピュータの一例を示す図である。
(実施の形態)
 以下、本発明の実施の形態について、図1から図9を参照しながら説明する。
[装置構成]
 最初に、図1を用いて、本実施の形態における属性推定装置1の構成について説明する。図1は、属性推定装置の一例を示す図である。
 図1に示す属性推定装置1は、反響音信号を用いて対象者の属性を推定できる装置である。また、図1に示すように、属性推定装置1は、生成部2と、推定部3とを有する。
 このうち、生成部2は、外耳道に出力された音響信号(第一の音響信号)と、当該音響信号が体内で反響した反響音信号(第二の音響信号)とを用いて、音響特性を表す音響特性情報を生成する。推定部3は、音響特性情報を用いて属性を推定する。
 このように、本実施の形態においては、対象となる利用者の外耳道に出力された音響信号x(t)と、体内の器官の状態が反映された反響音信号y(t)とを用いて、インパルス応答h(t)又は伝達関数H(ω)又はH(z)などの音響特性情報を用いて生成する。そのため、音響特性情報から体内の器官の状態を推定できるので、対象者の性別、年齢、身長、体重、体格(体型、骨格の形状、骨格の寸法)などの属性を精度よく推定することができる。
[システム構成]
 続いて、図2を用いて、本実施の形態における属性推定装置1の構成をより具体的に説明する。図2は、属性推定装置を有するシステムの一例を示す図である。
 図2に示すように、本実施の形態におけるシステムは、属性推定装置1に加え、耳装着装置20、出力装置30を有する。また、属性推定装置1は、生成部2と、推定部3に加え、検査電気信号生成部11、反響電気信号取得部12、出力情報生成部13を有する。更に、推定部3は、算出部14、属性推定部15を有する。耳装着装置20は、検査音信号再生部21、反響音信号録音部22を有する。
 耳装着装置20は、外耳道に音響信号を出力するための検査音信号再生部21と、外耳道において反響音信号を入力(計測)する反響音信号録音部22とを有している。具体的には、耳装着装置20は、図2の外耳の断面図(耳介、外耳道、鼓膜を示す図)に示すように、外耳道に装着して用いる装置である。耳装着装置20としては、例えば、マイクロホン付のイヤホンなどが考えられる。
 なお、耳装着装置20の構成は、図2に示した構成に限定されるものではなく、音響信号に対する反響音信号を計測できる構成であればよい。
 検査音信号再生部21(音響信号出力部)は、検査電気信号生成部11で生成された音響信号に対応する電気信号を受信すると、受信した電気信号に基づいて音響信号を生成し、生成した音響信号を外耳道に出力する。なお、検査音信号再生部21は、例えば、スピーカなどが考えられる。
 反響音信号録音部22(音響信号入力部)は、検査電気信号生成部11から出力された音響信号に対する反響音信号を入力すると、反響音信号を、電気信号に変換して反響電気信号取得部12へ送信する。なお、反響音信号録音部22は、例えば、マイクロホンなどが考えられる。
 出力装置30は、出力情報生成部13により、出力可能な形式に変換された、後述する出力情報を取得し、その出力情報に基づいて、生成した画像及び音声などを出力する。出力装置30は、例えば、液晶、有機EL(Electro Luminescence)、CRT(Cathode Ray Tube)を用いた画像表示装置などである。更に、画像表示装置は、スピーカなどの音声出力装置などを備えていてもよい。なお、出力装置30は、プリンタなどの印刷装置でもよい。
 検査電気信号生成部11は、音響信号を出力するために用いる電気信号を生成し、検査音信号再生部21へ送信する。具体的には、検査電気信号生成部11は、音響信号に対応する電気信号として、M系列信号(Maximal Length Sequence)、TSP(Time Stretched Pulse)信号、Log-TSP信号などを生成する。また、検査電気信号生成部11は、音響信号に対応する電気信号を生成部2へ送信する。
 なお、音響信号には、スイープ信号、音楽、ガイド音声などを含めてもよい。また、音響信号で用いる周波数は、対象とする器官に応じて設定する。例えば、声道・気道などを対象とする場合には、音響信号の周波数帯は100[Hz]から4k[Hz]とすることが望ましい。ただし、この周波数帯に限定されるものではない。
 ここで、声道(構音器官)とは、例えば、声の通る道で、声帯より発せられた音が、体外に放出されるまでの間に通過してくる、体内の空洞である。気道(発生器官)は、例えば、呼吸音の通る道で、外呼吸に関与し、上気道(鼻腔、咽頭、喉頭など)と下気道(気管、主気管支、肺など)から構成される
 反響電気信号取得部12は、反響音信号に対応する電気信号を反響音信号録音部22から受信し、受信した電気信号を調整して、生成部2へ送信する。具体的には、反響電気信号取得部12は、受信した電気信号をフィルタ、増幅器などを有する回路を用いて調整をし、調整した電気信号を生成部2へ送信する。
 生成部2は、音響信号x(t)に対応する電気信号と、反響音信号y(t)に対応する電気信号とを用いて、音響特性を表す音響特性情報を生成する。音響特性としては、例えば、インパルス応答h(t)、又はインパルス応答をフーリエ変換又はラプラス変換した伝達関数H(ω)又はH(z)などを用いる。
 具体的には、生成部2は、まず、検査電気信号生成部11から音響信号x(t)に対応する電気信号を受信する。また、生成部2は、反響電気信号取得部12から反響音信号y(t)に対応する電気信号を受信する。続いて、生成部2は、受信した音響信号x(t)と反響音信号y(t)とに対応する電気信号それぞれに基づいて、音響特性情報(インパルス応答h(t)又は伝達関数H(ω)又はH(z)など)を生成する。
 続いて、生成部2は、音響特性情報を不図示の記憶部に記憶する。なお、記憶部は、属性推定装置1の内部に設けてもよいし、外部に設けてもよい。
 反響音信号y(t)には、対象者の器官の状態に応じた変化(反射率・減衰率などの変化)が反映されているので、インパルス応答h(t)又は伝達関数H(ω)又はH(z)などの音響特性情報を生成することで、体内の器官の状態に関連する情報を抽出できる。なお、反射率は、入力に対して反射した割合であり、減衰率は、単位時間もしくは単位周期に減衰する割合である。
 なお、反響音信号には、例えば、頭部から肺にかけての空間(外耳道及び声道・気道)から戻ってきた音響信号が含まれる。
 推定部3は、音響特性情報を用いて、外耳道の形状、声道の形状、気道の形状を推定し、推定した外耳道の形状、声道の形状、気道の形状を用いて属性を推定する。属性は、例えば、性別、年齢、身長、体重、体格などである。
 具体的には、推定部3は、音響特性情報を用いて、外耳道、声道、気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した共鳴周波数情報を用いて、外耳道の形状、声道の形状、気道の形状を推定する。
 更に、推定部3は、共鳴周波数情報それぞれについて減衰係数を算出し、共鳴周波数情報と減衰係数とを用いて、外耳道の形状、声道の形状、気道の形状を推定してもよい。
 推定部3(算出部14、属性推定部15)について具体的に説明する。
 算出部14は、音響特性情報を用いて、器官の種類ごとに、共鳴周波数(周波数特性におけるピーク値をとる周波数)を表す情報を有する共鳴周波数情報を算出する。
 図3は、共鳴周波数の一例を示す図である。図3は、共鳴周波数情報に含まれる共鳴周波数f1、f2、f3を示している。
 共鳴周波数の算出について説明する。
 算出部14は、まず、生成部2から音響特性情報を取得する。続いて、算出部14は、音響特性を用いて、外耳道、声道、気道に関する共鳴周波数を算出する。算出部14は、例えば、線形予測符号化(LPC:Linear Predictive Coding)などを採用して、共鳴周波数を算出する。その後、算出部14は、共鳴周波数を表す共鳴周波数情報を生成して、生成した共鳴周波数情報を記憶部に記憶する。なお、共鳴周波数の算出方法は、線形予測符号化に限定されず、共鳴周波数が算出できる方法であればよい。
 図4は、共鳴周波数情報のデータ構造の一例を示す図である。図4の共鳴周波数情報41は、算出部14が算出した、外耳道に対応する共鳴周波数f1、声道に対応する共鳴周波数f2、気道に対応する共鳴周波数f3を有する。
 例えば、外耳道の長さが約2.8[cm]、声道の長さが約8.5[cm]、気道の長さが約17.0[cm]、音速を340[m/sec]である場合、共鳴周波数f1は6k[Hz]付近に現れ、共鳴周波数f2は1k[Hz]付近に現れ、共鳴周波数f3は500[Hz]付近に現れる。
 その理由は、気柱管共鳴モデルにおいて、共鳴周波数は、短い管ほど高い周波数となり、長い間ほど低い周波数となるからである。
 属性推定部15は、算出した共鳴周波数情報を用いて、属性を推定する。具体的には、属性推定部15は、まず、生成した共鳴周波数情報を取得する。続いて、属性推定部15は、取得した共鳴周波数情報(器官ごとの共鳴周波数f1からf3)を入力とし、属性を推定する学習モデルを用いて、例えば、性別、年齢、身長、体重、体格などの属性を推定する。その後、属性推定部15は、推定した属性を表す情報を出力情報生成部13に送信する。
 図5は、学習モデルの説明をするための図である。図5に示すように、属性推定部15に、外耳道に対応する共鳴周波数f1、声道に対応する共鳴周波数f2、気道に対応する共鳴周波数f3を学習モデルに入力して、推定結果である属性を得る。
 学習モデルは、例えば、識別問題として属性を推定する場合には、SVM(Support Vector Machine)を用い、回帰問題として属性を推定する場合には、SVR(Support Vector Regression)を用いることが考えられる。
 更に、SVMを用いた学習モデルは、性別(男女)、年代(10代未満、10代、20代など)などの判定に好適である。また、SVRを用いた学習モデルは、年齢、身長、体重、体格などの判定に好適である。ただし、学習モデルは、SVM、SVRに限定されるものではない。
 なお、学習モデルは、学習フェーズにおいて、教師ありデータを用いて、あらかじめ学習をして生成する。
 出力情報生成部13は、属性推定部15から属性を表す情報を取得すると、当該情報に基づいて出力情報を生成して、出力情報を出力装置30へ送信する。出力装置30は、出力情報に基づいて、対象者の属性を出力する。
[変形例]
 変形例について説明する。変形例では、共鳴周波数と、共鳴周波数に対応する減衰係数とを用いて属性を推定する。そうすることで、更に、推定できる属性を増やすことができる。
 例えば、減衰係数が大きい場合には、対象者は痩せている可能性が高いことが知られている。その理由は、減衰係数が大きい場合、減衰は遅くなるので、音響信号が硬い面で反射していると推定される。すなわち、対象者は脂肪、筋肉に比べ骨の割合が多いということになるので、痩せている可能性が高いと推定できる。
 変形例における算出部14について説明する。
 算出部14は、音響特性情報を用いて、器官の種類ごとに、共鳴周波数と減衰係数とを含む共鳴周波数情報を算出する。具体的には、算出部14は、共鳴周波数と、共鳴周波数それぞれに対応する減衰係数とを算出する。減衰係数としては、例えば、減衰比(ダンピングファクタ)、対数減衰率、損失係数、Q値などを算出して用いることが考えられる。
 図6は、変形例における共鳴周波数情報のデータ構造の一例を示す図である。図6の共鳴周波数情報には、共鳴周波数f1、f2、f3それぞれに、減衰係数を表す情報D1、D2、D3が関連付けられている。
 変形例における属性推定部15について説明する。
 属性推定部15は、算出した減衰係数を有する共鳴周波数情報を用いて、属性を推定する。具体的には、属性推定部15は、まず、生成した減衰係数を有する共鳴周波数情報を取得する。
 続いて、属性推定部15は、図6に示すような共鳴周波数情報を入力とし、属性を推定する学習モデルを用いて、例えば、性別、年齢、身長、体重、体格などの属性を推定する。その後、属性推定部15は、推定した属性を表す情報を出力情報生成部13に送信する。
 図7は、学習モデルの説明をするための図である。図7に示すように、属性推定部15に、外耳道に対応する共鳴周波数f1、減衰係数D1と、声道に対応する共鳴周波数f2、減衰係数D2と、気道に対応する共鳴周波数f3、減衰係数D3とを学習モデルに入力して、推定結果である属性を得る。
[装置動作]
 次に、本発明の実施の形態における属性推定装置の動作について図8を用いて説明する。図8は、属性推定装置の動作の一例を示す図である。以下の説明においては、適宜図2から図7を参照する。また、本実施の形態では、属性推定装置を動作させることによって、属性推定方法が実施される。よって、本実施の形態における属性推定方法の説明は、以下の属性推定装置の動作説明に代える。
 図8に示すように、最初に、検査音信号再生部21は、検査電気信号生成部11で生成された音響信号に対応する電気信号を受信すると、受信した電気信号に基づいて音響信号を生成し、生成した音響信号を外耳道に出力する(ステップA1)。
 続いて、反響音信号録音部22は、検査電気信号生成部11から出力された音響信号に対する反響音信号を入力(計測)する(ステップA2)。その後、反響音信号録音部22は、受信した反響音信号を、電気信号に変換して反響電気信号取得部12へ送信する。
 続いて、生成部2は、音響信号x(t)に対応する電気信号と、反響音信号y(t)に対応する電気信号とを用いて、音響特性を表す音響特性情報を生成する(ステップA3)。音響特性としては、例えば、インパルス応答h(t)、又はインパルス応答をフーリエ変換又はラプラス変換した伝達関数H(ω)又はH(z)などを用いる。
 具体的には、ステップA3において、生成部2は、まず、検査電気信号生成部11から音響信号x(t)に対応する電気信号を受信する。また、生成部2は、反響電気信号取得部12から反響音信号y(t)に対応する電気信号を受信する。
 続いて、ステップA3において、生成部2は、受信した音響信号x(t)と反響音信号y(t)とに対応する電気信号それぞれに基づいて、音響特性情報(インパルス応答h(t)又は伝達関数H(ω)又はH(z)など)を生成する。そして、ステップA3において、生成部2は、音響特性情報を不図示の記憶部に記憶する。
 続いて、算出部14は、音響特性情報を用いて、器官の種類ごとに、共鳴周波数を表す共鳴周波数情報を算出する(ステップA4)。
 ステップA4における共鳴周波数の算出について説明する。
 ステップA4において、算出部14は、まず、生成部2から音響特性情報を取得する。続いて、算出部14は、音響特性を用いてスペクトル分析をして、対象者に関する共鳴周波数を算出する。算出部14は、例えば、線形予測符号化(LPC:Linear Predictive Coding)などを採用して、共鳴周波数を算出する。その後、ステップA4において、算出部14は、共鳴周波数を表す共鳴周波数情報を生成して、生成した共鳴周波数情報を記憶部に記憶する。なお、共鳴周波数の算出方法は、線形予測符号化に限定されず、共鳴周波数が算出できる方法であればよい。
 続いて、属性推定部15は、算出した共鳴周波数情報を用いて、属性を推定する(ステップA5)。具体的には、ステップA5において、属性推定部15は、まず、生成した共鳴周波数情報を取得する。
 続いて、ステップA5において、属性推定部15は、取得した共鳴周波数情報(器官ごとの共鳴周波数f1からf3)を入力とし、属性を識別する学習モデルを用いて、例えば、性別、年齢、身長、体重、体格などの属性を推定する。
 その後、ステップA5において、属性推定部15は、推定した属性を表す情報を出力情報生成部13に送信する。
 続いて、出力情報生成部13は、属性推定部15から属性を表す情報を取得すると、当該情報に基づいて出力情報を生成する(ステップA6)。そして、出力情報生成部13は、出力情報を出力装置30へ送信する。続いて、出力装置30は、出力情報に基づいて、対象者の属性を出力する(ステップA7)。
[変形例]
 変形例の動作について説明する。変形例では、共鳴周波数と、共鳴周波数に対応する減衰係数とを用いて属性を推定する。そうすることで、更に、推定できる属性を増やすことができる。
 変形例における算出部14について説明する。
 ステップA4において、算出部14は、音響特性情報を用いて、器官の種類ごとに、共鳴周波数と減衰係数とを含む共鳴周波数情報を算出する。具体的には、ステップA4において、算出部14は、共鳴周波数と、共鳴周波数それぞれに対応する減衰係数とを算出する。減衰係数としては、例えば、減衰比(ダンピングファクタ)、対数減衰率、損失係数、Q値などを算出して用いることが考えられる。
 変形例における属性推定部15について説明する。
 ステップA5において、属性推定部15は、算出した減衰係数を有する共鳴周波数情報を用いて、属性を推定する。具体的には、ステップA5において、属性推定部15は、まず、生成した減衰係数を有する共鳴周波数情報を取得する。
 続いて、ステップA5において、属性推定部15は、図6に示すような共鳴周波数情報を入力とし、属性を識別する学習モデルを用いて、例えば、性別、年齢、身長、体重、体格などの属性を推定する。その後、ステップA5において、属性推定部15は、推定した属性を表す情報を出力情報生成部13に送信する。
[本実施の形態の効果]
 以上のように本実施の形態によれば、対象となる利用者の外耳道に出力された音響信号x(t)と、体内の器官の状態が反映された反響音信号y(t)とを用いて、インパルス応答h(t)又は伝達関数H(z)などの音響特性情報を用いて生成する。そのため、音響特性情報から体内の器官の状態を推定できるので、対象者の性別、年齢、身長、体重、体格などの属性を推定できる。
 また、本実施の形態を用いることにより対象者の属性が推定できるため、犯罪捜査、マーケティングなどの分野において有用である。
[プログラム]
 本発明の実施の形態におけるプログラムは、コンピュータに、図8に示すステップA1からA8を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における属性推定装置と属性推定方法とを実現することができる。この場合、コンピュータのプロセッサは、生成部2、推定部3(算出部14、属性推定部15)、出力情報生成部13として機能し、処理を行なう。
 また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、生成部2、推定部3(算出部14、属性推定部15)、出力情報生成部13のいずれかとして機能してもよい。
[物理構成]
 ここで、実施の形態におけるプログラムを実行することによって、属性推定装置を実現するコンピュータについて図9を用いて説明する。図9は、本発明の実施の形態における属性推定装置を実現するコンピュータの一例を示すブロック図である。
 図9に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていてもよい。
 CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。
 また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
 データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
 また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)などの汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)などの磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体があげられる。
 なお、本実施の形態における属性推定装置1は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、属性推定装置1は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
[付記]
 以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する(付記1)から(付記16)により表現することができるが、以下の記載に限定されるものではない。
(付記1)
 外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成部と、
 前記音響特性情報を用いて属性を推定する、推定部と、
 を有することを特徴とする属性推定装置。
(付記2)
 付記1に記載の属性推定装置であって、
 前記推定部は、前記音響特性情報を用いて、前記外耳道の形状、声道の形状、気道の形状を推定し、推定した前記外耳道の形状、前記声道の形状、前記気道の形状を用いて前記属性を推定する
 ことを特徴とする属性推定装置。
(付記3)
 付記2に記載の属性推定装置であって、
 前記推定部は、前記音響特性情報を用いて、前記外耳道、前記声道、前記気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した前記共鳴周波数情報を用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
 ることを特徴とする属性推定装置。
(付記4)
 付記3に記載の属性推定装置であって、
 前記推定部は、前記共鳴周波数情報それぞれについて減衰係数を算出し、前記共鳴周波数情報と前記減衰係数とを用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
 ことを特徴とする属性推定装置。
(付記5)
 付記1から4のいずれか一つに記載の属性推定装置であって、
 前記属性は、少なくとも性別、年齢、身長、体重、体格のいずれか一つ以上である
 ことを特徴とする属性推定装置。
(付記6)
 付記1から5のいずれか一つに記載の属性推定装置であって、
 前記外耳道に前記第一の音響信号を出力する、音響信号出力部と、
 前記第二の音響信号を入力する、音響信号入力部と、
 を有することを特徴とする属性推定装置。
(付記7)
(a)外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
(b)前記音響特性情報を用いて属性を推定する、ステップと、
 を有することを特徴とする属性推定方法。
(付記8)
 付記7に記載の属性推定方法であって、
 前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道の形状、声道の形状、気道の形状を推定し、推定した前記外耳道の形状、前記声道の形状、前記気道の形状を用いて前記属性を推定する
 ことを特徴とする属性推定方法。
(付記9)
 付記8に記載の属性推定方法であって、
 前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道、前記声道、前記気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した前記共鳴周波数情報を用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
 ることを特徴とする属性推定方法。
(付記10)
 付記9に記載の属性推定方法であって、
 前記(b)のステップにおいて、前記共鳴周波数情報それぞれについて減衰係数を算出し、前記共鳴周波数情報と前記減衰係数とを用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
 ことを特徴とする属性推定方法。
(付記11)
 付記7から10のいずれか一つに記載の属性推定方法であって、
 前記属性は、少なくとも性別、年齢、身長、体重、体格のいずれか一つ以上である
 ことを特徴とする属性推定方法。
(付記12)
 コンピュータに、
(a)外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
(b)前記音響特性情報を用いて属性を推定する、ステップと、
 を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記13)
 付記12に記載のコンピュータ読み取り可能な記録媒体であって、
 前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道の形状、声道の形状、気道の形状を推定し、推定した前記外耳道の形状、前記声道の形状、前記気道の形状を用いて前記属性を推定する
 ことを特徴とするコンピュータ読み取り可能な記録媒体。
(付記14)
 付記13に記載のコンピュータ読み取り可能な記録媒体であって、
 前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道、前記声道、前記気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した前記共鳴周波数情報を用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
 ことを特徴とするコンピュータ読み取り可能な記録媒体。
(付記15)
 付記14に記載のコンピュータ読み取り可能な記録媒体であって、
 前記(b)のステップにおいて、前記共鳴周波数情報それぞれについて減衰係数を算出し、前記共鳴周波数情報と前記減衰係数とを用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
 ことを特徴とするコンピュータ読み取り可能な記録媒体。
(付記16)
 付記12から15のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
 前記属性は、少なくとも性別、年齢、身長、体重、体格のいずれか一つ以上である
 ことを特徴とするコンピュータ読み取り可能な記録媒体。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 以上のように本発明によれば、反響音信号を用いて対象者の属性を推定できる。本発明は、犯罪捜査、マーケティングなどの分野において有用である。
  1 属性推定装置
  2 生成部
  3 推定部
 11 検査電気信号生成部
 12 反響電気信号取得部
 13 出力情報生成部
 14 算出部
 15 属性推定部
 20 耳装着装置
 21 検査音信号再生部
 22 反響音信号録音部
 30 出力装置
 41、61 共鳴周波数情報
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (16)

  1.  外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、生成手段と、
     前記音響特性情報を用いて属性を推定する、推定手段と、
     を有することを特徴とする属性推定装置。
  2.  請求項1に記載の属性推定装置であって、
     前記推定手段は、前記音響特性情報を用いて、前記外耳道の形状、声道の形状、気道の形状を推定し、推定した前記外耳道の形状、前記声道の形状、前記気道の形状を用いて前記属性を推定する
     ことを特徴とする属性推定装置。
  3.  請求項2に記載の属性推定装置であって、
     前記推定手段は、前記音響特性情報を用いて、前記外耳道、前記声道、前記気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した前記共鳴周波数情報を用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
     ることを特徴とする属性推定装置。
  4.  請求項3に記載の属性推定装置であって、
     前記推定手段は、前記共鳴周波数情報それぞれについて減衰係数を算出し、前記共鳴周波数情報と前記減衰係数とを用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
     ことを特徴とする属性推定装置。
  5.  請求項1から4のいずれか一つに記載の属性推定装置であって、
     前記属性は、少なくとも性別、年齢、身長、体重、体格のいずれか一つ以上である
     ことを特徴とする属性推定装置。
  6.  請求項1から5のいずれか一つに記載の属性推定装置であって、
     前記外耳道に前記第一の音響信号を出力する、音響信号出力手段と、
     前記第二の音響信号を入力する、音響信号入力手段と、
     を有することを特徴とする属性推定装置。
  7. (a)外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
    (b)前記音響特性情報を用いて属性を推定する、ステップと、
     を有することを特徴とする属性推定方法。
  8.  請求項7に記載の属性推定方法であって、
     前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道の形状、声道の形状、気道の形状を推定し、推定した前記外耳道の形状、前記声道の形状、前記気道の形状を用いて前記属性を推定する
     ことを特徴とする属性推定方法。
  9.  請求項8に記載の属性推定方法であって、
     前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道、前記声道、前記気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した前記共鳴周波数情報を用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
     ることを特徴とする属性推定方法。
  10.  請求項9に記載の属性推定方法であって、
     前記(b)のステップにおいて、前記共鳴周波数情報それぞれについて減衰係数を算出し、前記共鳴周波数情報と前記減衰係数とを用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
     ことを特徴とする属性推定方法。
  11.  請求項7から10のいずれか一つに記載の属性推定方法であって、
     前記属性は、少なくとも性別、年齢、身長、体重、体格のいずれか一つ以上である
     ことを特徴とする属性推定方法。
  12.  コンピュータに、
    (a)外耳道に出力された第一の音響信号と、前記第一の音響信号が体内で反響した第二の音響信号とを用いて、音響特性を表す音響特性情報を生成する、ステップと、
    (b)前記音響特性情報を用いて属性を推定する、ステップと、
     を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  13.  請求項12に記載のコンピュータ読み取り可能な記録媒体であって、
     前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道の形状、声道の形状、気道の形状を推定し、推定した前記外耳道の形状、前記声道の形状、前記気道の形状を用いて前記属性を推定する
     ことを特徴とするコンピュータ読み取り可能な記録媒体。
  14.  請求項13に記載のコンピュータ読み取り可能な記録媒体であって、
     前記(b)のステップにおいて、前記音響特性情報を用いて、前記外耳道、前記声道、前記気道それぞれについて共鳴周波数を表す共鳴周波数情報を算出し、算出した前記共鳴周波数情報を用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
     ことを特徴とするコンピュータ読み取り可能な記録媒体。
  15.  請求項14に記載のコンピュータ読み取り可能な記録媒体であって、
     前記(b)のステップにおいて、前記共鳴周波数情報それぞれについて減衰係数を算出し、前記共鳴周波数情報と前記減衰係数とを用いて、前記外耳道の形状、前記声道の形状、前記気道の形状を推定する
     ことを特徴とするコンピュータ読み取り可能な記録媒体。
  16.  請求項12から15のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
     前記属性は、少なくとも性別、年齢、身長、体重、体格のいずれか一つ以上である
     ことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2019/007920 2019-02-28 2019-02-28 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体 WO2020174682A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/007920 WO2020174682A1 (ja) 2019-02-28 2019-02-28 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体
JP2021501514A JP7147954B2 (ja) 2019-02-28 2019-02-28 属性推定装置、属性推定方法、及びプログラム
CN201980092988.XA CN113490453A (zh) 2019-02-28 2019-02-28 属性估计装置、属性估计方法和计算机可读记录介质
EP19916860.0A EP3932306A4 (en) 2019-02-28 2019-02-28 ATTRIBUTE ESTIMATION DEVICE, ATTRIBUTE ESTIMATION METHOD AND COMPUTER READABLE RECORDING MEDIUM
US17/433,704 US20220151514A1 (en) 2019-02-28 2019-02-28 Attribute estimation apparatus, attribute estimation method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007920 WO2020174682A1 (ja) 2019-02-28 2019-02-28 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2020174682A1 true WO2020174682A1 (ja) 2020-09-03

Family

ID=72238264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007920 WO2020174682A1 (ja) 2019-02-28 2019-02-28 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (1) US20220151514A1 (ja)
EP (1) EP3932306A4 (ja)
JP (1) JP7147954B2 (ja)
CN (1) CN113490453A (ja)
WO (1) WO2020174682A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504201A (ja) * 1994-06-06 1998-04-28 ユニヴァーシティ オブ ワシントン 音響反射率測定のためのシステムおよび方法
JP2004065363A (ja) * 2002-08-02 2004-03-04 Sony Corp 個人認証装置と個人認証方法、及び信号伝送装置
JP2009509575A (ja) * 2005-09-22 2009-03-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響的外耳特徴付けのための方法及び装置
JP2010152866A (ja) 2008-12-23 2010-07-08 Korea Electronics Telecommun 音声及び映像に基づく性別−年齢識別方法及びその装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5819908Y2 (ja) * 1979-03-09 1983-04-23 株式会社パイロット 振動ピックアップ型イヤ−マイクロホン
US5699809A (en) * 1985-11-17 1997-12-23 Mdi Instruments, Inc. Device and process for generating and measuring the shape of an acoustic reflectance curve of an ear
JPH10234678A (ja) * 1997-02-28 1998-09-08 Minolta Co Ltd 体温計および体温計の交換プローブ
US8182431B2 (en) * 2007-03-12 2012-05-22 Mimosa Acoustics, Inc. System and method for calibrating and determining hearing status
WO2010090175A1 (ja) * 2009-02-05 2010-08-12 国立大学法人大阪大学 入力デバイス、ウェアラブルコンピュータ、及び入力方法
US10460095B2 (en) * 2016-09-30 2019-10-29 Bragi GmbH Earpiece with biometric identifiers
EP3646615A4 (en) * 2017-06-26 2021-04-21 Ecole de Technologie Supérieure SYSTEM, DEVICE AND METHOD FOR EVALUATING THE FIT QUALITY OF AN EARPIECE
CN108900694A (zh) * 2018-05-28 2018-11-27 Oppo广东移动通信有限公司 耳纹信息获取方法和装置、终端、耳机及可读存储介质
CN109391870B (zh) * 2018-11-10 2021-01-15 上海麦克风文化传媒有限公司 一种基于人体运动状态自调节耳机音频信号播放的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504201A (ja) * 1994-06-06 1998-04-28 ユニヴァーシティ オブ ワシントン 音響反射率測定のためのシステムおよび方法
JP2004065363A (ja) * 2002-08-02 2004-03-04 Sony Corp 個人認証装置と個人認証方法、及び信号伝送装置
JP2009509575A (ja) * 2005-09-22 2009-03-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響的外耳特徴付けのための方法及び装置
JP2010152866A (ja) 2008-12-23 2010-07-08 Korea Electronics Telecommun 音声及び映像に基づく性別−年齢識別方法及びその装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JEN-FANG YU ET AL.: "Anthropometry of external auditory canal by non-contactable measurement", APPLIED ERGONOMICS, vol. 50, 2015, pages 50 - 55, XP029222476, DOI: 10.1016/j.apergo.2015.01.008 *
See also references of EP3932306A4

Also Published As

Publication number Publication date
JPWO2020174682A1 (ja) 2021-12-16
EP3932306A4 (en) 2022-03-09
US20220151514A1 (en) 2022-05-19
EP3932306A1 (en) 2022-01-05
JP7147954B2 (ja) 2022-10-05
CN113490453A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
JP5000647B2 (ja) 音声状態モデルを使用したマルチセンサ音声高品質化
Tang et al. Scene-aware audio rendering via deep acoustic analysis
CN114999441A (zh) 虚拟形象生成方法、装置、设备、存储介质以及程序产品
US9401684B2 (en) Methods, systems, and computer readable media for synthesizing sounds using estimated material parameters
WO2020174682A1 (ja) 属性推定装置、属性推定方法、及びコンピュータ読み取り可能な記録媒体
JP6891144B2 (ja) 生成装置、生成方法及び生成プログラム
WO2023141565A1 (en) Data augmentation system and method for multi-microphone systems
Akafi et al. Assessment of hypernasality for children with cleft palate based on cepstrum analysis
Deng et al. Modeling the influence of COVID-19 protective measures on the mechanics of phonation
JP4586675B2 (ja) 声道断面積関数の推定装置及びコンピュータプログラム
US11984136B2 (en) Emotion estimation apparatus, emotion estimation method, and computer readable recording medium
JP2004274234A (ja) 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体
JP7099615B2 (ja) 状態推定装置、状態推定方法、及びプログラム
JP4877113B2 (ja) 音響モデル処理装置およびプログラム
JP7397801B2 (ja) 呼吸障害を有する被験者を検出する装置及び呼吸障害を有する被験者を検出する装置の作動方法
WO2020217494A1 (ja) フィッティング支援装置、フィッティング支援方法、及びコンピュータ読み取り可能な記録媒体
CN113066472A (zh) 合成语音处理方法及相关装置
US12033614B2 (en) System and method for secure data augmentation for speech processing systems
US20240005937A1 (en) Audio signal processing method and system for enhancing a bone-conducted audio signal using a machine learning model
US20230410789A1 (en) System and Method for Secure Data Augmentation for Speech Processing Systems
JP7248913B2 (ja) 音声情報生成プログラム、音声再生プログラム、および音声再生装置
JP2005189483A (ja) 声質モデル生成方法、声質変換方法、並びにそれらのためのコンピュータプログラム、当該プログラムを記録した記録媒体、及び当該プログラムによりプログラムされたコンピュータ
JP2009020352A (ja) 音声処理装置およびプログラム
WO2023141564A1 (en) Data augmentation system and method for multi-microphone systems
WO2023141557A1 (en) Data augmentation system and method for multi-microphone systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916860

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501514

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019916860

Country of ref document: EP

Effective date: 20210928