WO2019244298A1 - 属性識別装置、属性識別方法、およびプログラム記録媒体 - Google Patents

属性識別装置、属性識別方法、およびプログラム記録媒体 Download PDF

Info

Publication number
WO2019244298A1
WO2019244298A1 PCT/JP2018/023594 JP2018023594W WO2019244298A1 WO 2019244298 A1 WO2019244298 A1 WO 2019244298A1 JP 2018023594 W JP2018023594 W JP 2018023594W WO 2019244298 A1 WO2019244298 A1 WO 2019244298A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
attribute information
value
information
speaker
Prior art date
Application number
PCT/JP2018/023594
Other languages
English (en)
French (fr)
Inventor
山本　仁
孝文 越仲
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP18923160.8A priority Critical patent/EP3813061A4/en
Priority to PCT/JP2018/023594 priority patent/WO2019244298A1/ja
Priority to US17/253,763 priority patent/US20210264939A1/en
Priority to JP2020525165A priority patent/JP7160095B2/ja
Publication of WO2019244298A1 publication Critical patent/WO2019244298A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • the present invention relates to an attribute identification device, an attribute identification method, and a program recording medium.
  • this type of voice processing device may estimate the attribute information as a discrete value or may estimate the attribute information as a continuous value.
  • Patent Document 1 describes a technique for estimating age as an attribute of a person from a face image signal.
  • the age estimation technique described in Patent Literature 1 first estimates age as a discrete value from a face image signal, and estimates age as a continuous value. Then, the age estimation technique described in Patent Literature 1 calculates a final estimated value by integrating the estimation results of the discrete value and the continuous value.
  • Patent Document 1 has a problem that the identification accuracy of the attribute of a person is not sufficient.
  • the technique described in Patent Document 1 estimates a discrete value of a first estimated value and a continuous value of a second estimated value when estimating age as an attribute of a person from a face image signal. To calculate a final estimated value.
  • the technique described in Patent Literature 1 independently obtains a first estimated value and a second estimated value. For this reason, the first estimated value and the second estimated value may be significantly different. In such a case, even after integration, the two estimated values are promising and it is difficult to narrow down to one estimated value. Therefore, there is a possibility that the age identification accuracy may be impaired.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an attribute identification device, an attribute identification method, and a program recording medium that further enhance the accuracy of attribute identification of a person.
  • An attribute identification device is based on a biological signal, a first attribute identification unit that identifies first attribute information that is a value range of a specific attribute from the biological signal, and the biological signal and Second attribute identifying means for identifying second attribute information, which is specific attribute information, from the first attribute information.
  • the attribute identification method based on a biological signal, identifies first attribute information that is a range of a specific attribute value from the biological signal, from the biological signal and the first attribute information Identify second attribute information that is specific attribute information.
  • a program recording medium includes a process for identifying, based on a biological signal, first attribute information that is a value range of a specific attribute from the biological signal, and processing the biological signal and the first attribute.
  • an attribute identification device it is possible to provide an attribute identification device, an attribute identification method, and a program recording medium that further improve the accuracy of attribute identification of a person.
  • FIG. 2 is a block diagram illustrating a hardware configuration of a computer device that implements the device according to each embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a functional configuration of the audio processing device according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of first attribute information output by a first attribute identification unit of the audio processing device according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating another example of the second attribute identification unit of the audio processing device according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating another example of the first attribute information output by the first attribute identification unit of the audio processing device according to the first embodiment of the present invention.
  • 4 is a flowchart illustrating an operation of the audio processing device according to the first embodiment of the present invention. It is a block diagram showing functional composition of an attribute discernment device concerning an embodiment of a minimum composition.
  • FIG. 1 is a block diagram showing a hardware configuration of a computer device 10 for realizing a voice processing device and a voice processing method in each embodiment of the present invention.
  • each component of the audio processing device described below indicates a block of a functional unit.
  • Each component of the audio processing device can be realized by, for example, an arbitrary combination of a computer device 10 and software as shown in FIG.
  • the computer device 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, a storage device 14, an input / output interface 15, and a bus 16.
  • a processor 11 a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, a storage device 14, an input / output interface 15, and a bus 16.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the storage device 14 stores the program 18.
  • the processor 11 uses the RAM 12 to execute the program 18 according to the audio processing device.
  • the program 18 may be stored in the ROM 13. Further, the program 18 may be recorded on the recording medium 20 and read by the drive device 17, or may be transmitted from an external device via a network.
  • the input / output interface 15 exchanges data with peripheral devices (keyboard, mouse, display device, etc.) 19.
  • the input / output interface 15 can function as a unit for acquiring or outputting data.
  • the bus 16 connects each component.
  • each unit of the audio processing device can be realized as hardware (dedicated circuit).
  • the audio processing device can be realized by a combination of a plurality of devices.
  • a program that causes the configuration of each embodiment to operate so as to realize the functions of the present embodiment and other embodiments (more specifically, a program that causes a computer to execute the processing illustrated in FIG. 6 and the like) is recorded on a recording medium.
  • a processing method of reading a program recorded on the recording medium as a code and executing the program on a computer is also included in the scope of each embodiment. That is, a computer-readable recording medium is also included in the scope of each embodiment.
  • not only a recording medium on which the above-described program is recorded, but also the program itself is included in each embodiment.
  • a floppy (registered trademark) disk for example, a hard disk, an optical disk, a magneto-optical disk, a CD (Compact @ Disc) -ROM, a magnetic tape, a nonvolatile memory card, and a ROM can be used.
  • a program that executes processing by a single program recorded on the recording medium but also a program that operates on an OS (Operating @ System) to execute processing in cooperation with other software and functions of an extension board. Is also included in the category of each embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the audio processing device 100 according to the first embodiment.
  • the speech processing device 100 includes a speech section detection unit 110, a speaker feature calculation unit 120, a first attribute identification unit 130, and a second attribute identification unit 140.
  • the voice section detection unit 110 receives a voice signal from the outside.
  • the voice signal is a signal representing a voice based on the utterance of the speaker.
  • the acquired signal is not limited to a voice signal, and may be a biological signal emitted from the body due to a biological phenomenon such as a heartbeat, brain wave, pulse, respiration, or sweating.
  • the voice section detection unit 110 detects and segments voice sections included in the received voice signal. At this time, the voice section detection unit 110 may partition the voice signal into fixed lengths, or may partition the voice signal into different lengths. For example, the voice section detection unit 110 may determine a section in which the volume of the voice signal continues for a predetermined time and is smaller than a predetermined value as silence, and determine before and after the section as different voice sections to perform segmentation. . Then, speech section detection section 110 outputs a segmented speech signal, which is a segmentation result (processing result of speech section detection section 110), to speaker characteristic calculation section 120.
  • a segmentation result processing result of speech section detection section 110
  • the reception of the audio signal refers to, for example, reception of an audio signal from an external device or another processing device, or delivery of a processing result of the audio signal processing from another program.
  • the output is, for example, transmission to an external device or another processing device, or delivery of the processing result of the voice section detection unit 110 to another program.
  • the speaker characteristic calculation unit 120 receives the segmented speech signal from the speech section detection unit 110.
  • the speaker characteristic calculation unit 120 calculates a speaker characteristic expressing a characteristic of personality included in the segmented audio signal based on the received segmented audio signal.
  • speaker characteristic calculating section 120 outputs the calculated speaker characteristic (the processing result of speaker characteristic calculating section 120). That is, the speaker characteristic calculating unit 120 serves as a speaker characteristic calculating unit that calculates a speaker characteristic indicating a speaker's personality based on a voice signal representing a voice, which is a biological signal.
  • a speaker characteristic calculated for a certain audio signal is referred to as a speaker characteristic of the audio signal.
  • the speaker feature calculation unit 120 calculates a feature vector based on i-vector representing the individuality of the voice quality of the speaker, based on the segmented speech signal received from the speech section detection unit 110.
  • the speaker characteristic calculation unit 120 may use, for example, a method described in Non-Patent Document 1 as a method of calculating a feature vector based on i-vectors representing individuality of a speaker's voice quality.
  • the speaker feature calculated by the speaker feature calculation unit 120 may be a vector that can be calculated by performing a predetermined operation on the segmented speech signal, and may be any feature that indicates the individuality of the speaker. -Vector is one example.
  • the speaker feature calculation unit 120 calculates a feature vector representing a frequency analysis result of the audio signal based on the segmented audio signal received from the audio section detection unit 110.
  • the speaker feature calculating unit 120 obtains, for example, a frequency filter bank feature obtained by a fast Fourier transform process (FFT) and a filter bank process as a feature representing a frequency analysis result, and a discrete cosine transform process in addition thereto.
  • FFT fast Fourier transform process
  • MFCC mel frequency cepstrum coefficient
  • the first attribute identification unit 130 receives the speaker characteristics output by the speaker characteristic calculation unit 120.
  • the first attribute identification unit 130 estimates (identifies) specific attribute information using the speaker characteristics and outputs the information as first attribute information.
  • the specific attribute information may be, for example, information indicating the age group of the speaker.
  • the first attribute identification unit 130 serves as first attribute identification means for identifying first attribute information that is a value range of a specific attribute from the biological signal based on the biological signal. Note that the identification includes estimation of attribute values, classification based on a range of attribute values, and the like.
  • the first attribute identifying unit 130 may use, for example, a neural network (Neural @ Network) as an identifier.
  • the first attribute identification unit 130 may use a probability model such as a Gaussian mixture distribution or an identification model such as a linear discriminant analysis or a support vector machine as a classifier.
  • the discriminator of the first attribute discriminating unit 130 learns learning data in which a speaker feature relating to a speech signal is associated with a class (described later in detail) including a speaker attribute value.
  • a classifier is generated in which the input is a speaker characteristic and the output is a class (first attribute information).
  • the first attribute identifying unit 130 calculates attribute information to be output based on the input speaker characteristics and the weight coefficient of the neural network.
  • FIG. 3 is a diagram illustrating an example of the first attribute information output by the first attribute identification unit 130.
  • the first attribute identifying unit 130 determines a class based on a range of possible values of the attribute to be estimated, scores each class, and outputs a vector having the score as a value as first attribute information.
  • the score is a value indicating the correlation between the result calculated by the classifier and the attribute information to be estimated. That is, the score is a value indicating the likelihood of the estimation result calculated by the classifier.
  • the first attribute identification unit 130 determines a class based on a range of possible values of the attribute to be estimated.
  • the value of the attribute to be estimated is a natural number from “10” to “60”.
  • the first attribute identification unit 130 classifies the class including “10” to “20” into C1, the class including “21” to “40” into C2, and “41”.
  • a class including “60” is defined as C3.
  • the first attribute identification unit 130 scores each class calculated by the classifier, and outputs a vector having each score as a value as an estimated value of the classes C1 to C3. As illustrated in FIG.
  • the first attribute identifying unit 130 calculates the scores of the classes C1, C2, and C3 as 0.1, 0.7, and 0.2, respectively.
  • the first attribute identifying unit 130 may output a vector having a value of one class number as the estimated value.
  • the second attribute identifying unit 140 receives the speaker characteristics output by the speaker characteristic calculating unit 120 and the first attribute information output by the first attribute identifying unit 130.
  • the second attribute identification unit 140 estimates (identifies) specific attribute information (second attribute information) using the received speaker characteristics and the first attribute information.
  • the specific attribute information may be, for example, information indicating the age of the speaker.
  • the second attribute identification unit 140 serves as second attribute identification means for identifying second attribute information, which is specific attribute information, from the biological signal and the first attribute information.
  • the second attribute identification unit 140 may use, for example, a neural network as an identifier.
  • the discriminator of the second attribute discriminating unit 140 learns the learning data in which the speaker characteristics relating to the audio signal, the speaker attribute value, and the class including the attribute value are associated. Through the learning, an identifier is used as the speaker attribute and the first attribute information that is the output of the first attribute identification unit 130 that has input the speaker characteristic, and the output is the attribute information (attribute value) that is the estimation result. Is generated.
  • the second attribute identifying unit 140 calculates attribute information to be output based on the input including the speaker characteristics and the first attribute information and the weight coefficient of the neural network.
  • the second attribute identification unit 140 calculates the estimation result as a continuous value.
  • the second attribute identification unit 140 can improve the accuracy of attribute identification by using the first attribute information output by the first attribute identification unit 130 as an input.
  • the reason is that the second attribute identification unit 140 estimates attribute information using the result estimated by the first attribute identification unit 130 as prior information, so that the second attribute identification unit 140 estimates only from speaker features without prior information. Is also likely to output a value close to the true value.
  • the discriminator learns to minimize the residual at the learning stage. Almost biased toward the center of the whole. That is, when the true value is lower than the average value, it is easily estimated to be higher, and when the true value is higher than the average value, it is easily estimated to be lower.
  • the above-described bias can be reduced by using the range of the attribute value estimated by the first attribute identification unit 130 as the advance information.
  • the second attribute identification unit 140 may calculate the estimation result as a discrete value.
  • the second attribute identification unit 140 calculates a class whose value range is narrower (limited) than the class defined by the first attribute identification unit 130 as a discrete value estimation result.
  • the discriminator of the second attribute discriminating unit 140 previously learns learning data in which a speaker feature related to an input speech signal is associated with a class including a speaker attribute value.
  • the second attribute identifying unit 140 uses a class defined in a range narrower than the attribute value range defined by the first attribute identifying unit 130 for the learning data.
  • the second attribute identifying unit 140 determines the class in increments of, for example, “5” so that the range is narrower than “10”.
  • the second attribute identification unit 140 uses the class determined in this way for the learning data. Through the learning, a discriminator whose input is the speaker characteristic and the first attribute information which is the output of the first attribute discriminating unit 130 to which the speaker characteristic is input, and whose output is the attribute information (class) which is the estimation result, Generated.
  • the second attribute identifying unit 140 calculates the estimation result as a discrete value.
  • the second attribute identification section 140 may have a multi-stage configuration.
  • FIG. 4 is a diagram illustrating an example of the second attribute identification unit 140 having a multi-stage configuration. As shown in FIG. 4, the second attribute identification unit 140 may include a processing unit 141 that performs a discriminant analysis and a processing unit 142 that performs a regression analysis.
  • the second attribute identification unit 140 calculates a discrete value as a temporary estimated value (temporary attribute information) in the processing unit 141, and uses the temporary estimated value as a continuous value by the processing unit 142 as a continuous value. calculate.
  • the processing unit 141 learns learning data in which a speaker feature related to a voice signal is associated with a class including a speaker attribute value. Through learning, a classifier is generated in which the input is a speaker feature and the output of the first attribute identifying unit 130 that has input the speaker feature, and the output is a class (temporary estimated value). At this time, the processing unit 141 uses the speaker characteristics and the first attribute information to calculate the tentative estimated value indicated by, for example, a class of “5” as described above.
  • the processing unit 142 learns the learning data in which the speaker characteristics relating to the audio signal, the attribute value of the speaker, and the class including the attribute value are associated.
  • the input is a speaker characteristic
  • the output is the second attribute information (attribute value) which is the estimation result. Is generated.
  • the processing unit 142 calculates an estimated value of a continuous value using the speaker characteristics, the first attribute information, and the temporary estimated value output from the processing unit 141.
  • the processing unit 142 may calculate a class that is narrower than the attribute value range determined by the processing unit 141 as a discrete value using the tentative estimated value calculated by the processing unit 141 and output the class.
  • the second attribute identifying unit 140 estimates the class by defining the attribute value range to be narrower (fine) than the attribute value range determined by the first attribute identifying unit 130. Alternatively, the second attribute identification unit 140 estimates the attribute value as a continuous value. Therefore, it can be said that the second attribute identification unit 140 has a function of outputting a true value. Further, the speech processing device 100 includes a plurality of attribute identifying units, but the second attribute identifying unit 140 calculates a final estimated value, so that a single estimated value can be calculated. As described above, in the voice processing device 100, the second attribute identification unit 140 calculates the attribute information using the first attribute information output from the first attribute identification unit 130 in addition to the speaker characteristics. , It is possible to output a highly accurate attribute estimation result.
  • the first attribute identification unit 130 outputs one piece of attribute information.
  • the first attribute identification unit 130 may output a plurality of pieces of attribute information.
  • FIG. 5 is a diagram illustrating another example of the first attribute information output by the first attribute identification unit 130.
  • the first attribute identification unit 130 determines classes including ranges of values different from each other based on the range of possible values of the attribute to be estimated, calculates an estimated value for each class, and outputs May be.
  • the first attribute identifying unit 130 classifies classes including “10” to “30” into D1, “31” to “30” as ranges of values different from the above C1 to C3.
  • a class including "50” is defined as D2, and a class including "51” to "60” is defined as D3.
  • the classifier used by the first attribute classifier 130 is a neural network
  • the first attribute classifier has two output layers corresponding to classes C1 to C3 and classes D1 to D3, respectively. 130 may be configured.
  • the first attribute identifying unit 130 can improve the accuracy of attribute identification by determining a plurality of classes so that the range of possible values of the attribute to be estimated is different. For example, when identifying which of the above classes C1 to C3 the attribute value is included in, attention is paid to the class C2 including “21” to “40”. In this case, the identification accuracy of “21” and “40” near the boundary is lower than “30” near the center of the value range included in C2. That is, there is a possibility that "21” is identified as a class C1 and C2 and "40” is identified as an incorrect class among the classes C2 and C3.
  • classes D1 to D3 are separately defined as a range of values in which values close to the boundary such as “21” and “40” are close to the center. That is, the first attribute identification unit 130 divides the attribute value into two or more types so that the boundary value of the attribute value range is different, and identifies the attribute value range in each division. As a result, values near the boundaries in the classes C1 to C3 can be identified in the same manner as values near the center, so that identification accuracy can be improved.
  • the first attribute identification unit 130 roughly estimates the attribute value as the first attribute information
  • the second attribute identification unit 140 The value of the attribute is estimated in detail using one piece of attribute information.
  • the attribute value can be accurately estimated for the audio signal. That is, the speech processing device 100 according to the present embodiment can improve the accuracy of attribute identification of a person.
  • the voice processing device 100 receives one or more voice signals from the outside and provides the voice signal to the voice section detection unit 110.
  • the voice section detection unit 110 partitions the received voice signal, and outputs the partitioned voice signal to the speaker characteristic calculation unit 120 (Step S101).
  • the speaker characteristic calculating unit 120 calculates a speaker characteristic for each of the received one or more segmented audio signals (step S102).
  • the first attribute identification unit 130 identifies and outputs first attribute information based on the received one or more speaker characteristics (step S103).
  • the second attribute identifying unit 140 identifies and outputs the second attribute information based on the received one or more speaker characteristics and the first attribute information (Step S104).
  • the sound processing device 100 ends a series of processes.
  • the accuracy of attribute identification of a person can be improved. This is because the voice processing apparatus 100 uses the first attribute information roughly estimated by the first attribute identification unit 130 and the second attribute identification unit 140 estimates and outputs the attribute information in more detail. is there.
  • the estimated value is calculated with a certain accuracy regardless of the possible value of the attribute by the calculation method of calculating the attribute identification of the person while refining the attribute stepwise. You can ask.
  • the audio processing device 100 is an example of an attribute identification device that identifies specific attribute information from an audio signal.
  • the voice processing device 100 can be used as an age identification device.
  • the attribute information may be information indicating the gender of the speaker, information indicating the age group of the speaker, or information indicating the physique of the speaker.
  • the voice processing device 100 can be used as an emotion identification device when the specific attribute information is information indicating the emotion of the speaker when speaking. Further, the voice processing device 100 includes, for example, a voice search device including a mechanism for specifying a voice signal corresponding to a specific emotion based on emotion information estimated using emotion characteristics for a plurality of stored voice signals. Alternatively, it can be used as a part of an audio display device.
  • the emotion information includes, for example, information indicating an emotional expression, information indicating the character of the speaker, and the like.
  • FIG. 7 is a block diagram showing a functional configuration of the attribute identifying apparatus 100 according to the embodiment having the minimum configuration of the present invention.
  • the attribute identification device 100 includes a first attribute identification unit 130 and a second attribute identification unit 140.
  • the first attribute identifying unit 130 identifies, based on the biological signal, first attribute information that is a value range of a specific attribute from the biological signal.
  • the second attribute identification section 140 identifies second attribute information, which is specific attribute information, from the biological signal and the first attribute information.
  • the second attribute identifying unit 140 uses the first attribute information output by the first attribute identifying unit 130 as an input, and thus the attribute of the person is The effect that the accuracy of identification can be further improved is obtained.
  • the voice processing device and the like have the effect of increasing the accuracy of attribute identification of a person, and are useful as a voice processing device and the like and an attribute identification device.
  • REFERENCE SIGNS LIST 100 voice processing device 110 voice section detection unit 120 speaker characteristic calculation unit 130 first attribute identification unit 140 second attribute identification unit

Abstract

人物の属性識別の精度をより高めた属性識別装置、属性識別方法、およびプログラム記録媒体を提供することにある。　属性識別装置１００は、生体信号に基づき、上記生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別部１３０と、上記生体信号および上記第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別部１４０とを備える。

Description

属性識別装置、属性識別方法、およびプログラム記録媒体
　本発明は、属性識別装置、属性識別方法、およびプログラム記録媒体に関する。
　話者の発話から得られた音声信号等の生体信号から、人物の性別や年齢等の属性情報を推定する音声処理装置が知られている。
　この種の音声処理装置は、人物の属性情報を推定する際に、属性情報を離散値として推定する場合と、属性情報を連続値として推定する場合がある。
　特許文献１には、顔画像信号から人物の属性として年齢を推定する技術が記載されている。特許文献１に記載の年齢推定技術は、まず、顔画像信号から年齢を離散値として推定し、かつ、年齢を連続値として推定する。そして、特許文献１に記載の年齢推定技術は、上記の離散値および連続値の推定結果を統合することにより最終的な推定値を算出する。
特許第４２７３３５９号公報
Najim Dehak, Patrick Kenny, Reda Dehak, Pierre Dumouchel, Pierre Ouellet著、 "Front-End Factor Analysis for Speaker Verification"、IEEE Transaction on Audio, Speech and Language Processing、 第19巻、第4号、p.788-798、2011年
　しかしながら、特許文献１に記載の技術には、人物の属性の識別精度が十分でないという課題がある。
　特許文献１に記載の技術は、顔画像信号から人物の属性として年齢を推定する際に、離散値である第一の推定値と、連続値である第二の推定値をあらかじめ設計されたルールに基づいて統合して、最終的な推定値を算出する。特許文献１に記載の技術は、第一の推定値と第二の推定値を独立に求める。このため、第一の推定値と第二の推定値が大きく異なる場合があり、その場合には統合後も二つの推定値が有望となり一つの推定値に絞り込むことが難しい。したがって、年齢の識別精度を損なうおそれがある。
　本発明は、上記問題に鑑みてなされたものであり、その目的は、人物の属性識別の精度をより高めた属性識別装置、属性識別方法、およびプログラム記録媒体を提供することにある。
　本発明の一態様にかかる属性識別装置は、生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段と、前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段とを備える。
　本発明の一態様にかかる属性識別方法は、生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別し、前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する。
　本発明の一態様にかかるプログラム記録媒体は、生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する処理と、前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する処理とを、コンピュータに実行させるプログラムを記録する。
　本発明によれば、人物の属性識別の精度をより高めた属性識別装置、属性識別方法、およびプログラム記録媒体を提供することができる。
本発明の各実施形態における装置を実現するコンピュータ装置のハードウェア構成を示すブロック図である。 本発明の第１の実施形態における音声処理装置の機能構成を示すブロック図である。 本発明の第１の実施形態における音声処理装置の第一の属性識別部が出力する第一の属性情報の一例について説明する図である。 本発明の第１の実施形態における音声処理装置の第二の属性識別部の他の例を説明する図である。 本発明の第１の実施形態における音声処理装置の第一の属性識別部が出力する第一の属性情報の他の例について説明する図である。 本発明の第１の実施形態における音声処理装置の動作を示すフローチャートである。 最小構成の実施形態にかかる属性識別装置の機能構成を示すブロック図である。
　以下、本発明の実施形態について、図面を参照して説明する。なお、実施形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、図面における矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
＜第１の実施形態＞
　本発明の第１の実施形態および他の実施形態にかかる音声処理装置または属性識別装置を構成するハードウェアについて説明する。図１は、本発明の各実施形態における音声処理装置および音声処理方法を実現するコンピュータ装置１０のハードウェア構成を示すブロック図である。なお、本発明の各実施形態において、以下に示す音声処理装置の各構成要素は、機能単位のブロックを示している。音声処理装置の各構成要素は、例えば図１に示すようなコンピュータ装置１０とソフトウェアとの任意の組み合わせにより実現することができる。
　図１に示すように、コンピュータ装置１０は、プロセッサ１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３、記憶装置１４、入出力インタフェース１５およびバス１６を備える。
　記憶装置１４は、プログラム１８を格納する。プロセッサ１１は、ＲＡＭ１２を用いて本音声処理装置にかかるプログラム１８を実行する。プログラム１８は、ＲＯＭ１３に記憶されていてもよい。また、プログラム１８は、記録媒体２０に記録され、ドライブ装置１７によって読み出されてもよいし、外部装置からネットワークを介して送信されてもよい。
　入出力インタフェース１５は、周辺機器（キーボード、マウス、表示装置など）１９とデータをやり取りする。入出力インタフェース１５は、データを取得または出力する手段として機能することができる。バス１６は、各構成要素を接続する。
　なお、音声処理装置の実現方法には様々な変形例がある。例えば、音声処理装置の各部は、ハードウエア（専用回路）として実現することができる。また、音声処理装置は、複数の装置の組み合わせにより実現することができる。
　本実施形態および他の実施形態の機能を実現するように各実施形態の構成を動作させるプログラム（より具体的には、図６等に示す処理をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　図２は、第１の実施形態における音声処理装置１００の機能構成を示すブロック図である。図２に示すように、音声処理装置１００は、音声区間検出部１１０、話者特徴算出部１２０、第一の属性識別部１３０および第二の属性識別部１４０を備える。
　音声区間検出部１１０は、外部から音声信号を受け取る。音声信号は、話者の発声に基づく音声を表す信号である。なお、取得される信号は音声信号に限定されず、心拍、脳波、脈拍、呼吸、発汗などの生体現象によって体内から発せられる生体信号であってよい。
　音声区間検出部１１０は、受け取った音声信号に含まれる音声区間を検出して区分化する。このとき、音声区間検出部１１０は、音声信号を一定の長さに区分化してもよいし、異なる長さに区分化してもよい。例えば、音声区間検出部１１０は、音声信号のうち音量が一定時間継続して所定値より小さい区間を無音と判定し、その区間の前後を、異なる音声区間と判定して、区分化してもよい。そして、音声区間検出部１１０は、区分化した結果（音声区間検出部１１０の処理結果）である区分化音声信号を話者特徴算出部１２０に出力する。ここで、音声信号の受け取りとは、例えば、外部の装置または他の処理装置からの音声信号の受信、または、他のプログラムからの音声信号処理の処理結果の引き渡しのことである。また、出力とは、例えば、外部の装置や他の処理装置への送信、または、他のプログラムへの音声区間検出部１１０の処理結果の引き渡しのことである。
　話者特徴算出部１２０は、音声区間検出部１１０から区分化音声信号を受け取る。話者特徴算出部１２０は、受け取った区分化音声信号に基づいて、該区分化音声信号に含まれる個人性の特徴を表現する話者特徴を算出する。そして、話者特徴算出部１２０は、算出した話者特徴（話者特徴算出部１２０の処理結果）を出力する。
すなわち、話者特徴算出部１２０は、生体信号である、音声を表す音声信号に基づき、話者の個人性を表す話者特徴を算出する話者特徴算出手段を担う。以降、ある音声信号に対して算出された話者特徴を、該音声信号の話者特徴と呼ぶ。
　話者特徴算出部１２０が算出する話者特徴の一例を説明する。話者特徴算出部１２０は、音声区間検出部１１０から受け取った区分化音声信号に基づいて、話者の声質の個人性を表すｉ－ｖｅｃｔｏｒに基づく特徴ベクトルを算出する。話者特徴算出部１２０は、話者の声質の個人性を表すｉ－ｖｅｃｔｏｒに基づく特徴ベクトルを算出する手法として、例えば、非特許文献１に記載の手法を用いてもよい。なお、話者特徴算出部１２０が算出する話者特徴は、区分化音声信号に対して所定の演算を施して算出できるベクトルであって、話者の個人性を表す特徴であればよく、ｉ－ｖｅｃｔｏｒはその一例である。
　話者特徴算出部１２０が算出する話者特徴の他の一例を説明する。話者特徴算出部１２０は、音声区間検出部１１０から受け取った区分化音声信号に基づいて、音声信号の周波数分析結果を表す特徴ベクトルを算出する。話者特徴算出部１２０は、例えば、周波数分析結果を表す特徴として、高速フーリエ変換処理（ＦＦＴ）およびフィルタバンク処理によって得られた周波数フィルタバンク特徴や、さらに加えて離散コサイン変換処理を施して得られたメル周波数ケプストラム係数（ＭＦＣＣ）特徴などを算出する。
　第一の属性識別部１３０は、話者特徴算出部１２０が出力した話者特徴を受け取る。第一の属性識別部１３０は、話者特徴を用いて、特定の属性情報を推定（識別）し、第一の属性情報として出力する。特定の属性情報とは、例えば、話者の年齢層を示す情報であってよい。第一の属性識別部１３０は、生体信号に基づき、生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段を担う。なお、識別には、属性の値の推定、属性の値の範囲に基づく分類などが含まれる。
　第一の属性識別部１３０が第一の属性情報を推定する方法の一例について説明する。第一の属性識別部１３０は、例えば、ニューラルネットワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を識別器として用いてよい。第一の属性識別部１３０は、識別器として、ガウス混合分布などの確率モデル、線形判別分析またはサポートベクタマシンなどの識別モデルを利用してもよい。ここで、第一の属性識別部１３０の識別器は、音声信号に係る話者特徴と、話者の属性値が含まれるクラス（詳細は後述する）とが関連付けられた学習データを学習する。学習により、入力を話者特徴とし、出力をクラス（第一の属性情報）とする識別器が生成される。第一の属性識別部１３０は、例えば、ニューラルネットワークを識別器として用いるとき、入力の話者特徴と、ニューラルネットワークが有する重み係数に基づいて、出力する属性情報を算出する。
　図３は、第一の属性識別部１３０が出力する第一の属性情報の一例について説明する図である。図３を参照して、第一の属性識別部１３０が出力する第一の属性情報の一例について説明する。第一の属性識別部１３０は、例えば、推定する属性の取りうる値の範囲に基づいてクラスを定め、各クラスをスコア化し、そのスコアを値とするベクトルを、第一の属性情報として出力する。ここで、スコアとは、識別器が算出した結果と、推定対象の属性情報との相関性を示す値である。すなわち、スコアは、識別器が算出した推定結果の確からしさを示す値である。
　第一の属性識別部１３０は、推定する属性の取りうる値の範囲に基づいてクラスを定める。ここでは、例えば、推定する属性の取りうる値が、“１０”から“６０”の自然数であるとする。このとき、図３に示すように、第一の属性識別部１３０は、例えば、“１０”～“２０”を含むクラスをＣ１、“２１”～“４０”を含むクラスをＣ２、“４１”～“６０”を含むクラスをＣ３、とそれぞれ定める。そして、第一の属性識別部１３０は、識別器が算出した各クラスをスコア化し、各スコアを値に持つベクトルを、クラスＣ１～Ｃ３の推定値として出力する。図３に示すように、第一の属性識別部１３０は、例えば、クラスＣ１、Ｃ２およびＣ３のスコアを、それぞれ０．１、０．７および０．２と算出したとする。このとき、第一の属性識別部１３０は、例えば、上記のクラスＣ１～Ｃ３に対して、それぞれのクラスに対応するスコアを成分とするベクトルV１＝（０．１、０．７、０．２）を、推定値として出力する。第一の属性識別部１３０は、また、その推定値として、ひとつのクラスの番号を値に取るベクトルを出力してもよい。例えば、第一の属性識別部１３０は、ベクトル成分であるスコアのうち、スコアが最も高いクラスの番号を値に持つベクトルを、ベクトルV２=（２）のように出力してもよい。
　第二の属性識別部１４０は、話者特徴算出部１２０が出力した話者特徴、および、第一の属性識別部１３０が出力した第一の属性情報を受け取る。第二の属性識別部１４０は、受け取った話者特徴および第一の属性情報を用いて、特定の属性情報（第二の属性情報）を推定（識別）する。特定の属性情報とは、例えば、話者の年齢を示す情報であってよい。第二の属性識別部１４０は、生体信号および第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段を担う。
　第二の属性識別部１４０が特定の属性情報を推定する方法の一例について説明する。第二の属性識別部１４０は、例えば、ニューラルネットワークを識別器として用いてよい。
　ここで、第二の属性識別部１４０の識別器は、音声信号に係る話者特徴と、話者の属性値と、属性値が含まれるクラスとが関連付けられた学習データを学習する。学習により、入力を話者特徴および当該話者特徴を入力した第一の属性識別部１３０の出力である第一の属性情報とし、出力を推定結果である属性情報（属性値）とする識別器が生成される。第二の属性識別部１４０は、ニューラルネットワークを識別器として用いるとき、話者特徴および第一の属性情報からなる入力と、ニューラルネットワークが有する重み係数に基づいて、出力する属性情報を算出する。
　このとき、第二の属性識別部１４０は、推定結果を連続値として算出する。
　上記のように、第二の属性識別部１４０は、第一の属性識別部１３０が出力した第一の属性情報を入力として用いることで、属性識別の精度を高めることができる。その理由は、第二の属性識別部１４０が、第一の属性識別部１３０により推定した結果を事前情報として用いて属性情報を推定することにより、事前情報なしに話者特徴のみから推定するよりも、真の値に近い値を出力する可能性が高いためである。特に、第二の属性識別部１４０が連続値を推定する場合には、学習の段階で残差を最小にしようと識別器が学習するため、全体的に性能を上げようとすると、推定値が全体の中央に偏りやすい。すなわち、真の値が平均値より低い場合には高めに推定されやすく、真の値が平均値よりも高い場合は低めに推定されやすい。これに対し、第一の属性識別部１３０により推定した属性値の範囲を事前情報として用いることにより、上記のような偏りを低減することができる。
　ここで、第二の属性識別部１４０は、推定結果を離散値として算出してもよい。この場合、第二の属性識別部１４０は、第一の属性識別部１３０の定めるクラスよりも値の範囲が狭い（限定した）クラスを、離散値の推定結果として算出する。第二の属性識別部１４０の識別器は、入力された音声信号に係る話者特徴と、話者の属性値が含まれるクラスとが関連付けられた学習データを学習しておく。このとき、第二の属性識別部１４０は、第一の属性識別部１３０の定める属性値の範囲よりも狭い範囲で定めたクラスを学習データに使用する。上述した例の場合、第一の属性識別部１３０の定めるクラスＣ１～Ｃ３およびクラスＤ１～Ｄ３にそれぞれ含まれる値の範囲は“１０”である。よって、第二の属性識別部１４０は、“１０”よりも範囲が狭くなるよう、例えば、“５”刻みでクラスを定める。第二の属性識別部１４０は、このように定められたクラスを学習データに使用する。学習により、入力を話者特徴および当該話者特徴を入力した第一の属性識別部１３０の出力である第一の属性情報とし、出力を推定結果である属性情報（クラス）とする識別器が生成される。
　上記モデルを使用した場合、第二の属性識別部１４０は、推定結果を離散値として算出する。
　第二の属性識別部１４０は、また、多段構成を有してもよい。図４は、多段構成を有する第二の属性識別部１４０の例を説明する図である。図４に示すように、第二の属性識別部１４０は、判別分析を実行する処理部１４１と、回帰分析を実行する処理部１４２とを備えてもよい。
　この場合、第二の属性識別部１４０は、処理部１４１において、離散値を仮推定値（仮属性情報）として算出し、その仮推定値を用いて、処理部１４２により連続値として推定値を算出する。
　処理部１４１は、音声信号に係る話者特徴と、話者の属性値が含まれるクラスとが関連付けられた学習データを学習する。学習により、入力を話者特徴と当該話者特徴を入力した第一の属性識別部１３０の出力とし、出力をクラス（仮推定値）とする識別器が生成される。このとき、処理部１４１は、話者特徴と第一の属性情報とを用いて、上述のように例えば“５”刻みのクラスで示される仮推定値を算出する。
　処理部１４２は、音声信号に係る話者特徴と、話者の属性値と、属性値が含まれるクラスとが関連付けられた学習データを学習する。学習により、入力を話者特徴、当該話者特徴を入力した処理部１４１の出力（仮推定値）および第一の属性情報とし、出力を推定結果である第二の属性情報（属性値）とする識別器が生成される。
　処理部１４２は、話者特徴と第一の属性情報と処理部１４１の出力である仮推定値とを用いて、連続値の推定値を算出する。処理部１４２は、また、処理部１４１が算出した仮推定値を用いて、処理部１４１が定めた属性値の範囲よりも狭く定めたクラスを離散値として算出し、出力してもよい。
　このように、第二の属性識別部１４０は、第一の属性識別部１３０が定めた属性値の範囲よりも、属性値の範囲を狭く（細かく）定めてクラスを推定する。あるいは、第二の属性識別部１４０は、属性値を連続値として推定する。したがって、第二の属性識別部１４０は、真の値を出力しうる機能を備えているといえる。また、音声処理装置１００は、複数の属性識別部を内包するが、第二の属性識別部１４０が最終的な推定値を算出するため、単一の推定値を算出することができる。　このように、音声処理装置１００において、第二の属性識別部１４０が、話者特徴に加え、第一の属性識別部１３０が出力した第一の属性情報を用いて属性情報を算出することにより、精度の高い属性推定結果を出力することができる。
　なお、上記では、第一の属性識別部１３０は、１つの属性情報を出力することを説明したが、第一の属性識別部１３０は、複数の属性情報を出力してもよい。図５は、第一の属性識別部１３０が出力する第一の属性情報の他の例について説明する図である。図５に示すように、第一の属性識別部１３０は、推定する属性の取りうる値の範囲に基づいて、互いに異なる値の範囲を含むクラスを定めて、それぞれに関する推定値を算出し、出力してもよい。第一の属性識別部１３０は、例えば、上記のＣ１～Ｃ３とは異なる値の範囲として、図５に示すように、例えば、“１０”～“３０”を含むクラスをＤ１、”３１”～”５０”を含むクラスをＤ２、”５１”～”６０”を含むクラスをＤ３、とそれぞれ定める。第一の属性識別部１３０は、上記と同様に、クラスＤ１～Ｄ３をスコア化し、各スコアを値に持つベクトルを、ベクトルＶ１と共に出力する。図５に示す例では、第一の属性識別部１３０は、ベクトルV１＝（０．１、０．７、０．２）およびベクトルＶ３＝（０．５、０．４、０．１）を出力する。第一の属性識別部１３０が用いる識別器がニューラルネットワークである場合は、クラスＣ１～Ｃ３とクラスＤ１～Ｄ３にそれぞれ対応する２つの出力層を有する１つの識別器として、第一の属性識別部１３０を構成してもよい。
　第一の属性識別部１３０は、このように、推定する属性の取りうる値の範囲の分け方が異なるように複数のクラスを定めることにより、属性識別の精度を高めることができる。例えば、属性の値が上記のクラスＣ１～Ｃ３のいずれに含まれるかを識別する場合において、”２１”～”４０”が含まれるクラスＣ２に着目する。この場合、Ｃ２に含まれる値の範囲の中央に近い”３０”とくらべて、境界に近い”２１”および”４０”の識別精度は低くなる。すなわち、“２１”はクラスＣ１とＣ２、“４０”はクラスＣ２とＣ３のいずれか正しくないクラスに識別される虞がある。そこで、“２１”および“４０”のような境界に近い値が中央に近くなるような値の範囲として、上述のように、別途クラスＤ１～Ｄ３を定める。すなわち、第一の属性識別部１３０は、属性の値の範囲の境界値が異なるように２通り以上に分割し、それぞれの分割において属性の値の範囲を識別する。これにより、クラスＣ１～Ｃ３における境界に近い値も、中央に近い値と同様に識別できるので、識別精度を高めることができる。
　以上述べたように、本実施形態にかかる音声処理装置１００において、第一の属性識別部１３０が、第一の属性情報として属性の値を粗く推定し、第二の属性識別部１４０が、第一の属性情報を用いて属性の値を詳細に推定する。これにより、本実施形態によれば、音声信号に対して、属性値を精度よく推定できる。すなわち、本実施形態にかかる音声処理装置１００は、人物の属性識別の精度を高めることができる。
＜第１の実施形態の動作＞
　次に、第１の実施形態における音声処理装置１００の動作について、図６のフローチャートを用いて説明する。図６は、音声処理装置１００の動作の一例を示すフローチャートである。
　音声処理装置１００は、外部から１つ以上の音声信号を受け取り、音声区間検出部１１０に提供する。音声区間検出部１１０は、受け取った音声信号を区分化し、区分化音声信号を話者特徴算出部１２０に出力する（ステップＳ１０１）。
　話者特徴算出部１２０は、受け取った１つ以上の区分化音声信号それぞれについて、話者特徴を算出する（ステップＳ１０２）。
　第一の属性識別部１３０は、受け取った１つ以上の話者特徴に基づいて、第一の属性情報を識別して出力する（ステップＳ１０３）。
　第二の属性識別部１４０は、受け取った１つ以上の話者特徴、および、第一の属性情報に基づいて、第二の属性情報を識別して出力する（ステップＳ１０４）。音声処理装置１００は、外部からの音声信号の受理が終了したら、一連の処理を終了する。
＜第１の実施形態の効果＞
　以上、説明したように、本実施形態にかかる音声処理装置１００によれば、人物の属性識別の精度を高めることができる。なぜならば、音声処理装置１００は、第一の属性識別部１３０が粗く推定した第一の属性情報を用いて、第二の属性識別部１４０がより詳細に属性情報を推定して出力するからである。
　このように、本実施形態にかかる音声処理装置１００によれば、人物の属性識別を段階的に詳細化しながら算出するという計算方式により、属性のとりうる値によらず一定の精度で推定値を求めることができる。
　第１の実施形態における音声処理装置１００は、音声信号から特定の属性情報を識別する属性識別装置の一例である。音声処理装置１００は、特定の属性情報が話者の年齢であるとき、年齢識別装置として利用可能である。属性情報は、話者の性別を示す情報、話者の年齢層を示す情報、話者の体格を示す情報であってもよい。
　音声処理装置１００は、特定の属性情報が話者の発話時の感情を示す情報であるとき、感情識別装置として利用可能である。また、音声処理装置１００は、例えば蓄積された複数の音声信号に対して、感情特徴を用いて推定した感情情報に基づいて、特定の感情に対応する音声信号を特定する機構を備える音声検索装置または音声表示装置の一部としても利用可能である。感情情報には、例えば、感情表現を示す情報、発話者の性格を示す情報等が含まれる。
　＜第２の実施形態＞
　本発明の最小構成の実施形態について説明する。
　図７は、本発明の最小構成の実施形態に係る属性識別装置１００の機能構成を示すブロック図である。図７に示すように、属性識別装置１００は、第一の属性識別部１３０および第二の属性識別部１４０を備える。
　第一の属性識別部１３０は、生体信号に基づき、生体信号から特定の属性の値の範囲である第一の属性情報を識別する。第二の属性識別部１４０は、生体信号および第一の属性情報から特定の属性情報である第二の属性情報を識別する。
　上記構成を採用することにより、第２の実施形態によれば、第二の属性識別部１４０は、第一の属性識別部１３０が出力した第一の属性情報を入力として用いるので、人物の属性識別の精度をより高めることができるという効果が得られる。
　以上、実施形態を用いて本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。すなわち、本発明は、以上の実施形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
　以上のように、本発明の一態様における音声処理装置等は、人物の属性識別の精度を高めることができるという効果を有しており、音声処理装置等および属性識別装置として有用である。
　１００　　音声処理装置
　１１０　　　音声区間検出部
　１２０　　　話者特徴算出部
　１３０　　　第一の属性識別部
　１４０　　　第二の属性識別部

Claims (8)

  1. 　生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する第一の属性識別手段と、
    　前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する第二の属性識別手段と
    　を備える属性識別装置。
  2. 　前記第二の属性識別手段は、前記第二の属性情報として、
    　特定の属性の値、あるいは、前記第一の属性識別手段よりも限定した属性の値の範囲、の少なくともいずれかひとつを識別する
    　請求項１に記載の属性識別装置。
  3. 　前記第一の属性識別手段は、前記第一の属性情報として、
    　属性の値の範囲の境界値が異なるように２通り以上に分割し、それぞれの分割において属性の値の範囲を識別する、
    　請求項１または２に記載の属性識別装置。
  4. 　前記第二の属性識別手段は、
    　前記生体信号および前記第一の属性情報から属性の値の範囲を仮属性情報として識別し、
    　前記生体信号および前記仮属性情報から前記第二の属性情報を識別する、
    　請求項１ないし請求項３のいずれか１項に記載の属性識別装置。
  5. 　前記生体信号である、音声を表す音声信号に基づき、話者の個人性を表す話者特徴を算出する話者特徴算出手段をさらに備え、
    　前記第一の属性識別手段は、前記話者特徴から、前記第一の属性情報を識別し、
    　前記第二の属性識別手段は、前記話者特徴および前記第一の属性情報から前記第二の属性情報を識別する

    　請求項１ないし請求項４のいずれか１項に記載の属性識別装置。
  6. 　前記特定の属性情報は、
    　前記生体信号から識別される人物の年齢、性別、体格、感情および性格の少なくともいずれかひとつを表す情報である
    　請求項１ないし請求項５のいずれか１項に記載の属性識別装置。
  7. 　生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別し、
    　前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する
    　属性識別方法。
  8. 　生体信号に基づき、前記生体信号から特定の属性の値の範囲である第一の属性情報を識別する処理と、
    　前記生体信号および前記第一の属性情報から特定の属性情報である第二の属性情報を識別する処理と
    　を、コンピュータに実行させるプログラムを記録するプログラム記録媒体。
PCT/JP2018/023594 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム記録媒体 WO2019244298A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18923160.8A EP3813061A4 (en) 2018-06-21 2018-06-21 ATTRIBUTE IDENTIFICATION DEVICE, ATTRIBUTE IDENTIFICATION METHOD AND PROGRAM STORAGE MEDIUM
PCT/JP2018/023594 WO2019244298A1 (ja) 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム記録媒体
US17/253,763 US20210264939A1 (en) 2018-06-21 2018-06-21 Attribute identifying device, attribute identifying method, and program storage medium
JP2020525165A JP7160095B2 (ja) 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/023594 WO2019244298A1 (ja) 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2019244298A1 true WO2019244298A1 (ja) 2019-12-26

Family

ID=68982796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023594 WO2019244298A1 (ja) 2018-06-21 2018-06-21 属性識別装置、属性識別方法、およびプログラム記録媒体

Country Status (4)

Country Link
US (1) US20210264939A1 (ja)
EP (1) EP3813061A4 (ja)
JP (1) JP7160095B2 (ja)
WO (1) WO2019244298A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021056335A (ja) * 2019-09-30 2021-04-08 株式会社なごみテクノロジー 評価システム
WO2023013081A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 学習装置、推定装置、学習方法及び学習プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699447B2 (en) * 2020-06-22 2023-07-11 Rovi Guides, Inc. Systems and methods for determining traits based on voice analysis
CN114863939B (zh) * 2022-07-07 2022-09-13 四川大学 一种基于声音的大熊猫属性识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955665A (ja) * 1995-08-14 1997-02-25 Toshiba Corp 音声符号化装置
JP4273359B2 (ja) 2007-09-28 2009-06-03 Ｎｅｃソフト株式会社 年齢推定システム及び年齢推定方法
JP2010510534A (ja) * 2006-11-16 2010-04-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声アクティビティ検出システム及び方法
US8160877B1 (en) * 2009-08-06 2012-04-17 Narus, Inc. Hierarchical real-time speaker recognition for biometric VoIP verification and targeting

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016177394A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、年齢推定方法、及びプログラム
SG11201805830TA (en) * 2016-01-12 2018-08-30 Hitachi Int Electric Inc Congestion-state-monitoring system
JP6980994B2 (ja) * 2016-10-07 2021-12-15 日本電気株式会社 情報処理装置、制御方法、及びプログラム
TWI611374B (zh) * 2017-05-04 2018-01-11 Chunghwa Telecom Co Ltd 垂直式影像人流計數之性別與年齡辨識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955665A (ja) * 1995-08-14 1997-02-25 Toshiba Corp 音声符号化装置
JP2010510534A (ja) * 2006-11-16 2010-04-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声アクティビティ検出システム及び方法
JP4273359B2 (ja) 2007-09-28 2009-06-03 Ｎｅｃソフト株式会社 年齢推定システム及び年齢推定方法
US8160877B1 (en) * 2009-08-06 2012-04-17 Narus, Inc. Hierarchical real-time speaker recognition for biometric VoIP verification and targeting

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN, CHIH-CHANG ET AL.: "Gendar-to-Age Hierarchical Recognition for Speech", PROC. 2011 IEEE 54TH INTERNATIONAL MIDWEST SYMPOSIUM ON CIRCUITS AND SYSTEMS, 7 August 2011 (2011-08-07), pages 1 - 4, XP031941418, DOI: 10.1109/MWSCAS.2011.6026475 *
NAJIM DEHAKPATRICK KENNYREDA DEHAKPIERRE DUMOUCHELPIERRE OUELLET: "Front-End Factor Analysis for Speaker Verification", IEEE TRANSACTION ON AUDIO, SPEECH AND LANGUAGE PROCESSING, vol. 19, no. 4, 2011, pages 788 - 798, XP055566628, DOI: 10.1109/TASL.2010.2064307
PONTES, JHONY K. ET AL.: "A Flexible Hierarchical Approach for Facial Age Estimation based on Multiple Features", PATTERN RECOGNITION, vol. 54, June 2016 (2016-06-01), pages 34 - 51, XP029439146, DOI: 10.1016/j.patcog.2015.12.003 *
POORJAM, AMIR HOSSEIN ET AL.: "Multitask Speaker Profiling for Estimating Age, Height, Weight and Smoking Habits from Spontaneous Telephone Speech Signals", PROC. 2014 4TH INTERNATIONAL CONFERENCE ON COMPUTER AND KNOWLEDGE ENGINEERING, 29 October 2014 (2014-10-29), pages 7 - 12, XP032711179, DOI: 10.1109/ICCKE.2014.6993339 *
See also references of EP3813061A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021056335A (ja) * 2019-09-30 2021-04-08 株式会社なごみテクノロジー 評価システム
WO2023013081A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 学習装置、推定装置、学習方法及び学習プログラム

Also Published As

Publication number Publication date
JP7160095B2 (ja) 2022-10-25
EP3813061A1 (en) 2021-04-28
JPWO2019244298A1 (ja) 2021-07-08
US20210264939A1 (en) 2021-08-26
EP3813061A4 (en) 2021-06-23

Similar Documents

Publication Publication Date Title
JP7152514B2 (ja) 声紋識別方法、モデルトレーニング方法、サーバ、及びコンピュータプログラム
WO2019244298A1 (ja) 属性識別装置、属性識別方法、およびプログラム記録媒体
JP6303971B2 (ja) 話者交替検出装置、話者交替検出方法及び話者交替検出用コンピュータプログラム
WO2019102884A1 (ja) ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体
US11875799B2 (en) Method and device for fusing voiceprint features, voice recognition method and system, and storage medium
EP3469582A1 (en) Neural network-based voiceprint information extraction method and apparatus
US20160071520A1 (en) Speaker indexing device and speaker indexing method
CN112435684B (zh) 语音分离方法、装置、计算机设备和存储介质
JP7342915B2 (ja) 音声処理装置、音声処理方法、およびプログラム
US11837236B2 (en) Speaker recognition based on signal segments weighted by quality
JP6553015B2 (ja) 話者属性推定システム、学習装置、推定装置、話者属性推定方法、およびプログラム
Besbes et al. Multi-class SVM for stressed speech recognition
JP6676009B2 (ja) 話者判定装置、話者判定情報生成方法、プログラム
JP2017097188A (ja) 話者らしさ評価装置、話者識別装置、話者照合装置、話者らしさ評価方法、プログラム
Karthikeyan et al. Hybrid machine learning classification scheme for speaker identification
JP6373621B2 (ja) 話し方評価装置、話し方評価方法、プログラム
JP6724290B2 (ja) 音響処理装置、音響処理方法、及び、プログラム
Jeon et al. Nonnegative matrix factorization based adaptive noise sensing over wireless sensor networks
JP7107377B2 (ja) 音声処理装置、音声処理方法、およびプログラム
JP6636374B2 (ja) 登録発話分割装置、話者らしさ評価装置、話者識別装置、登録発話分割方法、話者らしさ評価方法、プログラム
Sekkate et al. A multiresolution-based fusion strategy for improving speech emotion recognition efficiency
Płonkowski Using bands of frequencies for vowel recognition for Polish language
CN114678037B (zh) 一种重叠语音的检测方法、装置、电子设备及存储介质
WO2022249450A1 (ja) 学習方法、検出方法、それらの装置、およびプログラム
CN111862946B (zh) 一种订单处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18923160

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525165

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018923160

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018923160

Country of ref document: EP

Effective date: 20210121