WO2025017828A1 - 話者年齢推定装置、話者年齢推定方法及びプログラム - Google Patents

話者年齢推定装置、話者年齢推定方法及びプログラム Download PDF

Info

Publication number
WO2025017828A1
WO2025017828A1 PCT/JP2023/026253 JP2023026253W WO2025017828A1 WO 2025017828 A1 WO2025017828 A1 WO 2025017828A1 JP 2023026253 W JP2023026253 W JP 2023026253W WO 2025017828 A1 WO2025017828 A1 WO 2025017828A1
Authority
WO
WIPO (PCT)
Prior art keywords
age
speaker
estimated
information related
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/026253
Other languages
English (en)
French (fr)
Inventor
佑樹 北岸
岳至 森
健一 森本
勇祐 井島
亮 増村
厚徳 小川
直弘 俵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025533764A priority Critical patent/JPWO2025017828A1/ja
Priority to PCT/JP2023/026253 priority patent/WO2025017828A1/ja
Publication of WO2025017828A1 publication Critical patent/WO2025017828A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • the present invention relates to a speaker age estimation device, a speaker age estimation method, and a program.
  • the estimated speaker's age is compared with registered customer information and used as additional information to verify the identity of the customer.
  • the estimated speaker's age is also used as one of the materials for customer analysis in the repair reception department where visitors call.
  • Non-Patent Document 1 There is variation in the subjective evaluation ability of operators, and operators may make different age estimates for the same voice.
  • Non-Patent Document 2 Japanese Patent Document 2
  • Non-Patent Document 2 the ages of speakers who sound younger are estimated to be older than they actually are, and that the ages of speakers who sound older are estimated to be younger than they actually are, and in particular, the voices of middle-aged female speakers tend to be estimated to be younger than they actually are.
  • the present invention has been made in consideration of the above points, and aims to improve the accuracy of estimating a speaker's age based on the sound of an utterance.
  • the speaker age estimation device has a determination unit configured to determine the respective weights of a first age estimated by a human based on the voice of the speaker's speech and a second age estimated by a machine using a machine learning model based on one or more of information related to the person, information related to the machine, and information related to the voice, and an output unit configured to output an estimate of the speaker's age based on the first age, the second age, and the weights.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of a speaker age estimation device 10 according to an embodiment of the present invention.
  • 1 is a diagram illustrating an example of a functional configuration of a speaker age estimation device 10 according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of the configuration of an age determining unit 13.
  • 11 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 in a first pattern.
  • 10 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 in a second pattern.
  • 13 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 in a third pattern.
  • FIG. 13 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 in a fourth pattern.
  • 13 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 in a fifth pattern.
  • 13 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 in a sixth pattern.
  • 13 is a flowchart illustrating an example of a process procedure executed by a determination unit 131 when combining first to sixth patterns.
  • FIG. 13 is a diagram showing the results of an age estimation experiment using machine learning (MAE/ ⁇ ).
  • FIG. 13 illustrates the effect of test segment length on MAE for a call center dataset.
  • FIG. 1 shows experimental results of PA/EA on a call center dataset.
  • FIG. 13 shows C-MAE for female speakers by CA class.
  • FIG. 13 shows C-MAE for male speakers by CA class.
  • a technology that focuses on the difference in behavior (tendency) between humans and machine learning models when estimating a speaker's age from voice, and automatically determines which estimated age, human or machine, should ultimately be adopted, or which estimated age should be weighted relatively more heavily.
  • FIG. 1 is a diagram showing an example of the hardware configuration of a speaker age estimation device 10 according to an embodiment of the present invention.
  • the speaker age estimation device 10 in FIG. 1 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a processor 104, and an interface device 105, all of which are interconnected via a bus B.
  • the program that realizes the processing in the speaker age estimation device 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed from the recording medium 101 via the drive device 100 into the auxiliary storage device 102.
  • the program does not necessarily have to be installed from the recording medium 101, but may be downloaded from another computer via a network.
  • the auxiliary storage device 102 stores the installed program as well as necessary files, data, etc.
  • the memory device 103 When an instruction to start a program is received, the memory device 103 reads out and stores the program from the auxiliary storage device 102.
  • the processor 104 is a CPU or a GPU (Graphics Processing Unit), or a CPU and a GPU, and executes functions related to the speaker age estimation device 10 in accordance with the program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • FIG. 2 is a diagram showing an example of the functional configuration of the speaker age estimation device 10 in an embodiment of the present invention.
  • the speaker age estimation device 10 has an automatic estimation unit 11, a manual estimation unit 12, an age determination unit 13, and an analysis unit 14. Each of these units is realized by a process in which one or more programs installed in the speaker age estimation device 10 are executed by the processor 104.
  • the automatic estimation unit 11 inputs voice (speech), extracts acoustic features from the voice, and outputs an age estimate that is automatically obtained by inputting the acoustic features into a trained machine learning model.
  • voice speech
  • automatic estimation unit 11 inputs voice (speech), extracts acoustic features from the voice, and outputs an age estimate that is automatically obtained by inputting the acoustic features into a trained machine learning model.
  • the age estimation by the automatic estimation unit 11 is hereinafter referred to as "automatic age estimation.”
  • the manual estimation unit 12 outputs an age estimate made by a human (e.g., a call center operator) for the speaker whose voice is the same as the voice input by the automatic estimation unit 11.
  • a human e.g., a call center operator
  • the age determination unit 13 inputs the age (estimated value) output from the automatic estimation unit 11 and the age (estimated value) output from the manual estimation unit 12, determines the age to be finally adopted (hereinafter referred to as the "final estimated age"), and outputs the final estimated age.
  • the analysis unit 14 executes an analysis process using the final estimated age. For example, when the speaker age estimation device 10 is used in a call center for insurance business or the like, the analysis unit 14 may compare the final estimated age with an age registered in advance for the speaker whose age is to be estimated and output the comparison result, or may output the final estimated age so that it can be viewed by an operator, or may register the final estimated age in a specified database as part of customer information. Alternatively, when the speaker age estimation device 10 is used in a repair reception department or the like, the analysis unit 14 may use a set of final estimated ages as one material for customer analysis. Alternatively, the analysis unit 14 may store the final estimated age in association with the original voice.
  • the description is limited to age estimation from voice, but any other data, such as face images or MRI images, may be used for age estimation. Also, in this embodiment, an example is shown in which the person who estimates the age is an operator, but the person who estimates the age may be changed as appropriate to suit the usage scene of this embodiment.
  • the automatic estimation unit 11, the manual estimation unit 12, and the age determination unit 13 are explained in more detail below.
  • the automatic estimation unit 11 estimates the speaker age from a voice by using a feature extractor that extracts acoustic features to be used for automatic estimation of the speaker age using machine learning, and a machine learning model that has learned the correspondence between the acoustic features and age (hereinafter referred to as the "age estimation model").
  • the model includes a model structure and learned parameters.
  • the feature extractor and age estimation model may be realized using any known technology.
  • the feature extractor may extract time-series acoustic features such as MFCC (mel-frequency cepstrum coefficients) or log mel filterbank.
  • MFCC mel-frequency cepstrum coefficients
  • log mel filterbank mel-frequency cepstrum coefficients
  • a trained speaker representation vector extractor may be used as the feature extractor. In this case, the feature extractor extracts and outputs a speaker representation vector.
  • the trained speaker representation vector extractor refers to a model that has learned the correspondence between speech and speakers.
  • the speaker representation vector refers to a numerical vector that identifies a speaker.
  • the age estimation model may have a model structure appropriate for the input data. For example, if the age estimation model takes time-series acoustic features as input, a model structure such as an RNN (Recurrent Neural Network), TDNN (Time Delay Neural Networks), or Transformer that can handle time-series acoustic features may be used. If the age estimation model takes speaker vectors as input, a model structure such as a fully connected layer, SVM (Support Vector Machine), or SVR (Support Vector Regression) may be used.
  • RNN Recurrent Neural Network
  • TDNN Time Delay Neural Networks
  • Transformer Transformer that can handle time-series acoustic features
  • the age output (estimated result) of the automatic estimation unit 11 may be an age class discretized at any granularity (age range) such as "child,” “young person,” “adult,” or “elderly,” or may be an age indicated by a numerical value in one-year increments.
  • the age estimation model automatically estimates the speaker's age in one-year increments, similar to papers 1 to 3 published by the inventor of the present application (papers 2 and 3 are scheduled to be published after the filing of the present application). The literature information for the published papers is listed at the end.
  • the age estimation model may recognize and output factors other than the speaker's age (e.g., gender, speaker vector) as part of multi-task learning.
  • the age estimation model may be trained using any known technology, publicly available data, independently collected data, etc.
  • the speaker age automatically estimated by the machine learning model (age estimation model) from the acoustic feature x i of a speech S i of a certain utterance by a speaker i is denoted as the automatically estimated age y ⁇ i m , where y ⁇ corresponds to the symbol with ⁇ above y in the drawings.
  • the manual estimation unit 12 receives input from an operator or the like engaged in a task regarding the age of a speaker that the operator or the like estimates from the voice, and outputs the age.
  • the operator may simultaneously estimate not only the speaker age but also the gender, personality, and the like from the voice.
  • the operator is assumed to simultaneously estimate the gender (male/female) of the speaker, as in Published Papers 1 to 3. Therefore, the manual estimation unit 12 also receives input of the gender of the speaker from the operator, and outputs the gender.
  • the speaker age estimated by an operator o_j from an acoustic feature x i is denoted as a manually estimated age y ⁇ i o_j
  • the estimated gender of the speaker is denoted as an estimated gender g ⁇ i o_j ⁇ Male, Female ⁇ .
  • o_j corresponds to the symbol in the drawings where j is a subscript of o.
  • g ⁇ corresponds to the symbol in the drawings where g has a ⁇ above it.
  • ⁇ i o_j may be replaced by the automatic machine estimation result.
  • the age determining unit 13 determines and outputs a final estimated value for the speaker's age (hereinafter referred to as the "final estimated age y ⁇ i ”) based on the automatically estimated age y ⁇ i m and the manually estimated age y ⁇ i o_j .
  • the age determination unit 13 sets only one of the age estimation results by human and machine learning as the final estimated age y ⁇ i , or sets the weighted sum using an arbitrary weight as the final estimated age y ⁇ i .
  • tendencies for example, those clarified by past research such as Non-Patent Document 2, or those based on published papers 1 to 3, etc. may be used.
  • FIG. 3 is a diagram showing an example of the configuration of the age determination unit 13.
  • the age determination unit 13 includes a judgment unit 131 and an output unit 132.
  • the determination unit 131 determines (or determines) the weights for the final estimated age y ⁇ i for the automatic estimated age y ⁇ i m and the manual estimated age y ⁇ i o_j based on one or more of information related to a person (which estimates the manually estimated age y ⁇ i o_j ), information related to a machine (which estimates the automatically estimated age y ⁇ i m) , and information related to a voice (used for age estimation).
  • the range of each weight is 0 to 1, and the sum of the two weights is 1.0. If one of the weights is 1 (in this case, the other weight is 0), the determination unit 131 has essentially selected that one as the final estimated age y ⁇ i .
  • the weight for the automatic estimated age y ⁇ i m is denoted as w i m
  • the weight for the manually estimated age y ⁇ i o_j is denoted as w i o_j .
  • the sum of the two weights does not have to be 1.0. In this case, any weighting may be performed, and the weighted average may be set as the final estimated age y ⁇ i .
  • the information related to a person includes one or more manually estimated ages y ⁇ i o_j , estimated genders g ⁇ i o_j , information indicating the accuracy of age estimation based on the voice of a person (operator o_j) evaluated using a specified method (hereinafter referred to as "manual estimation accuracy"), a value indicating the degree of confidence that a person (operator o_j) has in the manually estimated age y ⁇ i o_j , a value indicating the degree of confidence that a person (operator o_j) has in the estimated gender g ⁇ i o_j , etc.
  • the information about the machine includes, for example, the automatically estimated age y ⁇ i m , information indicating the accuracy of age estimation based on voice evaluated using a specified method for the age estimation model (hereinafter referred to as "model estimation accuracy"), information based on the probability distribution of the automatically estimated age y ⁇ i m output by the age estimation model, and a value indicating the degree of confidence in the gender of the speaker estimated by the machine.
  • model estimation accuracy information indicating the accuracy of age estimation based on voice evaluated using a specified method for the age estimation model
  • the information related to the speech is, for example, the acoustic feature of speech S i , the duration of speech S i, etc.
  • the acoustic feature is, for example, jitter ji i which is one of the acoustic features indicating hoarseness.
  • the output unit 132 calculates a weighted sum of the automatically estimated age y ⁇ i m and the manually estimated age y ⁇ i o_j based on the determination result by the determination unit 131 (the respective values of w i m and w i o_j ), and outputs the calculation result as the final estimated age y ⁇ i .
  • the calculation formula for the final estimated age y ⁇ i is as follows.
  • the output unit 132 practically selects the age related to the one as the final estimated age y ⁇ i . Therefore, in this case, the output unit 132 may output the one of the ages without calculating the weighted sum.
  • the determination unit 131 receives the estimated gender g ⁇ i o_j and the manually estimated age y ⁇ i o_j as input information, and determines the weight w i by applying different thresholds to the manually estimated age y ⁇ i o_j according to the estimated gender g ⁇ i o_j .
  • FIG. 4 is a flowchart illustrating an example of the processing procedure executed by the determination unit 131 in the first pattern.
  • step S101 the determination unit 131 determines whether the estimated gender g ⁇ i o_j is "Male". If the estimated gender g ⁇ i o_j is "Male" (Yes in S101), the determination unit 131 sets the threshold range for the manually estimated age y ⁇ i o_j for determining w i o_j as 1 (i.e., for adopting the manually estimated age y ⁇ i o_j ) to 35 to 45 years (S102).
  • th1 is the lower limit threshold of the range
  • th2 is the upper limit threshold of the range.
  • the determination unit 131 sets the threshold range to 35 to 65 years (S103). If the manually estimated age y ⁇ i o_j is within a threshold range determined according to the estimated gender g ⁇ i o_j (Yes in S104), the determination unit 131 sets w i m to 0 and w i o_j to 1 (S105). On the other hand, if the manually estimated age y ⁇ i o_j is outside the threshold range determined according to the estimated gender g ⁇ i o_j (No in S104), the determination unit 131 sets w i m to 1 and w i o_j to 0 (S106).
  • the output unit 132 outputs, from the automatically estimated age y ⁇ i m or the manually estimated age y ⁇ i o_j , the one with a weight w i of 1 as the final estimated age y ⁇ i .
  • the judgment unit 131 inputs the model estimation accuracy and the manual estimation accuracy, and judges each w i based on the model estimation accuracy and the manual estimation accuracy.
  • the respective evaluation scores obtained may be adopted as the model estimation accuracy or the manual estimation accuracy.
  • An example of the evaluation score is the correct answer rate (the probability that the age is estimated correctly for multiple voices for the evaluation test).
  • the evaluation score of the operator o_j is denoted as score o_j
  • the evaluation score of the age estimation model is denoted as score m .
  • FIG. 5 is a flowchart illustrating an example of the processing procedure executed by the determination unit 131 in the second pattern.
  • step S201 the determination unit 131 compares score o_j with score m to determine whether or not a condition is satisfied in which score o_j is large enough to satisfy a predetermined condition and exceeds score m . If the condition is satisfied (Yes in S201), the determination unit 131 sets w i m to 0 and w i o_j to 1 (S202). If the condition is not satisfied (No in S201), the determination unit 131 sets w i m to 1 and w i o_j to 0 (S203). Note that, for example, FIG. 5 shows an example in which the score difference is two-fold as a predetermined condition, but this condition is merely an example.
  • step S201 may be performed by using such factors alone or in combination.
  • the output unit 132 outputs, from the automatically estimated age y ⁇ i m or the manually estimated age y ⁇ i o_j , the one with a weight w i of 1 as the final estimated age y ⁇ i .
  • the determination unit 131 may set score o_j to w i o_j and score m to w i m when the values of score o_j and score m are corrected so that the sum of score o_j and score m becomes 1 .
  • the output unit 132 outputs the weighted sum based on the weight w i for the automatically estimated age y ⁇ i m and the manually estimated age y ⁇ i o_j as the final estimated age y ⁇ i .
  • Non-Patent Document 1 and the experiments in Papers 1 to 3 show that some operators are good at estimating speaker age and some are not, and there is variation in estimation accuracy.
  • Table 2 of Paper 1 and the table to be published in Paper 2 Figure 13 described below
  • the second pattern is an embodiment based on such knowledge.
  • the judgment unit 131 receives as input the value of jitter ji i, which is one of the acoustic features indicating hoarseness for the voice S i, and the automatically estimated age y ⁇ i m , and judges each weight w i by comparing the value of jitter ji i and the automatically estimated age y ⁇ i m with their respective thresholds.
  • FIG. 6 is a flowchart illustrating an example of the processing procedure executed by the determination unit 131 in the third pattern.
  • step S301 the determination unit 131 determines whether or not the condition that the automatically estimated age y ⁇ i m is an elderly person (e.g., 60 years old) or older and the jitter ji i is less than the threshold th j is satisfied. If the condition is satisfied (Yes in S301), the determination unit 131 sets w i m to 0 and w i o_j to 1 (S302). If the condition is not satisfied (No in S301), the determination unit 131 sets w i m to 1 and w i o_j to 0 (S303).
  • the output unit 132 outputs, from the automatically estimated age y ⁇ i m or the manually estimated age y ⁇ i o_j , the one with a weight w i of 1 as the final estimated age y ⁇ i .
  • the determination unit 131 receives as input information a plurality of manual age estimates y ⁇ i o_j each having a different (non-overlapping) estimation source (operator o_j). The determination unit 131 determines each weight w i based on whether the number of input manual age estimates y ⁇ i o_j is equal to or greater than a certain number (threshold th o ).
  • FIG. 7 is a flowchart illustrating an example of the processing procedure executed by the determination unit 131 in the fourth pattern.
  • step S401 the determination unit 131 determines whether or not a condition is satisfied that the number of inputted manually estimated ages y ⁇ i o_j is equal to or greater than a threshold th o . If the condition is satisfied (Yes in S401), the determination unit 131 sets w i m to 0 and w i o_j to 1 (S402). If the condition is not satisfied (S402), the determination unit 131 determines each weight w i in another pattern (S403). For example, as in the first pattern, the weight w i may be determined by taking into account the manually estimated age y ⁇ i ⁇ o and the estimated gender g ⁇ i ⁇ o, or the weight w i may be determined based on another pattern.
  • the output unit 132 calculates the average value y ⁇ i of the multiple input manually estimated ages y ⁇ i o_j and outputs the calculation result as the final estimated age y ⁇ i . If w i m is 1, the output unit 132 outputs the automatically estimated age y ⁇ i m as the final estimated age y ⁇ i .
  • the experimental results in the published paper show that combining the estimation results of multiple operators tends to improve estimation accuracy.
  • the fourth pattern is an embodiment based on this knowledge.
  • the determination unit 131 receives the duration of the sound S i as input information and determines each weight w i based on the duration.
  • FIG. 8 is a flowchart illustrating an example of the processing procedure executed by the determination unit 131 in the fifth pattern.
  • step S501 the determination unit 131 determines whether or not a condition that the duration of the sound S i is less than a threshold (e.g., 30 seconds) is satisfied. If the condition is satisfied (Yes in S501), the determination unit 131 sets w i m to 0 and w i o_j to 1 (S502). If the condition is not satisfied (No in S501), the determination unit 131 determines each weight w i in another pattern (S503).
  • a threshold e.g. 30 seconds
  • the output unit 132 outputs, from the automatically estimated age y ⁇ i m or the manually estimated age y ⁇ i o_j , the one with a weight w i of 1 as the final estimated age y ⁇ i .
  • the determination unit 131 receives as input information a value (hereinafter referred to as "confidence level c i o_j ”) obtained by the operator o_j evaluating his/her own degree of confidence with respect to the manually-estimated age y ⁇ i o_j between 0 and 1, and determines each weight w i based on the confidence level c i o_j . Note that the closer the confidence level c i o_j is to 1, the more confident it is.
  • the confidence level may be specified based on the format of the manually-estimated age y ⁇ i o_j (for example, when the manually-estimated age y ⁇ i o_j has a certain range, such as 35 ⁇ 10, the reciprocal of the size of the range may be regarded as the confidence level).
  • FIG. 9 is a flowchart illustrating an example of the processing procedure executed by the determination unit 131 in the sixth pattern.
  • step S601 the determination unit 131 determines whether or not a condition that the confidence level c i o_j is less than a threshold value (for example, 0.4) is satisfied. If the condition is satisfied (Yes in S601), the determination unit 131 sets w i m to 1 and w i o_j to 0 (S602). If the condition is not satisfied (No in S601), the determination unit 131 sets w i m to 0 and w i o_j to 1 (S603).
  • a threshold value for example, 0.4
  • the determination unit 131 may input the inverse of the standard deviation ⁇ i of the posterior probability distribution or the degree of confidence separately estimated by the age estimation model as the confidence c i m by the age estimation model instead of the confidence c i o_j or together with the confidence c i o_j .
  • the condition of step S601 may be replaced with a condition that the confidence c i m is less than a threshold.
  • the condition of step S601 may be replaced with a condition based on the confidence c i o_j and the confidence c i m (for example, a condition in which a threshold is set for each of the confidence c i o_j and the confidence c i m , and the judgment result is determined by comparing each with the threshold).
  • the output unit 132 outputs, from the automatically estimated age y ⁇ i m or the manually estimated age y ⁇ i o_j , the one with a weight w i of 1 as the final estimated age y ⁇ i .
  • the determination unit 131 receives as input a value indicating the degree of confidence of the operator o_j himself/herself in the estimated gender g ⁇ i o_j (hereinafter referred to as "confidence level”) and a value indicating the degree of confidence in the gender estimation by machine learning (confidence level), and determines each weight w i based on the input value indicating the degree of confidence (confidence level). For example, if either one of the two confidence levels is equal to or lower than a threshold, the determination unit 131 sets w i m to 1 and w i o_j to 0, and otherwise sets w i m to 0 and w i o_j to 1.
  • the results of the experiment in the publication paper 3 showed that when the gender estimation result is incorrect, the age estimation result by the operator tends to deteriorate.
  • the method is such that the age estimation model is trained separately for men and women, and the output from each of the two models for men and women is the weighted sum based on the results of gender estimation by machine learning (for example, 1.0 for men and 0.0 for women are defined, and the posterior probability is inferred), the error of the automatic age estimation tends to be reduced compared to the operator when the posterior probability of gender estimation is close to 0.5.
  • the seventh pattern is an embodiment based on such knowledge.
  • FIG. 10 shows a flowchart for explaining an example of a processing procedure executed by the determination unit 131 when combining the first to sixth patterns.
  • the same step numbers are assigned to the same steps as Figs. 4 to 9, and the explanation thereof will be omitted.
  • the seventh pattern is not combined, but the seventh pattern may also be combined as a branch point at any location.
  • the determination unit 131 may determine the weight w i using a model that has learned the weight w p for each pattern using machine learning. In this case, the determination unit 131 may set the weight w i to be input to the output unit 132 as the weight sum by w p of the determination results of the weight w i for each pattern to be combined.
  • CA is the speaker's age (Non-Patent Document 2)
  • PA is the speaker's age estimated manually (Non-Patent Document 2)
  • EA is the speaker's age estimated by a machine learning model.
  • the first dataset (hereafter referred to as the "call center dataset”) consists of telephone speech by 532 Japanese speakers (305 women and 227 men) aged between 11 and 89 years. Each speaker was recorded following five scripted call center scenarios. One of the scenarios is a telephone conversation between a customer and an operator. The others are utterances from an interactive voice response system. The dataset contains five single-channel calls per speaker, recorded indoors using a smartphone, and only the speaker's voice is recorded. All calls were downsampled by quantizing at 16 bits and converting to a sampling frequency of 8 kHz. The dataset was randomly split into training, validation, and test subsets without overlapping speakers. Each subset contained 289, 76, and 170 participants, respectively. After removing non-speech periods using voice activity detection (VAD) (Reference 1), the average speech length is 35.25 seconds with a standard deviation (SD) of 31.85.
  • VAD voice activity detection
  • the other dataset (hereafter referred to as the "short sentence dataset”) consists of utterances from 3,904 Japanese speakers (2,220 females and 1,684 males) aged between 6 and 91 years.
  • This dataset contains 20 single-channel utterances per speaker recorded indoors. All utterances were downsampled by quantizing at 16 bits and converting to a sampling frequency of 8 kHz.
  • This dataset was randomly split into training, validation, and test subsets without speaker overlap. The number of participants was 3,297, 355, and 352, respectively.
  • the average speech length after removing silent periods using VAD was 6.73 seconds with a standard deviation (SD) of 6.61.
  • the architecture of the model was determined with reference to 2. That is, the model includes 13 WavLM transformer encoder layers from “WavLMBase+” (Ref. 3), five ECAPA-TDNN layers (Ref. 4), a careful statistical pooling layer, two dense layers, and an output layer with a softmax function. The hyperparameters of each layer are the same as in 2.
  • the RAdam optimizer (Ref. 5) with ⁇ 1 and ⁇ 2 set to 0.9 and 0.999, respectively.
  • the loss ⁇ is 3.6
  • the mini-batch size is 64
  • the L2 regularization weight is 1e-4.
  • the training speech samples were randomly clipped as consecutive 5-second segments after removing non-speech durations using VAD (Ref. 1) at each epoch to create mini-batches.
  • VAD Voice-to-Meepoch
  • the model training procedure was divided into two phases with reference to 2. First, the pre-trained parameters of the WavLM model were fixed, and other parameters were trained with initial and minimum learning rates of 1e-4 and 1e-6, respectively. Then, all model parameters were fine-tuned with initial and minimum learning rates of 1e-5 and 1e-7, respectively. We used the same learning rate decay strategy and data augmentation method (adding noise and reverberation using simulated room impulse responses) to the training subset as in Ref. 6. All hyperparameters were determined using the results of the validation subset.
  • OD out-of-domain
  • ID in-domain
  • Figure 12 shows the effect of test segment length on MAE for the call center dataset.
  • C-MAE C-MAE
  • c i and c ⁇ i ⁇ [1, 17] are the age class numbers of CA and PA, and N is the number of test samples. Note that c ⁇ denotes the symbol c with ⁇ added above it.
  • C-MAE corresponds to 5 years of MAE.
  • the ⁇ value between the age class numbers of CA and PA is also used.
  • MSD mean standard deviation
  • the C-MAE for each speaker (C-MAEs) is defined as follows:
  • s is the speaker ID and j is the scenario ID.
  • MSD is defined as follows:
  • S is the number of speakers.
  • the DNN model performed as well as or better than the participants.
  • the DNN model trained in the OD condition performed better than 57% (12/21) of the participants for female speakers and 38% (8/21) of the participants for male speakers.
  • the DNN model trained in the ID condition performed better than 86% (18/21) of the participants for female speakers and all participants for male speakers.
  • Figures 14 and 15 show the C-MAE for female and male speakers by CA class. Each bar shows the average C-MAE for PA and the C-MAE for the DNN model trained under ID and OD conditions.
  • the C-MAE for older speakers using the DNN model is worse than that for younger speakers.
  • the C-MAE is worse in the OD condition than in the ID condition. This degradation is due to the small number of older speakers included in the training subset and the difficulty of estimating the age of older speakers (Reference 11).
  • inference was performed with a model structure that took gender into consideration.
  • the model was trained separately for male and female encoders, and age was estimated by softly taking into consideration the posterior probability of gender estimation.
  • Softly taking into consideration the posterior probability of gender estimation means that if the probability of male in gender estimation is ⁇ and the probability of female is ⁇ , the weight for the output of the male model is ⁇ and the weight for the output of the female model is ⁇ , respectively, and the age estimation result is the weighted sum.
  • hard consideration of the posterior probability of gender estimation means that if ⁇ > ⁇ , only the output of the male model is adopted, and if ⁇ , only the output of the female model is adopted.
  • the posterior probability of gender estimation had a negative effect on the age estimation results.
  • gender estimation was incorrect, there was a tendency for age estimation to be significantly incorrect when the error between the probability of correct answer and the estimation probability was large, and when this error was small, there was a tendency for the error in age estimation to be small.
  • the degree of error in gender estimation by DNN when it mis-estimated gender was defined using the posterior probability.
  • Memory at least one processor coupled to the memory; Including, The processor, determining (or deciding) weights for a first age estimated by a human based on the speech of the speaker and a second age estimated by a machine using a machine learning model based on one or more of information related to the human, information related to the machine, and information related to the speech; outputting an estimate of the speaker's age based on the first age, the second age and the weighting;
  • a speaker age estimation device comprising:
  • a determination step for determining (or deciding) weights of a first age estimated by a human based on a voice of the speaker and a second age estimated by a machine using a machine learning model based on one or more of information related to the human, information related to the machine, and information related to the voice; an output step of outputting an estimate of the speaker's age based on the first age, the second age and the weights;
  • a recording medium having a program recorded thereon that causes a computer to execute the above.
  • the manually estimated age y ⁇ i o_j is an example of a first age
  • the automatically estimated age y ⁇ i m is an example of a second age.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

話者年齢推定装置は、話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定するように構成されている判定部と、前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力するように構成されている出力部と、を有することで、発話の音声に基づく話者年齢の推定の精度を向上させる。

Description

話者年齢推定装置、話者年齢推定方法及びプログラム
　本発明は、話者年齢推定装置、話者年齢推定方法及びプログラムに関する。
　従来、コールセンタなどでは、話者（顧客）の年齢をコールセンタに従事するオペレータが話者の音声から主観評価によって推定していた。保険業務などのコールセンタにおいては推定された話者年齢は登録された顧客情報と照合されて本人確認の補助材料とされる。推定された話者年齢は、また、ビジターが通話してくる修理受付部門では、顧客分析の一材料として用いられる。
　しかし、オペレータの主観評価能力にはばらつきがあり、同じ音声に対してオペレータ間で異なる年齢推定を行うこともある（非特許文献１）。
　また、オペレータの性別や年齢によるバイアスが指摘されており、例えば、高齢のオペレータにとっては、その聴覚の老化にともなって高音を聞き分けにくくなる、若年層と接する機会が減る、といった理由から、特に若年層の音声に対して正確な年齢推定が難しくなるという報告がある（非特許文献２）。
　また、若年層らしい話者の年齢が実際より老いて推定されたり、高年層らしい話者の年齢が実際より若く推定されたりする傾向や、特に、中年の女性話者の音声が若く推定される傾向などが報告されている（非特許文献２）。
"音声は何を伝えているか - 感情・パラ言語情報・個人性の音声科学 -"、日本音響学会（編），2014 "Perception, Analysis and Synthesis of Speaker Age"、Susanne Schoetz, Linguistics and Phonetics, 2006
　近年、機械学習技術の発展に伴い、機械学習を用いた音声からの年齢の自動推定技術の精度が高くなり、実用化が期待される。従来の研究によって人間による年齢推定の精度や傾向は明らかになりつつあるが、機械学習による年齢推定の傾向は分析されておらず、人による推定結果と機械による推定結果との間にどのような違いがあるのかについては明らかではない。
　本発明は、上記の点に鑑みてなされたものであって、発話の音声に基づく話者年齢の推定の精度を向上させることを目的とする。
　そこで上記課題を解決するため、話者年齢推定装置は、話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定するように構成されている判定部と、前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力するように構成されている出力部と、を有する。
　発話の音声に基づく話者年齢の推定の精度を向上させることができる。
本発明の実施の形態における話者年齢推定装置１０のハードウェア構成例を示す図である。 本発明の実施の形態における話者年齢推定装置１０の機能構成例を示す図である。 年齢決定部１３の構成例を示す図である。 第１のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 第２のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 第３のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 第４のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 第５のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 第６のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 第１のパターンから第６のパターンを組み合わせる場合に判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。 機械学習による年齢推定実験結果（ＭＡＥ／ρ）を示す図である。 コールセンタデータセットのＭＡＥに対するテストセグメント長の影響を示す図である。 コールセンタデータセットに対するＰＡ／ＥＡの実験結果を示す図である。 ＣＡクラス別の女性話者に関するＣ－ＭＡＥを示す図である。 ＣＡクラス別の男性話者に関するＣ－ＭＡＥを示す図である。
　本実施の形態では、人間と機械学習モデルのそれぞれが音声からその話者の年齢を推定する際の挙動（傾向）の違いに着目し、自動的に人間及び機械のどちらの推定年齢を最終的に採用すべきか又はどちらの推定年齢に対する重みを相対的に大きくすべきかを自動的に決定する技術が開示される。
　以下、図面に基づいて本発明の実施の形態を説明する。
　図１は、本発明の実施の形態における話者年齢推定装置１０のハードウェア構成例を示す図である。図１の話者年齢推定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
　話者年齢推定装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従って話者年齢推定装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　図２は、本発明の実施の形態における話者年齢推定装置１０の機能構成例を示す図である。図２において、話者年齢推定装置１０は、自動推定部１１、人手推定部１２、年齢決定部１３及び分析部１４を有する。これら各部は、話者年齢推定装置１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。
　自動推定部１１は、音声（発話の音声）を入力し、当該音声から音響特徴量を抽出すると共に、当該音響特徴量を学習済みの機械学習モデルに入力することで自動的に得られる年齢の推定値を出力する。自動推定部１１による年齢の推定を、以下「自動年齢推定」という。
　人手推定部１２は、自動推定部１１が入力する音声と同じ音声の話者についての人（例えば、コールセンタのオペレータ等）による年齢の推定値を出力する。
　年齢決定部１３は、自動推定部１１から出力される年齢（の推定値）と、人手推定部１２から出力される年齢（の推定値）とを入力し、最終的に採用する年齢（以下、「最終推定年齢」という。）を決定すると共に、最終推定年齢を出力する。
　分析部１４は、最終推定年齢を利用した分析処理を実行する。例えば、話者年齢推定装置１０が保険業務などのコールセンタにおいて利用される場合、分析部１４は、最終推定年齢を、年齢の推定対象の話者に予め登録された年齢と照合し、照合結果を出力してもよいし、最終推定年齢をオペレータが視認可能なように出力してもよいし、最終推定年齢を顧客情報の一部として所定のデータベースに登録してもよい。又は、話者年齢推定装置１０が修理受付部門等において利用される場合、分析部１４は、最終推定年齢の集合を顧客分析の一材料として用いてもよい。又は、分析部１４は、最終推定年齢を元の音声と対応付けて保存してもよい。
　なお、本実施の形態では、音声からの年齢推定に限定した記述を行うが、顔画像やＭＲＩ画像など、その他の任意のデータが年齢推定に利用されてもよい。また、本実施の形態では、年齢を推定する人がオペレータである例を示すが、年齢を推定する人は、本実施の形態の利用シーンに合わせて適宜変更されてもよい。
　以下、自動推定部１１、人手推定部１２及び年齢決定部１３についてより詳しく説明する。
　［自動推定部１１］
　自動推定部１１は、音声について、機械学習を用いた話者年齢の自動推定に利用する音響特徴量を抽出する特徴量抽出器、及び音響特徴量と年齢との対応関係を学習済みの機械学習モデル（以下、「年齢推定モデル」という。）を利用して話者年齢を推定する。なお、モデルとは、モデル構造及び学習済みパラメータを含む。
　特徴量抽出器及び年齢推定モデルは公知の任意の技術を用いて実現されればよい。例えば、特徴量抽出器は、ＭＦＣＣ（mel-frequency cepstrum coefficients）やlog mel filterbankなどの時系列の音響特徴量を抽出してもよい。又は、学習済み話者表現ベクトル抽出器が特徴量抽出器として用いられてもよい。この場合、特徴量抽出器は話者表現ベクトルを抽出及び出力することになる。学習済み話者表現ベクトル抽出器とは、音声と話者との対応関係を学習済みのモデルをいう。話者表現ベクトルとは、話者を識別する数値ベクトルをいう。
　年齢推定モデルとしては、入力データに応じたモデル構造が用いられればよい。例えば、年齢推定モデルが時系列の音響特徴量を入力とする場合は、時系列の音響特徴量を取り扱うことのできるＲＮＮ（Recurrent Neural Network）やＴＤＮＮ（Time Delay Neural Networks）、Transformer等のモデル構造が用いられればよい。年齢推定モデルが話者ベクトルを入力とする場合は、全結合層やＳＶＭ（Support Vector Machine）やＳＶＲ（Support Vector Regression）等のモデル構造が用いられればよい。
　自動推定部１１の出力（推定結果）である年齢は、「子供」、「若者」、「大人」、「高齢者」といった任意の粒度（年齢幅）で離散化された年齢クラスであってもよいし、１歳単位の数値で示される年齢であってもよい。本実施の形態では、一例として、本願発明者による発表論文１～３（但し、発表論文２及び３については、本願出願後に発表予定）と同様に、年齢推定モデルは１歳単位で話者年齢を自動推定するものとする。なお、発表論文の文献情報は末尾に記載される。
　年齢推定モデルは、マルチタスク学習として、話者年齢以外の要素（例えば、性別、話者ベクトル）などを認識及び出力しても良い。また、年齢推定モデルは、公知の任意の技術や、公開されているデータや独自に収集したデータ等を用いて学習されればよい。
　以下、話者ｉによる或る発話の音声Ｓｉの音響特徴量ｘｉから機械学習モデル（年齢推定モデル）によって自動推定された話者年齢を自動推定年齢ｙ＾ｉ ｍと表記する。但し、ｙ＾は、図面においてｙの上に＾が付与された記号に対応する。
　［人手推定部１２］
　人手推定部１２は、業務に従事するオペレータ等が音声から推定した話者の年齢についてオペレータ等からの入力を受け付け、当該年齢を出力する。オペレータは、音声から、話者年齢だけでなく、性別、個人性などを同時に推定しても良い。本実施の形態において、オペレータは、発表論文１～３と同様に、話者の性別（男／女）も同時に推定するものとする。したがって、人手推定部１２は、話者の性別もオペレータから入力し、当該性別も出力する。
　以下、音響特徴量ｘｉからオペレータｏ＿ｊが推定した話者年齢を人手推定年齢ｙ＾ｉ ｏ＿ｊと表記し、推定した話者の性別を推定性別ｇ＾ｉ ｏ＿ｊ∈｛Ｍａｌｅ，Ｆｅｍａｌｅ｝と表記する。但し、ｏ＿ｊは、図面においてｊがｏの下付き文字である記号に対応する。また、ｇ＾は、図面においてｇの上に＾が付与された記号に対応する。
　性別推定は、人間及び機械のどちらの精度も非常に高いことから、ｇ＾ｉ ｏ＿ｊは、機械による自動推定結果によって置き換えられてもよい。
　［年齢決定部１３］
　年齢決定部１３は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊ等に基づき、話者年齢に関する最終的な推定値（以下、「最終推定年齢ｙ＾ｉ」という。）を決定及び出力する。
　年齢決定部１３は、人間による話者年齢推定の傾向、機械学習による自動話者年齢推定の傾向に基づき、人間と機械学習による年齢推定結果のどちらかだけを最終推定年齢をｙ＾ｉとしたり、任意の値の重みを用いた重み付き和を最終推定年齢をｙ＾ｉとしたりする。これらの傾向としては、例えば、非特許文献２など過去の研究等によって明らかになっているものが用いられてもよいし、発表論文１～３等に基づいたものでもよい。
　図３は、年齢決定部１３の構成例を示す図である。図３において、年齢決定部１３は、判定部１３１及び出力部１３２を含む。
　判定部１３１は、（人手推定年齢ｙ＾ｉ ｏ＿ｊを推定する）人に関連する情報、（自動推定年齢ｙ＾ｉ ｍを推定する）機械に関連する情報及び（年齢推定に用いられた）音声に関連する情報のいずれか１以上に基づいて、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊについて、最終推定年齢ｙ＾ｉ対する重みを判定（又は決定）する。それぞれの重みの範囲は、０～１であり、２つの重みの合計は１．０である。いずれか一方の重みが１である場合（この場合、他方の重みは０である。）、判定部１３１は、実質的に、当該一方を最終推定年齢ｙ＾ｉとして選択したことになる。以下において、自動推定年齢ｙ＾ｉ ｍに対する重みをｗｉ ｍと表記し、人手推定年齢ｙ＾ｉ ｏ＿ｊに対する重みをｗｉ ｏ＿ｊと表記する。また、各重みを区別しない場合、ｗｉと表記する。なお、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊのいずれか一方のみの選択を行わない場合には、２つの重みの合計は１．０でなくてもよい。この場合、任意の重み付けを行い、その加重平均が最終推定年齢ｙ＾ｉとされてもよい。
　人に関連する情報とは、１以上の人手推定年齢ｙ＾ｉ ｏ＿ｊ、推定性別ｇ＾ｉ ｏ＿ｊ、人（オペレータｏ＿ｊ）について所定の方法で評価された音声に基づく年齢の推定精度を示す情報（以下、「人手推定精度」という。）、人手推定年齢ｙ＾ｉ ｏ＿ｊに対する人（オペレータｏ＿ｊ）による自信の度合いを示す値、推定性別ｇ＾ｉ ｏ＿ｊに対する人（オペレータｏ＿ｊ）による自信の度合いを示す値等である。
　機械に関する情報とは、例えば、自動推定年齢ｙ＾ｉ ｍ、年齢推定モデルについて所定の方法で評価された音声に基づく年齢の推定精度を示す情報（以下、「モデル推定精度」という。）、年齢推定モデルが出力する自動推定年齢ｙ＾ｉ ｍについての確率分布に基づく情報、機械によって機械が推定した話者の性別に対する自信の度合いを示す値等である。
　音声に関連する情報とは、例えば、音声Ｓｉの音響特徴量や音声Ｓｉの時間長等である。当該音響特徴量としては、例えば、嗄声を示す音響特徴量の１つであるジッタｊｉｉである。
　出力部１３２は、判定部１３１による判定結果（ｗｉ ｍ及びｗｉ ｏ＿ｊのそれぞれの値）に基づき、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊの重み和（加重和）を算出し、算出結果を最終推定年齢ｙ＾ｉとして出力する。最終推定年齢ｙ＾ｉの算出式は以下の通りである。
ｙ＾ｉ＝ｙ＾ｉ ｍ×ｗｉ ｍ＋ｙ＾ｉ ｏ＿ｊ×ｗｉ ｏ＿ｊ
　ｗｉ ｍ及びｗｉ ｏ＿ｊうちいずれか一方が１である場合（この場合、他方の重みは０である。）、出力部１３２は、実質的に、当該一方に係る年齢を最終推定年齢ｙ＾ｉとして選択する。したがって、この場合、出力部１３２は、重み和を算出せずに当該一方の年齢を出力してもよい。
　以下、判定部１３１及び出力部１３２が実行する処理について複数通りのパターンを説明する。
　［第１のパターン］
　判定部１３１は、推定性別ｇ＾ｉ ｏ＿ｊ及び人手推定年齢ｙ＾ｉ ｏ＿ｊを入力情報とし、推定性別ｇ＾ｉ ｏ＿ｊに応じて人手推定年齢ｙ＾ｉ ｏ＿ｊに対して異なる閾値を適用して重みｗｉを判定する。
　図４は、第１のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ１０１において、判定部１３１は、推定性別ｇ＾ｉ ｏ＿ｊが「Ｍａｌｅ」（男性）であるか否かを判定する。推定性別ｇ＾ｉ ｏ＿ｊが「Ｍａｌｅ」（男性）である場合（Ｓ１０１でＹｅｓ）、判定部１３１は、ｗｉ ｏ＿ｊを１と判定するための（つまり、人手推定年齢ｙ＾ｉ ｏ＿ｊを採用するための）人手推定年齢ｙ＾ｉ ｏ＿ｊに対する閾値の範囲を３５～４５歳とする（Ｓ１０２）。なお、図４において、ｔｈ１は、当該範囲の下限の閾値であり、ｔｈ２は、当該範囲の上限の閾値である。一方、推定性別ｇ＾ｉ ｏ＿ｊが女性である場合（Ｓ１０１でＮｏ）、判定部１３１は、当該閾値の範囲を３５～６５歳とする（Ｓ１０３）。判定部１３１は、人手推定年齢ｙ＾ｉ ｏ＿ｊが、推定性別ｇ＾ｉ ｏ＿ｊに応じて決まる閾値の範囲内であれば（Ｓ１０４でＹｅｓ）、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする（Ｓ１０５）。一方、判定部１３１は、人手推定年齢ｙ＾ｉ ｏ＿ｊが、推定性別ｇ＾ｉ ｏ＿ｊに応じて決まる閾値の範囲外であれば（Ｓ１０４でＮｏ）、ｗｉ ｍを１とし、ｗｉ ｏ＿ｊを０とする（Ｓ１０６）。
　出力部１３２は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊのうち、重みｗｉが１である方を最終推定年齢ｙ＾ｉとして出力する。
　発表論文１、２での実験において、オペレータは、平均的に４０代後半～６０代後半の女性話者を、実際より若く３０代後半～４０代後半と推定する傾向が認められた。また、３０代後半～４０代後半の男性話者を２０代後半前後と推定する傾向も認められた。一方、機械学習モデルにはこのような傾向が認められなかった。第１のパターンは、これらの知見に基づく実施形態である。
　［第２のパターン］
　判定部１３１は、モデル推定精度及び人手推定精度を入力し、モデル推定精度及び人手推定精度に基づいて各ｗｉを判定する。任意の評価テストを年齢推定モデルとオペレータに対して実施することで（所定の方法で年齢推定モデルとオペレータとのそれぞれについて年齢推定精度を評価することで）得られるそれぞれの評価スコアがモデル推定精度又は人手推定精度として採用されてもよい。評価スコアの一例として正答率（評価テスト用の複数の音声について年齢を推定し、正当した確率）が挙げられる。以下、オペレータｏ＿ｊの評価スコアをｓｃｏｒｅｏ＿ｊと表記し、年齢推定モデルの評価スコアをｓｃｏｒｅｍと表記する。
　図５は、第２のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ２０１において、判定部１３１は、ｓｃｏｒｅｏ＿ｊとｓｃｏｒｅｍを比較して、所定条件を満たす程ｓｃｏｒｅｏ＿ｊが大きくｓｃｏｒｅｍを上回るという条件が満たされるか否かを判定する。当該条件が満たされる場合（Ｓ２０１でＹｅｓ）、判定部１３１は、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする（Ｓ２０２）。当該条件が満たされない場合（Ｓ２０１でＮｏ）、判定部１３１は、ｗｉ ｍを１とし、ｗｉ ｏ＿ｊを０とする（Ｓ２０３）。なお、図５では、例えば、スコアに倍の開きがあることが所定条件である例が示されているか、この条件は一例に過ぎない。例えば、特定の年代（例えば、高齢者）の音声に対する人手推定の精度や、発表論文の実験結果も示すようにオペレータの性別や年齢によって精度が変わることから、そういった要素を単独で又は組み合わせてステップＳ２０１の判定が行われてもよい。
　出力部１３２は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊのうち、重みｗｉが１である方を最終推定年齢ｙ＾ｉとして出力する。
　又は、判定部１３１は、ｓｃｏｒｅｏ＿ｊ及びｓｃｏｒｅｍの合計が１になるようにｓｃｏｒｅｏ＿ｊ及びｓｃｏｒｅｍの値を補正した場合の、ｓｃｏｒｅｏ＿ｊをｗｉ ｏ＿ｊとし、ｓｃｏｒｅｍをｗｉ ｍとしてもよい。
　この場合、出力部１３２は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊについて、重みｗｉに基づく重み和を最終推定年齢ｙ＾ｉとして出力する。
　非特許文献１に記載されている内容や、発表論文１～３での実験において、オペレータの中でも話者年齢推定が得意な者と不得意な者がいて、推定精度にばらつきがあることがわかっている。例えば、発表論文１の表２や発表論文２に掲載予定の表（後述の図１３）に記載の通り、機械学習モデル以上の精度で話者年齢を推定するオペレータもいれば、それより悪い精度で話者年齢を推定するオペレータもいる。第２のパターンは、このような知見に基づく実施形態である。
　［第３のパターン］
　第３のパターンにおいて、判定部１３１は、音声Ｓｉについて嗄声を示す音響特徴量の１つであるジッタｊｉｉの値と自動推定年齢ｙ＾ｉ ｍとを入力情報とし、ジッタｊｉｉの値及び自動推定年齢ｙ＾ｉ ｍをそれぞれの閾値と比較することで各重みｗｉを判定する。
　図６は、第３のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ３０１において、判定部１３１は、自動推定年齢ｙ＾ｉ ｍが高齢者（例えば、６０歳）以上であり、かつ、ジッタｊｉｉが閾値ｔｈｊ未満であるという条件が満たされるか否かを判定する。当該条件が満たされる場合（Ｓ３０１でＹｅｓ）、判定部１３１は、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする（Ｓ３０２）。当該条件が満たされない場合（Ｓ３０１でＮｏ）、判定部１３１は、ｗｉ ｍを１とし、ｗｉ ｏ＿ｊを０とする（Ｓ３０３）。
　出力部１３２は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊのうち、重みｗｉが１である方を最終推定年齢ｙ＾ｉとして出力する。
　発表論文１、２で実施したオペレータ及び機械学習モデルの比較実験の結果、オペレータは老化に伴って現れるとされる嗄声などの特徴的な音声が認められない場合、３５歳前後に音声を推定してしまう傾向が認められた。一方で機械学習モデルにはそのような傾向が認められなかった。第３のパターンは、このような知見に基づく実施形態である。
　［第４のパターン］
　第４のパターンにおいて、判定部１３１は、それぞれ推定元（オペレータｏ＿ｊ）が異なる（重複しない）複数の人手推定年齢ｙ＾ｉ ｏ＿ｊを入力情報とする。判定部１３１は、入力した人手推定年齢ｙ＾ｉ ｏ＿ｊの個数が一定数（閾値ｔｈｏ）以上であるか否かに基づいて、各重みｗｉを判定する。
　図７は、第４のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ４０１において、判定部１３１は、入力した人手推定年齢ｙ＾ｉ ｏ＿ｊの個数が閾値ｔｈｏ以上であるという条件が満たされるか否かを判定する。当該条件が満たされる場合（Ｓ４０１でＹｅｓ）、判定部１３１は、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする（Ｓ４０２）。当該条件が満たされない場合（Ｓ４０２）、判定部１３１は、他のパターンで各重みｗｉを判定する（Ｓ４０３）。例えば、第１のパターンのように、人手推定年齢ｙ＾ｉ＾ｏや推定性別ｇ＾ｉ＾ｏが考慮され重みｗｉが判定されてもよいし、他のパターンに基づいて重みｗｉが判定されてもよい。
　出力部１３２は、ｗｉ ｏ＿ｊが１であれば、入力した複数の人手推定年齢ｙ＾ｉ ｏ＿ｊの平均値をｙ＾ｉを算出し、算出結果を最終推定年齢ｙ＾ｉとして出力する。ｗｉ ｍが１である場合、出力部１３２は、自動推定年齢ｙ＾ｉ ｍを最終推定年齢ｙ＾ｉとして出力する。
　発表論文における実験の結果から、複数オペレータの推定結果を組み合わせると、推定精度が向上する傾向が示されている。第４のパターンは、このような知見に基づく実施形態である。
　［第５のパターン］
　第５のパターンにおいて、判定部１３１は、音声Ｓｉの時間長を入力情報とし、当該時間長に基づいて各重みｗｉを判定する。
　図８は、第５のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ５０１において、判定部１３１は、音声Ｓｉの時間長が閾値（例えば、３０秒）未満であるという条件が満たされるか否かを判定する。当該条件が満たされる場合（Ｓ５０１でＹｅｓ）、判定部１３１は、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする（Ｓ５０２）。当該条件が満たされない場合（Ｓ５０１でＮｏ）、判定部１３１は、他のパターンで各重みｗｉを判定する（Ｓ５０３）。
　出力部１３２は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊのうち、重みｗｉが１である方を最終推定年齢ｙ＾ｉとして出力する。
　一般的には機械学習を用いた音声からの自動年齢推定では、入力音声の時間が長いほど精度が向上すると言われている。発表論文２のデータを用いた検討によってもその傾向が確認され、１０秒程度の短い音声では精度が劣化することが確認されている。一方で発表論文１、２でのオペレータによる年齢推定では、音声聴取から性別と年齢の回答までに要する時間は平均的に３０秒／ファイル程度であり、機械学習よりも短い時間の音声からでも推定が可能である。第５のパターンは、このような知見に基づく実施形態である。
　［第６のパターン］
　第６のパターンにおいて、判定部１３１は、オペレータｏ＿ｊ自身が人手推定年齢ｙ＾ｉ ｏ＿ｊに対する自身の度合いを０～１の間で評価した値（以下、「自信度ｃｉ ｏ＿ｊ」という。）を入力情報とし、自信度ｃｉ ｏ＿ｊに基づいて各重みｗｉを判定する。なお、自信度ｃｉ ｏ＿ｊは、１に近いほど自信があることを意味する。又は、自信度は、人手推定年齢ｙ＾ｉ ｏ＿ｊの形式に基づいて特定されてもよい（例えば、人手推定年齢ｙ＾ｉ ｏ＿ｊが３５±１０のように或る程度の幅を有している場合、当該幅の大きさの逆数が自信度とされてもよい。）。
　図９は、第６のパターンにおいて判定部１３１が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ６０１において、判定部１３１は、自信度ｃｉ ｏ＿ｊが閾値（例えば、０．４）未満であるという条件が満たされるか否かを判定する。当該条件が満たされる場合（Ｓ６０１でＹｅｓ）、判定部１３１は、ｗｉ ｍを１とし、ｗｉ ｏ＿ｊを０とする（Ｓ６０２）。当該条件が満たされない場合（Ｓ６０１でＮｏ）、判定部１３１は、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする（Ｓ６０３）。
　なお、判定部１３１は、年齢推定モデルが各年齢への事後確率を推定するモデルの場合は、その事後確率分布の標準偏差σｉの逆数や、年齢推定モデルに別途推定させた自信度合いを年齢推定モデルによる自信度ｃｉ ｍとして、自信度ｃｉ ｏ＿ｊに代えて又は自信度ｃｉ ｏ＿ｊと共に入力してもよい。判定部１３１は、自信度ｃｉ ｍのみを入力した場合、ステップＳ６０１の条件を、自信度ｃｉ ｍが閾値未満であるという条件に置き換えてもよい。又は、判定部１３１は、自信度ｃｉ ｏ＿ｊ及び自信度ｃｉ ｍの双方を入力した場合、ステップＳ６０１の条件を、自信度ｃｉ ｏ＿ｊと自信度ｃｉ ｍとに基づく条件（例えば、自信度ｃｉ ｏ＿ｊ及び自信度ｃｉ ｍのそれぞれに対して閾値が設定され、それぞれを閾値と比較することで判定結果が決まる条件）に置き換えてもよい。
　出力部１３２は、自動推定年齢ｙ＾ｉ ｍ及び人手推定年齢ｙ＾ｉ ｏ＿ｊのうち、重みｗｉが１である方を最終推定年齢ｙ＾ｉとして出力する。
　発表論文１、２の実験の結果から、オペレータは明確な特徴のない音声に対して３５歳前後と推定している可能性が示唆されている。第６のパターンは、このような知見に基づく実施形態である。
　［第７のパターン］
　第７のパターンにおいて、判定部１３１は、オペレータｏ＿ｊ自身による、推定性別ｇ＾ｉ ｏ＿ｊに対する自信の度合いを示す値（以下、「自信度」という。）、及び機械学習による性別推定の自信の度合いを示す値（自信度）を入力情報とし、入力した自信の度合いを示す値（自信度）に基づいて、各重みｗｉを判定する。例えば、判定部１３１は、２つの自信度のうちのいずれか一方が閾値以下であれば、ｗｉ ｍを１とし、ｗｉ ｏ＿ｊを０とし、そうでなければ、ｗｉ ｍを０とし、ｗｉ ｏ＿ｊを１とする。
　発表論文３の実験の結果から、性別推定の結果を誤った時、特にオペレータによる推定年齢の結果が悪化する傾向が示された。一方で機械学習による自動年齢推定では、年齢推定モデルを男女別に学習し、男女別の２つのモデルのそれぞれからの出力を、機械学習による性別推定（例えば、男性なら１．０、女性なら０．０と定義して、事後確率を推論する）の結果に基づく重み和を自動推定年齢ｙ＾ｉ ｍとするような手法であれば、性別推定の事後確率が０．５に近いような値をとった時、オペレータと比べて自動年齢推定の誤りが軽減される傾向が示された。第７のパターンは、このような知見に基づく実施形態である。
　［複数パターンの組み合わせ］
　上記のパターンのうち、２以上のパターンが組合わされてもよい。図１０に、第１のパターンから第６のパターンを組み合わせる場合に判定部１３１が実行する処理手順の一例を説明するためのフローチャートを示す。図１０中、図４～図９と同一ステップには同一ステップ番号を付し、その説明は省略する。
　なお、図１０では、第７のパターンが組み合わされていないが、第７のパターンも、任意の箇所の分岐点として組み合わされてもよい。
　また、複数のパターンを組み合わせる場合、判定部１３１は、各パターンに対する重みｗｐを機械学習を用いて学習したモデルを用いて重みｗｉを判定してもよい。この場合、判定部１３１は、組み合わせる各パターンによる重みｗｉの判定結果のｗｐによる重み和を、出力部１３２へ入力する重みｗｉとしてもよい。
　上述したように、本実施の形態によれば、人及び機械のそれぞれによる推定の傾向を考慮して話者の年齢を推定可能とすることができる。その結果、いずれか一方のみを用いた年齢推定よりも、発話の音声に基づく話者年齢の推定の精度を向上させるができる。
　従来、オペレータによる主観的な年齢推定を、機械学習による自動年齢推定に置き換えることを検討する場合、いくつかのサンプルに対して年齢推定実験を実施し、評価スコア（例えば、真の年齢と推定年齢の絶対誤差の平均値）のより優れた方を採用する、といった判断基準しかなかった。人及び機械それぞれが、どのような音声に対しては得意／不得意であり、人による年齢推定を自動年齢推定に切り替えた場合又は切り替えなかった場合に、何に気を付ければ良いかは定かではなかったところ、本実施の形態によれば、実験等によって得られた知見を根拠として、適切にいずれか一方を選択又は双方を組み合わせることができる。
　［発表論文］
１．"話者年齢の人と機械学習による推定の傾向の分析"、北岸佑樹 他、日本音響学会秋季全国大会，2022．
２．"What are difference? Comparing DNN and human by their performance and characteristics in speaker age estimation"、INTERSPEECH, 2023年8月発表予定
３．"話者の性別を考慮した年齢推定における人と機械学習の傾向の分析"、北岸佑樹 他、日本音響学会秋季全国大会，2023年9月発表予定
　［各発表論文の実験結果］
　以下、本願出願時において未公表である発表論文２及び３に関して行われた実験及びその結果を記載する。発表論文１に関する実験結果は、発表論文１を参照されたい。
　［発表論文２］
　以下において、"ＣＡ"は、話者の年齢である（非特許文献２）。"ＰＡ"は、人手によって推定される話者年齢である（非特許文献２）。"ＥＡ"は、機械学習モデルによって推定される話者年齢である。
　＜２．１　データセット＞
　ＤＮＮモデルは学習環境と実際の使用環境との間で不一致な条件下で学習される場合があるため、２つの異なるドメインの社内音声データセットを作成した。
　１つ目は、１１歳から８９歳までの日本語話者５３２人（女性３０５人、男性２２７人）による電話での音声で構成されているデータセット（以下、「コールセンタデータセット」という。）である。話者としの参加者は、５つのスクリプト化されたコールセンタのシナリオに従って録音した。シナリオの１つは、顧客とオペレータの間の電話での会話である。それ以外は自動音声応答システムの発話である。このデータセットには、屋内でスマートフォンを使用して録音された、話者ごとの５つのシングルチャネル通話が含まれており、話者の音声のみが記録されている。全ての通話は、１６ビットで量子化し、８ｋＨｚのサンプリング周波数に変換することによってダウンサンプリングされた。このデータセットは、話者が重複することなく、学習、検証、及びテストのサブセットにランダムに分割された。各サブセットの参加者はそれぞれ２８９人、７６人、１７０人である。音声アクティビティ検出（ＶＡＤ）（参考文献１）を使用して非音声時間を除去した後の平均音声長は３５．２５秒で、その標準偏差（ＳＤ）は３１．８５である。
　もう１つは、６歳から９１歳までの３，９０４人の日本語話者（女性２，２２０人、男性１，６８４人）が話した発話で構成されるデータセット（以下、「短文データセット」という。）である。このデータセットには、屋内で記録された話者ごとに２０個のシングルチャネル発話が含まれている。全ての発話は、１６ビットで量子化し、８ｋＨｚのサンプリング周波数に変換することによってダウンサンプリングされた。このデータセットは、話者が重複することなく、学習、検証、及びテストのサブセットにランダムに分割された。参加者はそれぞれ３，２９７人、３５５人、３５２人である。ＶＡＤを使用して無声時間を除去した後の平均音声長は６．７３秒で、標準偏差（ＳＤ）は６．６１である。
　＜２．２　機械学習による年齢推定実験＞
　トランスフォーマモデルを用いた話者年齢推定の自動実験を行った。モデルのアーキテクチャは参考文献２を参照して決定された。つまり、このモデルには、「WavLMBase+」（参考文献３）の１３個のＷａｖＬＭトランスフォーマエンコーダ層、５つのＥＣＡＰＡ－ＴＤＮＮ層（参考文献４）、注意深い統計プーリング層、２つの高密度層、及びソフトマックス関数を備えた出力層を含む。各層のハイパーパラメータは参考文献２と同じである。モデルパラメータを最適化するために、β１及びβ２をそれぞれ０．９と０．９９９に設定したＲＡｄａｍオプティマイザ（参考文献５）を使用した。損失のσは３．６、ミニバッチサイズは６４、Ｌ２正則化の重みは１ｅ－４である。学習音声サンプルは、ミニバッチを作成するために各エポックでＶＡＤ（参考文献１）を使用して非音声継続時間を除去した後、連続５秒のセグメントとしてランダムにクリップされた。モデルの学習手順は、参考文献２を参照して２つのフェーズに分割した。まず、ＷａｖＬＭモデルの事前学習されたパラメータが固定され、他のパラメータはそれぞれ１ｅ－４と１ｅ－６の初期学習率と最小学習率で学習された。次に、全てのモデルパラメータが初期学習率と最小学習率でそれぞれ１ｅ－５と１ｅ－７で微調整（fine-tuned）された。参考文献６と同じ学習率減衰戦略と学習サブセットへのデータ拡張方法（シミュレートされた室内インパルス応答を使用したノイズの追加と反響）を使用した。全てのハイパーパラメータは、検証サブセットの結果を使用して決定された。
　ＯＤ（outof-domain）条件及びＩＤ（indomain）条件の２種類の学習条件を設定した。ＯＤ条件では、モデル学習手順において短文データセットのみが使用された。これは、コールセンタデータセットのドメイン外の条件である。ＩＤ条件では、モデル学習手順において両方のデータセットが使用された。これはコールセンタデータセットのドメイン内の条件である。
　平均絶対誤差（ＭＡＥ）と、ＣＡとＥＡ間のピアソンの相関係数ρを使用して実験結果を評価した。図１１に、機械学習による年齢推定実験結果（ＭＡＥ／ρ）を示す。
　ＯＤ条件及びＩＤ条件のいずれのモデルでも、短文データセットに対して良好な推定精度が得られた。しかしながら、ＯＤ条件の精度は、コールセンタデータセットのＩＤ条件よりも優れていなかった。これらの精度の低下は、両方のデータセット間のドメインの不一致が原因である。話し方などの音響特性の違いにより、精度が低下する可能性があることが知られている（参考文献７、８）。
　図１２は、コールセンタデータセットのＭＡＥに対するテストセグメント長の影響を示す図である。いくつかの研究では、短時間の入力サンプルの場合、推定精度が低下することが報告されている（参考文献２、６、９、１０）。本実験の結果も同様の傾向を示した。特に、テスト音声サンプルの長さが５秒の場合、ＭＡＥはさらに低下した。ＭＡＥは全長を使用した場合よりも１０％以上劣化した。
　＜２．３　人手による話者年齢推定実験＞
　コールセンタ業務経験のある日本人参加者２１名（２０代～６０代の女性１６名、男性５名）を対象に話者の年齢推定実験を行った。詳細を図１３に示す。各参加者はヘッドフォンを使用してコールセンタデータセットのテストサブセットに含まれる通話を聞き、話者の年齢層と性別にラベルを付けた。１．１０代前半以下、２．１０代後半、３．２０代前半，・・・，１６．８０年代後半，１７．９０歳以上のように、５歳階刻みで１７の年齢クラスを定義した。
　これらの年齢クラスの推定結果を評価するために、ＰＡとＣＡの年齢クラス番号の間のＭＡＥである「Categorical MAE（Ｃ－ＭＡＥ）」を定義する。Ｃ－ＭＡＥは、以下のように定式化される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｃｉ及びｃ＾ｉ∈［１，１７］は、ＣＡとＰＡの年齢クラス番号、Ｎはテストサンプルの数である。但し、ｃ＾は、ｃの上に＾が付与された記号を示す。
　Ｃ－ＭＡＥの１つのポイントは、ＭＡＥの５年間に相当する。ＣＡとＰＡの年齢クラス番号間のρ値も使用する。さらに、話者ごとの推定誤差の平均ＳＤ（ＭＳＤ）を推定者内の変動性（intra-estimator variability）として評価する。話者ごとのＣ－ＭＡＥ（Ｃ－ＭＡＥｓ）は、以下のように定義される。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｓは話者のＩＤ、ｊはシナリオのＩＤである。
　ＭＳＤは以下のように定義される。
Figure JPOXMLDOC01-appb-M000003
 　ここで、Ｓは話者の数である。
　結果を図１３に示す。参加者は、女性話者のＣ－ＭＡＥで１．３７～３．４３ポイント、男性話者のＣ－ＭＡＥで１．６２～２．５１ポイントの誤差で話者の年齢を推定した。ＰＡの平均的な精度も図１３に示されているが、各参加者の精度よりも優れた精度もあった。これは、機械学習におけるアンサンブル推定と同様の現象によるものである。また、ＭＳＤは、女性話者では１．１２～１．９５ポイント、男性話者では１．３０～２．０７ポイントであった。異常な精度はないと考えられる。
　＜２．４　機械学習モデルと人間による実験結果の比較＞
　ＥＡは、参加者のカテゴリ別年齢推定精度と比較するために、年齢の数値から５歳刻みの年齢クラスに変換した。ＥＡとＣＡの年齢クラス番号間のＣ－ＭＡＥ、ＭＳＤ、ρ値を図１３の下２行に示す。
　ＤＮＮモデルは、参加者と同等又はそれ以上の精度を示した。ＯＤ条件で学習されたＤＮＮモデルは、女性話者の場合は参加者の５７％（１２／２１）、男性話者の場合は参加者の３８％（８／２１）よりも優れた結果を示した。ＩＤ条件で学習されたＤＮＮモデルは、女性話者の場合は参加者の８６％（１８／２１）、男性話者の場合は全ての参加者よりも優れた精度を示した。
　図１４及び図１５は、ＣＡクラス別の女性話者と男性話者に関するＣ－ＭＡＥを示す。各バーは、ＰＡの平均のＣ－ＭＡＥと、ＩＤ及びＯＤ条件下で学習されたＤＮＮモデルのＣ－ＭＡＥを示す。参考文献１１～１３と同様に、ＤＮＮモデルによる高齢話者のＣ－ＭＡＥは、若年話者よりも劣化している。特に、ＩＤ条件よりもＯＤ条件の場合にＣ－ＭＡＥはさらに劣化した。これらの劣化は、学習サブセットに含まれる高齢者の話者の数が少ないことと、高齢者の話者の年齢を推定することが困難であることが原因である（参考文献１１）。
　［発表論文３］
　人間とＤＮＮによる話者年齢推定時の、性別推定誤り時の年齢推定誤りの傾向に関する分析結果を示す論文である。
　人間については、コールセンタのオペレータ経験者が年齢（５歳刻み）と性別を同時に推定した。性別誤推定時には、年齢推定も大きく誤る傾向（３クラス≒１５歳以上）が見られた。
　ＤＮＮについては、性別を考慮したモデル構造で推論を行った。モデルはエンコーダを男女別として、男女別に学習され、性別推定の事後確率をｓｏｆｔに考慮して年齢を推定した。性別推定の事後確率をｓｏｆｔに考慮するとは、性別推定において男性の確率をα、女性の確率をβとした場合、男性モデルの出力に対する重みをαとし、女性モデルの出力に対する重みをβとする重み和を年齢の推定結果とすることをいう。一方、性別推定の事後確率をｈａｒｄに考慮するとは、α＞βであれば、男性モデルの出力のみを採用し、α＜βであれば、女性モデルの出力のみを採用することをいう。
　ＤＮＮによる性別誤推定時には、年齢推定を大きく誤る時とそうでない時があった。性別を誤推定した中で、推定年齢を大きく（±約１５歳以上）誤ったサンプル数は、人間とＤＮＮを比べると、人間の方が有意に頻度が多かった（Fisherの正確確率検定においてｐ＝０．０４５）。
　また、ＤＮＮについては、性別推定の事後確率が、年齢推定の結果に悪影響を与えた。性別推定誤り時、正解確率と推定確率の誤差が大きい時には年齢推定を大きく誤る傾向があり、当該誤差が小さい時には年齢推定の誤差が小さい傾向があった。ＤＮＮが性別を誤推定した場合のＤＮＮによる性別推定の誤り度合いを事後確率を用いて定義した。誤り度合いと年齢推定誤差との間で高い相関（相関係数ρ＝０．８６５）が認められた。つまり、性別推定を大きく誤ると年齢推定も大きく誤る傾向が見られた。
　更に、ＤＮＮについては、性別推定の結果をｈａｒｄに考慮するように切り替えると、年齢推定精度が悪化する傾向が見られた。したがって、性別をｓｏｆｔに考慮する機構が性別推定誤り時の年齢推定の精度劣化を防いだと考えられる。性別推定の結果をｈａｒｄに考慮するように場合、性別推定誤り時の年齢推定の絶対誤差平均が有意に悪化したため（対応のあるｔ検定において、ｐ＝０．０３２）、この仮説が支持された。
　結論は、以下の通りである。
・性別推定を誤りは、人間とＤＮＮの両者において年齢推定に悪影響を及ぼす。
・ただし、ＤＮＮは性別の考慮結果をｓｏｆｔに考慮でき、それが精度劣化の防止に繋がる可能性がある。
　［参考文献］
１．Z.-H. Tan, A. kr. Aarkar, and N. Dehak, "rVAD: An unsupervised segment-based robust voice activety detection method," Computer Speech and Language, vol. 59, pp. 1-21, 2020.
２．Z. Kang, J. Wang, J. Peng, and J. Xiao, "SVLDL: Improved speaker age estimation using selective variance label distribution learning," in SLT. IEEE, 2022, pp. 1037-1044.
３．S. Chen, C. Wang, Z. Chen, Y. Wu, S. Liu, Z. Chen, J. Li, N. Kanda, T. Yoshioka, X. Xiao, J. Wu, L. Zhou, S. Ren, Y. Qian, Y. Qian, J.Wu, M. Zeng, X. Yu, and F.Wei, "WavLM: Large-scale self-supervised pre-training for full stack speech processing," IEEE Journal of Selected Topics in Signal Processing, vol. 16, no. 6, pp. 1505-1518, 2022.
４．B. Desplanques, J. Thienpondt, and K. Demuynck, "ECAPATDNN: Emphasized channel attention, propagation and aggregation in tdnn based speaker verification," in INTERSPEECH, 2020, pp. 3380-3384.
５．L. Liu, H. Jiang, P. He, C.Weizhu, X. Liu, J. Gao, and J. han, "On the variance of the adaptive learning rate and beyond," in ICLR, 2020, 13 pages.
６．P. Ghahremani, P. S. Nidadavolu, N. Chen, J. Villalba, D. Povey, S. Khudanpur, and N. Dehak, "End-to-end deep neural network age estimation," in INTERSPEECH, 2018, pp. 277-281.
７．R. Takeda and K. Komatani, "Age estimation with speech-age model for heterogeneous speech datasets," in INTERSPEECH, 2021, pp. 4164-4167.
８．N. Tawara, A. Ogawa, Y. Kitagishi, H. Kamiyama, and Y. Ijima, "Robust speech-age estimation using local maximum mean discrepancy under mismatched recording conditions," in ASRU. IEEE, 2021.
９．R. Zazo, P. S. Nidadavolu, N. Chen, J. Gonzalez-Rodriguez, and N. Dehak, "Age estimation in short speech utterances based on LSTM recurrent neural networks," IEEE Access, pp. 22 524- 22 530, 2018.
１０．S. Si, J.Wang, J. Peng, and J. Xiao, "Towards speaker age estimation with label distribution learning," in ICASSP. IEEE, 2022, pp. 4618-4622.
１１．M. Huckvale and A.Webb, "A comparison of human and machine estimation of speaker age," in SLSP, 2015, pp. 111-122.
１２．S. S.Waller, M. Eriksson, and P. S¨orqvist, "Can you hear my age? influences of speech rate and speech spontaneity on estimation of speaker age," Frontiers in Psycholagy, vol. 6, p. 978, 2015.
１３．H. Goy, M. K. Pichora-Fuller, and P. van Lieshout, "Effects of age
on speech and voice quality ratings," The Journal of the Acoustical
Society of America, vol. 139, no. 4, pp. 1648-1659, 2016.
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定（又は決定）し、
　前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力する、
ことを特徴とする話者年齢推定装置。
　（付記項２）
話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定（又は決定）する判定手順（又は決定手順）と、
　前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力する出力手順と、
をコンピュータに実行させることを特徴とするプログラムを記録した記録媒体。
　なお、本実施の形態において、人手推定年齢ｙ＾ｉ ｏ＿ｊは第１の年齢の一例である。自動推定年齢ｙ＾ｉ ｍは第２の年齢の一例である。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　話者年齢推定装置
１１　　　　　自動推定部
１２　　　　　人手推定部
１３　　　　　年齢決定部
１４　　　　　分析部
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　プロセッサ
１０５　　　　インタフェース装置
１３１　　　　判定部
１３２　　　　出力部
Ｂ　　　　　　バス

Claims (6)

  1. 　話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定するように構成されている判定部と、
    　前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力するように構成されている出力部と、
    を有することを特徴とする話者年齢推定装置。
  2. 　前記人に関連する情報は、当該人が推定した前記話者の性別と前記第１の年齢とを含む、
    　又は、前記人に関連する情報は、当該人について所定の方法で評価された音声に基づく年齢の推定精度を含み、前記機械に関連する情報は、当該機械学習モデルについて前記所定の方法で評価された音声に基づく年齢の推定精度を含む、
    　又は、前記機械に関連する情報は前記第２の年齢を含み、前記音声に関連する情報は、前記音声の音響特徴量を含む、
    　又は、前記音声に関連する情報は、前記音声の時間長を含む、
    　又は、前記人に関連する情報は、前記第１の年齢に対する前記人による自信の度合いを示す値を含む、又は前記機械に関連する情報は、前記機械学習モデルが出力した前記第２の年齢の推定に関する確率分布に基づく情報を含む、
    　又は、前記人に関連する情報は、当該人が推定した前記話者の性別と当該人による当該性別に対する自信の度合いを示す値を含み、機械学習によって前記機械が推定した前記話者の性別に対する自信の度合いを示す値を含む、
    ことを特徴とする請求項１記載の話者年齢推定装置。
  3. 　前記人に関連する情報は、複数の前記第１の年齢を含み、
    　前記判定部は、前記第１の年齢の個数が閾値以上である場合には、前記第１の年齢に対する重みを１とし、前記第２の年齢に対する重みを０とし、
    　前記出力部は、複数の前記第１の年齢の平均値を前記推定値として出力する、
    ことを特徴とする請求項１記載の話者年齢推定装置。
  4. 　前記判定部は、前記機械に関連する情報、前記人に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて、前記第１の年齢及び前記第２の年齢のうちのいずれか一方を選択するように構成され、
    　前記出力部は、前記判定部が選択した年齢を出力するように構成されている、
    ことを特徴とする請求項１記載の話者年齢推定装置。
  5. 　話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定する判定手順と、
    　前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力する出力手順と、
    をコンピュータが実行することを特徴とする話者年齢推定方法。
  6. 　話者の発話の音声に基づいて前記話者について人が推定した第１の年齢と機械が機械学習モデルを用いて推定した第２の年齢とのそれぞれの重みを、前記人に関連する情報、前記機械に関連する情報及び前記音声に関連する情報のいずれか１以上に基づいて判定する判定手順と、
    　前記第１の年齢と前記第２の年齢と前記重みとに基づいて前記話者の年齢の推定値を出力する出力手順と、
    をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2023/026253 2023-07-18 2023-07-18 話者年齢推定装置、話者年齢推定方法及びプログラム Pending WO2025017828A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025533764A JPWO2025017828A1 (ja) 2023-07-18 2023-07-18
PCT/JP2023/026253 WO2025017828A1 (ja) 2023-07-18 2023-07-18 話者年齢推定装置、話者年齢推定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/026253 WO2025017828A1 (ja) 2023-07-18 2023-07-18 話者年齢推定装置、話者年齢推定方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2025017828A1 true WO2025017828A1 (ja) 2025-01-23

Family

ID=94281898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026253 Pending WO2025017828A1 (ja) 2023-07-18 2023-07-18 話者年齢推定装置、話者年齢推定方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2025017828A1 (ja)
WO (1) WO2025017828A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117085A1 (ja) * 2019-12-09 2021-06-17 日本電信電話株式会社 学習装置、推定装置、それらの方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117085A1 (ja) * 2019-12-09 2021-06-17 日本電信電話株式会社 学習装置、推定装置、それらの方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUKI KITAGISHI, NAOHIRO TAWARA, ATSUNORI OGAWA, YUSUKE IJIMA, RYO MASUMURA: "Trends analysis in speaker age estimation between humnan and deep neural network model", PROCEEDINGS OF THE 2022 AUTUMN MEETING OF THE ACOUSTICAL SOCIETY OF JAPAN; SEPTEMBER 14-16, 2022, vol. 2022, 31 August 2022 (2022-08-31) - 16 September 2022 (2022-09-16), pages 867 - 870, XP009560272 *

Also Published As

Publication number Publication date
JPWO2025017828A1 (ja) 2025-01-23

Similar Documents

Publication Publication Date Title
Pandey et al. A new framework for CNN-based speech enhancement in the time domain
Pandey et al. On cross-corpus generalization of deep learning based speech enhancement
Alamdari et al. Improving deep speech denoising by noisy2noisy signal mapping
Yoshioka et al. Making machines understand us in reverberant rooms: Robustness against reverberation for automatic speech recognition
Li et al. Multichannel speech enhancement based on time-frequency masking using subband long short-term memory
Valentini-Botinhao et al. Speech enhancement of noisy and reverberant speech for text-to-speech
Braun et al. Effect of noise suppression losses on speech distortion and ASR performance
Mitra et al. Analysis and tuning of a voice assistant system for dysfluent speech
Kumar Comparative performance evaluation of MMSE-based speech enhancement techniques through simulation and real-time implementation
JPH075892A (ja) 音声認識方法
Sadjadi et al. Blind spectral weighting for robust speaker identification under reverberation mismatch
Schulze-Forster et al. Joint phoneme alignment and text-informed speech separation on highly corrupted speech
WO2020195924A1 (ja) 信号処理装置および方法、並びにプログラム
Westhausen et al. Reduction of subjective listening effort for TV broadcast signals with recurrent neural networks
Yang et al. Adversarial feature learning and unsupervised clustering based speech synthesis for found data with acoustic and textual noise
US20240304205A1 (en) System and Method for Audio Processing using Time-Invariant Speaker Embeddings
Moore et al. Say What? A Dataset for Exploring the Error Patterns That Two ASR Engines Make.
Lee et al. Improved mask-based neural beamforming for multichannel speech enhancement by snapshot matching masking
Saleem et al. Low rank sparse decomposition model based speech enhancement using gammatone filterbank and Kullback–Leibler divergence
Jaiswal et al. The sound of silence: how traditional and deep learning based voice activity detection influences speech quality monitoring
WO2025017828A1 (ja) 話者年齢推定装置、話者年齢推定方法及びプログラム
Lay et al. Robustness of speech separation models for similar-pitch speakers
Mandel et al. Learning a concatenative resynthesis system for noise suppression
Yadava et al. Improvements in ASR system to access the real-time agricultural commodity prices and weather information in Kannada language/dialects
Kostyuchenko et al. Evaluation of a method for measuring speech quality based on an authentication approach using a correlation criterion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23945832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025533764

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025533764

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE