WO2018151124A1 - パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体 - Google Patents

パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体 Download PDF

Info

Publication number
WO2018151124A1
WO2018151124A1 PCT/JP2018/004994 JP2018004994W WO2018151124A1 WO 2018151124 A1 WO2018151124 A1 WO 2018151124A1 JP 2018004994 W JP2018004994 W JP 2018004994W WO 2018151124 A1 WO2018151124 A1 WO 2018151124A1
Authority
WO
WIPO (PCT)
Prior art keywords
degree
class
data
parameter calculation
dispersion
Prior art date
Application number
PCT/JP2018/004994
Other languages
English (en)
French (fr)
Inventor
孝文 越仲
鈴木　隆之
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018568547A priority Critical patent/JP7103235B2/ja
Priority to US16/483,482 priority patent/US20200019875A1/en
Publication of WO2018151124A1 publication Critical patent/WO2018151124A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a parameter calculation device that provides data that is a basis for classifying data.
  • Non-Patent Document 1 describes an example of a pattern learning device.
  • the pattern learning device provides a classification model used in speaker recognition that classifies speech based on speaker differences.
  • the configuration of the pattern learning device will be described with reference to FIG.
  • FIG. 10 is a block diagram showing a configuration of a pattern learning apparatus as described in Non-Patent Document 1.
  • the learning apparatus 600 includes a learning unit 601, a clustering unit 602, a first objective function calculation unit 603, a parameter storage unit 604, and a voice data storage unit 605.
  • the voice data storage unit 605 stores voice data.
  • the audio data is a set including a plurality of segments related to audio, for example.
  • each segment includes only a voice emitted from one speaker.
  • a speaker segmentation unit not shown.
  • the first objective function calculation unit 603 calculates a value according to the process represented by the first objective function.
  • the value calculated according to the process represented by the first objective function is used in the process in the clustering unit 602.
  • the clustering unit 602 classifies the audio data stored in the audio data storage unit 605 so that the first objective function is maximum (or minimum), and class labels corresponding to the classification (hereinafter simply “ Label) is also given to the audio data.
  • the learning unit 601 performs a stochastic linear discriminant analysis (PLDA) on the class label given by the clustering unit 602 and the learning data as a processing target, thereby representing a classification model relating to PLDA (hereinafter referred to as “PLDA model”). ) Is estimated (hereinafter referred to as “PLDA parameter”).
  • PLDA is an abbreviation for Probabilistic_Linear_Discriminant_Analysis.
  • the PLDA model is, for example, a model used when identifying a speaker related to voice data.
  • FIG. 11 is a block diagram illustrating a configuration of the learning unit 601.
  • the learning unit 601 includes a parameter initialization unit 611, a class vector estimation unit 612, a parameter calculation unit 613, and a second objective function calculation unit 614.
  • the second objective function calculation unit 614 executes a process of calculating a value according to a process represented by a second objective function different from the first objective function described above.
  • the value calculated according to the process represented by the second objective function is used in the process in the parameter calculation unit 613.
  • the parameter initialization unit 611 initializes the PLDA parameter.
  • the class vector estimation unit 612 estimates a speaker class vector representing the characteristics of the voice data based on the class label and the voice data.
  • the parameter calculation unit 613 calculates a PLDA parameter when the value calculated by the second objective function calculation unit 614 is maximum (or minimum).
  • the clustering unit 602 sets the segments stored in the audio data storage unit 605 to a predetermined similarity so that the value of the first objective function calculated by the first objective function calculation unit 603 is maximum (or minimum). Clustering based on the degree creates a cluster in which the segments are classified.
  • the first objective function is defined based on, for example, the similarity between segments described above.
  • the similarity is an index representing the degree of similarity such as Euclidean distance and cosine similarity.
  • the clustering unit 602 performs, for example, processing for maximizing the similarity between segments included in a cluster, processing for minimizing the similarity between different clusters, or information on class labels as processing related to the first objective function.
  • the gain (information_gain) is maximized according to a process derived based on information theory. Regarding the processing in the clustering unit 602, since various objective functions applicable to speaker clustering and their optimization algorithms are known, detailed description is omitted here.
  • the learning unit 601 receives the classification result output from the clustering unit 602 (that is, the class label assigned to each audio segment), and further reads the audio data stored in the audio data storage unit 605.
  • the learning unit 601 estimates the PLDA parameter by executing supervised learning processing according to the maximum likelihood criterion based on the read voice data and the class label related to the voice data, and outputs the estimated PLDA parameter.
  • Patent Documents 1 to 3 disclose techniques related to the model as described above.
  • Patent Document 1 discloses a document classification device that classifies electronic documents into a plurality of classes.
  • the document classification device estimates the label relating to an electronic document to which the label is not assigned based on the electronic document to which a label representing a class is assigned.
  • Patent Document 2 discloses a learning device that outputs, to a device for discriminating a speaker, a discriminant function that is a basis for estimating the speaker by the device.
  • the discriminant function is given by a linear sum of predetermined kernel functions.
  • the learning device calculates a coefficient constituting the discriminant function based on learning data given by a speaker.
  • Patent Document 3 discloses a feature amount calculation device that calculates a feature amount that represents a feature related to image data.
  • the feature amount calculation device outputs the calculated feature amount to a recognition device that recognizes image data.
  • Non-Patent Document 1 cannot calculate an optimal PLDA parameter in terms of maximum likelihood. This is because, in the learning apparatus, unknown data (pattern) is determined according to a standard (for example, a standard for the first objective function) different from a standard for estimating the PLDA parameter (for example, a standard for the second objective function). This is because the class label is determined. The reason will be specifically described.
  • the clustering unit 602 determines a class label according to a first objective function that represents the degree of similarity (minimization) between the audio segments in the cluster and the maximum information gain.
  • the parameter calculation unit 613 calculates a PLDA parameter based on a second objective function such as likelihood regarding the PLDA model. Therefore, the first objective function and the second objective function are different. Since the learning device executes processing according to a plurality of objective functions, the PLDA parameter calculated by the learning device is not necessarily preferable from the viewpoint of maximum likelihood for the learning data, and also from the viewpoint of recognition accuracy. It is not always preferable.
  • one of the objects of the present invention is to provide a parameter calculation device or the like that calculates a parameter capable of creating a model that is a basis for accurately classifying data.
  • the parameter calculation device includes: With respect to the data, the value according to the predetermined distribution, the degree of dispersion between the classes into which the data is classified, and the relationship information indicating the relationship between the degree of dispersion within the class, the data follows the predetermined distribution. Creating means for calculating a calculated value and creating a class vector including a plurality of calculated values; Estimating means for estimating a degree of ease of classification when the data is classified into one class based on the class vector and the data; Calculation means for calculating the degree of dispersion between the classes and the degree of dispersion within the class when the degree that the data conforms to the relationship information is high based on the degree calculated by the estimation means; Is provided.
  • the parameter calculation method includes: With respect to the relationship information representing the relationship between the data, the value according to a predetermined distribution, the degree of dispersion between the classes into which the data is classified, and the degree of dispersion within the class by the information processing device, A value according to a predetermined distribution is calculated, a class vector including a plurality of calculated values is created, and classification is performed when the data is classified into one class based on the class vector and the data. Estimate the degree of ease, and based on the calculated degree, calculate the degree of dispersion between the classes and the degree of dispersion within the class when the degree to which the data conforms to the relationship information becomes high To do.
  • the parameter calculation program includes: With respect to the data, the value according to the predetermined distribution, the degree of dispersion between the classes into which the data is classified, and the relationship information indicating the relationship between the degree of dispersion within the class, the data follows the predetermined distribution.
  • a creation function that creates a class vector that includes a plurality of calculated values, An estimation function for estimating the degree of ease of classification when the data is classified into one class based on the class vector and the data;
  • a calculation function for calculating the degree of dispersion between the classes and the degree of dispersion within the class when the degree to which the data conforms to the relationship information is high based on the degree calculated by the estimation function. And make it happen on a computer.
  • this object is also realized by a computer-readable recording medium that records the program.
  • the parameter calculation apparatus and the like it is possible to calculate a parameter capable of creating a model that is a basis for accurately classifying data.
  • the probability may be an index that represents the degree of ease with which an event occurs.
  • the likelihood may be an index representing, for example, the relationship (or similarity, suitability, etc.) between two events.
  • the variance may be an index representing the degree to which certain data is scattered (the degree of scattering). That is, the parameter calculation apparatus according to the present invention is not limited to the processing described using mathematical terms (for example, probability, likelihood, variance).
  • data such as voice data is classified into a plurality of classes. Further, data belonging to one class may be expressed as “pattern”.
  • the data is, for example, an audio segment constituting voice data.
  • the class is, for example, a class representing a speaker.
  • ⁇ is a real vector including a plurality of numerical values, and represents, for example, an average value of x i .
  • y h is a random variable that follows a predetermined distribution (for example, a multidimensional normal distribution shown in Equation 2 described later), and is a latent variable unique to class h.
  • V represents a parameter representing the variance between different classes.
  • ⁇ represents a random variable representing the variance within the class, and represents, for example, a parameter according to the multidimensional normal distribution shown in Equation 3 (described later).
  • I represents a unit matrix (identity_matrix).
  • N (0, I) represents a multidimensional normal distribution including a plurality of elements having an average of 0 and a variance of 1.
  • C represents a covariance matrix (covariance_matrix) defined using each element in x i . N (0, C) represents a multidimensional normal distribution including a plurality of elements having an average of 0 and a variance of C.
  • the learning data x i follows a normal distribution with an average of ⁇ and a variance of (C + V T V).
  • C represents noise related to one class vector, and therefore can be considered as variance within a class.
  • V T V can be considered as the variance between classes.
  • a model (PLDA model) that is a group for estimating a class based on Equations 1 to 3 can be considered as a probabilistic model in linear discriminant analysis (LDA).
  • LDA linear discriminant analysis
  • the PLDA parameter is defined using a parameter ⁇ as shown in Equation 4.
  • the parameter ⁇ (Equation 4) is determined, for example, by executing a process according to supervised learning (supervised_learning) based on the maximum likelihood criterion (maximum_likelihood_criteria).
  • the parameter ⁇ (Equation 4) is determined.
  • ⁇ is calculated as the average of the learning data x i included in the learning set X. Also, if the training set X is centered (i.e., if the average of the learning data x i that is included in the training set X has been moved to be 0), mu, even 0 Good.
  • Equation 4 a recognition process for determining a class related to each learning data can be performed according to the PLDA model including the determined parameter ⁇ .
  • the similarity S between the learning data x i and the learning data x j is expressed as a log likelihood ratio for the two hypotheses H 0 and H 1 according to the process shown in Equation 5. Calculated.
  • the hypothesis H 0 represents a hypothesis that the learning data x i and the learning data x j belong to different classes (that is, expressed using different class vectors).
  • Hypothesis H 1 represents a hypothesis that learning data x i and learning data x j belong to the same class (that is, they are represented using the same class vector).
  • Log represents, for example, a logarithmic function with the Napier number as the base.
  • P represents a probability.
  • B)” represents the conditional probability that event A will occur when event B occurs. More similarity S is a large value, the more likely hypothesis H 1 is satisfied. That is, in this case, there is a high possibility that the learning data x i and the learning data x j belong to the same class.
  • the smaller the similarity S the higher the possibility that the hypothesis H 0 is established. That is, in this case, there is a high possibility that the learning data x i and the learning data x j belong to different classes.
  • a parameter (Equation 4) is initialized.
  • the speaker class vector (y 1 , x n ) for the learning data (x 1 , x 2 ,..., X n ).
  • y 2, ⁇ the posterior distribution of y K) is estimated.
  • K represents the number of speaker class vectors.
  • the objective function for example, the likelihood indicating the degree to which the learning data fits the PLDA model including the parameter (Equation 6)
  • the maximum or the objective function is The parameter (formula 6) in the case of increasing) is calculated.
  • the objective function does not necessarily need to be a likelihood, and may be an auxiliary function representing the lower limit of the likelihood.
  • an update processing procedure that ensures that the likelihood increases monotonously is obtained, so that efficient learning is possible.
  • FIG. 1 is a block diagram showing the configuration of the parameter calculation apparatus 101 according to the first embodiment of the present invention.
  • the parameter calculation apparatus 101 includes an unsupervised learning unit 102, a learning data storage unit 103, and a parameter storage unit 104.
  • the learning data storage unit 103 stores learning data such as voice data as described with reference to FIG.
  • the parameter storage unit 104 stores the value of a parameter (formula 6 to be described later) included in a model related to audio data.
  • the unsupervised learning unit 102 performs processing on the learning data stored in the learning data storage unit 103 according to processing described later with reference to Equations 9 to 11 (described later), and includes the parameters ( Equation 6 (for example, PLDA parameter) is calculated.
  • FIG. 2 is a block diagram illustrating a configuration of the unsupervised learning unit 102 according to the first embodiment.
  • the unsupervised learning unit 102 includes an initialization unit 111, a class vector creation unit 112, a class estimation unit 113, a parameter calculation unit 114, an objective function calculation unit 115, and a control unit 116.
  • the initialization unit 111 initializes the value of a parameter (Equation 6 described later) stored in the parameter storage unit 104.
  • the objective function calculation unit 115 follows the processing indicated by a predetermined objective function (for example, the likelihood representing the degree to which the learning data conforms to the relationship shown in Equation 1). Calculate the value of the objective function.
  • a predetermined objective function for example, the likelihood representing the degree to which the learning data conforms to the relationship shown in Equation 1).
  • the parameter calculation unit 114 calculates the parameter (equation 6 described later) when the value calculated by the objective function calculation unit 115 with respect to the predetermined objective function (or when the value is the maximum) from Equations 9 to 11 is calculated according to the processing described later with reference to FIG.
  • the class estimation unit 113 Based on the model including the parameter (Equation 6) calculated by the parameter calculation unit 114, the class estimation unit 113 follows each of the learning data stored in the learning data storage unit 103 according to processing described later with reference to Equation 8. Estimate the class label for.
  • the class vector creation unit 112 calculates a class vector for each class in accordance with the processing shown in step S103 (described later with reference to FIG. 3).
  • the class vector is, for example, y h shown in Equation 1, and is a latent variable (latent_variable) defined for each class.
  • the processing in the parameter calculation unit 114, the class estimation unit 113, the class vector creation unit 112, etc. is, for example, when the value of a predetermined objective function is less than or equal to a predetermined value Are executed alternately and repeatedly.
  • a parameter formula 6 when a predetermined objective function is larger than a predetermined value is calculated.
  • FIG. 3 is a flowchart showing a flow of processing in the parameter calculation apparatus 101 according to the first embodiment.
  • the initialization unit 111 initializes the parameter (formula 6) stored in the parameter storage unit 104 (step S102).
  • K represents the number of classes.
  • the initialization unit 111 initializes, for example, a process for setting a constant or a value representing a probability, a process for setting a plurality of values whose sum is 1 to each parameter, a unit matrix, and the like. It may be a process for setting the average and variance for the learning set. Alternatively, the initialization process may be a process of setting a value calculated according to a statistical analysis procedure such as principal component analysis (principal_component_analysis). That is, the initialization process is not limited to the above-described example.
  • principal component analysis principal component analysis
  • Equation 6 ⁇ , which is the average of each data included in the learning set X, is 0. If the learning set X is not centered, the average value of each data may be calculated in the process shown in FIG.
  • y i (where 1 ⁇ i ⁇ K) represents a value related to class i.
  • the class vector creation unit 112 uses, for example, a random number such as Box-Muller's method. A plurality of values are calculated in accordance with the processing based on this, and a class vector Y including the calculated plurality of values is created.
  • the class vector creation unit 112 may create a plurality of class vectors. For example, the class vector creation unit 112 creates m (where m ⁇ 2) class vectors (that is, Y (1) , Y (2) ,..., Y (m) ). In the parameter calculation apparatus 101, by performing processing related to a plurality of class vectors, the computational reliability of the value calculated for the parameter (Formula 6) increases. Also, one of the reasons why the class vector creation unit 112 creates a class vector based on random numbers is that it is difficult to obtain an analytical solution in unsupervised learning (unsupervised_learning), unlike supervised learning (supervised_learning). .
  • the class estimation unit 113 estimates to which class of the K class vectors each learning data x i (1 ⁇ i ⁇ n) included in the learning set X belongs (step S104). ). The process regarding step S104 will be specifically described. It is assumed that the class estimation unit 113 inputs the parameter shown in Equation 7.
  • V temp represents a parameter representing the distribution between different classes.
  • C temp represents a value related to a parameter representing dispersion within a class.
  • Te temp represents a value related to the prior probability related to the class as described above.
  • the class estimation unit 113 follows the processing shown in Expression 8 for the input parameter (Expression 7), and the learning data x i for each of the m class vectors Y (j) (1 ⁇ j ⁇ m) is the class k ( The probability of belonging to 1 ⁇ k ⁇ K) is calculated.
  • Y (j) (y (j) 1 , y (j) 2 , ..., y (j) K ).
  • Exp represents an exponential function with the Napier number as a base.
  • C temp ⁇ 1 represents processing for calculating an inverse matrix of C temp .
  • a character “T” added to the upper right of a certain character represents a process of transposing a row and a column.
  • the parameter calculation unit 114 inputs the class vector Y created by the class vector creation unit 112 and the probability (Equation 8) estimated by the class estimation unit 113, and Equations 9 to In accordance with the process shown in FIG. 11, a parameter (formula 6) is obtained (step S105).
  • Equation 9 represents a process of calculating a parameter representing the variance between classes representing the characteristics of the audio data.
  • Expression 10 represents a process for calculating the variance within the class.
  • Expression 11 represents processing for calculating the prior distribution of each class.
  • the processing shown in Equation 9 to Equation 11 is processing obtained based on the Expectation-Maximization (EM) method, and an objective function (for example, likelihood of the likelihood) is obtained on the assumption of the obtained parameters. It is guaranteed that the auxiliary function (defined as the lower limit) can be maximized. That is, when the value of the predetermined objective function increases (or when the value of the predetermined objective function is maximum), the parameter calculation unit 114 executes the processing shown in Expression 9 to Expression 11.
  • the parameter (Formula 6) is calculated.
  • the control unit 116 determines whether or not a predetermined convergence determination condition is satisfied (step S106).
  • the predetermined convergence determination condition is that the increase in the value of the predetermined objective function is smaller than a predetermined threshold, and the total change amount of the parameters calculated according to Expressions 9 to 11 is smaller than the predetermined threshold.
  • the class calculated according to the process shown in () (that is, the class to which the learning data x i belongs) does not change.
  • control unit 116 When predetermined convergence determination conditions are not satisfied (NO in step S106), control unit 116 performs steps based on values calculated by class vector creation unit 112, class estimation unit 113, and parameter calculation unit 114, respectively. Control is performed to execute the processes shown in S103 to S106.
  • the parameter calculation unit 114 may calculate the class to which the learning data x i belongs, for example, according to the processing shown in Expression 12.
  • maximum K represents a process of calculating the class k when the value of the calculation result shown below is the maximum.
  • the unsupervised learning unit 102 stores a parameter (equation 6) that satisfies the predetermined convergence determination condition in the parameter storage unit 104 (Ste S107).
  • the parameter calculation apparatus 101 includes a number calculation unit (not shown) that calculates the number K of classes according to a predetermined process.
  • the predetermined process may be a process of setting a predetermined value for the number of classes K, for example. Even when the predetermined value is different from the true number of classes, the value of the parameter (expression 6) as described with reference to expressions 1 to 12 is the same as the predetermined value and the true class number. Is not significantly affected by the difference.
  • the predetermined processing may be processing for estimating the number of classes based on the learning set X.
  • the number calculation unit includes a value of a predetermined objective function (the degree to which the learning data conforms to the PLDA model (for example, likelihood)) and the complexity (that is, the number of classes) related to the PLDA model. Based on the above, the number of classes is calculated.
  • the processing for calculating the number of classes is based on, for example, the Akaike Information Criterion (Akaike's_Information_Criterion) or the minimum description length (minimum_description_length: MDL). Processing to calculate may be used.
  • the predetermined objective function is not limited to the likelihood function or an auxiliary function that calculates a value smaller than the lower limit.
  • the processing for obtaining the parameter (equation 6) when the likelihood is the maximum is the parameter (equation 6) when the posterior probability defined when the prior probability regarding the parameter (equation 6) is given. 6) or a process for obtaining a parameter (Equation 6) when the Bayesian peripheral probability for the learning data is the maximum. That is, the process for obtaining the parameter (Formula 6) is not limited to the above-described example.
  • the parameter calculation apparatus 101 it is possible to calculate a parameter capable of creating a model serving as a basis for accurately classifying data. This is because when the parameter calculation apparatus 101 is processed according to one objective function, the learning model calculated according to the objective function is appropriate as a basis for estimating the label with high accuracy.
  • an optimal parameter (Equation 6) can be obtained from the viewpoint of one objective function (likelihood, etc.).
  • FIG. 4 is a block diagram showing the configuration of the parameter calculation apparatus 201 according to the second embodiment of the present invention.
  • the parameter calculation apparatus 201 includes a semi-supervised learning (semi-supervised_learning) unit 202, a first learning data storage unit 203, a second learning data storage unit 204, a parameter storage unit 104, and a class label storage unit 205.
  • a semi-supervised learning (semi-supervised_learning) unit 202 receives a semi-supervised learning (semi-supervised_learning) signal from a parameter storage unit 104, and a class label storage unit 205.
  • the first learning data storage unit 203 stores first learning data.
  • the first learning data is data similar to the learning data as described with reference to FIG. Therefore, the first learning data storage unit 203 can be realized using the learning data storage unit 103 in FIG.
  • the second learning data storage unit 204 stores second learning data.
  • the second learning data is data similar to the learning data as described with reference to FIG. Therefore, the second learning data storage unit 204 can be realized using the learning data storage unit 103 in FIG.
  • the class label storage unit 205 stores class labels (hereinafter also simply referred to as “labels”) related to the respective second learning data. That is, the class label storage unit 205 stores a class label associated with the second learning data.
  • the class label is information indicating the class to which the second learning data belongs.
  • the first learning data is unlabeled data (that is, “unlabeled data”).
  • the second learning data is labeled data (ie, “labeled data”).
  • the semi-supervised learning unit 202 estimates a parameter (formula 6) included in the model based on the labeled data and the unlabeled data in accordance with the processing described later with reference to FIG.
  • FIG. 5 is a block diagram showing a configuration of the semi-supervised learning unit 202 according to the second embodiment.
  • the semi-supervised learning unit 202 includes an initialization unit 111, a class vector creation unit 112, a class estimation unit 213, a parameter calculation unit 114, an objective function calculation unit 115, and a control unit 116.
  • the semi-supervised learning unit 202 has the same configuration as that of the unsupervised learning unit 102 according to the first embodiment with respect to each component other than the class estimation unit 213.
  • the unsupervised learning unit 102 inputs unlabeled data
  • the semi-supervised learning unit 202 The difference is that the labeled data is input.
  • the class estimation unit 213 calculates the probability that the learning data i belongs to the class k according to the process described above with reference to Equation 8 only for unlabeled data (that is, the first learning data). Thereafter, the class estimation unit 213 sets “1” for the probability related to the class represented by the label associated with the second learning data regarding the labeled data (that is, the second learning data and the label related to the second learning data). And the probability for a class different from the class is set to “0”.
  • the class estimation unit 213 may set the probability related to the class represented by the label associated with the second learning data to the first value, and set the probability related to the class different from the class to the second value.
  • the first value is larger than the second value, and the sum of the first value and the second value may be 1.
  • the first value and the second value do not need to be predetermined values, and may be random numbers (or pseudo random numbers).
  • the probability set by the class estimation unit 213 is not limited to the above-described example. Since the over-learning problem can be reduced by calculating at least one of the first value and the second value according to a random number, the parameter calculation device 201 is a group that classifies data more accurately. It is possible to calculate parameters that can create a model.
  • the parameter calculation unit 114 calculates a parameter (Formula 6) by executing the same processing as the processing shown in Formula 9 to Formula 11 on the probability calculated by the class estimation unit 213. That is, the parameter calculation unit 114 performs the same processing as the processing shown in Equations 9 to 11 based on the probabilities calculated for the labeled data and the unlabeled data, thereby obtaining the parameter (Equation 6). Is calculated.
  • FIG. 6 is a flowchart showing the flow of processing in the parameter calculation apparatus 201 according to the second embodiment.
  • the semi-supervised learning unit 202 reads a learning set including unlabeled data and labeled data (step S101). That is, the semi-supervised learning unit 202 reads unlabeled data (that is, first learning data) from the first learning data storage unit 203, and reads the label from the second learning data storage unit 204 and the class label storage unit 205. The attached data (that is, the second learning data and the label associated with the second learning data) is read.
  • the initialization unit 111 initializes the parameter (Formula 6) (step S102).
  • the process for initializing the parameter (formula 6) may be the same process as the process described in the first embodiment, or may be a different process.
  • the initialization unit 111 calculates the value of each parameter (Equation 6) by applying supervised learning based on the maximum likelihood criterion to the labeled data, and uses the calculated value as the parameter (Equation 6). May be set as the initial value.
  • the class vector creation unit 112 creates a class vector by executing a process similar to the process described above with reference to FIG. 3 (step S103).
  • the class estimation unit 213 estimates classes for unlabeled data and labeled data, respectively (step S204).
  • the processing in step S204 will be specifically described.
  • the class estimation unit 213 follows the processing described with reference to Expression 8 for the first learning data (that is, unlabeled data), and the first learning data x i
  • the probability of belonging to class k is calculated.
  • the class estimation unit 213 converts the second learning data x i into the class represented by the class label. Set the probability of belonging to 1.
  • the class estimation unit 213 sets the probability that the second learning data x i belongs to a class different from the class represented by the class label to 0.
  • the parameter calculation unit 114 receives the class vector Y created by the class vector creation unit 112 and the probability (Equation 8) estimated by the class estimation unit 213, and performs parameter (equation) according to the processing shown in Equations 9 to 11. 6) is calculated.
  • the parameter calculation unit 114 calculates the value of the parameter (Expression 6) when the predetermined objective function increases (or is the maximum) by executing the processing shown in Expression 9 to Expression 11.
  • i shown in Equations 9 to 11 is a subscript indicating labeled data and unlabeled data.
  • step S106 and step S107 are executed.
  • the parameter calculation apparatus 201 it is possible to calculate a parameter capable of creating a model that is a basis for correctly classifying data.
  • the reason is the same as the reason described in the first embodiment.
  • the parameter calculation device 201 it is possible to create a model that is a basis for estimating a label more accurately. This is because the parameter (Formula 6) is calculated based on unlabeled data and labeled data. The reason for this will be described more specifically.
  • the class estimation unit 213 calculates the probability that the first learning data (that is, unlabeled data) belongs to a certain class, and for the labeled data, shows the probability of belonging to a certain class according to the label. 6 is set according to the processing described above with reference to FIG. Therefore, since the parameter calculation device 201 calculates the parameter (Formula 6) based on the unlabeled data and the labeled data, the ratio of the labeled data is increased compared to the first embodiment. As a result, according to the parameter calculation apparatus 201, it is possible to calculate a parameter (formula 6) that is a basis for estimating the label more accurately.
  • FIG. 7 is a block diagram showing the configuration of the parameter calculation apparatus 301 according to the third embodiment of the present invention.
  • the parameter calculation device 301 includes a creation unit 302, an estimation unit 303, and a calculation unit 304.
  • FIG. 8 is a flowchart showing the flow of processing in the parameter calculation apparatus 301 according to the third embodiment.
  • the creation unit 302 inputs, for example, the value of a parameter included in the relationship information representing the relationship as exemplified in Equation 1.
  • the relationship information includes voice data uttered by a speaker (for example, x i in Expression 1) and a value according to a predetermined distribution (for example, a normal distribution illustrated in Expression 2) (for example, y in Expression 2). h ), information indicating the relationship between the variance between different classes (for example, V in Equation 1) and the variance within the class (for example, ⁇ in Equation 1).
  • the creation unit 302 inputs the variance between the different classes and the variance within the class as parameter values relating to the relationship.
  • the creation unit 302 calculates a value according to the predetermined distribution (step S301).
  • the creation unit 302 calculates a value having a variance related to a predetermined distribution, for example, according to the Box Mueller method as described above.
  • the creation unit 302 calculates, for example, values for the number of classes.
  • the estimation unit 303 performs the same processing as the processing shown in step S104 (FIG. 3) or step S204 (FIG. 6) on the value and the voice data, thereby executing the voice data.
  • one class can be defined based on, for example, the degree of similarity between the classes (ie, y i ).
  • the calculation unit 304 inputs the degree calculated by the estimation unit 303, and uses the input degree to execute the processing described with reference to Equations 9 to 11, thereby performing a parameter (for example, between classes). And the variance within the class) are calculated (step S303). Therefore, the calculation unit 304 calculates the parameter (formula 6) when the degree to which the audio data is compatible with the relationship information increases (or is the maximum).
  • the parameter calculation device 301 may, for example, repeat the processing shown in FIG. 3 (steps S103 to S106) or the processing shown in FIG. 6 (steps S103, S204, S105, and so on) a predetermined number of times. Step S106) may be executed. Alternatively, the parameter calculation device 301 may determine whether or not to perform the above-described repetitive process by executing a process similar to the process described above with reference to Expression 12, for example. The processing in the parameter calculation device 301 is not limited to the example described above.
  • the creation unit 302 can be realized by using a function similar to the function of the class vector creation unit 112 (FIG. 2 or FIG. 5) as described above.
  • the estimation unit 303 can be realized by using a function similar to the function of the class estimation unit 113 according to the first embodiment or the class estimation unit 213 according to the second embodiment.
  • the calculation unit 304 can be realized by using the same functions as those of the parameter calculation unit 114, the objective function calculation unit 115, and the control unit 116 (all of which are shown in FIG. 2 or FIG. 5). . That is, the parameter calculation device 301 uses the same function as that of the parameter calculation device 101 (FIG. 1) according to the first embodiment or the parameter calculation device 201 (FIG. 4) according to the second embodiment. Can be realized.
  • the parameter calculation device 301 it is possible to calculate a parameter capable of creating a model that is a basis for correctly classifying data. This is because the parameter calculation device 301 calculates a parameter (formula 6) constituting the model based on one objective function. In other words, it is often possible to create an accurate model by calculating parameters according to one objective function rather than calculating parameters based on two different objective functions. It is possible to calculate a parameter capable of creating a model that is a group to be classified into
  • the processing in the parameter calculation device has been described by taking audio data as an example.
  • the audio data is data different from image data such as a face image or audio data such as an audio signal. Also good.
  • the learning set X is coordinate data of feature points extracted from each face image
  • the class label Z is a person identifier (ID) associated with the face image. It is.
  • the face recognition device creates a PLDA model based on these data.
  • the learning set X is statistical data (such as GMM super vectors and i-vectors widely used in speaker recognition) such as acoustic features extracted from speech signals
  • the label Z is the ID of the speaker who uttered the voice.
  • the speaker recognition device creates a PLDA model based on these data.
  • GMM represents an abbreviation for Gaussian_mixture_model.
  • the parameter calculation device is not limited to the above-described example.
  • the parameter calculation device may be realized using at least two calculation processing devices physically or functionally.
  • the parameter calculation device may be realized as a dedicated device.
  • FIG. 9 is a block diagram schematically showing a hardware configuration example of a calculation processing apparatus capable of realizing the parameter calculation apparatus according to each embodiment of the present invention.
  • the computing device 20 includes a central processing unit (Central_Processing_Unit, hereinafter referred to as “CPU”) 21, a memory 22, a disk 23, a nonvolatile recording medium 24, and a communication interface (hereinafter referred to as “communication IF”) 27.
  • CPU central processing unit
  • the calculation processing device 20 may be connectable to the input device 25 and the output device 26.
  • the calculation processing device 20 can transmit / receive information to / from other calculation processing devices and communication devices via the communication IF 27.
  • the non-volatile recording medium 24 is a computer-readable, for example, compact disc (Compact_Disc) or digital versatile disc (Digital_Versatile_Disc).
  • the nonvolatile recording medium 24 may be a universal serial bus memory (USB memory), a solid state drive (Solid_State_Drive), or the like.
  • the non-volatile recording medium 24 retains such a program without being supplied with power, and can be carried.
  • the nonvolatile recording medium 24 is not limited to the above-described medium. Further, the program may be carried via the communication IF 27 and the communication network instead of the nonvolatile recording medium 24.
  • the CPU 21 copies a software program (computer program: hereinafter simply referred to as “program”) stored in the disk 23 to the memory 22 and executes arithmetic processing.
  • the CPU 21 reads data necessary for program execution from the memory 22. When the display is necessary, the CPU 21 displays the output result on the output device 26. When inputting a program from the outside, the CPU 21 reads the program from the input device 25.
  • the CPU 21 executes a parameter calculation program (FIG. 3, FIG. 6 or FIG. 6) in the memory 22 corresponding to the function (processing) represented by each unit shown in FIG. 1, FIG. 2, FIG. 4, FIG. FIG. 8) is interpreted and executed.
  • the CPU 21 sequentially executes the processes described in the above embodiments of the present invention.
  • each embodiment of the present invention can also be realized by such a parameter calculation program. Furthermore, it can be understood that each embodiment of the present invention can be realized by a computer-readable non-volatile recording medium in which the parameter calculation program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

データを正確に分類する基となるモデルを作成することが可能なパラメタを算出するパラメタ算出装置等を提供する。パラメタ算出装置３０１は、データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、該所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成部３０２と、該クラスベクトルと前記データとに基づき、該データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定部３０３と、推定部３０３が算出した程度に基づき、該データが該関係性情報に適合している程度が高くなる場合における、該クラス間の散らばり度と、該クラス内の散らばり度とを算出する算出部３０４とを有する。

Description

パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体
　本発明は、データを分類する基であるデータを提供するパラメタ算出装置等に関する。
　非特許文献１には、パターン学習装置の一例が記載されている。該パターン学習装置は、話者の違いに基づき音声を分類する話者認識にて用いられる分類モデルを提供する。図１０を参照しながら、該パターン学習装置が有する構成について説明する。図１０は、非特許文献１に記載されているようなパターン学習装置が有する構成を示すブロック図である。
　学習装置６００は、学習部６０１と、クラスタリング部６０２と、第１目的関数計算部６０３と、パラメタ記憶部６０４と、音声データ記憶部６０５とを有する。
　音声データ記憶部６０５には、音声データが格納されている。音声データは、たとえば、オーディオに関する複数のセグメントを含む集合である。
　以降の説明において、音声データ記憶部６０５に格納されている音声データは、話者を識別する情報を表すクラスラベルが付与されていないとする。また、説明の便宜上、各セグメントは、１人の話者から発せられた音声のみを含むとする。たとえば、１つのセグメントが、２人以上の話者の音声を含んでいる場合には、話者セグメンテーション部（不図示）を用いて、当該セグメントを、１人の話者のみが含まれているセグメントに分割することによって、１人の話者から発せられた音声のみを含むセグメントを作成することができる。１人の話者から発せられた音声のみを含むセグメントを作成する処理については多くの方法が知られているので、ここでは、該処理に関する詳細な説明を省略する。
　第１目的関数計算部６０３は、第１目的関数が表す処理に従い値を算出する。該第１目的関数が表す処理に従い算出された値は、クラスタリング部６０２における処理にて用いられる。
　クラスタリング部６０２は、音声データ記憶部６０５に格納されている音声データを、第１目的関数が最大（または、最小）となるように分類し、該分類に応じたクラスラベル（以降、単に、「ラベル」とも表す）を音声データに対して付与する。
　学習部６０１は、クラスタリング部６０２によって付与されたクラスラベルと、学習データとを処理対象として確率的線形判別分析（ＰＬＤＡ）を実行することにより、ＰＬＤＡに関する分類モデル（以降、「ＰＬＤＡモデル」と表す）に含まれているパラメタ（以降、「ＰＬＤＡパラメタ」と表す）を推定する。ＰＬＤＡは、Ｐｒｏｂａｂｉｌｉｓｔｉｃ＿Ｌｉｎｅａｒ＿Ｄｉｓｃｒｉｍｉｎａｎｔ＿Ａｎａｌｙｓｉｓの略称を表す。ＰＬＤＡモデルは、たとえば、音声データに関する話者を識別する場合に用いられるモデルである。
　図１１を参照しながら、学習部６０１が有する構成について詳細に説明する。図１１は、学習部６０１が有する構成を示すブロック図である。
　学習部６０１は、パラメタ初期化部６１１と、クラスベクトル推定部６１２と、パラメタ算出部６１３と、第２目的関数計算部６１４とを有する。
　第２目的関数計算部６１４は、上述した第１目的関数とは異なる第２目的関数が表す処理に従い値を算出する処理を実行する。該第２目的関数が表す処理に従い算出された値は、パラメタ算出部６１３における処理にて用いられる。パラメタ初期化部６１１は、ＰＬＤＡパラメタを初期化する。クラスベクトル推定部６１２は、クラスラベルと、音声データとに基づき、該音声データの特徴を表す話者クラスベクトルを推定する。パラメタ算出部６１３は、第２目的関数計算部６１４が算出する値が最大（または、最小）である場合におけるＰＬＤＡパラメタを算出する。
　次に、学習装置６００における処理について説明する。
　クラスタリング部６０２は、第１目的関数計算部６０３によって算出された第１目的関数の値が最大（または、最小）となるように、音声データ記憶部６０５に格納されているセグメントを、所定の類似度に基づきクラスタリングすることによって、該セグメントが分類されたクラスタを作成する。該第１目的関数は、たとえば、上述したセグメント間の類似度に基づき定義される。類似度は、たとえば、ユークリッド距離、コサイン類似度等の類似の程度を表す指標である。クラスタリング部６０２は、第１目的関数に関する処理として、たとえば、クラスタに含まれているセグメント間の類似度を最大にする処理、異なるクラスタ間の類似度を最小にする処理、または、クラスラベルに関する情報利得（ｉｎｆｏｒｍａｔｉｏｎ＿ｇａｉｎ）を、情報理論に基づき導出された処理に従い最大にする。クラスタリング部６０２における処理に関しては、話者クラスタリングに適用可能な、種々の目的関数とその最適化アルゴリズムが知られているので、ここでは、詳細な説明を省略する。
　学習部６０１は、クラスタリング部６０２が出力した分類結果（すなわち、オーディオセグメントごとに付与されたクラスラベル）を入力し、さらに、音声データ記憶部６０５に格納されている音声データを読み取る。学習部６０１は、読み取った音声データと、該音声データに関するクラスラベルとに基づき、最尤基準に従い教師付き学習処理を実行することによってＰＬＤＡパラメタを推定し、推定したＰＬＤＡパラメタを出力する。
　また、特許文献１乃至特許文献３には、上述したようなモデルに関連した技術が開示されている。
　特許文献１には、電子文書を複数のクラスに分類する文書分類装置が開示されている。該文書分類装置は、クラスを表すラベルが付与された電子文書に基づき、該ラベルが付与されていない電子文書に関する該ラベルを推定する。
　特許文献２には、話者を判別する装置に対して、該装置が話者を推定する基である判別関数を出力する学習装置が開示されている。該判別関数は、所定のカーネル関数の線形和によって与えられている。該学習装置は、話者が与えられている学習データに基づき、該判別関数を構成している係数を算出する。
　特許文献３には、画像データに関する特徴を表す特徴量を算出する特徴量算出装置が開示されている。該特徴量算出装置は、画像データを認識する認識装置に、算出した特徴量を出力する。
特開２０１５－１７６５１１号公報 特開２０１２－１１８６６８号公報 特開２０１０－２７１７８７号公報
Ｓｕｂｈａｄｅｅｐ　Ｄｅｙ，　Ｓｒｉｋａｎｔｈ　Ｍａｄｉｋｅｒｉ，　ａｎｄ　Ｐｅｔｒ　Ｍｏｔｌｉｃｅｋ，　「Ｉｎｆｏｒｍａｔｉｏｎ　ｔｈｅｏｒｅｔｉｃ　ｃｌｕｓｔｅｒｉｎｇ　ｆｏｒ　ｕｎｓｕｐｅｒｖｉｓｅｄ　ｄｏｍａｉｎ－ａｄａｐｔａｔｉｏｎ」，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　４１ｓｔ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，　Ｓｐｅｅｃｈ，　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　（ＩＣＡＳＳＰ＿２０１６），　Ｍａｒｃｈ　２０１６．
　しかし、非特許文献１等に記載されているような学習装置は、最尤という観点において、最適なＰＬＤＡパラメタを算出することができない。この理由は、該学習装置においては、ＰＬＤＡパラメタを推定する場合の基準（たとえば、第２目的関数に関する基準）とは異なる基準（たとえば、第１目的関数に関する基準）に従い、未知のデータ（パターン）に関するクラスラベルが決定されるからである。この理由を具体的に説明する。
　クラスタリング部６０２は、クラスタ内のオーディオセグメント間の類似度（最小化）や情報利得を最大化することを表す第１目的関数に従いクラスラベルを決定する。これに対し、パラメタ算出部６１３は、ＰＬＤＡモデルに関する尤度等の第２目的関数に基づき、ＰＬＤＡパラメタを算出する。したがって、第１目的関数と、第２目的関数とは異なっている。当該学習装置が複数の目的関数に従い処理を実行するので、当該学習装置によって算出されるＰＬＤＡパラメタは、学習データに対する最尤の観点から好適であるとは限らず、さらに、認識精度の観点からも好適であるとは限らない。
　同様に、特許文献１乃至特許文献３に開示されたいずれの装置を用いたとしても、最尤の観点、または、認識精度の観点から、好適なパラメタが算出されるとは限らない。
　そこで、本発明の目的の１つは、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出するパラメタ算出装置等を提供することである。
　本発明の１つの態様として、パラメタ算出装置は、
　データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成手段と、
　前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定手段と、
　前記推定手段が算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出手段と
　を備える。
　また、本発明の他の態様として、パラメタ算出方法は、
　情報処理装置によって、データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成し、前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定し、算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する。
　また、本発明の他の態様として、パラメタ算出プログラムは、
　データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成機能と、
　前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定機能と、
　前記推定機能によって算出された程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出機能と
　をコンピュータに実現させる。
　さらに、同目的は、係るプログラムを記録するコンピュータが読み取り可能な記録媒体によっても実現される。
　本発明に係るパラメタ算出装置等によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。
本発明の第１の実施形態に係るパラメタ算出装置が有する構成を示すブロック図である。 第１の実施形態に係る教師なし学習部が有する構成を示すブロック図である。 第１の実施形態に係るパラメタ算出装置における処理の流れを示すフローチャートである。 本発明の第２の実施形態に係るパラメタ算出装置が有する構成を示すブロック図である。 第２の実施形態に係る準教師付き学習部が有する構成を示すブロック図である。 第２の実施形態に係るパラメタ算出装置における処理の流れを示すフローチャートである。 本発明の第３の実施形態に係るパラメタ算出装置が有する構成を示すブロック図である。 第３の実施形態に係るパラメタ算出装置における処理の流れを示すフローチャートである。 本発明の各実施形態に係るパラメタ算出装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。 パターン学習装置が有する構成を示すブロック図である。 学習部が有する構成を示すブロック図である。
　まず、本願発明の理解を容易にするため、本願発明にて用いられている技術について詳細に説明する。
　また、以降の説明においては、説明の便宜上、確率、尤度、分散等の数学的な用語を用いて説明するが、数学的に定義される指標とは異なる指標であってもよい。たとえば、確率は、事象が生じる生じやすさの程度を表す指標であってもよい。尤度は、たとえば、２つの事象の関連性（または、類似性、適合性等）を表す指標であってもよい。分散は、あるデータが散らばっている程度（散らばり度）を表す指標であってもよい。すなわち、本発明に係るパラメタ算出装置は、数学的な用語（たとえば、確率、尤度、分散）を用いて説明する処理に限定されない。
　以降の説明においては、音声データ等のデータは、複数のクラスに分類されるとする。また、１つのクラスに属しているデータを「パターン」と表すこともある。たとえば、話者認識処理において、データは、たとえば、音声データを構成しているオーディオセグメントである。話者認識処理において、クラスは、たとえば、話者を表すクラスである。
　クラスｈ（ｈは、自然数）に属しているパターン（学習データ）を、ある一定の次元数を有する実ベクトルであるｘｉを用いて表す場合に、該学習データを式１のように表すことができる。
Figure JPOXMLDOC01-appb-I000001
　ただし、μは、ある複数の数値を含む実ベクトルであり、たとえば、ｘｉの平均値を表す。ｙｈは、所定の分布（たとえば、後述する式２に示された多次元正規分布）に従う確率変数であり、クラスｈに固有な潜在変数である。Ｖは、異なるクラス間の分散を表すパラメタを表す。εは、クラス内の分散を表す確率変数を表し、たとえば、式３（後述）に示された多次元正規分布に従うパラメタを表す。
Figure JPOXMLDOC01-appb-I000002
　ただし、Ｉは、単位行列（ｉｄｅｎｔｉｔｙ＿ｍａｔｒｉｘ）を表す。Ｎ（０，Ｉ）は、平均が０であり、かつ、分散が１である要素を複数含む多次元の正規分布を表す。
Figure JPOXMLDOC01-appb-I000003
　ただし、Ｃは、ｘｉにおける各要素を用いて定義される共分散行列（ｃｏｖａｒｉａｎｃｅ＿ｍａｔｒｉｘ）を表す。Ｎ（０，Ｃ）は、平均が０であり、かつ、分散がＣである要素を複数含む多次元の正規分布を表す。
　式１乃至式３より、学習データｘｉは、平均がμであり、分散が（Ｃ＋ＶＴＶ）である正規分布に従う。この分散のうち、Ｃは、１つのクラスベクトルに関するノイズを表しているので、クラス内における分散として考えることができる。また、Ｖは、異なるベクトルに関して定義されているので、ＶＴＶは、クラス間における分散として考えることができる。
　式１乃至式３に基づきクラスを推定する基であるモデル（ＰＬＤＡモデル）は、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ：ＬＤＡ）における確率モデルであると考えることができる。この場合に、ＰＬＤＡパラメタは、式４に示すような、パラメタθを用いて規定される。
Figure JPOXMLDOC01-appb-I000004
　パラメタθ（式４）は、たとえば、最尤基準（ｍａｘｉｍｕｍ＿ｌｉｋｅｌｉｈｏｏｄ＿ｃｒｉｔｅｒｉａ）に基づく教師付き学習（ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）に従った処理を実行することによって決定される。該処理においては、学習データ（すなわち、学習セットＸ＝（ｘ１，ｘ２，・・・，ｘｎ））、及び、各学習データに関連付けされたクラスラベル（すなわち、Ｚ＝（ｚ１，ｚ２，・・・，ｚｎ））に基づき、パラメタθ（式４）が決定される。
　パラメタθ（式４）のうち、μは、学習セットＸに含まれている学習データｘｉの平均として算出される。また、学習セットＸがセンタリングされている場合（すなわち、学習セットＸに含まれている学習データｘｉの平均が０になるように移動されている場合）に、μは、０であってもよい。
　パラメタθ（式４）の値を決定することによって、決定されたパラメタθを含むＰＬＤＡモデルに従い、各学習データに関するクラスを決定する認識処理が可能である。たとえば、学習データｘｉと、学習データｘｊとの間の類似度Ｓは、式５に示されているような処理に従い、２つの仮説Ｈ０、及び、仮説Ｈ１に関する対数尤度比として算出される。
Figure JPOXMLDOC01-appb-I000005
　ただし、仮説Ｈ０は、学習データｘｉと、学習データｘｊとが異なるクラスに属している（すなわち、異なるクラスベクトルを用いて表される）という仮説を表す。仮説Ｈ１は、学習データｘｉと、学習データｘｊとが同じクラスに属している（すなわち、同じクラスベクトルを用いて表される）という仮説を表す。「ｌｏｇ」は、たとえば、ネイピア数を底とする対数関数を表す。「ｐ」は、確率を表す。「ｐ（Ａ｜Ｂ）」は、事象Ｂが生じる場合に事象Ａが生じる条件付き確率を表す。類似度Ｓが大きな値であるほど、仮説Ｈ１が成立している可能性は高い。すなわち、この場合に、学習データｘｉと、学習データｘｊとが同じクラスに属している可能性は高い。類似度Ｓが小さな値であるほど、仮説Ｈ０が成立している可能性は高い。すなわち、この場合に、学習データｘｉと、学習データｘｊとが異なるクラスに属している可能性が高い。
　次に、式１乃至式５を参照しながら説明したような処理に従い、パラメタ（式４）を算出する学習処理について説明する。
　該学習処理においては、まず、パラメタ（式４）が初期化される。次に、初期化された（または、初期化後に更新された）パラメタ（式４）に基づき、学習データ（ｘ１，ｘ２，・・・，ｘｎ）に対する話者クラスベクトル（ｙ１，ｙ２，・・・，ｙＫ）の事後分布が推定される。ここで、Ｋは、話者クラスベクトルの個数を表す。次に、該話者クラスベクトルに基づき、目的関数（たとえば、パラメタ（式６）を含むＰＬＤＡモデルに学習データが適合している程度を表す尤度）が最大である場合（または、目的関数が増大する場合）におけるパラメタ（式６）が算出される。
　潜在変数を伴う最尤推定に関するアルゴリズムとして広く知られる期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎ：ＥＭ）法に基づき、パラメタ（式６）の値が収束しない間、上述した処理が繰り返し実行される。
　目的関数は、必ずしも、尤度である必要はなく、該尤度の下限を表す補助関数であってもよい。補助関数を用いることにより、尤度が単調に増加することが確実な更新処理手順が得られるので、効率的な学習が可能である。
　次に、本発明を実施する実施形態について図面を参照しながら詳細に説明する。
　＜第１の実施形態＞
　図１を参照しながら、本発明の第１の実施形態に係るパラメタ算出装置が有する構成について詳細に説明する。図１は、本発明の第１の実施形態に係るパラメタ算出装置１０１が有する構成を示すブロック図である。
　第１の実施形態に係るパラメタ算出装置１０１は、教師なし学習部１０２と、学習データ記憶部１０３と、パラメタ記憶部１０４とを有する。
　学習データ記憶部１０３には、図１０を参照しながら説明したような音声データ等の学習データが格納されている。パラメタ記憶部１０４には、音声データに関するモデルに含まれているパラメタ（後述する式６）の値が格納される。教師なし学習部１０２は、学習データ記憶部１０３に格納されている学習データに対して、式９乃至式１１（後述）を参照しながら後述するような処理に従い、モデルに含まれているパラメタ（式６、たとえば、ＰＬＤＡパラメタ）を算出する。
　図２を参照しながら、第１の実施形態に係る教師なし学習部１０２が有する構成について詳細に説明する。図２は、第１の実施形態に係る教師なし学習部１０２が有する構成を示すブロック図である。
　教師なし学習部１０２は、初期化部１１１と、クラスベクトル作成部１１２と、クラス推定部１１３と、パラメタ算出部１１４と、目的関数計算部１１５と、制御部１１６とを有する。
　初期化部１１１は、教師なし学習部１０２が学習データを入力した場合に、パラメタ記憶部１０４に格納されているパラメタ（後述する式６）の値を初期化する。
　目的関数計算部１１５は、所定の目的関数（たとえば、学習データが、式１に示されているような関係性に適合している程度を表す尤度）に示された処理に従い、該所定の目的関数の値を算出する。
　パラメタ算出部１１４は、目的関数計算部１１５が該所定の目的関数に関して算出する値が増大する場合（または、該値が最大である場合）におけるパラメタ（後述する式６）を、式９乃至式１１を参照しながら後述するような処理に従い算出する。
　クラス推定部１１３は、パラメタ算出部１１４が算出したパラメタ（式６）を含むモデルに基づき、式８を参照しながら後述するような処理に従い、学習データ記憶部１０３に格納されている各学習データに関するクラスラベルを推定する。
　クラスベクトル作成部１１２は、ステップＳ１０３に示された処理（図３を参照しながら後述する）に従い、各クラスに関するクラスベクトルを算出する。クラスベクトルは、たとえば、式１に示されたｙｈであり、クラスごとに定義されている潜在変数（ｌａｔｅｎｔ＿ｖａｒｉａｂｌｅ）である。
　パラメタ算出部１１４、クラス推定部１１３、及び、クラスベクトル作成部１１２等における処理（すなわち、図３におけるステップＳ１０３乃至ステップＳ１０６）は、たとえば、所定の目的関数の値が所定の値以下である場合に、交互に、かつ、繰り返し実行される。このような反復処理の結果、所定の目的関数が所定の値よりも大きい場合におけるパラメタ（式６）が算出される。
　次に、図３を参照しながら、本発明の第１の実施形態に係るパラメタ算出装置１０１における処理について詳細に説明する。図３は、第１の実施形態に係るパラメタ算出装置１０１における処理の流れを示すフローチャートである。
　パラメタ算出装置１０１は、学習データ記憶部１０３に格納されている学習データを含む学習セットＸ（＝（ｘ１，ｘ２，・・・，ｘｎ））を読み取る（ステップＳ１０１）。次に、初期化部１１１は、パラメタ記憶部１０４に格納されているパラメタ（式６）を初期化する（ステップＳ１０２）。
Figure JPOXMLDOC01-appb-I000006
　ただし、Πは、各クラスに関する事前確率（π１，π２，・・・，πＫ）を表し、「π１＋π２＋・・・＋πＫ＝１」である。また、Ｋは、クラスの個数を表す。
　初期化部１１１が初期化する処理は、たとえば、ある定数や、確率を表す値を設定する処理、総和が１であるような複数の値をそれぞれのパラメタに設定する処理、単位行列等を設定する処理、学習セットに関する平均、及び、分散を設定する処理であってもよい。または、初期化する処理は、主成分分析（ｐｒｉｎｃｉｐａｌ＿ｃｏｍｐｏｎｅｎｔ＿ａｎａｌｙｓｉｓ）等の統計的な分析手順に従い算出される値を設定する処理等であってもよい。すなわち、初期化する処理は、上述した例に限定されない。
　説明の便宜上、学習セットＸは、センタリングされているとする。すなわち、式６において、学習セットＸに含まれている各データの平均であるμは、０であるとする。学習セットＸがセンタリングされていない場合には、図３に示された処理において、各データの平均値を算出すればよい。
　クラスベクトル作成部１１２は、初期化部１１１が読み取った学習セットに基づき、クラスベクトルＹ（＝（ｙ１，ｙ２，・・・，ｙＫ））を算出する（ステップＳ１０３）。ｙｉ（ただし、１≦ｉ≦Ｋ）は、クラスｉに関する値を表す。式２に示されているように、クラスベクトルが標準正規分布Ｎ（０，Ｉ）に従っている場合に、クラスベクトル作成部１１２は、たとえば、ボックスミュラー（Ｂｏｘ－Ｍｕｌｌｅｒ’ｓ＿ｍｅｔｈｏｄ）法等の乱数に基づく処理に従い複数の値を算出し、算出した該複数の値を含むクラスベクトルＹを作成する。
　クラスベクトル作成部１１２は、複数のクラスベクトルを作成してもよい。たとえば、クラスベクトル作成部１１２は、ｍ（ただし、ｍ≧２）個のクラスベクトル（すなわち、Ｙ（１），Ｙ（２），・・・，Ｙ（ｍ））を作成する。パラメタ算出装置１０１において、複数のクラスベクトルに関する処理を実行することによって、パラメタ（式６）に関して算出した値に関する計算論的な信頼性が増大する。また、クラスベクトル作成部１１２が乱数に基づきクラスベクトルを作成する理由の１つは、教師付き学習（ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）とは異なり、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）においては解析解を得るのが困難だからである。
　クラス推定部１１３は、学習セットＸに含まれている各学習データｘｉ（１≦ｉ≦ｎ）が、Ｋ個のクラスベクトルのうち、いずれのクラスに属しているのかを推定する（ステップＳ１０４）。ステップＳ１０４に関する処理を具体的に説明する。クラス推定部１１３は、式７に示されたパラメタを入力するとする。
Figure JPOXMLDOC01-appb-I000007
　ただし、Ｖｔｅｍｐは、異なるクラス間の分散を表すパラメタを表す。Ｃｔｅｍｐは、クラス内における分散を表すパラメタに関する値を表す。Πｔｅｍｐは、上述したようなクラスに関する事前確率に関する値を表す。また、学習セットに関しては、上述したようなセンタリング処理が適用されているので、μに関する記載は、式７において省略されている。
　クラス推定部１１３は、入力したパラメタ（式７）に関して、式８に示す処理に従い、ｍ個のクラスベクトルＹ（ｊ）（１≦ｊ≦ｍ）に関して、それぞれ、学習データｘｉがクラスｋ（１≦ｋ≦Ｋ）に属している確率を算出する。
Figure JPOXMLDOC01-appb-I000008
　ただし、Ｙ（ｊ）＝（ｙ（ｊ） １，ｙ（ｊ） ２，・・・，ｙ（ｊ） Ｋ）。「Ｚｉｋ＝１」は、学習データｘｉがクラスｋ（１≦ｋ≦Ｋ）に属していることを表す。また、「ｅｘｐ」は、ネイピア数を底（ｂａｓｅ）とする指数関数を表す。また、Ｃｔｅｍｐ －１は、Ｃｔｅｍｐの逆行列を算出する処理を表す。ある文字の右上に付された文字「Ｔ」は、行と列とを転置する処理を表す。
　ステップＳ１０４に示された処理の後に、パラメタ算出部１１４は、クラスベクトル作成部１１２が作成したクラスベクトルＹ、及び、クラス推定部１１３が推定した確率（式８）を入力し、式９乃至式１１に示された処理に従い、パラメタ（式６）を求める（ステップＳ１０５）。
Figure JPOXMLDOC01-appb-I000009

Figure JPOXMLDOC01-appb-I000010

Figure JPOXMLDOC01-appb-I000011
　ただし、「Σ」は、総和を算出する処理を表す。
　尚、式９は、該音声データの特徴を表すクラス間の分散を表すパラメタを算出する処理を表す。式１０は、クラス内の分散を算出する処理を表す。式１１は、各クラスの事前分布を算出する処理を表す。
　式９乃至式１１に示された処理は、期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎ：ＥＭ）法に基づき得られた処理であり、得られているパラメタを前提として、目的関数（たとえば、尤度の下限として定義される補助関数）を最大化できることが保証されている。すなわち、パラメタ算出部１１４は、式９乃至式１１に示された処理を実行することによって、所定の目的関数の値が増大する場合（または、該所定の目的関数の値が最大である場合）におけるパラメタ（式６）を算出する。
　制御部１１６は、所定の収束判定条件を満たしているか否かを判定する（ステップＳ１０６）。所定の収束判定条件は、所定の目的関数の値の増加が所定の閾値よりも小さい、式９乃至式１１に従い算出されたパラメタの変化量の合計が所定の閾値よりも小さい、式１２（後述）に示された処理に従い算出されたクラス（すなわち、学習データｘｉが属しているクラス）が変化しない等の条件である。
　所定の収束判定条件を満たしていない場合に（ステップＳ１０６にてＮＯ）、制御部１１６は、クラスベクトル作成部１１２、クラス推定部１１３、及び、パラメタ算出部１１４がそれぞれ算出した値に基づき、ステップＳ１０３乃至ステップＳ１０６に示された処理を実行するよう制御する。パラメタ算出部１１４は、たとえば、式１２に示されているような処理に従い、学習データｘｉが属しているクラスを算出してもよい。
Figure JPOXMLDOC01-appb-I000012
　ただし、「ｍａｘＫ」は、以降に示される演算結果の値が最大である場合におけるクラスｋを算出する処理を表す。
　所定の収束判定条件を満たしている場合に（ステップＳ１０６にてＹＥＳ）、教師なし学習部１０２は、所定の収束判定条件を満たしているパラメタ（式６）を、パラメタ記憶部１０４に格納する（ステップＳ１０７）。
　上述した処理において、学習セットＸに関するクラス数Ｋは、与えられていると仮定した。しかし、クラス数Ｋは、所定の処理に従い算出されてもよい。この場合に、パラメタ算出装置１０１は、所定の処理に従いクラス数Ｋを算出する個数算出部（不図示）を有する。該所定の処理は、たとえば、クラス数Ｋの所定の値を設定する処理であってもよい。所定の値と、真のクラス数とが異なる場合であっても、式１乃至式１２を参照しながら説明したような、パラメタ（式６）の値は、所定の値と真のクラス数とが異なることによる大きな影響は受けない。
　また、該所定の処理は、学習セットＸに基づき、クラス数を推定する処理であってもよい。たとえば、個数算出部（不図示）は、所定の目的関数（ＰＬＤＡモデルに学習データが適合している程度（たとえば、尤度））の値と、ＰＬＤＡモデルに関する複雑さ（すなわち、クラス数）とに基づき、クラス数を算出する。クラス数を算出する処理は、たとえば、赤池情報量規準（Ａｋａｉｋｅ’ｓ＿Ｉｎｆｏｒｍａｔｉｏｎ＿Ｃｒｉｔｅｒｉｏｎ）、または、最小記述長（ｍｉｎｉｍｕｍ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｌｅｎｇｔｈ：ＭＤＬ）に基づき、未知のデータに関するクラスを正確に予測するのに適したクラス数を算出する処理であってもよい。
　所定の目的関数は、尤度、または、その下限よりも小さな値を算出する補助関数に限定されない。たとえば、該尤度が最大である場合におけるパラメタ（式６）を求める処理は、該パラメタ（式６）に関する事前確率が与えられた場合に定義される事後確率が最大である場合におけるパラメタ（式６）を求める処理、または、学習データに対するベイズ的な周辺確率が最大である場合におけるパラメタ（式６）を求める処理であってもよい。すなわち、パラメタ（式６）を求める処理は、上述した例に限定されない。
　次に、本発明の第１の実施形態に係るパラメタ算出装置１０１に関する効果について説明する。
　第１の実施形態に係るパラメタ算出装置１０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。この理由は、パラメタ算出装置１０１が１つの目的関数に従い処理されている場合に、該目的関数に従い算出される学習モデルが、ラベルを高精度に推定する基として適切であるからである。言い換えると、第１の実施形態に係るパラメタ算出装置１０１によれば、１つの目的関数（尤度等）の観点にて最適なパラメタ（式６）を得ることができる。この理由は、学習データにクラスラベルが割り当てられていない場合であっても、クラスベクトル作成部１１２、クラス推定部１１３、及び、パラメタ算出部１１４が、交互に処理しながら、目的関数計算部１１５が計算する目的関数の値が増大する場合（または、最大である場合）におけるパラメタ（式６）を求めるからである。
　＜第２の実施形態＞
　次に、上述した第１の実施形態を基本とする本発明の第２の実施形態について説明する。
　以降の説明においては、本実施形態に係る特徴的な部分を中心に説明すると共に、上述した第１の実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明を省略する。
　図４を参照しながら、本発明の第２の実施形態に係るパラメタ算出装置２０１が有する構成について詳細に説明する。図４は、本発明の第２の実施形態に係るパラメタ算出装置２０１が有する構成を示すブロック図である。
　パラメタ算出装置２０１は、準教師付き学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）部２０２と、第１学習データ記憶部２０３と、第２学習データ記憶部２０４と、パラメタ記憶部１０４と、クラスラベル記憶部２０５とを有する。
　第１学習データ記憶部２０３には、第１学習データが格納されている。第１学習データは、たとえば、図１を参照しながら説明したような学習データと同様なデータである。したがって、第１学習データ記憶部２０３は、図１における学習データ記憶部１０３を用いて実現することができる。
　第２学習データ記憶部２０４には、第２学習データが格納されている。第２学習データは、たとえば、図１を参照しながら説明したような学習データと同様なデータである。したがって、第２学習データ記憶部２０４は、図１における学習データ記憶部１０３を用いて実現することができる。
　クラスラベル記憶部２０５には、各第２学習データに関するクラスラベル（以降、単に「ラベル」とも表す）が格納されている。すなわち、クラスラベル記憶部２０５には、該第２学習データに関連付けされたクラスラベルが格納されている。該クラスラベルは、第２学習データが属しているクラスを表す情報である。
　したがって、第１学習データは、ラベル付けされていないデータ（すなわち、「ラベルなしデータ」）である。第２学習データは、ラベル付けされているデータ（すなわち、「ラベル付きデータ」）である。
　準教師付き学習部２０２は、図６を参照しながら後述するような処理に従い、ラベル付きデータと、ラベルなしデータとに基づき、モデルに含まれているパラメタ（式６）を推定する。
　図５を参照しながら、第２の実施形態に係る準教師付き学習部２０２が有する構成について詳細に説明する。図５は、第２の実施形態に係る準教師付き学習部２０２が有する構成を示すブロック図である。
　準教師付き学習部２０２は、初期化部１１１と、クラスベクトル作成部１１２と、クラス推定部２１３と、パラメタ算出部１１４と、目的関数計算部１１５と、制御部１１６とを有する。
　準教師付き学習部２０２は、クラス推定部２１３以外の各構成要素に関しては、第１の実施形態に係る教師なし学習部１０２が有している構成と同様な構成を有している。準教師付き学習部２０２と、準教師付き学習部２０２とを比較すると、たとえば、教師なし学習部１０２がラベルなしデータを入力するのに対して、準教師付き学習部２０２が、ラベルなしデータと、ラベル付きデータとを入力する点が異なっている。
　クラス推定部２１３は、ラベルなしデータ（すなわち、第１学習データ）のみに関して、式８を参照しながら上述したような処理に従い、学習データｉがクラスｋに属している確率を算出する。その後、クラス推定部２１３は、ラベル付きデータ（すなわち、第２学習データと、該第２学習データに関するラベル）に関して、該第２学習データに関連付けされているラベルが表すクラスに関する確率を「１」に設定し、該クラスと異なるクラスに関する確率を「０」に設定する。
　クラス推定部２１３は、第２学習データに関連付けされているラベルが表すクラスに関する確率を第１値に設定し、該クラスと異なるクラスに関する確率を第２値に設定してもよい。この場合に、第１値は、第２値よりも大きな値であり、かつ、第１値と、第２値との和が１であればよい。第１値、及び、第２値は、所定の値である必要はなく、乱数（または、擬似乱数）であってもよい。クラス推定部２１３が設定する確率は、上述した例に限定されない。第１値、及び、第２値のうち、少なくともいずれかを乱数に従い算出することによって、過学習問題を低減することができるので、パラメタ算出装置２０１は、データを、より正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。
　パラメタ算出部１１４は、クラス推定部２１３が算出した確率に対して、式９乃至式１１に示された処理と同様な処理を実行することによって、パラメタ（式６）を算出する。すなわち、パラメタ算出部１１４は、ラベル付きデータと、ラベルなしデータとに関して算出された確率に基づき、式９乃至式１１に示された処理と同様な処理を実行することによって、パラメタ（式６）を算出する。
　次に、図６を参照しながら、本発明の第２の実施形態に係るパラメタ算出装置２０１における処理について詳細に説明する。図６は、第２の実施形態に係るパラメタ算出装置２０１における処理の流れを示すフローチャートである。
　準教師付き学習部２０２は、ラベルなしデータと、ラベル付きデータとを含む学習セットを読み取る（ステップＳ１０１）。すなわち、準教師付き学習部２０２は、第１学習データ記憶部２０３からラベルなしデータ（すなわち、第１学習データ）を読み取り、第２学習データ記憶部２０４、及び、クラスラベル記憶部２０５から、ラベル付きデータ（すなわち、第２学習データ、及び、第２学習データに関連付けされたラベル）を読み取る。
　初期化部１１１は、パラメタ（式６）を初期化する（ステップＳ１０２）。パラメタ（式６）を初期化する処理は、第１の実施形態にて上述した処理と同様な処理であってもよいし、異なる処理であってもよい。初期化部１１１は、たとえば、ラベル付きデータに対して、最尤基準に基づく教師付き学習を適用することによって、各パラメタ（式６）の値を算出し、算出した値をパラメタ（式６）の初期値として設定してもよい。
　クラスベクトル作成部１１２は、図３を参照しながら上述した処理と同様な処理を実行することによって、クラスベクトルを作成する（ステップＳ１０３）。
　クラス推定部２１３は、ラベルなしデータと、ラベル付きデータとに関して、それぞれ、クラスを推定する（ステップＳ２０４）。ステップＳ２０４における処理を具体的に説明すると、クラス推定部２１３は、第１学習データ（すなわち、ラベルなしデータ）について、式８を参照しながら説明したような処理に従い、第１学習データｘｉがクラスｋに属している確率を算出する。次に、クラス推定部２１３は、ラベル付きデータ（すなわち、第２学習データと、該第２学習データに関連付けされたクラスラベル）に関して、第２学習データｘｉが、該クラスラベルが表すクラスに属している確率を１に設定する。クラス推定部２１３は、ラベル付きデータに関して、第２学習データｘｉが、該クラスラベルが表すクラスと異なるクラスに属している確率を０に設定する。
　パラメタ算出部１１４は、クラスベクトル作成部１１２が作成したクラスベクトルＹ、及び、クラス推定部２１３が推定した確率（式８）を入力し、式９乃至式１１に示された処理に従いパラメタ（式６）を算出する。パラメタ算出部１１４は、式９乃至式１１に示された処理を実行することによって、所定の目的関数が増大する（または、最大である）場合におけるパラメタ（式６）の値を算出する。ただし、この処理において、式９乃至式１１に示されたｉは、ラベル付きデータ、及び、ラベルなしデータを指し示す添え字である。
　以降、ステップＳ１０６、及び、ステップＳ１０７に示された処理が実行される。
　次に、本発明の第２の実施形態に係るパラメタ算出装置２０１に関する効果について説明する。
　第２の実施形態に係るパラメタ算出装置２０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。この理由は、第１の実施形態にて説明した理由と同様な理由である。
　第２の実施形態に係るパラメタ算出装置２０１によれば、ラベルを、より一層、正確に推定する基となるモデルを作成することができる。この理由は、ラベルなしデータと、ラベル付きデータとに基づき、パラメタ（式６）を算出するからである。この理由を、より具体的に説明する。
　クラス推定部２１３は、第１学習データ（すなわち、ラベルなしデータ）があるクラスに属している確率を算出し、さらに、ラベル付きデータに関しては、該ラベルに従いあるクラスに属している確率を、図６を参照しながら上述したような処理に従い設定する。したがって、パラメタ算出装置２０１がラベルなしデータと、ラベル付きデータとに基づき、パラメタ（式６）を算出するので、ラベル付きデータの割合は、第１の実施形態に比べ増える。この結果、パラメタ算出装置２０１によれば、ラベルを、より一層、正確に推定する基となるパラメタ（式６）を算出することができる。
　＜第３の実施形態＞
　次に、本発明の第３の実施形態について説明する。
　図７を参照しながら、本発明の第３の実施形態に係るパラメタ算出装置３０１が有する構成について詳細に説明する。図７は、本発明の第３の実施形態に係るパラメタ算出装置３０１が有する構成を示すブロック図である。
　第３の実施形態に係るパラメタ算出装置３０１は、作成部３０２と、推定部３０３と、算出部３０４とを有する。
　次に、図８を参照しながら、本発明の第３の実施形態に係るパラメタ算出装置３０１における処理について詳細に説明する。図８は、第３の実施形態に係るパラメタ算出装置３０１における処理の流れを示すフローチャートである。
　作成部３０２は、たとえば、式１に例示されているような関係性を表す関係性情報に含まれているパラメタの値を入力する。該関係性情報は、話者が発した音声データ（たとえば、式１におけるｘｉ）と、所定の分布（たとえば、式２に例示された正規分布）に従った値（たとえば、式２におけるｙｈ）と、異なるクラス間の分散（たとえば、式１におけるＶ）と、クラス内の分散（たとえば、式１におけるε）との関係性を表す情報である。作成部３０２は、該関係性に関するパラメタの値として、該異なるクラス間の分散と、該クラス内の分散とを入力する。
　作成部３０２は、該所定の分布に従った値を算出する（ステップＳ３０１）。作成部３０２は、たとえば、上述したようなボックスミュラー法に従い、所定の分布に関する分散を有する値を算出する。作成部３０２は、たとえば、該クラスの個数分の値を算出する。
　推定部３０３は、該値と、音声データとに対して、ステップＳ１０４（図３）、または、ステップＳ２０４（図６）に示されている処理と同様な処理を実行することによって、該音声データが１つのクラスに分類される程度（たとえば、確率）を算出する（ステップＳ３０２）。式１に示された関係性情報においては、１つのクラスを、たとえば、クラス間の分散の係数（すなわち、ｙｉ）が相互に類似している程度に基づき定義することができる。
　次に、算出部３０４は、推定部３０３が算出した程度を入力し、入力した該程度を用いて式９乃至式１１を参照しながら説明した処理を実行することによって、パラメタ（たとえば、クラス間の分散と、クラス内の分散）を算出する（ステップＳ３０３）。したがって、算出部３０４は、音声データが関係性情報に適合している程度が増大する（または、最大である）場合における、パラメタ（式６）を算出する。
　パラメタ算出装置３０１は、たとえば、所定の回数分、図３に示された繰り返し処理（ステップＳ１０３乃至ステップＳ１０６）、または、図６に示された繰り返し処理（ステップＳ１０３、ステップＳ２０４、ステップＳ１０５、及び、ステップＳ１０６）を実行してもよい。または、パラメタ算出装置３０１は、たとえば、式１２を参照しながら上述した処理と同様な処理を実行することによって、上述したような繰り返し処理を実行するか否かを判定してもよい。パラメタ算出装置３０１における処理は、上述した例に限定されない。
　したがって、作成部３０２は、上述したようなクラスベクトル作成部１１２（図２、または、図５）が有する機能と同様な機能を用いて実現することができる。推定部３０３は、第１の実施形態に係るクラス推定部１１３、または、第２の実施形態に係るクラス推定部２１３が有する機能と同様な機能を用いて実現することができる。算出部３０４は、上述したようなパラメタ算出部１１４、目的関数計算部１１５、及び、制御部１１６（いずれも、図２または図５）が有する機能と同様な機能を用いて実現することができる。すなわち、パラメタ算出装置３０１は、第１の実施形態に係るパラメタ算出装置１０１（図１）、または、第２の実施形態に係るパラメタ算出装置２０１（図４）が有する機能と同様な機能を用いて実現することができる。
　次に、本発明の第３の実施形態に係るパラメタ算出装置３０１に関する効果について説明する。
　第３の実施形態に係るパラメタ算出装置３０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。この理由は、パラメタ算出装置３０１が１つの目的関数に基づき、モデルを構成しているパラメタ（式６）を算出するからである。言い換えると、異なる２つの目的関数に基づきパラメタを算出するよりも、１つの目的関数に従いパラメタを算出する方が、正確なモデルを作成できることが多いので、パラメタ算出装置３０１によれば、データを正確に分類する基となるモデルを作成することが可能なパラメタを算出することができる。
　尚、上述した実施形態においては、音声データを例としてパラメタ算出装置における処理を説明したが、音声データは、顔画像等の画像データ、または、音声信号等の音声データとは異なるデータであってもよい。
　たとえば、顔画像を認識する顔認識装置の場合に、学習セットＸは、各顔画像から抽出した特徴点の座標データであり、クラスラベルＺは、該顔画像と紐付けられる人物識別子（ＩＤ）である。顔認識装置は、これらのデータに基づき、ＰＬＤＡモデルを作成する。
　たとえば、話者認識装置の場合に、学習セットＸは、音声信号から抽出された音響特徴量等の統計量データ（話者認識で広く用いられるＧＭＭスーパーベクトルやｉ－ｖｅｃｔｏｒなど）であり、クラスラベルＺは、音声を発声した話者のＩＤである。話者認識装置は、これらのデータに基づき、ＰＬＤＡモデルを作成する。ＧＭＭは、Ｇａｕｓｓｉａｎ＿ｍｉｘｔｕｒｅ＿ｍｏｄｅｌの略称を表す。
　すなわち、パラメタ算出装置は、上述した例に限定されない。
　（ハードウェア構成例）
　上述した本発明の各実施形態に係るパラメタ算出装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係るパラメタ算出装置は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、係るパラメタ算出装置は、専用の装置として実現されてもよい。
　図９は、本発明の各実施形態に係るパラメタ算出装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。計算処理装置２０は、中央処理演算装置（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ、以降「ＣＰＵ」と表す）２１、メモリ２２、ディスク２３、不揮発性記録媒体２４、及び、通信インターフェース（以降、「通信ＩＦ」と表す）２７を有する。計算処理装置２０は、入力装置２５、出力装置２６に接続可能であってもよい。計算処理装置２０は、通信ＩＦ２７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
　不揮発性記録媒体２４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ）、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ＿Ｖｅｒｓａｔｉｌｅ＿Ｄｉｓｃ）である。また、不揮発性記録媒体２４は、ユニバーサルシリアルバスメモリ（ＵＳＢメモリ）、ソリッドステートドライブ（Ｓｏｌｉｄ＿Ｓｔａｔｅ＿Ｄｒｉｖｅ）等であってもよい。不揮発性記録媒体２４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記録媒体２４は、上述した媒体に限定されない。また、不揮発性記録媒体２４の代わりに、通信ＩＦ２７、及び、通信ネットワークを介して係るプログラムを持ち運びしてもよい。
　すなわち、ＣＰＵ２１は、ディスク２３に格納されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際にメモリ２２にコピーし、演算処理を実行する。ＣＰＵ２１は、プログラム実行に必要なデータをメモリ２２から読み取る。表示が必要な場合に、ＣＰＵ２１は、出力装置２６に出力結果を表示する。外部からプログラムを入力する場合に、ＣＰＵ２１は、入力装置２５からプログラムを読み取る。ＣＰＵ２１は、上述した図１、図２、図４、図５、または、図７に示す各部が表す機能（処理）に対応するところのメモリ２２にあるパラメタ算出プログラム（図３、図６、または、図８）を解釈し実行する。ＣＰＵ２１は、上述した本発明の各実施形態において説明した処理を順次実行する。
　すなわち、このような場合に、本発明の各実施形態は、係るパラメタ算出プログラムによっても成し得ると捉えることができる。さらに、係るパラメタ算出プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明の各実施形態は成し得ると捉えることができる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１７年２月１７日に出願された日本出願特願２０１７－０２７５８４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０１　　パラメタ算出装置
　１０２　　教師なし学習部
　１０３　　学習データ記憶部
　１０４　　パラメタ記憶部
　１１１　　初期化部
　１１２　　クラスベクトル作成部
　１１３　　クラス推定部
　１１４　　パラメタ算出部
　１１５　　目的関数計算部
　１１６　　制御部
　２０１　　パラメタ算出装置
　２０２　　準教師付き学習部
　２０３　　第１学習データ記憶部
　２０４　　第２学習データ記憶部
　２０５　　クラスラベル記憶部
　２１３　　クラス推定部
　３０１　　パラメタ算出装置
　３０２　　作成部
　３０３　　推定部
　３０４　　算出部
　２０　　計算処理装置
　２１　　ＣＰＵ
　２２　　メモリ
　２３　　ディスク
　２４　　不揮発性記録媒体
　２５　　入力装置
　２６　　出力装置
　２７　　通信ＩＦ
　６００　　学習装置
　６０１　　学習部
　６０２　　クラスタリング部
　６０３　　第１目的関数計算部
　６０４　　パラメタ記憶部
　６０５　　音声データ記憶部
　６１１　　パラメタ初期化部
　６１２　　クラスベクトル推定部
　６１３　　パラメタ算出部
　６１４　　第２目的関数計算部

Claims (10)

  1. 　データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成手段と、
    　前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定手段と、
    　前記推定手段が算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出手段と
    　を備えるパラメタ算出装置。
  2. 　前記適合している程度が、所定の値より大きいか否かを判定する制御手段
    　をさらに備え、
    　前記適合している程度が前記所定の値よりも小さい場合に、前記作成手段は、前記クラスベクトルを作成し、前記推定手段は、前記作成手段が作成した前記クラスベクトルに基づき、前記程度を算出し、前記作成手段は、前記推定手段が算出した前記程度に基づき、前記クラス間の散らばり度と、前記クラス内の散らばり度とを求める
    　請求項１に記載のパラメタ算出装置。
  3. 　前記推定手段は、前記クラス間の散らばり度、及び、前記クラス内の散らばり度を用いて表されるモデルに対して、前記データが適合している程度を表す事後確率が最大であることを表す目的関数に基づき、前記分類のされやすさの程度を推定する
    　請求項１または請求項２に記載のパラメタ算出装置。
  4. 　前記作成手段は、前記所定の分布に従った値を、乱数または擬似乱数を用いて算出する
    　請求項１乃至請求項３のいずれかに記載のパラメタ算出装置。
  5. 　前記作成手段は、複数の前記クラスベクトルを作成し、
    　前記推定手段は、前記複数の前記クラスベクトルに関して前記分類のされやすさの程度を算出し、
    　前記算出手段は、前記推定手段が前記複数のクラスベクトルに関して算出した前記程度に基づき、前記クラス間の散らばり度と、クラス内の散らばり度とを算出し、
    　前記制御手段は、前記適合している程度を、前記推定手段が前記複数のクラスベクトルに関して算出した前記分類のされやすさの程度を合計することによって算出する
    　請求項２に記載のパラメタ算出装置。
  6. 　前記分類のされやすさの程度は、確率であり、
    　前記推定手段は、前記データに関するクラスラベルに基づき、該データを該クラスラベルに分類する確率を１、該データを他のクラスラベルに分類する確率を０として算出する
    　請求項１乃至請求項５のいずれかに記載のパラメタ算出装置。
  7. 　前記分類のされやすさの程度は、確率であり、
    　前記推定手段は、前記データに関するクラスラベルに基づき、該データを該クラスラベルに分類する確率を第１値、該データを他のクラスラベルに分類する確率を、前記第１値よりも小さな値である第２値として算出する
    　請求項１乃至請求項５のいずれかに記載のパラメタ算出装置。
  8. 　前記推定手段は、前記第１値、及び、前記第２値を、乱数または擬似乱数に従い算出する
    　請求項７に記載のパラメタ算出装置。
  9. 　情報処理装置によって、データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成し、前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定し、算出した程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出するパラメタ算出方法。
  10. 　データと、所定の分布に従った値と、該データが分類されたクラス間の散らばり度と、該クラス内の散らばり度との間の関係性を表す関係性情報に関して、前記所定の分布に従った値を算出し、算出した値を複数含んでいるクラスベクトルを作成する作成機能と、
    　前記クラスベクトルと前記データとに基づき、前記データが１つクラスに分類される場合の分類のされやすさの程度を推定する推定機能と、
    　前記推定機能によって算出された程度に基づき、前記データが前記関係性情報に適合している程度が高くなる場合における、前記クラス間の散らばり度と、前記クラス内の散らばり度とを算出する算出機能と
    　をコンピュータに実現させるパラメタ算出プログラムが記録された記録媒体。
PCT/JP2018/004994 2017-02-17 2018-02-14 パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体 WO2018151124A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018568547A JP7103235B2 (ja) 2017-02-17 2018-02-14 パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラム
US16/483,482 US20200019875A1 (en) 2017-02-17 2018-02-14 Parameter calculation device, parameter calculation method, and non-transitory recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017027584 2017-02-17
JP2017-027584 2017-02-17

Publications (1)

Publication Number Publication Date
WO2018151124A1 true WO2018151124A1 (ja) 2018-08-23

Family

ID=63170259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004994 WO2018151124A1 (ja) 2017-02-17 2018-02-14 パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体

Country Status (3)

Country Link
US (1) US20200019875A1 (ja)
JP (1) JP7103235B2 (ja)
WO (1) WO2018151124A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087012A (ja) * 2017-11-07 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
CN115273170A (zh) * 2022-06-14 2022-11-01 青岛云天励飞科技有限公司 图像聚类方法、装置、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182161A (ja) * 2012-03-02 2013-09-12 Yamaha Corp 音響処理装置およびプログラム
US20160042739A1 (en) * 2014-08-07 2016-02-11 Nuance Communications, Inc. Fast speaker recognition scoring using i-vector posteriors and probabilistic linear discriminant analysis

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2387008A (en) 2002-03-28 2003-10-01 Qinetiq Ltd Signal Processing System
JP5973309B2 (ja) 2012-10-10 2016-08-23 日本電信電話株式会社 配信装置及びコンピュータプログラム
US10127927B2 (en) 2014-07-28 2018-11-13 Sony Interactive Entertainment Inc. Emotional speech processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182161A (ja) * 2012-03-02 2013-09-12 Yamaha Corp 音響処理装置およびプログラム
US20160042739A1 (en) * 2014-08-07 2016-02-11 Nuance Communications, Inc. Fast speaker recognition scoring using i-vector posteriors and probabilistic linear discriminant analysis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAK, MAN-WAI ET AL.: "Mixture of PLDA for Noise Robust I-Vector Speaker Verification", IEEE /ACM TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING (TASLP, vol. 24, no. 1, January 2016 (2016-01-01), pages 130 - 142, XP055537531 *
VILLALBA, JESUS: "Unsupervised Adaptation of SPLDA", ARXIV PREPRINT ARXIV:1511.07421, 20 November 2015 (2015-11-20), pages 1 - 19, XP055537526, Retrieved from the Internet <URL:https://arxiv.org/abs/1511.07421> *

Also Published As

Publication number Publication date
US20200019875A1 (en) 2020-01-16
JPWO2018151124A1 (ja) 2019-12-19
JP7103235B2 (ja) 2022-07-20

Similar Documents

Publication Publication Date Title
EP3806089A1 (en) Mixed speech recognition method and apparatus, and computer readable storage medium
CN107564513B (zh) 语音识别方法及装置
US9311609B2 (en) Techniques for evaluation, building and/or retraining of a classification model
WO2019102884A1 (ja) ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体
JP7414901B2 (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
WO2020031570A1 (ja) 異常検知装置、確率分布学習装置、自己符号化器学習装置、データ変換装置、プログラム
CN109360572B (zh) 通话分离方法、装置、计算机设备及存储介质
CN111695415A (zh) 图像识别模型的构建方法、识别方法及相关设备
EP1465154B1 (en) Method of speech recognition using variational inference with switching state space models
JP7024515B2 (ja) 学習プログラム、学習方法および学習装置
WO2020045313A1 (ja) マスク推定装置、マスク推定方法及びマスク推定プログラム
WO2019163736A1 (ja) マスク推定装置、モデル学習装置、音源分離装置、マスク推定方法、モデル学習方法、音源分離方法及びプログラム
JP2014026455A (ja) メディアデータ解析装置、方法、及びプログラム
WO2021008037A1 (zh) 基于A-BiLSTM神经网络的文本分类方法、存储介质及计算机设备
JP5704692B2 (ja) パターン分類装置の学習装置及びそのためのコンピュータプログラム
Fischer Training restricted boltzmann machines
Yu et al. Cam: Context-aware masking for robust speaker verification
WO2018151124A1 (ja) パラメタ算出装置、パラメタ算出方法、及び、パラメタ算出プログラムが記録された記録媒体
Sholokhov et al. Voice biometrics security: Extrapolating false alarm rate via hierarchical Bayesian modeling of speaker verification scores
JP4928193B2 (ja) 顔画像認識装置及び顔画像認識プログラム
WO2020173270A1 (zh) 用于分析数据的方法、设备和计算机存储介质
JP2007249394A (ja) 顔画像認識装置及び顔画像認識プログラム
JP4612435B2 (ja) 音響モデル学習装置および音声認識装置
Borgström Bayesian estimation of PLDA in the presence of noisy training labels, with applications to speaker verification
JP4256314B2 (ja) 音声認識用音響モデル作成方法、音声認識用音響モデル作成装置、音声認識用音響モデル作成プログラム及びこのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754400

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018568547

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18754400

Country of ref document: EP

Kind code of ref document: A1