WO2018051945A1 - 音声処理装置、音声処理方法、および記録媒体 - Google Patents

音声処理装置、音声処理方法、および記録媒体 Download PDF

Info

Publication number
WO2018051945A1
WO2018051945A1 PCT/JP2017/032666 JP2017032666W WO2018051945A1 WO 2018051945 A1 WO2018051945 A1 WO 2018051945A1 JP 2017032666 W JP2017032666 W JP 2017032666W WO 2018051945 A1 WO2018051945 A1 WO 2018051945A1
Authority
WO
WIPO (PCT)
Prior art keywords
acoustic
calculated
feature
speaker
diversity
Prior art date
Application number
PCT/JP2017/032666
Other languages
English (en)
French (fr)
Inventor
山本　仁
孝文 越仲
鈴木　隆之
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018539704A priority Critical patent/JP6908045B2/ja
Priority to US16/333,008 priority patent/US20190279644A1/en
Publication of WO2018051945A1 publication Critical patent/WO2018051945A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/12—Score normalisation

Definitions

  • the present disclosure relates to voice processing, and more particularly to a voice processing device, a voice processing method, and the like that recognize attribute information such as a speaker's personality and spoken language from a voice signal.
  • An audio processing device that extracts an acoustic feature (individuality feature) representing personality for identifying a speaker who has made a speech and an acoustic feature representing a language conveyed by the speech from an audio signal is known.
  • a speaker recognition device that estimates a speaker using these features of a speech signal and a language recognition device that estimates a language are known.
  • the speaker recognition device using this speech processing device evaluates the similarity between the personality feature extracted from the speech signal by the speech processing device and the predefined personality feature, and selects a speaker based on the evaluation.
  • the speaker recognition device selects, for example, a speaker identified by the personality feature evaluated as having the highest similarity.
  • Non-Patent Document 1 describes a technique for extracting personality features from an audio signal input to a speaker recognition device.
  • the feature extraction technique described in Non-Patent Document 1 calculates an acoustic statistic of an audio signal using an acoustic model for the audio signal, and processes the acoustic statistic based on a factor analysis technique.
  • An arbitrary audio signal is expressed in a vector format having a predetermined number of elements.
  • the feature vector is used as the personality feature of the speaker.
  • Non-Patent Document 1 compresses an acoustic statistic calculated using an acoustic model for a speech signal input to a speaker recognition device based on a factor analysis technology.
  • this technique only calculates one feature vector by uniform statistical processing for the entire speech signal input to the speaker recognition device.
  • Non-Patent Document 1 can calculate a score (score) based on the similarity of feature vectors in speaker recognition calculation.
  • a score score
  • the present disclosure has been made in view of the above problems, and an object thereof is to provide a technique for improving the interpretability of the speaker recognition result.
  • the speech processing apparatus calculates an acoustic feature from an acoustic model storage unit that stores one or more acoustic models, and the received speech signal, and uses the calculated acoustic feature and the stored acoustic model to generate a sound.
  • the acoustic statistic calculation unit that calculates the acoustic diversity, which is a vector representing the degree of variation of the type, and the calculated acoustic diversity and the selection coefficient, the weighted acoustic diversity is calculated and calculated.
  • a partial feature extraction unit that calculates a recognition feature amount for recognizing a speaker's personality or language, and a feature vector using the calculated recognition feature amount
  • a partial feature integration unit is provided.
  • the audio processing method of the present disclosure calculates an acoustic feature from a received audio signal, and uses the calculated acoustic feature and one or more acoustic models, and an acoustic diversity that is a vector that represents the degree of variation in the type of sound. , Calculate the weighted acoustic diversity using the calculated acoustic diversity and the selection factor, and use the calculated weighted acoustic diversity and acoustic features to determine the personality or language of the speaker.
  • the recognition feature amount is calculated to recognize the feature vector, and the feature vector is calculated using the calculated recognition feature amount.
  • the program stored in the recording medium of the present disclosure includes a computer that stores one or more acoustic models, calculates an acoustic feature from the received audio signal, and calculates the calculated acoustic feature and the stored acoustic model.
  • the means for calculating the acoustic diversity which is a vector representing the degree of variation in the type of sound
  • the weighted acoustic diversity is calculated and calculated.
  • the weighted acoustic diversity and acoustic features it functions as a means for calculating a recognition feature amount that is information for recognizing information indicating the personality, language, etc. of the speaker.
  • FIG. 1 is a block diagram of a speech processing apparatus 100 according to the first embodiment.
  • the speech processing apparatus 100 includes an acoustic statistic calculation unit 11, an acoustic model storage unit 12, a partial feature extraction unit 13, and a partial feature integration unit 14.
  • the acoustic model storage unit 12 stores one or more acoustic models.
  • the acoustic model represents the correspondence between the frequency characteristics of the audio signal and the type of sound.
  • the acoustic model is configured to identify the type of sound represented by the instantaneous audio signal.
  • the representation of the acoustic model includes, for example, a Gaussian mixture model (GMM), a neural network (Neural Network), and a hidden Markov model (HMM: Hidden Markov Model).
  • the type of sound is, for example, a cluster of audio signals obtained by clustering audio signals based on similarity.
  • the type of sound is a class of audio signals classified by language knowledge such as phonemes.
  • the acoustic model stored in the acoustic model storage unit 12 is an acoustic model trained in advance according to a general optimization standard using a speech signal prepared for training (training speech signal).
  • the acoustic model storage unit 12 stores, for example, two or more acoustic models trained for each of a plurality of training audio signals, such as sex of a speaker (male or female), recording environment (indoor or outdoor), and the like. May be.
  • the voice processing device 100 includes the acoustic model storage unit 12, but the acoustic model storage unit 12 may be realized by a storage device separate from the voice processing device 100.
  • Good. Acoustic Statistics Calculation Unit 11
  • the acoustic statistic calculation unit 11 receives an audio signal, calculates an acoustic feature from the received audio signal, calculates an acoustic diversity using the calculated acoustic feature and one or more acoustic models, and calculates the calculated acoustic feature. Outputs diversity and acoustic features.
  • receiving means for example, receiving an audio signal from an external device or another processing device, or receiving a processing result from another program.
  • the acoustic diversity is a vector representing the degree of variation in the type of sound included in the audio signal.
  • the acoustic diversity calculated from a certain voice signal is referred to as the acoustic diversity of the voice signal.
  • the output is, for example, transmission to an external device or another processing device, or delivery of a processing result to another program.
  • the output is a concept including display on a display, projection using a projector, printing with a printer, and the like.
  • the acoustic statistic calculation unit 11 cuts and arranges the received audio signals as frames for each short time to make a time series (short time frame time series), performs frequency analysis on each frame, and performs acoustic analysis as a result of the frequency analysis. Is calculated. For example, the acoustic statistic calculation unit 11 generates a frame of a 25 millisecond interval every 10 milliseconds as a short time frame time series. As the frequency analysis process, for example, the acoustic statistic calculation unit 11 calculates a frequency filter bank feature that is an acoustic feature by performing a fast Fourier transform process (FFT) and a filter bank process.
  • FFT fast Fourier transform process
  • the acoustic statistic calculation unit 11 performs mel frequency cepstrum coefficients (MFCC: Mel-Frequency Cepstrum Coefficients) that are acoustic features by performing discrete cosine transform processing in addition to FFT and filter bank processing. calculate.
  • MFCC Mel-Frequency Cepstrum Coefficients
  • the above is the procedure in which the acoustic statistic calculation unit 11 calculates acoustic features by performing frequency analysis processing on the received audio signal.
  • the acoustic statistic calculation unit 11 calculates the acoustic diversity using the calculated acoustic feature and one or more acoustic models stored in the acoustic model storage unit 12 will be described.
  • the acoustic statistic calculation unit 11 extracts parameters (average and variance) of each of a plurality of element distributions and a mixture coefficient of each element distribution from the acoustic model (GMM), calculates the calculated acoustic features, and parameters of the extracted element distributions Based on (average, variance) and the mixing coefficient of each element distribution, the degree of appearance of each of the plurality of sound types included in the audio signal is calculated.
  • the degree of appearance means the degree of appearance (appearance frequency) or the probability of appearance. For this reason, the degree of appearance may be a natural number (appearance frequency) or a decimal number (probability) of 0 or more and less than 1.
  • the acoustic statistic calculation unit 11 extracts parameters (weighting coefficients, bias coefficients) of each element from the acoustic model (neural network), and calculates the calculated acoustic features and parameters of the extracted elements (weighting coefficients, bias coefficients). Based on this, the degree of appearance of each of the types of sounds included in the audio signal is calculated. The acoustic statistic calculation unit 11 further calculates the acoustic diversity using the appearance degrees of the plurality of sound types calculated in this way.
  • the above is the procedure by which the acoustic statistic calculation unit 11 calculates the acoustic diversity using the calculated acoustic features and one or more acoustic models stored in the acoustic model storage unit 12.
  • the acoustic statistic calculation unit 11 first obtains a posterior probability for each of a plurality of element distributions of the GMM that is the acoustic model for the audio signal x.
  • the posterior probability P i (x) of the i th element distribution of the GMM represents the degree to which the speech signal x belongs to the i th element distribution of the GMM.
  • P i (x) is obtained by the following equation (1).
  • the function N () represents a probability density function of a Gaussian distribution
  • ⁇ i is a parameter (mean and variance) of the i th element distribution of the GMM
  • w i is a mixing coefficient of the i th element distribution of the GMM.
  • the above is an example of the procedure by which the acoustic statistic calculation unit 11 calculates the acoustic diversity V (x) of the audio signal x.
  • the acoustic statistic calculation unit 11 divides the audio signal x into time series ⁇ x1, x2,..., XT ⁇ of short-time audio signals (T is an arbitrary natural number). To do. Then, the acoustic statistic calculation unit 11 obtains an element distribution number i that maximizes the appearance probability for each short time audio signal by the following equation (2).
  • C i (x) is the number of times the i-th element distribution of the GMM is selected.
  • C i (x) represents the degree to which the audio signal x belongs to the i-th element distribution of the GMM.
  • the acoustic statistic calculator 11 may calculate the acoustic diversity after segmenting the received audio signal. More specifically, for example, the acoustic statistic calculation unit 11 may divide the received audio signal at regular intervals to obtain a segmented audio signal, and calculate the acoustic diversity for each of the segmented audio signals.
  • the sound statistic calculation unit 11 when the sound statistic calculation unit 11 receives a sound signal from an external device or another processing device and the duration of the sound signal exceeds a predetermined value, the sound statistic calculation unit 11 has received the sound signal by that time. Calculate the acoustic diversity of the audio signal.
  • the acoustic statistic calculation unit 11 may calculate the degree of appearance based on each acoustic model. Then, the acoustic statistic calculation unit 11 calculates the acoustic diversity using the appearance degree calculated based on each of the two or more acoustic models, weights the calculated acoustic diversity, and then adds the added values. It may be acoustic diversity.
  • the above is another method in which the acoustic statistic calculation unit 11 calculates the acoustic diversity V (x) of the audio signal x.
  • the acoustic statistic calculation unit 11 calculates the appearance degrees of a plurality of sound types, and calculates the acoustic diversity of the audio signal using the calculated appearance degrees. In other words, the acoustic statistic calculation unit 11 calculates the acoustic diversity reflecting the ratio of the type of sound included in the audio signal (the ratio of the i-th element distribution to the entire element distribution of the audio model).
  • the partial feature extraction unit 13 receives the statistical information (acoustic diversity, acoustic features, etc.) output by the acoustic statistic calculation unit 11. The partial feature extraction unit 13 performs a process of calculating a recognition feature amount using the received statistical information, and outputs the calculated recognition feature amount.
  • the recognition feature amount is information for recognizing specific attribute information from the audio signal.
  • the attribute information is information indicating the personality of the speaker who has emitted the voice signal, the language of the spoken voice signal, and the like.
  • the recognition feature amount is, for example, a vector composed of one or more values.
  • An example of the recognition feature quantity that is a vector is i-vector.
  • FIG. 3A is a diagram illustrating an example of the configuration of the partial feature extraction unit 13 of the speech processing apparatus 100 according to the present embodiment.
  • FIG. 3B is an illustration of acoustic diversity in the present embodiment.
  • FIG. 3C is an example of the selection coefficient W1 in the present embodiment.
  • FIG. 3D is an example of the selection coefficient Wn in the present embodiment.
  • the selection coefficient is a vector defined in advance for selecting the type of sound during feature extraction.
  • the partial feature extraction unit 13 includes a selection unit 130n and a feature extraction unit 131n (n is a natural number between 1 and N, and N is a natural number).
  • the recognition feature amount F (x) may be a vector that can be calculated by performing a predetermined operation on the audio signal x.
  • a method for calculating a partial feature vector based on i-vector as the recognition feature amount F (x) calculated by the partial feature extraction unit 13 will be described.
  • the partial feature extraction unit 13 receives the acoustic diversity V t (x) and the acoustic feature A t (x) (calculated for each short-time frame as statistical information of the audio signal x from the acoustic statistic calculation unit 11.
  • t is a natural number between 1 and T
  • T is a natural number
  • the selection unit 130n of the partial feature extraction unit 13 multiplies each element of the received V t (x) by a selection coefficient Wn determined for each selection unit, and the result is a weighted acoustic diversity V nt. Output as (x).
  • the feature extraction unit 131n of the partial feature extraction unit 13 uses the received V nt (x) and A t (x), and based on the following formula, the 0th-order statistics S 0 (x) and 1 The next statistic S 1 (x) is calculated.
  • c is the statistic S 0 (x) and S 1 the number of elements (x), D is A t the number of elements (x) (dimensionality), m c is the average of the c-th region in the acoustic feature space A vector, I represents a unit matrix, and 0 represents a zero matrix.
  • the feature extraction unit 131n of the partial feature extraction unit 13 calculates a partial feature vector F n (x) that is an i-vector of the audio signal x based on the following equation.
  • T n is a parameter for i-vector calculation depending on the partial feature 131n
  • ⁇ is a covariance matrix in the acoustic feature space.
  • the above is an example of a method for calculating the partial feature vector F n (x) based on the i-vector as the recognition feature amount F (x) calculated by the partial feature extraction unit 13.
  • the partial feature extraction unit 13 sets a feature vector F n (x) different from the i-vector described in Non-Patent Document 1 by setting each element of the selection coefficient Wn included in the selection unit 130n to a value other than 1. It can be calculated. Also, by setting each element of the selection coefficient Wn included in the selection unit 130n to be different, a plurality of partial feature vectors F n (x) different from the i-vector described in Non-Patent Document 1 can be calculated.
  • each element of acoustic diversity V (x) is associated with a phoneme identified by the acoustic model. Therefore, among the elements of the selection coefficient Wn included in the selection unit 130n, only the element of acoustic diversity corresponding to a certain phoneme is set to a non-zero value, and the other elements are set to zero, so that the feature extraction unit 131n A partial feature vector F n (x) considering only the phoneme can be calculated.
  • each element of the acoustic diversity V (x) is associated with an element distribution of the Gaussian mixture model. Therefore, among the elements of the selection coefficient Wn included in the selection unit 130n, only the element of the acoustic diversity corresponding to a certain element distribution is set to a non-zero value, and the other elements are set to zero, thereby the feature extraction unit 131n. Can calculate a partial feature vector F n (x) considering only the element.
  • the acoustic model when the acoustic model is a GMM, the acoustic model can be divided into a plurality of sets (clusters) by clustering a plurality of element distributions of the acoustic model for each similarity.
  • a clustering method for example, there is a tree structure clustering.
  • the feature extraction unit 131n can calculate a partial feature vector F n (x) considering only the first cluster.
  • the partial feature extraction unit 13 sets the selection coefficient Wn in consideration of the sound type, and the selection coefficient in consideration of the sound type with respect to the acoustic diversity V (x) that is the statistic of the audio signal x.
  • a weighted acoustic diversity V nt (x) is calculated by applying Wn, and a partial feature vector F n (x) is calculated using the calculated V nt (x).
  • the partial feature extraction unit 13 can output a partial feature vector in consideration of the type of sound.
  • the partial feature integration unit 14 receives the recognized feature amount output by the partial feature extraction unit 13.
  • the partial feature integration unit 14 performs a process of calculating a feature vector using the received recognition feature amount, and outputs the processing result.
  • the feature vector is vector information for recognizing specific attribute information from the audio signal.
  • the partial feature integration unit 14 calculates one or more partial feature vectors F n (x) (n is a natural number from 1 to N and N is a natural number) calculated by the partial feature extraction unit 13 for the audio signal x. receive.
  • the partial feature integration unit 14 calculates and outputs one feature vector F (x) from, for example, one or more received partial feature vectors F n (x).
  • the partial feature integration unit 14 calculates a feature vector F (x) as in the following mathematical formula 5.
  • the speech processing apparatus 100 has the diversity that is the degree of variation in the type of sound included in the speech signal, based on the acoustic diversity calculated by the acoustic statistic calculation unit 11. It can be said that processing including parameters is performed.
  • the partial feature extraction unit 13 calculates a partial feature vector considering the type of sound
  • the partial feature integration unit 14 calculates the feature vector obtained by integrating them. Output. Accordingly, a feature vector that can interpret which element of the feature vector corresponds to which element of the speech signal can be output for the speech signal. That is, the speech processing apparatus 100 according to the present embodiment can calculate a recognition feature amount suitable for improving the interpretability of speaker recognition.
  • the acoustic model storage unit 12 in the sound processing apparatus 100 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the acoustic model in the acoustic model storage unit 12 is not particularly limited.
  • an acoustic model may be stored in the acoustic model storage unit 12 via a recording medium, or an acoustic model transmitted via a communication line or the like may be stored in the acoustic model storage unit 12.
  • the acoustic model input via the input device may be stored in the acoustic model storage unit 12.
  • the acoustic statistic calculation unit 11, the partial feature extraction unit 13, and the partial feature integration unit 14 are realized, for example, by acquiring and executing software that realizes these functions by hardware such as an arithmetic processing unit and a memory. .
  • the processing procedure of the acoustic statistic calculation unit 11 or the like is realized by software, for example, and the software is recorded on a recording medium such as a ROM.
  • Each unit of the audio processing device 100 may be realized by hardware (dedicated circuit). (Operation of the first embodiment) Next, the operation of the speech processing apparatus 100 in the first embodiment will be described.
  • FIG. 2 is a flowchart showing an example of the operation of the speech processing apparatus 100 according to the first embodiment.
  • the acoustic statistic calculation unit 11 receives one or more audio signals (step S101). Then, the acoustic statistic calculation unit 11 refers to one or more acoustic models stored in the acoustic model storage unit 12 for one or more received audio signals, and calculates an acoustic statistic including acoustic diversity. (Step S102).
  • the partial feature extraction unit 13 calculates and outputs one or more partial recognition feature amounts based on the one or more acoustic statistics calculated by the acoustic statistic calculation unit 11 (step S103).
  • the partial feature integration unit 14 integrates one or more partial recognition feature values calculated by the partial feature extraction unit 13 and outputs the integrated recognition feature values (step S104).
  • the speech processing apparatus 100 ends the series of processes. (Effects of the first embodiment)
  • the partial feature extraction unit 13 calculates the partial feature vector in consideration of the type of sound, and the partial feature vector integration calculated by the partial feature integration unit 14.
  • a feature vector that can associate the element with the component of the audio signal is output. That is, the speech processing apparatus 100 outputs a feature vector obtained by integrating partial feature vectors with respect to the speech signal.
  • the speech processing apparatus 100 can calculate a recognition feature amount (feature vector) for each type of sound. That is, the interpretability of the speaker recognition result can be improved.
  • a speaker recognition device including the above-described speech processing device 100 according to the first embodiment will be described as an application example of the speech processing device.
  • symbol may be attached
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the speaker recognition device 200 according to the second embodiment.
  • the speaker recognition device 200 in this embodiment is an example of an attribute recognition device that recognizes specific attribute information from a voice signal.
  • the speaker recognition device 200 includes at least a recognition feature extraction unit 22 and a speaker recognition calculation unit 23. Further, the speaker recognition device 200 may further include a voice section detection unit 21 and a speaker model storage unit 24.
  • the voice section detector 21 receives a voice signal. Then, the voice section detection unit 21 detects a voice section from the received voice signal and segments the voice signal. The voice segment detection unit 21 outputs a segmented voice signal that is a processing result of segmenting the voice signal. For example, the voice section detection unit 21 detects a section whose volume is lower than a predetermined value for a certain period of time as a silent voice section, and determines before and after the detected silent voice section as different voice sections. May be segmented.
  • receiving an audio signal means, for example, receiving an audio signal from an external device or another processing device, or delivering a processing result of audio signal processing from another program.
  • the recognition feature extraction unit 22 receives one or more segmented speech signals output from the speech segment detection unit 21, calculates a feature vector, and outputs it.
  • the recognition feature extraction unit 22 receives a speech signal, calculates a feature vector, and outputs it.
  • the configuration and operation of the recognition feature extraction unit 22 may be the same as the configuration and operation of the speech processing apparatus 100 in the first embodiment.
  • the recognition feature extraction unit 22 may be the voice processing device 100 according to the first embodiment described above.
  • the speaker recognition calculation unit 23 receives the feature vector output from the recognition feature extraction unit 22. Then, the speaker recognition calculation unit 23 refers to one or more speaker models stored in the speaker model storage unit 24, and determines the degree to which the received recognition feature amount matches the referenced speaker model. A speaker recognition score, which is numerical information to be expressed, is calculated. The attribute information included in the audio signal is specified from the speaker recognition score. Further, a speaker, a language, etc. are specified by the specified attribute information. The speaker recognition calculation unit 23 outputs the obtained result (speaker recognition score).
  • the speaker model storage unit 24 stores one or more speaker models.
  • the speaker model is information for calculating a speaker recognition score that is a degree to which an input voice signal is adapted to a specific speaker.
  • the speaker model storage unit 24 stores a speaker model and a speaker ID (Identifier), which is an identifier set for each speaker, in association with each other.
  • the speaker model storage unit 24 is described as being built in the speaker recognition device 200, but the present invention is not limited to this.
  • the speaker model storage unit 24 may be realized by a storage device separate from the speaker recognition device 200. Further, the speaker model storage unit 24 may be realized by the same storage device as the acoustic model storage unit 12.
  • FIG. 6 is a diagram illustrating an example of the configuration of the speaker recognition calculation unit 23 of the speaker recognition device 200 according to the second embodiment.
  • the speaker recognition calculation unit 23 calculates a speaker recognition score using the feature vector F (x). Further, the speaker recognition calculation unit 23 outputs a speaker recognition result which is information including the calculated speaker recognition score.
  • the dividing unit 231 creates a plurality (M) of vectors from the received feature vector F (x).
  • the plurality of vectors correspond to different sound types.
  • the dividing unit 231 creates the same vector as the n partial feature vectors F n (x) calculated by the partial feature extracting unit 13.
  • the recognition unit 232m receives the m-th vector created by the dividing unit 231 and performs speaker recognition calculation. For example, when the recognition feature amount calculated from the speech signal and the speaker model stored in the speaker model storage unit 24 are both in the vector format, the recognition unit 232m calculates a score based on the cosine similarity.
  • the integration unit 233 integrates the scores calculated by each of the plurality of recognition units 232m and outputs the integrated scores as speaker recognition scores.
  • the above is an example of a method in which the speaker recognition calculation unit 23 calculates a speaker recognition score using the recognition feature amount F (x) of the speech signal x.
  • FIG. 7A, FIG. 7B, and FIG. 7C are diagrams showing examples of speaker recognition results output by the speaker recognition device 200 according to the present embodiment.
  • the speaker recognition result output by the speaker recognition calculation unit 23 will be described with reference to FIGS. 7A to 7C.
  • the integration unit 233 associates the speaker ID, the number m of the recognition unit 232m, and the score acquired from the recognition unit 232m as the recognition result information shown in FIG. 7A. Is output.
  • the integration unit 233 may output information indicating the type of sound of the number m in addition to the number m.
  • the integration unit 233 may output character information such as phonemes and words, image information such as a spectrogram, and acoustic information such as an audio signal as information indicating the type of sound.
  • the integration unit 233 outputs information associating the speaker ID with the speaker recognition score as the recognition result information shown in FIG. 7B as the speaker recognition result information.
  • the speaker recognition score may be calculated, for example, by weighted addition of the scores acquired from the recognition unit 232m.
  • the integration unit 233 may output determination information indicating whether or not verification is possible based on the score calculated for the speaker ID to be verified.
  • the integration unit 233 outputs a list of speaker IDs arranged in order of scores calculated for a plurality of speaker IDs. Also good.
  • the speaker model storage unit 24 in the speaker recognition apparatus 200 according to the present embodiment is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the speaker model in the speaker model storage unit 24 is not particularly limited.
  • a speaker model may be stored in the speaker model storage unit 24 via a recording medium, and a speaker model transmitted via a communication line or the like may be stored in the speaker model storage unit 24.
  • the speaker model input via the input device may be stored in the speaker model storage unit 24.
  • the voice section detection unit 21, the recognition feature extraction unit 22, and the speaker recognition calculation unit 23 are realized, for example, by acquiring and executing software that realizes these functions by hardware such as a normal arithmetic processing device and a memory.
  • the software may be recorded on a recording medium such as a ROM.
  • each unit of the speaker recognition device 200 may be realized by hardware (dedicated circuit).
  • the voice section detection unit 21 receives a voice signal (step S201). And the audio
  • the speech segment detection unit 21 outputs one or more segmented speech signals (hereinafter referred to as segmented speech signals) to the recognition feature extraction unit 22 (step S202).
  • the recognition feature extraction unit 22 calculates an acoustic statistic for each of the received one or more segmented speech signals (step S203). Then, the recognition feature extraction unit 22 calculates a partial recognition feature amount (partial feature vector) from the calculated acoustic statistic (step S204), and integrates the calculated partial recognition feature amount (partial feature vector). And the feature vector is output (step S205).
  • the speaker recognition calculation unit 23 refers to one or more speaker models stored in the speaker model storage unit 24 with respect to the feature vector calculated by the recognition feature extraction unit 22, and calculates a speaker recognition score. To do.
  • the speaker recognition calculation unit 23 outputs a speaker recognition score (step S206).
  • the speaker recognition device 200 ends the series of processes when the output of the speaker recognition score in step S206 is completed.
  • the recognition feature extraction unit 22 calculates partial feature vectors in consideration of the type of sound, and integrates the calculated partial feature vectors so that the element, the voice signal, Are output as feature vectors that can be associated with each other. Further, the speaker recognition calculation unit 23 calculates and outputs a speaker recognition score from the feature vector. By such a calculation method, the attribute information included in the voice signal can be specified from the speaker recognition score. Then, a speaker recognition score for each type of sound can be calculated. That is, the interpretability of the speaker recognition result can be improved.
  • the speaker recognition apparatus 200 in the second embodiment is also an example of an attribute recognition apparatus that recognizes specific attribute information from a voice signal. That is, it can be said that the speaker recognition device 200 is an attribute recognition device that recognizes information indicating a speaker who has emitted a voice signal as a specific attribute.
  • the speaker recognition device 200 has a mechanism for adapting to the characteristics of the speaker's speech based on speaker information estimated by the speaker recognition device, for example, for a speech signal of a sentence utterance. It can be applied as a part of the apparatus.
  • the information indicating the speaker may be information indicating the sex of the speaker or information indicating the speaker's age or age group.
  • the speaker recognition device 200 can be applied as a language recognition device when recognizing information indicating the language (language constituting the audio signal) conveyed by the audio signal as a specific attribute. Further, the speaker recognition device 200 can be applied as a part of a speech translation device having a mechanism for selecting a language to be translated based on language information estimated by the language recognition device, for example, for a speech signal of a sentence utterance. Is possible.
  • the speaker recognition device 200 can be applied as an emotion recognition device when recognizing information indicating emotion of a speaker as a specific attribute.
  • the speaker recognition device 200 includes a mechanism for identifying a speech signal corresponding to a specific emotion based on emotion information estimated by the emotion recognition device, for example, for a large number of accumulated speech signals.
  • the present invention can be applied as a part of a voice search device or a voice display device, that is, a kind of voice processing device.
  • This emotion information includes, for example, information indicating emotional expression, information indicating the personality of the speaker, and the like. That is, the specific attribute information in the present embodiment is at least one of a speaker who has emitted a speech signal, a language constituting the speech signal, an emotional expression included in the speech signal, and a personality of the speaker estimated from the speech signal. It is information representing one.
  • the speaker recognition device 200 in the second embodiment can recognize such attribute information.
  • the speech processing device or the like has an effect of improving the interpretability of the speaker recognition result by extracting the feature vector in consideration of the type of sound from the speech signal. It is useful as a speech processing device and a speaker recognition device.
  • An acoustic model storage unit for storing one or more acoustic models
  • An acoustic statistic calculation unit that calculates an acoustic feature from a received audio signal and calculates an acoustic diversity, which is a vector representing the degree of variation in the type of sound, using the calculated acoustic feature and the stored acoustic model
  • a weighted acoustic diversity is calculated, and using the calculated weighted acoustic diversity and the acoustic feature, a speaker's personality or language is calculated.
  • a partial feature extraction unit for calculating a recognition feature value for recognition A partial feature integration unit that calculates a feature vector using the calculated recognition feature amount; A speaker recognition calculation unit that calculates a speaker recognition score, which is a degree that the voice signal is adapted to a specific speaker, from the calculated feature vector; Audio processing device. (Appendix 2)
  • the partial feature extraction unit calculates a plurality of weighted acoustic diversity from the acoustic diversity, and calculates a plurality of recognition feature amounts from each of the weighted acoustic diversity and the acoustic feature.
  • the speech processing apparatus according to appendix 1 or appendix 2, wherein the partial feature extraction unit calculates a partial feature vector expressed in a vector format as a recognized feature quantity.
  • the acoustic statistic calculator is The speech processing apparatus according to any one of supplementary notes 1 to 3, wherein the acoustic diversity is calculated based on a ratio of types of sounds included in the received speech signal using the acoustic model.
  • the acoustic statistic calculation unit calculates the acoustic diversity based on a value calculated as an a posteriori probability of an element distribution using a Gaussian mixture model as the acoustic model, and any one of appendix 1 to appendix 4 The voice processing apparatus described.
  • the acoustic statistic calculation means calculates the acoustic diversity based on a value calculated as the appearance degree of the type of sound using a neural network as the acoustic model, and any one of appendix 1 to appendix 4 The voice processing apparatus described.
  • the partial feature extraction means includes The speech processing apparatus according to any one of appendix 1 to appendix 3, wherein an i-vector is calculated as the recognition feature amount using the acoustic diversity of the speech signal, the selection coefficient, and the acoustic feature.
  • a speaker recognition calculation unit for calculating a speaker recognition score from the calculated feature vector, which is a degree that the voice signal is adapted to a specific speaker;
  • the speech processing device according to any one of appendix 1 to appendix 7.
  • (Appendix 9) A voice segment detection unit that segments the received voice signal into a segmented voice signal;
  • An acoustic model storage unit for storing one or more acoustic models;
  • An acoustic feature is calculated from the segmented speech signal, and an acoustic diversity, which is a vector representing the degree of variation in sound type, is calculated using the calculated acoustic feature and the acoustic model stored in the acoustic model storage unit.
  • An acoustic statistic calculation unit Using the calculated acoustic diversity and the selection coefficient, a weighted acoustic diversity is calculated, and using the calculated weighted acoustic diversity and the acoustic feature, a speaker's personality or language is calculated.
  • a partial feature integration unit that calculates a feature vector using the calculated recognition feature amount;
  • a speaker recognition calculation unit that calculates a speaker recognition score, which is a degree that the voice signal is adapted to a specific speaker, from the calculated feature vector; Audio processing device.
  • the speaker recognition calculation unit A plurality of vectors corresponding to different sound types are created from the feature vectors, a score is calculated for each of the plurality of vectors, and a speaker recognition score is calculated by integrating the calculated plurality of scores.
  • the speech processing apparatus according to appendix 9. The speech processing apparatus according to attachment 10, wherein the speaker recognition calculation unit outputs the calculated score together with information indicating a type of sound.
  • the feature vector is for recognizing at least one of a speaker who has emitted a speech signal, a language constituting the speech signal, an emotional expression included in the speech signal, and a personality of the speaker estimated from the speech signal.
  • the speech processing apparatus according to any one of supplementary notes 1 to 11, which is information.
  • acoustic model (Appendix 13) Memorize one or more acoustic models, An acoustic feature is calculated from the received audio signal, and using the calculated acoustic feature and the stored acoustic model, an acoustic diversity that is a vector representing the degree of variation in the type of sound is calculated, and the calculated Calculate the weighted acoustic diversity using the acoustic diversity and the selection factor, Using the calculated weighted acoustic diversity and the acoustic features, a recognition feature amount that is information for recognizing information indicating a speaker's personality, language, and the like is calculated. Calculating a feature vector using the calculated recognition feature amount; Audio processing method.

Abstract

受信した音声信号に対して抽出した特徴ベクトルのそれぞれの要素が、当該音声信号の話者認識結果に与える影響を分析（解釈）することが難しい。本開示の音声処理装置は、１つ以上の音響モデルを記憶する音響モデル記憶部と、受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する音響統計量算出部と、算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された前記重みつきの音響多様度および前記音響特徴を用いて、前記音声信号に関わる話者の個人性や言語等を示す情報を認識するための情報である認識特徴量を算出する部分特徴抽出部と、算出された前記認識特徴量を用いて特徴ベクトルを算出する部分特徴統合部を備える。

Description

音声処理装置、音声処理方法、および記録媒体
　本開示は、音声処理に関し、特に音声信号から話者の個人性や発話された言語等の属性情報を認識する音声処理装置、音声処理方法等に関する。
　音声を発した話者を特定するための個人性を表す音響的特徴（個人性特徴）および音声が伝える言語を表す音響的特徴を音声信号から抽出する音声処理装置が知られている。また、音声処理装置の一種として、音声信号がもつこれらの特徴を用いて話者を推定する話者認識装置および言語を推定する言語認識装置が知られている。
　この音声処理装置を用いる話者認識装置は、音声処理装置が音声信号から抽出した個人性特徴と、予め定義した個人性特徴との類似度を評価し、その評価に基づき話者を選択する。話者認識装置は、例えば、最も類似度が高いと評価された個人性特徴によって特定される話者を選択する。
　非特許文献１には、話者認識装置に入力される音声信号から個人性特徴を抽出する技術が記載されている。非特許文献１に記載の特徴抽出技術は、音声信号に対して、音響モデルを用いて当該音声信号の音響統計量を算出し、因子分析の技術に基づいてその音響統計量を処理することにより、任意の音声信号を所定の要素数のベクトル形式で表現する。また、話者認識装置においては、当該特徴ベクトルを話者の個人性特徴として利用する。
国際公開第２０１４／１５５６５２号
Najim Dehak, Patrick Kenny, Reda Dehak, Pierre Dumouchel, and Pierre Ouellet, "Front-End Factor Analysis for Speaker Verification", IEEE Transactions on Audio, Speech and Language Processing, Vol. 19, No. 4, pp. 788-798, 2011.
　非特許文献１に記載の技術は、話者認識装置に入力された音声信号に対して、音響モデルを用いて算出した音響統計量を因子分析技術に基づいて圧縮する。しかし、同技術は、話者認識装置に入力された音声信号の全体に対して一律の統計処理によりひとつの特徴ベクトルを算出するにとどまる。
　そのため、非特許文献１に記載の技術は、話者認識計算において特徴ベクトルの類似度に基づくスコア（点数）を算出することはできる。しかしながら非特許文献１に記載の技術は、特徴ベクトルの要素それぞれと音声信号との対応関係、あるいは特徴ベクトルの要素それぞれが話者認識結果に与える影響、を分析し解釈することは困難であった。
　本開示は、上記問題に鑑みてなされたものであり、その目的は、話者認識結果の解釈性を高める技術を提供することにある。
　本開示の音声処理装置は、１つ以上の音響モデルを記憶する音響モデル記憶部と、受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する音響統計量算出部と、算出された音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された重みつきの音響多様度および音響特徴を用いて、話者の個人性又は言語を認識するため認識特徴量を算出する部分特徴抽出部と、算出された認識特徴量を用いて特徴ベクトルを算出する部分特徴統合部を備える。
　本開示の音声処理方法は、受け取った音声信号から音響特徴を算出し、算出した音響特徴と１つ以上の音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出し、算出された音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された重みつきの音響多様度および音響特徴を用いて、話者の個人性又は言語を認識するため認識特徴量を算出し、算出された認識特徴量を用いて特徴ベクトルを算出する。
　本開示の記録媒体に格納されたプログラムは、コンピュータを、１つ以上の音響モデルを記憶する手段と、受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する手段と、算出された音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された重みつきの音響多様度および音響特徴を用いて、話者の個人性や言語等を示す情報を認識するための情報である認識特徴量を算出する手段、として機能させる。
　本開示によれば、話者認識結果の解釈性を高める技術を提供することができる。
第１の実施形態に係る音声処理装置のブロック図である。 第１の実施形態に係る音声処理装置の動作の一例を示すフローチャートである。 第１の実施形態に係る音声処理装置の部分特徴抽出部の構成の一例を示す図である。 第１の実施形態に係る音響多様度の例示である。 第１の実施形態に係る選別係数Ｗｎの例示である。 第１の実施形態に係る選別係数Ｗｎの例示である。 第２の実施形態に係る話者認識装置の機能構成の一例を示すブロック図である。 第２の実施形態に係る話者認識装置の動作の一例を示すフローチャートである。 第２の実施形態に係る話者認識装置の話者認識計算部の構成の一例を示す図である。 第２の実施形態に係る話者認識装置が出力する話者認識結果の一例を示す図である。 第２の実施形態に係る話者認識装置が出力する話者認識結果の一例を示す図である。 第２の実施形態に係る話者認識装置が出力する話者認識結果の一例を示す図である。
　以下に、図面を参照しながら、本開示の実施形態について詳細に説明する。なお、以下の説明では、同じ機能を有するものには同じ符号をつけ、その説明を省略する場合がある。
　（構成）
　図１は、第１の実施形態に係る音声処理装置１００のブロック図である。音声処理装置１００は、音響統計量算出部１１、音響モデル記憶部１２、部分特徴抽出部１３および部分特徴統合部１４を備える。
（音響モデル記憶部１２）
　音響モデル記憶部１２は、１つ以上の音響モデルを記憶する。音響モデルとは、音声信号の周波数特性と音の種類との対応関係を表すものである。音響モデルは、瞬時的な音声信号が表す音の種類を識別するように構成される。音響モデルの表現としては、例えば、ガウス混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌ）やニューラルネットワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）がある。
　音の種類は、例えば、音声信号を類似度に基づいてクラスタリングして得られる音声信号のクラスタである。あるいは、音の種類は、音素等の言語知識により分類される音声信号のクラスである。
　音響モデル記憶部１２が記憶する音響モデルは、訓練用に用意された音声信号（訓練用音声信号）を用いて、一般的な最適化基準に従って予め訓練された音響モデルである。音響モデル記憶部１２は、例えば、話者の性別（男性または女性）、録音環境別（屋内または屋外）等のように複数の訓練用音声信号毎に訓練された２つ以上の音響モデルを記憶してもよい。
　なお、図１の例では、音声処理装置１００が音響モデル記憶部１２を備えているが、音響モデル記憶部１２は、音声処理装置１００とは別個の記憶装置で実現されるものであってもよい。
（音響統計量算出部１１）
　音響統計量算出部１１は、音声信号を受け取り、受け取った音声信号から音響特徴を算出し、算出した音響特徴と１つ以上の音響モデルとを用いて、音響多様度を算出し、算出した音響多様度および音響特徴を出力する。
　ここで、受け取るとは、例えば、外部の装置または他の処理装置から音声信号を受信すること、または、他のプログラムから処理結果の引き渡しを受けることである。また、音響多様度は、音声信号に含まれる音の種類のばらつきの程度を表すベクトルである。以降、ある音声信号から算出された音響多様度を、該音声信号の音響多様度と呼ぶ。そして、出力とは、例えば、外部の装置や他の処理装置への送信、または、他のプログラムへ処理結果を引き渡すことである。また、出力とは、ディスプレイへの表示、プロジェクタを用いた投影、プリンタでの印字なども含む概念である。
　まず、音響統計量算出部１１が、受け取った音声信号を周波数分析処理することにより音響特徴を算出する手順について説明する。
　音響統計量算出部１１は、受け取った音声信号を短時間毎にフレームとして切り出して配列することにより時系列（短時間フレーム時系列）とし、フレームそれぞれを周波数分析し、周波数分析の結果として音響特徴を算出する。音響統計量算出部１１は、例えば、短時間フレーム時系列として、２５ミリ秒区間のフレームを１０ミリ秒ごとに生成する。
周波数分析処理として、例えば、音響統計量算出部１１は、高速フーリエ変換処理（ＦＦＴ：ｆａｓｔ　Ｆｏｕｒｉｅｒ　ｔｒａｎｓｆｏｒｍ）およびフィルタバンク処理を行うことにより、音響特徴である周波数フィルタバンク特徴を算出する。あるいは、周波数分析処理として、音響統計量算出部１１は、ＦＦＴおよびフィルタバンク処理に加えて離散コサイン変換処理を行うことにより、音響特徴であるメル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒｕｍ　Ｃｏｅｆｆｉｃｉｅｎｔｓ）を算出する。
　以上が、音響統計量算出部１１が、受け取った音声信号を周波数分析処理することにより音響特徴を算出する手順である。
　次に、音響統計量算出部１１が、算出した音響特徴と音響モデル記憶部１２に記憶されている１つ以上の音響モデルとを用いて、音響多様度を算出する手順について説明する。
　例えば、用いる音響モデルがＧＭＭである場合、ＧＭＭが有する複数の要素分布はそれぞれ異なる音の種類に対応する。そこで、音響統計量算出部１１は、音響モデル（ＧＭＭ）から複数の要素分布それぞれのパラメタ（平均、分散）および各要素分布の混合係数を取り出し、算出した音響特徴と、取り出した要素分布のパラメタ（平均、分散）および各要素分布の混合係数に基づき、音声信号に含まれる複数の音の種類それぞれの出現度を算出する。ここで、出現度とは、出現することが繰り返される度合い（出現頻度）または出現する確率を意味する。このため、出現度は自然数（出現頻度）の場合もあるし、０以上１未満の小数（確率）の場合もある。
　また、例えば、用いる音響モデルがニューラルネットワークである場合、ニューラルネットワークが有する出力層の各要素がそれぞれ異なる音の種類に対応する。そこで、音響統計量算出部１１は、音響モデル（ニューラルネットワーク）から各要素のパラメタ（重み係数、バイアス係数）を取り出し、算出した音響特徴と、取り出した要素のパラメタ（重み係数、バイアス係数）に基づき、音声信号に含まれる複数の音の種類それぞれの出現度を算出する。
このようにして算出した複数の音の種類それぞれの出現度を用いて、音響統計量算出部１１は、さらに音響多様度を算出する。
　以上が、音響統計量算出部１１が、算出した音響特徴と音響モデル記憶部１２に記憶されている１つ以上の音響モデルとを用いて、音響多様度を算出する手順である。
　次に、音響統計量算出部１１が音声信号ｘの音響多様度Ｖ（ｘ）を算出する手順の一例を詳細に説明する。
　例えば、用いる音響モデルがＧＭＭである場合、音響統計量算出部１１は、まず、音声信号ｘについて、音響モデルであるＧＭＭが有する複数の要素分布それぞれに対する事後確率を求める。ＧＭＭのｉ番目の要素分布の事後確率Ｐｉ（ｘ）は、音声信号ｘがＧＭＭのｉ番目の要素分布に属する程度を表す。Ｐｉ（ｘ）は、次の数１の式によって求める。
Figure JPOXMLDOC01-appb-M000001
ここで、関数Ｎ（）はガウス分布の確率密度関数を表し、θｉはＧＭＭのｉ番目の要素分布のパラメタ（平均と分散）、ｗｉはＧＭＭのｉ番目の要素分布の混合係数を示す。そして次に、音響統計量算出部１１は、Ｐｉ（ｘ）を要素に持つベクトルである音響多様度Ｖ（ｘ）を算出する。例えば、音響モデルであるＧＭＭの混合数が４であるとき、Ｖ（ｘ）＝［Ｐ１（ｘ），Ｐ２（ｘ），Ｐ３（ｘ），Ｐ４（ｘ）］とする。
　以上が、音響統計量算出部１１が音声信号ｘの音響多様度Ｖ（ｘ）を算出する手順の一例である。
　次に、音響統計量算出部１１が音声信号ｘの音響多様度Ｖ（ｘ）を算出する他の方法を詳細に説明する。
　例えば、用いる音響モデルがＧＭＭであるとき、音響統計量算出部１１は、音声信号ｘを短時間音声信号の時系列｛ｘ１，ｘ２，・・・，ｘＴ｝（Ｔは任意の自然数）に分割する。そして、音響統計量算出部１１は、短時間音声信号それぞれに対し、その出現確率が最大となる要素分布番号ｉを次の数２の式によって求める。
Figure JPOXMLDOC01-appb-M000002
ここで、ＧＭＭのｉ番目の要素分布が選ばれた回数をＣｉ（ｘ）とする。Ｃｉ（ｘ）は音声信号ｘがＧＭＭのｉ番目の要素分布に属する程度を表している。そして次に、音響統計量算出部１１は、Ｃｉ（ｘ）あるいはＣｉ（ｘ）／ΣｊＣｊ（ｘ）を要素に持つベクトルとして音響多様度Ｖ（ｘ）を算出する。例えば、音響モデルであるＧＭＭの混合数が４であるとき、音響多様度をＶ（ｘ）＝［Ｃ１（ｘ），Ｃ２（ｘ），Ｃ３（ｘ），Ｃ４（ｘ）］とする。
　なお、音響統計量算出部１１は、受け取った音声信号を区分化した後に音響多様度を算出してもよい。より具体的には、例えば、音響統計量算出部１１は、受け取った音声信号を一定時間ごとに区切って区分化音声信号とし、区分化音声信号それぞれについて音響多様度を算出してもよい。
　あるいは、音響統計量算出部１１は、外部の装置または他の処理装置から音声信号を受信しているときに、その音声信号の継続時間が所定の値を超えた場合、その時点までに受け取った音声信号の音響多様度を算出する。また、音響統計量算出部１１は、音響モデル記憶部１２に記憶されている２つ以上の音響モデルを参照する場合に、それぞれの音響モデルに基づいて出現度を算出してもよい。そして、音響統計量算出部１１は、２つ以上の音響モデルそれぞれに基づいて算出した出現度を用いて音響多様度を算出し、算出した音響多様度を重みづけした上で加算したものをあらためて音響多様度としてもよい。
　以上が、音響統計量算出部１１が音声信号ｘの音響多様度Ｖ（ｘ）を算出する他の方法である。
　このように、音響統計量算出部１１は、複数の音の種類の出現度をそれぞれ算出し、算出した出現度を用いて、音声信号の音響多様度を算出する。言い換えると、音響統計量算出部１１は、音声信号に含まれる音の種類の比率（音声モデルが有する要素分布全体に対するｉ番目の要素分布の割合）を反映させた音響多様度を算出する。
（部分特徴抽出部１３）
　部分特徴抽出部１３は、音響統計量算出部１１が出力した統計情報（音響多様度や音響特徴等）を受け取る。部分特徴抽出部１３は、受け取った統計情報を用いて、認識特徴量を算出する処理を行い、算出した認識特徴量を出力する。ここで、認識特徴量とは、音声信号から特定の属性情報を認識するための情報である。属性情報とは、音声信号を発した話者の個人性や発話された音声信号の言語等を示す情報である。認識特徴量は、例えば、１つ以上の値からなるベクトルである。ベクトルである認識特徴量としては、例えば、ｉ－ｖｅｃｔｏｒがある。
　図３Ａは、本実施形態にかかる音声処理装置１００の部分特徴抽出部１３の構成の一例を示す図である。図３Ｂは、本実施形態における音響多様度の例示である。図３Ｃは、本実施形態における選別係数Ｗ１の例示である。図３Ｄは、本実施形態における選別係数Ｗｎの例示である。選別係数は、特徴抽出のときに音の種類を選ぶために予め定義するベクトルである。図３Ａの例では、部分特徴抽出部１３は、選別部１３０ｎおよび特徴抽出部１３１ｎ（ｎは１以上Ｎ以下の自然数、Ｎは自然数）を有する。
　図３Ａを用いて、部分特徴抽出部１３が音声信号ｘの認識特徴量Ｆ（ｘ）を算出する方法の一例について説明する。認識特徴量Ｆ（ｘ）は、音声信号ｘに対して所定の演算を施して算出できるベクトルであればよい。一例として部分特徴抽出部１３が算出する認識特徴量Ｆ（ｘ）としてｉ－ｖｅｃｔｏｒに基づく部分特徴ベクトルを算出する方法について説明する。
　例えば、部分特徴抽出部１３は、音響統計量算出部１１から、音声信号ｘの統計情報として、短時間フレームごとに算出された音響多様度Ｖｔ（ｘ）および音響特徴Ａｔ（ｘ）（ｔは１以上Ｔ以下の自然数、Ｔは自然数）とを受け取る。部分特徴抽出部１３の選別部１３０ｎは、受け取ったＶｔ（ｘ）の各要素に対して、選別部ごとに定められた選別係数Ｗｎをかけて、その結果を重みつきの音響多様度Ｖｎｔ（ｘ）として出力する。
　部分特徴抽出部１３の特徴抽出部１３１ｎは、受け取ったＶｎｔ（ｘ）およびＡｔ（ｘ）を用いて、以下の式に基づいて音声信号ｘの０次統計量Ｓ０（ｘ）および１次統計量Ｓ１（ｘ）を算出する。
Figure JPOXMLDOC01-appb-M000003
ここで、ｃは統計量Ｓ０（ｘ）およびＳ１（ｘ）の要素数、ＤはＡｔ（ｘ）の要素数（次元数）、ｍｃは音響特徴空間におけるｃ番目の領域の平均ベクトル、Ｉは単位行列、０は零行列を表す。
　続いて、部分特徴抽出部１３の特徴抽出部１３１ｎは、以下の式に基づいて音声信号ｘのｉ－ｖｅｃｔｏｒである部分特徴ベクトルＦｎ（ｘ）を算出する。
Figure JPOXMLDOC01-appb-M000004
ここで、Ｔｎは部分特徴部１３１ｎに依存するｉ－ｖｅｃｔｏｒ計算用のパラメタであり、Σは音響特徴空間における共分散行列である。
　以上が、部分特徴抽出部１３が算出する認識特徴量Ｆ（ｘ）としてｉ－ｖｅｃｔｏｒに基づく部分特徴ベクトルＦｎ（ｘ）を算出する方法の一例である。
　部分特徴抽出部１３が、上述の手順で部分特徴ベクトルＦｎ（ｎ＝１，２，…，Ｎ、Ｎは１以上の自然数）を算出する際に、Ｎ＝１であり、かつ、選別部１３０１が有する選別係数Ｗ１の各要素がすべて１であれば、非特許文献１に記載のｉ－ｖｅｃｔｏｒ算出手順と等価である。部分特徴抽出部１３は、選別部１３０ｎが有する選別係数Ｗｎの各要素を１ではない値に設定することにより、非特許文献１に記載のｉ－ｖｅｃｔｏｒとは異なる特徴ベクトルＦｎ（ｘ）を算出できる。また、選別部１３０ｎが有する選別係数Ｗｎの各要素がそれぞれ異なるように設定することにより、非特許文献１に記載のｉ－ｖｅｃｔｏｒとは異なる部分特徴ベクトルＦｎ（ｘ）を複数算出できる。
　次に、選別係数Ｗｎの設定例について説明する。
　例えば、音響モデルが、音素を識別するように構成されたニューラルネットワークであるとき、音響多様度Ｖ（ｘ）の各要素は音響モデルが識別する音素と対応づけられる。そこで、選別部１３０ｎが有する選別係数Ｗｎの各要素のうち、ある音素に対応する音響多様度の要素のみをゼロでない値とし、それ以外の要素をゼロと設定することにより、特徴抽出部１３１ｎは当該音素のみを考慮した部分特徴ベクトルＦｎ（ｘ）を算出できる。
　また、例えば、音響モデルがガウス混合モデルであるとき、音響多様度Ｖ（ｘ）の各要素は、ガウス混合モデルの要素分布と対応づけられる。そこで、選別部１３０ｎが有する選別係数Ｗｎの各要素のうち、ある要素分布に対応する音響多様度の要素のみをゼロでない値とし、それ以外の要素をゼロと設定することにより、特徴抽出部１３１ｎは当該要素のみを考慮した部分特徴ベクトルＦｎ（ｘ）を算出できる。
　また、例えば、音響モデルがＧＭＭであるとき、音響モデルが有する複数の要素分布を、類似度毎にクラスタリングすることにより、音響モデルを複数の集合（クラスタ）に分割することができる。クラスタリングの手法としては例えば木構造クラスタリングがある。ここで、選別部１３０ｎが有する選別係数Ｗｎの要素のうち、例えば１番目のクラスタに含まれる要素分布に対応する音響多様度の要素に対応するもののみをゼロでない値とし、それ以外の要素をゼロと設定することにより、特徴抽出部１３１ｎでは１番目のクラスタのみを考慮した部分特徴ベクトルＦｎ（ｘ）を算出できる。
　以上が、選別係数Ｗｎの設定例である。
　このように、部分特徴抽出部１３は、音の種類を考慮した選別係数Ｗｎを設定し、音声信号ｘの統計量である音響多様度Ｖ（ｘ）に対して音の種類を考慮した選別係数Ｗｎをかけることで重みつきの音響多様度Ｖｎｔ（ｘ）を算出し、算出したＶｎｔ（ｘ）を用いて部分特徴ベクトルＦｎ（ｘ）を算出する。このため、部分特徴抽出部１３は、音の種類を考慮した部分特徴ベクトルを出力することができる。
（部分特徴統合部１４）
　部分特徴統合部１４は、部分特徴抽出部１３が出力した認識特徴量を受け取る。部分特徴統合部１４は、受け取った認識特徴量を用いて、特徴ベクトルを算出する処理を行い、その処理結果を出力する。ここで、特徴ベクトルとは、音声信号から特定の属性情報を認識するためのベクトル情報である。
　部分特徴統合部１４は、部分特徴抽出部１３が、音声信号ｘに対して算出した、１つ以上の部分特徴ベクトルＦｎ（ｘ）（ｎは１以上Ｎ以下の自然数、Ｎは自然数）を受け取る。部分特徴統合部１４は、例えば、受け取った１つ以上の部分特徴ベクトルＦｎ（ｘ）から、１つの特徴ベクトルＦ（ｘ）を算出して出力する。部分特徴統合部１４は、例えば、以下の数５の数式のように特徴ベクトルＦ（ｘ）を算出する。
Figure JPOXMLDOC01-appb-M000005
　以上述べたとおりであるので、本実施形態にかかる音声処理装置１００は、音響統計量算出部１１が算出する音響多様度により、音声信号に含まれる音の種類のばらつきの程度である多様性をパラメタとして含む処理を行っているといえる。
　また、音響統計量算出部１１が算出した音響統計量を用いて、部分特徴抽出部１３が音の種類を考慮した部分特徴ベクトルを算出し、部分特徴統合部１４がそれらを統合した特徴ベクトルを出力する。これにより、音声信号に対して、特徴ベクトルのそれぞれの要素が音声信号を構成するどの要素に対応するかを解釈可能な特徴ベクトルを出力できる。すなわち、本実施形態にかかる音声処理装置１００は、話者認識の解釈性を高めるのに適した認識特徴量を算出できる。
　なお、本実施形態にかかる音声処理装置１００における音響モデル記憶部１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
　また、音響モデル記憶部１２に音響モデルが記憶される過程は特に限定されない。例えば、記録媒体を介して音響モデルが音響モデル記憶部１２に記憶されてもよいし、通信回線等を介して送信された音響モデルが音響モデル記憶部１２に記憶されてもよい。または、入力デバイスを介して入力された音響モデルが音響モデル記憶部１２で記憶されてもよい。
　音響統計量算出部１１、部分特徴抽出部１３、および部分特徴統合部１４は、例えば、これら機能を実現するソフトウェアを演算処理装置およびメモリ等のハードウェアが取得して実行することで実現される。音響統計量算出部１１等の処理手順は、例えば、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。また、音声処理装置１００の各部は、ハードウェア（専用回路）で実現されてもよい。
（第１の実施形態の動作）
　次に、第１の実施形態における音声処理装置１００の動作について説明する。
　図２は、第１の実施形態に係る音声処理装置１００の動作の一例を示すフローチャートである。
　音響統計量算出部１１は、１つ以上の音声信号を受け取る（ステップＳ１０１）。そして、音響統計量算出部１１は、受け取った１つ以上の音声信号について、音響モデル記憶部１２に記憶されている１つ以上の音響モデルを参照し、音響多様度を含む音響統計量を算出する（ステップＳ１０２）。
　部分特徴抽出部１３は、音響統計量算出部１１が算出した１つ以上の音響統計量に基づいて、１つ以上の部分的な認識特徴量を算出して出力する（ステップＳ１０３）。
　部分特徴統合部１４は部分特徴抽出部１３が算出した１つ以上の部分的な認識特徴量を統合して認識特徴量として出力する（ステップＳ１０４）。
　音声処理装置１００は、ステップＳ１０４の認識特徴量の出力が完了したら、一連の処理を終了する。
（第１の実施形態の効果）
　以上、説明したように、本実施形態にかかる音声処理装置１００は、部分特徴抽出部１３が音の種類を考慮した部分特徴ベクトルを算出し、部分特徴統合部１４が算出された部分特徴ベクトル統合することで、その要素と音声信号の構成要素との対応づけが可能な特徴ベクトルを出力する。すなわち、音声処理装置１００は、音声信号に対して部分特徴ベクトルを統合した特徴ベクトルを出力する。このような計算方式により、音声処理装置１００は、音の種類ごとの認識特徴量（特徴ベクトル）を算出することができる。つまり、話者認識結果の解釈性を高めることが可能となる。
＜第２の実施形態＞
　次に、第２の実施形態について説明する。本実施形態では、音声処理装置の適用例として、上述した第１の実施形態にかかる音声処理装置１００を含む話者認識装置について説明する。なお、第１の実施形態と同じ機能を有する構成については、同じ符号を付し、その説明を省略する場合がある。
　図４は、第２の実施形態に係る話者認識装置２００の機能構成の一例を示すブロック図である。本実施形態における話者認識装置２００は、音声信号から特定の属性情報を認識する属性認識装置の一例である。図４に示す通り、話者認識装置２００は、認識特徴抽出部２２、および話者認識計算部２３を少なくとも備える。また、話者認識装置２００は、さらに、音声区間検出部２１、話者モデル記憶部２４を備えてもよい。
　音声区間検出部２１は、音声信号を受け取る。そして、音声区間検出部２１は、受け取った音声信号から音声区間を検出して音声信号を区分化する。音声区間検出部２１は、音声信号を区分化した処理結果である区分化音声信号を出力する。音声区間検出部２１は、例えば、音声信号のうち一定時間継続して音量が所定値より小さい区間を無音の音声区間として検出し、検出した無音の音声区間の前後を、異なる音声区間と判定して区分化してもよい。
　ここで、音声信号を受け取るとは、例えば、外部の装置または他の処理装置からの音声信号の受信、または、他のプログラムからの、音声信号処理の処理結果の引き渡しのことである。
　認識特徴抽出部２２は、音声区間検出部２１が出力した１つ以上の区分化音声信号を受け取り、特徴ベクトルを算出して出力する。話者認識装置２００が音声区間検出部２１を備えない場合、認識特徴抽出部２２は、音声信号を受け取り、特徴ベクトルを算出して出力する。認識特徴抽出部２２の構成および動作は、第１の実施形態における音声処理装置１００の構成および動作と同様であってもよい。例えば、認識特徴抽出部２２は、上述した第１の実施の形態にかかる音声処理装置１００であってもよい。
　話者認識計算部２３は、認識特徴抽出部２２が出力した特徴ベクトルを受け取る。そして、話者認識計算部２３は、話者モデル記憶部２４に記憶されている１つ以上の話者モデルを参照して、受け取った認識特徴量が、参照した話者モデルに適合する度合いを表す数値情報である話者認識のスコアを算出する。この話者認識のスコアから、音声信号に含まれる属性情報が特定される。そして、さらにこの特定された属性情報によって、話者や言語等が特定される。話者認識計算部２３は、得られた結果（話者認識のスコア）を出力する。
　話者モデル記憶部２４は、１つ以上の話者モデルを記憶する。話者モデルは、入力された音声信号が特定の話者に適合する度合いである話者認識のスコアを算出するための情報である。話者モデル記憶部２４は、例えば、話者モデルと、話者ごとに設定される識別子である話者ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）とを対応付けて記憶する。
　なお、図４では、話者モデル記憶部２４が話者認識装置２００に内蔵されることを例に説明を行ったが、これに限定されるものではない。話者モデル記憶部２４は、話者認識装置２００とは別個の記憶装置で実現されるものであってもよい。また、話者モデル記憶部２４は、音響モデル記憶部１２と同じ記憶装置で実現されるものであってもよい。
　図６は、第２の実施形態に係る話者認識装置２００の話者認識計算部２３の構成の一例を示す図である。図６の例では、話者認識計算部２３は、分割部２３１、認識部２３２ｍ（ｍ＝１，２，…，Ｍ｝、Ｍは１以上の自然数）および統合部２３３を有する。話者認識計算部２３は、特徴ベクトルＦ（ｘ）を用いて話者認識のスコアを算出する。また、話者認識計算部２３は、算出した話者認識のスコアを含む情報である話者認識結果を出力する。
　話者認識計算部２３が特徴ベクトルＦ（ｘ）を用いて話者認識のスコアを算出する方法の一例について図６を用いて説明する。
　分割部２３１は、受け取った特徴ベクトルＦ（ｘ）から複数（Ｍ個）のベクトルを作成する。複数のベクトルは、それぞれ別の音の種類に対応する。分割部２３１は、例えば、部分特徴抽出部１３が算出したｎ個の部分特徴ベクトルＦｎ（ｘ）と同じベクトルを作成する。
　認識部２３２ｍは、分割部２３１が作成したｍ番目のベクトルを受け取り、話者認識計算を行う。認識部２３２ｍは、例えば、音声信号から算出した認識特徴量と話者モデル記憶部２４が記憶する話者モデルがともにベクトル形式であるとき、それらのコサイン類似度に基づいて、スコアを算出する。
　統合部２３３は、複数の認識部２３２ｍそれぞれが算出したスコアを統合して話者認識のスコアとして出力する。
　以上が、話者認識計算部２３が音声信号ｘの認識特徴量Ｆ（ｘ）を用いて話者認識のスコアを算出する方法の一例である。
　図７Ａ、図７Ｂ、図７Ｃは、本実施形態にかかる話者認識装置２００が出力する話者認識結果の一例を示す図である。
　話者認識計算部２３が出力する話者認識結果について、図７Ａから図７Ｃを用いて説明する。
　統合部２３３は、話者認識結果の情報として、図７Ａに示す認識結果７１のように、話者ＩＤと、認識部２３２ｍの番号ｍと、認識部２３２ｍから取得したスコアとを対応づけた情報を出力する。ここで、統合部２３３は、番号ｍに加えて、番号ｍの音の種類を示す情報をあわせて出力してもよい。統合部２３３は、音の種類を示す情報として、例えば、図７Ｃに示すように、音素や単語などの文字情報、スペクトログラムなどの画像情報、音声信号などの音響情報、を出力してもよい。
　また、統合部２３３は、話者認識結果の情報として、図７Ｂに示す認識結果７２のように、話者ＩＤと話者認識のスコアとを対応付けた情報を出力する。ここで、話者認識のスコアは、例えば、認識部２３２ｍから取得したスコアの重み付き加算によって算出してもよい。統合部２３３は、例えば、話者認識装置２００が話者照合することを目的とする場合は、照合対象の話者ＩＤに対して算出したスコアに基づく照合可否の判定情報を出力してもよい。また、統合部２３３は、例えば、話者認識装置２００が話者識別することを目的とする場合は、複数の話者ＩＤに対して算出したスコア順に並べた話者ＩＤのリストを出力してもよい。なお、本実施形態にかかる話者認識装置２００における話者モデル記憶部２４は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
　また、話者モデル記憶部２４に話者モデルが記憶される過程は特に限定されない。例えば、記録媒体を介して話者モデルが話者モデル記憶部２４に記憶されてもよく、通信回線等を介して送信された話者モデルが話者モデル記憶部２４に記憶されてもよく、あるいは、入力デバイスを介して入力された話者モデルが話者モデル記憶部２４で記憶されてもよい。
　音声区間検出部２１、認識特徴抽出部２２、および話者認識計算部２３は、例えば、これら機能を実現するソフトウェアを通常演算処理装置およびメモリ等のハードウェアが取得して実行することで実現される。当該ソフトウェアはＲＯＭ等の記録媒体に記録されていてもよい。また、話者認識装置２００の各部は、ハードウェア（専用回路）で実現されてもよい。
（第２の実施形態の動作）
　次に、話者認識装置２００の動作について、図５のフローチャートを用いて説明する。
図５は、第２の実施形態に係る話者認識装置２００の動作の一例を示すフローチャートである。
　音声区間検出部２１は、音声信号を受け取る（ステップＳ２０１）。そして、音声区間検出部２１は、受け取った音声信号に対し、音声区間を検出することによって、音声信号の区分化を行う。音声区間検出部２１は、１つ以上の区分化した音声信号（以降、区分化音声信号と呼ぶ）を認識特徴抽出部２２に出力する（ステップＳ２０２）。
　認識特徴抽出部２２は、受理した１つ以上の区分化音声信号のそれぞれに対し、音響統計量を算出する（ステップＳ２０３）。そして、認識特徴抽出部２２は、算出した音響統計量から部分的な認識特徴量（部分特徴ベクトル）を算出し（ステップＳ２０４）、算出した部分的な認識特徴量（部分特徴ベクトル）を統合して特徴ベクトルとし、特徴ベクトルを出力する（ステップＳ２０５）。
　話者認識計算部２３は、認識特徴抽出部２２が算出した特徴ベクトルに対し、話者モデル記憶部２４に記憶されている１つ以上の話者モデルを参照し、話者認識のスコアを計算する。話者認識計算部２３は、話者認識のスコアを出力する（ステップＳ２０６）。
　話者認識装置２００は、ステップＳ２０６の話者認識のスコアの出力が完了したら、一連の処理を終了する。
（第２の実施形態の効果）
　以上、説明したように、話者認識装置２００は、認識特徴抽出部２２が音の種類を考慮した部分特徴ベクトルを算出し、算出された部分特徴ベクトル統合することで、その要素と音声信号との対応づけが可能な特徴ベクトルとして出力する。さらに、話者認識計算部２３が特徴ベクトルから話者認識のスコアを算出して出力する。このような計算方式により、話者認識のスコアから音声信号に含まれる属性情報が特定できる。そして、音の種類ごとの話者認識のスコアを算出することができる。つまり、話者認識結果の解釈性を高めることが可能となる。
　第２の実施形態における話者認識装置２００は、音声信号から特定の属性情報を認識する属性認識装置の一例でもある。つまり、話者認識装置２００は、特定の属性として、音声信号を発した話者を示す情報を認識する属性認識装置であるといえる。また、話者認識装置２００は、例えば文発話の音声信号に対して、当該話者認識装置により推定した話者情報に基づいて、当該話者の話し方の特徴に適応化する機構を備える音声認識装置の一部としても応用可能である。話者を示す情報は、話者の性別を示す情報や、話者の年齢あるいは年齢層を示す情報であってもよい。話者認識装置２００は、特定の属性として、音声信号が伝える言語（音声信号を構成する言語）を示す情報を認識するとき、言語認識装置として応用可能である。また、話者認識装置２００は、例えば文発話の音声信号に対して、当該言語認識装置により推定した言語情報に基づいて、翻訳する言語を選択する機構を備える音声翻訳装置の一部としても応用可能である。話者認識装置２００は、特定の属性として、話者の発話時の感情を示す情報を認識するとき、感情認識装置として応用可能である。
　また、話者認識装置２００は、例えば蓄積された多数の発話の音声信号に対して、当該感情認識装置により推定した感情情報に基づいて、特定の感情に対応する音声信号を特定する機構を備える音声検索装置や音声表示装置の一部、すなわち、音声処理装置の一種として応用可能である。この感情情報には、例えば、感情表現を示す情報、話者の性格を示す情報等が含まれる。すなわち、本実施形態における特定の属性情報は、音声信号を発した話者、音声信号を構成する言語、音声信号に含まれる感情表現、音声信号から推定される話者の性格、の少なくともいずれか一つを表す情報である。第２の実施形態における話者認識装置２００は、このような属性情報を認識することができる。
　以上のように、本開示の一態様における音声処理装置等は、音声信号から音の種類を考慮した特徴ベクトルを抽出し話者認識結果の解釈性を高めることができるという効果を有しており、音声処理装置および話者認識装置として有用である。
　本開示は上記実施形態に限定されることなく、特許請求の範囲に記載の発明の範囲内で、種々の変形が可能であり、それらも本開示の範囲内に含まれるものであることはいうまでもない。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　１つ以上の音響モデルを記憶する音響モデル記憶部と、
　受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する音響統計量算出部と、
　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された前記重みつきの音響多様度および前記音響特徴を用いて、話者の個人性又は言語を認識するための認識特徴量を算出する部分特徴抽出部と、
　算出された前記認識特徴量を用いて特徴ベクトルを算出する部分特徴統合部と、
　算出された前記特徴ベクトルから、前記音声信号が特定の話者に適合する度合いである話者認識のスコアを算出する話者認識計算部を備える、
　音声処理装置。
（付記２）
　前記部分特徴抽出部は、前記音響多様度から複数の重みつきの音響多様度を算出し、前記重みつきの音響多様度それぞれと前記音響特徴とから、複数の認識特徴量を算出する、付記１に記載した音声処理装置。
（付記３）
　前記部分特徴抽出部は、認識特徴量としてベクトル形式で表現される部分特徴ベクトルを算出する、付記１または付記２に記載した音声処理装置。
（付記４）
　前記音響統計量算出部は、
　前記音響モデルを用いて、受け取った前記音声信号に含まれる音の種類の比率に基づき、前記音響多様度を算出する、付記１から付記３のいずれか１つに記載した音声処理装置。
（付記５）
　前記音響統計量算出部は、前記音響モデルとしてガウス混合モデルを用いて、要素分布の事後確率として算出した値に基づき、前記音響多様度を算出する、付記１から付記４のいずれか１つに記載した音声処理装置。
（付記６）
　前記音響統計量算出手段は、前記音響モデルとしてニューラルネットワークを用いて、音の種類の出現度として算出した値に基づき、前記音響多様度を算出する、付記１から付記４のいずれか１つに記載した音声処理装置。
（付記７）
　前記部分特徴抽出手段は、
　前記音声信号の前記音響多様度と選別係数と、前記音響特徴を用いて、前記認識特徴量としてｉ－ｖｅｃｔｏｒを算出する、付記１から付記３のいずれか１つに記載した音声処理装置。
（付記８）
　算出された前記特徴ベクトルから、前記音声信号が特定の話者に適合する度合いである話者認識のスコアを算出する話者認識計算部をさらに備える、
　付記1から付記7のいずれか１つに記載した音声処理装置。
（付記９）
　受け取った音声信号を区分化して区分化音声信号とする音声区間検出部と、
　１つ以上の音響モデルを記憶する音響モデル記憶部と、
　前記区分化音声信号から音響特徴を算出し、算出した音響特徴と前記音響モデル記憶部に記憶された音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する音響統計量算出部と、
　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された前記重みつきの音響多様度および前記音響特徴を用いて、話者の個人性又は言語を認識するための認識特徴量を算出する部分特徴抽出部と、
　算出された前記認識特徴量を用いて特徴ベクトルを算出する部分特徴統合部と、
　算出された前記特徴ベクトルから、前記音声信号が特定の話者に適合する度合いである話者認識のスコアを算出する話者認識計算部を備える、
　音声処理装置。
（付記１０）
　前記話者認識計算部は、
前記特徴ベクトルから、それぞれ別の音の種類に対応する複数のベクトルを作成し、前記複数のベクトルそれぞれについてスコアを算出し、算出した複数の前記スコアを統合することで話者認識のスコアを算出する、付記９に記載した音声処理装置。
（付記１１）
　前記話者認識計算部は、算出した前記スコアを、音の種類を示す情報とあわせて出力する付記１０に記載した音声処理装置。
（付記１２）
　前記特徴ベクトルは、音声信号を発した話者、音声信号を構成する言語、音声信号に含まれる感情表現、音声信号から推定される話者の性格、の少なくともいずれか一つを認識するための情報である、付記１から付記１１のいずれか１つに記載した音声処理装置。
（付記１３）
　１つ以上の音響モデルを記憶し、
　受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出し、　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、
　算出された前記重みつきの音響多様度および前記音響特徴を用いて、話者の個人性や言語等を示す情報を認識するための情報である認識特徴量を算出し、
　算出された前記認識特徴量を用いて特徴ベクトルを算出する、
　音声処理方法。
（付記１４）
　コンピュータを、
　１つ以上の音響モデルを記憶する手段と、
　受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する手段と、
　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された前記重みつきの音響多様度および前記音響特徴を用いて、話者の個人性や言語等を示す情報を認識するための情報である認識特徴量を算出する手段、
　として機能させるためのプログラム。
　１１　　音響統計量算出部
　１２　　音響モデル記憶部
　１３　　部分特徴抽出部
　１３０ｎ　　選別部
　１３１ｎ　　特徴抽出部
　１４　　部分特徴統合部
　２１　　音声区間検出部
　２２　　認識特徴抽出部
　２３　　話者認識計算部
　２３１　　分割部
　２３２ｍ　　認識部
　２３３　　統合部
　２４　　話者モデル記憶部
　１００　　音声処理装置
　２００　　話者認識装置
　Ｖ（ｘ）　　音声信号ｘの音響多様度
　Ｖｔ（ｘ）　短時間フレームごとに算出された音響多様度
　Ｖｎｔ（ｘ）　　重みつきの音響多様度
　Ｐｉ（ｘ）　　ＧＭＭのｉ番目の要素分布の事後確率
　Ｎ（）　　ガウス分布の確率密度関数
　θｉ　　ＧＭＭのｉ番目の要素分布のパラメタ（平均と分散）
　ｗｉ　　ＧＭＭのｉ番目の要素分布の混合係数
　Ｃｉ（ｘ）　　ＧＭＭのｉ番目の要素分布が選ばれた回数
　Ｗｎ　　選別係数
　Ｆ（ｘ）　　認識特徴量
　Ｆｎ（ｘ）　　部分特徴ベクトル
　Ｓ０（ｘ）　　音声信号ｘの０次統計量
　Ｓ１（ｘ）　　音声信号ｘの１次統計量
　Ａｔ（ｘ）　　音響特徴
　ｃ　　統計量Ｓ０（ｘ）およびＳ１（ｘ）の要素数
　Ｄ　　Ａｔ（ｘ）の要素数（次元数）
　ｍｃ　　音響特徴空間におけるｃ番目の領域の平均ベクトル
　Ｓ１（ｘ）　　音声信号ｘの１次統計量

Claims (14)

  1. 　１つ以上の音響モデルを記憶する音響モデル記憶手段と、
    　受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する音響統計量算出手段と、
    　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された前記重みつきの音響多様度および前記音響特徴を用いて、前記音声信号に関わる話者の個人性又は言語を認識するための認識特徴量を算出する部分特徴抽出手段と、
    　算出された前記認識特徴量を用いて特徴ベクトルを算出する部分特徴統合手段、を備える、
    　音声処理装置。
  2. 　前記部分特徴抽出手段は、前記音響多様度から複数の前記重みつきの音響多様度を算出し、前記複数の重みつきの音響多様度それぞれと前記音響特徴とから、複数の前記認識特徴量を算出する、請求項１に記載した音声処理装置。
  3. 　前記部分特徴抽出手段は、前記認識特徴量としてベクトル形式で表現される部分特徴ベクトルを算出する、請求項１または請求項２に記載した音声処理装置。
  4. 　前記音響統計量算出手段は、
    　前記音響モデルを用いて、受け取った前記音声信号に含まれる音の種類の比率に基づき、前記音響多様度を算出する、請求項１から請求項３のいずれか１つに記載した音声処理装置。
  5. 　算出された前記特徴ベクトルから、前記音声信号が特定の話者に適合する度合いである話者認識のスコアを算出する話者認識計算手段を備える、
    　請求項１から請求項４のいずれか１つに記載した音声処理装置。
  6. 　前記話者認識計算手段は、前記特徴ベクトルから、それぞれ別の音の種類に対応する複数のベクトルを作成し、前記複数のベクトルそれぞれについてスコアを算出し、算出した複数の前記スコアを統合することで話者認識のスコアを算出する、請求項５に記載した音声処理装置。
  7. 　前記話者認識計算手段は、算出した前記スコアを、音の種類を示す情報とあわせて出力する請求項６に記載した音声処理装置。
  8. 　前記特徴ベクトルは、前記音声信号を発した話者、前記音声信号を構成する言語、前記音声信号に含まれる感情表現、前記音声信号から推定される話者の性格、の少なくともいずれか一つを認識するための情報である、請求項１から請求項７のいずれか１つに記載した音声処理装置。
  9. 　１つ以上の音響モデルを記憶し、
    　受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出し、
    　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、
    　算出された前記重みつきの音響多様度および前記音響特徴を用いて、話者の個人性や言語等を示す情報を認識するための情報である認識特徴量を算出し、
    　算出された前記認識特徴量を用いて特徴ベクトルを算出する、
    　音声処理方法。
  10. 　コンピュータを、
    　１つ以上の音響モデルを記憶する手段と、
    　受け取った音声信号から音響特徴を算出し、算出した音響特徴と記憶された前記音響モデルとを用いて、音の種類のばらつきの程度を表すベクトルである音響多様度を算出する手段と、
    　算出された前記音響多様度と選別係数を用いて、重みつきの音響多様度を算出し、算出された前記重みつきの音響多様度および前記音響特徴を用いて、話者の個人性や言語等を示す情報を認識するための情報である認識特徴量を算出する手段、
    　として機能させるためのプログラムを格納する記録媒体。
  11. 　前記音響統計量算出手段は、前記音響モデルとしてガウス混合モデルを用いて、要素分布の事後確率として算出した値に基づき、前記音響多様度を算出する、請求項１から請求項４のいずれか１つに記載の音声処理装置。
  12. 前記音響統計量算出手段は、前記音響モデルとしてニューラルネットワークを用いて、音の種類の出現度として算出した値に基づき、前記音響多様度を算出する、請求項１から請求項４のいずれか１つに記載の音声処理装置。
  13. 　前記部分特徴抽出手段は、前記音声信号の前記音響多様度と、選別係数と、前記音響特徴を用いて、前記認識特徴量としてｉ－ｖｅｃｔｏｒを算出する、請求項１から請求項４のいずれか１つに記載の音声処理装置。
  14. 　算出された前記特徴ベクトルから、前記音声信号が特定の話者に適合する度合いである話者認識のスコアを算出する話者認識計算手段を備える、請求項１に記載の音声処理装置。
PCT/JP2017/032666 2016-09-14 2017-09-11 音声処理装置、音声処理方法、および記録媒体 WO2018051945A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018539704A JP6908045B2 (ja) 2016-09-14 2017-09-11 音声処理装置、音声処理方法、およびプログラム
US16/333,008 US20190279644A1 (en) 2016-09-14 2017-09-11 Speech processing device, speech processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-179123 2016-09-14
JP2016179123 2016-09-14

Publications (1)

Publication Number Publication Date
WO2018051945A1 true WO2018051945A1 (ja) 2018-03-22

Family

ID=61619988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032666 WO2018051945A1 (ja) 2016-09-14 2017-09-11 音声処理装置、音声処理方法、および記録媒体

Country Status (3)

Country Link
US (1) US20190279644A1 (ja)
JP (2) JP6908045B2 (ja)
WO (1) WO2018051945A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049687A1 (ja) * 2018-09-06 2020-03-12 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム記録媒体
US11798564B2 (en) 2019-06-28 2023-10-24 Nec Corporation Spoofing detection apparatus, spoofing detection method, and computer-readable storage medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945806B (zh) * 2017-11-10 2022-03-08 北京小米移动软件有限公司 基于声音特征的用户识别方法及装置
US10950244B2 (en) * 2017-11-29 2021-03-16 ILLUMA Labs LLC. System and method for speaker authentication and identification
JP7159655B2 (ja) * 2018-07-09 2022-10-25 富士フイルムビジネスイノベーション株式会社 感情推定システムおよびプログラム
JP6988756B2 (ja) * 2018-09-26 2022-01-05 日本電信電話株式会社 タグ推定装置、タグ推定方法、プログラム
US11158329B2 (en) * 2019-09-11 2021-10-26 Artificial Intelligence Foundation, Inc. Identification of fake audio content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061824A (ja) * 2014-09-16 2016-04-25 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム
JP2016075740A (ja) * 2014-10-03 2016-05-12 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155652A1 (ja) 2013-03-29 2014-10-02 株式会社日立製作所 話者検索システム、プログラム
JP6596376B2 (ja) * 2015-04-22 2019-10-23 パナソニック株式会社 話者識別方法及び話者識別装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061824A (ja) * 2014-09-16 2016-04-25 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム
JP2016075740A (ja) * 2014-10-03 2016-05-12 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049687A1 (ja) * 2018-09-06 2020-03-12 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム記録媒体
JPWO2020049687A1 (ja) * 2018-09-06 2021-08-12 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム
JP7107377B2 (ja) 2018-09-06 2022-07-27 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム
US11798564B2 (en) 2019-06-28 2023-10-24 Nec Corporation Spoofing detection apparatus, spoofing detection method, and computer-readable storage medium

Also Published As

Publication number Publication date
JP6908045B2 (ja) 2021-07-21
JP2021152682A (ja) 2021-09-30
JP7342915B2 (ja) 2023-09-12
JPWO2018051945A1 (ja) 2019-07-04
US20190279644A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP7342915B2 (ja) 音声処理装置、音声処理方法、およびプログラム
US10366693B2 (en) Acoustic signature building for a speaker from multiple sessions
US9536525B2 (en) Speaker indexing device and speaker indexing method
JP6464650B2 (ja) 音声処理装置、音声処理方法、およびプログラム
JP6501259B2 (ja) 音声処理装置及び音声処理方法
US20200160846A1 (en) Speaker recognition device, speaker recognition method, and recording medium
US11837236B2 (en) Speaker recognition based on signal segments weighted by quality
Das et al. Bangladeshi dialect recognition using Mel frequency cepstral coefficient, delta, delta-delta and Gaussian mixture model
Herbig et al. Self-learning speaker identification for enhanced speech recognition
JP2009020460A (ja) 音声処理装置およびプログラム
Poorjam et al. A parametric approach for classification of distortions in pathological voices
US11929058B2 (en) Systems and methods for adapting human speaker embeddings in speech synthesis
Kacur et al. Speaker identification by K-nearest neighbors: Application of PCA and LDA prior to KNN
JP5083951B2 (ja) 音声処理装置およびプログラム
KR101023211B1 (ko) 마이크배열 기반 음성인식 시스템 및 그 시스템에서의 목표음성 추출 방법
JP7107377B2 (ja) 音声処理装置、音声処理方法、およびプログラム
KR20200114705A (ko) 음성 신호 기반의 사용자 적응형 스트레스 인식 방법
JP7216348B2 (ja) 音声処理装置、音声処理方法、および音声処理プログラム
JP3036509B2 (ja) 話者照合における閾値決定方法及び装置
JP7353839B2 (ja) 話者識別装置、話者識別方法、及び、プログラム
US20240071367A1 (en) Automatic Speech Generation and Intelligent and Robust Bias Detection in Automatic Speech Recognition Model
Chou et al. A high-accuracy ASR technique based on correlational weight analysis for elderly users
Garcia et al. Sample iterative likelihood maximization for speaker verification systems
Dhinesh Unifide framework for speaker-aware isolated word recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850847

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539704

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850847

Country of ref document: EP

Kind code of ref document: A1