WO2019107170A1 - 緊急度推定装置、緊急度推定方法、プログラム - Google Patents

緊急度推定装置、緊急度推定方法、プログラム Download PDF

Info

Publication number
WO2019107170A1
WO2019107170A1 PCT/JP2018/042323 JP2018042323W WO2019107170A1 WO 2019107170 A1 WO2019107170 A1 WO 2019107170A1 JP 2018042323 W JP2018042323 W JP 2018042323W WO 2019107170 A1 WO2019107170 A1 WO 2019107170A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
feature
urgency
degree
vocal tract
Prior art date
Application number
PCT/JP2018/042323
Other languages
English (en)
French (fr)
Inventor
歩相名 神山
哲 小橋川
厚志 安藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/765,546 priority Critical patent/US11495245B2/en
Priority to JP2019557144A priority patent/JP6996570B2/ja
Publication of WO2019107170A1 publication Critical patent/WO2019107170A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/75—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 for modelling vocal tract parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Definitions

  • the present invention relates to a technique for estimating the urgency of a call from speech.
  • Non-Patent Document 1 a vocal tract feature value such as MFCC (Mel-Frequency Cepstral Coefficients) or PNCC (Power Normalized Cepstral Coefficients) It was estimated that the call was urgent or non-urgent.
  • MFCC Mel-Frequency Cepstral Coefficients
  • PNCC Power Normalized Cepstral Coefficients
  • Non-Patent Document 1 there is a problem that the degree of urgency can not be estimated from the speech not including the word because the vocal tract feature amount of the specific word is used.
  • a feature amount extraction unit for extracting a feature amount of the utterance from the utterance voice, and a predetermined relationship between the feature amount extracted from the utterance voice and the degree of urgency of the speaker of the utterance voice.
  • an urgency level estimation unit for estimating the urgency level of the speaker of the utterance voice from the feature amount, the feature amount being a feature indicating a speech speed of the utterance voice, and a voice height of the utterance voice And at least one of the features indicating the magnitude of the power of the speech.
  • a vocal tract feature extraction unit for extracting a vocal tract feature for each frame obtained by dividing the speech from the speech, and a vocal tract feature of the speech from the vocal tract feature.
  • a vocal tract feature value calculation unit that calculates average and variance as statistic values, and a voice that generates a combination of an utterance start time and an utterance end time from the utterance voice for each utterance section included in the utterance voice
  • a first speech speed estimation unit for estimating the speech speed of the speech from the set of a recognition unit, the reading, speech start time, and speech end time; average and variance of vocal tract feature quantities of speech; and speech From the average, the variance value, and the speech speed, using the urgency level estimation model learned so as to output the speaker's urgency level of the utterance voice using the speech speed of
  • an emergency degree estimation unit for estimating the emergency degree.
  • a vocal tract feature extraction unit for extracting a vocal tract feature for each frame obtained by dividing the speech from the speech, and a vocal tract feature of the speech from the vocal tract feature.
  • a vocal tract feature statistical value calculation unit that calculates average and variance as statistical values
  • an F0 information extraction unit that extracts F0 information for each frame obtained by dividing the speech from the speech, and from the F0 information.
  • the difference between the mean and the variance of the vocal tract feature quantity of the speech and the mean and the median of the F0 information of the speech are input as the F0 information statistical value calculation unit for calculating the difference between the mean and the median of the F0 information
  • an urgency level for estimating the urgency level of the speaker of the speech from the average, the variance value, and the difference using an emergency level estimation model learned to output the speaker's urgency level of the speech sound And an estimation unit.
  • a vocal tract feature extraction unit for extracting a vocal tract feature for each frame obtained by dividing the speech from the speech, and a vocal tract feature of the speech from the vocal tract feature.
  • a vocal tract feature statistical value calculation unit for calculating average and variance as statistical values
  • an F0 information extraction unit for extracting F0 information for each frame obtained by dividing the utterance voice from the utterance voice, and from the utterance voice
  • a power extraction unit that extracts power for each frame into which the speech is divided; a power average adjustment unit that calculates an adjusted power adjusted using an average of power from the F0 information and the power; and the adjusted power From the power maximum value calculation unit which calculates the power maximum value which is the maximum value of adjusted power, the average and variance of the vocal tract feature quantity of the speech and the maximum value of the adjusted power of the speech are input.
  • Voice speaker's emergency With urgency estimation model that is trained to output, the average from the dispersion value and the maximum power, and an urgency estimating unit for estimating the urgency of the speaker of
  • a vocal tract feature extraction unit for extracting a vocal tract feature for each frame obtained by dividing the speech from the speech, and a vocal tract feature of the speech from the vocal tract feature. It corresponds to a frame obtained by dividing the uttered voice from the uttered voice by using a vocal tract feature statistic calculating unit that calculates an average and a variance as statistic values and a voice recognition acoustic model that identifies a phoneme from the input sound
  • a speech speed estimation model trained so as to output the speech speed of a speech by using a posterior probability series estimation unit that estimates a posteriori probability series that indicates the probability that each sound is a phoneme, and a posterior probability series of speech
  • a second speech speed estimation unit that estimates the speech speed of the speech from the posterior probability sequence, the average and variance of vocal tract feature quantities of the speech, and the speech speed of the speech as input It is learned to output the speaker's urgency of speech With urgency estimation model, from the mean and the variance value and the speech speed, and a urgency
  • FIG. 1 is a block diagram showing an example of a configuration of an emergency degree estimation device 100.
  • 5 is a flowchart showing an example of the operation of the degree of emergency estimation device 100.
  • It is a figure which shows an example of a vocal tract feature-value.
  • It is a figure which shows an example of a speech recognition result.
  • It is a figure which shows an example of the difference of the average * median * average of the emergency speech and non-emergency speech and a median, and a median.
  • FIG. 2 is a block diagram showing an example of the configuration of an emergency degree estimation apparatus 200.
  • FIG. 7 is a flowchart showing an example of the operation of the degree of emergency estimation device 200. It is a figure which shows an example of F0 information. It is a figure which shows an example of the change of the power of emergency speech. It is a figure which shows an example of the change of the power of non-emergency audio
  • FIG. 6 is a block diagram showing an example of the configuration of an emergency degree estimation device 300. 7 is a flowchart showing an example of the operation of the degree of emergency estimation device 300. It is a figure which shows an example of a posteriori probability series.
  • FIG. 16 is a block diagram showing an example of the configuration of an emergency degree estimation apparatus 400. 7 is a flowchart showing an example of the operation of the degree of emergency estimation device 400.
  • FIG. 16 is a block diagram showing an example of the configuration of an emergency degree estimation device 500.
  • FIG. 16 is a flowchart showing an example of the operation of the degree of emergency estimation device 500.
  • FIG. It is a block diagram which shows an example of a structure of the emergency degree estimation apparatus 501. As shown in FIG. It is a flowchart which shows an example of operation
  • FIG. FIG. 16 is a block diagram showing an example of the configuration of an emergency degree estimation device 502. It is a flowchart which shows an example of operation
  • FIG. 1 shows the results of analysis of the speaking speed (hereinafter referred to as speaking speed) in emergency and non-emergency speech using a plurality of voicemail simulated speeches. From this figure, it can be seen that the speaking speed, that is, the number of seconds per mora (segment on the phoneme) is shorter in the emergency speech. Therefore, in the first embodiment, the degree of urgency is estimated using the speech speed. In addition, the statistic value of the vocal-tract feature-value conventionally used is also used according to urgency level estimation.
  • FIG. 2 is a block diagram showing the configuration of the emergency degree estimation apparatus 100.
  • FIG. 3 is a flowchart showing the operation of the emergency degree estimation apparatus 100.
  • the emergency level estimation apparatus 100 includes a vocal tract feature extraction unit 110, a vocal tract feature statistical value calculation unit 120, a speech recognition unit 130, a first speech speed estimation unit 140, and an emergency level estimation unit 150, A recording unit 190 is included.
  • the recording unit 190 is a component that appropriately records information necessary for the process of the emergency level estimation apparatus 100.
  • the degree-of-urgency estimation apparatus 100 reads the degree-of-urgency estimation model 180 and executes processing.
  • the emergency degree estimation model 180 may be configured to be recorded in an external recording unit as shown in FIG. 2 or may be configured to be recorded in the recording unit 190.
  • the uttered voice s (t) is a voice signal sampled every unit time, and is, for example, a voice of a message left on an answering machine.
  • S110 For example, MFCC or cepstrum can be used as the vocal tract feature.
  • any method may be used for the extraction.
  • the vocal tract feature amount c (i) can be obtained as a vector sequence according to the time length of speech as shown in FIG. 4, for example. In FIG. 4, the length of the sequence is the total number of frames I.
  • the mean (c) and the variance (c) are calculated and output as values (S120).
  • the mean mean (c) and the variance var (c) can be calculated by the following equations.
  • any method may be used, but instead of the kanji and kana sentences usually generated as a speech recognition result, the reading w (j) of the speech section j corresponding to the additional information
  • a set of speech start time s (j) and speech end time e (j) is set as a speech recognition result W (j) (see FIG. 5).
  • Reading w (j) is a sentence in which the sound being pronounced is described in kana.
  • the speech start time s (j) and the speech end time e (j) are values indicating the start time (second) and the end time (second) of the speech signal of the speech section j, respectively.
  • the speech start time and the speech end time of each speech section are displayed, with the start time of the speech sound s (t) being 0 second.
  • the speech speed mean (r) of the speech s (t) is estimated from 1, 2,..., J) and output (S140).
  • the number of characters excluding the stuttering (“ ⁇ ”, “ ⁇ ”, “ ⁇ ”) included in the reading w (j) is regarded as the mora number, and from the speech time and the mora number Determine mean (r) [seconds / mora].
  • the speech speed mean (r) can be obtained by the following equation.
  • e (j) ⁇ s (j) is the time (utterance time) required for the utterance of the reading w (j).
  • the speech speed mean (r) is the average speech speed of speech.
  • the urgency level estimation unit 150 uses the urgency level estimation model 180 to calculate the mean sound (c) and the variance value var (c) calculated in S120, and the speech speed s (t) estimated from the speech speed mean (r) estimated in S140.
  • the degree-of-urgency estimation model 180 receives the average and variance of vocal tract feature quantities of speech and the speech speed of the speech, and outputs the degree of urgency of the speaker of the speech.
  • the degree of urgency estimation model is generated by machine learning such as, for example, a support vector machine (SVM), a random forest, and a neural network. Specifically, first, feature quantities (here, mean (c), variance var (c), speech speed mean (r)) obtained from the speech signal whose urgency is known in advance and the speech signal A set of sets of information (correct labels) indicating the degree of urgency of is prepared as learning data. Next, using the learning data, the feature amount is input, and the degree of urgency is estimated using the degree of urgency estimation model, and the error between the degree of urgency that is the estimation result and the degree of urgency of the correct label decreases. Update the parameters of the degree estimation model.
  • SVM support vector machine
  • a random forest a neural network.
  • an appropriate initial value is given as a parameter of the emergency level estimation model. Then, updating (i.e., learning) of the parameter is ended when the predetermined condition is satisfied.
  • the correct answer label may be in two stages of emergency / non-emergency, or the emergency degree may be divided into three or more stages.
  • FIG. 6 shows the result of analyzing the voice height (F0) of the emergency and non-emergency voices using a plurality of voicemail simulated speeches. From this figure, it can be seen that in an emergency, voices tend to be high on average. Therefore, in the second embodiment, the degree of urgency is estimated using the voice height. In addition, it is the same as that of the first embodiment to use also the statistical value of the vocal tract feature amount.
  • the difference between the mean and median of F0 is used as a feature amount for estimation, utilizing the characteristic that the median of F0 does not significantly change in the emergency / non-emergency speech. This makes it possible to absorb the individuality of F0 and estimate the degree of urgency.
  • FIG. 7 is a block diagram showing the configuration of the degree-of-urgency estimation device 200.
  • FIG. 8 is a flowchart showing the operation of the emergency degree estimation apparatus 200.
  • the emergency degree estimation apparatus 200 includes a vocal tract feature extraction unit 110, a vocal tract feature statistical value calculation unit 120, an F0 information extraction unit 210, an F0 information statistical value computation unit 220, and an emergency degree estimation unit 250.
  • Recording unit 290 is a component that appropriately records information necessary for the process of the emergency level estimation apparatus 200.
  • the degree-of-urgency estimation apparatus 200 reads the degree-of-urgency estimation model 280 and executes processing.
  • the emergency degree estimation model 280 may be configured to be recorded in an external recording unit as shown in FIG. 7 or may be configured to be recorded in the recording unit 290.
  • the mean (c) and the variance (c) are calculated and output as values (S120).
  • the F0 information f (k) is a feature of the voice height in the frame k. Any method may be used to extract F0 information.
  • FIG. 9 shows an example of the extracted F0 information.
  • the F0 information statistical value calculation unit 220 calculates the difference medave (f) between the average and the median of the F0 information. And output (S220).
  • the value of F0 is 0 in a section that is not a voiced sound (an unvoiced sound or a silent section). If the average or median is obtained including the section in which the value of F0 is 0, features other than the utterance voice are also included. Therefore, using only the section of the voiced sound, the average ave (f) of the F0 information And find the median med (f). Specifically, it is determined as follows. First, a voiced unvoiced determination result v (f (k)) indicating whether or not the frame k is a voiced sound section is defined by the following equation.
  • the median value med (f) of the F0 information is calculated as an average of the minimum value min (f) of the F0 information and the maximum value max (f) of the F0 information.
  • the average value ave (f) of the F0 information is calculated by the following equation.
  • the urgency level estimation unit 250 uses the urgency level estimation model 280 to calculate the mean mean (c) and the variance value var (c) calculated in S120, and the difference medave (f) calculated in S220 as a speech voice s (t)
  • the degree-of-urgency estimation model 280 receives as input the average and variance of the vocal tract feature amount of the speech and the difference between the average and median of the F0 information of the speech and outputs the degree of urgency of the speaker of the speech.
  • the learning method of the emergency degree estimation model 280 may be similar to that of the first embodiment.
  • the power of uttered speech varies depending on the telephone equipment, but as can be seen from FIGS. 10A and 10B, when the average of the power per one utterance is equalized and the voice with high urgency is compared with the voice with low urgency, urgency is High voices tend to be partially louder. Therefore, in the third embodiment, the degree of urgency is estimated using the strength of the voice, with the maximum value of the power after equalizing the average of the powers as the strength of the voice. In addition, it is the same as that of the first embodiment to use also the statistical value of the vocal tract feature amount.
  • FIG. 11 is a block diagram showing the configuration of the emergency degree estimation apparatus 300.
  • FIG. 12 is a flowchart showing the operation of the emergency degree estimation apparatus 300.
  • the emergency degree estimation apparatus 300 includes a vocal tract feature extraction unit 110, a vocal tract feature statistical value calculation unit 120, an F0 information extraction unit 210, a power extraction unit 310, a power average adjustment unit 320, and a maximum power.
  • a value calculation unit 330, an emergency degree estimation unit 350, and a recording unit 390 are included.
  • the recording unit 390 is a component that appropriately records information necessary for the processing of the emergency level estimation apparatus 300.
  • the emergency level estimation device 300 reads the emergency level estimation model 380 and executes processing.
  • the degree of emergency estimation model 380 may be configured to record in the external recording unit as shown in FIG. 11 or may be configured to record in the recording unit 390.
  • the mean (c) and the variance (c) are calculated and output as values (S120).
  • Power p (k) is a feature of voice strength in frame k. Any method may be used to extract the power.
  • the uttered voice includes a silent interval (that is, an interval without any voice). Therefore, when calculating the average of the power, including the silent section, the average of the power is easily calculated to be small in the frame k having many silent sections, and the adjusted power p ′ (k) is calculated to be large. It may be done.
  • a voiced unvoiced determination result v (f (k)) indicating whether or not the frame k is a voiced sound section is defined by the following equation.
  • the power maximum value calculation unit 330 calculates the maximum value max (p) of the maximum value of the adjusted power. Is calculated and output (S330).
  • the power maximum value max (p) can be obtained by the following equation.
  • the degree of urgency estimation unit 350 uses the degree of urgency estimation model 380 to calculate the average mean (c) and the variance value var (c) calculated in S120, and the speech maximum s (p) calculated in S330 as the utterance voice s ( t)
  • the degree-of-urgency estimation model 380 receives the average and variance of the vocal tract feature quantities of the speech and the maximum value of the adjusted power of the speech, and outputs the degree of urgency of the speaker of the speech.
  • the learning method of the emergency degree estimation model 380 may be similar to that of the first embodiment.
  • the speech speed is estimated using speech recognition, but accurate speech recognition results can not be obtained if the word used in the speech is not included in the model used for speech recognition. Speech speed can not be estimated correctly. Therefore, a tuning operation to register words in a model used for speech recognition is essential. However, it is not realistic to register every word in advance for unconstrained utterances such as messages left on an answering machine. Therefore, in the fourth embodiment, using the speech speed estimated from the change in the posterior probability (posterior probability sequence) of the acoustic model for speech recognition (the model for identifying which phoneme the input sound is) Estimate the degree of urgency. In addition, it is the same as that of the first embodiment to use also the statistical value of the vocal tract feature amount.
  • FIG. 13 shows an example of the posterior probability sequence.
  • the horizontal direction is phoneme information
  • the vertical direction is time (frame number)
  • the values in each column are values indicating how often the phoneme corresponding to the sound of each frame is correct. is there.
  • the speech speed is fast, the transition of the a posteriori probability becomes fast, and when the speech velocity is slow, the transition of the a posteriori probability becomes late.
  • the speech speed can be estimated even if an accurate speech recognition result can not be obtained.
  • FIG. 14 is a block diagram showing the configuration of the degree-of-urgency estimation apparatus 400.
  • FIG. 15 is a flowchart showing the operation of the emergency degree estimation apparatus 400.
  • the emergency degree estimation apparatus 400 includes a vocal tract feature extraction unit 110, a vocal tract feature statistical value calculation unit 120, a posterior probability sequence estimation unit 410, a second speech speed estimation unit 420, and an emergency degree estimation unit. 450, a recording unit 490 is included.
  • the recording unit 490 is a component that appropriately records information necessary for the processing of the emergency level estimation device 400.
  • the degree of urgency estimation device 400 reads the degree of urgency estimation model 480, the speech recognition acoustic model 482, and the speech speed estimation model 484, and executes processing.
  • the emergency degree estimation model 480, the speech recognition acoustic model 482, and the speech speed estimation model 484 may be configured to be recorded in an external recording unit as shown in FIG. 14 or may be configured to be recorded in the recording unit 490. May be
  • the mean (c) and the variance (c) are calculated and output as values (S120).
  • Estimate a posteriori probability series P (k) (k 0, 1, 2,..., K, k represents a frame number) indicating the probability that the sound corresponding to the frame k obtained by dividing t) is each phoneme, It outputs (S410).
  • the posterior probability series P (k) is a vector whose probability is the probability that the sound corresponding to the frame k is each phoneme.
  • each element of the posterior probability series P (k) is a value of 0 or more and 1 or less, and the sum thereof is 1.
  • a posteriori probability series is estimated using a general model of speech recognition such as deep neural network (DNN) or long short-term memory network (LSTM).
  • the posterior probability sequence in FIG. 13 is a monophone 1 state posterior probability sequence, but the output of a triphone 3 state hybrid deep neural network-hidden markov model (DNN-HMM) generally used in speech recognition is used. You may use.
  • the speech speed mean (r2) of is estimated and output (S420).
  • the speech speed estimation model 484 receives the a posteriori probability sequence of the speech and outputs the speech speed of the speech.
  • the speech speed estimation model 484 can be configured using a neural network such as a time series model such as LSTM. Specifically, the parameters of the speech speed estimation model (neural network) are learned as follows. First, a plurality of speech signals used for learning a speech speed estimation model are prepared.
  • a posterior probability sequence is determined by the same method as the posterior probability sequence estimation unit 410. This a posteriori probability sequence is input to the speech speed estimation model to be learned. Also, for each voice signal, transcription data is created, and the start time and end time of each phoneme constituting the transcription data are determined, and the speech speed of the speech signal is calculated by the same method as the first speech speed estimation unit 140 Ask for At that time, transcription data may be used instead of the reading used in the first speech speed estimation unit 140. The speech speed obtained here is the correct label. Then, the speech velocity is estimated using the speech velocity estimation model with the posterior probability series as input, and the speech velocity estimation model parameters are updated so that the error between the speech velocity which is the estimation result and the speech velocity of the correct label decreases. .
  • the degree of urgency estimation unit 450 uses the degree of urgency estimation model 480 to generate the utterance speech s (t) from the mean value mean (c) and the variance value var (c) calculated in S120 and the speech speed mean (r2) estimated in S420.
  • the degree of urgency estimation model 480 receives the average and variance of the vocal tract feature amount of the uttered voice and the speech speed of the uttered voice, and outputs the degree of urgency of the speaker of the uttered voice.
  • the learning method of the emergency degree estimation model 480 may be similar to that of the first embodiment.
  • the vocal tract feature amount statistic is combined with any one feature amount of speech speed, voice height, voice strength (power magnitude) to obtain urgency
  • the degree of urgency may be estimated by combining the vocal tract feature amount statistic with two or more feature amounts among speech rate, voice height, and voice intensity feature amount.
  • a configuration for estimating the degree of urgency will be described using a combination of feature amounts used in the first to fourth embodiments.
  • a configuration using three feature quantities indicating the speech speed of the first embodiment, the height of the voice of the second embodiment, and the strength of the voice of the third embodiment will be described.
  • FIG. 16 is a block diagram showing the configuration of the degree-of-urgency estimation apparatus 500.
  • FIG. 17 is a flowchart showing the operation of the emergency degree estimation apparatus 500.
  • the emergency degree estimation apparatus 500 includes a vocal tract feature extraction unit 110, a vocal tract feature statistical value calculation unit 120, a speech recognition unit 130, a first speech speed estimation unit 140, and an F0 information extraction unit 210. It includes an F0 information statistic value calculation unit 220, a power extraction unit 310, a power average adjustment unit 320, a maximum power value calculation unit 330, an emergency degree estimation unit 550, and a recording unit 590.
  • the recording unit 590 is a component that appropriately records information necessary for the processing of the emergency level estimation apparatus 500.
  • the degree-of-urgency estimation apparatus 500 reads a degree-of-urgency estimation model 580 (not shown) and executes processing. It is assumed that the emergency degree estimation model 580 is recorded in the recording unit 590 in advance.
  • the operation of the emergency degree estimation device 500 will be described according to FIG.
  • the processes of S110 to S330 are the same as those of the first embodiment to the third embodiment. Therefore, S550 will be described below.
  • the degree of urgency estimation model 580 includes the average and variance of the vocal tract feature of the speech, the speech speed of the speech, the difference between the average and median of the F0 information of the speech, and the maximum value of the adjusted power of the speech. As an input, the degree of urgency of the speaker of the uttered voice is output.
  • the learning method of the emergency degree estimation model 580 may be the same as that of the first embodiment.
  • the speech speed of the first embodiment is used, but the speech speed of the fourth embodiment may be used instead of the speech speed of the first embodiment.
  • a configuration using three feature quantities indicating the speech speed of the fourth embodiment, the height of the voice of the second embodiment, and the strength of the voice of the third embodiment will be described.
  • FIG. 18 is a block diagram showing the configuration of the degree-of-urgency estimation device 501.
  • FIG. 19 is a flowchart showing the operation of the emergency degree estimation apparatus 501.
  • the emergency degree estimation apparatus 501 includes a vocal tract feature extraction unit 110, a vocal tract feature statistical value calculation unit 120, a posterior probability sequence estimation unit 410, a second speech speed estimation unit 420, and an F0 information extraction unit.
  • 210 includes an F0 information statistic value calculation unit 220, a power extraction unit 310, a power average adjustment unit 320, a maximum power value calculation unit 330, an emergency degree estimation unit 551, and a recording unit 590.
  • the recording unit 590 is a component that appropriately records information necessary for the processing of the emergency level estimation apparatus 501.
  • the degree-of-urgency estimation apparatus 501 reads a degree-of-emergence estimation model 581 (not shown), a speech recognition acoustic model 482 (not shown), and a speech speed estimation model 484 (not shown), and executes processing. It is assumed that the emergency degree estimation model 581, the speech recognition acoustic model 482, and the speech speed estimation model 484 are recorded in the recording unit 590 in advance.
  • the urgency level estimation unit 551 uses the urgency level estimation model 581 to calculate the mean value mean (c) and the variance value var (c) calculated at S120, the speech speed mean (r2) estimated at S420, and the difference medave calculated at S220.
  • the degree of urgency estimation model 581 includes the average and variance of the vocal tract feature of the uttered voice, the speech speed of the uttered voice, the difference between the average and the median of the F0 information of the uttered voice, and the maximum value of the adjusted power of the uttered voice. As an input, the degree of urgency of the speaker of the uttered voice is output.
  • the learning method of the emergency degree estimation model 581 may be the same as that of the first embodiment.
  • the degree of urgency estimation device 500 and the degree of urgency estimation device 501 estimate the degree of urgency using all three feature quantities indicating speech speed, voice height, and voice strength, in addition to vocal tract feature quantity statistics. However, it is not necessary to use all three feature quantities. Of the three feature quantities, the emergency level estimation may be performed using two feature quantities. In this case, among the components included in the degree-of-urgent estimation device 500 or the degree-of-emergence estimation device 501, the degree of urgency such that the components necessary for calculation of feature quantities used for estimation are included.
  • the estimation device may be configured.
  • FIG. 20 is a block diagram showing the configuration of the degree-of-urgency estimation apparatus 502.
  • FIG. 21 is a flowchart showing the operation of the emergency degree estimation device 502.
  • the emergency level estimation apparatus 502 includes a feature extraction unit 510, an emergency level estimation unit 552, and a recording unit 590.
  • the recording unit 590 is a component that appropriately records information necessary for the processing of the emergency level estimation device 502.
  • the feature amount includes at least one of a feature indicating the speech speed of the speech, a feature indicating the pitch of the speech, and a feature indicating the power of the speech.
  • the feature indicating the speech speed of the speech is, for example, the speech speed of the first embodiment or the speech speed of the fourth embodiment
  • the feature indicating the speech height of the speech is, for example,
  • the voice height in the second embodiment and the feature indicating the power magnitude of the speech voice are, for example, the voice strength (power magnitude) in the third embodiment.
  • the feature quantity extraction unit 510 may include the speech recognition unit 130 and the first speech speed estimation unit 140. If voice strength is included, the feature quantity extraction unit 510 may include the F0 information extraction unit 210, the power extraction unit 310, the power average adjustment unit 320, and the power maximum value calculation unit 330.
  • the relationship between the feature amount and the urgency is given by, for example, an emergency degree estimation model learned so as to output the degree of urgency of the speaker of the uttered voice, using the feature amount extracted from the uttered voice as an input. Also, the relationship has the following properties.
  • the feature quantity includes the feature indicating the speech speed of the speech
  • the feature indicating the speech speed is more urgent than the case where the speaking speed is corresponding to the speech speed being slower than It is easy to estimate that the degree is high.
  • the voice height is lower when the feature that indicates the voice height corresponds to the higher voice height. It is easier to estimate that the degree of urgency is higher than when dealing with
  • the feature quantity includes the feature indicating the magnitude of the power of the speech
  • the feature indicating the magnitude of the power corresponds to the large power compared to the case where the power is smaller. It is also likely that the degree of urgency is high.
  • the apparatus is, for example, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected as a single hardware entity, or a communication device (for example, communication cable) capable of communicating outside the hardware entity.
  • Communication unit that can be connected, CPU (central processing unit, cache memory, registers, etc. may be provided), RAM or ROM that is memory, external storage device that is hard disk, input unit for these, output unit, communication unit , CPU, RAM, ROM, and a bus connected so as to enable exchange of data between external storage devices.
  • the hardware entity may be provided with a device (drive) capable of reading and writing a recording medium such as a CD-ROM. Examples of physical entities provided with such hardware resources include general purpose computers.
  • the external storage device of the hardware entity stores a program necessary for realizing the above-mentioned function, data required for processing the program, and the like (not limited to the external storage device, for example, the program is read) It may be stored in the ROM which is a dedicated storage device). In addition, data and the like obtained by the processing of these programs are appropriately stored in a RAM, an external storage device, and the like.
  • each program stored in the external storage device (or ROM etc.) and data necessary for processing of each program are read into the memory as necessary, and interpreted and processed appropriately by the CPU .
  • the CPU realizes predetermined functions (each component requirement expressed as the above-mentioned,...
  • the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. Further, the processing described in the above embodiment may be performed not only in chronological order according to the order of description but also may be performed in parallel or individually depending on the processing capability of the device that executes the processing or the necessity. .
  • the processing function in the hardware entity (the apparatus of the present invention) described in the above embodiment is implemented by a computer, the processing content of the function that the hardware entity should have is described by a program. Then, by executing this program on a computer, the processing function of the hardware entity is realized on the computer.
  • the program describing the processing content can be recorded in a computer readable recording medium.
  • the computer readable recording medium any medium such as a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, etc. may be used.
  • a magnetic recording device a hard disk drive, a flexible disk, a magnetic tape or the like as an optical disk, a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only) Memory), CD-R (Recordable) / RW (Rewritable), etc. as magneto-optical recording medium, MO (Magneto-Optical disc) etc., as semiconductor memory, EEP-ROM (Electronically Erasable and Programmable Only Read Memory) etc. Can be used.
  • this program is carried out, for example, by selling, transferring, lending, etc. a portable recording medium such as a DVD, a CD-ROM, etc. in which the program is recorded.
  • this program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first temporarily stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, at the time of execution of the process, this computer reads the program stored in its own storage device and executes the process according to the read program. Further, as another execution form of this program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer Each time, processing according to the received program may be executed sequentially.
  • ASP Application Service Provider
  • the program in the present embodiment includes information provided for processing by a computer that conforms to the program (such as data that is not a direct command to the computer but has a property that defines the processing of the computer).
  • the hardware entity is configured by executing a predetermined program on a computer, but at least a part of the processing content may be realized as hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Navigation (AREA)

Abstract

特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定する緊急度推定技術を提供する。発話音声から、当該発話の特徴量を抽出する特徴量抽出部と、予め定められた、発話音声から抽出された特徴量と発話音声の話者の緊急度との関係性に基づいて、特徴量から、発話音声の話者の緊急度を推定する緊急度推定部とを含み、特徴量は、発話音声の話速を示す特徴、発話音声の声の高さを示す特徴、発話音声のパワーの大きさを示す特徴のうち少なくとも１つの特徴を含むものである。

Description

緊急度推定装置、緊急度推定方法、プログラム
　本発明は、発話音声から通話の緊急度を推定する技術に関する。
　留守番電話に残された音声から通話の緊急性を推定できるようになると、優先的に対応すべき通話を選別することができるようになる。
　従来の通話緊急度推定では、例えば、”Help”のような特定の単語を対象に、MFCC(Mel-Frequency Cepstral Coefficients：メル周波数ケプストラム係数)やPNCC(Power Normalized Cepstral Coefficients)といった声道特徴量からその通話の緊急・非緊急を推定していた（非特許文献１）。
E. Principi, S. Squartini, E. Cambria, F. Piazza,"Acoustic template-matching for automatic emergency state detection: An ELM based algorithm", Neurocomputing, Vol.149, Part A, pp.426-434, 2015．
　しかし、非特許文献１では、特定の単語の声道特徴量を用いるため、当該単語を含まない音声から緊急度を推定することができないという問題があった。
　そこで本発明では、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定する緊急度推定技術を提供することを目的とする。
　本発明の一態様は、発話音声から、当該発話の特徴量を抽出する特徴量抽出部と、予め定められた、発話音声から抽出された特徴量と発話音声の話者の緊急度との関係性に基づいて、前記特徴量から、前記発話音声の話者の緊急度を推定する緊急度推定部とを含み、前記特徴量は、発話音声の話速を示す特徴、発話音声の声の高さを示す特徴、発話音声のパワーの大きさを示す特徴のうち少なくとも１つの特徴を含むものである。
　本発明の一態様は、発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、前記発話音声から、当該発話音声に含まれる発話区間毎の読み、発話開始時刻、発話終了時刻の組を生成する音声認識部と、前記読み、発話開始時刻、発話終了時刻の組から、前記発話音声の話速を推定する第１話速推定部と、発話音声の声道特徴量の平均と分散値、発話音声の話速を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記話速から、前記発話音声の話者の緊急度を推定する緊急度推定部とを含む。
　本発明の一態様は、発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、前記発話音声から、当該発話音声を分割したフレーム毎にF0情報を抽出するF0情報抽出部と、前記F0情報から、F0情報の平均と中央値との差分を計算するF0情報統計値計算部と、発話音声の声道特徴量の平均と分散値、発話音声のF0情報の平均と中央値との差分を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記差分から、前記発話音声の話者の緊急度を推定する緊急度推定部とを含む。
　本発明の一態様は、発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、前記発話音声から、当該発話音声を分割したフレーム毎にF0情報を抽出するF0情報抽出部と、前記発話音声から、当該発話音声を分割したフレーム毎にパワーを抽出するパワー抽出部と、前記F0情報と前記パワーから、パワーの平均を用いて調整した調整済パワーを計算するパワー平均調整部と、前記調整済パワーから、調整済パワーの最大値であるパワー最大値を計算するパワー最大値計算部と、発話音声の声道特徴量の平均と分散値、発話音声の調整済パワーの最大値を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記パワー最大値から、前記発話音声の話者の緊急度を推定する緊急度推定部とを含む。
　本発明の一態様は、発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、入力音から音素を識別する音声認識音響モデルを用いて、前記発話音声から、当該発話音声を分割したフレームに該当する音が各音素である確率を示す事後確率系列を推定する事後確率系列推定部と、発話音声の事後確率系列を入力とし、発話音声の話速を出力するように学習された話速推定モデルを用いて、前記事後確率系列から、前記発話音声の話速を推定する第２話速推定部と、発話音声の声道特徴量の平均と分散値、発話音声の話速を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記話速から、前記発話音声の話者の緊急度を推定する緊急度推定部とを含む。
　本発明によれば、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定することが可能となる。
緊急音声と非緊急音声の話速（１モーラあたりの秒数）の違いの一例を示す図である。 緊急度推定装置１００の構成の一例を示すブロック図である。 緊急度推定装置１００の動作の一例を示すフローチャートである。 声道特徴量の一例を示す図である。 音声認識結果の一例を示す図である。 緊急音声と非緊急音声のF0の平均・中央値・平均と中央値との差分の一例を示す図である。 緊急度推定装置２００の構成の一例を示すブロック図である。 緊急度推定装置２００の動作の一例を示すフローチャートである。 F0情報の一例を示す図である。 緊急音声のパワーの変化の一例を示す図である。 非緊急音声のパワーの変化の一例を示す図である。 緊急度推定装置３００の構成の一例を示すブロック図である。 緊急度推定装置３００の動作の一例を示すフローチャートである。 事後確率系列の一例を示す図である。 緊急度推定装置４００の構成の一例を示すブロック図である。 緊急度推定装置４００の動作の一例を示すフローチャートである。 緊急度推定装置５００の構成の一例を示すブロック図である。 緊急度推定装置５００の動作の一例を示すフローチャートである。 緊急度推定装置５０１の構成の一例を示すブロック図である。 緊急度推定装置５０１の動作の一例を示すフローチャートである。 緊急度推定装置５０２の構成の一例を示すブロック図である。 緊急度推定装置５０２の動作の一例を示すフローチャートである。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜第一実施形態＞
　図１は、複数の留守録模擬音声を用いて、緊急・非緊急の音声での話す速さ（以下、話速という）を分析した結果を示す。この図をみると、話速、すなわち、１モーラ（音韻上の分節）あたりの秒数が緊急音声の方が短いことがわかる。そこで、第一実施形態では、話速を用いて緊急度を推定する。なお、従来から用いられている声道特徴量の統計値も緊急度推定にあわせて用いる。
　以下、図２～図３を参照して緊急度推定装置１００について説明する。図２は、緊急度推定装置１００の構成を示すブロック図である。図３は、緊急度推定装置１００の動作を示すフローチャートである。図２に示すように緊急度推定装置１００は、声道特徴量抽出部１１０、声道特徴量統計値計算部１２０、音声認識部１３０、第１話速推定部１４０、緊急度推定部１５０、記録部１９０を含む。記録部１９０は、緊急度推定装置１００の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置１００は、緊急度推定モデル１８０を読み込み、処理を実行する。なお、緊急度推定モデル１８０は、図２のように外部の記録部に記録するよう構成してもよいし、記録部１９０に記録するよう構成してもよい。
　緊急度推定装置１００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。発話音声s(t)は、単位時間毎にサンプリングされた音声信号であり、例えば、留守番電話に残されたメッセージの音声である。
　図３に従い緊急度推定装置１００の動作について説明する。声道特徴量抽出部１１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎に声道特徴量c(i)（i=0, 1, 2, …, I、iはフレーム番号を表す）を抽出し、出力する（Ｓ１１０）。声道特徴量として、例えば、MFCCやケプストラムを用いることができる。また、その抽出にはどのような方法を用いてもよい。声道特徴量c(i)は、例えば図４に示すような、音声の時間長に応じたベクトル系列として求めることができる。図４では、系列の長さが総フレーム数Iとなっている。
　声道特徴量統計値計算部１２０は、Ｓ１１０で抽出した声道特徴量c(i)（i=0, 1, 2, …, I）から、発話音声s(t)の声道特徴量統計値として平均mean(c)と分散値var(c)を計算し、出力する（Ｓ１２０）。平均mean(c)、分散値var(c)は、それぞれ次式で計算できる。
Figure JPOXMLDOC01-appb-M000001
　音声認識部１３０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の音声認識結果W(j)（j=1, 2, …,J、jは発話区間番号を表す）を生成し、出力する（Ｓ１３０）。ここで、音声認識結果W(j)（j=1, 2, …,J）は、発話音声s(t)から所定の方法により検出した発話区間の音声認識結果である。音声認識には、どのような方法を用いてもよいが、音声認識結果として通常生成される漢字・仮名まじりの文章の代わりに、その付加情報に相当する、発話区間jの読みw(j)、発話開始時刻s(j)、発話終了時刻e(j)の組を音声認識結果W(j)とする（図５参照）。読みw(j)は、発音している音をカナで記述した文である。また、発話開始時刻s(j)、発話終了時刻e(j)は、それぞれ発話区間jの音声信号の開始時刻（秒）、終了時刻（秒）を示す値である。なお、発話音声s(t)の開始時刻を0秒として、各発話区間の発話開始時刻と発話終了時刻を表示している。換言すると、音声認識部１３０は、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)に含まれる発話区間毎の読みw(j)、発話開始時刻s(j)、発話終了時刻e(j)の組（j=1, 2, …,J）を生成し、出力する（Ｓ１３０）。
　第１話速推定部１４０は、Ｓ１３０で生成した音声認識結果W(j)（つまり、読みw(j)、発話開始時刻s(j)、発話終了時刻e(j)の組）（j=1, 2, …,J）から、発話音声s(t)の話速mean(r)を推定し、出力する（Ｓ１４０）。話速mean(r)の推定には、読みw(j)に含まれる拗音（「ャ」、「ュ」、「ョ」）を除いた文字数をモーラ数と考えて、発話時間とモーラ数からmean(r)[秒/mora]を求める。読みw(j)に含まれる拗音を除いた文字数をlen(w(j))とすると、話速mean(r)は、次式により求めることができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、e(j)－s(j)が、読みw(j)の発話に要する時間（発話時間）である。
　この式から話速mean(r)は発話音声の平均的な話速であることがわかる。
　緊急度推定部１５０は、緊急度推定モデル１８０を用いて、Ｓ１２０で計算した平均mean(c)と分散値var(c)、Ｓ１４０で推定した話速mean(r)から、発話音声s(t)（t=0, 1, 2,…, T）の話者の緊急度を推定し、出力する（Ｓ１５０）。緊急度推定モデル１８０は、発話音声の声道特徴量の平均と分散値、発話音声の話速を入力とし、発話音声の話者の緊急度を出力する。
　緊急度推定モデルは、例えば、サポートベクターマシン（SVM: Support Vector Machine）、ランダムフォレスト（Random Forest）、ニューラルネットワークなどの機械学習により生成する。具体的には、まず、緊急度が事前に分かっている音声信号から求めた特徴量（ここでは、平均mean(c)、分散値var(c)、話速mean(r)）と当該音声信号の緊急度を示す情報（正解ラベル）の組の集合を学習用データとして用意しておく。次に、この学習用データを用いて、特徴量を入力として、緊急度推定モデルを用いて緊急度を推定し、推定結果である緊急度と正解ラベルの緊急度の誤差が小さくなるように緊急度推定モデルのパラメータを更新する。なお、緊急度推定モデルの学習開始時には、緊急度推定モデルのパラメータとして適当な初期値を与えるものとする。そして、所定の条件を満たすことをもってパラメータの更新（つまり、学習）を終了する。なお、正解ラベルは、緊急／非緊急の２段階でもよいし、緊急度を３段階以上のランクに分けたものであってもよい。
　本発明によれば、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定することが可能となる。
＜第二実施形態＞
　図６は、複数の留守録模擬音声を用いて、緊急・非緊急の音声での声の高さ（F0）を分析した結果を示す。この図から、緊急時には声が平均的に高くなる傾向があることがわかる。そこで、第二実施形態では、声の高さを用いて緊急度を推定する。なお、声道特徴量の統計値もあわせて用いることは第一実施形態と同様である。
　なお、声の平均的な高さは性別や個人によって異なるため、F0の平均のみから緊急・非緊急の別を推定することは難しい。そこで、ここでは、緊急・非緊急の音声におけるF0の中央値は大きくは変わらないという特性を利用して、F0の平均と中央値との差分を推定のための特徴量として用いることにする。これにより、F0の個人性を吸収して緊急度を推定することができるようになる。
　以下、図７～図８を参照して緊急度推定装置２００について説明する。図７は、緊急度推定装置２００の構成を示すブロック図である。図８は、緊急度推定装置２００の動作を示すフローチャートである。図７に示すように緊急度推定装置２００は、声道特徴量抽出部１１０、声道特徴量統計値計算部１２０、F0情報抽出部２１０、F0情報統計値計算部２２０、緊急度推定部２５０、記録部２９０を含む。記録部２９０は、緊急度推定装置２００の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置２００は、緊急度推定モデル２８０を読み込み、処理を実行する。なお、緊急度推定モデル２８０は、図７のように外部の記録部に記録するよう構成してもよいし、記録部２９０に記録するよう構成してもよい。
　緊急度推定装置２００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。
　図８に従い緊急度推定装置２００の動作について説明する。声道特徴量抽出部１１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎に声道特徴量c(i)（i=0, 1, 2, …, I、iはフレーム番号を表す）を抽出し、出力する（Ｓ１１０）。声道特徴量統計値計算部１２０は、Ｓ１１０で抽出した声道特徴量c(i)（i=0, 1, 2, …, I）から、発話音声s(t)の声道特徴量統計値として平均mean(c)と分散値var(c)を計算し、出力する（Ｓ１２０）。
　F0情報抽出部２１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎にF0情報f(k)（k=0, 1, 2, …, K、kはフレーム番号を表す）を抽出し、出力する（Ｓ２１０）。F0情報f(k)はフレームkにおける声の高さの特徴量である。F0情報の抽出にはどのような方法を用いてもよい。図９は、抽出したF0情報の一例を示す。
　F0情報統計値計算部２２０は、Ｓ２１０で抽出したF0情報f(k)（k=0, 1, 2, …, K）から、F0情報の平均と中央値との差分medave(f)を計算し、出力する（Ｓ２２０）。図９からわかるように、有声音ではない区間（無声音または無音の区間）では、F0の値が0となる。F0の値が0となる区間を含めて平均や中央値を求めると、発話音声の以外の特徴も含まれることになるため、有声音の区間のみを用いて、F0情報の平均ave(f)と中央値med(f)を求める。具体的には、以下のようにして求める。まず、フレームkが有声音区間であるか否かを示す有声無声判定結果v(f(k))を次式により定義する。
Figure JPOXMLDOC01-appb-M000003
　次に、F0情報の中央値med(f)を、F0情報の最小値min(f)とF0情報の最大値max(f)の平均として計算する。
Figure JPOXMLDOC01-appb-M000004
　また、F0情報の平均値ave(f)を次式により計算する。
Figure JPOXMLDOC01-appb-M000005
　そして、差分medave(f)を次式により計算する。
Figure JPOXMLDOC01-appb-M000006
　緊急度推定部２５０は、緊急度推定モデル２８０を用いて、Ｓ１２０で計算した平均mean(c)と分散値var(c)、Ｓ２２０で計算した差分medave(f)から、発話音声s(t)（t=0, 1, 2, …, T）の話者の緊急度を推定し、出力する（Ｓ２５０）。緊急度推定モデル２８０は、発話音声の声道特徴量の平均と分散値、発話音声のF0情報の平均と中央値との差分を入力とし、発話音声の話者の緊急度を出力する。緊急度推定モデル２８０の学習方法は、第一実施形態と同様でよい。
　本発明によれば、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定することが可能となる。
＜第三実施形態＞
　発話音声のパワーは電話の機器によって異なるが、図１０Ａ、図１０Ｂからわかるように、１発話辺りのパワーの平均を揃えて緊急度が高い音声と緊急度が低い音声を比較すると、緊急度が高い音声は部分的に声が強くなる傾向がある。そこで、第三実施形態では、パワーの平均を揃えたうえでのパワーの最大値を声の強さとして、声の強さを用いて緊急度を推定する。なお、声道特徴量の統計値もあわせて用いることは第一実施形態と同様である。
　以下、図１１～図１２を参照して緊急度推定装置３００について説明する。図１１は、緊急度推定装置３００の構成を示すブロック図である。図１２は、緊急度推定装置３００の動作を示すフローチャートである。図１１に示すように緊急度推定装置３００は、声道特徴量抽出部１１０、声道特徴量統計値計算部１２０、F0情報抽出部２１０、パワー抽出部３１０、パワー平均調整部３２０、パワー最大値計算部３３０、緊急度推定部３５０、記録部３９０を含む。記録部３９０は、緊急度推定装置３００の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置３００は、緊急度推定モデル３８０を読み込み、処理を実行する。なお、緊急度推定モデル３８０は、図１１のように外部の記録部に記録するよう構成してもよいし、記録部３９０に記録するよう構成してもよい。
　緊急度推定装置３００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。
　図１２に従い緊急度推定装置３００の動作について説明する。声道特徴量抽出部１１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎に声道特徴量c(i)（i=0, 1, 2, …, I、iはフレーム番号を表す）を抽出し、出力する（Ｓ１１０）。声道特徴量統計値計算部１２０は、Ｓ１１０で抽出した声道特徴量c(i)（i=0, 1, 2, …, I）から、発話音声s(t)の声道特徴量統計値として平均mean(c)と分散値var(c)を計算し、出力する（Ｓ１２０）。F0情報抽出部２１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎にF0情報f(k)（k=0, 1, 2, …, K、kはフレーム番号を表す）を抽出し、出力する（Ｓ２１０）。
　パワー抽出部３１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎にパワーp(k)（k=0, 1, 2, …, K、kはフレーム番号を表す）を抽出し、出力する（Ｓ３１０）。パワーp(k)はフレームkにおける声の強さの特徴量である。パワーの抽出にはどのような方法を用いてもよい。
　パワー平均調整部３２０は、Ｓ２１０で抽出したF0情報f(k)（k=0, 1, 2, …, K）とＳ３１０で抽出したパワーp(k)（k=0, 1, 2, …, K）から、パワーの平均を用いて調整した調整済パワーp'(k)（k=0, 1, 2, …, K）を計算し、出力する（Ｓ３２０）。発話音声は無音区間（つまり、何も音声が入っていない区間）を含む。そのため、パワーの平均を計算する際に、無音区間も含めて計算してしまうと、無音区間が多いフレームkではパワーの平均が小さく算出されやすくなり、調整済パワーp'(k)が大きく算出されてしまう場合がある。そこで、確実に音声があると考えられる有声音区間（f(k)>0となるフレーム）についてのパワーの平均でパワーを除することによりパワーを揃えることで、無音区間の時間長に依らずに、電話機の録音レベルの違いを吸収したパワー（つまり、調整済パワー）を求めることができる。具体的には、以下のようにする。まず、フレームkが有声音区間であるか否かを示す有声無声判定結果v(f(k))を次式により定義する。
Figure JPOXMLDOC01-appb-M000007
　そして、調整済パワーp'(k)を次式により計算する。
Figure JPOXMLDOC01-appb-M000008
　パワー最大値計算部３３０は、Ｓ３２０で計算した調整済パワーp'(k)（k=0, 1, 2, …, K）から、調整済パワーの最大値であるパワー最大値max(p)を計算し、出力する（Ｓ３３０）。パワー最大値max(p)は次式により求めることができる。
Figure JPOXMLDOC01-appb-M000009
　緊急度推定部３５０は、緊急度推定モデル３８０を用いて、Ｓ１２０で計算した平均mean(c)と分散値var(c)、Ｓ３３０で計算したパワー最大値max(p)から、発話音声s(t)（t=0, 1, 2, …, T）の話者の緊急度を推定し、出力する（Ｓ３５０）。緊急度推定モデル３８０は、発話音声の声道特徴量の平均と分散値、発話音声の調整済パワーの最大値を入力とし、発話音声の話者の緊急度を出力する。緊急度推定モデル３８０の学習方法は、第一実施形態と同様でよい。
　本発明によれば、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定することが可能となる。
＜第四実施形態＞
　第一実施形態では、音声認識を用いて話速を推定したが、発話音声で使われている単語が音声認識に用いるモデルに含まれていないと、正確な音声認識結果が得られないため、話速を正しく推定することができない。そのため、音声認識に用いるモデルに単語を登録するチューニング作業が不可欠となる。しかし、留守番電話に残されたメッセージのような制約のない発話についてあらゆる単語を事前に登録しておくのは現実的ではない。そこで、第四実施形態では、音声認識の音響モデル（入力された音が、どの音素の音であるかを識別するモデル）の事後確率の変化（事後確率系列）から推定した話速を用いて、緊急度を推定する。なお、声道特徴量の統計値もあわせて用いることは第一実施形態と同様である。
　図１３は、事後確率系列の一例を示す。図１３の表は、横方向が音素情報、縦方向が時間（フレーム番号）であり、各欄の値は、各フレームの音に対応する音素がどの程度の確率で正しいかを示した値である。話速が速いときはこの事後確率の遷移が速くなり、話速が遅いときはこの事後確率の遷移が遅くなる。この遷移の速さの特徴を捉えて、近似的に話速を求めることにより、正確な音声認識結果が得られなくても、話速を推定することが可能となる。
　以下、図１４～図１５を参照して緊急度推定装置４００について説明する。図１４は、緊急度推定装置４００の構成を示すブロック図である。図１５は、緊急度推定装置４００の動作を示すフローチャートである。図１４に示すように緊急度推定装置４００は、声道特徴量抽出部１１０、声道特徴量統計値計算部１２０、事後確率系列推定部４１０、第２話速推定部４２０、緊急度推定部４５０、記録部４９０を含む。記録部４９０は、緊急度推定装置４００の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置４００は、緊急度推定モデル４８０、音声認識音響モデル４８２、話速推定モデル４８４を読み込み、処理を実行する。なお、緊急度推定モデル４８０、音声認識音響モデル４８２、話速推定モデル４８４は、図１４のように外部の記録部に記録するよう構成してもよいし、記録部４９０に記録するよう構成してもよい。
　緊急度推定装置４００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。
　図１５に従い緊急度推定装置４００の動作について説明する。声道特徴量抽出部１１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)を分割したフレーム毎に声道特徴量c(i)（i=0, 1, 2, …, I、iはフレーム番号を表す）を抽出し、出力する（Ｓ１１０）。声道特徴量統計値計算部１２０は、Ｓ１１０で抽出した声道特徴量c(i)（i=0, 1, 2, …, I）から、発話音声s(t)の声道特徴量統計値として平均mean(c)と分散値var(c)を計算し、出力する（Ｓ１２０）。
　事後確率系列推定部４１０は、入力音から音素を識別する音声認識音響モデル４８２を用いて、発話音声s(t)（t=0, 1, 2, …, T）から、当該発話音声s(t)を分割したフレームkに該当する音が各音素である確率を示す事後確率系列P(k)（k=0, 1, 2, …, K、kはフレーム番号を表す）を推定し、出力する（Ｓ４１０）。事後確率系列P(k)は、その要素がフレームkに該当する音が各音素である確率であるベクトルである。したがって、事後確率系列P(k)の各要素の値は、0以上1以下の値であり、その合計は1になる。事後確率系列は、深層ニューラルネットワーク（DNN: Deep Neural Network）や長・短期記憶再帰型ネットワーク（LSTM: Long Short-Term Memory Network）のような音声認識の一般的なモデルを用いて推定する。図１３の事後確率系列は、モノフォン・１状態の事後確率系列であるが、音声認識で一般的に使われるトライフォン・３状態のDNN-HMM(Hybrid Deep Neural Network-Hidden Markov Model)の出力を用いてもよい。
　第２話速推定部４２０は、話速推定モデル４８４を用いて、Ｓ４１０で推定した事後確率系列P(k)（k=0, 1, 2, …, K）から、発話音声s(t)の話速mean(r2)を推定し、出力する（Ｓ４２０）。話速推定モデル４８４は、発話音声の事後確率系列を入力とし、発話音声の話速を出力する。話速推定モデル４８４は、LSTMのような時系列モデルなどのニューラルネットワークを用いて構成することができる。具体的には、以下のようにして話速推定モデル（ニューラルネットワーク）のパラメータを学習する。まず、話速推定モデルの学習に用いる音声信号を複数用意する。次に、各音声信号に対して、事後確率系列推定部４１０と同様の方法により事後確率系列を求める。この事後確率系列が学習対象である話速推定モデルの入力となる。また、各音声信号に対して、書き起こしデータを作成し、書き起こしデータを構成する各音素の開始時刻と終了時刻を求め、第１話速推定部１４０と同様の方法により音声信号の話速を求める。その際、第１話速推定部１４０で用いる読みの代わりに、書き起こしデータを用いればよい。ここで求めた話速が正解ラベルとなる。そして、事後確率系列を入力として、話速推定モデルを用いて話速を推定し、推定結果である話速と正解ラベルの話速の誤差が小さくなるように話速推定モデルのパラメータを更新する。
　緊急度推定部４５０は、緊急度推定モデル４８０を用いて、Ｓ１２０で計算した平均mean(c)と分散値var(c)、Ｓ４２０で推定した話速mean(r2)から、発話音声s(t)（t=0, 1, 2, …, T）の話者の緊急度を推定し、出力する（Ｓ４５０）。緊急度推定モデル４８０は、発話音声の声道特徴量の平均と分散値、発話音声の話速を入力とし、発話音声の話者の緊急度を出力する。緊急度推定モデル４８０の学習方法は、第一実施形態と同様でよい。
　本発明によれば、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定することが可能となる。
＜第五実施形態＞
　第一実施形態から第四実施形態では、声道特徴量統計値に、話速、声の高さ、声の強さ（パワーの大きさ）のいずれか一つの特徴量を組み合わせて緊急度を推定したが、声道特徴量統計値に、話速、声の高さ、声の強さの特徴量のうち、２つ以上の特徴量を組み合わせて緊急度を推定するようにしてもよい。そこで、第五実施形態では、第一実施形態から第四実施形態で用いた特徴量の組み合わせを用いて、緊急度を推定する構成について説明する。ここでは、まず、第一実施形態の話速、第二実施形態の声の高さ、第三実施形態の声の強さを示す３つの特徴量を用いる構成について説明する。
　以下、図１６～図１７を参照して緊急度推定装置５００について説明する。図１６は、緊急度推定装置５００の構成を示すブロック図である。図１７は、緊急度推定装置５００の動作を示すフローチャートである。図１６に示すように緊急度推定装置５００は、声道特徴量抽出部１１０、声道特徴量統計値計算部１２０、音声認識部１３０、第１話速推定部１４０、F0情報抽出部２１０、F0情報統計値計算部２２０、パワー抽出部３１０、パワー平均調整部３２０、パワー最大値計算部３３０、緊急度推定部５５０、記録部５９０を含む。記録部５９０は、緊急度推定装置５００の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置５００は、緊急度推定モデル５８０（図示しない）を読み込み、処理を実行する。緊急度推定モデル５８０は、事前に記録部５９０に記録しているものとする。
　緊急度推定装置５００は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。
　図１７に従い緊急度推定装置５００の動作について説明する。Ｓ１１０からＳ３３０までの処理は、第一実施形態から第三実施形態までのそれと同じである。そこで、以下、Ｓ５５０について説明する。
　緊急度推定部５５０は、緊急度推定モデル５８０を用いて、Ｓ１２０で計算した平均mean(c)と分散値var(c)、Ｓ１４０で推定した話速mean(r)、Ｓ２２０で計算した差分medave(f)、Ｓ３３０で計算したパワー最大値max(p)から、発話音声s(t)（t=0, 1, 2, …, T）の話者の緊急度を推定し、出力する（Ｓ５５０）。緊急度推定モデル５８０は、発話音声の声道特徴量の平均と分散値、発話音声の話速、発話音声のF0情報の平均と中央値との差分、発話音声の調整済パワーの最大値を入力とし、発話音声の話者の緊急度を出力する。緊急度推定モデル５８０の学習方法は、第一実施形態と同様でよい。
　緊急度推定装置５００では、第一実施形態の話速を用いたが、第一実施形態の話速の代わりに、第四実施形態の話速を用いてもよい。ここでは、第四実施形態の話速、第二実施形態の声の高さ、第三実施形態の声の強さを示す３つの特徴量を用いる構成について説明する。
　以下、図１８～図１９を参照して緊急度推定装置５０１について説明する。図１８は、緊急度推定装置５０１の構成を示すブロック図である。図１９は、緊急度推定装置５０１の動作を示すフローチャートである。図１８に示すように緊急度推定装置５０１は、声道特徴量抽出部１１０、声道特徴量統計値計算部１２０、事後確率系列推定部４１０、第２話速推定部４２０、F0情報抽出部２１０、F0情報統計値計算部２２０、パワー抽出部３１０、パワー平均調整部３２０、パワー最大値計算部３３０、緊急度推定部５５１、記録部５９０を含む。記録部５９０は、緊急度推定装置５０１の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置５０１は、緊急度推定モデル５８１（図示しない）、音声認識音響モデル４８２（図示しない）、話速推定モデル４８４（図示しない）を読み込み、処理を実行する。緊急度推定モデル５８１、音声認識音響モデル４８２、話速推定モデル４８４は、事前に記録部５９０に記録しているものとする。
　緊急度推定装置５０１は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。
　図１９に従い緊急度推定装置５０１の動作について説明する。Ｓ１１０からＳ３３０までの処理は、第二実施形態から第四実施形態までのそれと同じである。そこで、以下、Ｓ５５１について説明する。
　緊急度推定部５５１は、緊急度推定モデル５８１を用いて、Ｓ１２０で計算した平均mean(c)と分散値var(c)、Ｓ４２０で推定した話速mean(r2)、Ｓ２２０で計算した差分medave(f)、Ｓ３３０で計算したパワー最大値max(p)から、発話音声s(t)（t=0, 1, 2, …, T）の話者の緊急度を推定し、出力する（Ｓ５５１）。緊急度推定モデル５８１は、発話音声の声道特徴量の平均と分散値、発話音声の話速、発話音声のF0情報の平均と中央値との差分、発話音声の調整済パワーの最大値を入力とし、発話音声の話者の緊急度を出力する。緊急度推定モデル５８１の学習方法は、第一実施形態と同様でよい。
　緊急度推定装置５００や緊急度推定装置５０１では、声道特徴量統計値に加えて、話速、声の高さ、声の強さを示す３つの特徴量すべてを用いて、緊急度を推定したが、必ずしも３つの特徴量すべてを用いる必要はない。３つの特徴量のうち、２つの特徴量を用いて緊急度推定を行うようにしてもよい。この場合は、緊急度推定装置５００や緊急度推定装置５０１に含まれる構成部のうち、推定に用いる特徴量の計算に必要となる構成部、緊急度推定部、記録部を含むように緊急度推定装置を構成すればよい。
　以下、図２０～図２１を参照して、そのような構成の一例である緊急度推定装置５０２について説明する。図２０は、緊急度推定装置５０２の構成を示すブロック図である。図２１は、緊急度推定装置５０２の動作を示すフローチャートである。図２０に示すように緊急度推定装置５０２は、特徴量抽出部５１０、緊急度推定部５５２、記録部５９０を含む。記録部５９０は、緊急度推定装置５０２の処理に必要な情報を適宜記録する構成部である。
　緊急度推定装置５０２は、発話音声s(t)（t=0, 1, 2, …, T、tはサンプル番号を表す）から、発話音声s(t)の話者の緊急度を推定し、出力する。
　図２１に従い緊急度推定装置５０２の動作について説明する。特徴量抽出部５１０は、発話音声s(t)（t=0, 1, 2, …, T）を入力とし、当該発話音声s(t)の特徴量を抽出し、出力する（Ｓ５１０）。ここで、特徴量とは、発話音声の話速を示す特徴、発話音声の声の高さを示す特徴、発話音声のパワーの大きさを示す特徴のうち少なくとも１つの特徴を含むものである。また、発話音声の話速を示す特徴とは、例えば、第一実施形態の話速や第四実施形態の話速のことであり、発話音声の声の高さを示す特徴とは、例えば、第二実施形態の声の高さのことであり、発話音声のパワーの大きさを示す特徴とは、例えば、第三実施形態の声の強さ（パワーの大きさ）のことである。特徴量が、特徴として、例えば、第一実施形態の話速を含む場合は、特徴量抽出部５１０は音声認識部１３０と第１話速推定部１４０を含むとよいし、第三実施形態の声の強さを含む場合は、特徴量抽出部５１０はF0情報抽出部２１０とパワー抽出部３１０とパワー平均調整部３２０とパワー最大値計算部３３０を含むとよい。
　緊急度推定部５５２は、予め定められた、発話音声から抽出された特徴量と発話音声の話者の緊急度との関係性に基づいて、Ｓ５１０で抽出した特徴量から、発話音声s(t)（t=0, 1, 2, …, T）の話者の緊急度を推定し、出力する（Ｓ５５２）。特徴量と緊急度との関係性は、例えば、発話音声から抽出された特徴量を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルにより与えられる。また、当該関係性は、以下のような性質を有する。
（１）特徴量が発話音声の話速を示す特徴を含む場合、話速を示す特徴が、話速が速いことに対応する場合の方が、話速が遅いことに対応する場合よりも緊急度が高いと推定されやすい。
（２）特徴量が発話音声の声の高さを示す特徴を含む場合、声の高さを示す特徴が、声の高さが高いことに対応する場合の方が、声の高さが低いことに対応する場合よりも緊急度が高いと推定されやすい。
（３）特徴量が発話音声のパワーの大きさを示す特徴を含む場合、パワーの大きさを示す特徴が、パワーが大きいことに対応する場合の方が、パワーが小さいことに対応する場合よりも緊急度が高いと推定されやすい。
　本発明によれば、特定の単語を必要としない、自由な発話音声を対象として話者の緊急度を推定することが可能となる。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims (9)

  1. 　発話音声から、当該発話の特徴量を抽出する特徴量抽出部と、
    　予め定められた、発話音声から抽出された特徴量と発話音声の話者の緊急度との関係性に基づいて、前記特徴量から、前記発話音声の話者の緊急度を推定する緊急度推定部と
    　を含む緊急度推定装置であって、
    　前記特徴量は、発話音声の話速を示す特徴、発話音声の声の高さを示す特徴、発話音声のパワーの大きさを示す特徴のうち少なくとも１つの特徴を含むものである
    　緊急度推定装置。
  2. 　請求項１に記載の緊急度推定装置であって、
    　前記関係性は、発話音声から抽出された特徴量を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルにより与えられる
    　ことを特徴とする緊急度推定装置。
  3. 　請求項１に記載の緊急度推定装置であって、
    　前記関係性は、
    　前記特徴量が発話音声の話速を示す特徴を含む場合には、前記話速を示す特徴が、話速が速いことに対応する場合の方が、話速が遅いことに対応する場合よりも緊急度が高いと推定されやすく、
    　前記特徴量が発話音声の声の高さを示す特徴を含む場合には、前記声の高さを示す特徴が、声の高さが高いことに対応する場合の方が、声の高さが低いことに対応する場合よりも緊急度が高いと推定されやすく、
    　前記特徴量が発話音声のパワーの大きさを示す特徴を含む場合には、前記パワーの大きさを示す特徴が、パワーが大きいことに対応する場合の方が、パワーが小さいことに対応する場合よりも緊急度が高いと推定されやすくなるものである
    　ことを特徴とする緊急度推定装置。
  4. 　発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、
    　前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、
    　前記発話音声から、当該発話音声に含まれる発話区間毎の読み、発話開始時刻、発話終了時刻の組を生成する音声認識部と、
    　前記読み、発話開始時刻、発話終了時刻の組から、前記発話音声の話速を推定する第１話速推定部と、
    　発話音声の声道特徴量の平均と分散値、発話音声の話速を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記話速から、前記発話音声の話者の緊急度を推定する緊急度推定部と
    　を含む緊急度推定装置。
  5. 　発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、
    　前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、
    　前記発話音声から、当該発話音声を分割したフレーム毎にF0情報を抽出するF0情報抽出部と、
    　前記F0情報から、F0情報の平均と中央値との差分を計算するF0情報統計値計算部と、
    　発話音声の声道特徴量の平均と分散値、発話音声のF0情報の平均と中央値との差分を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記差分から、前記発話音声の話者の緊急度を推定する緊急度推定部と
    　を含む緊急度推定装置。
  6. 　発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、
    　前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、
    　前記発話音声から、当該発話音声を分割したフレーム毎にF0情報を抽出するF0情報抽出部と、
    　前記発話音声から、当該発話音声を分割したフレーム毎にパワーを抽出するパワー抽出部と、
    　前記F0情報と前記パワーから、パワーの平均を用いて調整した調整済パワーを計算するパワー平均調整部と、
    　前記調整済パワーから、調整済パワーの最大値であるパワー最大値を計算するパワー最大値計算部と、
    　発話音声の声道特徴量の平均と分散値、発話音声の調整済パワーの最大値を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記パワー最大値から、前記発話音声の話者の緊急度を推定する緊急度推定部と
    　を含む緊急度推定装置。
  7. 　発話音声から、当該発話音声を分割したフレーム毎に声道特徴量を抽出する声道特徴量抽出部と、
    　前記声道特徴量から、前記発話音声の声道特徴量統計値として平均と分散値を計算する声道特徴量統計値計算部と、
    　入力音から音素を識別する音声認識音響モデルを用いて、前記発話音声から、当該発話音声を分割したフレームに該当する音が各音素である確率を示す事後確率系列を推定する事後確率系列推定部と、
    　発話音声の事後確率系列を入力とし、発話音声の話速を出力するように学習された話速推定モデルを用いて、前記事後確率系列から、前記発話音声の話速を推定する第２話速推定部と、
    　発話音声の声道特徴量の平均と分散値、発話音声の話速を入力とし、発話音声の話者の緊急度を出力するように学習された緊急度推定モデルを用いて、前記平均と前記分散値と前記話速から、前記発話音声の話者の緊急度を推定する緊急度推定部と
    　を含む緊急度推定装置。
  8. 　緊急度推定装置が、発話音声から、当該発話の特徴量を抽出する特徴量抽出ステップと、
    　前記緊急度推定装置が、予め定められた、発話音声から抽出された特徴量と発話音声の話者の緊急度との関係性に基づいて、前記特徴量から、前記発話音声の話者の緊急度を推定する緊急度推定ステップと
    　を含む緊急度推定方法であって、
    　前記特徴量は、発話音声の話速を示す特徴、発話音声の声の高さを示す特徴、発話音声のパワーの大きさを示す特徴のうち少なくとも１つの特徴を含むものである
    　緊急度推定方法。
  9. 　請求項１ないし７のいずれか１項に記載の緊急度推定装置としてコンピュータを機能させるためのプログラム。
PCT/JP2018/042323 2017-11-29 2018-11-15 緊急度推定装置、緊急度推定方法、プログラム WO2019107170A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/765,546 US11495245B2 (en) 2017-11-29 2018-11-15 Urgency level estimation apparatus, urgency level estimation method, and program
JP2019557144A JP6996570B2 (ja) 2017-11-29 2018-11-15 緊急度推定装置、緊急度推定方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017229013 2017-11-29
JP2017-229013 2017-11-29

Publications (1)

Publication Number Publication Date
WO2019107170A1 true WO2019107170A1 (ja) 2019-06-06

Family

ID=66664972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042323 WO2019107170A1 (ja) 2017-11-29 2018-11-15 緊急度推定装置、緊急度推定方法、プログラム

Country Status (3)

Country Link
US (1) US11495245B2 (ja)
JP (1) JP6996570B2 (ja)
WO (1) WO2019107170A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021019643A1 (ja) * 2019-07-29 2021-02-04

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210020656A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공 지능을 이용한 음성 인식 방법 및 그 장치
US11848011B1 (en) 2021-06-02 2023-12-19 Kudo, Inc. Systems and methods for language translation during live oral presentation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119792A (ja) * 1991-10-28 1993-05-18 Ricoh Co Ltd 音声認識装置
JP2006106711A (ja) * 2004-09-10 2006-04-20 Matsushita Electric Ind Co Ltd 情報処理端末
JP2007286377A (ja) * 2006-04-18 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 応対評価装置、その方法、プログラムおよびその記録媒体
JP2009282824A (ja) * 2008-05-23 2009-12-03 Toyota Central R&D Labs Inc 感情推定装置及びプログラム
JP2012137680A (ja) * 2010-12-27 2012-07-19 Fujitsu Ltd 状態検出装置、状態検出方法および状態検出のためのプログラム
JP2015082093A (ja) * 2013-10-24 2015-04-27 富士通株式会社 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
JP2016076788A (ja) * 2014-10-03 2016-05-12 みずほ情報総研株式会社 通話評価システム、通話評価方法及び通話評価プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US7788104B2 (en) 2004-09-10 2010-08-31 Panasonic Corporation Information processing terminal for notification of emotion
CN101136199B (zh) * 2006-08-30 2011-09-07 纽昂斯通讯公司 语音数据处理方法和设备
US20090006085A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Automated call classification and prioritization
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US9020822B2 (en) * 2012-10-19 2015-04-28 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
US10706873B2 (en) * 2015-09-18 2020-07-07 Sri International Real-time speaker state analytics platform

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119792A (ja) * 1991-10-28 1993-05-18 Ricoh Co Ltd 音声認識装置
JP2006106711A (ja) * 2004-09-10 2006-04-20 Matsushita Electric Ind Co Ltd 情報処理端末
JP2007286377A (ja) * 2006-04-18 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 応対評価装置、その方法、プログラムおよびその記録媒体
JP2009282824A (ja) * 2008-05-23 2009-12-03 Toyota Central R&D Labs Inc 感情推定装置及びプログラム
JP2012137680A (ja) * 2010-12-27 2012-07-19 Fujitsu Ltd 状態検出装置、状態検出方法および状態検出のためのプログラム
JP2015082093A (ja) * 2013-10-24 2015-04-27 富士通株式会社 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
JP2016076788A (ja) * 2014-10-03 2016-05-12 みずほ情報総研株式会社 通話評価システム、通話評価方法及び通話評価プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ARIMOTO YOSUKO ET AL.: "Designing emotional speech corpus and its acoustic analysis", IPSJ SIG TECHNICA REPORTS, vol. 2008, no. 12, 1 April 2008 (2008-04-01), pages 133 - 138 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021019643A1 (ja) * 2019-07-29 2021-02-04
WO2021019643A1 (ja) * 2019-07-29 2021-02-04 日本電信電話株式会社 印象推定装置、学習装置、それらの方法、およびプログラム

Also Published As

Publication number Publication date
JP6996570B2 (ja) 2022-01-17
JPWO2019107170A1 (ja) 2020-11-26
US20200312352A1 (en) 2020-10-01
US11495245B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
CN109545243B (zh) 发音质量评价方法、装置、电子设备及存储介质
JP4568371B2 (ja) 少なくとも２つのイベント・クラス間を区別するためのコンピュータ化された方法及びコンピュータ・プログラム
US8996366B2 (en) Multi-stage speaker adaptation
US10249321B2 (en) Sound rate modification
JP6840858B2 (ja) 発音誤り検出装置、発音誤り検出方法、プログラム
JP2012037619A (ja) 話者適応化装置、話者適応化方法および話者適応化用プログラム
US8645139B2 (en) Apparatus and method of extending pronunciation dictionary used for speech recognition
JP6622681B2 (ja) 音素崩れ検出モデル学習装置、音素崩れ区間検出装置、音素崩れ検出モデル学習方法、音素崩れ区間検出方法、プログラム
JP6280074B2 (ja) 言い直し検出装置、音声認識システム、言い直し検出方法、プログラム
WO2019107170A1 (ja) 緊急度推定装置、緊急度推定方法、プログラム
WO2018163279A1 (ja) 音声処理装置、音声処理方法、および音声処理プログラム
JP2007316330A (ja) 韻律識別装置及び方法、並びに音声認識装置及び方法
JP4861941B2 (ja) 書き起こし内容確認方法、書き起こし内容確認装置、コンピュータプログラム
JP6526602B2 (ja) 音声認識装置、その方法、及びプログラム
JP5427140B2 (ja) 音声認識方法、音声認識装置及び音声認識プログラム
JP4729078B2 (ja) 音声認識装置とその方法と、プログラムとその記録媒体
JP7279800B2 (ja) 学習装置、推定装置、それらの方法、およびプログラム
CN112837688A (zh) 语音转写方法、装置、相关系统及设备
JP5166195B2 (ja) 音響分析パラメータ生成方法とその装置と、プログラムと記録媒体
JP7216348B2 (ja) 音声処理装置、音声処理方法、および音声処理プログラム
JP6903613B2 (ja) 音声認識装置、音声認識方法及びプログラム
JP7176629B2 (ja) 識別モデル学習装置、識別装置、識別モデル学習方法、識別方法、プログラム
US11894017B2 (en) Voice/non-voice determination device, voice/non-voice determination model parameter learning device, voice/non-voice determination method, voice/non-voice determination model parameter learning method, and program
JP5066668B2 (ja) 音声認識装置、およびプログラム
JP2022010410A (ja) 音声認識装置、音声認識学習装置、音声認識方法、音声認識学習方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18884294

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557144

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18884294

Country of ref document: EP

Kind code of ref document: A1