WO2012102056A1 - 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 - Google Patents

話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2012102056A1
WO2012102056A1 PCT/JP2012/000537 JP2012000537W WO2012102056A1 WO 2012102056 A1 WO2012102056 A1 WO 2012102056A1 JP 2012000537 W JP2012000537 W JP 2012000537W WO 2012102056 A1 WO2012102056 A1 WO 2012102056A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech speed
speed conversion
fundamental frequency
speech
conversion magnification
Prior art date
Application number
PCT/JP2012/000537
Other languages
English (en)
French (fr)
Inventor
都木　徹
今井　篤
信正 清山
礼子 齋藤
Original Assignee
日本放送協会
財団法人エヌエイチケイエンジニアリングサービス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会, 財団法人エヌエイチケイエンジニアリングサービス filed Critical 日本放送協会
Priority to US13/981,950 priority Critical patent/US9129609B2/en
Publication of WO2012102056A1 publication Critical patent/WO2012102056A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/043—Time compression or expansion by changing speed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G10L2025/906—Pitch tracking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to a speech speed conversion magnification determination device, a speech speed conversion device, a program, and a recording medium that determine an adaptive conversion magnification of a speech speed (speaking speed) of an input signal.
  • the entire input signal is applied.
  • the speed is changed at a magnification that is larger or smaller than the magnification ⁇ for each part, so that the entire time is the same as when the speech speed is converted at a uniform magnification ⁇ .
  • the purpose is to generate speech speed converted speech that is “slowly easier to hear” than the case where the speech speed is converted at a uniform magnification ⁇ for the listener who adjusts the bottom of the book so that it is played back.
  • a silent section longer than a certain length is set as a pause section, and in a voice section sandwiched between pause sections, the speech speed is reduced at the start point, and the speech speed is increased based on a predetermined decrease function over a predetermined time T.
  • a technique is known in which after the time T has elapsed, the rate at which the speech speed is relaxed is changed in consideration of the magnitude relationship of the maximum fundamental frequency in each voiced section (see, for example, Patent Document 2).
  • the coefficient is such that the increase / decrease in the magnitude (power) or height (fundamental frequency) of the input signal is inversely proportional to the speech speed, or the coefficient that the speech speed is inversely proportional to the nth power of the magnitude or height of the input signal.
  • a technique for determining the speech speed of each part is also known (see, for example, Patent Document 6).
  • the input signal is divided into a voice section with voice and a silent section without voice.
  • the duration is divided into parts based on some information.
  • the silence period is shortened and the overall voice time length is adjusted comprehensively.
  • the section with only the background sound without sound is “silent. Whether it is determined to be “section” or “voice section” is not guaranteed, and if an erroneous determination occurs, correct operation cannot be expected, and the speech speed converted speech may be difficult to hear. .
  • the magnitude (power) of the input voice can be obtained in all sections of the input voice, but the height (fundamental frequency) of the input voice is where there is a voice and the vocal cords vibrate. It can be obtained correctly only in the “voiced sound section”. Therefore, also in Patent Document 6, when the background sound and the sound are mixed, since the power is large and the fundamental frequency cannot be obtained correctly in the section of only the background sound without the sound, the speech speed is originally a section that is not a sound. Although it is necessary to speed up, it is possible that the speed of the speech will be relaxed because of the high power.
  • an object of the present invention is to provide a speech speed conversion magnification determination device and a speech speed conversion device capable of stably determining an adaptive speech speed conversion magnification even when background sound and sound are mixed. It is to provide a program and a recording medium.
  • a speech speed conversion magnification determination device is a speech speed conversion magnification determination device that determines an adaptive conversion magnification of a speech speed of an input signal, and is a voiced interval of an input signal.
  • a fundamental frequency calculation unit that determines an unstable interval in which the value of the fundamental frequency changes beyond a predetermined change width, and a frequency smoothing unit that smoothes a temporal change in the fundamental frequency in the stable interval
  • a pseudo fundamental frequency calculation unit that calculates a pseudo fundamental frequency by interpolating a fundamental frequency with reference to a fundamental frequency value in the smoothed stable section, and the smoothed
  • a basic frequency outline linking unit that connects the fundamental frequency and the pseudo fundamental frequency to obtain a sample value of a series of basic frequencies, and the sample value of the outline of the basic frequency is a physical index
  • a speech speed conversion magnification designating section for calculating a speech speed conversion magnification to be designated as an input signal based on the physical index.
  • the physical index calculation unit includes a power calculation unit that calculates the power of the input signal at a constant time interval, and smoothes the temporal change of the power so as to approximate the power.
  • a power smoothing unit that obtains a sample value of the shape, and outputs the approximate sample value of the fundamental frequency and the approximate sample value of the power as the physical index.
  • the physical index calculation unit includes a voicing degree calculation unit that obtains voicing degree from an input signal waveform, and an outline of voicing degree by smoothing a temporal change of the voicing degree Ainess smoothing unit for obtaining a sample value of the basic frequency, and outputting the sample value of the approximate shape of the fundamental frequency, the sample value of the approximate shape of the power, and the sample value of the approximate shape of the voicing degree as the physical index It is characterized by doing.
  • the physical index calculation unit calculates a rough degree of irregularities of the basic frequency representing a change tendency of the rough shapes of the fundamental frequency. And a sample value of the approximate shape of the fundamental frequency, a sample value of the approximate shape of the power, and a degree of unevenness of the approximate shape of the fundamental frequency are output as the physical index.
  • the physical index calculation unit includes a power unevenness degree calculation unit that calculates a degree of unevenness of the power outline, which represents a change tendency of the power outline,
  • the rough sampling value of the fundamental frequency, the rough sampling value of the power, and the roughness of the rough shape of the power are output as the physical index.
  • the physical index calculation unit calculates a power spectrum of the input signal, and the normalized power in the first frequency band and the first power higher than the first frequency band.
  • a frequency band division / power calculation unit that calculates normalized power in two frequency bands; and a divided band power ratio calculation unit that calculates a ratio of normalized power in the first frequency band and the second frequency band. Output the approximate sample value of the fundamental frequency, the approximate sample value of the power, and the ratio of normalized power in the first frequency band and the second frequency band as the physical index, To do.
  • the speech speed conversion magnification designation unit calculates the speech speed conversion magnification based on the physical index and a contribution rate of each physical index to the speech speed. It is characterized by that.
  • the speech rate conversion magnification determination apparatus when the time length to be reproduced for each part of the entire input signal or the divided input signal is given, the time length of the whole input signal or each part is determined. It further comprises a speech speed conversion magnification fine adjustment unit that finely adjusts the speech speed conversion magnification to match the time length to be reproduced to determine the final speech speed conversion magnification.
  • a speech speed conversion device is a speech speed conversion magnification determination device that performs adaptive speech speed conversion of an input signal, and includes the above-described speech speed conversion magnification determination device and A speech speed conversion unit that converts the input signal according to the speech speed conversion magnification, and the speech speed conversion unit is a time length to be reproduced for each part of the input signal as a whole or in the divided input signal. Is given at a certain time interval, the target signal to be output when it is expanded or contracted at a uniform magnification, and the converted signal obtained by converting the input signal by the speech speed conversion magnification on the time series of the signal. And the speech speed conversion magnification fine adjustment unit re-adjusts the subsequent speech speed conversion magnification according to the temporal displacement.
  • the present invention provides a computer configured as a speech speed conversion magnification determination device that determines an adaptive conversion magnification of a speech speed of an input signal, and includes a voiced section and a silent section of the input signal. And calculating a fundamental frequency of the input signal at a constant time interval in the sounded section, a stable section in which the value of the fundamental frequency changes within a predetermined change width, and the value of the fundamental frequency is Determining an unstable section that changes beyond a predetermined change width; smoothing a temporal change in the fundamental frequency in the stable section; and smoothing in the unstable section and the silent section.
  • a step of calculating a pseudo fundamental frequency obtained by interpolating the frequency with reference to a value of the fundamental frequency in the stable section, the smoothed fundamental frequency and the pseudo fundamental frequency Connecting to obtain a sample value of a rough outline of the fundamental frequency, and calculating a speech rate conversion magnification to be specified for the input signal according to the sample value of the outline of the fundamental frequency. It is also characterized as a program for execution and a recording medium on which the program is recorded.
  • adaptive speech speed conversion performed based on physical features such as the fundamental frequency and power of the input signal proposed by the present invention
  • speech interval when background sound and sound are mixed, “speech interval” and “ If the “silence interval” is not correctly judged, the disadvantage that adaptive speech speed conversion does not work as expected can be avoided, and even when background sound and audio are mixed, a stable and slow feeling can be avoided.
  • FIG. 1 is a block diagram showing the configuration of the speech speed conversion magnification determining apparatus according to the first embodiment of the present invention.
  • the speech speed conversion magnification determination apparatus 1a of the present embodiment includes a physical index calculation unit 2 and a speech speed conversion magnification determination unit 3, thereby performing adaptive speech speed conversion of an input signal.
  • the physical index calculation unit 2 calculates a physical index of the input signal.
  • the speech speed conversion magnification determination unit 3 determines the speech speed conversion magnification ⁇ n to be specified for each segment (section) of the input signal based on the physical index input from the physical index calculation unit 2.
  • the subscript n is an integer value indicating the position of the input signal when the input signal is divided every unit time (fixed time interval, for example, 5 ms) from the beginning.
  • this separation interval will be described as 5 ms.
  • the physical index calculation unit 2 includes a basic frequency outline calculation unit 100.
  • the basic frequency outline calculation unit 100 includes a sound / silence determination unit 102, a basic frequency calculation unit 104, a smoothing unit 106, and a pseudo basic.
  • the frequency calculation unit 108 and the basic frequency outline connecting unit 110 are included.
  • the speech speed conversion magnification determination unit 3 includes a first speech speed conversion magnification designation unit (speech speed conversion magnification designation unit a) 120 and a speech speed conversion magnification fine adjustment unit 140.
  • Speech speed conversion magnification determining device 1a of this embodiment the comprehensive, with F n representing the envelope of the variation of the fundamental frequency and pseudo fundamental frequency of each unit in the input signal time (5 ms) as "physical index"
  • F n representing the envelope of the variation of the fundamental frequency and pseudo fundamental frequency of each unit in the input signal time (5 ms) as "physical index"
  • the speech rate conversion magnification refers to the conversion rate of the reproduction speed of the input signal, and corresponds to the reciprocal of the temporal expansion / contraction rate for the signal interval per unit time.
  • FIG. 2 is a diagram illustrating an example of calculation of a rough shape of a fundamental frequency and determination of a temporary expansion / contraction rate.
  • the voice / silence determination unit 102 calculates the amplitude and power from the input signal and, based on the magnitude, “voice” and / or “background sound” (music and noise), or a portion where both exist simultaneously.
  • a certain “sound section” is distinguished from a “silent section” without sound. For example, when the amplitude or power of the input signal exceeds a predetermined threshold, it is determined as a voiced section, and when it is less than the predetermined threshold, it is determined as a silent section.
  • the input signal x (k) is cut out by aligning the center of the nth segment and the center of the Hamming window h (k) corresponding to the window width of 20 ms, the number of sampling points is K, and the quantization accuracy of the input signal is 16 bits. If so, the power of the segment is defined by the following equation (1).
  • FIG. 2A is a diagram illustrating an example of an input signal waveform that is determined as a sound section by the sound / silence determination unit 102.
  • the fundamental frequency calculation unit 104 calculates a fundamental frequency for each unit time (a constant time interval, for example, 5 ms) for the input signal that is input from the sound / silence determination unit 102 and is determined to be a sound section. , The section where the calculated fundamental frequency value is stable and almost continuously changing within a predetermined change width is determined as the “stable section”, and the calculated fundamental frequency value is not stable and changes discontinuously. A severe section is determined as an “unstable section”. Then, the fundamental frequency calculation unit 104 identifies the fundamental frequency in each stable interval, outputs the identified fundamental frequency in each stable interval to the smoothing unit 106, and outputs the signal in the unstable interval to the pseudo fundamental frequency calculation unit 108. Output to.
  • a fundamental frequency for each unit time a constant time interval, for example, 5 ms
  • the fundamental frequency calculation unit 104 rejects all fundamental frequency values in the “unstable section”. Note that the fundamental frequency for each unit time can be calculated using any known technique (for example, see Japanese Patent No. 3219868).
  • FIG. 2B shows the fundamental frequency for each unit time of the input signal shown in FIG.
  • FIG. 2B shows a “stable section” surrounded by a square frame, and the other sections are “unstable sections”.
  • the smoothing unit 106 smoothes the trajectory composed of the fundamental frequency of each stable section so that the fundamental frequency of each stable section input from the fundamental frequency calculation unit 104 becomes a smoother trajectory. For this smoothing, it is preferable to use a low-pass filter having a cutoff frequency of about 3 to 6 Hz. Further, the smoothing unit 106 outputs the value of the fundamental frequency of the smoothed locus in the stable section to the pseudo fundamental frequency calculation unit 108 and the fundamental frequency outline connecting unit 110.
  • FIG. 2B shows the locus of the smoothed fundamental frequency with a thick line.
  • the pseudo fundamental frequency calculation unit 108 uses each value of the fundamental frequency of the smoothed trajectory of the stable section supplied from the smoothing unit 106, and interpolates with an interpolation function (for example, a spline function), thereby generating a silent section and a non-interval.
  • An interpolation function for example, a spline function
  • a pseudo fundamental frequency (pseudo fundamental frequency) in the stable section is calculated, and the calculated pseudo fundamental frequency is output to the fundamental frequency outline connecting unit 110.
  • FIG. 2B shows the fundamental frequency of the pseudo fundamental frequency with a thin line.
  • the fundamental frequency outline linking unit 110 includes the value of the fundamental frequency of the smoothed trajectory of the stable section supplied from the smoothing unit 106, and the pseudo fundamental of the silent section and the unstable section supplied from the pseudo fundamental frequency calculation unit 108.
  • a continuous trajectory composed of the fundamental frequency and the pseudo fundamental frequency (hereinafter referred to as “general shape of the fundamental frequency”) over the entire interval (unit time) of the input signal to be processed by connecting the frequency value.
  • a value obtained by sampling the outline of the fundamental frequency per unit time (hereinafter referred to as “sample value of the outline of the fundamental frequency”) Fn is the first speech speed conversion magnification of the speech speed conversion magnification determining unit 3
  • the data is output to the designation unit (speech speed conversion magnification designation unit a) 120.
  • the first speech speed conversion magnification designation unit (speech speed conversion magnification designation unit a) 120 has a speech speed conversion magnification for each unit time (hereinafter simply referred to as “speech speed conversion magnification designation unit a”) in a portion where the sample value F n of the approximate shape of the fundamental frequency is large. referred to as "speech speed conversion ratio”) of .alpha.a n relatively small and (slowly speech speed), the sample value F n value is less part of the envelope of the fundamental frequency, relative to the speech speed conversion ratio .alpha.a n Basically, it should be large (fast speaking speed).
  • the first speech speed conversion magnification specifying unit (speech speed conversion ratio specifying section a) 120 is made relatively small the speech speed conversion ratio .alpha.a n is portion with high voice (fundamental frequency), the lower part of the voice relatively large speech speed conversion ratio .alpha.a n. This is because the high voice part is emphasized in meaning and may be an important content in the sentence. It seems to work in favor of understanding.
  • the pseudo fundamental frequency calculation unit 108 the pseudo fundamental frequency of the stable section before and after the pseudo fundamental frequency is calculated by spline interpolation or the like, but as a physical characteristic of general human speech, 2B, the change in the fundamental frequency rises to the right at the beginning of the talk from time 150ms, and the change in the fundamental frequency falls to the right immediately before the pause, that is, in the vicinity of time 1500ms in FIG. Therefore, although not shown in FIG.
  • the pseudo fundamental frequency of a certain pause section (including a section of only background sound) is often interpolated in a downwardly convex valley shape. That is, the value of envelope sample value F n of the fundamental frequency of that portion becomes relatively small, resulting in the speech speed conversion ratio .alpha.a n becomes high speech rate operates to quickened.
  • the first speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit a) 120 normalizes the whole using the median value.
  • the first speech speed conversion magnification designation unit (speech speed conversion magnification designation unit a) 120 regards the median value as 1.0, and the maximum value is the median value of the maximum value and the minimum value.
  • the maximum value is assumed to be 2.0, and a value between 0 and 2 is newly allocated in proportion to the sample values F n of the outlines of all fundamental frequencies, and the value is assigned to the unit time ( The provisional expansion / contraction rate F ′ n every 5 ms).
  • the provisional expansion / contraction rate F ′ n every 5 ms When the difference between the minimum value and the median value is larger among the maximum value and the minimum value, the same operation is performed with the minimum value regarded as 0.0. Or by performing the same operations after obtaining the logarithm logF n sample values F n of envelope of the fundamental frequency. Further, instead of the median, the mean value and the sample value F n of envelope of all of the fundamental frequency may be used an average value of the maximum and minimum values.
  • FIG. 2C shows a temporary expansion / contraction rate F ′ n corresponding to the approximate sample value F n of the fundamental frequency shown in FIG.
  • F ′ n is calculated based on the outline of the fundamental frequency by logF n .
  • Speech speed conversion-magnification determining device 1a operates in real time, when the sequentially input signals it is necessary to convert the speech speed is not determined that the number of sampled values F n of envelope of the fundamental frequency. Therefore, the first speech speed conversion magnification designation unit (speech speed conversion magnification designation unit a) 120 holds, for example, the value of the sample value F n of the rough shape of the fundamental frequency within the past 3 seconds, and the maximum value thereof. , The minimum value, the median value, or the like may be used to normalize the sample value F n of the approximate shape of the fundamental frequency at the current time, and this may be used as a temporary expansion / contraction rate F ′ n .
  • the smoothing unit 106 performs smoothing calculation using only the calculation results of the past and current fundamental frequencies.
  • the pseudo fundamental frequency calculation unit 108 also calculates an interpolation value using a spline function or the like using the output of the past smoothing unit 106.
  • the pseudo fundamental frequency since the change in the fundamental frequency decreases to the right at the end of the talk, if the pseudo fundamental frequency after that is interpolated using only the output of the past smoothing unit 106, the value decreases more and more. since going to deal with such provision lower limit to the pseudo fundamental frequency (e.g., 1/2 of the average value of sampled values F n of envelope of the fundamental frequency within the past 3 seconds).
  • the first speech speed conversion magnification specifying unit (speech speed conversion ratio specifying section a) 120 calculates the speech speed conversion ratio .alpha.a n.
  • the speech speed ⁇ n given to the n-th counting unit time (5 ms) from the beginning of the input signal is obtained by equations (2) and (3).
  • reproduction speed conversion magnification When a speech speed conversion magnification ⁇ (double speed ⁇ ) (hereinafter referred to as “reproduction speed conversion magnification”) is given to the entire input signal, this is finely adjusted by the following procedure.
  • the reproduction speed conversion magnification ⁇ an arbitrary value such as 0.5 to 5.0 can be set.
  • the speech speed conversion magnification fine adjustment unit 140 performs speech speed conversion on all input signal sections, and first calculates the length L 0 of the converted speech after connection as a whole.
  • the speech speed conversion ratio fine adjustment section 140 by the following equation (4), by determining the final speech speed conversion ratio alpha n speech speed conversion ratio .alpha.a n fine adjustment, the signal after the conversion
  • the total length can be adjusted to the length of time to be played.
  • the speech speed conversion magnification fine adjustment unit 140 When adjusting the voice speed conversion magnification fine adjustment unit 140 as frequently as possible at the same timing as the voice uniformly converted with the reproduction speed conversion magnification ⁇ , the speech speed conversion magnification fine adjustment unit 140 is not the entire length L of the input signal but is shorter.
  • the speech speed conversion magnification ⁇ n is corrected so as to finely adjust the length of the voice divided into units.
  • L L 1 + L 2 + ⁇ + L M is the speech speed conversion ratio fine adjustment section 140 L 1, L 2, ⁇ ⁇ ⁇ , each section of L M dividing the input waveform, in each divided section, the m th interval, first the speech speed conversion ratio .alpha.a n of the section of this m-th section by converting speech rate used, of connected converter speech
  • FIG. 3 is a flowchart showing the operation of the speech speed conversion magnification determining apparatus 1a according to the first embodiment.
  • the speech speed conversion magnification determination apparatus 1a inputs a signal for speech speed conversion (step S101).
  • the speech speed conversion magnification determination apparatus 1a determines a sound section and a silence section of the input signal by the sound / silence determination unit 102 (step S102).
  • the speech rate conversion magnification determination apparatus 1a calculates the fundamental frequency for each unit time by the fundamental frequency calculation unit 104 (step S103), and determines the degree of change in the fundamental frequency. Based on this, it is determined whether it is a stable section or an unstable section (step S104). If it is determined in step S104 that it is a stable section, the speech rate conversion magnification determination apparatus 1a smoothes the trajectory composed of the fundamental frequency of each stable section by the smoothing unit 106 (step S105).
  • the speech speed conversion magnification determination apparatus 1a uses the pseudo fundamental frequency calculation unit 108 to determine the stable section.
  • a pseudo fundamental frequency in a silent section and an unstable section is calculated (step S106).
  • the fundamental frequency cannot be stably calculated only for the background sound such as noise and music, the pseudo fundamental frequency is calculated.
  • the fundamental frequency is not calculated in the “silent period” detected in that part, and the value of the period in which the fundamental frequency is stably obtained is calculated. Interpolate with reference to determine the pseudo fundamental frequency.
  • the speech speed conversion magnification determination device 1a uses the fundamental frequency outline linking unit 110 to calculate the fundamental frequency value of the stable section trajectory smoothed in step S105, the silent section and the non-interval calculated in step S106.
  • the value of the pseudo fundamental frequency in the stable interval is connected to derive a sample value F n of the basic shape of the fundamental frequency (step S107).
  • the envelope sample value F n value is large portion of the fundamental frequency loosen the speech speed according to the degree that, in the partial value is smaller accelerate speech speed depending on the degree thereof. As a result, even when noise and background sound are mixed in the input signal, adaptive speech speed conversion can be stably performed while adjusting to the target time length as a whole.
  • the speech speed conversion magnification determination device 1a determines the final speech speed conversion magnification ⁇ n (step S109).
  • the speech speed conversion magnification determination device 1a of the present embodiment adaptive speech speed conversion is possible even when background sound and sound are mixed. Further, by providing the speech speed conversion magnification fine adjustment unit 140, an arbitrary reproduction speed conversion magnification ⁇ such as 1 ⁇ speed (reproduction with the original time length) or 2 ⁇ speed (reproduction with a time length that is half the real time) is given. When changing the speed at a magnification larger or smaller than the playback speed conversion magnification ⁇ depending on each part, the whole book is played back at the same time as the speech speed conversion at the uniform playback speed conversion magnification ⁇ .
  • the speech speed converted speech can be generated with the same time length as when the speech speed is converted with the uniform playback speed conversion magnification ⁇ . .
  • the divided parts are given to W 1 , W 2 , W 3 ,..., W N.
  • uniform reproduction speed conversion ratio alpha 1 for adapting to the length of time is, ⁇ 2, ⁇ 3, ⁇ , to adjust the balance out to play at the same time as that speech speed conversion alpha N Fine-tune the speaking speed sequentially.
  • FIG. 4 is a block diagram showing the configuration of the speech speed conversion apparatus according to the first embodiment of the present invention.
  • the speech speed conversion device 10 a includes the above-described speech speed conversion magnification determination device 1 a and the speech speed conversion unit 4.
  • the speech speed conversion unit 4 converts the input signal according to the speech speed conversion magnification determined by the speech speed conversion magnification determination device 1a.
  • the speech speed conversion unit 4 operates in real time, and when it is necessary to sequentially convert and output the input signal, the speech speed conversion unit 4 applies to the entire input signal or each part of the divided input signal. Given the length of time to be played back, the target signal to be output when it is expanded or contracted at a uniform magnification at a certain time interval, and the converted signal obtained by converting the input signal by the speech speed conversion magnification, Are compared with each other on the time series, and the information on the temporal shift is returned to the speech speed conversion magnification determination device 1a. In the speech speed conversion magnification fine adjustment unit 140 of the speech speed conversion magnification determination device 1a, according to the shift amount, Readjust the subsequent speech speed conversion magnification.
  • the speech speed conversion unit 4 uses the reproduction speed conversion magnification ⁇ to output a signal to be output when any part of the past input signal is expanded or contracted at a uniform magnification, and the speech speed conversion magnification determination device.
  • the signal output after the speech speed conversion is performed at an adaptive speech speed conversion magnification according to ⁇ n output from 1a is compared at a time interval of Lm on the signal time series. Then, when the output signal of the adaptive speech speed conversion at that time is the audio content temporally before the output signal of the virtual uniform expansion / contraction speech speed conversion (reproduction speed conversion magnification ⁇ is 1).
  • the speech speed conversion magnification fine adjustment unit 140 adds a fine adjustment that slightly shifts the speech speed conversion magnification ⁇ n given to each subsequent voice section to the high speed side according to the deviation amount.
  • a signal that is converted and output at an adaptive speech speed conversion magnification according to ⁇ n actually output from the speech speed conversion magnification determination device 1 a is output as a virtual one.
  • the playback speed conversion magnification ⁇ may be smaller or larger than 1
  • the speech speed conversion magnification fine adjustment unit 140 of the speech speed conversion magnification determination apparatus 1a returns to the speech speed conversion magnification fine adjustment unit 140.
  • the speech speed conversion magnification fine adjustment unit 140 reduces the speech speed conversion magnification ⁇ n to be given to each subsequent speech interval according to the deviation amount. A fine adjustment that shifts slightly to the speed side is added.
  • the speech speed conversion apparatus 10a is configured to convert between the signal that is output after being converted at the adaptive speed conversion factor and the voice that is virtually converted at the playback speed conversion factor ⁇ . Try to keep the amount of time shift as small as possible. As a result, the sequential signal input / output relationship in the real-time operation of the speech speed conversion magnification determination device 1a and the speech speed conversion unit 4 can be maintained. Therefore, when it is necessary to immediately output a signal obtained by converting the speech speed with respect to a signal sequentially input to the speech speed converter 10a, the speech speed converter can be configured as a real-time system.
  • a computer in order to function as the speech speed conversion magnification determination device 1a or the speech speed conversion device 10a, a computer can be preferably used, and such a computer realizes each function of the speech speed conversion magnification determination device 1a. It can be realized by storing a program describing the processing contents in a storage unit of the computer, and reading and executing the program by a central processing unit (CPU) of the computer.
  • CPU central processing unit
  • the speech speed conversion magnification determination device 1a or the speech speed conversion device 10a can be operated as a program for a personal computer or an application that operates on a mobile device such as a portable music player or a smartphone.
  • the program describing the processing contents can be recorded on a computer-readable recording medium such as a DVD or CD-ROM, and the recording medium can be distributed by selling, transferring, lending, etc.
  • the program can be distributed by storing the program in a storage unit of a server on a network such as an IP and transferring the program from the server to another computer via the network.
  • a computer that executes such a program can temporarily store, for example, a program recorded on a recording medium or a program transferred from a server in its storage unit.
  • the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer.
  • the processing according to the received program may be executed sequentially.
  • FIG. 5 is a block diagram showing the configuration of the speech speed conversion magnification determining apparatus according to the second embodiment of the present invention. Similar to the speech speed conversion magnification determining apparatus 1a of the first embodiment, the speech speed conversion magnification determining apparatus 1b of the present embodiment calculates the physical index of the input signal for each segment obtained by dividing the input signal for each unit time. The index calculation unit 2 and the speech speed conversion magnification determination unit 3 that determines the speech speed conversion magnification ⁇ n to be specified for each segment of the input signal based on the physical index input from the physical index calculation unit 2.
  • the physical index calculation unit 2 further includes a power outline calculation unit 200 in the speech speed conversion magnification determination device 1b of the second embodiment.
  • the speech speed conversion magnification determination unit 3 further includes a second speech speed conversion magnification designation unit (speech speed conversion magnification designation unit b) 220.
  • the power outline calculating unit 200 includes a power calculating unit 202 and a smoothing unit 204.
  • Speech speed conversion magnification determining device 1b of this embodiment the comprehensive, and F n representing the envelope of the fundamental frequency per unit time in the input signal, approximate the change in the value of power per unit time in the input signal Using two “physical indices” of P n representing the shape, the speech speed conversion magnification ⁇ n to be specified for each segment of the input signal is determined and the speech speed conversion is performed to generate an output signal subjected to the speech speed conversion. Output.
  • the first speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit a) 120 has an outline of the basic frequency. considering contribution to the speech speed in the form of sampled values F n, for example, by the following equation (5) to (7), calculates a speech speed conversion ratio .alpha.a n.
  • Ra is a contribution rate to the speech speed specified by the sample value F n of the basic shape of the fundamental frequency, and 0 ⁇ Ra ⁇ 1.
  • FIG. 5 is a diagram illustrating an example of calculation of a power outline and determination of a provisional expansion / contraction rate.
  • the power calculation unit 202 calculates the power of the input signal every unit time (5 ms) and outputs it to the smoothing unit 204.
  • the power can be obtained by the sum of squares of each sample value after weighting the input signal waveform by a window function such as a Hamming window having a time width of about 20 ms.
  • a window function such as a Hamming window having a time width of about 20 ms.
  • the method described using Equation (1) can be given.
  • FIG. 6A is a diagram illustrating an example of an input signal waveform.
  • FIG. 6B shows the power for each unit time of the input signal shown in FIG.
  • the smoothing unit 204 smoothes the power trajectory calculated for each unit time so that the power input from the power calculation unit 202 becomes a smoother trajectory.
  • the sampled value P n (hereinafter referred to as “sample value of power outline”) is calculated and output to the second speech speed conversion magnification designation unit (speech speed conversion magnification designation unit b) 220.
  • speech speed conversion magnification designation unit b speech speed conversion magnification designation unit 220.
  • the second speech speed conversion magnification specification unit (speech speed conversion ratio specifying section b) 220 in partial value is large envelope sample value P n of the power, reducing the relatively speech speed conversion ratio (slow story In the portion where the sample value Pn of the outline of the power is small, the speech speed conversion magnification is basically increased (to make the speech speed faster). That is, the relative speech speed conversion magnification decreases in a portion where the voice (power) is high, and the relative speech speed conversion magnification increases in a portion where the voice is low. This is because the meaning of the loud part of the voice is emphasized and it may be important content in the sentence. It can be expected to work in favor of understanding. In addition, it is considered that the silent section has little adverse effect on the understanding of the content even if the speech speed is relatively increased.
  • the second speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit b) 220 normalizes the whole using the median value.
  • the second speech speed conversion magnification designation unit (speech speed conversion magnification designation unit b) 220 regards the median value as 1.0, and the maximum value is the median value of the maximum value and the minimum value.
  • the maximum value is assumed to be 2.0, and a value between 0 and 2 is newly allocated in proportion to the sample values P n of the outlines of all powers, and the value is assigned to the unit time (5 ms). ) defined as the temporary scaling factor P 'n of each.
  • the same operation is performed with the minimum value regarded as 0.0.
  • the mean value and the sample value P n envelope of all power may be used an average value of the maximum and minimum values.
  • FIG. 6C shows a provisional expansion / contraction rate P ′ n corresponding to the approximate sample value P n of the power shown in FIG. 6B.
  • P ′ n is calculated based on the outline of power by log P n .
  • the speech speed conversion magnification designation unit (speech speed conversion magnification designation unit b) 220 holds, for example, the value of the sample value P n of the outline of the power within the past 3 seconds, the maximum value, minimum, or by using a median value or the like, the value of the sample value P n envelope of the power of the current time is normalized, this may be a scaling factor P 'n provisional.
  • the smoothing unit 204 performs smoothing calculation using only the past and current power calculation results.
  • the speech speed conversion magnification ⁇ b n is calculated from the equations (8) to (10).
  • Rb is a contribution rate to the speech speed specified by the sample value P n of the power outline, and 0 ⁇ Rb ⁇ 1.
  • each value of the contribution rate Ra of the equations (5) to (7) and the contribution rate Rb of the equations (8) to (10) is the program genre (news, documentary, drama, variety, If you know rakugo, comic story, etc.), adaptive speech speed conversion with higher ease of hearing and higher naturalness is possible by optimizing the value distribution ratio accordingly.
  • by adjusting the values of the contribution ratios Ra and Rb depending on the language used for the speech speed conversion it is possible to obtain converted speech with a more natural way of listening in each language.
  • the reproduction speed conversion magnification ⁇ an arbitrary value such as 0.5 to 5.0 can be set.
  • the speech speed conversion ratio fine adjustment section 140 calculates the speech speed conversion ratio ⁇ ab n.
  • the speech speed conversion magnification fine adjustment unit 140 wants to synchronize with the same timing as the voice uniformly converted with the reproduction speed conversion magnification ⁇ as frequently as possible, the length L of the entire input signal is the same as in the first embodiment. Instead, it is only necessary to correct ⁇ n so as to make fine adjustments to the length of the audio divided into shorter units.
  • L L 1 + L 2 + ⁇ + L M is the speech speed conversion ratio fine adjustment section 140 L 1, L 2, ⁇ ⁇ ⁇ , each section of L M dividing an input signal waveform, in each divided section, the m th interval, first the speech speed conversion ratio of each part per unit time (5 ms) of the section ⁇ ab n ( ⁇ a n ⁇ ⁇ b n or .alpha.a n + .alpha.b n ) is used to convert the speech speed of the m-th section, and the partial length Lm 0 of the connected converted speech is calculated first, and Lm is substituted for L in equation (11) and L 0 is substituted for L 0 .
  • Fine adjustment is performed by setting Lm 0 to determine the speech speed conversion magnification ⁇ n and converting the speech speed again.
  • the speech speed conversion (waveform expansion / contraction) method for realizing the speech speed conversion magnification ⁇ n can be the same as in the first embodiment.
  • FIG. 7 is a flowchart illustrating the operation of the speech speed conversion magnification determination apparatus 1b according to the second embodiment. Steps S201 to S208 are the same as steps S101 to S108 of the operation of the speech speed conversion magnification determining apparatus 1a of the first embodiment shown in FIG.
  • the speech speed conversion magnification determination apparatus 1b calculates the power of the input signal by the power calculation unit 202 (step S209). Then, the speech speed conversion magnification determining apparatus 1b smoothes the calculated power trajectory by the smoothing unit 204, and derives a sample value P n of the approximate power shape (step S210).
  • the speech speed conversion magnification determination apparatus 1b uses the second speech speed conversion magnification designation unit (speech speed conversion magnification designation unit b) 220 to convert the speech speed based on the value of the sample value P n of the power outline.
  • the magnification ⁇ b n is calculated (step S211).
  • the speech speed conversion ratio determination device 1b, the speech speed conversion ratio fine adjustment section 140 obtains the speech speed conversion ratio alpha n from the speech speed conversion ratio .alpha.a n and .alpha.b n.
  • ⁇ n is finely adjusted as the final speech speed conversion magnification (step S212).
  • the speech speed conversion magnification ⁇ n is obtained based on the fundamental frequency and the power, for example, the power only in the background sound (BGM or the like) portion. Even when is large, it is possible to determine that the speech speed is increased in a portion where the pseudo fundamental frequency shows a small value.
  • the following advantages can be obtained by adding the power value to the speech speed control.
  • the power is high at the part where the fundamental frequency is high.
  • Such a part is often a vowel part, and the fundamental frequency is stably calculated in the vowel part. Therefore, if the speech speed is relaxed at a large fundamental frequency and power value, the probability of slowing the speech speed around the vowel part is high.
  • the target voice to be converted to speech speed is broadcast voice
  • the genre of the program (news, documentary, drama, variety, rakugo / comic) is given as meta information that has been developed in recent years. Further, by optimizing the distribution rate of the multiplication value and the exponent value (contribution rate) to the speech rate conversion magnification, adaptive speech rate conversion with higher ease of listening and higher naturalness becomes possible.
  • the speech speed conversion device 10b of the second embodiment is a speech determined by the above-described speech speed conversion magnification determination device 1b and the speech speed conversion magnification determination device 1b.
  • a speech speed conversion unit 4 for converting the speech speed of the input signal according to the speed conversion magnification The operation when the speech speed conversion device 4 needs to operate in real time is the same as that of the first embodiment.
  • a computer can be suitably used to function as the speech speed conversion magnification determination device 1b or the speech speed conversion device 10b.
  • Such a computer can be used as the speech speed conversion magnification determination device 1b. It can be realized by storing a program describing the processing contents for realizing each function in the storage unit of the computer, and reading and executing the program by a central processing unit (CPU) of the computer. .
  • CPU central processing unit
  • the program describing the processing contents can be recorded on a computer-readable recording medium such as a DVD or CD-ROM, and the recording medium can be distributed by selling, transferring, lending, etc.
  • the program can be distributed by storing the program in a storage unit of a server on a network such as an IP and transferring the program from the server to another computer via the network.
  • a computer that executes such a program can temporarily store, for example, a program recorded on a recording medium or a program transferred from a server in its storage unit.
  • the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer.
  • the processing according to the received program may be executed sequentially.
  • FIG. 8 is a block diagram showing the configuration of the speech speed conversion magnification determination apparatus according to the third embodiment of the present invention.
  • the speech speed conversion magnification determination device 1c according to the present embodiment is similar to the speech speed conversion magnification determination device 1a according to the first embodiment and the speech speed conversion magnification determination device 1b according to the second embodiment.
  • the physical index calculation unit 2 that calculates the physical index of the input signal for the segment, and the speech speed conversion magnification ⁇ n to be specified for each segment of the input signal are determined based on the physical index input from the physical index calculation unit 2.
  • the physical index calculation unit 2 further includes an auxiliary physical index calculation unit in the speech speed conversion magnification determination device 1c of the third embodiment.
  • the voiced outline calculation unit 300, the fundamental frequency outline calculation unit 400, the unevenness calculation unit 410, the power outline calculation unit 500, the unevenness calculation unit 510, and the frequency band division / power calculation unit. 600 and a divided band power ratio calculation unit 610, and the speech speed conversion magnification determination unit 3 is a speech speed conversion magnification specification unit (speech speed conversion magnification specification unit based on an auxiliary physical index).
  • the power outline calculating unit 200 includes a power calculating unit 202 and a smoothing unit 204.
  • the voiced outline calculation unit 300 includes a voiced calculation unit 302 and a smoothing unit 304.
  • the frequency band division / power calculation unit 600 includes a spectrum calculation unit 602, a band division unit 604, and a power calculation unit 606.
  • the internal configuration of the basic frequency outline calculator 400 is the same as that of the basic frequency outline calculator 100, and the internal configuration of the power outline calculator 500 is the same as that of the power outline calculator 200.
  • the voicing degree calculation unit 302 obtains an autocorrelation function R ( ⁇ ) from the input signal waveform including background sound such as broadcast sound, and obtains the voicing degree using the autocorrelation function R ( ⁇ ).
  • the autocorrelation function R ( ⁇ ) is derived from the following equation (12), and the voicing degree u is derived from the following equation (13).
  • u W ( ⁇ ) ⁇ R ( ⁇ ) max / R (0) (13)
  • R (tau) max as shown in FIG. 9 (b)
  • ⁇ > is the maximum value at 0.
  • ⁇ is a time delay amount
  • W ( ⁇ ) is a weight according to the value of ⁇ giving R ( ⁇ ) max .
  • the number of zero crossings of the input signal waveform per unit time (5 ms) can be counted, and the reciprocal of this count value can be obtained.
  • the voicing degree u is reliably calculated every unit time (5 ms) in any part of the input signal, but the value does not always change smoothly. Therefore, the smoothing unit 304 calculates U n (hereinafter referred to as “sample value of outline of voicedness”) obtained by smoothing the locus of voicedness for each unit time input from the voicedness calculating unit 302.
  • the third speech speed conversion magnification designation unit (speech speed conversion magnification designation unit c) 320 outputs the result. For this smoothing, it is preferable to use a low-pass filter having a cutoff frequency of about 3 to 6 Hz.
  • Third speech speed conversion magnification specification unit (speech speed conversion ratio specifying section c) 320 depending on the value of the sample value U n of the envelope of Yukoedo calculates the speech speed conversion ratio .alpha.c n. A case where an autocorrelation function is used will be described.
  • the sample value U n of the envelope of Yukoedo takes a value in the range of about -0.2 to 1.2.
  • the basic frequency outline calculation unit 400 operates in the same manner as the basic frequency outline calculation unit 100 described in the first embodiment, and outputs a sample value F n of the basic frequency outline for each unit time.
  • Uneven calculator (fundamental frequency unevenness degree calculation unit) 410 asperity representing a change trend of the sampled values F n envelope of the fundamental frequency (hereinafter, referred to as "irregularity of the envelope of the fundamental frequency") S n Is calculated.
  • uneven calculator (fundamental frequency unevenness degree calculation unit) 410 to the sample value F n of envelope of the fundamental frequency, using the value Fb n front 30ms, respectively, and a value Fa n of rear 30ms Te, and (F n -Fb n) and (F n -Fa n) asperity S n an average value of the envelope of the fundamental frequency of, for calculating the degree of maximum or minimum.
  • the maximum or minimum is a value close to zero. It should be noted that out of the irregularities S n of the rough shape of the fundamental frequency, the values having the largest absolute values are used to normalize the irregularities S n of the rough shapes of all the fundamental frequencies. Therefore, the value of irregularity level S n of envelope of the fundamental frequency of the order of maximum or minimum is -1 to 1.
  • the value of irregularity level S n of envelope of the fundamental frequency also becomes -1 to 1.
  • the second-order differentiation of a function takes a positive value when the function is a minimum and takes a negative value when the function is a maximum.
  • the larger the absolute value the stronger the maximum / minimum degree (the unevenness is sharper). Since the second difference for any continuous curve is considered to second derivative equivalent, you can treat this S n as envelope of the unevenness of the fundamental frequency.
  • Fourth speech speed conversion magnification specification unit (speech speed conversion ratio specifying section d) 420 depending on the value of the irregularity degree S n of envelope of the fundamental frequency of each unit time (5 ms), the value of S n is a positive the loosening the speech speed when, when the negative and to speed up the speech rate, for example, by the following equation (17) to (19), calculates the speech speed conversion ratio .alpha.d n.
  • Rd is a contribution rate to the speech rate conversion magnification specified by the rough shape of the fundamental frequency, and 0 ⁇ Rd ⁇ 1.
  • the basic method is the same as the case of using the rough shape of the basic frequency.
  • the unevenness calculation unit 510 calculates the unevenness of the peaks and valleys for the output of the power outline calculation unit 500.
  • the basic frequency outline calculation unit 500 operates in the same manner as the power outline calculation unit 200 described above, and a power outline sample value P n is output every unit time (5 ms).
  • the unevenness degree calculation unit (power unevenness degree calculation unit) 510 calculates an unevenness degree (hereinafter referred to as “power outline shape unevenness degree”) Q n representing a change tendency of the sample value P n of the power outline. .
  • Q n an unevenness degree
  • the sample value P n envelope of the power with the value Pb n front 30ms, respectively, the value Pa n of rear 30ms, (P n -Pb n) and (P n -Pa n ) Is the degree of unevenness Q n of the approximate shape of power, and the degree of maximum or minimum is calculated.
  • the maximum or minimum is a value close to zero.
  • the value of irregularity level S n of envelope power of the order of maximum or minimum is -1 to 1.
  • the fifth speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit e) 520 has a positive Q n value according to the rough roughness Q n value of the power shape per unit time (5 ms). time loosening the speech speed, when the negative and to speed up the speech rate, for example, by the following equation (20) to (22), calculates the speech speed conversion ratio .alpha.e n.
  • Re is a contribution rate to the speech rate conversion magnification specified by the rough shape of the power, and 0 ⁇ Re ⁇ 1.
  • the frequency band division / power calculation unit 600 calculates the power spectrum of the input signal, and calculates the normalized power in the first frequency band and the normalized power in the frequency band higher than the first frequency band.
  • the spectrum calculation unit 602 converts a time-domain waveform into a frequency domain by fast Fourier transform (FFT) for each unit time (5 ms) with respect to an input signal, and a logarithmized power spectrum ( The unit is dB).
  • FFT fast Fourier transform
  • the band dividing unit 604 divides the power spectrum input from the spectrum calculating unit 602 into a plurality of frequency bands. For example, the frequency band B1: 0 to 300 Hz, the frequency band B2: 300 to 1500 Hz, the frequency band B3: 1500 to 3000 Hz, the frequency band B4: 3000 to 8000 Hz, the frequency band B5: 8000 Hz or more are divided.
  • the power calculation unit 606 calculates normalized power for the lower frequency band and the higher frequency band, respectively. For example, here, the frequency band B2 is selected as the lower frequency band, and the frequency band B4 is selected as the higher frequency band.
  • the normalized power is calculated by summing each value by the number of power spectra included in each frequency band and then dividing by the number.
  • the power calculation unit 606 outputs the calculated normalized power of the frequency band B2 and the frequency band B4 to the divided band power ratio calculation unit 610.
  • the divided band power ratio calculation unit 610 has a logarithmized difference between the normalized power on the low frequency side and the normalized power on the high frequency side input from the power calculation unit 606. As a difference, The normalized power on the high frequency side is subtracted from the normalized power (that is, the ratio of the normalized power is obtained). Usually, the difference is about 10 dB to 40 dB. Then, the locus of the calculated the value for each unit time (5 ms) smoothes the ratio of the normalized power of the divided frequency bands (hereinafter, referred to as split band power ratio) is calculated E n, the sixth The data is output to the speech speed conversion magnification designation unit (speech speed conversion magnification designation unit f) 620. For this smoothing, it is preferable to use a low-pass filter having a cutoff frequency of about 3 to 6 Hz.
  • Speech speed conversion magnification specification unit (speech speed conversion ratio specifying section f) 620, if the subband power ratio E n is greater than 25dB will loosen the speech speed, if 25dB less split-band power ratio E n The speech speed is increased.
  • the speech speed conversion magnification ⁇ f n is calculated by the following equations (23) to (25).
  • Rc in formulas (14) to (16), Rd in formulas (17) to (19), Re in formulas (20) to (22), and Rf in formulas (23) to (25) The values are adjusted in the same row as Ra of 5) to (7) and Rb of formulas (8) to (10).
  • the genre of the program news, documentary, drama, variety, rakugo / comic
  • the distribution ratio of the values is optimized accordingly, making it easier to hear and more natural. Highly adaptive adaptive speech speed conversion is possible.
  • this is finely adjusted according to the following procedure.
  • the length L 0 of the converted speech after connection is calculated first as a whole.
  • the speech speed conversion magnification ⁇ af n of each part is finely adjusted to determine the final speech speed conversion magnification ⁇ n , so that the length of the entire converted signal is to be reproduced. Can be adjusted to the length.
  • ⁇ n ⁇ af n ⁇ L 0 / (L / ⁇ ) (26)
  • the speech speed conversion magnification fine adjustment unit 140 When adjusting the voice speed conversion magnification fine adjustment unit 140 as frequently as possible at the same timing as the voice uniformly converted with the reproduction speed conversion magnification ⁇ , the speech speed conversion magnification fine adjustment unit 140 is not the entire length L of the input signal but is shorter. What is necessary is just to correct (alpha) n so that fine adjustment may be performed with respect to the audio
  • L L 1 + L 2 + ⁇ + L M is the speech speed conversion ratio fine adjustment section 140 L 1, L 2, ⁇ ⁇ ⁇ , each section of L M dividing the input waveform, in each divided section, the m-th segment, firstly speaking speed of each part per unit time (5 ms) of the section conversion ratio ⁇ af n ( ⁇ a n ⁇ ⁇ b n ⁇ ⁇ c n ⁇ ⁇ d n ⁇ ⁇ e n ⁇ ⁇ f n or ⁇ a n + ⁇ b n + ⁇ c n + ⁇ d n + ⁇ e n + ⁇ f n ) is used to perform speech speed conversion of the m-th interval, and the partial length Lm 0 of the connected converted speech is calculated first.
  • FIG. 10 is a flowchart illustrating the operation of the speech speed conversion magnification determination apparatus 1c according to the third embodiment.
  • the speech speed conversion magnification determination apparatus 1c inputs a signal for speech speed conversion (step S301).
  • the speech speed conversion ratio determination device 1c the fundamental frequency envelope calculator 100 derives a sample value F n of envelope of the fundamental frequency (step S302)
  • the power envelope the calculation unit 200 derives a sample value P n of the envelope power
  • the Yukoedo envelope calculator 300 derives a sample value U n of Yukoedo outline (step S304)
  • the fundamental frequency the envelope calculation section 400 and the uneven degree calculation unit 410 derives the degree of unevenness S n of envelope of the fundamental frequency (step S305)
  • the power envelope calculation unit 500 and the uneven calculator 510 the outline of the power derives asperity Q n (step S306)
  • the frequency band dividing power calculating unit 600 and the divided band power ratio calculation section 610 derives a split
  • the speech speed conversion magnification determining apparatus 1c is operated by the first speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit a) 120. calculating a speech speed conversion ratio .alpha.a n (step S308).
  • the speech speed conversion magnification determining apparatus 1c uses the second speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit b) 220 to speak.
  • the speed conversion magnification ⁇ b n is calculated (step S309).
  • step S304 If sample value U n of the chromatic Koedo envelope is derived in step S304, speech speed conversion-magnification determining device 1c, the third speech speed conversion magnification specification unit (speech speed conversion ratio specifying section c) 320, Talk calculating the speed conversion ratio .alpha.c n (step S310).
  • speech speed conversion-magnification determining device 1c When asperity S n of envelope of the fundamental frequency is derived in step S305, speech speed conversion-magnification determining device 1c, the fourth speech speed conversion magnification specification unit (speech speed conversion ratio specifying section d) 420, calculating a speech speed conversion ratio .alpha.d n (step S311).
  • the speech speed conversion magnification determining apparatus 1c uses the fifth speech speed conversion magnification specifying unit (speech speed conversion magnification specifying unit e) 520 to speak. calculating the speed conversion ratio .alpha.e n (step S312).
  • the speech speed conversion ratio determination device 1c, the sixth speech speed conversion magnification specification unit (speech speed conversion ratio specifying section f) 620, the speech speed conversion ratio ⁇ f n is calculated (step S313).
  • speech speed conversion-magnification determining device 1c the speech speed conversion ratio fine adjustment section 140, obtains the speech speed conversion ratio alpha n from the speech speed conversion ratio ⁇ a n ⁇ ⁇ f n.
  • ⁇ n is finely adjusted as the final speech speed conversion magnification (step S314).
  • the speech speed conversion magnification determination apparatus 1c has the following advantages when the sampled value U n (speech speed conversion magnification ⁇ c n ) of the outline of voicedness is used in combination. As described above, this physical index can be obtained at all positions of the input signal. It can also be calculated even when background sounds (music and noise) are mixed. Usually, the vowel part is highly voiced. In addition, a completely silent part or a background sound such as music or noise in which various sound frequency components are generally mixed has low voicedness. Therefore, by slowing the speech speed at high voiced levels and increasing the speech speed at low voiced levels, even when background sounds are mixed, the speech speed is reduced at the vowel part, which is an important part of speech. , the portion of only complete silence and background sound voice speed is accelerated, in addition to the sample value F n of envelope of the fundamental frequency, voicing rate also by adding, as an entire input signal, more stable effective Adaptive speech speed conversion becomes possible.
  • the speech speed conversion magnification determination device 1c has the following advantages when the rough shape S n (speech speed conversion magnification ⁇ d n ) of the rough shape of the fundamental frequency is used in combination.
  • the speaking speed is slowed down when the fundamental frequency is high and the speaking speed is increased when the fundamental frequency is low”.
  • the technique described in Patent Document 1 “slows the speech speed when the fundamental frequency is high, and accelerates the speech speed when the fundamental frequency is low”. There is a tendency for male voices to always be faster because they are low.
  • the convex part can slow down the speech speed, and the concave part can speed up the speech speed, and it is possible to adaptively control the speech speed with fair distribution to both men and women.
  • the speech speed conversion magnification determination device 1c has the following advantages when the rough shape Q n (speech speed conversion magnification ⁇ e n ) of the power outline is used together. For example, when considering a drama or a lecture, it is often the case that one sentence is uttered with a loud voice and the next one sentence is suddenly uttered with a small voice. With respect to such an input signal, in the speech speed conversion magnification determination apparatus 1b according to the second embodiment, there is a tendency that a sentence with a loud voice relatively slows down and a sentence with a low voice relatively accelerates. .
  • the speech speed conversion magnification determining apparatus 1c has the following advantages when the divided band power ratio E n (speech speed conversion magnification ⁇ f n ) is used in combination.
  • E n speech speed conversion magnification ⁇ f n
  • Patent Documents 4 and 5 by comparing the powers of a plurality of bands of the frequency spectrum in the steady state and the corresponding bands of the frequency spectrum of the input signal, it is determined whether the input signal is a “voice section” or “silent section”.
  • the frequency spectrum is divided into a plurality of bands
  • the “power ratio between the lower side and the higher side of two bands when the frequency spectrum is divided into a plurality of bands” of the present invention is compared with the power of the spectrum in the steady state.
  • the combined use of the subband power ratio E n targeting only the frequency spectrum of a certain moment the input signal in order to determine the speech rate on the basis of the two bands of the low side and high side power ratio of certain of its
  • the speech speed can be controlled stably.
  • it is possible to perform control such as slowing the speech speed when the power on the high side is small relative to the power on the low side, and increasing the speech speed when the power on the high side is large relative to the power on the low side.
  • This “power ratio between the low side and the high side of the two bands” varies depending on the type of the input signal, such as voice interval, music, noise, and silence.
  • the speech speed can be reduced in the voice section, and the speech speed can be increased in the music, noise, and silence sections.
  • the speech speed conversion device 10c of the third embodiment is a speech determined by the above-described speech speed conversion magnification determination device 1c and the speech speed conversion magnification determination device 1c.
  • a speech speed conversion unit 4 for converting the speech speed of the input signal according to the speed conversion magnification The operation when the speech speed conversion device 4 needs to operate in real time is the same as that of the first embodiment.
  • a computer can be suitably used to function as the speech speed conversion magnification determination device 1c or the speech speed conversion device 10c.
  • Such a computer can be used as the speech speed conversion magnification determination device 1c. It can be realized by storing a program describing the processing contents for realizing each function in the storage unit of the computer, and reading and executing the program by a central processing unit (CPU) of the computer. .
  • CPU central processing unit
  • the program describing the processing contents can be recorded on a computer-readable recording medium such as a DVD or CD-ROM, and the recording medium can be distributed by selling, transferring, lending, etc.
  • the program can be distributed by storing the program in a storage unit of a server on a network such as an IP and transferring the program from the server to another computer via the network.
  • a computer that executes such a program can temporarily store, for example, a program recorded on a recording medium or a program transferred from a server in its storage unit. Further, as another embodiment of the program, the computer may read the program directly from the recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer, The processing according to the received program may be executed sequentially.
  • the present invention is useful for any application that requires speech speed conversion. For example, it is possible to listen to television or radio sound slowly in real time, or to record it once on a hard disk recorder or the like for viewing slowly or quickly. In addition, there is a demand from a visually impaired person to efficiently listen to audio information. By using the present invention, it is possible to reproduce and listen to a recording book for a visually impaired person at high speed. Furthermore, in a language learning or utterance training system, it can be used when creating the teaching material, or it can be used for learning by converting the speech speed of the voice according to the learner's progress.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　背景音と音声が混合している場合でも、安定して適応的な話速変換倍率を決定する。　話速変換倍率決定装置１ａは、入力信号の有音区間と無音区間とを判別する有音無音判定部１０２と、有音区間にて入力信号の基本周波数を算出するとともに安定区間と不安定区間とを決定する基本周波数算出部１０４と、安定区間にて基本周波数の時間変化を平滑化する周波数平滑化部１０６と、不安定区間及び無音区間にて基本周波数を内挿した擬似基本周波数を算出する擬似基本周波数算出部１０８と、平滑化された基本周波数及び擬似基本周波数を接続して基本周波数の概形の標本値を得る基本周波数概形連結部１１０とを有し、基本周波数の概形の標本値を物理指標として出力する物理指標算出部２と、この物理指標に基づいて話速変換倍率を算出する話速変換倍率指定部１２０とを備える。

Description

話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 関連出願の相互参照
　本出願は、２０１１年１月２８日に出願された日本国特許出願２０１１－０１７２３２号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、入力信号の話速（話す速さ）の適応的な変換倍率を決定する話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体に関するものである。
　従来の適応的に話速変換を行う技術では、１倍速（実時間で再生）や２倍速（実時間の半分の時間で再生）といった任意の再生速度が与えられた場合に、入力信号全体に渡って一様な倍率αで速度を変えるのではなく、各部分によって倍率αより大きい倍率や小さい倍率で速度を変えることで、全体としては一様な倍率αで話速変換したのと同じ時間で再生するように帳尻を合わせながら、聞く人にとっては、一様な倍率αで話速変換した場合よりも「ゆっくりと聞き取りやすい」話速変換音声の生成を行うことを目的としている。
　そのために、（１）基本周波数の高いところは話速を緩め、基本周波数の低いところでは話速を速めること、（２）一息で発声する区間を単位として、その開始部分では話速を緩め、終了点に向かって基本周波数の変化に応じて徐々に話速を速めること、（３）一息で発声する区間同士の間にある無音区間を聴感上違和感のない範囲で短縮すること、などを行う技術が知られている（例えば、特許文献１参照）。
　また、一定以上長い無音区間をポーズ区間とし、ポーズ区間に挟まれた音声区間において、その開始点で話速を緩めるとともに一定時間Ｔにわたり所定の減少関数に基づき話速を速くしていき、一定時間Ｔの経過後は、各有声区間における最大基本周波数の大小関係を考慮して話速を緩める率を変える技術が知られている（例えば、特許文献２参照）。
　また、特許文献１や特許文献２に開示された話速制御において、ポーズ区間に挟まれた音声区間内の短い無音区間に対しても聴感上違和感のない範囲で短縮することを許すとともに、話速変換音声の各部分が、一様な倍率αで話速変換した場合に想定される時刻に対して合っているかほとんど遅れていない場合はその後の話速をできるだけ緩めるように設定し、一様な倍率αで話速変換した場合に想定される時刻に対して遅れている程度が大きい程、その後の話速を緩める度合いをより控えるように設定することで、話速変換音声の各部分が、一様な倍率αで話速変換した場合に想定される時刻に対してできるだけずれを少なくする技術が知られている（例えば、特許文献３参照）。
　さらに、入力信号を音声区間と無音区間に分け、音声区間の話速は緩め、無音区間は短縮すると、音声区間の話速を緩めたことにより単位時間当たりの入力信号長に対して出力音声長が延びるため、一時的にメモリに話速変換後の音声を蓄積する必要が生じるが、メモリ量に上限がある。そのため、メモリ量の残量に応じて、音声区間の話速を徐々に速めたり無音区間の削除量を増やしたりする技術が知られている（例えば、特許文献４及び５参照）。
　その他、入力信号の大きさ（パワー）や高さ（基本周波数）の増減と話速が反比例する係数か、又は、入力信号の大きさや高さの数値のｎ乗に話速が反比例する係数によって各部分の話速を決定する技術も知られている（例えば、特許文献６参照）。
特許第３２４９５６７号公報 特許第３２１９８９２号公報 特許第３２２００４３号公報 特許第３３５７７４２号公報 特許第３３７３９３３号公報 特許第３６１９９４６号公報
　特許文献１～５に記載の技術に共通していることは、入力信号を音声のある音声区間と音声のない無音区間とに分け、音声区間では、何らかの情報に基づいてその継続時間を部分ごとに伸縮し、無音区間は短縮して、総合的に全体の音声時間長を調整することである。しかし、入力信号が人の声だけの場合は、これらの方式に問題はないが、放送番組など、背景音と音声が混合している場合に、音声のない背景音だけの区間が、“無音区間”と判定されるか“音声区間”と判定されるかは保証の限りではなく、誤判定が生じた場合には正しい動作は期待できず、話速変換音声は聞きづらいものとなるおそれがある。
　特許文献６に関しては、入力音声の大きさ（パワー）は入力音声の全ての区間で求めることができるが、入力音声の高さ（基本周波数）は、声のあるところであってしかも声帯が振動している“有声音区間”でしか正しく求めることができない。したがって特許文献６に関しても、背景音と音声が混合している場合には、音声のない背景音だけの区間においてはパワーが大きく基本周波数は正しく求められないため、本来音声ではない区間なので話速を速めなければならないにも関わらず、パワーが大きいことからむしろ話速を緩めてしまうことが考えられる。
　このように、従来の話速変換方法においては、背景音と音声が混合している場合には、音声のある音声区間と、音声のない無音区間の判定が正しく行われない状態になると、適応的な話速変換が期待通りに動作しないという問題があった。
　本発明の目的は、上記問題を解決するため、背景音と音声が混合している場合でも、安定して適応的な話速変換倍率を決定可能な話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体を提供することにある。
課題を解決しようとするための手段
　上記課題を解決するために、本発明に係る話速変換倍率決定装置は、入力信号の話速の適応的な変換倍率を決定する話速変換倍率決定装置であって、入力信号の有音区間と無音区間とを判別する有音無音判定部と、前記有音区間において一定の時間間隔で入力信号の基本周波数を算出するとともに、該基本周波数の値が所定の変化幅内で変化する安定区間、及び該基本周波数の値が所定の変化幅を超えて変化する不安定区間を決定する基本周波数算出部と、前記安定区間において、前記基本周波数の時間変化を平滑化する周波数平滑化部と、前記不安定区間及び前記無音区間において、前記平滑化された安定区間における基本周波数の値を参照して、基本周波数を内挿した擬似基本周波数を算出する擬似基本周波数算出部と、前記平滑化された基本周波数及び前記擬似基本周波数を接続して、一続きの基本周波数の概形の標本値を得る基本周波数概形連結部と、を有し、前記基本周波数の概形の標本値を物理指標として出力する物理指標算出部と、前記物理指標に基づいて、入力信号に指定すべき話速変換倍率を算出する話速変換倍率指定部と、を備えることを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、前記物理指標算出部は、一定の時間間隔で入力信号のパワーを算出するパワー算出部と、前記パワーの時間変化を平滑化してパワーの概形の標本値を得るパワー平滑化部と、を備え、前記基本周波数の概形の標本値及び前記パワーの概形の標本値を前記物理指標として出力することを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、前記物理指標算出部は、入力信号波形から有声度を求める有声度算出部と、前記有声度の時間変化を平滑化して有声度の概形の標本値を得る有声度平滑化部と、を備え、前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記有声度の概形の標本値を前記物理指標として出力することを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、前記物理指標算出部は、前記基本周波数の概形の変化傾向を表す、基本周波数の概形の凹凸度を算出する基本周波数凹凸度算出部を備え、前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記基本周波数の概形の凹凸度を前記物理指標として出力することを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、前記物理指標算出部は、前記パワーの概形の変化傾向を表す、パワーの概形の凹凸度を算出するパワー凹凸度算出部を備え、前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記パワーの概形の凹凸度を前記物理指標として出力することを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、前記物理指標算出部は、入力信号のパワースペクトルを算出し、第１の周波数帯域における正規化パワー、及び第１の周波数帯域よりも高い第２の周波数帯域における正規化パワーを算出する周波数帯域分割・パワー演算部と、前記第１の周波数帯域及び前記第２の周波数帯域における正規化パワーの比を算出する分割帯域パワー比算出部を備え、前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記第１の周波数帯域及び第２の周波数帯域における正規化パワーの比を前記物理指標として出力することを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、前記話速変換倍率指定部は、前記物理指標、及び前記物理指標それぞれの話速に対する寄与率に基づいて、前記話速変換倍率を算出することを特徴とする。
　さらに、本発明に係る話速変換倍率決定装置において、入力信号の全体、又は分割された入力信号における各部分に対する再生すべき時間長が与えられると、入力信号の全体又は各部分の時間長が前記再生すべき時間長に適合するように前記話速変換倍率を微調整して最終話速変換倍率を決定する話速変換倍率微調整部を更に備えることを特徴とする。
　また、上記課題を解決するために、本発明に係る話速変換装置は、入力信号の適応的な話速変換を行う話速変換倍率決定装置であって、上述の話速変換倍率決定装置と、前記話速変換倍率に従って入力信号を話速変換する話速変換部と、を備え、前記話速変換部は、入力信号の全体、又は分割された入力信号における各部分に対する再生すべき時間長が与えられると、一定の時間間隔ごとに、一様な倍率で伸縮させた時に出力されるべき目標信号と、入力信号を前記話速変換倍率により変換した変換信号とを、信号の時系列上で比較して時間的なずれ量を算出し、前記話速変換倍率微調整部は、前記時間的なずれ量に応じて、その後の話速変換倍率を再調整することを特徴とする。
　また、上記課題を解決するために、本発明は、入力信号の話速の適応的な変換倍率を決定する話速変換倍率決定装置として構成するコンピュータに、入力信号の有音区間と無音区間とを判別するステップと、前記有音区間において一定の時間間隔で入力信号の基本周波数を算出するとともに、該基本周波数の値が所定の変化幅内で変化する安定区間と、該基本周波数の値が所定の変化幅を超えて変化する不安定区間とを決定するステップと、前記安定区間において、前記基本周波数の時間変化を平滑化するステップと、前記不安定区間及び前記無音区間において、前記平滑化された安定区間における基本周波数の値を参照して、周波数を内挿した擬似基本周波数を算出するステップと、前記平滑化された基本周波数及び前記擬似基本周波数を接続して、一続きの基本周波数の概形の標本値を得るステップと、前記基本周波数の概形の標本値に応じて、入力信号に指定すべき話速変換倍率を算出するステップと、を実行させるためのプログラム、及びこのプログラムを記録した記録媒体としても特徴付けられる。
　本発明の提案する入力信号の基本周波数やパワーなどの物理的な特徴量に基づき行う適応的な話速変換よれば、従来、背景音と音声が混合している場合、“音声区間”と“無音区間”の判定が正しく行われない状態になると、適応的な話速変換が期待通りに動作しないという欠点を回避でき、背景音と音声が混合している場合でも、安定して、ゆっくり感を与える効果が高く自然な聞こえとなる、適応的な話速変換が可能となる。
本発明による実施例１の話速変換倍率決定装置の構成を示すブロック図である。 基本周波数の概形の算出と仮の伸縮率の決定の例を示す図である。 本発明による実施例１の話速変換倍率決定装置の動作を示すフローチャートである。 本発明による実施例１の話速変換装置の構成を示すブロック図である。 本発明による実施例２の話速変換倍率決定装置の構成を示すブロック図である。 パワーの概形の算出と仮の伸縮率の決定の例を示す図である。 本発明による実施例２の話速変換倍率決定装置の動作を示すフローチャートである。 本発明による実施例３の構成を示すブロック図である。 自己相関関数の算出を説明する図である。 本発明による実施例３の話速変換倍率決定装置の動作を示すフローチャートである。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　図１は、本発明による実施例１の話速変換倍率決定装置の構成を示すブロック図である。本実施例の話速変換倍率決定装置１ａは、物理指標算出部２と、話速変換倍率決定部３とを備え、これにより、入力信号の適応的話速変換を行う。物理指標算出部２は、入力信号の物理指標を算出する。話速変換倍率決定部３は、物理指標算出部２から入力される物理指標に基づいて、入力信号の各セグメント（区間）に指定すべき話速変換倍率αｎを決定する。ここで、添え字ｎは、入力信号を冒頭から単位時間（一定の時間間隔、例えば５ｍｓ）ごとに区切った場合の何番目の位置かを示す整数値である。以後、単位時間あたりのセグメントの一例として、この区切り間隔を５ｍｓとして説明する。
　物理指標算出部２は、基本周波数概形算出部１００を備え、基本周波数概形算出部１００は、有音／無音判定部１０２と、基本周波数算出部１０４と、平滑化部１０６と、擬似基本周波数算出部１０８と、基本周波数概形連結部１１０とを有する。話速変換倍率決定部３は、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０と、話速変換倍率微調整部１４０とを備える。
　本実施例の話速変換倍率決定装置１ａは、包括的には、入力信号における単位時間（５ｍｓ）ごとの基本周波数及び擬似基本周波数の変化の概形を表すＦｎを「物理指標」として用いて、入力信号の各セグメントに指定すべき話速変換倍率αｎを決定する。
　以下、物理指標Ｆｎに基づく入力信号に対する各区間の話速変換倍率の決定について順に説明する。ここで、話速変換倍率とは、入力信号の再生速度の変換倍率のことであり、単位時間当たりの信号区間に対する時間的な伸縮率の逆数に相当する。
（物理指標Ｆｎの算出）
　まず、物理指標Ｆｎの算出について図１及び図２を参照して説明する。図２は、基本周波数の概形の算出と仮の伸縮率の決定の例を示す図である。
　有音／無音判定部１０２は、入力信号からその振幅やパワーを算出し、その大きさに基づいて、“声”又は“背景音”（音楽や雑音）、あるいはその両方が同時に存在する部分である「有音区間」と、音が無い「無音区間」とを判別する。例えば、入力信号の振幅又はパワーが所定の閾値を超える場合には有音区間と判別し、所定の閾値未満である場合には無音区間と判別する。
　ここで、パワーの閾値を用いる簡単な具体例を説明する。ｎ番目のセグメントの中心と窓幅２０ｍｓに相当するハミング窓ｈ(ｋ)の中心を合わせて入力信号ｘ（ｋ）を切り出し、その標本点数がＫ個であり、入力信号の量子化精度が１６ｂｉｔであったとすると、そのセグメントのパワーを、次式（１）で定義する。
Figure JPOXMLDOC01-appb-M000001
　そして、有音／無音判定部１０２は、有音区間の信号を基本周波数算出部１０４に出力し、無音区間の信号を擬似基本周波数算出部１０８に出力する。図２（ａ）は有音／無音判定部１０２により有音区間と判別された、入力信号波形の例を示す図である。
　基本周波数算出部１０４は、有音／無音判定部１０２から入力される、有音区間と判別された入力信号に対して、単位時間（一定の時間間隔、例えば５ｍｓ）ごとに基本周波数を算出し、算出した基本周波数の値が所定の変化幅内で安定してほぼ連続的な変化をする区間を「安定区間」として決定し、算出される基本周波数の値が安定せず不連続で変化が激しい区間を「不安定区間」として決定する。そして、基本周波数算出部１０４は、各安定区間内の基本周波数を特定し、特定した各安定区間内の基本周波数を平滑化部１０６に出力し、不安定区間の信号を擬似基本周波数算出部１０８に出力する。基本周波数算出部１０４は、「不安定区間」の各基本周波数の値は全て棄却する。なお、単位時間ごとの基本周波数は、任意の既知の技術を用いて算出することができる（例えば、特許第３２１９８６８号公報参照）。図２（ｂ）は、図２（ａ）に示される入力信号の単位時間ごとの基本周波数をプロットで示している。また、図２（ｂ）は、「安定区間」を四角の枠で囲って示しており、それ以外の区間は「不安定区間」であることを示している。
　平滑化部１０６は、基本周波数算出部１０４から入力される各安定区間の基本周波数がより滑らかな軌跡となるように、各安定区間の基本周波数からなる軌跡の平滑化を行う。この平滑化のために、カットオフ周波数３～６Ｈｚ程度のローパスフィルタを用いるのが好適である。また、平滑化部１０６は、安定区間の平滑化した軌跡の基本周波数の値を擬似基本周波数算出部１０８及び基本周波数概形連結部１１０に出力する。図２（ｂ）は、平滑化した基本周波数の軌跡を太い線で示している。
　擬似基本周波数算出部１０８は、平滑化部１０６から供給される安定区間の平滑化した軌跡の基本周波数の各値を用いて、補間関数（例えばスプライン関数）により補間することにより、無音区間及び不安定区間における擬似的な基本周波数（擬似基本周波数）を算出し、算出した擬似基本周波数を基本周波数概形連結部１１０に出力する。図２（ｂ）は、擬似的な基本周波数の基本周波数を細い線で示している。
　基本周波数概形連結部１１０は、平滑化部１０６から供給される安定区間の平滑化した軌跡の基本周波数の値と、擬似基本周波数算出部１０８から供給される無音区間及び不安定区間の擬似基本周波数の値とを連結して、処理対象の入力信号の全ての区間（単位時間ごと）にわたる、基本周波数及び擬似基本周波数からなる連続な軌跡（以下、「基本周波数の概形」と称する）を求め、基本周波数の概形を単位時間ごとに標本化した値（以下、「基本周波数の概形の標本値」と称する）Ｆｎを話速変換倍率決定部３の第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０に出力する。
（話速変換倍率の決定）
　次に、話速変換倍率の決定について、図１及び図２を参照して説明する。第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、基本周波数の概形の標本値Ｆｎの値が大きい部分では、単位時間ごとの話速変換倍率（以下、単に「話速変換倍率」と称する）αａｎを相対的に小さく（ゆっくりな話速に）し、基本周波数の概形の標本値Ｆｎの値が小さい部分では、話速変換倍率αａｎを相対的に大きく（速い話速に）することを基本とする。すなわち、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、声（基本周波数）の高い部分では話速変換倍率αａｎを相対的に小さくし、声の低い部分では話速変換倍率αａｎを相対的に大きくする。これは、声の高い部分は意味が強調され、文の中で重要な内容である可能性があるためであり、相対的に話速をゆっくりにすることで、話速変換された言葉の内容の理解に有利に働くと考えられる。
　また、前述のように、無音区間及び不安定区間は音声ではない可能性が高いため、相対的に話速を速めても内容の理解に対する悪影響が少ないと考えられる。擬似基本周波数算出部１０８においては、その前後の安定区間の基本周波数を使って、その区間の擬似基本周波数をスプライン補間等で算出しているが、一般的な人の発声の物理的特徴として、図２（ｂ）の時刻１５０ｍｓからの話し始めの部分では、基本周波数の変化が右上がりになり、ポーズの直前、すなわち図２の時刻１５００ｍｓ付近では、基本周波数の変化が右下がりになる。したがって、図２には示されていないが、ある一つのポーズ区間（背景音だけの区間を含む）の擬似基本周波数としては、下に凸の谷状に補間されることが多い。すなわち、その部分の基本周波数の概形の標本値Ｆｎの値は相対的に小さくなり、結果的に話速変換倍率αａｎが高くなり話速が速まるように動作する。
　次に、基本周波数の概形の標本値Ｆｎを用いた具体的な話速倍率の決定方法について、いくつかの例を説明する。第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、基本周波数の概形の標本値Ｆｎの数が有限の場合は、その中央値を用いて全体を正規化する。例えば、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、中央値の値を１．０とみなし、最大値と最小値のうち、最大値のほうが中央値との差が大きい場合は、最大値を２．０とみなして、全ての基本周波数の概形の標本値Ｆｎについて比例配分で０～２の間の値を新たに割り当て、その値を単位時間（５ｍｓ）ごとの仮の伸縮率Ｆ'ｎと定める。最大値と最小値のうち、最小値のほうが中央値との差が大きい場合は、最小値を０．０とみなして同様の操作を行う。基本周波数の概形の標本値Ｆｎの対数ｌｏｇＦｎを求めた後に同様の操作を行ってもよい。さらに、中央値の代わりに、全ての基本周波数の概形の標本値Ｆｎの平均値や、最大値と最小値の平均値を用いてもよい。図２（ｃ）は、図２（ｂ）に示される基本周波数の概形の標本値Ｆｎに対応する仮の伸縮率Ｆ'ｎを示している。この例では、周波数（縦軸）を対数スケールとしているため、ｌｏｇＦｎによる基本周波数の概形を基にＦ'ｎを算出している。
　話速変換倍率決定装置１ａがリアルタイムで動作して、逐次的に入力信号を話速変換していく必要がある場合には、基本周波数の概形の標本値Ｆｎの数が決まらない。そこで、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、例えば過去３秒以内の基本周波数の概形の標本値Ｆｎの値を保持しておき、その最大値、最小値、又は中央値等を用いて、現在の時刻の基本周波数の概形の標本値Ｆｎの値を正規化し、これを仮の伸縮率Ｆ'ｎとしてもよい。但し、この場合、物理指標算出部２において、平滑部１０６では、過去と現在の基本周波数の算出結果だけを用いて、平滑化の計算を行う。擬似基本周波数算出部１０８においても、過去の平滑部１０６の出力を用いてスプライン関数等による補間値の算出を行う。但し、上述したように、話し終わりでは基本周波数の変化が右下がりになるため、その後ろの擬似基本周波数を過去の平滑部１０６の出力のみを用いて補間していると、どんどん値が下がっていくので、擬似基本周波数に下限値（例えば過去３秒以内の基本周波数の概形の標本値Ｆｎの値の平均値の１／２の値など）を設けるなどして対処する。
　次に、仮の伸縮率Ｆ'ｎの値に応じた話速変換倍率αａｎの算出について説明する。上述したように、仮の伸縮率Ｆ'ｎの値は０～２の間で正規化されているので、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、例えば次式（２），（３）により、話速変換倍率αａｎを算出する。
Figure JPOXMLDOC01-appb-M000002
 ここで、Ｋは、仮の伸縮率Ｆ'ｎの正規化値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
　最後に、話速変換倍率微調整部１４０おける動作を説明する。入力信号の先頭から単位時間（５ｍｓ）おきに数えてｎ番目に与える話速αｎは、式（２）、（３）により求まる。
　入力信号全体に対する話速変換倍率α（倍速α）（以下、「再生速度変換倍率」と称する）が与えられた場合には、以下の手順でこれを微調整する。再生速度変換倍率αとしては、０．５～５．０などの任意の値を設定できる。再生速度変換倍率αが与えられた場合、入力信号全体の長さをＬ（単位は秒）とすると、変換後の信号全体の長さはＬ／αにならなければいけない。そこで、まず話速変換倍率微調整部１４０は、全ての入力信号区間を話速変換し、全体として接続後の変換音声の長さＬ０を先に算出する。
　次に、話速変換倍率微調整部１４０は、次式（４）によって、話速変換倍率αａｎを微調整して最終的な話速変換倍率αｎを決定することにより、変換後の信号全体の長さを再生すべき時間長に合わせることができる。
　αｎ＝αａｎ×Ｌ０／（Ｌ／α）　　　　　　　　　　　　　　　　　（４）
　話速変換倍率微調整部１４０は、できるだけ頻繁に、再生速度変換倍率αで一様に変換した音声と同じタイミングに合わせ込む場合には、入力信号全体の長さＬではなく、これをより短い単位に分割した音声の長さに対して、微調整を行うように話速変換倍率αｎを修正する。例えば、Ｌ＝Ｌ１＋Ｌ２＋・・・＋ＬＭのようにＭ個に分割できる場合には、話速変換倍率微調整部１４０はＬ１、Ｌ２、・・・、ＬＭの区間ごとに入力波形を分割し、それぞれの分割区間において、ｍ番目の区間では、まずその区間の話速変換倍率αａｎを用いてこのｍ番目の区間を話速変換して、接続済みの変換音声の部分長Ｌｍ０を先に算出し、式（４）のＬの代わりにＬｍを、Ｌ０の代わりにＬｍ０を設定して各話速変換倍率αｎを求め、再度話速変換することで微調整を行う。
　なお、話速変換倍率αｎを実現するための話速変換（波形の伸縮）方法は、様々な方法がすでに提案されているが、声の高さを保つ方法として、ＰＩＣＯＬＡ（Pointer Interval Controlled OverLap and Add）法、ＴＤＨＳ（Time Domain Harmonic Scaling）法、ＰＳＯＬＡ（Pitch Synchronous OverLap Add）法などがあり、これ以外にも特許第２６１２８６８号公報、特許第３０８３８３０号公報、特許第２９５５２４７号公報等に開示される波形伸縮法があり、いずれの波形伸縮法を用いてもよい。
　図３は、実施例１の話速変換倍率決定装置１ａの動作を示すフローチャートである。話速変換倍率決定装置１ａは、話速変換する信号を入力する（ステップＳ１０１）。話速変換する信号が入力されると、話速変換倍率決定装置１ａは、有音／無音判定部１０２により、入力信号の有音区間と無音区間とを判別する（ステップＳ１０２）。ステップＳ１０２により有音区間と判別された場合には、話速変換倍率決定装置１ａは、基本周波数算出部１０４により、単位時間ごとに基本周波数を算出し（ステップＳ１０３）、基本周波数の変化度合いに基づいて安定区間であるか不安定区間であるかを判別する（ステップＳ１０４）。ステップＳ１０４により安定区間であると判別された場合には、話速変換倍率決定装置１ａは、平滑化部１０６により、各安定区間の基本周波数からなる軌跡の平滑化を行う（ステップＳ１０５）。
　一方、ステップＳ１０２により無音区間と判別された場合、又はステップＳ１０４により不安定区間であると判別された場合には、話速変換倍率決定装置１ａは、擬似基本周波数算出部１０８により、安定区間の平滑化した軌跡の基本周波数の各値を用いて、補間関数により補間することにより、無音区間及び不安定区間における擬似基本周波数を算出する（ステップＳ１０６）。一般に、雑音や音楽などの背景音だけの部分では、基本周波数を安定的に算出することができないので、この擬似基本周波数の算出を行うことになる。また、入力信号に雑音や背景音が存在しない部分があった場合には、その部分において検出された「無音区間」では基本周波数を算出せず、基本周波数が安定的に求まった区間の値を参照して内挿し、擬似基本周波数を求める。
　そして、話速変換倍率決定装置１ａは、基本周波数概形連結部１１０により、ステップＳ１０５にて平滑化された安定区間の軌跡の基本周波数の値と、ステップＳ１０６にて算出された無音区間及び不安定区間の擬似基本周波数の値とを連結して、基本周波数の概形の標本値Ｆｎを導出する（ステップＳ１０７）。次に、話速変換倍率決定装置１ａは、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０により、基本周波数の概形の標本値Ｆｎの値に基づいて話速変換倍率αａｎを算出する（ステップＳ１０８）。基本周波数の概形の標本値Ｆｎ値が大きい部分ではその程度に応じて話速を緩め、値が小さい部分ではその程度に応じて話速を速める。これにより、入力信号に雑音や背景音が混在する場合でも、安定的に、全体として目的の時間長に合わせながら、適応的な話速変換が可能となる。最後に、話速変換倍率決定装置１ａは、話速変換倍率微調整部１４０により、再生速度変換倍率αが与えられると、最終話速変換倍率αｎを決定する（ステップＳ１０９）。
　このように、本実施例の話速変換倍率決定装置１ａによれば、背景音と音声が混合している場合でも、適応的な話速変換が可能となる。また、話速変換倍率微調整部１４０を備えることにより、１倍速（元の時間長で再生）や２倍速（実時間の半分の時間長で再生）といった任意の再生速度変換倍率αが与えられた場合に、各部分によって再生速度変換倍率αより大きい倍率や小さい倍率で速度を変える際、全体としては一様な再生速度変換倍率αで話速変換したのと同じ時間で再生するように帳尻を合わせるよう、逐次話速を微調整して、結果的に、一様な再生速度変換倍率αで話速変換した場合と同じ時間長で、話速変換音声の生成を行うことが可能となる。所定の規則によりＮ個に分割した各部分に対して、それぞれ所定の時間長が設定された場合においては、分割した各部分、Ｗ１，Ｗ２，Ｗ３，・・・，ＷＮに与えられた各時間長に適合させるための一様な再生速度変換倍率α１，α２，α３，・・・，αＮで話速変換したのと同じ時間で再生するように帳尻を合わせるよう、逐次話速を微調整する。
（話速変換装置）
　次に、話速変換装置について、図４を参照して説明する。図４は、本発明による実施例１の話速変換装置の構成を示すブロック図である。話速変換装置１０ａは、上述の話速変換倍率決定装置１ａと、話速変換部４とを備える。話速変換部４は、話速変換倍率決定装置１ａにより決定された話速変換倍率に従って入力信号を話速変換する。
　話速変換部４は、リアルタイムで動作して、逐次的に入力信号を話速変換して出力していく必要がある場合においては、入力信号の全体、又は分割された入力信号における各部分に対する再生すべき時間長が与えられると、一定の時間間隔ごとに、一様な倍率で伸縮させた時に出力されるべき目標信号と、入力信号を話速変換倍率により変換した変換信号とを、信号の時系列上で比較し、その時間的なずれの情報を話速変換倍率決定装置１ａに戻し、話速変換倍率決定装置１ａの話速変換倍率微調整部１４０において、ずれ量に応じて、その後の話速変換倍率を再調整する。
　つまり、話速変換部４は、再生速度変換倍率αによって、過去の入力信号のどの部分も一様な倍率で伸縮させたとした場合に出力されるべき信号と、実際に話速変換倍率決定装置１ａから出力されたαｎに応じて適応的な話速変換倍率で話速変換されて出力される信号とを、信号の時系列上でＬｍの時間間隔で比較する。そして、その時点における、適応的な話速変換の出力信号が、仮想的な一様伸縮の話速変換の出力信号よりも時間的に前の音声内容であるとき（再生速度変換倍率αが１より小さい場合に生じる）は、その時間的なずれ量の情報を話速変換倍率決定装置１ａの話速変換倍率微調整部１４０に戻す。話速変換倍率微調整部１４０はそのずれ量に応じて、その後の各音声区間に与える話速変換倍率αｎを高速度側に僅かにシフトする微調整を付加する。
　また、話速変換部４では、実際に話速変換倍率決定装置１ａから出力されたαｎに応じて適応的な話速変換倍率で話速変換されて出力される信号が、仮想的な一様伸縮の話速変換の出力信号よりも時間的に後の音声内容であるとき（再生速度変換倍率αは１より小さくても大きくてもあり得る）は、その時間的なずれ量の情報を話速変換倍率決定装置１ａの話速変換倍率微調整部１４０に戻し、話速変換倍率微調整部１４０ではそのずれ量に応じて、その後の各音声区間に与える話速変換倍率αｎを低速度側に僅かにシフトする微調整を付加する。
　このようにして、話速変換装置１０ａは、適応的な話速変換倍率で話速変換されて出力される信号と、仮想的に再生速度変換倍率αで一様に変換した音声との間の時間的なずれ量を、できるだけ小さく留めるようにする。その結果として、話速変換倍率決定装置１ａと話速変換部４のリアルタイム動作における逐次的な信号の入出力関係を保つことができる。したがって、話速変換装置１０ａに逐次入力される信号に対して即座に話速変換した信号を出力する必要がある場合、リアルタイムのシステムとして当該話速変換装置を構成することが可能となる。
　ここで、話速変換倍率決定装置１ａ又は話速変換装置１０ａとして機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、話速変換倍率決定装置１ａの各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
　これにより、話速変換倍率決定装置１ａ又は話速変換装置１０ａを、パーソナルコンピュータのプログラムとしてや、携帯音楽プレイヤーやスマートフォンなどのモバイル機器で動作するアプリケーションとして動作させることができる。
　また、処理内容を記述したプログラムを、ＤＶＤ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録し、この記録媒体を販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
　また、そのようなプログラムを実行するコンピュータは、例えば、記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
　次に、本発明による実施例２の話速変換倍率決定装置について説明する。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。
　図５は、本発明による実施例２の話速変換倍率決定装置の構成を示すブロック図である。本実施例の話速変換倍率決定装置１ｂは、実施例１の話速変換倍率決定装置１ａと同様に、入力信号を単位時間ごとに分割した各セグメントについて当該入力信号の物理指標を算出する物理指標算出部２と、物理指標算出部２から入力される物理指標に基づいて入力信号の各セグメントに指定すべき話速変換倍率αｎを決定する話速変換倍率決定部３とを備える。
　実施例２の話速変換倍率決定装置１ｂは、実施例１の話速変換倍率決定装置１ａ（図１参照）と比較して、物理指標算出部２が更に、パワー概形算出部２００を備え、話速変換倍率決定部３が更に、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０を備える点が相違する。パワー概形算出部２００は、パワー算出部２０２と、平滑化部２０４とを有する。
　本実施例の話速変換倍率決定装置１ｂは、包括的には、入力信号における単位時間ごとの基本周波数の概形を表すＦｎと、入力信号における単位時間ごとのパワーの値の変化の概形を表すＰｎの２つの「物理指標」を用いて、入力信号の各セグメントに指定すべき話速変換倍率αｎを決定して話速変換を行い、話速変換した出力信号を生成して出力する。
　実施例２の話速変換倍率決定装置１ｂは、２つの物理指標を用いるため、実施例２の第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０は、基本周波数の概形の標本値Ｆｎの話速に対する寄与率を考慮し、例えば次式（５）～（７）により、話速変換倍率αａｎを算出する。
Figure JPOXMLDOC01-appb-M000003
 ここで、Ｒａは基本周波数の概形の標本値Ｆｎによって指定される、話速に対する寄与率であり、０≦Ｒａ≦１とする。また、Ｋは、仮の伸縮率Ｆ'ｎの正規化値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
（物理指標Ｐｎの算出）
　次に、物理指標Ｐｎの算出について図５及び図６を参照して説明する。図５は、パワーの概形の算出と仮の伸縮率の決定の例を示す図である。
　パワー算出部２０２は、単位時間（５ｍｓ）ごとに、入力信号のパワーを算出し、平滑化部２０４に出力する。パワーは、一般的な方法のひとつとして、入力信号波形に２０ｍｓ程度の時間幅のハミング窓などの窓関数による重み付けを施した後の各標本値の二乗和で求めることができる。具体的な算出方法の例としては、式（１）を用いて説明した方法が挙げられる。図６（ａ）は、入力信号波形の例を示す図である。図６（ｂ）は、図６（ａ）に示される入力信号の単位時間ごとのパワーをプロットで示している。
　平滑化部２０４は、パワー算出部２０２から入力されるパワーがより滑らかな軌跡となるように、単位時間ごとに算出されたパワーの軌跡の平滑化を行って、パワーの概形を単位時間ごとに標本化した値Ｐｎ（以下、「パワーの概形の標本値」と称する）を算出し、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０に出力する。この平滑化のために、カットオフ周波数３～６Ｈｚ程度のローパスフィルタを用いるのが好適である。
（話速変換倍率の決定）
　次に、話速変換倍率の決定について、図５及び図６を参照して説明する。第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０は、パワーの概形の標本値Ｐｎの値が大きい部分では、相対的に話速変換倍率を小さく（ゆっくりな話速に）し、パワーの概形の標本値Ｐｎの値が小さい部分では、相対的に話速変換倍率を大きく（速い話速に）することを基本とする。すなわち、声（パワー）の大きい部分では相対的な話速変換倍率が小さくなり、声の小さい部分では相対的な話速変換倍率が大きくなる。これは、声の大きい部分は意味が強調され、文の中で重要な内容である可能性があるためであり、相対的に話速をゆっくりにすることで、話速変換された言葉の内容の理解に有利に働くと予想できる。また、無音区間は、相対的に話速を速めても内容の理解に対する悪影響が少ないと考えられる。
　次に、パワーの概形の標本値Ｐｎを用いた具体的な話速倍率の決定方法について、いくつかの例を説明する。第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０は、パワーの概形の標本値Ｐｎの数が有限の場合は、その中央値を用いて全体を正規化する。例えば、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０は、中央値の値を１．０とみなし、最大値と最小値のうち、最大値のほうが中央値との差が大きい場合は、最大値を２．０とみなして、全てのパワーの概形の標本値Ｐｎについて比例配分で０～２の間の値を新たに割り当て、その値を単位時間（５ｍｓ）ごとの仮の伸縮率Ｐ'ｎと定める。最大値と最小値のうち、最小値のほうが中央値との差が大きい場合は、最小値を０．０とみなして同様の操作を行う。全てのパワーの概形の標本値Ｐｎに対してその対数ｌｏｇＰｎを求めた後に同様の操作を行ってもよい。さらに、中央値の代わりに、全てのパワーの概形の標本値Ｐｎの平均値や、最大値と最小値の平均値を用いてもよい。図６（ｃ）は、図６（ｂ）に示されるパワーの概形の標本値Ｐｎに対応する仮の伸縮率Ｐ'ｎを示している。この例では、パワー（縦軸）をデシベル化しているため、ｌｏｇＰｎによるパワーの概形を基にＰ'ｎを算出している。
　話速変換倍率決定装置１ｂがリアルタイムで動作して、逐次的に入力信号を話速変換して出力していく必要がある場合においては、パワーの概形の標本値Ｐｎの数が決まらない。そこで、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０は、例えば過去３秒以内のパワーの概形の標本値Ｐｎの値を保持しておき、その最大値、最小値、又は中央値等を用いて、現在の時刻のパワーの概形の標本値Ｐｎの値を正規化し、これを仮の伸縮率Ｐ'ｎとしてもよい。但し、この場合、物理指標算出部２において、平滑部２０４では、過去と現在のパワーの算出結果だけを用いて、平滑化の計算を行う。
　次に、仮の伸縮率Ｐ'ｎの値に応じた話速変換倍率αｂｎの算出について説明する。上述したように仮の伸縮率Ｐ'ｎの値は０～２の間で正規化されているので、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０は、例えば次式（８）～（１０）により、話速変換倍率αｂｎを算出する。
Figure JPOXMLDOC01-appb-M000004
 ここで、Ｒｂはパワーの概形の標本値Ｐｎによって指定される、話速に対する寄与率であり、０≦Ｒｂ≦１とする。また、Ｋは、仮の伸縮率Ｐ'ｎの正規化値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
　式（５）～（７）の寄与率Ｒａ、式（８）～（１０）の寄与率Ｒｂの各値は、例えば入力信号が放送の場合、番組のジャンル（ニュース、ドキュメンタリー、ドラマ、バラエティ、落語・漫才など）が分かる場合には、それに応じて、値の分配率を最適化することにより、より聞きやすさや自然性の高い適応的話速変換が可能となる。例えば、ニュースならば、Ｒａ＝０．７、Ｒｂ＝０．３、ドキュメンタリー、ドラマならば、Ｒａ＝０．５、Ｒｂ＝０．５、落語・漫才ならば、Ｒａ＝０．３、Ｒｂ＝０．７などである。また、話速変換の対象とする言語の違いによって、寄与率Ｒａ，Ｒｂの値を調整することにより、それぞれの言語においてより自然な聞こえ方の変換音声とすることができる。
　最後に、話速変換倍率微調整部１４０おける動作の一例を説明する。入力信号の先頭から単位時間（５ｍｓ）おきに数えてｎ番目に与える話速変換倍率αｎは、基本的には、式（５），（６），（８），（９）を用いる場合にはαｎ＝αａｎ×αｂｎとし、式（７），（１０）を用いる場合にはαｎ＝αａｎ＋αｂｎとする。しかし、再生速度変換倍率αが与えられた場合には、以下の手順でこれを微調整する。再生速度変換倍率αとしては、０．５～５．０などの任意の値を設定できる。
　再生速度変換倍率αが与えられた場合、入力信号全体の長さをＬ（単位は秒）とすると、変換後の信号全体の長さはＬ／αにならなければいけない。まず、話速変換倍率微調整部１４０は、話速変換倍率αａｎ及びαｂｎに基づく、話速変換倍率αａｂｎを算出する。式（５），（６），（８），（９）を用いる場合には、αａｂｎ＝αａｎ×αｂｎとし、式（７），（１０）を用いる場合にはαａｂｎ＝αａｎ＋αｂｎとして、全ての入力信号区間を話速変換し、全体として接続後の変換音声の長さＬ０を先に算出する。
　次に、次式（１１）によって、話速変換倍率αａｂｎを微調整して最終的な話速変換倍率αｎを決定することにより、変換後の信号全体の長さを再生すべき時間長に合わせることができる。
　αｎ＝αａｂｎ×Ｌ０／（Ｌ／α）　　　　　　　　　　　　　　　（１１）
　話速変換倍率微調整部１４０は、できるだけ頻繁に、再生速度変換倍率αで一様に変換した音声と同じタイミングに合わせ込みたい場合は、実施例１と同様に、入力信号全体の長さＬではなく、これをより短い単位に分割した音声の長さに対して、微調整を行うようにαｎを修正すればよい。例えば、Ｌ＝Ｌ１＋Ｌ２＋・・・＋ＬＭのようにＭ個に分割できる場合には、話速変換倍率微調整部１４０はＬ１、Ｌ２、・・・、ＬＭの区間ごとに入力信号波形を分割し、それぞれの分割区間において、ｍ番目の区間では、まずその区間の単位時間（５ｍｓ）ごとの各部分の話速変換倍率αａｂｎ（αａｎ×αｂｎ又はαａｎ＋αｂｎ）を用いてこのｍ番目の区間を話速変換して、接続済みの変換音声の部分長Ｌｍ０を先に算出し、式（１１）のＬの代わりにＬｍを、Ｌ０の代わりにＬｍ０を設定して話速変換倍率αｎを求め、再度話速変換することで微調整を行う。なお、話速変換倍率αｎを実現するための話速変換（波形の伸縮）方法は、実施例１と同様のものを利用できる。
　図７は、実施例２の話速変換倍率決定装置１ｂの動作を示すフローチャートである。ステップＳ２０１～２０８は、図３に示す実施例１の話速変換倍率決定装置１ａの動作のステップＳ１０１～１０８と同様であるため、説明を省略する。話速変換する信号が入力されると、話速変換倍率決定装置１ｂは、パワー算出部２０２により、入力信号のパワーを算出する（ステップＳ２０９）。そして、話速変換倍率決定装置１ｂは、平滑化部２０４により、算出したパワーの軌跡の平滑化を行い、パワーの概形の標本値Ｐｎを導出する（ステップＳ２１０）。次に、話速変換倍率決定装置１ｂは、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０により、パワーの概形の標本値Ｐｎの値に基づいて話速変換倍率αｂｎを算出する（ステップＳ２１１）。最後に、話速変換倍率決定装置１ｂは、話速変換倍率微調整部１４０により、話速変換倍率αａｎ及びαｂｎから話速変換倍率αｎを求める。再生速度変換倍率αが与えられた場合には、最終的な話速変換倍率としてαｎを微調整する（ステップＳ２１２）。
　このように、本実施例の話速変換倍率決定装置１ｂによれば、基本周波数とパワーに基づいて話速変換倍率αｎを求めることにより、例えば、背景音（ＢＧＭなど）だけの部分で、パワーが大きい場合でも擬似基本周波数が小さな値を示す部分においては、話速を速めるといった判断が可能となる。
　さらに、話速の制御にパワーの値も加味することで以下の利点がある。通常、声の高さと大きさには正の相関があり、基本周波数が高い部分ではパワーも大きい。このような部分は母音部であることが多く、母音部では基本周波数は安定して算出される。したがって、基本周波数とパワーの値が大きいところで話速を緩めると、母音部を中心に話速を緩める確率が高い。実際の人の発声において、話速が遅い場合と速い場合とを比較した場合、主に母音部が伸縮することが分かっている（例えば、148th Meeting of Acoustical Society of America, 4pSC3. そのアブストラクトは "Journal of the Acoustical Society of America, Vol.116, No.4, Pt.2 of 2. p2628に掲載されているので参照されたい）。したがって、この方式により自然な聞こえの適応的話速変換が可能となる。
　もうひとつのメリットとして、以下のことがある。日本語や中国語は「ピッチ・アクセント」であり、同音異義語の違いや意味の強調を声の高さの変化で制御する傾向が強い。一方、欧米の言語は「ストレス・アクセント」であり、声の大きさの変化で、各単語のリズム感や意味の強調を制御していると言われている。したがって、適応的な話速の制御において、声の高さと大きさの両方の値を加味することで、様々な言語への最適化が可能となる。
　また、話速変換する対象音声が放送の音声である場合、近年開発が盛んなメタ情報として番組のジャンル（ニュース、ドキュメンタリー、ドラマ、バラエティ、落語・漫才）が付与されていれば、それに応じて、話速変換倍率に対して掛け算値や冪指数値（寄与率）の分配率を最適化することにより、より聞きやすさや自然性の高い適応的話速変換が可能となる。
　ここで、実施例１の話速変換装置１０ａと同様に、実施例２の話速変換装置１０ｂは、上述の話速変換倍率決定装置１ｂと、話速変換倍率決定装置１ｂにより決定された話速変換倍率に従って入力信号を話速変換する話速変換部４とを備える。話速変換装置４がリアルタイムの動作をする必要がある場合の動作も、実施例１と同様である。
　また、実施例１と同様に、話速変換倍率決定装置１ｂ又は話速変換装置１０ｂとして機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、話速変換倍率決定装置１ｂの各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
　また、処理内容を記述したプログラムを、ＤＶＤ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録し、この記録媒体を販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
　また、そのようなプログラムを実行するコンピュータは、例えば、記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
　次に、本発明における適応的な話速変換の効果をさらに安定させるための補助的な手段を加えた実施例３の話速変換倍率決定装置について説明する。なお、実施例２と同じ構成要素には同一の参照番号を付して説明を省略する。
　図８は、本発明による実施例３の話速変換倍率決定装置の構成を示すブロック図である。本実施例の話速変換倍率決定装置１ｃは、実施例１の話速変換倍率決定装置１ａ及び実施例２の話速変換倍率決定装置１ｂと同様に、入力信号を単位時間ごとに分割した各セグメントについて当該入力信号の物理指標を算出する物理指標算出部２と、物理指標算出部２から入力される物理指標に基づいて入力信号の各セグメントに指定すべき話速変換倍率αｎを決定する話速変換倍率決定部３とを備える。
　実施例３の話速変換倍率決定装置１ｃは、実施例２の話速変換倍率決定装置１ｂ（図５参照）と比較して、物理指標算出部２が更に、補助的な物理指標の算出部である、有声度概形算出部３００と、基本周波数概形算出部４００と、凹凸度算出部４１０と、パワー概形算出部５００と、凹凸度算出部５１０と、周波数帯域分割・パワー演算部６００と、分割帯域パワー比算出部６１０とを備え、話速変換倍率決定部３が更に、補助的な物理指標に基づく話速変換倍率指定部である、第３の話速変換倍率指定部（話速変換倍率指定部ｃ）３２０と、第４の話速変換倍率指定部（話速変換倍率指定部ｄ）４２０と、第５の話速変換倍率指定部（話速変換倍率指定部ｅ）５２０と、第６の話速変換倍率指定部（話速変換倍率指定部ｆ）６２０とを備える点が相違する。パワー概形算出部２００は、パワー算出部２０２と、平滑化部２０４とを有する。有声度概形算出部３００は、有声度算出部３０２と、平滑化部３０４とを有する。周波数帯域分割・パワー演算部６００は、スペクトル算出部６０２と、帯域分割部６０４と、パワー演算部６０６とを有する。基本周波数概形算出部４００の内部構成は、基本周波数概形算出部１００と同一であり、パワー概形算出部５００の内部構成は、パワー概形算出部２００と同一である。
（有声度を用いた補助的な話速変換倍率制御）
　有声度算出部３０２は、放送の音声など背景音などの混入も含めた、入力信号波形から自己相関関数Ｒ（τ）を求め、自己相関関数Ｒ（τ）を用いて有声度を求める。自己相関関数Ｒ（τ）は次式（１２）により導出され、有声度ｕは次式（１３）により導出される。
Figure JPOXMLDOC01-appb-M000005
 ここで、ｘ’（ｋ）は、図９（ａ）に示すように、入力信号波形ｘ（ｋ）に対してハミング窓などの窓関数ｈ（ｋ）による重み付けを施した波形であり、ｘ’（ｋ）＝ｈ（ｋ）・ｘ（ｋ）である。
ｕ＝Ｗ（τ）・Ｒ（τ）ｍａｘ／Ｒ（０）　　　　　　　　　　　　　（１３）
ここで、Ｒ（τ）ｍａｘは、図９（ｂ）に示すように、τ＞０における最大値である。τは時間遅れ量であり、Ｗ（τ）はＲ（τ）ｍａｘを与えるτの値に応じた重みである。あるいは、別の算出方法として、単位時間（５ｍｓ）における入力信号波形のゼロ交差の回数をカウントし、このカウント値の逆数とすることもできる。
　有声度ｕは入力信号のどの部分でも確実に単位時間（５ｍｓ）ごとに算出されるが、その値は必ずしも滑らかな時間変化をするとは限らない。そこで、平滑化部３０４は、有声度算出部３０２から入力される単位時間ごとの有声度の軌跡を平滑化したＵｎ（以下、「有声度の概形の標本値」と称する）を算出し、第３の話速変換倍率指定部（話速変換倍率指定部ｃ）３２０に出力する。この平滑化のために、カットオフ周波数３～６Ｈｚ程度のローパスフィルタを用いるのが好適である。
　第３の話速変換倍率指定部（話速変換倍率指定部ｃ）３２０は、有声度の概形の標本値Ｕｎの値に応じて、話速変換倍率αｃｎを算出する。自己相関関数を用いる場合を説明する。一般的に、有声度の概形の標本値Ｕｎは、－０．２～１．２程度の範囲の値をとる。そこで、有声度の概形の標本値Ｕｎが０．５より大きい場合は話速を緩め（αｃｎ＜１．０）、Ｕｎが０．５以下であれば話速を速める（αｃｎ＞１．０）こととし、第３の話速変換倍率指定部（話速変換倍率指定部ｃ）３２０は、例えば次式（１４）～（１６）により話速変換倍率αｃｎを算出する。
Figure JPOXMLDOC01-appb-M000006
 但し、式（１４）では、Ｕｎ＜－０．２の場合には、Ｕｎ＝－０．２として計算する。ここで、Ｒｃは有声度の概形によって指定される話速変換倍率に対する寄与率であり、０≦Ｒｃ≦１とする。また、Ｋは、有声度の概形の標本値Ｕｎの値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
（基本周波数の概形の凹凸度を用いた補助的な話速変換倍率制御）
　次に、基本周波数の概形の凹凸度を利用する動作の一例について説明する。基本周波数の概形算出部４００の動作は、実施例１で説明した基本周波数の概形算出部１００と同じであり、単位時間ごとに基本周波数の概形の標本値Ｆｎを出力する。
　凹凸度算出部（基本周波数凹凸度算出部）４１０は、基本周波数の概形の標本値Ｆｎの変化傾向を表す凹凸度（以下、「基本周波数の概形の凹凸度」と称する）Ｓｎを算出する。例えば、凹凸度算出部（基本周波数凹凸度算出部）４１０は、基本周波数の概形の標本値Ｆｎに対して、それぞれ前側３０ｍｓの値Ｆｂｎと、後ろ側３０ｍｓの値Ｆａｎとを使って、（Ｆｎ－Ｆｂｎ）と（Ｆｎ－Ｆａｎ）の平均値を基本周波数の概形の凹凸度Ｓｎとし、極大又は極小の程度を算出する。この場合、軌跡が平坦、又は単調増加や単調減少の区間では、極大又は極小の程度は０に近い値となる。なお、基本周波数の概形の凹凸度Ｓｎのうち、その絶対値が最も大きな値を使って、全ての基本周波数の概形の凹凸度Ｓｎを除して正規化する。従って、極大又は極小の程度である基本周波数の概形の凹凸度Ｓｎの値は－１～１となる。
　この方法は、基本周波数の概形の標本値Ｆｎの前後５ｍｓ（１サンプル）の値を使うようにすれば、基本周波数の概形の標本値Ｆｎの２階差分を算出することと等価である。すなわち、まず基本周波数の概形の標本値Ｆｎの全体に対して２階差分Ｆ”ｎ＝（Ｆｎ－Ｆｎ－１）－（Ｆｎ－１－Ｆｎ－２）を算出し、次に、その絶対値が最も大きな値を使って、全てのＦ”ｎを正規化し、同時に符号を反転して基本周波数の概形の凹凸度Ｓｎとする。その結果、基本周波数の概形の凹凸度Ｓｎの値はやはり－１～１となる。よく知られているように、関数の２階微分は、関数が極小の部分では正の値をとり、極大の部分では負の値をとる。またその絶対値が大きいほど、極大・極小の度合いが強い（凹凸がより先鋭になっている）。任意の連続な曲線に対する２階差分は２階微分と等価と考えられるので、このＳｎを基本周波数の概形の凹凸度として扱うことができる。
　第４の話速変換倍率指定部（話速変換倍率指定部ｄ）４２０は、単位時間（５ｍｓ）ごとの基本周波数の概形の凹凸度Ｓｎの値に応じて、Ｓｎの値が正の時は話速を緩め、負の時は話速を速めることとし、例えば次式（１７）～（１９）により、話速変換倍率αｄｎを算出する。
Figure JPOXMLDOC01-appb-M000007
 ここで、Ｒｄは基本周波数の概形の凹凸度によって指定される話速変換倍率に対する寄与率であり、０≦Ｒｄ≦１とする。また、Ｋは、基本周波数の概形の凹凸度Ｓｎの値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
（パワーの概形の凹凸度を用いた補助的な話速変換倍率制御）
　次に、パワーの概形の凹凸度を利用する動作の一例について説明する。基本的な方法は、基本周波数の概形の凹凸度を利用する場合と同様である。入力信号に対して、パワーの概形算出部５００の出力について、凹凸度算出部５１０において、その山谷の凹凸度を算出する。基本周波数の概形算出部５００の動作は、既に説明したパワーの概形算出部２００と同じであり、単位時間（５ｍｓ）ごとにパワーの概形の標本値Ｐｎが出力される。
　凹凸度算出部（パワー凹凸度算出部）５１０は、パワーの概形の標本値Ｐｎの変化傾向を表す凹凸度（以下、「パワーの概形の凹凸度」と称する）Ｑｎを算出する。例えば、パワーの概形の標本値Ｐｎに対して、それぞれ前側３０ｍｓの値Ｐｂｎと、後ろ側３０ｍｓの値Ｐａｎとを使って、（Ｐｎ－Ｐｂｎ）と（Ｐｎ－Ｐａｎ）の平均値をパワーの概形の凹凸度Ｑｎとし、極大又は極小の程度を算出する。この場合、軌跡が平坦、又は単調増加や単調減少の区間では、極大又は極小の程度は０に近い値となる。なお、パワーの概形の凹凸度Ｑｎのうち、その絶対値が最も大きな値を使って、全てのパワーの概形の凹凸度Ｑｎを除して正規化する。したがって、極大又は極小の程度であるパワーの概形の凹凸度Ｓｎの値は－１～１となる。
　この方法は、パワーの概形の標本値Ｐｎの前後５ｍｓ（１サンプル）の値を使うようにすれば、パワーの概形の標本値Ｐｎの２階差分を算出することと等価であることは、基本周波数の概形の標本値と同様である。すなわち、パワーの概形の標本値Ｐｎの全体に対して２階差分Ｐ”ｎ＝（Ｐｎ－Ｐｎ－１）－（Ｐｎ－１－Ｐｎ－２）を算出し、次に、その絶対値が最も大きな値を使って、全てのＰ”ｎを正規化し、同時に符号を反転してパワーの概形の凹凸度Ｑｎとする。その結果、パワーの概形の凹凸度Ｑｎの値はやはり－１～１となる。
　第５の話速変換倍率指定部（話速変換倍率指定部ｅ）５２０は、単位時間（５ｍｓ）ごとのパワーの概形の凹凸度Ｑｎの値に応じて、Ｑｎの値が正の時は話速を緩め、負の時は話速を速めることとし、例えば次式（２０）～（２２）により、話速変換倍率αｅｎを算出する。
Figure JPOXMLDOC01-appb-M000008
 ここで、Ｒｅはパワーの概形の凹凸度によって指定される話速変換倍率に対する寄与率であり、０≦Ｒｅ≦１とする。また、Ｋは、パワーの概形の凹凸度Ｑｎの値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
（分割した周波数帯域のパワー比を用いた補助的な話速変換倍率制御）
　次に、分割した周波数帯域のパワー比を利用する動作の一例について説明する。周波数帯域分割・パワー演算部６００は、入力信号のパワースペクトルを算出し、第１の周波数帯域における正規化パワー、及び第１の周波数帯域よりも高い周波数帯域における正規化パワーを算出する。
　スペクトル算出部６０２は、入力信号に対して単位時間（５ｍｓ）ごとに、高速フーリエ変換（Fast Fourier Transform, ＦＦＴ）などによって時間領域の波形を周波数領域に変換し、各周波数の対数化パワースペクトル（単位はｄＢ）を算出する。
　帯域分割部６０４は、スペクトル算出部６０２から入力されるパワースペクトルを複数の周波数帯域に分割する。例えば、周波数帯域Ｂ１：０～３００Ｈｚ、周波数帯域Ｂ２：３００～１５００Ｈｚ、周波数帯域Ｂ３：１５００～３０００Ｈｚ、周波数帯域Ｂ４：３０００～８０００Ｈｚ、周波数帯域Ｂ５：８０００Ｈｚ以上といった具合に分割する。
　パワー演算部６０６は、低い側の周波数帯域と高い側の周波数帯域について、それぞれ正規化パワーを算出する。例えば、ここでは、低い側の周波数帯域として周波数帯域Ｂ２、高い側の周波数帯域として周波数帯域Ｂ４を選択する。正規化パワーは、各周波数帯域に含まれるパワースペクトルの本数分だけ各値を合計し、その後その本数で除することで算出する。パワー演算部６０６は、算出した周波数帯域Ｂ２及び周波数帯域Ｂ４の正規化パワーを、分割帯域パワー比算出部６１０に出力する。
　分割帯域パワー比算出部６１０は、パワー演算部６０６から入力される低域側の正規化パワーと高域側の正規化パワーがすでに対数化されていることから、その差として、低域側の正規化パワーから高域側の正規化パワーを減ずる（すなわち、正規化パワーの比を求める）。通常その差は、１０ｄＢ～４０ｄＢ程度である。そして、単位時間（５ｍｓ）ごとに算出されたこの値の軌跡を平滑化して、分割した周波数帯域の正規化パワーの比（以下、分割帯域パワー比と称する）Ｅｎを算出し、第６の話速変換倍率指定部（話速変換倍率指定部ｆ）６２０に出力する。この平滑化のために、カットオフ周波数３～６Ｈｚ程度のローパスフィルタを用いるのが好適である。
　第６の話速変換倍率指定部（話速変換倍率指定部ｆ）６２０は、分割帯域パワー比Ｅｎが２５ｄＢより大きい場合は話速を緩め、分割帯域パワー比Ｅｎが２５ｄＢ以下であれば話速を速めることとし、例えば次式（２３）～（２５）により、話速変換倍率αｆｎを算出する。
Figure JPOXMLDOC01-appb-M000009
 但し、式（２３）では、Ｅｎ＜１０（単位はｄＢ）の場合には、Ｅｎ＝１０として計算する。ここで、Ｒｆは分割した分割帯域パワー比によって指定される話速変換倍率に対する寄与率であり、０≦Ｒｆ≦１とする。また、Ｋは、分割帯域パワー比Ｅｎの値とともに、話速を緩めたり速めたりする幅を調整する定数であり、例えばＫ＝１．４～２．０とする。
　式（１４）～（１６）のＲｃ、式（１７）～（１９）のＲｄ、式（２０）～（２２）のＲｅ、式（２３）～（２５）のＲｆの各値は、式（５）～（７）のＲａ、式（８）～（１０）のＲｂと同列に値を調整して用いる。例えば入力信号が放送の場合、番組のジャンル（ニュース、ドキュメンタリー、ドラマ、バラエティ、落語・漫才）が分かる場合には、それに応じて、値の分配率を最適化することにより、より聞きやすさや自然性の高い適応的話速変換が可能となる。例えば、ニュースならば、Ｒａ＝０．３、Ｒｂ＝０．１、Ｒｃ＝０．１、Ｒｄ＝０．３、Ｒｅ＝０．１、Ｒｆ＝０．１、ドキュメンタリー、ドラマならば、Ｒａ＝０．２、Ｒｂ＝０．２、Ｒｃ＝０．１、Ｒｄ＝０．２、Ｒｅ＝０．２、Ｒｆ＝０．１、落語・漫才ならば、Ｒａ＝０．１、Ｒｂ＝０．１、Ｒｃ＝０．３、Ｒｄ＝０．２、Ｒｅ＝０．２、Ｒｆ＝０．１などである。
　また、話速変換の対象とする言語の違いによって、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄ，Ｒｅ，Ｒｆの値を調整することにより、それぞれの言語においてより自然な聞こえ方の変換音声とすることができる。
（話速変換倍率の微調整）
　最後に、話速変換倍率微調整部１４０おける動作の一例を説明する。入力信号の先頭から単位時間（５ｍｓ）おきに数えてｎ番目に与える話速変換倍率αｎは、基本的には、式（５），（６），（８），（９），（１４），（１５），（１７），（１８），（２０），（２１），（２３），（２４）を用いる場合にはαｎ＝αａｎ×αｂｎ×αｃｎ×αｄｎ×αｅｎ×αｆｎとし、式（７），（１０），（１６），（１９），（２２），（２５）を用いる場合にはαｎ＝αａｎ＋αｂｎ＋αｃｎ＋αｄｎ＋αｅｎ＋αｆｎとする。しかし、再生速度変換倍率αが与えられた場合には、以下の手順でこれを微調整する。再生速度変換倍率αとしては、０．５～５．０などの任意の値を設定できる。
　再生速度変換倍率αが与えられた場合、入力信号全体の長さをＬ（単位は秒）とすると、変換後の信号全体の長さはＬ／αにならなければいけない。まず、話速変換倍率微調整部１４０は、式（５），（６），（８），（９），（１４），（１５），（１７），（１８），（２０），（２１），（２３），（２４）を用いる場合にはαａｆｎ＝αａｎ×αｂｎ×αｃｎ×αｄｎ×αｅｎ×αｆｎとして全ての入力信号区間を話速変換し、式（７），（１０），（１６），（１９），（２２），（２５）を用いる場合にはαａｆｎ＝αａｎ＋αｂｎ＋αｃｎ＋αｄｎ＋αｅｎ＋αｆｎとして全ての入力信号区間を話速変換した結果、全体として接続後の変換音声の長さＬ０を先に算出する。
　次に、次式（２６）によって、各部分の話速変換倍率αａｆｎを微調整して最終話速変換倍率αｎを決定することにより、変換後の信号全体の長さを再生すべき時間長に合わせることができる。
　αｎ＝αａｆｎ×Ｌ０／（Ｌ／α）　　　　　　　　　　　　　　　（２６）
　話速変換倍率微調整部１４０は、できるだけ頻繁に、再生速度変換倍率αで一様に変換した音声と同じタイミングに合わせ込む場合には、入力信号全体の長さＬではなく、これをより短い単位に分割した音声の長さに対して、微調整を行うようにαｎを修正すればよい。例えば、Ｌ＝Ｌ１＋Ｌ２＋・・・＋ＬＭのようにＭ個に分割できる場合には、話速変換倍率微調整部１４０はＬ１，Ｌ２，・・・，ＬＭの区間ごとに入力波形を分割し、それぞれの分割区間において、ｍ番目の区間では、まずその区間の単位時間（５ｍｓ）ごとの各部分の話速変換倍率αａｆｎ（αａｎ×αｂｎ×αｃｎ×αｄｎ×αｅｎ×αｆｎ又はαａｎ＋αｂｎ＋αｃｎ＋αｄｎ＋αｅｎ＋αｆｎ）を用いてこのｍ番目の区間を話速変換して、接続済みの変換音声の部分長Ｌｍ０を先に算出し、式（２６）のＬの代わりにＬｍを、Ｌ０のＬの代わりにＬｍ０を設定して各話速変換倍率αｎを求め、再度話速変換することで微調整を行う。なお、話速変換倍率αｎを実現するための話速変換（波形の伸縮）方法は、実施例１と同様のものを利用できる。
　図１０は、実施例３の話速変換倍率決定装置１ｃの動作を示すフローチャートである。話速変換倍率決定装置１ｃは、話速変換する信号を入力する（ステップＳ３０１）。話速変換する信号が入力されると、話速変換倍率決定装置１ｃは、基本周波数概形算出部１００により、基本周波数の概形の標本値Ｆｎを導出し（ステップＳ３０２）、パワー概形算出部２００により、パワーの概形の標本値Ｐｎを導出し（ステップＳ３０３）、有声度概形算出部３００により、有声度概形の標本値Ｕｎを導出し（ステップＳ３０４）、基本周波数概形算出部４００及び凹凸度算出部４１０により、基本周波数の概形の凹凸度Ｓｎを導出し（ステップＳ３０５）、パワー概形算出部５００及び凹凸度算出部５１０により、パワーの概形の凹凸度Ｑｎを導出し（ステップＳ３０６）、周波数帯域分割・パワー演算部６００及び分割帯域パワー比算出部６１０により、分割帯域パワー比Ｅｎを導出する（ステップＳ３０７）。
　ステップＳ３０２にて基本周波数の概形の標本値Ｆｎが導出されると、話速変換倍率決定装置１ｃは、第１の話速変換倍率指定部（話速変換倍率指定部ａ）１２０により、話速変換倍率αａｎを算出する（ステップＳ３０８）。ステップＳ３０３にてパワーの概形の標本値Ｐｎが導出されると、話速変換倍率決定装置１ｃは、第２の話速変換倍率指定部（話速変換倍率指定部ｂ）２２０により、話速変換倍率αｂｎを算出する（ステップＳ３０９）。ステップＳ３０４にて有声度概形の標本値Ｕｎが導出されると、話速変換倍率決定装置１ｃは、第３の話速変換倍率指定部（話速変換倍率指定部ｃ）３２０により、話速変換倍率αｃｎを算出する（ステップＳ３１０）。ステップＳ３０５にて基本周波数の概形の凹凸度Ｓｎが導出されると、話速変換倍率決定装置１ｃは、第４の話速変換倍率指定部（話速変換倍率指定部ｄ）４２０により、話速変換倍率αｄｎを算出する（ステップＳ３１１）。ステップＳ３０６にてパワーの概形の凹凸度Ｑｎが導出されると、話速変換倍率決定装置１ｃは、第５の話速変換倍率指定部（話速変換倍率指定部ｅ）５２０により、話速変換倍率αｅｎを算出する（ステップＳ３１２）。ステップＳ３０７にて分割帯域パワー比Ｅｎが導出されると、話速変換倍率決定装置１ｃは、第６の話速変換倍率指定部（話速変換倍率指定部ｆ）６２０により、話速変換倍率αｆｎを算出する（ステップＳ３１３）。そして、最後に、話速変換倍率決定装置１ｃは、話速変換倍率微調整部１４０により、話速変換倍率αａｎ～αｆｎから話速変換倍率αｎを求める。再生速度変換倍率αが与えられた場合には、最終的な話速変換倍率としてαｎを微調整する（ステップＳ３１４）。
　なお、ここでは話速変換倍率αａｎ～αｆｎ全てを用いる例を示したが、話速変換倍率αｃｎ～αｆｎについては少なくとも１つを使用する構成とすることができる。
　話速変換倍率決定装置１ｃは、有声度の概形の標本値Ｕｎ（話速変換倍率αｃｎ）を併用した場合には、以下の利点がある。この物理指標は先に説明したように、入力信号の全ての位置で求めることが可能である。また背景音（音楽や雑音）が混入している場合にも必ず算出可能である。通常、母音部は有声度が高い。また、完全な無音部や、一般的に色々な音の周波数成分が混じっている音楽や雑音などの背景音は有声度が低い。したがって、有声度の高いところで話速を緩め、有声度の低いところで話速を速めることで、背景音が混入している場合においても、音声の重要な部分である母音部では話速が緩められ、完全な無音部や背景音だけの部分は話速が速められるので、基本周波数の概形の標本値Ｆｎに加え、有声度も加味することで、入力信号全体として、より安定した効果的な適応的話速変換が可能となる。
　また、話速変換倍率決定装置１ｃは、基本周波数の概形の凹凸度Ｓｎ（話速変換倍率αｄｎ）を併用した場合には、以下の利点がある。これは、特許文献１で、「基本周波数の高いところは話速を緩め、低いところでは話速を速める」としていることとは異なる。例えば、男女のコンビによる漫才などを考えると、男女の声がほとんどポーズのない状態で激しく入れ替わる。このような入力信号に対して、特許文献１に記載の技術により、「基本周波数の高いところは話速を緩め、低いところでは話速を速める」と、女性の声は高いためいつも緩めるが、男性の声は低いためいつも速くなるという傾向が生じる。声のある区間とない区間とを正しく判別しなければいけない特許文献１の技術に比べて、実施例１，２の話速変換倍率決定装置１a，１ｂにおいては、雑音や背景音が混在する部分も含めた連続な基本周波数の概形を用いる点で安定的に動作するという利点はあるものの、男女の声が混合している場合には、基本周波数の概形の値に比例して話速変換倍率を設定する点で動作が不安定になることがある。
　そこで、基本周波数の概形の凹凸度Ｓｎを併用することにより、基本周波数の概形において、言葉のアクセントなどに付随して、女性の声の部分でも、男性の声の部分でも、必ず凹凸が生じるため、男女それぞれ、凸の部分は話速を緩め、凹の部分は話速を速めることができ、男女両者に公平な配分で、話速の適応的な制御が可能である。
　また、話速変換倍率決定装置１ｃは、パワーの概形の凹凸度Ｑｎ（話速変換倍率αｅｎ）を併用した場合には以下の利点がある。例えば、ドラマや講談などを考えると、演出よって、ある１センテンスは大きな声で発声し、次の１センテンスは急に小さい声で発声するといったことがよく行われる。このような入力信号に対して、実施例２の話速変換倍率決定装置１ｂにおいては、声の大きいセンテンスは相対的に話速を緩め、声の小さいセンテンスでは相対的に速めるという傾向が否めない。
　そこで、パワーの概形の凹凸度Ｑｎを併用することにより、大きな声のセンテンスでも、声の小さいセンテンスでも、単語単位のアクセントなどに付随して、必ず凹凸が生じるため、それぞれ、凸の部分は話速を緩め、凹の部分は話速を速めることができ、声の大きさの大小に関係なく公平な配分で、話速の適応的な制御が可能となる。
　また、話速変換倍率決定装置１ｃは、分割帯域パワー比Ｅｎ（話速変換倍率αｆｎ）を併用した場合には以下の利点がある。特許文献４及び５には、定常状態における周波数スペクトルの複数の帯域と入力信号の周波数スペクトルの対応する各帯域のパワーを比較することにより、入力信号が“音声区間”か“無音区間”かを判別することが述べられているが、本発明の“周波数スペクトルを複数の帯域に分割した場合のある２つの帯域の低い側と高い側のパワー比”は、定常状態におけるスペクトルのパワーと比較するのではなく、入力信号のある瞬間の周波数スペクトルだけを対象として、それを帯域分割し、そのうちのある２つの帯域の低い側と高い側のパワー比を求めるものであり、特許文献４及び５の技術とは本質的に全く異なる物理量である。特許文献４又は５に記載の技術で、“音声区間”か“無音区間”かの判別を行った場合、先に述べたように、ある程度大きな音量の音楽などが背景音として混入している場合、正しく“音声区間”と“無音区間”を判別することは困難であり、したがって正しく適応的な話速変換を行うことができない。
　そこで、分割帯域パワー比Ｅｎを併用することにより、入力信号のある瞬間の周波数スペクトルだけを対象として、そのうちのある２つの帯域の低い側と高い側のパワー比に基づき話速を決定するため、本質的に判定誤りというものは存在せず、安定して話速の制御が可能である。例えば、低い側のパワーに対して高い側のパワーが小さいときは話速を緩め、低い側のパワーに対して高い側のパワーが大きいときは話速を速めるといった制御が可能となる。この“２つの帯域の低い側と高い側のパワー比”は入力信号が、音声区間、音楽、雑音、無音など種類によって値が変わるものであるので、このパワー比の値により話速制御することにより、音声区間では話速を緩め、音楽、雑音、無音などの区間では話速を速めることが可能となる。
　ここで、実施例１の話速変換装置１０ａと同様に、実施例３の話速変換装置１０ｃは、上述の話速変換倍率決定装置１ｃと、話速変換倍率決定装置１ｃにより決定された話速変換倍率に従って入力信号を話速変換する話速変換部４とを備える。話速変換装置４がリアルタイムの動作をする必要がある場合の動作も、実施例１と同様である。
　また、実施例１と同様に、話速変換倍率決定装置１ｃ又は話速変換装置１０ｃとして機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、話速変換倍率決定装置１ｃの各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
　また、処理内容を記述したプログラムを、ＤＶＤ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録し、この記録媒体を販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
　また、そのようなプログラムを実行するコンピュータは、例えば、記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
　上述の各実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
　本発明は、話速変換を要する任意の用途に有用である。例えば、テレビやラジオの音声をリアルタイムでゆっくり聞いたり、ハードディスクレコーダーなどに一度記録して、ゆっくり又は速く視聴したりすることができる。また、視覚障害者からは音声情報を効率的に聴取したいという要望があり、本発明を用いれば、視覚障害者用の録音図書などを高速に再生して聞くこともできる。さらには、語学学習や発声訓練システムにおいて、その教材の作成時に利用したり、学習時に学習者の上達度に合わせて音声の話速を変換して学習者に聞かせたりすることもできる。
　１ａ，１ｂ，１ｃ　話速変換倍率決定装置
　２　　　物理指標算出部
　３　　　話速変換倍率決定部
　４　　　話速変換部
　１０ａ，１０ｂ，１０ｃ　話速変換装置
　１００　基本周波数概形算出部
　１０２　有音／無音判定部
　１０４　基本周波数算出部
　１０６　平滑化部
　１０８　擬似基本周波数算出部
　１１０　基本周波数概形連結部
　１２０　第１の話速変換倍率指定部（話速変換倍率指定部ａ）
　１４０　話速変換倍率微調整部
　２００　パワー概形算出部
　２０２　パワー算出部
　２０４　平滑化部
　２２０　第２の話速変換倍率指定部（話速変換倍率指定部ｂ）
　３００　有声度概形算出部
　３０２　有声度算出部
　３０４　平滑化部
　３２０　第３の話速変換倍率指定部（話速変換倍率指定部ｃ）
　４００　基本周波数概形算出部
　４１０　凹凸度算出部
　４２０　第４の話速変換倍率指定部（話速変換倍率指定部ｄ）
　５００　パワー概形算出部
　５１０　凹凸度算出部
　５２０　第５の話速変換倍率指定部（話速変換倍率指定部ｅ）
　６００　周波数帯域分割・パワー演算部
　６０２　スペクトル算出部
　６０４　帯域分割部
　６０６　パワー演算部
　６１０　分割帯域パワー比算出部
　６２０　第６の話速変換倍率指定部（話速変換倍率指定部ｆ）

Claims (11)

  1. 　入力信号の話速の適応的な変換倍率を決定する話速変換倍率決定装置であって、
    　入力信号の有音区間と無音区間とを判別する有音無音判定部と、
    前記有音区間において一定の時間間隔で入力信号の基本周波数を算出するとともに、該基本周波数の値が所定の変化幅内で変化する安定区間、及び該基本周波数の値が所定の変化幅を超えて変化する不安定区間を決定する基本周波数算出部と、
    前記安定区間において、前記基本周波数の時間変化を平滑化する周波数平滑化部と、
    前記不安定区間及び前記無音区間において、前記平滑化された安定区間における基本周波数の値を参照して、基本周波数を内挿した擬似基本周波数を算出する擬似基本周波数算出部と、
    前記平滑化された基本周波数及び前記擬似基本周波数を接続して、一続きの基本周波数の概形の標本値を得る基本周波数概形連結部と、を有し、
    前記基本周波数の概形の標本値を物理指標として出力する物理指標算出部と、
    　前記物理指標に基づいて、入力信号に指定すべき話速変換倍率を算出する話速変換倍率指定部と、
    を備えることを特徴とする話速変換倍率決定装置。
  2. 　前記物理指標算出部は、一定の時間間隔で入力信号のパワーを算出するパワー算出部と、前記パワーの時間変化を平滑化してパワーの概形の標本値を得るパワー平滑化部と、を備え、
    前記基本周波数の概形の標本値及び前記パワーの概形の標本値を前記物理指標として出力することを特徴とする、請求項１に記載の話速変換倍率決定装置。
  3. 　前記物理指標算出部は、入力信号波形から有声度を求める有声度算出部と、前記有声度の時間変化を平滑化して有声度の概形の標本値を得る有声度平滑化部と、を備え、
    前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記有声度の概形の標本値を前記物理指標として出力することを特徴とする、請求項２に記載の話速変換倍率決定装置。
  4. 　前記物理指標算出部は、前記基本周波数の概形の変化傾向を表す、基本周波数の概形の凹凸度を算出する基本周波数凹凸度算出部を備え、
    前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記基本周波数の概形の凹凸度を前記物理指標として出力することを特徴とする、請求項２に記載の話速変換倍率決定装置。
  5. 　前記物理指標算出部は、前記パワーの概形の変化傾向を表す、パワーの概形の凹凸度を算出するパワー凹凸度算出部を備え、
    前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記パワーの概形の凹凸度を前記物理指標として出力することを特徴とする、請求項２に記載の話速変換倍率決定装置。
  6. 　前記物理指標算出部は、入力信号のパワースペクトルを算出し、第１の周波数帯域における正規化パワー、及び第１の周波数帯域よりも高い第２の周波数帯域における正規化パワーを算出する周波数帯域分割・パワー演算部と、前記第１の周波数帯域及び前記第２の周波数帯域における正規化パワーの比を算出する分割帯域パワー比算出部を備え、
    前記基本周波数の概形の標本値、前記パワーの概形の標本値、及び前記第１の周波数帯域及び第２の周波数帯域における正規化パワーの比を前記物理指標として出力することを特徴とする、請求項２に記載の話速変換倍率決定装置。
  7. 　前記話速変換倍率指定部は、前記物理指標、及び前記物理指標それぞれの話速に対する寄与率に基づいて、前記話速変換倍率を算出することを特徴とする、請求項２～６のいずれか一項に記載の話速変換倍率決定装置。
  8. 　入力信号の全体、又は分割された入力信号における各部分に対する再生すべき時間長が与えられると、入力信号の全体又は各部分の時間長が前記再生すべき時間長に適合するように前記話速変換倍率を微調整して最終話速変換倍率を決定する話速変換倍率微調整部を更に備えることを特徴とする、請求項７に記載の話速変換倍率決定装置。
  9. 　入力信号の適応的な話速変換を行う話速変換装置であって、
    　請求項８に記載の話速変換倍率決定装置と、前記話速変換倍率に従って入力信号を話速変換する話速変換部と、を備え、
    　前記話速変換部は、入力信号の全体、又は分割された入力信号における各部分に対する再生すべき時間長が与えられると、一定の時間間隔ごとに、一様な倍率で伸縮させた時に出力されるべき目標信号と、入力信号を前記話速変換倍率により変換した変換信号とを、信号の時系列上で比較して時間的なずれ量を算出し、
    　前記話速変換倍率微調整部は、前記時間的なずれ量に応じてその後の話速変換倍率を再調整することを特徴とする話速変換装置。
  10. 　入力信号の話速の適応的な変換倍率を決定する話速変換倍率決定装置として構成するコンピュータに、
    　入力信号の有音区間と無音区間とを判別するステップと、
    　前記有音区間において一定の時間間隔で入力信号の基本周波数を算出するとともに、該基本周波数の値が所定の変化幅内で変化する安定区間と、該基本周波数の値が所定の変化幅を超えて変化する不安定区間とを決定するステップと、
    　前記安定区間において、前記基本周波数の時間変化を平滑化するステップと、
    　前記不安定区間及び前記無音区間において、前記平滑化された安定区間における基本周波数の値を参照して、基本周波数を内挿した擬似基本周波数を算出するステップと、
    　前記平滑化された基本周波数及び前記擬似基本周波数を接続して、一続きの基本周波数の概形の標本値を得るステップと、
    　前記基本周波数の概形の標本値に応じて、入力信号に指定すべき話速変換倍率を算出するステップと、
    を実行させるためのプログラム。
  11. 　請求項１０に記載のプログラムを記録した記録媒体。
PCT/JP2012/000537 2011-01-28 2012-01-27 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 WO2012102056A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/981,950 US9129609B2 (en) 2011-01-28 2012-01-27 Speech speed conversion factor determining device, speech speed conversion device, program, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011017232A JP5593244B2 (ja) 2011-01-28 2011-01-28 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP2011-017232 2011-01-28

Publications (1)

Publication Number Publication Date
WO2012102056A1 true WO2012102056A1 (ja) 2012-08-02

Family

ID=46580630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000537 WO2012102056A1 (ja) 2011-01-28 2012-01-27 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US9129609B2 (ja)
JP (1) JP5593244B2 (ja)
WO (1) WO2012102056A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107731243A (zh) * 2016-08-12 2018-02-23 电信科学技术研究院 一种语音实时变速播放方法及设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5593244B2 (ja) * 2011-01-28 2014-09-17 日本放送協会 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP2012194417A (ja) * 2011-03-17 2012-10-11 Sony Corp 音声処理装置および方法、並びにプログラム
JP6152639B2 (ja) * 2012-11-27 2017-06-28 沖電気工業株式会社 音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラム
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10157607B2 (en) 2016-10-20 2018-12-18 International Business Machines Corporation Real time speech output speed adjustment
US10276185B1 (en) * 2017-08-15 2019-04-30 Amazon Technologies, Inc. Adjusting speed of human speech playback
US10878835B1 (en) * 2018-11-16 2020-12-29 Amazon Technologies, Inc System for shortening audio playback times
CN110675861B (zh) * 2019-09-26 2022-11-01 深圳追一科技有限公司 语音断句方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091189A (ja) * 1996-09-17 1998-04-10 Nec Corp 発声速度変換装置
JP2011033789A (ja) * 2009-07-31 2011-02-17 Nippon Hoso Kyokai <Nhk> 適応的な話速変換装置及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4692941A (en) * 1984-04-10 1987-09-08 First Byte Real-time text-to-speech conversion system
JP3249567B2 (ja) 1992-03-10 2002-01-21 日本放送協会 話速変換方法および装置
JP3219892B2 (ja) 1993-04-05 2001-10-15 日本放送協会 リアルタイム話速変換装置
JP3357742B2 (ja) 1993-09-18 2002-12-16 三洋電機株式会社 話速変換装置
US5611018A (en) * 1993-09-18 1997-03-11 Sanyo Electric Co., Ltd. System for controlling voice speed of an input signal
JP3373933B2 (ja) 1993-11-17 2003-02-04 三洋電機株式会社 話速変換装置
JP3266819B2 (ja) * 1996-07-30 2002-03-18 株式会社エイ・ティ・アール人間情報通信研究所 周期信号変換方法、音変換方法および信号分析方法
JP2955247B2 (ja) * 1997-03-14 1999-10-04 日本放送協会 話速変換方法およびその装置
JP3619946B2 (ja) 1997-03-19 2005-02-16 富士通株式会社 話速変換装置、話速変換方法及び記録媒体
EP0944036A4 (en) * 1997-04-30 2000-02-23 Japan Broadcasting Corp METHOD AND DEVICE FOR DETECTING LANGUAGE AREAS, AND METHOD AND DEVICE FOR LANGUAGE SPEED CONVERSION
JP3220043B2 (ja) 1997-04-30 2001-10-22 日本放送協会 話速変換方法およびその装置
JP3834169B2 (ja) * 1999-09-22 2006-10-18 日本放送協会 連続音声認識装置および記録媒体
ATE255762T1 (de) * 1999-11-08 2003-12-15 British Telecomm Nicht-beeinflussende bestimmung der sprachqualität
US8135047B2 (en) * 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
JP5119700B2 (ja) * 2007-03-20 2013-01-16 富士通株式会社 韻律修正装置、韻律修正方法、および、韻律修正プログラム
JP5593244B2 (ja) * 2011-01-28 2014-09-17 日本放送協会 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091189A (ja) * 1996-09-17 1998-04-10 Nec Corp 発声速度変換装置
JP2011033789A (ja) * 2009-07-31 2011-02-17 Nippon Hoso Kyokai <Nhk> 適応的な話速変換装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107731243A (zh) * 2016-08-12 2018-02-23 电信科学技术研究院 一种语音实时变速播放方法及设备
CN107731243B (zh) * 2016-08-12 2020-08-07 电信科学技术研究院 一种语音实时变速播放方法及设备

Also Published As

Publication number Publication date
JP5593244B2 (ja) 2014-09-17
JP2012159540A (ja) 2012-08-23
US9129609B2 (en) 2015-09-08
US20130325456A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
JP5593244B2 (ja) 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP7150939B2 (ja) ボリューム平準化器コントローラおよび制御方法
EP3598448B1 (en) Apparatuses and methods for audio classifying and processing
US8898055B2 (en) Voice quality conversion device and voice quality conversion method for converting voice quality of an input speech using target vocal tract information and received vocal tract information corresponding to the input speech
US10176797B2 (en) Voice synthesis method, voice synthesis device, medium for storing voice synthesis program
US20130044885A1 (en) System And Method For Identifying Original Music
US12027165B2 (en) Computer program, server, terminal, and speech signal processing method
JP2000511651A (ja) 記録されたオーディオ信号の非均一的時間スケール変更
US11727949B2 (en) Methods and apparatus for reducing stuttering
Obin et al. On the generalization of Shannon entropy for speech recognition
JP2018004870A (ja) 音声合成装置および音声合成方法
JP5412204B2 (ja) 適応的な話速変換装置及びプログラム
JP3373933B2 (ja) 話速変換装置
US20190019525A1 (en) Audio processing method and audio processing device
JP4313724B2 (ja) 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体
US11380345B2 (en) Real-time voice timbre style transform
JP2005524118A (ja) 合成音声
JP6784137B2 (ja) 音響解析方法および音響解析装置
EP3327723A1 (en) Method for slowing down a speech in an input media content
WO2019059094A1 (ja) 音声処理方法および音声処理装置
JPH07129194A (ja) 音声合成方法及び音声合成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12739976

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13981950

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12739976

Country of ref document: EP

Kind code of ref document: A1