WO2012114946A1 - 音声処理装置、音声処理方法、及びプログラム - Google Patents

音声処理装置、音声処理方法、及びプログラム Download PDF

Info

Publication number
WO2012114946A1
WO2012114946A1 PCT/JP2012/053418 JP2012053418W WO2012114946A1 WO 2012114946 A1 WO2012114946 A1 WO 2012114946A1 JP 2012053418 W JP2012053418 W JP 2012053418W WO 2012114946 A1 WO2012114946 A1 WO 2012114946A1
Authority
WO
WIPO (PCT)
Prior art keywords
gain adjustment
suppression
audio signal
gain
suppression amount
Prior art date
Application number
PCT/JP2012/053418
Other languages
English (en)
French (fr)
Inventor
洋平 櫻庭
信之 木原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/985,803 priority Critical patent/US20130322649A1/en
Priority to CN2012800089936A priority patent/CN103380628A/zh
Priority to EP12749314.6A priority patent/EP2680609A1/en
Publication of WO2012114946A1 publication Critical patent/WO2012114946A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Definitions

  • the present disclosure relates to a voice processing device, a voice processing method, and a program.
  • Patent Document 1 discloses a technique for detecting the occurrence of howling when an envelope increasing tendency that continues for a predetermined time or longer is detected.
  • Patent Document 2 discloses a technique for gradually suppressing howling.
  • the present disclosure has been made in view of the above problems, and the object of the present disclosure is a novel and capable of suppressing howling even when reflected sound or non-howling sound is generated.
  • An object is to provide an improved voice processing apparatus, voice processing method, and program.
  • a frequency domain conversion unit that converts an audio signal input from a microphone into a frequency domain for each frame, and an audio signal converted into the frequency domain
  • a gain adjustment unit that performs gain adjustment for each band, and the gain adjustment unit acquires an autocorrelation value of the power of the audio signal between the frames for each band, and acquires the acquired autocorrelation
  • An audio processing device is provided that sets the gain adjustment amount according to the value.
  • the adjustment amount may include a first suppression amount having a long time for suppressing the gain and a second suppression amount having a short time for suppressing the gain.
  • the gain adjusting unit may set a combined suppression amount that combines the first suppression amount and the second suppression amount for each band.
  • the gain adjusting unit sets the combined suppression amount obtained by increasing the first suppression amount when the maximum value of the acquired autocorrelation value is greater than a predetermined threshold, and acquires the acquired autocorrelation.
  • the combined suppression amount obtained by increasing the second suppression amount may be set.
  • the autocorrelation value of the power may be an absolute value of autocorrelation normalized by the power.
  • time domain conversion part which converts the audio
  • output part which outputs the audio
  • a coefficient conversion unit that minimizes the filter coefficient corresponding to the gain adjustment amount according to the autocorrelation value, and the time-domain sound that is input from the microphone with the filter coefficient that has been minimized in phase. It is good also as providing further the convolution part which convolves with a signal.
  • a frequency domain conversion unit that converts an audio signal input from a microphone into a frequency domain for each frame, and the frequency domain converted to the frequency domain
  • a gain adjustment unit that performs gain adjustment for each band on the audio signal, wherein the gain adjustment unit has a first suppression amount with a long suppression time and a second suppression amount with a short suppression time for each band.
  • An audio processing apparatus is provided that adjusts the gain with a combined combination suppression amount.
  • an audio signal input from a microphone is converted into a frequency domain for each frame, and an audio signal converted into the frequency domain is Performing gain adjustment for each band, and obtaining the autocorrelation value of the power of the audio signal between the frames for each band in performing the gain adjustment.
  • An audio processing method is provided in which the gain adjustment amount is set according to the value.
  • an audio signal input from a microphone is converted into a frequency domain for each frame, and the audio signal converted into the frequency domain is converted into the audio signal.
  • An audio processing method is provided in which the gain is adjusted by the amount of suppression.
  • a computer converts a voice signal input from a microphone into a frequency domain for each frame, and converts the computer to the frequency domain.
  • a gain adjustment unit that performs gain adjustment on each audio signal for each band, and the gain adjustment unit acquires an autocorrelation value of the power of the audio signal between the frames for each band.
  • a program is provided for functioning as a sound processing device for setting the gain adjustment amount according to the acquired autocorrelation value.
  • a computer converts a voice signal input from a microphone into a frequency domain for each frame, and converts the computer to the frequency domain.
  • a gain adjustment unit that performs gain adjustment for each band on the audio signal, and the gain adjustment unit includes a first suppression amount with a long suppression time and a second suppression time with a short suppression time for each band.
  • howling can be satisfactorily suppressed even when reflected sound or non-howling sound is generated.
  • FIG. 1 is a functional block diagram of the speech processing apparatus according to the first embodiment.
  • the audio processing device 10 includes a microphone 20, an A / D converter 30, a signal processing unit 40, a D / A converter 50, and a speaker 60. Have.
  • the microphone 20 collects sound and converts the collected sound into an audio signal.
  • the microphone 20 outputs an audio signal to the A / D converter 30.
  • the audio signal output from the microphone 20 is amplified by an amplifier (not shown) and input to the A / D converter 30.
  • the A / D converter 30 digitally converts the audio signal input from the microphone 20.
  • the A / D converter 30 outputs the digitally converted audio signal to the signal processing unit 40.
  • the audio signal input to the A / D converter 30 may be a signal input from an external device other than the microphone 20.
  • the signal processing unit 40 performs various signal processing such as gain adjustment on the audio signal input from the A / D converter 30.
  • the signal processing unit 40 outputs the audio signal subjected to signal processing to the D / A converter 50.
  • the signal processing unit 40 according to the present embodiment performs gain adjustment for suppressing howling. The detailed configuration of the signal processing unit 40 will be described later.
  • the D / A converter 50 converts the audio signal input from the signal processing unit 40 into an analog signal.
  • the D / A converter 50 outputs the audio signal subjected to analog conversion to the speaker 60.
  • the speaker 60 emits the audio signal input from the D / A converter 50.
  • the voice processing device 10 includes a memory (not shown) that stores various data.
  • the memory stores, for example, data of an audio signal input from a microphone, and stores data after processing by the signal processing unit 40.
  • the memory stores a program for operating the voice processing device 10, and a process (for example, howling suppression processing described later) by the voice processing device 10 is realized by a CPU (not shown) executing the program. .
  • an index for determining howling is described.
  • As an index for judging howling likeness there is known a method for judging howling when a state in which ⁇ power value continuously exceeds a threshold value by a counter processing of power difference ( ⁇ power) of a Fourier-transformed audio signal is continued. ing.
  • ⁇ power power difference
  • the time until the howling suppression gain is restored will be described. If the time until the howling suppression gain is restored is delayed, there is a merit that howling is not reproduced for a while, but the non-howling sound during that time may be deteriorated. Further, if the time until the howling suppression gain is restored is shortened, the sound quality degradation of the non-howling sound is not noticeable, but the howling may be reproduced immediately or the howling may not disappear. For this reason, it is required to achieve both prevention of sound quality deterioration and howling reproduction.
  • the autocorrelation of the power difference of the Fourier-transformed audio signal is used as an index for determining howling likeness, and the autocorrelation value is used.
  • the howling suppression is controlled accordingly. Thereby, howling can be satisfactorily suppressed even when reflected sound or non-howling sound occurs. Further, by combining a plurality of suppression amounts having different suppression times as howling suppression amounts, it is possible to achieve both prevention of sound quality degradation and howling reproduction.
  • the signal processing unit 40 includes a Fourier transform unit 42 that is an example of a frequency domain transform unit, a gain adjustment unit 44, and a Fourier inverse transform unit 46 that is an example of a time domain transform unit.
  • the Fourier transform unit 42 performs a Fourier transform (FFT) on the audio signal (input audio) input from the A / D converter 30 into a frequency domain signal for each frame that is a unit time.
  • the Fourier transform unit 42 divides the audio signal Fourier-transformed into the frequency domain into a plurality of bands, and outputs the audio signal of each band to the gain adjustment unit 44.
  • the audio signal may be divided into a plurality of bands by a known filter bank.
  • FIG. 2 is a schematic diagram for explaining the block processing.
  • the input voice data input from the microphone 20 is, for example, 512 samples, for example, samples S (1), S (2), S (3),... S (n).
  • Fourier transform is performed using two samples.
  • the sample S (1) and the sample S (2) are both Fourier transformed to obtain the frequency spectrum F (1)
  • the sample S (2) and the sample S (3) are both Fourier transformed to obtain the frequency spectrum.
  • F (2) is acquired. Therefore, the processing frame for block processing is 1024 samples.
  • the gain adjustment unit 44 performs gain adjustment for each band on the audio signal input from the Fourier transform unit 42.
  • the gain adjusting unit 44 obtains a power difference between frames using the frequency spectrum, and acquires an autocorrelation value for detecting howling.
  • an autocorrelation value for detecting howling.
  • the gain adjustment unit 44 acquires a power difference between frames from the acquired frequency spectra F (1), F (2)... F (n). For example, the gain adjusting unit 44 acquires ⁇ p ( ⁇ ) that is a power difference as illustrated in FIG. 3A.
  • FIG. 3A is a diagram illustrating the power difference ⁇ p ( ⁇ ) in one band.
  • ⁇ p ( ⁇ ) at the time of howling is indicated by a solid line
  • ⁇ p ( ⁇ ) at the time of non-howling is indicated by a dotted line.
  • ⁇ P ( ⁇ ) at the time of howling is larger than ⁇ p ( ⁇ ) at the time of non-howling.
  • the gain adjusting unit 44 acquires the autocorrelation of ⁇ p ( ⁇ ) based on the acquired ⁇ p ( ⁇ ).
  • Autocorrelation is a measure of how well a signal matches itself with a time shifted signal.
  • Autocorrelation is expressed as a function of the magnitude of the time shift, as shown in Equation 1 below. That is, the autocorrelation r m ( ⁇ ) in Equation 1 is the sum of products of ⁇ p ( ⁇ ) and a point obtained by shifting ⁇ p ( ⁇ ) by m points.
  • Equation 1 represents the ⁇ power value at the frequency ⁇ and time t.
  • Autocorrelation is useful for searching for a repetitive pattern included in a signal, and is used, for example, to determine the presence of a periodic signal buried in noise. Further, the autocorrelation takes a large value when there is periodicity, and takes a small value when there is no periodicity. During howling, ⁇ power has a periodicity, so the autocorrelation is high, and during non-howling, ⁇ power has no periodicity, so the autocorrelation is small.
  • the gain adjusting unit 44 uses the acquired autocorrelation r m ( ⁇ ), the gain adjusting unit 44 acquires an absolute value of autocorrelation (referred to as an autocorrelation value) normalized by power as shown in Equation 2 below. By normalizing with power, it becomes easier to distinguish autocorrelation between howling and non-howling.
  • FIG. 3B is a diagram showing the absolute value of autocorrelation normalized by power.
  • the autocorrelation value at the time of howling is indicated by a solid line
  • the autocorrelation value at the time of non-howling is indicated by a dotted line.
  • the autocorrelation value at the time of howling has periodicity and is larger than the autocorrelation value at the time of non-howling.
  • howling is detected by autocorrelation
  • howling is detected by counter processing when ⁇ power exceeds a threshold value
  • ⁇ power value temporarily decreases, the counter is reset, and a problem that howling is not suppressed occurs.
  • attention is paid only to the periodicity of ⁇ power, howling can be suppressed even when ⁇ power temporarily decreases.
  • the gain adjustment unit 44 sets the gain adjustment amount for each band according to the acquired autocorrelation value. Specifically, the gain adjustment unit 44 adjusts the gain with a combined suppression amount obtained by combining a plurality of suppression amounts for each band.
  • the combination suppression amount is described as a combination of the long-time suppression amount and the short-time suppression amount.
  • the long-time suppression amount corresponds to a first suppression amount with a long suppression time
  • the short-time suppression amount corresponds to a second suppression amount with a short suppression time.
  • the combined suppression amount may be a combination of three or more suppression amounts. For example, when three suppression amounts are used, the suppression time of the third suppression amount is set longer than the suppression time of the short-time suppression amount and shorter than the suppression time of the long-time suppression amount.
  • the gain adjustment unit 44 compares the maximum value of the acquired autocorrelation value (x ( ⁇ ) in FIG. 3B) with a predetermined threshold value, and sets a combined suppression amount (final suppression amount).
  • the predetermined threshold value is a value indicating a boundary between howling and non-howling, and the gain adjusting unit 44 determines that howling has occurred when the maximum autocorrelation value x ( ⁇ ) is larger than the threshold value.
  • the gain adjustment unit 44 determines that howling has not occurred when the maximum value x ( ⁇ ) of the autocorrelation value is smaller than the threshold value.
  • the gain adjustment unit 44 sets a combined suppression amount that increases the long-time suppression amount.
  • the gain adjustment unit 44 sets the combined suppression amount that increases the short-time suppression amount.
  • the gain adjustment unit 44 also performs a process of returning the long-time suppression amount and the short-time suppression amount to the original state because the frequency characteristic continues to deteriorate.
  • the long-time suppression amount is returned slowly, and the short-time suppression amount is returned immediately.
  • the gain-adjusted audio signal data (data D (1), D (2), etc., shown in FIG. 2) in each band is output to the inverse Fourier transform unit 46.
  • the Fourier inverse transform unit 46 synthesizes the audio signals of the respective bands input from the Fourier transform unit 46, and performs inverse Fourier transform processing to convert them into the time domain.
  • the Fourier inverse transform unit 46 according to the present embodiment converts the audio signal from which the suppression amount is released into the time domain.
  • the Fourier inverse transform unit 46 outputs the audio signal converted into the time domain to the D / A converter 50. As a result, the audio signal whose suppression amount is released is output to the speaker 60.
  • the gain adjustment unit 44 acquires the autocorrelation value and sets the final suppression amount according to the acquired autocorrelation value. For this reason, howling can be suppressed satisfactorily even when reflected sound or non-howling sound occurs. Further, by combining two suppression amounts (long-time suppression amount and short-time suppression amount) having different suppression times as the final suppression amount, it is possible to achieve both prevention of sound quality degradation and howling reproduction.
  • FIG. 4 is a flowchart for explaining howling suppression processing. This processing is realized by the CPU of the audio processing device 10 executing a program stored in the memory.
  • the gain adjustment unit 44 obtains the maximum autocorrelation value x ( ⁇ ) indicating howling as shown in FIG. 3B (step S2).
  • the gain adjustment unit 44 sets the short-time suppression amount G1 ( ⁇ ) and the long-time suppression amount G2 ( ⁇ ) according to the acquired maximum value of autocorrelation value x ( ⁇ ) for each band. Then, the gain adjusting unit 44 sets a final suppression amount G ( ⁇ ) obtained by combining the two suppression amounts G1 ( ⁇ ) and G2 ( ⁇ ). The unit of each suppression amount is decibel (dB). This process is a process that is repeatedly executed, and the previous value is used for the short time suppression amount G1 ( ⁇ ) and the long time suppression amount G2 ( ⁇ ). That is, the short time suppression amount G1 ( ⁇ ) and the long time suppression amount G2 ( ⁇ ) are integrated values.
  • the gain adjusting unit 44 determines whether or not the maximum autocorrelation value x ( ⁇ ) is equal to or greater than a predetermined threshold (step S4).
  • the gain adjustment unit 44 determines the long-term suppression amount of the two suppression amounts G1 ( ⁇ ) and G2 ( ⁇ ). G2 ( ⁇ ) is increased (step S6).
  • the gain adjustment unit 44 increases the long-time suppression amount G2 ( ⁇ ) according to the value of x ( ⁇ ) as in the following Equation 3.
  • T2 (x ( ⁇ )) is, for example, a constant value or a value proportional to howling. However, it is not limited to this.
  • the gain adjusting unit 44 may increase the long-time suppression amount G2 ( ⁇ ) by multiplication as shown in the following Equation 4.
  • the gain adjustment unit 44 maintains the magnitude of the short-time suppression amount G1 ( ⁇ ).
  • step S4 when the maximum value x ( ⁇ ) of the autocorrelation value is equal to or smaller than the predetermined threshold value in step S4 (step S4: No), the gain adjustment unit 44 uses the two suppression amounts G1 ( ⁇ ) and G2 The short time suppression amount G1 ( ⁇ ) of ( ⁇ ) is increased (step S8).
  • the gain adjustment unit 44 increases the short-time suppression amount G1 ( ⁇ ) according to the value of x ( ⁇ ) as shown in Equation 5 below.
  • T1 (x ( ⁇ )) is, for example, a constant value or a value proportional to howling. However, it is not limited to this.
  • the gain adjusting unit 44 may increase the short-time suppression amount G1 ( ⁇ ) by multiplication as shown in the following Equation 6.
  • the gain adjustment unit 44 maintains the magnitude of the long-time suppression amount G2 ( ⁇ ).
  • the gain adjusting unit 44 obtains a final suppression amount G ( ⁇ ) by combining the two suppression amounts G1 ( ⁇ ) and G2 ( ⁇ ) (step S10).
  • the gain adjustment unit 44 obtains the final suppression amount G ( ⁇ ) as shown in Equation 7 below.
  • the gain adjustment unit 44 determines the final suppression amount G ( ⁇ ) by combining the two suppression amounts G1 ( ⁇ ) and G2 ( ⁇ ), but is not limited thereto. For example, when importance is placed on howling suppression, the gain adjustment unit 44 may use the larger one of the two suppression amounts G1 ( ⁇ ) and G2 ( ⁇ ) as the final suppression amount G ( ⁇ ). . Further, when the sound quality of the non-howling sound is regarded as important, the gain adjusting unit 44 may use the smaller suppression gain as the final suppression amount G ( ⁇ ).
  • the gain adjustment unit 44 performs processing for returning the suppression amount (step S12).
  • the gain adjustment unit 44 controls the suppression gain as in the following formulas 8 and 9. Note that the short-time suppression amount G1 ( ⁇ ) and long-time suppression amount G2 ( ⁇ ) that have been restored to the original suppression amount are used in steps S6 and S8 described above.
  • R1 is larger than R2.
  • the short time suppression amount G1 ( ⁇ ) recovers in a short time
  • the long time suppression amount G2 ( ⁇ ) recovers slowly. That is, the gain when the howling likelihood is small (when the autocorrelation value is small) is quickly recovered, and the gain when the howling likelihood is large (when the autocorrelation value is large) is slowly recovered.
  • the autocorrelation value x ( ⁇ ) becomes a large value while being suppressed for a short time, and is thus suppressed by the long-time suppression amount G2 ( ⁇ ). .
  • the suppression is performed by the short-time suppression amount G1 ( ⁇ )
  • howling is not so noticeable, and the suppression is continued for a long time by using the long-time suppression amount G2 ( ⁇ ). , Howling can be prevented from reproducing immediately.
  • the gain adjusting unit 44 obtains the processed output Y ( ⁇ ) by multiplying the input S ( ⁇ ) by the obtained final suppression amount G ( ⁇ ) as shown in the following Expression 10. (Step S14) .
  • the audio signal that has undergone the howling suppression process is output to the speaker 60.
  • step S14 is performed after the process of step S12.
  • the present invention is not limited to this.
  • the process of step S12 and the process of step S14 may be performed in parallel, or the process of step S12 may be performed after the process of step S14.
  • FIG. 5 is a functional block diagram of the speech processing apparatus according to the second embodiment.
  • the signal processing unit 140 performs various signal processing such as gain adjustment on the audio signal (input audio) input from the A / D converter 30, and converts the audio signal subjected to the signal processing to the D / A converter Output to 50.
  • the signal processing unit 140 includes a Fourier transform unit 142, a gain adjustment unit 144, an FIR coefficient calculation unit 146, a coefficient conversion unit 148, and a convolution unit 150.
  • the Fourier transform unit 142 divides the audio signal converted into the frequency domain into a plurality of bands, and outputs the audio signals in each band to the gain adjustment unit 144.
  • the gain adjustment unit 144 acquires the autocorrelation value, and sets the final suppression amount G ( ⁇ ) according to the acquired autocorrelation value, as in the first embodiment. For this reason, also in the second embodiment, howling can be suppressed satisfactorily even if reflected sound or non-howling sound occurs. Moreover, the gain adjustment unit 144 can achieve both prevention of sound quality degradation and howling reproduction by combining and suppressing a plurality of suppression amounts.
  • the FIR coefficient calculation unit 146 calculates a linear phase FIR filter coefficient that realizes the final suppression amount G ( ⁇ ) input from the gain adjustment unit 144. For example, the FIR coefficient calculation unit 146 calculates linear phase FIR filter coefficients by a known window function method or Remez method as shown in FIG. The FIR coefficient calculation unit 146 outputs the calculated linear phase FIR filter coefficient to the coefficient conversion unit 148. Of course, the linear phase FIR filter coefficient may be calculated by a method other than the window function method or the Remez method.
  • FIG. 6 is a diagram for explaining linear phase FIR filter coefficients.
  • the coefficient conversion unit 148 converts the linear phase FIR filter coefficient input from the FIR coefficient calculation unit 146 into a minimum phase FIR filter coefficient. For example, the coefficient conversion unit 148 performs minimum phase conversion of the FIR filter coefficient by a known Remez method or the like as shown in FIG. The coefficient conversion unit 148 outputs the minimum phase FIR filter coefficient to the convolution unit 150.
  • FIG. 7 is a diagram for explaining the minimum phasing of the FIR filter coefficients.
  • the convolution unit 150 convolves the minimum phase FIR filter coefficient output from the coefficient conversion unit 148 with the input voice (time domain input voice) from the microphone 20.
  • the convolution unit 150 outputs the input sound obtained by convolving the minimum phase FIR filter coefficient to the speaker 60 via the D / A converter 50.
  • howling can be suppressed in the time domain using the FIR coefficient having the minimum phase by convolving the FIR filter coefficient having the minimum phase with the input voice. As a result, howling can be suppressed without delay in the input voice.
  • the gain adjusting unit 44 acquires the autocorrelation value x ( ⁇ ) of the power of the audio signal between frames for each band, and uses the acquired autocorrelation value x ( ⁇ ). Set the amount of gain adjustment accordingly. According to such a configuration, howling can be appropriately detected even if reflected sound or non-howling sound is generated by using auto-correlation of power difference for howling having periodicity. As a result, howling can be suppressed satisfactorily.
  • the gain adjustment unit 44 performs gain with a combined suppression amount G ( ⁇ ) obtained by combining the long-time suppression amount G2 ( ⁇ ) with a long suppression time and the short-time suppression amount G1 ( ⁇ ) with a short suppression time for each band. Adjust. According to such a configuration, since the time for returning the suppression amount is different for each of the long-time suppression amount G2 ( ⁇ ) and the short-time suppression amount G1 ( ⁇ ), the problem in the case of suppressing with only one suppression amount is solved. . That is, it is possible to achieve both the prevention of sound quality degradation and the prevention of howling reproduction, which are problems when suppressing howling.
  • the sound processing apparatus includes both the microphone and the speaker, but the present invention is not limited to this.
  • the voice processing device may not include a microphone and a speaker, and the microphone and the speaker may be provided in an external device connected to the voice processing device.
  • the series of processes described in the above embodiment may be executed by dedicated hardware, but may be executed by software (application).
  • application application
  • the series of processes is performed by software, the above series of processes can be realized by causing a general-purpose or dedicated computer to execute the program.

Abstract

【課題】反射音や非ハウリング音が発生しても良好にハウリングを抑圧することが可能な、新規かつ改良された音声処理装置、音声処理方法、及びプログラムを提供する。 【解決手段】音声処理装置は、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部とを備え、前記ゲイン調整部は、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する。

Description

音声処理装置、音声処理方法、及びプログラム
　本開示は、音声処理装置、音声処理方法、及びプログラムに関する。
　マイクロフォンからスピーカへの音響増幅系などの各種音声信号伝送系において、いわゆるハウリングが発生することが知られている。そして、このハウリングを抑圧することが重要な課題となっている。
　ハウリングを抑圧する方策として、例えば特許文献１、２に開示された手法がある。特許文献１には、所定時間以上継続したエンベロープ増加傾向が検出された場合に、ハウリングの発生を検知する技術が開示されている。特許文献２には、ハウリングを徐々に抑圧する技術が開示されている。
特開平８－２２３６８４号公報 特開平３－２３７８９９号公報
　しかし、上述した方策を採用しても、実際の環境では、さまざまな遅延を伴って到達する反射音や、マイクに入力される雑音や音声などの非ハウリング音の影響で、ハウリングを適切に検知できない。このため、良好にハウリングが抑圧されないという問題がある。
　そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、反射音や非ハウリング音が発生しても良好にハウリングを抑圧することが可能な、新規かつ改良された音声処理装置、音声処理方法、及びプログラムを提供することにある。
　上記課題を解決するために、本開示のある観点によれば、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、前記ゲイン調整部は、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する、音声処理装置が提供される。
　また、前記調整量は、前記ゲインを抑圧する時間が長い第１抑圧量と、前記ゲインを抑圧する時間が短い第２抑圧量を含むこととしても良い。
　また、前記ゲイン調整部は、前記帯域毎に、前記第１抑圧量と前記第２抑圧量を組み合わせた組合せ抑圧量を設定することとしても良い。
　また、前記ゲイン調整部は、取得した前記自己相関値の最大値が所定の閾値よりも大きい場合には、前記第１抑圧量を増加させた前記組合せ抑圧量を設定し、取得した前記自己相関値の最大値が前記閾値よりも小さい場合には、前記第２抑圧量を増加させた前記組合せ抑圧量を設定することとしても良い。
　また、前記パワーの自己相関値は、前記パワーで正規化した自己相関の絶対値であることとしても良い。
　また、前記ゲイン調整部によってゲイン調整された音声信号を時間領域に変換する時間領域変換部と、前記時間領域に変換された音声信号をスピーカに出力する出力部と、を更に備えることとしても良い。
　また、前記自己相関値に応じた前記ゲインの調整量に対応するフィルタ係数を、最小位相化する係数変換部と、最小位相化された前記フィルタ係数を、前記マイクロフォンから入力された時間領域の音声信号に畳み込む畳み込み部と、を更に備えることとしても良い。
　また、上記課題を解決するために、本開示の別の観点によれば、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、前記周波数領域に変換された前記音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、前記ゲイン調整部は、前記帯域毎に、抑圧時間が長い第１抑圧量と抑圧時間が短い第２抑圧量を組み合わせた組合せ抑圧量にて前記ゲインを調整する、音声処理装置が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換することと、前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すことと、を含み、前記ゲイン調整を施すことにおいて、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する、音声処理方法が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換することと、前記周波数領域に変換された前記音声信号に対して、帯域毎にゲイン調整を施すことと、を含み、前記ゲイン調整を施すことにおいて、前記帯域毎に、抑圧時間が長い第１抑圧量と抑圧時間が短い第２抑圧量を組み合わせた組合せ抑圧量にて前記ゲインを調整する、音声処理方法が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、コンピュータを、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、前記ゲイン調整部は、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する、音声処理装置として機能させるための、プログラムが提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、コンピュータを、マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、前記周波数領域に変換された前記音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、前記ゲイン調整部は、前記帯域毎に、抑圧時間が長い第１抑圧量と抑圧時間が短い第２抑圧量を組み合わせた組合せ抑圧量にて前記ゲインを調整する、音声処理装置として機能させるための、プログラムが提供される。
　以上説明したように本開示によれば、反射音や非ハウリング音が発生しても、良好にハウリングを抑圧することができる。
第１の実施形態に係る音声処理装置の機能ブロック図である。 ブロック処理を説明するための模式図である。 １つの帯域におけるパワー差分Δｐ（ω）を示す図である。 パワーで正規化した自己相関の絶対値を示す図である。 ハウリング抑圧処理を説明するフローチャートである。 第２の実施形態に係る音声処理装置の機能ブロック図である。 直線位相ＦＩＲフィルタ係数を説明するための図である。 ＦＩＲフィルタ係数の最小位相化を説明するための図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１－１．音声処理装置の構成
　　１－２．ハウリングの抑圧
　　１－３．信号処理部の構成
　　１－４．ハウリング抑圧処理
　２．第２の実施形態
　３．まとめ
　＜１．第１の実施形態＞
　（１－１．音声処理装置の構成）
　第１の実施形態に係る音声処理装置の構成について、図１を参照しながら説明する。図１は、第１の実施形態に係る音声処理装置の機能ブロック図である。
　第１の実施形態に係る音声処理装置１０は、図１に示すように、マイクロフォン２０と、Ａ／Ｄ変換器３０と、信号処理部４０と、Ｄ／Ａ変換器５０と、スピーカ６０とを有する。
　マイクロフォン２０は、音声を収音し、収音した音声を音声信号に変換する。マイク２０は、音声信号をＡ／Ｄ変換器３０に出力する。なお、マイクロフォン２０から出力された音声信号は、不図示のアンプで増幅され、Ａ／Ｄ変換器３０に入力される。
　Ａ／Ｄ変換器３０は、マイクロフォン２０から入力された音声信号をデジタル変換する。Ａ／Ｄ変換器３０は、デジタル変換された音声信号を信号処理部４０に出力する。なお、Ａ／Ｄ変換器３０に入力される音声信号は、マイクロフォン２０以外の外部装置から入力から入力された信号であっても良い。
　信号処理部４０は、Ａ／Ｄ変換器３０から入力された音声信号に対して、ゲイン調整等の各種の信号処理を施す。信号処理部４０は、信号処理を施した音声信号をＤ／Ａ変換器５０に出力する。本実施形態に係る信号処理部４０は、詳細は後述するが、ハウリングを抑圧するためのゲイン調整を行う。なお、信号処理部４０の詳細構成については、後述する。
　Ｄ／Ａ変換器５０は、信号処理部４０から入力された音声信号をアナログ変換する。Ｄ／Ａ変換器５０は、アナログ変換した音声信号をスピーカ６０に出力する。スピーカ６０は、Ｄ／Ａ変換器５０から入力された音声信号を放音する。
　なお、音声処理装置１０は、各種のデータを記憶するメモリ（不図示）を備える。メモリは、例えば、マイクから入力された音声信号のデータを記憶し、また信号処理部４０による処理後のデータを記憶する。また、メモリは、音声処理装置１０を動作させるプログラムを記憶しており、不図示のＣＰＵがプログラムを実行することで、音声処理装置１０による処理（例えば、後述するハウリング抑圧処理）が実現される。
　（１－２．ハウリングの抑圧）
　上述した音声処理装置においては、マイクロフォン２０からスピーカ６０へ音声信号が伝送されるのに伴いハウリングが発生し得る。このハウリングを抑圧することが重大な問題となっている。
　ところで、ハウリングを抑圧する上で、ハウリングらしさを判断する指標と、ハウリング抑圧ゲインを元に戻すまでの時間が、性能を大きく左右することが分かっている。
　まず、ハウリングらしさを判断する指標（換言すれば、ハウリングの検知指標）について説明する。ハウリングらしさを判断する指標として、フーリエ変換された音声信号のパワー差分（Δパワー）のカウンター処理により、Δパワー値が連続して閾値以上となった状態を継続するとハウリングと判断する手法が知られている。しかし、実際の環境では、さまざまな遅延を伴って到達する反射音や、マイクに入力される雑音や音声などの非ハウリング音の影響で、良好にハウリングが抑圧されないという問題がある。
　次に、ハウリング抑圧ゲインを元に戻すまでの時間について説明する。ハウリング抑圧ゲインを元に戻すまでの時間を遅くすると、ハウリングがしばらく再現しないメリットがある一方で、その間の非ハウリング音が音質劣化する恐れがある。また、ハウリング抑圧ゲインを元に戻すまでの時間を早くすると、非ハウリング音の音質低下は目立たない一方で、ハウリングが直ぐに再現し、又はハウリングが消えきらない恐れがある。このため、音質劣化の防止とハウリング再現の防止とを両立させることが求められている。
　これに対して、本実施形態に係る音声処理装置１０においては、詳細は後述するが、ハウリングらしさを判断する指標として、フーリエ変換された音声信号のパワー差分の自己相関を用い、自己相関値に応じてハウリング抑圧を制御する。これにより、反射音や非ハウリング音が発生しても良好にハウリングを抑圧できる。また、ハウリング抑圧量として、抑圧時間が異なる複数の抑圧量を組み合わせることで、音質劣化の防止とハウリング再現の防止との両立させることができる。
　（１－３．信号処理部の構成）
　信号処理部４０の構成について、図１を参照しながら説明する。信号処理部４０は、図１に示すように、周波数領域変換部の一例であるフーリエ変換部４２と、ゲイン調整部４４と、時間領域変換部の一例であるフーリエ逆変換部４６を有する。
　（フーリエ変換部）
　フーリエ変換部４２は、Ａ/Ｄ変換器３０から入力された音声信号（入力音声）を、単位時間であるフレーム毎に周波数領域の信号にフーリエ変換（ＦＦＴ）する。また、フーリエ変換部４２は、周波数領域にフーリエ変換した音声信号を、複数の帯域に分割し、各帯域の音声信号をゲイン調整部４４に出力する。なお、音声信号の複数の帯域への分割は、公知のフィルタバンクによって行われても良い。
　ここで、図２を用いて、フーリエ変換処理におけるブロック処理について説明する。図２は、ブロック処理を説明するための模式図である。ここでは、マイクロフォン２０から入力された入力音声のデータが、例えば５１２サンプルであり、例えばサンプルＳ（１）、Ｓ（２）、Ｓ（３）、・・・Ｓ（ｎ）とする。ブロック処理では、２つのサンプルを使ってフーリエ変換される。例えば、サンプルＳ（１）とサンプルＳ（２）が共にフーリエ変換されて、周波数スペクトルＦ（１）が取得され、サンプルＳ（２）とサンプルＳ（３）が共にフーリエ変換されて、周波数スペクトルＦ（２）が取得される。このため、ブロック処理の処理フレームは、１０２４サンプルとなる。
　（ゲイン調整部）
　ゲイン調整部４４は、フーリエ変換部４２から入力された音声信号に対して、帯域毎にゲイン調整を施す。また、ゲイン調整部４４は、周波数スペクトルを用いてフレーム間のパワー差分を求め、ハウリングを検知するための自己相関値を取得する。以下において、どのように自己相関値を求めるかについて説明する。
　まず、ゲイン調整部４４は、取得された周波数スペクトルＦ（１）、Ｆ（２）・・・Ｆ（ｎ）から、フレーム間のパワー差分を取得する。例えば、ゲイン調整部４４は、図３Ａに示すようなパワー差分であるΔｐ（ω）を取得する。図３Ａは、１つの帯域におけるパワー差分Δｐ（ω）を示す図である。なお、図３Ａでは、説明の都合上、ハウリング時のΔｐ（ω）が実線で、非ハウリング時のΔｐ（ω）が点線で、それぞれ示されている。図３Ａから分かるように、ハウリング時のΔＰ（ω）が、非ハウリング時のΔｐ（ω）よりも大きい値を示している。
　ゲイン調整部４４は、取得したΔｐ（ω）に基づいて、Δｐ（ω）の自己相関を取得する。ここで、自己相関について説明する。自己相関とは、信号がそれ自身を時間シフトした信号とどれだけ良く整合するかを測る尺度である。自己相関は、下記の数式１のように、時間シフトの大きさの関数として表される。すなわち、数式１の自己相関ｒｍ（ω）は、Δｐ（ω）と、Δｐ（ω）をｍ点シフトした点の積の総和である。
Figure JPOXMLDOC01-appb-M000001
 　なお、数式１のΔｐ（ω、ｔ）は、周波数ω、時刻ｔのΔパワー値を示す。
　自己相関は、信号に含まれる繰り返しパターンを探すのに有用であり、例えば、ノイズに埋もれた周期的信号の存在を判定するのに用いられる。また、自己相関は、周期性があると大きい値をとり、周期性が無いと小さい値をとる。そして、ハウリング時には、Δパワーが周期性を持っているため自己相関が高く、非ハウリング時には、Δパワーが周期性を持たないため自己相関は小さい。
　ゲイン調整部４４は、取得した自己相関ｒｍ（ω）を用いて、下記の数式２のように、パワーで正規化した自己相関の絶対値（自己相関値と呼ぶ）を取得する。パワーで正規化することにより、ハウリング時と非ハウリングの自己相関をより判別しやすくなる。
Figure JPOXMLDOC01-appb-M000002
　図３ＡのΔｐ（ω）から取得された自己相関値が、図３Ｂに示されている。図３Ｂは、パワーで正規化した自己相関の絶対値を示す図である。図３Ｂには、実線でハウリング時の自己相関値が示され、点線で非ハウリング時の自己相関値が示されている。図３Ｂから分かるように、ハウリング時の自己相関値は、周期性を有しており、非ハウリング時の自己相関値よりも大きい。このような自己相関の性質を利用すれば、ハウリングと非ハウリングを適切に判別できる。
　このように、自己相関によってハウリングを検知すると、例えばΔパワーが閾値を超えた時のカウンター処理によってハウリングを検知する場合に比べて、以下に説明する利点がある。すなわち、特に複雑な反射がある環境において、ハウリングが短時間で増幅減衰を繰り返しながら段階的に大きくなる場合（ハウリングが単調増加せず、一時的に小さくなることもありながら大きくなる場合）に、Δパワー値が一時的に小さくなりカウンターがリセットされ、ハウリングが抑圧されない問題が発生する。これに対して、本実施形態のように、Δパワーの周期性のみに着目するため、Δパワーが一時的に小さくなってもハウリングを抑圧できる。
　また、ゲイン調整部４４は、取得した自己相関値に応じてゲインの調整量を帯域毎に設定する。具体的には、ゲイン調整部４４は、帯域毎に、複数の抑圧量を組み合わせた組合せ抑圧量にてゲインを調整する。本実施形態では、組合せ抑圧量が、長時間抑圧量と短時間抑圧量を組み合わせたものとして説明する。長時間抑圧量は、抑圧時間が長い第１抑圧量に該当し、短時間抑圧量は、抑圧時間が短い第２抑圧量に該当する。なお、組合せ抑圧量は、３つ以上の抑圧量を組み合わせても良い。例えば、３つの抑圧量を用いる場合には、第３抑圧量の抑圧時間は、短時間抑圧量の抑圧時間より長く、かつ長時間抑圧量の抑圧時間よりも短く設定される。
　ゲイン調整部４４は、取得した自己相関値の最大値（図３Ｂのｘ（ω））と所定の閾値を比較して、組合せ抑圧量（最終抑圧量）を設定する。所定の閾値は、ハウリングと非ハウリングの境界を示す値であり、ゲイン調整部４４は、自己相関値の最大値ｘ（ω）が閾値よりも大きい場合には、ハウリングが発生したと判断する。一方で、ゲイン調整部４４は、自己相関値の最大値ｘ（ω）が閾値よりも小さい場合には、ハウリングが発生していないと判断する。そして、ゲイン調整部４４は、取得した自己相関値の最大値が所定の閾値よりも大きい場合には、長時間抑圧量を増加させた組合せ抑圧量を設定する。一方で、ゲイン調整部４４は、取得した自己相関値の最大値が閾値よりも小さい場合には、短時間抑圧量を増加させた組合せ抑圧量を設定する。
　ゲイン調整部４４は、ハウリング抑圧が続く場合には周波数特性が劣化した状態が続くため、長時間抑圧量と短時間抑圧量を元に戻す処理も行う。なお、長時間抑圧量はゆっくり戻され、短時間抑圧量は直ぐに戻される。このように抑圧の戻る時間が異なる複数の抑圧量を用いることで、音質劣化の防止とハウリング再現の防止との両立させることができる。ゲイン調整された各帯域の音声信号のデータ（図２に示すデータＤ（１）、Ｄ（２）等）は、フーリエ逆変換部４６に出力される。
　（フーリエ逆変換部）
　フーリエ逆変換部４６は、フーリエ変換部４６から入力された各帯域の音声信号を合成して、逆フーリエ変換処理を施して時間領域に変換する。本実施形態のフーリエ逆変換部４６は、抑圧量が開放された音声信号を時間領域に変換する。フーリエ逆変換部４６は、時間領域に変換した音声信号をＤ／Ａ変換器５０に出力する。これにより、抑圧量が開放された音声信号が、スピーカ６０に出力される。
　上述した構成の信号処理部４０によれば、ゲイン調整部４４が、自己相関値を取得し、取得した自己相関値に応じて最終抑圧量を設定している。このため、反射音や非ハウリング音が発生しても良好にハウリングを抑圧できる。また、最終抑圧量として抑圧時間が異なる２つの抑圧量（長時間抑圧量と短時間抑圧量）を組み合わせることで、音質劣化の防止とハウリング再現の防止との両立させることができる。
　（１－４．ハウリング抑圧処理）
　本実施形態に係るハウリング抑圧処理について、図４を参照しながら説明する。図４は、ハウリング抑圧処理を説明するフローチャートである。本処理は、音声処理装置１０のＣＰＵが、メモリに記憶されたプログラムを実行することにより、実現される。
　図４のフローチャートは、信号処理部４０のフーリエ変換部４２が、マイクロフォン２０から入力された音声信号を周波数領域に変換し、変換した音声信号をゲイン調整部４４に出力したところから開始される。
　まず、ゲイン調整部４４は、フレーム間のパワー差分Δｐ（ω）に基づいて、図３Ｂに示すようにハウリングらしさを示す自己相関値の最大値ｘ（ω）を取得する（ステップＳ２）。
　次に、ゲイン調整部４４は、帯域毎に、取得した自己相関値の最大値ｘ（ω）に応じて、短時間抑圧量Ｇ１（ω）と長時間抑圧量Ｇ２（ω）を設定する。そして、ゲイン調整部４４は、２つの抑圧量Ｇ１（ω）、Ｇ２（ω）を組み合わせた最終抑圧量Ｇ（ω）を設定する。なお、各抑圧量の単位は、デシベル（ｄＢ）である。なお、本処理は、繰り返し実行される処理であり、短時間抑圧量Ｇ１（ω）と長時間抑圧量Ｇ２（ω）は前回の値を使用する。すなわち、短時間抑圧量Ｇ１（ω）と長時間抑圧量Ｇ２（ω）は、積算される値である。
　次に、ゲイン調整部４４は、自己相関値の最大値ｘ（ω）が所定の閾値以上であるか否かを判定する（ステップＳ４）。自己相関値ｘ（ω）が所定の閾値以上である場合には（ステップＳ４：Ｙｅｓ）、ゲイン調整部４４は、２つの抑圧量Ｇ１（ω）、Ｇ２（ω）のうちの長時間抑圧量Ｇ２（ω）を増やす（ステップＳ６）。
　例えば、ゲイン調整部４４は、下記の数式３のように、ｘ（ω）の値に応じて長時間抑圧量Ｇ２（ω）を増やす。
Figure JPOXMLDOC01-appb-M000003
 　ここで、Ｔ２（ｘ（ω））は、例えば一定値や、ハウリングらしさに比例した値である。ただし、これに限定されない。
　また、ゲイン調整部４４は、下記の数式４にように、掛け算で長時間抑圧量Ｇ２（ω）を増やしても良い。
Figure JPOXMLDOC01-appb-M000004
 　なお、自己相関値の最大値ｘ（ω）が所定の閾値以上である場合には、ゲイン調整部４４は、短時間抑圧量Ｇ１（ω）の大きさを維持する。
　一方で、ステップＳ４において、自己相関値の最大値ｘ（ω）が所定の閾値以下である場合には（ステップＳ４：Ｎｏ）、ゲイン調整部４４は、２つの抑圧量Ｇ１（ω）、Ｇ２（ω）のうちの短時間抑圧量Ｇ１（ω）を増やす（ステップＳ８）。
　例えば、ゲイン調整部４４は、下記の数式５のように、ｘ（ω）の値に応じて短時間抑圧量Ｇ１（ω）を増やす。
Figure JPOXMLDOC01-appb-M000005
 　ここで、Ｔ１（ｘ（ω））は、例えば一定値や、ハウリングらしさに比例した値である。ただし、これに限定されない。
　また、ゲイン調整部４４は、下記の数式６にように、掛け算で短時間抑圧量Ｇ１（ω）を増やしても良い。
Figure JPOXMLDOC01-appb-M000006
 　なお、自己相関値の最大値ｘ（ω）が所定の閾値以下である場合には、ゲイン調整部４４は、長時間抑圧量Ｇ２（ω）の大きさを維持する。
　次に、ゲイン調整部４４は、２つの抑圧量Ｇ１（ω）、Ｇ２（ω）を組み合わせて、最終抑圧量Ｇ（ω）を求める（ステップＳ１０）。例えば、ゲイン調整部４４は、下記の数式７のように最終抑圧量Ｇ（ω）を求める。
Figure JPOXMLDOC01-appb-M000007
　なお、ゲイン調整部４４は、２つの抑圧量Ｇ１（ω）、Ｇ２（ω）を組み合わせて最終抑圧量Ｇ（ω）を求めることとしたが、これに限定されない。例えば、ゲイン調整部４４は、ハウリングの抑圧を重視する場合には、２つの抑圧量Ｇ１（ω）、Ｇ２（ω）のうちの抑圧ゲインの大きい方を最終抑圧量Ｇ（ω）としても良い。また、ゲイン調整部４４は、非ハウリング音の音質を重視する場合には、抑圧ゲインの小さい方を最終抑圧量Ｇ（ω）としても良い。
　ところで、ハウリング抑圧が続く場合には周波数特性が劣化した状態が続くため、ゲイン調整部４４は、抑圧量を元に戻す処理を行う（ステップＳ１２）。例えば、ゲイン調整部４４は、下記の数式８、９のように、抑圧ゲインを制御する。なお、抑圧量が元に戻された短時間抑圧量Ｇ１（ω）と長時間抑圧量Ｇ２（ω）が、前述したステップＳ６とＳ８で用いられる。
Figure JPOXMLDOC01-appb-M000008
　ここで、Ｒ１はＲ２よりも大きい値であるものとする。すると、短時間抑圧量Ｇ１（ω）は短時間で回復し、長時間抑圧量Ｇ２（ω）はゆっくり回復する。すなわち、ハウリングらしさが小さい場合（自己相関値が小さい場合）のゲインはすぐに回復し、ハウリングらしさが大きい場合（自己相関値が大きい場合）のゲインはゆっくり回復することになる。
　かかる点について、更に詳細に説明する。ハウリングが目立つ前から抑圧するためには、自己相関値ｘ（ω）が小さいときから抑圧を開始する必要がある。しかし、自己相関値ｘ（ω）が小さいときから抑圧すると、音声などの非ハウリング音を誤って抑圧する恐れがある。これに対して、本実施形態の場合には、短時間抑圧量Ｇ１（ω）は直ぐに元に戻るため、誤抑圧に起因する非ハウリング音の音質劣化を抑制できる。
　また、実際にハウリングであった場合には、自己相関値ｘ（ω）は短時間抑圧している間に大きな値になるため、長時間抑圧量Ｇ２（ω）にて抑圧されることになる。このとき、本実施形態の場合には、短時間抑圧量Ｇ１（ω）により抑圧されているため、ハウリングはあまり目立たず、また長時間抑圧量Ｇ２（ω）を用いて長い時間抑圧され続けるため、ハウリングがすぐに再現することを防ぐことができる。
　ところで、短時間抑圧量Ｇ１（ω）のみでハウリングを抑圧すると、非ハウリング音の音質劣化が目立たない一方で、ハウリングが直ぐに再現したり、ハウリングが消えきらない問題がある。逆に、長時間抑圧量Ｇ２（ω）のみでハウリングを抑圧すると、ハウリングがしばらく再現しない一方で、非ハウリング音の音質劣化の問題が起きる。これに対して、上述した本実施形態の場合には、抑圧時間が異なる複数の抑圧量Ｇ１（ω）、Ｇ２（ω）で抑圧することによって、非ハウリング音が発生しても良好にハウリングを抑圧でき、また音質劣化の防止とハウリング再現の防止との両立させることができる。
　図４のフローチャートに戻って、処理の説明を続ける。ゲイン調整部４４は、下記の数式１０のように、求めた最終抑圧量Ｇ（ω）を入力Ｓ（ω）に乗算することで、処理後の出力Ｙ（ω）を取得する（ステップＳ１４）。
Figure JPOXMLDOC01-appb-M000009
 　そして、ハウリング抑圧処理が施された音声信号は、スピーカ６０に出力される。
　なお、上記では、ステップＳ１２の処理の後にステップＳ１４の処理が行われることとしたが、これに限定されない。例えば、ステップＳ１２の処理と、ステップＳ１４の処理を並行して行っても良く、また、ステップＳ１４の処理の後にステップＳ１２の処理を行っても良い。
　＜２．第２の実施形態＞
　第２の実施形態に係る音声処理装置について、図５を参照しながら説明する。図５は、第２の実施形態に係る音声処理装置の機能ブロック図である。
　上述した第１の実施形態では、ハウリングの抑圧ゲインＧ（ω）を周波数領域で乗算していた。これに対して、第２の実施形態では、詳細は後述するが最小位相のＦＩＲ係数を用いて時間領域でハウリングを抑圧する。これにより、フーリエ変換のブロック処理（図２参照）の影響で生じ得る出力音声の遅延を解消できることに特徴がある。
　図５の第２の実施形態に係る音声処理装置１００は、第１の実施形態に係る音声処理装置１０に対して信号処理部４０の構成が異なり、他の構成は同様である。そこで、以下においては、音声処理装置１００の信号処理部１４０の構成について主に説明し、他の構成の説明は省略する。
　信号処理部１４０は、Ａ／Ｄ変換器３０から入力された音声信号（入力音声）に対して、ゲイン調整等の各種の信号処理を施し、信号処理を施した音声信号をＤ／Ａ変換器５０に出力する。信号処理部１４０は、フーリエ変換部１４２と、ゲイン調整部１４４と、ＦＩＲ係数計算部１４６と、係数変換部１４８と、畳込み部１５０を有する。
　フーリエ変換部１４２は、第１実施形態と同様に、周波数領域に変換した音声信号を、複数の帯域に分割して、各帯域の音声信号をゲイン調整部１４４に出力する。
　ゲイン調整部１４４は、第１実施形態と同様に、自己相関値を取得し、取得した自己相関値に応じて最終抑圧量Ｇ（ω）を設定している。このため、第２の実施形態においても、反射音や非ハウリング音が発生しても良好にハウリングを抑圧できる。また、ゲイン調整部１４４は、複数の抑圧量を組み合わせて抑圧することで、音質劣化の防止とハウリング再現の防止との両立させることができる。
　ＦＩＲ係数計算部１４６は、ゲイン調整部１４４から入力された最終抑圧量Ｇ（ω）を実現する直線位相ＦＩＲフィルタ係数を計算する。例えば、ＦＩＲ係数計算部１４６は、図６に示すように公知の窓関数法やＲｅｍｅｚ法等により、直線位相ＦＩＲフィルタ係数を計算する。ＦＩＲ係数計算部１４６は、計算した直線位相ＦＩＲフィルタ係数を係数変換部１４８に出力する。もちろん、窓関数法やＲｅｍｅｚ法以外の手法で、直線位相ＦＩＲフィルタ係数を計算しても良い。なお、図６は、直線位相ＦＩＲフィルタ係数を説明するための図である。
　係数変換部１４８は、ＦＩＲ係数計算部１４６から入力された直線位相ＦＩＲフィルタ係数を、最小位相ＦＩＲフィルタ係数に変換する。例えば、係数変換部１４８は、図７に示すように公知のＲｅｍｅｚ法等により、ＦＩＲフィルタ係数の最小位相化を施す。係数変換部１４８は、最小位相ＦＩＲフィルタ係数を、畳込み部１５０に出力する。なお、図７は、ＦＩＲフィルタ係数の最小位相化を説明するための図である。
　畳込み部１５０は、係数変換部１４８から出力された最小位相ＦＩＲフィルタ係数を、マイクロフォン２０からの入力音声（時間領域の入力音声）に畳み込む。畳込み部１５０は、最小位相ＦＩＲフィルタ係数を畳み込んだ入力音声を、Ｄ／Ａ変換器５０を介してスピーカ６０に出力する。
　このように、第２の実施形態によれば、最小位相化されたＦＩＲフィルタ係数を入力音声に畳み込むことにより、最小位相のＦＩＲ係数を用いて時間領域でハウリングを抑圧できる。この結果、入力音声に遅延の無いハウリング抑圧が可能となる。
　＜３．まとめ＞
　上述した音声処理装置１０、１００においては、ゲイン調整部４４は、帯域毎に、フレーム間の音声信号のパワーの自己相関値ｘ（ω）を取得し、取得した自己相関値ｘ（ω）に応じてゲインの調整量を設定する。かかる構成によれば、周期性を有するハウリングをパワー差分の自己相関を用いれば、反射音や非ハウリング音が発生しても、ハウリングを適切に検知できる。この結果、良好にハウリングを抑圧できる。
　また、ゲイン調整部４４は、帯域毎に、抑圧時間が長い長時間抑圧量Ｇ２（ω）と抑圧時間が短い短時間抑圧量Ｇ１（ω）を組み合わせた組合せ抑圧量Ｇ（ω）にてゲインを調整する。かかる構成によれば、長時間抑圧量Ｇ２（ω）と短時間抑圧量Ｇ１（ω）の各々が抑圧量を戻す時間が異なるので、１つの抑圧量のみで抑圧する場合の問題が解消される。すなわち、ハウリング抑圧時に問題となる、音質劣化の防止とハウリング再現の防止とを両立させることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、上記の実施形態では、音声処理装置が、マイクロフォンとスピーカの両方を含むこととしたが、これに限定されない。例えば、音声処理装置は、マイクロフォンとスピーカを備えず、マイクロフォンとスピーカは音声処理装置と接続された外部機器に設けられていることとしても良い。
　また、上記の実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエア（アプリケーション）により実行させてもよい。一連の処理をソフトウエアにより行う場合、汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
　また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
　１０　　音声処理装置
　２０　　マイクロフォン
　３０　　Ａ／Ｄ変換器
　４０　　信号処理部
　４２　　フーリエ変換部
　４４　　ゲイン調整部
　４６　　フーリエ逆変換部
　５０　　Ｄ／Ａ変換器
　６０　　スピーカ
　１００　　音声処理装置
　１４０　　信号処理部
　１４２　　フーリエ変換部
　１４４　　ゲイン調整部
　１４６　　ＦＩＲ係数計算部
　１４８　　係数変換部
　１５０　　畳込み部

Claims (12)

  1. 　マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、
    　前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、
    　前記ゲイン調整部は、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する、音声処理装置。
  2. 　前記調整量は、前記ゲインを抑圧する時間が長い第１抑圧量と、前記ゲインを抑圧する時間が短い第２抑圧量を含む、請求項１に記載の音声処理装置。
  3. 　前記ゲイン調整部は、前記帯域毎に、前記第１抑圧量と前記第２抑圧量を組み合わせた組合せ抑圧量を設定する、請求項２に記載の音声処理装置。
  4. 　前記ゲイン調整部は、
    　取得した前記自己相関値の最大値が所定の閾値よりも大きい場合には、前記第１抑圧量を増加させた前記組合せ抑圧量を設定し、
    　取得した前記自己相関値の最大値が前記閾値よりも小さい場合には、前記第２抑圧量を増加させた前記組合せ抑圧量を設定する、請求項３に記載の音声処理装置。
  5. 　前記パワーの自己相関値は、前記パワーで正規化した自己相関の絶対値である、請求項１に記載の音声処理装置。
  6. 　前記ゲイン調整部によってゲイン調整された音声信号を時間領域に変換する時間領域変換部と、
    　前記時間領域に変換された音声信号をスピーカに出力する出力部と、
    　を更に備える、請求項１に記載の音声処理装置。
  7. 　前記自己相関値に応じた前記ゲインの調整量に対応するフィルタ係数を、最小位相化する係数変換部と、
    　最小位相化された前記フィルタ係数を、前記マイクロフォンから入力された時間領域の音声信号に畳み込む畳み込み部と、
    　を更に備える、請求項１に記載の音声処理装置。
  8. 　マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、
    　前記周波数領域に変換された前記音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、
    　前記ゲイン調整部は、前記帯域毎に、抑圧時間が長い第１抑圧量と抑圧時間が短い第２抑圧量を組み合わせた組合せ抑圧量にて前記ゲインを調整する、音声処理装置。
  9. 　マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換することと、
    　前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すことと、を含み、
    　前記ゲイン調整を施すことにおいて、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する、音声処理方法。
  10. 　マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換することと、
    　前記周波数領域に変換された前記音声信号に対して、帯域毎にゲイン調整を施すことと、を含み、
    　前記ゲイン調整を施すことにおいて、前記帯域毎に、抑圧時間が長い第１抑圧量と抑圧時間が短い第２抑圧量を組み合わせた組合せ抑圧量にて前記ゲインを調整する、音声処理方法。
  11. 　コンピュータを、
    　マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、
    　前記周波数領域に変換された音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、
    　前記ゲイン調整部は、前記帯域毎に、前記フレーム間の前記音声信号のパワーの自己相関値を取得し、取得した前記自己相関値に応じて前記ゲインの調整量を設定する、音声処理装置として機能させるための、プログラム。
  12. 　コンピュータを、
    　マイクロフォンから入力された音声信号をフレーム毎に周波数領域に変換する周波数領域変換部と、
    　前記周波数領域に変換された前記音声信号に対して、帯域毎にゲイン調整を施すゲイン調整部と、を備え、
    　前記ゲイン調整部は、前記帯域毎に、抑圧時間が長い第１抑圧量と抑圧時間が短い第２抑圧量を組み合わせた組合せ抑圧量にて前記ゲインを調整する、音声処理装置として機能させるための、プログラム。
PCT/JP2012/053418 2011-02-22 2012-02-14 音声処理装置、音声処理方法、及びプログラム WO2012114946A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/985,803 US20130322649A1 (en) 2011-02-22 2012-02-14 Audio processing apparatus, audio processing method, and program
CN2012800089936A CN103380628A (zh) 2011-02-22 2012-02-14 音频处理装置、音频处理方法和程序
EP12749314.6A EP2680609A1 (en) 2011-02-22 2012-02-14 Audio processing device, audio processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011036221A JP2012175453A (ja) 2011-02-22 2011-02-22 音声処理装置、音声処理方法、及びプログラム
JP2011-036221 2011-02-22

Publications (1)

Publication Number Publication Date
WO2012114946A1 true WO2012114946A1 (ja) 2012-08-30

Family

ID=46720728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/053418 WO2012114946A1 (ja) 2011-02-22 2012-02-14 音声処理装置、音声処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20130322649A1 (ja)
EP (1) EP2680609A1 (ja)
JP (1) JP2012175453A (ja)
CN (1) CN103380628A (ja)
WO (1) WO2012114946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707867A (zh) * 2016-12-30 2017-05-24 脉创测控装备科技（苏州）有限公司 基于d/a转换器的音频信号调节控制装置及方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017203630B3 (de) 2017-03-06 2018-04-26 Sivantos Pte. Ltd. Verfahren zur Frequenzverzerrung eines Audiosignals und nach diesem Verfahren arbeitende Hörvorrichtung
US11336999B2 (en) * 2018-03-29 2022-05-17 Sony Corporation Sound processing device, sound processing method, and program
CN111526466B (zh) * 2020-04-30 2022-07-22 成都千立网络科技有限公司 一种扩声系统实时音频信号处理方法
CN112802492B (zh) * 2021-04-14 2021-07-27 展讯通信（上海）有限公司 一种抑制啸叫的方法、装置、芯片及模组设备
CN113630098B (zh) * 2021-08-11 2023-08-15 深圳远虑科技有限公司 音频放大器的增益控制方法、装置和电子设备
CN117351925B (zh) * 2023-12-06 2024-04-12 科大讯飞(苏州)科技有限公司 啸叫抑制方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631296A (ja) * 1986-06-20 1988-01-06 Matsushita Electric Ind Co Ltd ハウリング抑圧装置
JPH03237899A (ja) 1990-02-15 1991-10-23 Yamaha Corp ハウリング抑制装置
JPH08223684A (ja) 1995-02-17 1996-08-30 Sony Corp ハウリング検出装置
JP2003032780A (ja) * 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
JP2003274480A (ja) * 2002-03-12 2003-09-26 Matsushita Electric Ind Co Ltd ハウリング制御装置
JP2005236713A (ja) * 2004-02-20 2005-09-02 Matsushita Electric Ind Co Ltd ハウリング検出方法及び装置、並びにこれを備えた音響装置
JP2006121188A (ja) * 2004-10-19 2006-05-11 Matsushita Electric Ind Co Ltd ハウリング抑圧装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4186932B2 (ja) * 2005-02-07 2008-11-26 ヤマハ株式会社 ハウリング抑制装置および拡声装置
CN101416532A (zh) * 2006-04-01 2009-04-22 唯听助听器公司 助听器和用以在助听器中控制信号处理的方法
CN101593522B (zh) * 2009-07-08 2011-09-14 清华大学 一种全频域数字助听方法和设备
JP5278220B2 (ja) * 2009-07-17 2013-09-04 ヤマハ株式会社 ハウリングキャンセラ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631296A (ja) * 1986-06-20 1988-01-06 Matsushita Electric Ind Co Ltd ハウリング抑圧装置
JPH03237899A (ja) 1990-02-15 1991-10-23 Yamaha Corp ハウリング抑制装置
JPH08223684A (ja) 1995-02-17 1996-08-30 Sony Corp ハウリング検出装置
JP2003032780A (ja) * 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
JP2003274480A (ja) * 2002-03-12 2003-09-26 Matsushita Electric Ind Co Ltd ハウリング制御装置
JP2005236713A (ja) * 2004-02-20 2005-09-02 Matsushita Electric Ind Co Ltd ハウリング検出方法及び装置、並びにこれを備えた音響装置
JP2006121188A (ja) * 2004-10-19 2006-05-11 Matsushita Electric Ind Co Ltd ハウリング抑圧装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707867A (zh) * 2016-12-30 2017-05-24 脉创测控装备科技（苏州）有限公司 基于d/a转换器的音频信号调节控制装置及方法

Also Published As

Publication number Publication date
EP2680609A1 (en) 2014-01-01
US20130322649A1 (en) 2013-12-05
JP2012175453A (ja) 2012-09-10
CN103380628A (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
WO2012114946A1 (ja) 音声処理装置、音声処理方法、及びプログラム
KR101149591B1 (ko) 오디오 신호 반향 억제
JP4916394B2 (ja) エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
JP5805365B2 (ja) ノイズ推定装置及び方法とそれを利用したノイズ減少装置
JP5381982B2 (ja) 音声検出装置、音声検出方法、音声検出プログラム及び記録媒体
US8891780B2 (en) Microphone array device
US8391471B2 (en) Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium
US20070232257A1 (en) Noise suppressor
US9036830B2 (en) Noise gate, sound collection device, and noise removing method
JP2008197284A (ja) フィルタ係数算出装置、フィルタ係数算出方法、制御プログラム、コンピュータ読み取り可能な記録媒体、および、音声信号処理装置
JP2001134287A (ja) 雑音抑圧装置
JP2005165021A (ja) 雑音低減装置、および低減方法
WO2009042385A1 (en) Method and apparatus for generating an audio signal from multiple microphones
JP6371167B2 (ja) 残響抑制装置
JP2006243644A (ja) 雑音低減方法、装置、プログラム及び記録媒体
US10014838B2 (en) Gain adjustment apparatus and gain adjustment method
JP5982900B2 (ja) 雑音抑制装置、マイクロホンアレイ装置、雑音抑制方法、及びプログラム
WO2015053068A1 (ja) 音場測定装置、音場測定方法および音場測定プログラム
WO2023276424A1 (ja) ハウリング抑圧装置、ハウリング抑圧方法及びハウリング抑圧プログラム
JP7264594B2 (ja) 残響抑制装置及び補聴器
JP2022011893A (ja) ノイズ抑圧回路
US10109291B2 (en) Noise suppression device, noise suppression method, and computer program product
JP5066141B2 (ja) 信号強調装置、方法及びプログラム
JP2022011894A (ja) ノイズリダクション回路
JP2015004959A (ja) 音響処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12749314

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012749314

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13985803

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE