WO2011055829A1 - 信号処理方法、情報処理装置、及び信号処理プログラム - Google Patents

信号処理方法、情報処理装置、及び信号処理プログラム Download PDF

Info

Publication number
WO2011055829A1
WO2011055829A1 PCT/JP2010/069869 JP2010069869W WO2011055829A1 WO 2011055829 A1 WO2011055829 A1 WO 2011055829A1 JP 2010069869 W JP2010069869 W JP 2010069869W WO 2011055829 A1 WO2011055829 A1 WO 2011055829A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
signal
information
noise information
unit
Prior art date
Application number
PCT/JP2010/069869
Other languages
English (en)
French (fr)
Inventor
昭彦 杉山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201080050449.9A priority Critical patent/CN102598127B/zh
Priority to US13/503,791 priority patent/US9190070B2/en
Priority to EP10828387.0A priority patent/EP2498251B1/en
Publication of WO2011055829A1 publication Critical patent/WO2011055829A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Definitions

  • the present invention relates to a signal processing technique for suppressing a noise in a deteriorated signal and enhancing a desired signal.
  • a noise suppression technique noise suppression technology
  • a noise suppressor is a system that suppresses noise superimposed on a desired audio signal, and is used in various audio terminals such as mobile phones.
  • Patent Document 1 discloses a method of suppressing noise by multiplying an input signal by a suppression coefficient smaller than 1.
  • Patent Document 2 discloses a method for suppressing noise by directly subtracting estimated noise from a degraded signal.
  • Patent Document 3 discloses a noise suppression system that can realize a sufficient noise suppression effect and small distortion in an enhanced signal even when the condition that noise is sufficiently small with respect to a desired signal is not satisfied. Yes.
  • the method described in Patent Document 3 assumes that the characteristics of noise mixed in a desired signal can be known to some extent in advance, and noise information (information regarding noise characteristics) recorded in advance is used as a degraded signal. By subtracting from, noise is suppressed. Also, when the input signal power obtained by analyzing the input signal is high, a large coefficient is added to the noise information when the input signal power is low, and the integration result is subtracted from the deteriorated signal. A method is also disclosed.
  • an object of the present invention is to provide a signal processing technique that solves the above-described problems.
  • the signal processing method generates noise information according to the noise suppression result of the deteriorated signal when suppressing noise in the deteriorated signal, and uses the generated noise information. Noise in the degraded signal is suppressed.
  • an information processing apparatus includes a noise suppression unit that suppresses noise in a deteriorated signal, and noise information generation that generates noise information based on a result of suppressing the noise in the deteriorated signal. And the noise suppression means suppresses noise in the deteriorated signal using the noise information.
  • a signal processing program stored in a program recording medium generates noise information based on a result of processing in which noise is suppressed, and uses the generated noise information to generate the degraded signal.
  • the present invention can provide a signal processing technique for suppressing a wide variety of noise including unknown noise without storing a large amount of noise information in advance.
  • FIG. 1 is a block diagram showing a schematic configuration of a noise suppression device 100 as a first embodiment of the present invention.
  • the block diagram which shows the structure of the conversion part 2 contained in the noise suppression apparatus 100 as 1st Embodiment of this invention.
  • the block diagram which shows the structure of the inverse transformation part 4 contained in the noise suppression apparatus 100 as 1st Embodiment of this invention.
  • the block diagram which shows schematic structure of the noise suppression apparatus 200 as 3rd Embodiment of this invention.
  • the block diagram which shows schematic structure of the noise suppression apparatus 300 as 4th Embodiment of this invention.
  • the block diagram which shows schematic structure of the noise suppression apparatus 400 as 5th Embodiment of this invention.
  • the block diagram which shows schematic structure of the computer 1000 which performs the signal processing program as other embodiment of this invention.
  • FIG. 1 is a block diagram showing the overall configuration of the noise suppression device 100.
  • the noise suppression device 100 also functions as a part of a device such as a digital camera, a notebook computer, or a mobile phone.
  • the present invention is not limited to this, and any noise removal from an input signal is required. It can be applied to an information processing apparatus.
  • FIG. 8 is a block diagram showing a configuration example of the information processing apparatus 1200 according to the present invention.
  • the information processing apparatus 1200 includes a noise suppression unit 3 and a noise information generation unit 7.
  • a degraded signal (a signal in which a desired signal and noise are mixed) is supplied to the input terminal 1 as a sample value series.
  • the degraded signal supplied to the input terminal 1 is subjected to transformation such as Fourier transformation in the transformation unit 2 and is divided into a plurality of frequency components.
  • the temporary storage unit 6 includes a storage element such as a semiconductor memory, and can store noise information (information regarding noise characteristics).
  • the temporary storage unit 6 stores, for example, a noise spectrum shape as the noise information.
  • the temporary storage unit 6 can also store phase frequency characteristics, feature quantities such as strengths and temporal changes at a specific frequency, or the like, instead of or together with the spectrum.
  • the noise information may be a statistic (maximum, minimum, variance, median) or the like.
  • the noise suppression unit 3 uses the degraded signal amplitude spectrum supplied from the conversion unit 2 and the noise information supplied from the temporary storage unit 6 to suppress noise at each frequency, and an enhanced signal amplitude spectrum as a noise suppression result. Is transmitted to the inverse transform unit 4.
  • the inverse conversion unit 4 performs inverse conversion by combining the enhancement signal amplitude spectrum supplied from the noise suppression unit 3 and the phase of the deteriorated signal supplied from the conversion unit 2 and supplies the resultant signal to the output terminal 5 as an enhancement signal sample. .
  • the enhanced signal amplitude spectrum as the noise suppression result is simultaneously transmitted to the noise information generation unit 7.
  • the noise information generation unit 7 generates new noise information based on the enhanced signal amplitude spectrum as the noise suppression result and supplies the new noise information to the temporary storage unit 6.
  • FIG. 2 is a block diagram illustrating a configuration of the conversion unit 2.
  • the converting unit 2 includes a frame dividing unit 21, a windowing unit 22, and a Fourier transform unit 23.
  • the deteriorated signal samples are supplied to the frame dividing unit 21 and divided into frames for every K / 2 samples.
  • K is an even number.
  • the degraded signal sample divided into frames is supplied to the windowing processing unit 22 and is multiplied by w (t) which is a window function.
  • the window function is a function such that when the suppression coefficient in the MMSE STSA method is set to 1 or when zero is subtracted in the SS method, the input signal and the output signal match except for calculation errors.
  • w (t) + w (t + K / 2) 1.
  • the windowing processing unit 22 can use, for example, a Hanning window represented by the following equation (3) as w (t).
  • the window processing unit 22 may use various window functions such as a Hamming window, a Kaeser window, and a Blackman window.
  • FIG. 3 is a block diagram showing the configuration of the inverse transform unit 4. As shown in FIG.
  • the inverse transform unit 4 includes an inverse Fourier transform unit 43, a windowing processing unit 42, and a frame composition unit 41.
  • the inverse Fourier transform unit 43 combines the enhanced signal amplitude spectrum supplied from the noise suppression unit 3 and the degraded signal phase spectrum arg Yn (k) supplied from the conversion unit 2 to generate an enhanced signal (formula (4) below). (Left side of).
  • the inverse Fourier transform unit 43 performs inverse Fourier transform on the obtained enhancement signal.
  • the multiplication with the window function w (t) is performed.
  • K ⁇ 1 (the left side of equation (7)) is obtained.
  • the obtained output signal is transmitted from the frame synthesis unit 41 to the output terminal 5.
  • the transformation in the transformation unit 2 and the inverse transformation unit 4 has been described as Fourier transformation.
  • the transform unit 2 and the inverse transform unit 4 can use other transforms such as cosine transform, modified cosine transform, Hadamard transform, Haar transform, and wavelet transform instead of the Fourier transform.
  • the cosine transform and the modified cosine transform can obtain only the amplitude as a conversion result. For this reason, the path
  • the noise information recorded in the temporary storage unit 6 is only the amplitude (or power), which contributes to the reduction of the storage capacity and the calculation amount in the noise suppression processing.
  • the conversion unit 2 and the inverse conversion unit 4 use Haar transform, multiplication is not necessary, and the area of the LSI can be reduced.
  • the transform unit 2 and the inverse transform unit 4 use wavelet transform, the time resolution can be changed depending on the frequency, so that the noise suppression effect can be improved.
  • the noise suppression unit 3 can perform actual suppression. At that time, the conversion unit 2 can achieve high sound quality by integrating more frequency components from a low frequency region having high auditory characteristic discrimination ability toward a high frequency region having low ability.
  • the noise suppression unit 3 can perform various suppressions. Typical suppression methods include SS (Spectrum Subtraction) and MMSE STSA (Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator) and least mean square error estimation.
  • SS Spectrum Subtraction
  • MMSE STSA Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator
  • least mean square error estimation When the noise suppression unit 3 uses the SS method, the noise suppression unit 3 subtracts the noise information supplied from the temporary storage unit 6 from the deteriorated signal amplitude spectrum supplied from the conversion unit 2.
  • the noise suppression unit 3 uses the MMSE STSA method, the noise suppression unit 3 uses the noise information supplied from the temporary storage unit 6 and the degraded signal amplitude spectrum supplied from the conversion unit 2 to each of a plurality of frequency components. On the other hand, a suppression coefficient is calculated, and the deterioration signal amplitude spectrum is multiplied by this suppression coefficient. This suppression coefficient is determined so as to minimize the mean square power of the enhancement signal.
  • the noise suppression unit 3 can apply flooring in order to avoid excessive suppression when suppressing noise. Flooring is a method of avoiding suppression exceeding the maximum suppression amount. The flooring parameter determines the maximum amount of suppression.
  • the noise suppression unit 3 When the noise suppression unit 3 uses the SS method, the noise suppression unit 3 restricts the result of subtracting the noise information from the degraded signal amplitude spectrum so as not to be smaller than the flooring parameter. Specifically, when the subtraction result is smaller than the flooring parameter, the noise suppression unit 3 replaces the subtraction result with the flooring parameter. Further, when the noise suppression unit 3 uses the MMSE STSA method, the noise suppression unit 3 floors the suppression coefficient when the suppression coefficient obtained from the noise information and the degraded signal amplitude spectrum is smaller than the flooring parameter. Replace with a parameter. Details of flooring are disclosed in the document “M. Berouti, R. Schwartz and J. Makhoul,“ Enhancement of speech correlated noise, ”Proceedings of ICASSP. 79, p.
  • the noise suppression unit 3 does not cause excessive suppression by introducing flooring.
  • the flooring can prevent the distortion of the emphasized signal from increasing.
  • the noise suppression unit 3 can also set the number of frequency components of noise information to be smaller than the number of frequency components of the degraded signal amplitude spectrum.
  • a plurality of noise information is shared for a plurality of frequency components. Since the frequency resolution of the degraded signal amplitude spectrum is higher than that in the case of integrating a plurality of frequency components for both the degraded signal amplitude spectrum and the noise information, the noise suppression unit 3 does not integrate the frequency components at all. High sound quality can be achieved with a smaller amount of computation.
  • the noise information generation unit 7 is supplied with an enhanced signal amplitude spectrum as a noise suppression result.
  • the noise information generation unit 7 generates new noise information using the noise suppression result, and updates the noise information stored in the temporary storage unit 6 using the noise information generation unit 7.
  • a flat signal spectrum is prepared.
  • the noise information generation unit 7 generates new noise information according to the noise suppression result using the signal spectrum as noise information.
  • the noise information generation unit 7 updates the noise information already used for suppression stored in the temporary storage unit 6 using the new noise information.
  • the noise information generation unit 7 obtains new noise information using the noise suppression result fed back to the noise information generation unit 7, the greater the noise suppression result at the timing when the desired signal is not input (the suppression)
  • the noise information is generated so that the noise information becomes larger (as the remaining noise is larger). This is because a large noise suppression result at the timing when the desired signal is not input indicates that the noise information is desirably large in order to indicate that the suppression is insufficient.
  • the noise information is large, the subtraction value is large in the SS method, and the noise suppression result is small.
  • the estimated value of the signal-to-noise ratio used for calculation of the suppression coefficient is small, so that a small suppression coefficient can be obtained. This results in stronger noise suppression.
  • the noise information generation unit 7 can detect that the amplitude or power of the deteriorated signal is small using the fact that the absolute value of the power or amplitude of the deteriorated signal is smaller than the threshold value. Further, the noise information generation unit 7 uses the fact that the amplitude or power of the deteriorated signal is small and the difference between the amplitude or power of the deteriorated signal and the noise information recorded in the temporary storage unit 6 is smaller than the threshold value. Can also be detected.
  • the noise information generation unit 7 uses the fact that the occupancy of the noise information in the deteriorated signal is high (the signal-to-noise ratio is low) when the amplitude or power of the deteriorated signal is similar to the noise information.
  • the noise information generation unit 7 can compare spectral outlines by using information at a plurality of frequency points in combination, and can increase detection accuracy. Noise information in the SS method is recalculated so as to be equal to a deteriorated signal amplitude spectrum at a timing when a desired signal is not input at each frequency.
  • the noise information generation unit 7 makes the degraded signal amplitude spectrum
  • n is a frame number
  • k is a frequency number. That is, the noise information generation unit 7 calculates noise information ⁇ n (k) by the following equation (8).
  • ⁇ n (k)
  • the noise information generation unit 7 may use an average of the noise information ⁇ n (k) instead of directly using it.
  • the average may be an average based on an FIR filter (moving average using a sliding window), an average based on an IIR filter (leakage integration), or the like.
  • the sequential update of the noise information in the SS method updates the noise information little by little so that the emphasized signal amplitude spectrum at the timing at which the desired signal is not input approaches zero at each frequency.
  • the noise information generation unit 7 calculates ⁇ n + 1 (k) by the following equation (9) using the error en (k) of the nth frame and the frequency number k.
  • ⁇ n + 1 (k) ⁇ n (k) + ⁇ en (k) (9)
  • is a minute constant called a step size.
  • the noise information generating unit 7 uses the following formula (10) instead of the formula (9) when the noise information ⁇ n (k) obtained by the calculation is immediately used.
  • the noise information generation unit 7 calculates the current noise information ⁇ n (k) using the current error and immediately applies it.
  • the noise information generation unit 7 can realize highly accurate noise suppression in real time by immediately updating the noise information.
  • the noise information generation unit 7 may calculate the noise information ⁇ n + 1 (k) by the following equation (11) using the sign function sgn ⁇ en (k) ⁇ representing only the sign of the error.
  • ⁇ n + 1 (k) ⁇ n (k) + ⁇ ⁇ sgn ⁇ en (k) ⁇ (11)
  • the noise information generation unit 7 may use another adaptive algorithm (sequential update algorithm).
  • the noise information generation unit 7 sequentially updates the noise information.
  • the noise information generation unit 7 updates the noise information ⁇ n (k) at each frequency by a method similar to the method described using Equations (9) to (11).
  • the recalculation method has a feature that the follow-up speed is fast and the sequential update method has high accuracy.
  • the noise information generation unit 7 can change the update method so that the recalculation method is used first and the sequential update method is used later.
  • the noise information generation unit 7 may change the update method on the condition that the noise information is sufficiently close to the optimum value in determining the update method change timing.
  • the noise information generation part 7 may change the update method, for example, when predetermined time passes. Furthermore, the noise information generation unit 7 may change the update method when the correction amount of the noise information becomes smaller than a predetermined threshold value.
  • the noise suppression apparatus 100 since the noise suppression apparatus 100 according to the present embodiment generates noise information used for noise suppression based on the noise suppression result, various noises including unknown noise can be stored without storing a large amount of noise information in advance. Noise can be suppressed.
  • the noise information generation unit 7 in the present embodiment generates noise information by multiplying basic information permanently stored in a nonvolatile memory or the like by a magnification factor.
  • noise information generation unit 7 As basic information (initial value) of noise information, for example, arbitrary information such as a flat signal spectrum is prepared.
  • the noise information generation unit 7 generates noise information by multiplying the basic information by a magnification factor, and then updates the noise information and the magnification factor according to the noise suppression result using the noise information. Since the update of the noise information has already been described in detail in the first embodiment, the update of the magnification coefficient will be described here.
  • the noise information generation unit 7 obtains the magnification coefficient using the noise suppression result, the noise information becomes larger as the noise suppression result at the timing when the desired signal is not input is larger (as the noise remaining without being suppressed is larger).
  • a magnification factor is generated so as to increase.
  • a large noise suppression result at the timing when the desired signal is not input indicates that the suppression is insufficient, and it is desirable to increase the noise information by changing the magnification coefficient.
  • a recalculation method and a sequential update method will be described.
  • the noise information generation unit 7 can recalculate or sequentially update the magnification coefficient so that the noise is completely suppressed when the amplitude or power of the degraded signal is small.
  • the noise information generation unit 7 can detect that the amplitude or power of the deteriorated signal is small using the fact that the absolute value of the power or amplitude of the deteriorated signal is smaller than the threshold value. Further, the noise information generation unit 7 uses the fact that the amplitude or power of the deteriorated signal is small and the difference between the amplitude or power of the deteriorated signal and the noise information recorded in the temporary storage unit 6 is smaller than the threshold value. Can also be detected.
  • the noise information generation unit 7 uses the fact that the noise occupancy in the deteriorated signal is high (the signal-to-noise ratio is low) when the amplitude or power of the deteriorated signal is similar to the noise information.
  • the noise information generation unit 7 can compare spectral outlines by using information at a plurality of frequency points in combination, and can increase detection accuracy.
  • the magnification factor in the SS method is recalculated so that the noise information becomes equal to the deteriorated signal amplitude spectrum at the timing when the desired signal is not input at each frequency.
  • the noise information generation unit 7 matches the product of the deteriorated signal amplitude spectrum
  • the magnification coefficient ⁇ n (k) is obtained as described above.
  • n is a frame number
  • k is a frequency number. That is, the magnification coefficient ⁇ n (k) is calculated by the following equation (12).
  • the sequential update of the magnification coefficient in the SS method updates the magnification coefficient little by little so that the emphasized signal amplitude spectrum at the timing at which the desired signal is not input approaches zero at each frequency.
  • the noise information generating unit 7 uses the error en (k) of the nth frame and the frequency number k, and then subtracts ⁇ n + 1 (k). It calculates with Formula (13).
  • ⁇ n + 1 (k) ⁇ n (k) + ⁇ en (k) ⁇ (k) (13)
  • is a minute constant called a step size.
  • the noise information generation unit 7 can realize highly accurate noise suppression in real time by immediately updating the magnification coefficient.
  • the noise information generation unit 7 uses the error en (k) described above to calculate the magnification coefficient ⁇ n + 1 (k) by the following equation (15).
  • ⁇ n + 1 (k) ⁇ n (k) + ⁇ en (k) ⁇ (k) / ⁇ n (k) 2 ...
  • ⁇ n (k) 2 Is the average power of the noise information ⁇ (k) and can be calculated using an average based on the FIR filter (moving average using a sliding window), an average based on the IIR filter (leakage integration), and the like.
  • the noise information generation unit 7 may calculate the magnification coefficient ⁇ n + 1 (k) by the following equation (16) using the perturbation method.
  • the noise information generation unit 7 may calculate the magnification coefficient ⁇ n + 1 (k) by the following equation (17) using the sign function sgn ⁇ en (k) ⁇ representing only the sign of the error.
  • ⁇ n + 1 (k) ⁇ n (k) + ⁇ ⁇ sgn ⁇ en (k) ⁇ (17)
  • the noise information generation unit 7 may use a least square algorithm (LS) algorithm or another adaptive algorithm. The noise information generation unit 7 can also apply the generated magnification factor immediately.
  • LS least square algorithm
  • the implementer of the noise suppression apparatus 100 refers to the change from the number (13) to the number (14), changes the number (15) to the number (17), and updates the magnification coefficient in real time.
  • the noise information generation unit 7 may be configured.
  • the noise information generation unit 7 sequentially updates the magnification coefficient.
  • the noise information generation unit 7 updates the magnification coefficient ⁇ n (k) at each frequency by the same method as described using Equations (13) to (17).
  • the recalculation method and the sequential update method as the magnification coefficient update method described above the recalculation method has a feature that the follow-up speed is fast and the sequential update method has high accuracy.
  • the noise information generation unit 7 can change the update method so that the recalculation method is used first and the sequential update method is used later.
  • the noise information generation unit 7 may change the update method on condition that the magnification coefficient is sufficiently close to the optimum value.
  • the noise information generation part 7 may change the update method, for example, when predetermined time passes.
  • the noise information generation unit 7 can change the update method when the correction amount of the magnification coefficient becomes smaller than a predetermined threshold value.
  • the configuration and operation other than the noise information generation method in the noise information generation unit 7 are the same as those in the first embodiment, and thus the description thereof is omitted here.
  • the noise information generation unit 7 can update the noise information for a large change and the magnification information for a small change.
  • the noise information generation unit 7 can update the noise information for a large change and the magnification information for a small change.
  • the noise information generation unit 7 in addition to the effects of the first embodiment, by appropriately combining the update of noise information and magnification information, it is possible to quickly follow the change in noise characteristics and obtain an accurate noise information generation unit output. Can do.
  • the noise suppression device 200 further includes an input terminal 9 in addition to the configuration of the first embodiment.
  • Information (noise presence information) indicating whether or not specific noise is present in the input degraded signal is supplied from the input terminal 9 to the noise suppression unit 53 and the noise information generation unit 47.
  • the noise suppression apparatus 200 can reliably suppress noise at the timing when specific noise is present, and can simultaneously generate noise information. Since other configurations and operations are the same as those in the first embodiment, detailed description thereof is omitted here.
  • the noise suppression apparatus 200 does not generate noise information at a timing when the specific noise does not exist, so that the accuracy of noise suppression for the specific noise can be improved.
  • the noise suppression device 300 in the present embodiment includes a desired signal presence determination unit 51.
  • the desired signal presence determination unit 51 receives the deteriorated signal amplitude spectrum from the conversion unit 2, and the desired signal presence determination unit 51 determines whether or not the desired signal exists in the deteriorated signal amplitude spectrum. Determine whether to do.
  • the noise information generation unit 57 generates noise information based on the determination result in the desired signal presence determination unit 51. For example, when there is no desired signal, all the degraded signals are composed of noise, so the suppression result in the noise suppression unit 3 should be zero.
  • the noise information generation unit 57 adjusts the noise information described in the first embodiment or the magnification coefficient described in the second embodiment so that the noise suppression result at this time becomes zero.
  • the noise information generating unit 57 when the desired signal is included in the deteriorated signal, the noise information generating unit 57 generates noise information according to the presence ratio of the desired signal. For example, when 10% of the desired signal is present in the deteriorated signal, the noise information generation unit 57 partially updates (only 90%) the noise information stored in the temporary storage unit 6. Since the noise suppression apparatus 300 according to the present embodiment generates noise information according to the ratio of noise in the deteriorated signal, a more accurate noise suppression result can be obtained as a result. (Fifth embodiment) A fifth embodiment of the present invention will be described with reference to FIG.
  • the information processing apparatus 500 includes a mechanism unit 91 that is a source of noise, and a mechanism control unit 92 that controls the mechanism unit 91.
  • the mechanism control unit 92 causes the mechanism unit 91 to operate on some occasion, the operation information is transmitted to the noise suppression device 400.
  • the mechanism control unit 92 operates the mechanism unit 91 based on a command from the noise suppression device 400 to generate noise, and at the same time, the noise suppression result of the degraded signal including the noise is used in the noise suppression device 400.
  • the noise information generation unit 67 may generate noise information.
  • noise suppression devices having different characteristics have been described. However, noise suppression devices that combine these features in any way are also included in the scope of the present invention.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable to a case where a software signal processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed in the computer, a medium storing the program, and a WWW server that downloads the program are also included in the scope of the present invention.
  • the computer 1000 includes an input unit 1001, a CPU 1002, an output unit 1003, a memory 1004, an external storage unit 1005, a communication control unit 1006, and a bus 1007 that connects them.
  • the CPU 1002 controls the operation of the computer 1000 by reading the information processing program. That is, the CPU 1002 that has executed the information processing program suppresses noise in the deteriorated signal, and generates noise information based on the noise suppression result (S801). Next, the CPU 1002 uses the generated noise information to suppress noise in the degraded signal (S802).
  • the CPU 1002 updates the noise information using the noise suppression result (S803).
  • the CPU 1002 repeatedly performs update generation of noise information and suppression of noise until a stop event occurs.
  • various events such as power supply stop and microphone off can be considered as the stop event.

Abstract

 予め多数の雑音情報を記憶することなく、未知な雑音を含む多種多様な雑音を抑圧する雑音抑圧技術を提供すること。 劣化信号中の雑音を抑圧し、雑音抑圧結果に基づいて雑音情報を生成し、生成された雑音情報を用いて劣化信号中の雑音を抑圧する。

Description

信号処理方法、情報処理装置、及び信号処理プログラム
 本発明は、劣化信号中の雑音を抑圧して所望の信号を強調するための信号処理技術に関する。
 劣化信号(所望の信号と雑音とが混合された信号)から、雑音の全部又は一部を抑圧し、強調信号(所望の信号を強調した信号)を出力する信号処理技術として、雑音抑圧技術(noise suppressing technology)が知られている。例えば、ノイズサプレッサは、所望の音声信号に重畳されている雑音(ノイズ)を抑圧するシステムであり、携帯電話など様々な音声端末において利用されている。
 この種の技術の一例として、特許文献1には、入力信号に1より小さな抑圧係数を乗算することによって、ノイズを抑圧する方法が開示されている。また、特許文献2には、推定された雑音を劣化信号から直接減算することによって、雑音を抑圧する方法が開示されている。
 特許文献1及び2に記載の技術によれば、既に雑音が混合されて劣化している所望信号から、雑音を推定しなければならない。しかし、劣化信号だけから正確に雑音を推定することには限界があり、特許文献1及び2に記載された方法は、一般的に、雑音が所望信号に対して十分小さい場合のみ有効である。雑音が所望信号に対して十分に小さいという条件が満たされない場合は、雑音推定値の精度が低いため、特許文献1及び2に記載された方法は、十分な雑音抑圧の効果が得られず、さらに強調信号に大きな歪が含まれていた。
 これに対し、雑音が所望信号に対して十分に小さいという条件が満たされない場合にも、十分な雑音抑圧効果と強調信号における小さな歪とを実現できる雑音抑圧システムが、特許文献3に開示されている。特許文献3に記載された方法は、所望信号に混入する雑音の特性が事前にある程度わかる場合を想定しており、事前に記録しておいた雑音情報(雑音の特性に関する情報)を、劣化信号から減算することで、雑音を抑圧する。また、入力信号を分析して得られた入力信号パワーが大きいときは大きな係数を、その入力信号パワーが小さいときは小さな係数を、雑音情報に積算して、その積算結果を劣化信号から減算する方法も開示されている。
特許第4282227号公報 特開平8−221092号公報 特開2006−279185号公報
 しかしながら、上述の特許文献3に開示された構成では、雑音特性情報を予め記憶する必要があり、消去できる雑音の種類が非常に限定されてしまう。消去できる雑音の種類を増やそうとすると、雑音情報を多数記録する必要が生じるため、必要な記憶容量が増大し、装置の製造コストが増加する。さらに、特許文献3に開示された技術は、記憶された雑音情報から乖離した、未知の雑音を抑圧できない。
 以上を踏まえ、本発明は、上述の課題を解決する信号処理技術を提供することを目的とする。
 上記目的を達成するため、本発明に係る信号処理方法は、劣化信号中の雑音を抑圧する際に、雑音情報を、劣化信号の雑音抑圧結果に応じて生成し、生成した雑音情報を用いて前記劣化信号中の雑音を抑圧する。
 上記目的を達成するため、本発明に係る情報処理装置は、劣化信号中の雑音を抑圧する雑音抑圧手段と、前記劣化信号中の雑音を抑圧した結果に基づいて雑音情報を生成する雑音情報生成手段と、を備え、前記雑音抑圧手段は、前記雑音情報を用いて前記劣化信号中の雑音を抑圧する。
 上記目的を達成するため、本発明に係るプログラム記録媒体に格納される信号処理プログラムは、雑音を抑圧した処理の結果に基づいて雑音情報を生成し、生成された雑音情報を用いて前記劣化信号中の雑音を抑圧する処理をコンピュータに実行させる。
 本発明は、予め多数の雑音情報を記憶することなく、未知な雑音を含む多種多様な雑音を抑圧する信号処理技術を提供することができる。
本発明の第1実施形態としての雑音抑圧装置100の概略構成を示すブロック図。 本発明の第1実施形態としての雑音抑圧装置100に含まれる変換部2の構成を示すブロック図。 本発明の第1実施形態としての雑音抑圧装置100に含まれる逆変換部4の構成を示すブロック図。 本発明の第3実施形態としての雑音抑圧装置200の概略構成を示すブロック図。 本発明の第4実施形態としての雑音抑圧装置300の概略構成を示すブロック図。 本発明の第5実施形態としての雑音抑圧装置400の概略構成を示すブロック図。 本発明の他の実施形態としての信号処理プログラムを実行するコンピュータ1000の概略構成を示すブロック図。 本発明の情報処理装置1200の構成例を示す図。
 以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
 (第1実施形態)
 <全体構成>
 本発明に係る信号処理方法を実現する第1実施形態として、劣化信号(所望の信号と雑音とが混合された信号)から、雑音の一部又は全部を抑圧し、強調信号(所望の信号を強調した信号)を出力する雑音抑圧装置100について説明する。図1は、雑音抑圧装置100の全体構成を示すブロック図である。雑音抑圧装置100は、例えばデジタルカメラ、ノートパソコン、携帯電話などといった装置の一部としても機能するが、本発明はこれに限定されるものではなく、入力信号からのノイズ除去を要求されるあらゆる情報処理装置に適用可能である。また、図8は本発明にかかる情報処理装置1200の構成例を示すブロック図である。情報処理装置1200は、雑音抑圧部3と雑音情報生成部7とを備える。
 入力端子1には、劣化信号(所望信号と雑音の混在する信号)が、サンプル値系列として供給される。入力端子1に供給された劣化信号は、変換部2においてフーリエ変換などの変換を施されて複数の周波数成分に分割される。複数の周波数成分のうち振幅スペクトルは雑音抑圧部3へ供給され、位相スペクトルは、逆変換部4に伝達される。なお、ここでは、雑音抑圧部3に振幅スペクトルが供給されているが、本発明はこれに限定されるものではなく、その二乗に相当するパワースペクトルが雑音抑圧部3に供給されても良い。
 一時記憶部6は、半導体メモリなどの記憶素子を含み、雑音情報(雑音の特性に関する情報)を記憶することができる。一時記憶部6は、雑音情報としては、例えば、雑音のスペクトルの形を記憶している。しかし、一時記憶部6は、スペクトルの代わりに、あるいは、スペクトルと共に、位相の周波数特性、特定の周波数における強弱や時間変化などの特徴量などを記憶することもできる。雑音情報は、統計量(最大、最小、分散、メジアン)などでも良い。
 雑音抑圧部3は、変換部2から供給された劣化信号振幅スペクトルと一時記憶部6から供給された雑音情報とを用いて、各周波数で雑音を抑圧し、雑音抑圧結果としての強調信号振幅スペクトルを逆変換部4に伝達する。逆変換部4は、雑音抑圧部3から供給された強調信号振幅スペクトルと変換部2から供給された劣化信号の位相とを合わせて逆変換を行い、強調信号サンプルとして、出力端子5に供給する。
 雑音抑圧結果としての強調信号振幅スペクトルは、同時に、雑音情報生成部7にも伝達される。雑音情報生成部7は、雑音抑圧結果としての強調信号振幅スペクトルに基づいて、新しい雑音情報を生成し、一時記憶部6に供給する。一時記憶部6は、雑音情報生成部7から供給された新しい雑音情報を用いて、現在の雑音情報を更新する。
 <変換部2の構成>
 図2は、変換部2の構成を示すブロック図である。図2に示すように、変換部2はフレーム分割部21、窓がけ処理部(windowing unit)22、及びフーリエ変換部23を含む。劣化信号サンプルは、フレーム分割部21に供給され、K/2サンプル毎のフレームに分割される。ここで、Kは偶数である。フレームに分割された劣化信号サンプルは、窓がけ処理部22に供給され、窓関数(window function)であるw(t)との乗算が行なわれる。第nフレームの入力信号yn(t)(t=0,1,...,K/2−1)に対するw(t)で窓がけ(windowing)された信号は、次式(1)で与えられる。
Figure JPOXMLDOC01-appb-I000001
 また、窓がけ処理部22は、連続する2フレームの一部を重ね合わせ(オーバラップ)して窓がけしてもよい。オーバラップ長としてフレーム長の50%を仮定すれば、t=0,1,...,K/2−1に対して、以下の式(2)で得られる左辺が、窓がけ処理部22の出力となる。
Figure JPOXMLDOC01-appb-I000002
 窓がけ処理部22は、実数信号に対しては、左右対称窓関数を用いてもよい。また、窓関数は、MMSE STSA法における抑圧係数を1に設定したとき、またはSS法においてゼロを減算したときの入力信号と出力信号が計算誤差を除いて一致するような関数である。これは、w(t)+w(t+K/2)=1となることを意味する。
 以後、連続する2フレームの50%をオーバラップして窓がけする場合を例として説明を続ける。窓がけ処理部22は、w(t)として、例えば、次式(3)に示すハニング窓を用いることができる。
Figure JPOXMLDOC01-appb-I000003
 このほかにも、窓がけ処理部22は、ハミング窓、ケイザー窓、ブラックマン窓など、様々な窓関数を用いても良い。窓がけされた出力はフーリエ変換部23に供給され、劣化信号スペクトルYn(k)に変換される。劣化信号スペクトルYn(k)は位相と振幅に分離され、劣化信号位相スペクトルarg Yn(k)は、逆変換部4に、劣化信号振幅スペクトル|Yn(k)|は、雑音抑圧部3に供給される。既に説明したように、変換部2は、振幅スペクトルの代わりにパワースペクトルを利用することもできる。
 <逆変換部4の構成>
 図3は、逆変換部4の構成を示すブロック図である。図3に示すように、逆変換部4は逆フーリエ変換部43、窓がけ処理部42、及び、フレーム合成部41を含む。逆フーリエ変換部43は、雑音抑圧部3から供給された強調信号振幅スペクトルと変換部2から供給された劣化信号位相スペクトルarg Yn(k)とを組み合わせて、強調信号(以下の式(4)の左辺)を求める。
Figure JPOXMLDOC01-appb-I000004
 逆フーリエ変換部43は、得られた強調信号に逆フーリエ変換を施す。逆フーリエ変換された強調信号は、1フレームがKサンプルを含む時間領域サンプル値系列xn(t)(t=0,1,...,K−1)として、窓がけ処理部42に供給され、窓関数w(t)との乗算が行なわれる。第nフレームの入力信号xn(t)(t=0,1,...,K/2−1)に対してw(t)で窓がけされた信号は、次式(5)の左辺で与えられる。
Figure JPOXMLDOC01-appb-I000005
 また、窓がけ処理部42は、連続する2フレームの一部を重ね合わせ(オーバラップ)して窓がけしてもよい。フレーム長の50%をオーバラップ長として仮定すれば、t=0,1,...,K/2−1に対して、以下の式の左辺が、窓がけ処理部42の出力となり、フレーム合成部41に伝達される。
Figure JPOXMLDOC01-appb-I000006
 フレーム合成部41は、窓がけ処理部42からの隣接する2フレームの出力を、K/2サンプルずつ取り出して重ね合わせ、以下の式(7)によって、t=0,1,...,K−1における出力信号(式(7)の左辺)を得る。得られた出力信号は、フレーム合成部41から出力端子5に伝達される。
Figure JPOXMLDOC01-appb-I000007
 なお、図2と図3において変換部2と逆変換部4における変換をフーリエ変換として説明した。変換部2、逆変換部4は、フーリエ変換に代えて、コサイン変換、修正コサイン変換、アダマール変換、ハール変換、ウェーブレット変換など、他の変換を用いることもできる。例えば、コサイン変換や修正コサイン変換は、変換結果として振幅だけしか得ない。このため、図1における変換部2から逆変換部4に至る経路は不要になる。また、一時記憶部6に記録する雑音情報は、振幅(またはパワー)だけとなり、記憶容量の削減、雑音抑圧処理における演算量の削減に貢献する。変換部2、逆変換部4がハール変換を用いた場合には、乗算が不要となり、LSI化したときの面積を小さくすることができる。変換部2、逆変換部4がウェーブレット変換を用いた場合には、周波数によって時間解像度を異なったものに変更できるために、雑音抑圧効果の向上が期待できる。
 また、変換部2が周波数成分を複数統合してから、雑音抑圧部3が実際の抑圧を行うこともできる。その際、変換部2は、聴覚特性の弁別能力が高い低周波領域から、能力が低い高周波領域に向かって、よりたくさんの周波数成分を統合することにより、高い音質を達成することができる。このように、複数の周波数成分を統合してから雑音抑圧を実行すると、雑音抑圧を適用する周波数成分の数が少なくなり、雑音抑圧装置100は全体の演算量を削減することができる。
 <雑音抑圧部3の処理>
 雑音抑圧部3は、様々な抑圧を行うことが可能である。抑圧方法は、代表的なものとして、SS(Spectrum Subtraction:スペクトル減算)法とMMSE STSA(Minimum Mean−Square Error Short−Time Spectral Amplitude Estimator:最小二乗平均誤差短時間振幅スペクトル推定)法とがある。雑音抑圧部3がSS法を用いる場合は、雑音抑圧部3は一時記憶部6から供給された雑音情報を、変換部2から供給された劣化信号振幅スペクトルから減算する。雑音抑圧部3がMMSE STSA法を用いる場合は、雑音抑圧部3が一時記憶部6から供給された雑音情報と変換部2から供給された劣化信号振幅スペクトルを用いて、複数の周波数成分それぞれに対して抑圧係数を計算し、この抑圧係数を劣化信号振幅スペクトルに乗算する。この抑圧係数は、強調信号の平均二乗パワーを最小化するように決定される。
 雑音抑圧部3は、雑音の抑圧に際しては、過剰な抑圧を避けるために、フロアリングを適用することができる。フロアリングとは、最大抑圧量を超える抑圧を避ける方法である。フロアリングパラメータは最大抑圧量を決定する。雑音抑圧部3がSS法を用いる場合は、雑音抑圧部3は、雑音情報を劣化信号振幅スペクトルから減算した結果が、フロアリングパラメータより小さくならないように制約をかける。具体的には、雑音抑圧部3は、減算結果がフロアリングパラメータよりも小さいときには、減算結果をフロアリングパラメータで置換する。また、雑音抑圧部3がMMSE STSA法を用いる場合には、雑音抑圧部3は、雑音情報と劣化信号振幅スペクトルから求めた抑圧係数が、フロアリングパラメータよりも小さいときに、抑圧係数をフロアリングパラメータで置換する。フロアリングの詳細に関しては、文献「M.Berouti,R.Schwartz and J.Makhoul,″Enhancement of speech corrupted by acoustic noise,″Proceedings of ICASSP’79,pp.208−−211,Apr.1979」に開示されている。雑音抑圧部3は、フロアリングを導入することによって、過剰な抑圧を生じなくなる。フロアリングは、強調信号の歪が大きくなることを防止することができる。
 雑音抑圧部3は、雑音情報の周波数成分数を劣化信号振幅スペクトルの周波数成分数よりも小さく設定することもできる。このとき、複数の雑音情報が複数の周波数成分に対して共用される。劣化信号振幅スペクトルと雑音情報の双方に対して、複数の周波数成分を統合する場合と比べて、劣化信号振幅スペクトルの周波数分解能が高いので、雑音抑圧部3は、周波数成分の統合が全くない場合よりも少ない演算量で、高い音質を達成することができる。劣化信号振幅スペクトルの周波数成分数よりも少ない周波数成分数の雑音情報を用いた抑圧の詳細は、特開2008−203879号に開示されている。
 <雑音情報生成部7の構成>
 雑音情報生成部7には、雑音抑圧結果としての強調信号振幅スペクトルが供給される。雑音情報生成部7は、この雑音抑圧結果を用いて新しい雑音情報を生成し、これを用いて一時記憶部6に記憶されている雑音情報を更新する。一時記憶部6に記憶されている雑音情報の初期値としては、例えば、フラットな形状の信号スペクトルが用意されている。雑音情報生成部7は、その信号スペクトルを雑音情報として用いた雑音抑圧結果に応じて、新しい雑音情報を生成する。雑音情報生成部7は、この新しい雑音情報を用いて、一時記憶部6に記憶されている、既に抑圧に使用された雑音情報を更新する。
 雑音情報生成部7は、雑音情報生成部7に帰還(feedback)された雑音抑圧結果を用いて新しい雑音情報を求めるときには、所望信号が入力されていないタイミングでの雑音抑圧結果が大きいほど(抑圧されずに残った雑音が大きいほど)雑音情報が大きくなるように、雑音情報を生成する。所望信号が入力されていないタイミングでの雑音抑圧結果が大きいということは、抑圧が不十分であることを示すため、雑音情報を大きくすることが望ましいからである。雑音情報が大きいときには、SS法では減算する値が大きくなるため、雑音抑圧結果は小さくなる。また、MMSE STSA法のような乗算型の抑圧では、抑圧係数の計算に用いる信号対雑音比の推定値が小さくなるため、小さな抑圧係数が得られる。これは、より強力な雑音抑圧をもたらす。新しい雑音情報を生成する方法は、複数の方法が考えられる。例として、再計算法及び逐次更新法について説明する。
 雑音抑圧結果としては、雑音が完全に抑圧された状態が理想である。このため、雑音情報生成部7は、例えば、劣化信号の振幅又はパワーが小さいときに雑音が完全に抑圧されるように、雑音情報を再計算又は逐次更新することができる。劣化信号の振幅又はパワーが小さいときには、抑圧しようとする雑音以外の信号のパワーも小さい確率が高いからである。雑音情報生成部7は、劣化信号の振幅又はパワーが小さいことを、劣化信号のパワー又は振幅の絶対値が閾値よりも小さいことを用いて検出できる。
 また、雑音情報生成部7は、劣化信号の振幅又はパワーが小さいことを、劣化信号の振幅又はパワーと一時記憶部6に記録されている雑音情報との差分が、閾値より小さいことを用いても検出できる。すなわち、雑音情報生成部7は、劣化信号の振幅又はパワーが雑音情報と似ているときに、劣化信号における雑音情報の占有率が高い(信号対雑音比が低い)ことを利用する。特に、雑音情報生成部7は、複数の周波数点における情報を複合的に用いることにより、スペクトル概形を比較することが可能となり、検出精度を高くすることができる。
 SS法における雑音情報は、各周波数において所望信号が入力されていないタイミングでの劣化信号振幅スペクトルと等しくなるように、再計算される。言い換えれば、雑音情報生成部7は、雑音だけを入力した時点で変換部2から供給された劣化信号振幅スペクトル|Yn(k)|と、雑音情報νn(k)を一致させる。ここでnはフレーム番号、kは、周波数番号である。すなわち、雑音情報生成部7は、雑音情報νn(k)を次式(8)で計算する。
 νn(k)=|Yn(k)|・・・(8)
 また、雑音情報生成部7は、雑音情報νn(k)を直接利用する代わりに、その平均を用いてもよい。平均は、FIRフィルタに基づく平均(スライド窓を用いた移動平均)やIIRフィルタに基づく平均(漏れ積分)などでもよい。
 一方、SS法における雑音情報の逐次更新は、各周波数において、所望信号が入力されていないタイミングでの強調信号振幅スペクトルがゼロに近づくように、雑音情報を少しずつ更新する。雑音情報生成部7は、逐次更新に摂動法を用いる場合には、n番目フレーム、周波数番号kの誤差en(k)を用いて、νn+1(k)を次式(9)で計算する。
 νn+1(k)=νn(k)+μen(k)・・・(9)
但し、μはステップサイズと呼ばれる微小定数である。雑音情報生成部7は、計算して得られた雑音情報νn(k)を直ちに利用するときには、数式(9)の代わりに以下の数式(10)を用いる。
 νn(k)=νn−1(k)+μen(k)・・・(10)
すなわち、雑音情報生成部7は、現在の誤差を用いて現在の雑音情報νn(k)を計算し、直ちに適用する。雑音情報生成部7は、雑音情報を直ちに更新することにより、リアルタイムで高精度の雑音抑圧を実現できる。
 また、雑音情報生成部7は、誤差の符号だけ表わす符号関数sgn{en(k)}を用いて、以下の式(11)によって雑音情報νn+1(k)を計算しても良い。
 νn+1(k)=νn(k)+μ・sgn{en(k)}・・・(11)
同様に、雑音情報生成部7は、その他の適応アルゴリズム(逐次更新アルゴリズム)を用いてもよい。
 MMSE STSA法を用いた場合、雑音情報生成部7は、雑音情報を逐次更新する。雑音情報生成部7は、各周波数において、数式(9)から数式(11)を用いて説明した方法と同様の方法で、雑音情報νn(k)を更新する。
 上述した雑音情報の更新方法としての再計算法と逐次更新法について、再計算法は追従速度が速く、逐次更新法は精度が高いという特徴がある。これらの特徴を活かすために、雑音情報生成部7は、最初は再計算法を用い、後に逐次更新法を用いる、というように更新方法を変更することも可能である。雑音情報生成部7は、更新方法の変更のタイミングを決定するにあたり、雑音情報が最適値に十分近くなったことを条件として更新方法を変更しても良い。また、雑音情報生成部7は、例えば、予め定められた時間が経過したときに更新方法を変更してもよい。またさらに、雑音情報生成部7は、雑音情報の補正量が予め定められた閾値よりも小さくなったときに更新方法を変更してもよい。
 以上、本実施形態における雑音抑圧装置100は、雑音抑圧に用いられる雑音情報を、雑音抑圧結果に基づいて生成するので、予め多数の雑音情報を記憶することなく、未知な雑音を含む多種多様な雑音を抑圧することができる。
 (第2実施形態)
 次に本発明の第2実施形態について説明する。本実施形態における雑音情報生成部7は、不揮発性メモリなどに恒久的に記憶された基本情報に対して倍率係数を乗算して雑音情報を生成する。雑音情報の基本情報(初期値)としては、例えば、フラットな形状の信号スペクトルなど任意の情報が用意されている。雑音情報生成部7は、その基本情報に倍率係数を乗算することで雑音情報を生成し、その後、雑音情報を用いた雑音抑圧結果に応じて、雑音情報及びその倍率係数を更新する。雑音情報の更新に関しては既に第1実施形態で詳細に説明したので、ここでは倍率係数更新に関して説明する。
 雑音情報生成部7は、雑音抑圧結果を用いて倍率係数を求めるときには、所望信号が入力されていないタイミングでの雑音抑圧結果が大きいほど(抑圧されずに残った雑音が大きいほど)雑音情報が大きくなるように、倍率係数を生成する。所望信号が入力されていないタイミングでの雑音抑圧結果が大きいということは、抑圧が不十分であることを示し、倍率係数を変更することによって雑音情報を大きくすることが望ましいからである。倍率係数を更新する方法は、複数の方法が考えられる。例として、再計算法及び逐次更新法について説明する。
 雑音抑圧結果としては、雑音が完全に抑圧された状態が理想である。このため、雑音情報生成部7は、例えば、劣化信号の振幅又はパワーが小さいときに雑音が完全に抑圧されるように、倍率係数を再計算又は逐次更新することができる。劣化信号の振幅又はパワーが小さいときには、抑圧しようとする雑音以外の信号のパワーも小さい確率が高いからである。雑音情報生成部7は、劣化信号の振幅又はパワーが小さいことを、劣化信号のパワー又は振幅の絶対値が閾値よりも小さいことを用いて検出できる。
 また、雑音情報生成部7は、劣化信号の振幅又はパワーが小さいことを、劣化信号の振幅又はパワーと一時記憶部6に記録されている雑音情報との差分が、閾値より小さいことを用いても検出できる。すなわち、雑音情報生成部7は、劣化信号の振幅又はパワーが雑音情報と似ているときに、劣化信号における雑音の占有率が高い(信号対雑音比が低い)ことを利用する。特に、雑音情報生成部7は、複数の周波数点における情報を複合的に用いることにより、スペクトル概形を比較することが可能となり、検出精度を高くすることができる。
 SS法における倍率係数は、各周波数において、雑音情報が所望信号が入力されていないタイミングでの劣化信号振幅スペクトルと等しくなるように、再計算する。言い換えれば、雑音情報生成部7は、雑音だけを入力した時点で変換部2から供給された劣化信号振幅スペクトル|Yn(k)と、倍率係数αnと基本情報ν(k)との積が一致するように倍率係数αn(k)を求める。ここでnはフレーム番号、kは、周波数番号である。すなわち、倍率係数αn(k)は次式(12)で計算される。
 αn(k)=|Yn(k)|/ν(k)・・・(12)
 一方、SS法における倍率係数の逐次更新は、各周波数において、所望信号が入力されていないタイミングでの強調信号振幅スペクトルがゼロに近づくように、倍率係数を少しずつ更新する。雑音情報生成部7は、逐次更新に最小二乗平均(Least Squares Method,LMS)アルゴリズムを用いる場合には、n番目フレーム、周波数番号kの誤差en(k)を用いて、αn+1(k)を次式(13)で計算する。
 αn+1(k)=αn(k)+μen(k)ν(k)・・・(13)
 但し、μはステップサイズと呼ばれる微小定数である。雑音抑圧装置100が計算して得られた倍率係数αn(k)を直ちに利用するときには、雑音情報生成部7は数式(13)の代わりに以下の数式(14)を用いる。
 αn(k)=αn−1(k)+μen(k)ν(k)・・・(14)
すなわち、雑音情報生成部7は、現在の誤差を用いて現在の倍率係数αn(k)を計算し、直ちに雑音抑圧装置100に適用する。雑音情報生成部7は、倍率係数を直ちに更新することにより、リアルタイムで高精度の雑音抑圧を実現できる。
 雑音情報生成部7は、正規化最小二乗平均(Normalized Least Squares Method,NLMS)アルゴリズムを用いる場合には、上述した誤差en(k)を用いて、倍率係数αn+1(k)を次式(15)で計算する。
 αn+1(k)=αn(k)+μen(k)ν(k)/σn(k)・・・(15)
 σn(k)は、雑音情報ν(k)の平均パワーであり、FIRフィルタに基づく平均(スライド窓を用いた移動平均)やIIRフィルタに基づく平均(漏れ積分)などを用いて計算できる。
 また、雑音情報生成部7は、摂動法を用いて、以下の式(16)によって倍率係数αn+1(k)を計算しても良い。
 αn+1(k)=αn(k)+μen(k)・・・(16)
 また、雑音情報生成部7は、誤差の符号だけ表わす符号関数sgn{en(k)}を用いて、以下の式(17)によって倍率係数αn+1(k)を計算しても良い。
 αn+1(k)=αn(k)+μ・sgn{en(k)}・・・(17)
 同様に、雑音情報生成部7は、最小二乗アルゴリズム(LS)アルゴリズムやその他の適応アルゴリズムを用いてもよい。また、雑音情報生成部7は、生成した倍率係数を直ちに適用することも可能である。この場合、雑音抑圧装置100の実装者は、数(13)から数(14)への変更を参照して、数(15)~数(17)を変形して、倍率係数をリアルタイム更新するように、雑音情報生成部7を構成してもよい。
 MMSE STSA法を用いた場合、雑音情報生成部7は、倍率係数を逐次更新する。雑音情報生成部7は、各周波数において、数式(13)から数式(17)を用いて説明した方法と同様の方法で、倍率係数αn(k)を更新する。
 上述した倍率係数の更新方法としての再計算法と逐次更新法について、再計算法は追従速度が速く、逐次更新法は精度が高いという特徴がある。これらの特徴を活かすために、雑音情報生成部7は、最初は再計算法を用い、後に逐次更新法を用いる、というように更新方法を変更することも可能である。雑音情報生成部7は、倍率係数が最適値に十分近くなったことを条件として更新方法を変更しても良い。また、雑音情報生成部7は、例えば、予め定められた時間が経過したときに更新方法を変更してもよい。またさらに、雑音情報生成部7は、倍率係数の補正量が予め定められた閾値よりも小さくなったときに更新方法を変更することもできる。
 本実施形態において、雑音情報生成部7での雑音情報の生成方法以外の構成及び動作については、第1実施形態と同様であるためここではその説明を省略する。
 雑音情報と倍率情報の更新においては、雑音情報が本質的な情報であり、倍率情報はその補正をするものと考えることができる。そこで、雑音情報生成部7は、大きな変更に対しては雑音情報を、小さな変更に対しては倍率情報を更新することもできる。特に、初期値から雑音情報を生成する過程においては、雑音情報を更新することで高速な雑音情報の形成が可能となる。また、雑音情報が正しい値に近づき、誤差が小さくなったときには、倍率情報を更新することで、正確な雑音情報生成部出力を得ることができる。
 本実施形態によれば、第1実施形態の効果に加えて、雑音情報と倍率情報の更新を適宜組み合わせることにより、雑音特性の変化に高速に追従し、正確な雑音情報生成部出力を得ることができる。
 (第3実施形態)
 本発明の第3実施形態について、図4を用いて説明する。本実施形態における雑音抑圧装置200は、第1実施形態の構成に加えてさらに、入力端子9を有している。雑音抑圧部53及び雑音情報生成部47には、入力端子9から、入力した劣化信号中に特定の雑音が存在するか否かを示す情報(雑音存在情報)が供給される。これにより、雑音抑圧装置200は、特定の雑音が存在しているタイミングで、確実に雑音を抑圧し、同時に、雑音情報の生成を行なうことができる。その他の構成及び動作については第1実施形態と同様であるためここでは詳細な説明を省略する。
 本実施形態によれば、雑音抑圧装置200は、特定の雑音が存在していないタイミングでは、雑音情報の生成を行なわないので、特定の雑音に対する雑音抑圧の精度を向上させることができる。
 (第4実施形態)
 本発明の第4実施形態について、図5を用いて説明する。本実施形態における雑音抑圧装置300は、所望信号存在判定部51を有している。所望信号存在判定部51には、変換部2からの劣化信号振幅スペクトルが伝達され、所望信号存在判定部51は、劣化信号振幅スペクトル中に所望信号が存在するか否か、或いは、どの程度存在するのかを判定する。
 雑音情報生成部57は、所望信号存在判定部51での判定結果に基づいて、雑音情報を生成する。例えば、所望信号がないときには、劣化信号は全て雑音から構成されるので、雑音抑圧部3での抑圧結果はゼロになるはずである。したがって、雑音情報生成部57は、この時の雑音抑圧結果がゼロになるように、第1実施形態で説明した雑音情報又は第2実施形態で説明した倍率係数を調整する。
 一方、雑音情報生成部57は、劣化信号に所望信号が含まれている場合には、所望信号の存在割合に応じて、雑音情報の生成を行なう。雑音情報生成部57は、例えば、劣化信号中に所望信号が10%存在している場合には、部分的に(90%だけ)一時記憶部6に記憶された雑音情報を更新する。
 本実施形態における雑音抑圧装置300は、劣化信号中の雑音の割合に応じて雑音情報を生成するので、結果的により精度の高い雑音抑圧結果を得ることができる。
 (第5実施形態)
 本発明の第5実施形態について、図6を用いて説明する。本実施形態では、第1実施形態に記載の雑音抑圧装置400を含む情報処理装置500を示す図である。情報処理装置500は、雑音の発生源となる機構部91と、機構部91を制御する機構制御部92と、を備える。機構制御部92が何らかの契機で機構部91を動作させた場合に、その動作情報を、雑音抑圧装置400に伝達する。これにより、機構部91が動作している間に確実に雑音抑圧装置400が動作して、雑音情報を生成することができる。
 或いは、雑音抑圧装置400からの命令に基づいて機構制御部92が機構部91を動作させて雑音を発生させ、同時に、雑音抑圧装置400内で、その雑音を含む劣化信号の雑音抑圧結果を用いて、雑音情報生成部67が雑音情報を生成してもよい。
 (他の実施形態)
 以上説明してきた第1乃至第5実施形態は、それぞれ別々の特徴を持つ雑音抑圧装置について説明したが、それらの特徴を如何様に組み合わせた雑音抑圧装置も、本発明の範疇に含まれる。
 また、本発明は、複数の機器から構成されるシステムに適用しても良いし、単体の装置に適用しても良い。さらに、本発明は、実施形態の機能を実現するソフトウェアの信号処理プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、或いはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWWサーバも、本発明の範疇に含まれる。
 図7は、第1乃至第5実施形態を信号処理プログラムにより構成した場合に、その信号処理プログラムを実行するコンピュータ1000の構成図である。コンピュータ1000は、入力部1001と、CPU1002と、出力部1003と、メモリ1004と、外部記憶部1005と、通信制御部1006とそれらを接続するバス1007を含む。
 CPU1002は、情報処理プログラムを読み込むことにより、コンピュータ1000の動作を制御する。すなわち、情報処理プログラムを実行したCPU1002は、劣化信号中の雑音を抑圧し、雑音抑圧結果に基づいて、雑音情報を生成する(S801)。次に、CPU1002は、生成した雑音情報を用いて、劣化信号中の雑音を抑圧する(S802)。そして、CPU1002は、停止イベントが発生しなければ(S804)、雑音抑圧結果を用いて、雑音情報を更新する(S803)。CPU1002は、停止イベントが発生するまで、雑音情報の更新生成及び雑音の抑圧を繰り返し行なう。ここで、停止イベントとしては、電源の停止や、マイクオフなど、様々なものが考えられる。
 このように構成したコンピュータにより、第1乃至第5実施形態と同様の効果を得ることができる。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
 この出願は、2009年11月6日に出願された日本出願特願2009−255419を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

  1.  劣化信号中の雑音を抑圧する際に、
     雑音情報を、劣化信号の雑音抑圧結果に応じて生成し、
     生成した雑音情報を用いて前記劣化信号中の雑音を抑圧する信号処理方法。
  2.  基本情報に倍率係数を乗算することによって、前記雑音情報を生成する請求項1に記載の信号処理方法。
  3.  劣化信号中に雑音が存在するか否かを示す情報を入力し、
     劣化信号中に雑音が存在している場合に、前記雑音情報の生成を行なう請求項1または2に記載の信号処理方法。
  4.  前記劣化信号を解析して、前記劣化信号中に所望信号がどの程度存在しているかを判定し、その判定結果に基づいて、前記雑音情報を生成する請求項1、2または3に記載の信号処理方法。
  5.  劣化信号中の雑音を抑圧する雑音抑圧手段と、
     前記劣化信号中の雑音を抑圧した結果に基づいて雑音情報を生成する雑音情報生成手段と、
     を備え、
     前記雑音抑圧手段は、前記雑音情報を用いて前記劣化信号中の雑音を抑圧する情報処理装置。
  6.  前記雑音情報生成手段によって生成された雑音情報を記憶する記憶手段をさらに含む請求項5に記載の情報処理装置。
  7.  さらに、雑音の発生源となる機構手段と、
     前記機構手段を制御する機構制御手段と、
     を備え、
     前記雑音情報生成手段は、前記機構制御手段が前記機構手段を動作させて雑音を発生させたタイミングで、前記雑音情報の生成を行なう請求項5又は6に記載の情報処理装置。
  8.  雑音を抑圧した処理の結果に基づいて雑音情報を生成し、生成された雑音情報を用いて前記劣化信号中の雑音を抑圧する処理をコンピュータに実行させる信号処理プログラムを格納するプログラム記録媒体。
PCT/JP2010/069869 2009-11-06 2010-11-02 信号処理方法、情報処理装置、及び信号処理プログラム WO2011055829A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080050449.9A CN102598127B (zh) 2009-11-06 2010-11-02 信号处理方法、信息处理装置
US13/503,791 US9190070B2 (en) 2009-11-06 2010-11-02 Signal processing method, information processing apparatus, and storage medium for storing a signal processing program
EP10828387.0A EP2498251B1 (en) 2009-11-06 2010-11-02 Signal processing method, information processor, and signal processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-255419 2009-11-06
JP2009255419A JP2011100029A (ja) 2009-11-06 2009-11-06 信号処理方法、情報処理装置、及び信号処理プログラム

Publications (1)

Publication Number Publication Date
WO2011055829A1 true WO2011055829A1 (ja) 2011-05-12

Family

ID=43970061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069869 WO2011055829A1 (ja) 2009-11-06 2010-11-02 信号処理方法、情報処理装置、及び信号処理プログラム

Country Status (5)

Country Link
US (1) US9190070B2 (ja)
EP (1) EP2498251B1 (ja)
JP (1) JP2011100029A (ja)
CN (1) CN102598127B (ja)
WO (1) WO2011055829A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016162703A1 (en) 2015-04-10 2016-10-13 Naturex Eutectic extraction solvents, extraction methods by eutectigenesis using said solvents, and extracts derived from said extraction methods

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045872B (zh) * 2016-02-05 2020-09-01 中国电信股份有限公司 通话回声的识别方法和装置
CN106910511B (zh) * 2016-06-28 2020-08-14 阿里巴巴集团控股有限公司 一种语音去噪方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221092A (ja) 1995-02-17 1996-08-30 Hitachi Ltd スペクトルサブトラクションを用いた雑音除去システム
JP2006065067A (ja) * 2004-08-27 2006-03-09 Nec Corp 音声処理装置、音声処理方法及び音声処理プログラム
JP2006279185A (ja) 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
WO2007058121A1 (ja) * 2005-11-15 2007-05-24 Nec Corporation 残響抑圧の方法、装置及び残響抑圧用プログラム
JP2008203879A (ja) 2005-09-02 2008-09-04 Nec Corp 雑音抑圧の方法及び装置並びにコンピュータプログラム
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
JP2009255419A (ja) 2008-04-17 2009-11-05 Toppan Cosmo Inc 化粧シート

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630304A (en) * 1985-07-01 1986-12-16 Motorola, Inc. Automatic background noise estimator for a noise suppression system
JPH05316186A (ja) * 1992-05-08 1993-11-26 Matsushita Electric Ind Co Ltd 音声認識電話機
ZA95599B (en) * 1994-02-28 1996-02-06 Qualcomm Inc Doubletalk detection by means of spectral content
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法
US6001131A (en) * 1995-02-24 1999-12-14 Nynex Science & Technology, Inc. Automatic target noise cancellation for speech enhancement
JPH09212196A (ja) * 1996-01-31 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 雑音抑圧装置
US6570985B1 (en) * 1998-01-09 2003-05-27 Ericsson Inc. Echo canceler adaptive filter optimization
US6850783B1 (en) * 1998-08-07 2005-02-01 Ericsson Inc. Methods and apparatus for mitigating the effects of microphone overload in echo cancelation systems
US6606382B2 (en) * 2000-01-27 2003-08-12 Qualcomm Incorporated System and method for implementation of an echo canceller
JP2001215990A (ja) * 2000-01-31 2001-08-10 Japan Science & Technology Corp ロボット聴覚装置
US6859531B1 (en) * 2000-09-15 2005-02-22 Intel Corporation Residual echo estimation for echo cancellation
US7349841B2 (en) * 2001-03-28 2008-03-25 Mitsubishi Denki Kabushiki Kaisha Noise suppression device including subband-based signal-to-noise ratio
JP4088148B2 (ja) * 2002-12-27 2008-05-21 松下電器産業株式会社 雑音抑圧装置
US6947549B2 (en) * 2003-02-19 2005-09-20 The Hong Kong Polytechnic University Echo canceller
WO2006049052A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. 雑音抑圧装置
WO2006049260A1 (ja) * 2004-11-08 2006-05-11 Nec Corporation 信号処理の方法、信号処理の装置および信号処理用プログラム
CN100593197C (zh) * 2005-02-02 2010-03-03 富士通株式会社 信号处理方法和装置
JP4639907B2 (ja) * 2005-03-31 2011-02-23 カシオ計算機株式会社 撮像装置、音声記録方法及びプログラム
JP2007116585A (ja) * 2005-10-24 2007-05-10 Matsushita Electric Ind Co Ltd ノイズキャンセル装置およびノイズキャンセル方法
US20080059154A1 (en) * 2006-09-01 2008-03-06 Nokia Corporation Encoding an audio signal
JP2009276528A (ja) * 2008-05-14 2009-11-26 Yamaha Corp 音声処理装置及び録音装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221092A (ja) 1995-02-17 1996-08-30 Hitachi Ltd スペクトルサブトラクションを用いた雑音除去システム
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
JP2006065067A (ja) * 2004-08-27 2006-03-09 Nec Corp 音声処理装置、音声処理方法及び音声処理プログラム
JP2006279185A (ja) 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
JP2008203879A (ja) 2005-09-02 2008-09-04 Nec Corp 雑音抑圧の方法及び装置並びにコンピュータプログラム
WO2007058121A1 (ja) * 2005-11-15 2007-05-24 Nec Corporation 残響抑圧の方法、装置及び残響抑圧用プログラム
JP2009255419A (ja) 2008-04-17 2009-11-05 Toppan Cosmo Inc 化粧シート

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. BEROUTI; R. SCHWARTZ; J. MAKHOUL: "Enhancement of speech corrupted by acoustic noise", PROCEEDINGS OF ICASSP'79, April 1979 (1979-04-01), pages 208 - 211, XP001079151
See also references of EP2498251A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016162703A1 (en) 2015-04-10 2016-10-13 Naturex Eutectic extraction solvents, extraction methods by eutectigenesis using said solvents, and extracts derived from said extraction methods
EP3704956A1 (en) 2015-04-10 2020-09-09 Naturex Natural biological extracts obtainable by extraction with eutectical solvents

Also Published As

Publication number Publication date
US20120207326A1 (en) 2012-08-16
EP2498251A1 (en) 2012-09-12
JP2011100029A (ja) 2011-05-19
EP2498251A4 (en) 2013-08-07
CN102598127B (zh) 2016-07-13
CN102598127A (zh) 2012-07-18
US9190070B2 (en) 2015-11-17
EP2498251B1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP5867389B2 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
JP5788873B2 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
JP6064600B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
WO2012070670A1 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
WO2011055832A1 (ja) 情報処理装置、その付属装置、情報処理システム、その制御方法並びに制御プログラム
WO2011055829A1 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
JP6182862B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
WO2011055834A1 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
JP6011536B2 (ja) 信号処理装置、信号処理方法、およびコンピュータ・プログラム
JP6720771B2 (ja) 信号処理装置、信号処理方法、及び、信号処理プログラム
WO2013021960A1 (ja) 信号処理装置、信号処理方法、および信号処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080050449.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10828387

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010828387

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13503791

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE