WO2020097820A1 - 基于多麦克风的风噪处理方法、装置、系统及存储介质 - Google Patents

基于多麦克风的风噪处理方法、装置、系统及存储介质 Download PDF

Info

Publication number
WO2020097820A1
WO2020097820A1 PCT/CN2018/115381 CN2018115381W WO2020097820A1 WO 2020097820 A1 WO2020097820 A1 WO 2020097820A1 CN 2018115381 W CN2018115381 W CN 2018115381W WO 2020097820 A1 WO2020097820 A1 WO 2020097820A1
Authority
WO
WIPO (PCT)
Prior art keywords
transform domain
domain spectrum
signal
spectrum
transform
Prior art date
Application number
PCT/CN2018/115381
Other languages
English (en)
French (fr)
Inventor
吴晟
王文涛
边云锋
徐紫薇
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2018/115381 priority Critical patent/WO2020097820A1/zh
Priority to CN201880040350.7A priority patent/CN110786022A/zh
Publication of WO2020097820A1 publication Critical patent/WO2020097820A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Definitions

  • Embodiments of the present application relate to the field of noise reduction technology, and in particular, to a method, device, system, and storage medium for wind noise processing based on multiple microphones.
  • Wind noise is caused by air turbulence near the pickup part of the microphone.
  • the air turbulence is converted into turbulent pressure fluctuations, which are picked up by the microphone together with the sound waves. Since this fluctuation is often much larger than the sound wave, it will cause the microphone's recording signal to be greatly distorted.
  • Wind noise is very common when using a microphone for audio collection outdoors. It has a great influence on the quality of the recording and will greatly damage the fidelity of the recording.
  • the method to overcome the interference of wind noise in recording is to use physical protection methods to avoid the formation of air turbulence in the microphone pickup part, such as using a windproof sponge ball or windproof hair ball to wrap the microphone. But at the same time it causes great attenuation of the high-frequency signal and distortion of the signal.
  • Embodiments of the present application provide a multi-microphone-based wind noise processing method, device, system, and storage medium.
  • the technical solution of the present application can reduce wind noise interference on the one hand, and prevent signal distortion on the other hand.
  • the present application provides a multi-microphone-based wind noise processing method, including: obtaining a first digital signal from K microphones, respectively, K is an integer greater than 1; for each first digital signal, the first Separating digital signals to obtain a first signal transform domain spectrum and a second signal transform domain spectrum; performing wind noise repair processing on the first signal transform domain spectrum to obtain a third signal transform domain spectrum; and a third signal transform domain spectrum Combine with the second signal transform domain spectrum to obtain the first transform domain spectrum; perform reconstruction processing on the first transform domain spectrum to obtain the second digital signal.
  • the present application provides a multi-microphone-based wind noise processing device, including: an acquisition module, a separation processing module, a wind noise repair processing module, a merge module, and a reconstruction processing module.
  • the obtaining module is used to obtain a first digital signal from K microphones respectively, K is an integer greater than 1;
  • the separation processing module is used to separate the first digital signal for each first digital signal to obtain a first The signal transform domain spectrum and a second signal transform domain spectrum;
  • the wind noise repair processing module is used to perform wind noise repair processing on the first signal transform domain spectrum to obtain a third signal transform domain spectrum;
  • the merge module is used to transform the third signal The domain spectrum is merged with the second signal transform domain spectrum to obtain the first transform domain spectrum;
  • the reconstruction processing module is used to reconstruct the first transform domain spectrum to obtain the second digital signal.
  • the present application provides a multi-microphone-based wind noise processing device, including: a processing unit and K first filters, wherein the processing unit is connected to the K first filters respectively; the processing unit is used to: Obtain a first digital signal from K microphones, K is an integer greater than 1; for each first digital signal, separate the first digital signal to obtain a first signal transform domain spectrum and a second signal transform domain spectrum ; Wind noise repair processing is performed on the first signal transform domain spectrum to obtain the third signal transform domain spectrum; the third signal transform domain spectrum and the second signal transform domain spectrum are combined to obtain the first transform domain spectrum; the first filter is used Perform reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the present application provides a multi-microphone-based wind noise processing system, including: the wind noise processing device of the second aspect and K microphones; wherein, the K microphones are connected to the wind noise processing device.
  • the present application provides a multi-microphone-based wind noise processing system, including: the wind noise processing device of the third aspect and K microphones; wherein, the K microphones are connected to the wind noise processing device.
  • the present application provides a computer storage medium, including: computer instructions, which are used to implement the above-described multi-microphone-based wind noise processing method.
  • the present application provides a computer program product, including: computer instructions, which are used to implement the multi-microphone-based wind noise processing method described above.
  • the present application provides a method, device, system and storage medium for wind noise processing based on multiple microphones. Including: acquiring a first digital signal from K microphones respectively, K is an integer greater than 1; for each first digital signal, separating the first digital signal to obtain a first signal transform domain spectrum and a second signal Transform domain spectrum; perform wind noise repair processing on the first signal transform domain spectrum to obtain the third signal transform domain spectrum; merge the third signal transform domain spectrum with the second signal transform domain spectrum to obtain the first transform domain spectrum; A transform domain spectrum is reconstructed to obtain a second digital signal.
  • the technical solution of this application can reduce wind noise interference on the one hand, and prevent signal distortion on the other hand.
  • Figure 1 is an application scenario diagram of the technical solution of the present application
  • FIG. 2 is a flowchart of a multi-microphone-based wind noise processing method provided by an embodiment of the present application
  • FIG. 3 is a flowchart of a multi-microphone-based wind noise processing method according to another embodiment of the present application.
  • FIG. 4 is a flowchart of a multi-microphone-based wind noise processing method provided by yet another embodiment of the present application.
  • FIG. 5 is a flowchart of a multi-microphone-based wind noise processing method according to another embodiment of this application.
  • FIG. 6 is a flowchart of a multi-microphone-based wind noise processing method provided by yet another embodiment of the present application.
  • FIG. 7 is a signal waveform diagram of a dual microphone provided by an embodiment of the present application when it is interfered by wind noise;
  • FIG. 8 is a signal waveform diagram of a dual microphone provided by an embodiment of the present application after wind noise processing
  • FIG. 9 is a schematic diagram of a multi-microphone-based wind noise processing device 90 provided by an embodiment of the present application.
  • FIG. 10 is a schematic diagram of a multi-microphone-based wind noise processing device 100 provided by an embodiment of the present application;
  • FIG. 11 is a schematic diagram of a multi-microphone-based wind noise processing device 110 provided by an embodiment of the present application.
  • FIG. 12 is a schematic diagram of a multi-microphone-based wind noise processing device 120 provided by an embodiment of the present application.
  • FIG. 13 is a schematic diagram of a multi-microphone-based wind noise processing device 130 provided by an embodiment of the present application.
  • FIG. 14 is a schematic diagram of a multi-microphone-based wind noise processing system 140 provided by an embodiment of the present application.
  • FIG. 15 is a schematic diagram of a multi-microphone-based wind noise processing system 150 provided by an embodiment of the present application.
  • the current method to overcome the interference of wind noise in recording is to use physical protection methods to avoid the formation of air turbulence in the pickup portion of the microphone, such as using a windproof sponge ball or a windproof hair ball to wrap the microphone.
  • Wind noise interferes, but at the same time it causes great attenuation of high-frequency signals and distortion of the signal.
  • the present application provides a method, device, system and storage medium for wind noise processing based on multiple microphones.
  • FIG. 1 is an application scenario diagram of the technical solution of the present application.
  • the wind noise processing device 11 may obtain a first digital signal from K microphones 12, K is an integer greater than 1, and the K first The digital signal is processed by wind noise.
  • the technical solution of the present application will be described in detail below in conjunction with the application scenario diagram shown in FIG. 1.
  • FIG. 2 is a flowchart of a multi-microphone-based wind noise processing method according to an embodiment of the present application.
  • the method is executed by a wind noise processing device, and the wind noise processing device may be a computer, tablet computer, mobile phone, or other smart device. Part or all of the equipment.
  • the method includes the following steps:
  • Step S21 The wind noise processing device respectively obtains a first digital signal from K microphones, where K is an integer greater than 1.
  • Step S22 The wind noise processing device separates the first digital signal for each first digital signal to obtain a first signal transform domain spectrum and a second signal transform domain spectrum.
  • Step S23 The wind noise processing device performs wind noise repair processing on the first signal transform domain spectrum to obtain a third signal transform domain spectrum.
  • Step S24 The wind noise processing device combines the third signal transform domain spectrum and the second signal transform domain spectrum to obtain the first transform domain spectrum.
  • Step S25 The wind noise processing device performs reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the wind noise processing device may collect signals from K microphones to obtain K first digital signals, which are respectively denoted as x 1 (t), x 2 (t) ... x K (t), t represents time.
  • the K first digital signals may be the same or different, which is not limited in the embodiments of the present application.
  • the sampling frequencies of the K first digital signals are the same, and the sampling frequency is denoted as fs.
  • FIG. 3 is a flowchart of a multi-microphone-based wind noise processing method according to another embodiment of the present application. As shown in FIG. 3, before step S22, the method further includes:
  • Step S31 The wind noise processing device transforms the first digital signal to obtain a second transform domain spectrum.
  • step S22 includes:
  • Step S32 The wind noise processing device performs spectrum separation processing on the second transform domain spectrum to obtain the first signal transform domain spectrum and the second signal transform domain spectrum.
  • the transform performed by the wind noise processing device on the first digital signal may be discrete Fourier transform (Discrete Fourier Transform (DFT), discrete cosine transform (DCT for Discrete Cosine Transform, DCT), short-time Fourier transform, etc., this application does not limit.
  • DFT Discrete Fourier Transform
  • DCT discrete cosine transform
  • short-time Fourier transform etc.
  • the first digital signal is transformed by the following transform method to obtain the second transform domain spectrum.
  • the wind noise processing device generates a vector with a frame length of N according to the inter-frame interval L, where L is a positive number and N Integer greater than 1.
  • a windowed discrete Fourier transform is applied to the vector to obtain a second transform domain spectrum corresponding to the first digital signal, where the second transform domain spectrum corresponding to the first digital signal includes N / 2 + 1 elements.
  • N int [0.032fs]
  • int [] is an integer operation.
  • N L z + 2L t + L O
  • L L t + L O
  • L z and L O are non-negative integers and L t is a non-zero integer.
  • the wind noise processing device performs spectral separation processing on the second transform domain spectrum to obtain the first signal transform domain spectrum and the second signal transform domain spectrum.
  • the wind noise processing device may form the first k L +1 elements of the N / 2 + 1 elements included in the second transform domain spectrum to form the first signal transform domain spectrum corresponding to the second transform domain spectrum, and
  • k L is determined by N and the frequency fs of the first digital signal.
  • min () is the minimum operation.
  • the first signal transform domain spectrum is a low-frequency signal transform domain spectrum
  • the second signal transform domain spectrum is a high-frequency signal transform domain spectrum.
  • FIG. 4 is a flowchart of a multi-microphone-based wind noise processing method according to yet another embodiment of the present application. As shown in FIG. 4, step S23 includes the following steps:
  • Step S41 The wind noise processing device performs normalization processing on the real part and the imaginary part of the spectrum of the first signal transform domain to obtain the normalized real part and the normalized imaginary part of the spectrum of the first signal transform domain.
  • Step S42 The wind noise processing device determines the minimum value of the modulus of the K first signal transform domain spectra in all domain spectra.
  • Step S43 The wind noise processing device obtains the third signal transformation domain spectrum according to the minimum value of the modulus of the normalized real part, the normalized imaginary part, and the K first signal transformation domain spectra under each domain spectrum.
  • the normalized real part X Rc [k] n and the normalized imaginary part X Ic [k] n corresponding to the first signal transform domain spectrum are obtained, which satisfy the following conditions:
  • real () is the real part operation of taking complex numbers
  • imag () is the imaginary part operation of taking complex numbers
  • abs () is the absolute value operation.
  • the wind noise processing device respectively obtains the minimum absolute value of the real part and the minimum absolute value of the imaginary part of each spectrum number k of the K first signal transform domain spectra:
  • R L [k] n min ⁇ abs [real (X L1 [k] n ), ..., abs [real (X LK [k] n ) ⁇
  • I [k] n min ⁇ abs [imag (X L1 [k] n ), ..., abs [imag (X LK [k] n ) ⁇
  • min () is the operation of taking the minimum value.
  • FIG. 5 is a flowchart of a multi-microphone-based wind noise processing method according to another embodiment of the present application. As shown in FIG. 5, step S24 includes the following steps:
  • Step S51 The wind noise processing device composes the third signal transform domain spectrum into the first k L +1 elements in the first transform domain spectrum, and the second signal transform domain spectrum into the last k H items in the first transform domain spectrum element.
  • the first transform domain spectrum X ′ c [k] n is specifically as follows:
  • the wind noise processing device may compose the elements of the third signal transform domain spectrum into odd-numbered elements in the first transform domain spectrum, and the elements of the second signal transform domain spectrum into the first transform domain spectrum Of even-numbered elements.
  • the method for combining the third signal transform domain spectrum and the second signal transform domain spectrum by the wind noise processing device corresponds to the spectral separation processing method for the second transform domain spectrum.
  • the wind noise processing device The spectral separation processing method performed by the second transform domain spectrum adopts the first optional method described above, and the spectral combining processing method performed on the third signal transform domain spectrum and the second signal transform domain also adopts the first type of spectral merge processing Alternative way.
  • the wind noise processing device adopts the second optional method for the spectral separation processing of the second transform domain spectrum
  • the spectral merge processing method for the third signal transform domain spectrum and the second signal transform domain also uses spectral merge The second optional method in processing.
  • Step S25 includes: the wind noise processing device performs time domain signal reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • FIG. 6 is a flowchart of a multi-microphone-based wind noise processing method according to yet another embodiment of the present application.
  • the wind noise processing apparatus performs time-domain signal reconstruction on the first transform domain spectrum Processing to obtain the second digital signal includes the following steps:
  • Step S61 The wind noise processing device performs repair processing on the first transform domain spectrum to obtain a third transform domain spectrum corresponding to the first transform domain spectrum.
  • Step S62 The wind noise processing device performs windowed inverse discrete Fourier transform on the third transform domain spectrum to obtain the target signal in the time domain corresponding to the first transform domain spectrum.
  • Step S63 The wind noise processing device performs accumulation processing on the target signals in each time domain to obtain a second digital signal.
  • the wind noise processing device composes the first N / 2 elements in the first transform domain spectrum into the first N / 2 elements in the third transform domain spectrum, and combines the last N / 2 elements in the first transform domain spectrum
  • the conjugate constitutes the last N / 2 elements of the third transform domain spectrum.
  • * represents the conjugate operation.
  • the wind noise processing device performs windowed inverse discrete Fourier transform on the third transform domain spectrum to obtain the target signal in the time domain corresponding to the first transform domain spectrum.
  • the specific process is as follows:
  • the wind noise processing device performs an overlapping accumulation operation on d c [l] n to obtain a restored L point time-domain audio signal
  • An embodiment of the present application provides a wind noise processing method based on multiple microphones, which includes: a wind noise processing device respectively obtains a first digital signal from K microphones, and separates the first digital signal for each first digital signal A first signal transform domain spectrum and a second signal transform domain spectrum are obtained. Wind noise repair processing is performed on the first signal transform domain spectrum to obtain a third signal transform domain spectrum. The third signal transform domain spectrum and the second signal transform domain spectrum are combined to obtain the first transform domain spectrum. Perform reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the wind noise processing method provided by the present application can not only reduce wind noise interference, but also not cause signal distortion problems.
  • FIG. 7 is a signal waveform diagram of a dual microphone provided by an embodiment of the present application under the condition of wind noise interference.
  • two digital audio signals obtained by the dual microphone audio acquisition system that is, the first digital signal
  • Severe wind noise interference part of the time period, excessive interference caused digital overload of the signal.
  • FIG. 8 is a signal waveform diagram of a dual microphone provided by an embodiment of the present application after wind noise processing. As shown in FIG. 8, after wind noise processing, the repaired signal (that is, the above-mentioned second digital signal ) The amplitude becomes very gentle without overload distortion.
  • FIG. 9 is a schematic diagram of a multi-microphone-based wind noise processing device 90 provided by an embodiment of the present application.
  • the wind noise processing device may be part or all of a smart device such as a computer, tablet computer, or mobile phone. As shown in FIG. 9, the wind noise processing device includes:
  • the obtaining module 91 is configured to obtain a first digital signal from K microphones, respectively, K is an integer greater than 1.
  • the separation processing module 92 is configured to separate the first digital signal for each first digital signal to obtain a first signal transformation domain spectrum and a second signal transformation domain spectrum.
  • the wind noise repair processing module 93 is configured to perform wind noise repair processing on the first signal transform domain spectrum to obtain a third signal transform domain spectrum.
  • the combining module 94 is configured to combine the third signal transform domain spectrum and the second signal transform domain spectrum to obtain the first transform domain spectrum.
  • the reconstruction processing module 95 is configured to perform reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • FIG. 10 is a schematic diagram of a multi-microphone-based wind noise processing apparatus 100 according to an embodiment of the present application.
  • the separation processing module 92 includes:
  • the transform unit 921 is configured to transform the first digital signal to obtain a second transform domain spectrum.
  • the spectrum separation unit 922 is configured to perform spectrum separation processing on the second transform domain spectrum to obtain the first signal transform domain spectrum and the second signal transform domain spectrum.
  • the transforming unit 921 is specifically configured to: generate a vector with a frame length of N according to the inter-frame interval L, L is a positive number, and N is an integer greater than 1.
  • a windowed discrete Fourier transform is applied to the vector to obtain a second transform domain spectrum corresponding to the first digital signal, where the second transform domain spectrum corresponding to the first digital signal includes N / 2 + 1 elements.
  • k L is determined by N and the frequency fs of the first digital signal.
  • the first signal transform domain spectrum is a low-frequency signal transform domain spectrum
  • the second signal transform domain spectrum is a high-frequency signal transform domain spectrum
  • FIG. 11 is a schematic diagram of a multi-microphone-based wind noise processing device 110 according to an embodiment of the present application.
  • the wind noise repair processing module 93 includes:
  • the normalization processing unit 931 is configured to perform normalization processing on the real part and the imaginary part of the first signal transform domain spectrum to obtain the normalized real part and the normalized imaginary part of the first signal transform domain spectrum.
  • the determining unit 932 is configured to determine the minimum value of the modulus of the K first signal transform domain spectra in all domain spectra.
  • the processing unit 933 is configured to obtain a third signal transform domain spectrum according to a minimum value of a normalized real part, a normalized imaginary part, and a modulus of K first signal transform domain spectra under each domain spectrum.
  • the determining unit 932 is specifically configured to determine the minimum value of the sum of the real and imaginary parts of the K first signal transform frequency domains in all domain spectra.
  • the merging module 94 is specifically configured to: compose the third signal transform domain spectrum into the first k L +1 elements in the first transform domain spectrum, and compose the second signal transform domain spectrum into the first transform domain spectrum. The last k H elements.
  • the reconstruction processing module 95 is specifically configured to: perform time-domain signal reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • FIG. 12 is a schematic diagram of a multi-microphone-based wind noise processing device 120 according to an embodiment of the present application.
  • the reconstruction processing module 95 includes:
  • the repair processing unit 951 is configured to perform repair processing on the first transform domain spectrum to obtain a third transform domain spectrum corresponding to the first transform domain spectrum.
  • the inverse discrete Fourier transform unit 952 is used to perform windowed inverse discrete Fourier transform on the third transform domain spectrum to obtain the target signal in the time domain corresponding to the first transform domain spectrum.
  • the accumulation processing unit 953 is configured to perform accumulation processing on the target signals in each time domain to obtain a second digital signal.
  • the repair processing unit 951 is specifically configured to: compose the first N / 2 elements in the first transform domain spectrum into the first N / 2 elements in the third transform domain spectrum, and combine the last N / 2 elements in the first transform domain spectrum
  • the conjugate of N / 2 elements constitutes the last N / 2 elements of the third transform domain spectrum.
  • the wind noise processing device provided by the present application may be used to execute the above-mentioned wind noise processing method, and its content and effect may refer to the method section, which will not be described in this application.
  • FIG. 13 is a schematic diagram of a multi-microphone-based wind noise processing device 130 according to an embodiment of the present application.
  • the wind noise processing device 130 includes: a processing unit 131 and K first filters 132, The processing unit 131 is connected to the K first filters 132 respectively.
  • the processing unit 131 is configured to respectively obtain a first digital signal from K microphones, where K is an integer greater than 1. For each first digital signal, the first digital signal is separated and processed to obtain a first signal transform domain spectrum and a second signal transform domain spectrum. Wind noise repair processing is performed on the first signal transform domain spectrum to obtain a third signal transform domain spectrum. The third signal transform domain spectrum and the second signal transform domain spectrum are combined to obtain the first transform domain spectrum.
  • the first filter 132 is used to reconstruct the first transform domain spectrum to obtain a second digital signal.
  • the wind noise processing device 130 further includes: K second filters 133, wherein the processing unit 131 is connected to the K second filters 133, respectively.
  • the second filter 133 is used for transforming the first digital signal to obtain a second transform domain spectrum before separating the first digital signal to obtain a first signal transform domain spectrum and a second signal transform domain spectrum.
  • the processing unit 131 is specifically configured to perform spectrum separation processing on the second transform domain spectrum to obtain the first signal transform domain spectrum and the second signal transform domain spectrum.
  • the second filter 133 is specifically configured to generate a vector with a frame length of N according to the inter-frame interval L, L is a positive number, and N is an integer greater than 1.
  • a windowed discrete Fourier transform is applied to the vector to obtain a second transform domain spectrum corresponding to the first digital signal, where the second transform domain spectrum corresponding to the first digital signal includes N / 2 + 1 elements.
  • k L is determined by N and the frequency fs of the first digital signal.
  • the first signal transform domain spectrum is a low-frequency signal transform domain spectrum
  • the second signal transform domain spectrum is a high-frequency signal transform domain spectrum
  • the processing unit 131 is specifically configured to: perform normalization processing on the real part and the imaginary part of the first signal transform domain spectrum to obtain the normalized real part and the normalized imaginary part of the first signal transform domain spectrum. Determine the minimum value of the modulus of the K first signal transform domain spectra in all domain spectra. According to the normalized real part, normalized imaginary part, and K minimum values of the modulus of the first signal transform domain spectrum under each domain spectrum, a third signal transform domain spectrum is obtained.
  • the processing unit 131 is specifically configured to: determine the minimum value of the sum of the real and imaginary parts of the K first signal transform frequency domains in all domain spectra.
  • the processing unit 131 is specifically configured to: compose the third signal transform domain spectrum into the first k L +1 elements in the first transform domain spectrum, and compose the second signal transform domain spectrum into the first transform domain spectrum.
  • the first filter 132 is specifically configured to: perform time-domain signal reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the first filter 132 is specifically configured to: perform repair processing on the first transform domain spectrum to obtain a third transform domain spectrum corresponding to the first transform domain spectrum. Windowing the inverse discrete Fourier transform on the third transform domain spectrum to obtain the target signal in the time domain corresponding to the first transform domain spectrum. The target signal in each time domain is cumulatively processed to obtain a second digital signal.
  • the first filter 132 is specifically configured to: combine the first N / 2 elements in the first transform domain spectrum into the first N / 2 elements in the third transform domain spectrum, and combine the first N / 2 elements in the first transform domain spectrum
  • the conjugation of the last N / 2 elements constitutes the last N / 2 elements of the third transform domain spectrum.
  • the wind noise processing device provided by the present application may be used to execute the above-mentioned wind noise processing method, and its content and effect may refer to the method section, which will not be described in this application.
  • FIG. 14 is a schematic diagram of a multi-microphone-based wind noise processing system 140 according to an embodiment of the present application.
  • the system 140 includes a wind noise processing device 141 and K microphones 142. Among them, K microphones 142 are connected to the wind noise processing device 141.
  • the wind noise processing device includes:
  • the obtaining module is used to obtain a first digital signal from K microphones respectively, K is an integer greater than 1.
  • the separation processing module is configured to separate the first digital signal for each first digital signal to obtain a first signal transformation domain spectrum and a second signal transformation domain spectrum.
  • the wind noise repair processing module is configured to perform wind noise repair processing on the first signal transform domain spectrum to obtain a third signal transform domain spectrum.
  • the merging module is used for merging the third signal transform domain spectrum and the second signal transform domain spectrum to obtain the first transform domain spectrum.
  • the reconstruction processing module is configured to perform reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the separation processing module includes:
  • the transforming unit is used to transform the first digital signal to obtain the second transform domain spectrum.
  • the spectrum separation unit is used for performing spectrum separation processing on the second transform domain spectrum to obtain the first signal transform domain spectrum and the second signal transform domain spectrum.
  • the transformation unit is specifically configured to: generate a vector with a frame length of N according to the inter-frame interval L, L is a positive number, and N is an integer greater than 1.
  • a windowed discrete Fourier transform is applied to the vector to obtain a second transform domain spectrum corresponding to the first digital signal, where the second transform domain spectrum corresponding to the first digital signal includes N / 2 + 1 elements.
  • k L is determined by N and the frequency fs of the first digital signal.
  • the first signal transform domain spectrum is a low-frequency signal transform domain spectrum
  • the second signal transform domain spectrum is a high-frequency signal transform domain spectrum
  • the wind noise repair processing module includes:
  • the normalization processing unit is used for normalizing the real part and the imaginary part of the spectrum of the first signal transform domain to obtain the normalized real part and the normalized imaginary part of the spectrum of the first signal transform domain.
  • the determining unit is used to determine the minimum value of the modulus of the K first signal transform domain spectra in all domain spectra.
  • the processing unit is configured to obtain a third signal transform domain spectrum according to a minimum value of the normalized real part, normalized imaginary part, and the modulus minimum of the K first signal transform domain spectra under each domain spectrum.
  • the determining unit is specifically configured to determine the minimum value of the sum of the real and imaginary parts of the K first signal transform frequency domains in all domain spectra.
  • the merging module is specifically configured to: compose the third signal transform domain spectrum into the first k L +1 elements in the first transform domain spectrum, and compose the second signal transform domain spectrum into the rear in the first transform domain spectrum k H elements.
  • the reconstruction processing module is specifically configured to: perform time domain signal reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the reconstruction processing module includes:
  • the repair processing unit is configured to perform repair processing on the first transform domain spectrum to obtain a third transform domain spectrum corresponding to the first transform domain spectrum.
  • the inverse discrete Fourier transform unit is used to perform windowed inverse discrete Fourier transform on the third transform domain spectrum to obtain the target signal in the time domain corresponding to the first transform domain spectrum.
  • the accumulation processing unit is configured to accumulate the target signals in each time domain to obtain a second digital signal.
  • the repair processing unit is specifically configured to: compose the first N / 2 elements in the first transform domain spectrum into the first N / 2 elements in the third transform domain spectrum, and combine the last N / 2 elements in the first transform domain spectrum
  • the conjugate of / 2 elements constitutes the last N / 2 elements of the spectrum of the third transform domain.
  • the wind noise processing system provided by the present application includes a wind noise processing device, which can be used to execute the above-mentioned wind noise processing method.
  • a wind noise processing device which can be used to execute the above-mentioned wind noise processing method.
  • FIG. 15 is a schematic diagram of a multi-microphone-based wind noise processing system 150 according to an embodiment of the present application.
  • the system 150 includes: a wind noise processing device 151 and K microphones 152. Among them, K microphones 152 are connected to the wind noise processing device 151.
  • the wind noise processing device includes:
  • the processing unit is used to obtain a first digital signal from K microphones, respectively, K is an integer greater than 1.
  • K is an integer greater than 1.
  • the first digital signal is separated and processed to obtain a first signal transform domain spectrum and a second signal transform domain spectrum.
  • Wind noise repair processing is performed on the first signal transform domain spectrum to obtain a third signal transform domain spectrum.
  • the third signal transform domain spectrum and the second signal transform domain spectrum are combined to obtain the first transform domain spectrum.
  • the first filter is used to reconstruct the first transform domain spectrum to obtain a second digital signal.
  • the wind noise processing device further includes: K second filters, wherein the processing unit is respectively connected to the K second filters.
  • the second filter is used to: transform the first digital signal to obtain a second transform domain spectrum before separating the first digital signal to obtain a first signal transform domain spectrum and a second signal transform domain spectrum.
  • the processing unit is specifically used for performing spectral separation processing on the second transform domain spectrum to obtain the first signal transform domain spectrum and the second signal transform domain spectrum.
  • the second filter is specifically used to generate a vector with a frame length of N according to the inter-frame interval L, L is a positive number, and N is an integer greater than 1.
  • a windowed discrete Fourier transform is applied to the vector to obtain a second transform domain spectrum corresponding to the first digital signal, where the second transform domain spectrum corresponding to the first digital signal includes N / 2 + 1 elements.
  • k L is determined by N and the frequency fs of the first digital signal.
  • the first signal transform domain spectrum is a low-frequency signal transform domain spectrum
  • the second signal transform domain spectrum is a high-frequency signal transform domain spectrum
  • the processing unit is specifically configured to: normalize the real part and the imaginary part of the first signal transform domain spectrum to obtain the normalized real part and the normalized imaginary part of the first signal transform domain spectrum. Determine the minimum value of the modulus of the K first signal transform domain spectra in all domain spectra. According to the normalized real part, normalized imaginary part, and K minimum values of the modulus of the first signal transform domain spectrum under each domain spectrum, a third signal transform domain spectrum is obtained.
  • the processing unit is specifically configured to: determine the minimum value of the sum of the real and imaginary parts of the K first signal transform frequency domains in all domain spectra.
  • the processing unit is specifically configured to: compose the third signal transform domain spectrum into the first k L +1 elements in the first transform domain spectrum, and compose the second signal transform domain spectrum into the last in the first transform domain spectrum k H elements.
  • the first filter is specifically used to: perform time domain signal reconstruction processing on the first transform domain spectrum to obtain a second digital signal.
  • the first filter is specifically used for repairing the first transform domain spectrum to obtain a third transform domain spectrum corresponding to the first transform domain spectrum. Windowing the inverse discrete Fourier transform on the third transform domain spectrum to obtain the target signal in the time domain corresponding to the first transform domain spectrum. The target signal in each time domain is cumulatively processed to obtain a second digital signal.
  • the first filter is specifically used to: compose the first N / 2 elements in the first transform domain spectrum into the first N / 2 elements in the third transform domain spectrum, and combine the last N / 2 elements in the first transform domain spectrum
  • the conjugate of N / 2 elements constitutes the last N / 2 elements of the third transform domain spectrum.
  • the wind noise processing system provided by the present application includes a wind noise processing device, which can be used to execute the above-mentioned wind noise processing method.
  • a wind noise processing device which can be used to execute the above-mentioned wind noise processing method.
  • the processor involved in this application may be a motor controller MCU (Motor control unit, MCU for short), a central processing unit (Central Processing Unit, CPU for short), or other general-purpose processors, digital signal processing Device (Digital Signal Processor, abbreviation: DSP), application specific integrated circuit (Application Specific Integrated Circuit, abbreviation: ASIC), etc.
  • the general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the steps of the method disclosed in conjunction with the embodiments of the present application may be directly embodied and executed by a hardware processor, or may be executed and completed by a combination of hardware and software modules in the processor.
  • This application also provides a computer storage medium, including: computer instructions, which are used to implement the multi-microphone-based wind noise processing method as described above.
  • computer instructions which are used to implement the multi-microphone-based wind noise processing method as described above.
  • This application also provides a computer program product, including: computer instructions, which are used to implement the wind noise processing method based on the multi-microphone as described above.
  • computer instructions which are used to implement the wind noise processing method based on the multi-microphone as described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请提供一种基于多麦克风的风噪处理方法、装置、系统及存储介质。包括：分别从K个麦克风获取一个第一数字信号，K为大于1的整数；针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱；对第一变换域谱进行重建处理，得到第二数字信号，从而一方面可以降低风噪干扰，另一方面可以防止信号失真。

Description

基于多麦克风的风噪处理方法、装置、系统及存储介质 技术领域
本申请实施例涉及降噪技术领域，尤其涉及一种基于多麦克风的风噪处理方法、装置、系统及存储介质。
背景技术
风噪声由麦克风拾音部位附近的空气湍流造成，空气湍流会转换成湍流压力波动，该湍流压力波动同声波一道被麦克风拾取。由于该波动往往远远大于声波，它将导致麦克风的录音信号大幅度失真。风噪声在户外使用麦克风进行音频采集时非常常见，它对录音的质量影响非常大，会极大破坏录音的保真度。
目前克服录音中风噪声干扰的方法是：采用物理保护的方法避免麦克风拾音部位形成空气湍流，比如采用防风海绵球或防风毛球对麦克风进行包裹，然而这种方式虽然能够有效降低风噪干扰，但同时造成高频信号的极大衰减，并且造成信号的失真。
发明内容
本申请实施例提供一种基于多麦克风的风噪处理方法、装置、系统及存储介质。通过本申请技术方案一方面可以降低风噪干扰，另一方面可以防止信号失真。
第一方面，本申请提供一种基于多麦克风的风噪处理方法，包括：分别从K个麦克风获取一个第一数字信号，K为大于1的整数；针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱；对第一变换域谱进行重建处理，得到第二数字信号。
第二方面，本申请提供一种基于多麦克风的风噪处理装置，包括：获取模块、分离处理模块、风噪修复处理模块、合并模块和重建处理模块。其中， 获取模块用于分别从K个麦克风获取一个第一数字信号，K为大于1的整数；分离处理模块用于针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；风噪修复处理模块用于对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；合并模块用于对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱；重建处理模块用于对第一变换域谱进行重建处理，得到第二数字信号。
第三方面，本申请提供一种基于多麦克风的风噪处理装置，包括：处理单元、K个第一滤波器，其中，处理单元分别与K个第一滤波器连接；处理单元用于：分别从K个麦克风获取一个第一数字信号，K为大于1的整数；针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱；第一滤波器用于对第一变换域谱进行重建处理，得到第二数字信号。
第四方面，本申请提供一种基于多麦克风的风噪处理系统，包括：如第二方面的风噪处理装置以及K个麦克风；其中，K个麦克风与风噪处理装置连接。
第五方面，本申请提供一种基于多麦克风的风噪处理系统，包括：如第三方面的风噪处理装置以及K个麦克风；其中，K个麦克风与风噪处理装置连接。
第六方面，本申请提供一种计算机存储介质，包括：计算机指令，计算机指令用于实现上述的基于多麦克风的风噪处理方法。
第七方面，本申请提供一种计算机程序产品，包括：计算机指令，计算机指令用于实现上述的基于多麦克风的风噪处理方法。
本申请提供一种基于多麦克风的风噪处理方法、装置、系统及存储介质。包括：分别从K个麦克风获取一个第一数字信号，K为大于1的整数；针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱；对第一变换域谱进行重建处理，得到第二数字信号。通过本申 请技术方案一方面可以降低风噪干扰，另一方面可以防止信号失真。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请技术方案的应用场景图；
图2为本申请一实施例提供的一种基于多麦克风的风噪处理方法的流程图；
图3为本申请另一实施例提供的一种基于多麦克风的风噪处理方法的流程图；
图4为本申请再一实施例提供的一种基于多麦克风的风噪处理方法的流程图；
图5为本申请又一实施例提供的一种基于多麦克风的风噪处理方法的流程图；
图6为本申请再一实施例提供的一种基于多麦克风的风噪处理方法的流程图；
图7为本申请一实施例提供的双麦克风在受到风噪干扰的情况下的信号波形图；
图8为本申请一实施例提供的双麦克风在经过风噪处理之后的情况下的信号波形图；
图9为本申请一实施例提供的一种基于多麦克风的风噪处理装置90的示意图；
图10为本申请一实施例提供的一种基于多麦克风的风噪处理装置100的示意图；
图11为本申请一实施例提供的一种基于多麦克风的风噪处理装置110的示意图；
图12为本申请一实施例提供的一种基于多麦克风的风噪处理装置120的示意图；
图13为本申请一实施例提供的一种基于多麦克风的风噪处理装置130的示意图；
图14为本申请一实施例提供的一种基于多麦克风的风噪处理系统140的示意图；
图15为本申请一实施例提供的一种基于多麦克风的风噪处理系统150的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如上所述，目前克服录音中风噪声干扰的方法是：采用物理保护的方法避免麦克风拾音部位形成空气湍流，比如采用防风海绵球或防风毛球对麦克风进行包裹，然而这种方式虽然能够有效降低风噪干扰，但同时造成高频信号的极大衰减，并且造成信号的失真。为了解决该技术问题，本申请提供一种一种基于多麦克风的风噪处理方法、装置、系统及存储介质。
图1为本申请技术方案的应用场景图，如图1所示，风噪处理装置11可以分别从K个麦克风12获取一个第一数字信号，K为大于1的整数，并对K个第一数字信号进行风噪处理。下面结合图1所示的应用场景图，对本申请技术方案进行详细介绍。
图2为本申请一实施例提供的一种基于多麦克风的风噪处理方法的流程图，该方法的执行主体为风噪处理装置，该风噪处理装置可以是计算机、平板电脑、手机等智能设备的部分或者全部。如图2所示，该方法包括如下步骤：
步骤S21：风噪处理装置分别从K个麦克风获取一个第一数字信号，K为大于1的整数。
步骤S22：风噪处理装置针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱。
步骤S23：风噪处理装置对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱。
步骤S24：风噪处理装置对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱。
步骤S25：风噪处理装置对第一变换域谱进行重建处理，得到第二数字信号。
针对步骤S21进行说明：
可选地，风噪处理装置可以对K个麦克风进行信号采集，以获得K个第一数字信号，分别记为x 1(t)，x 2(t)……x K(t)，t表示时间。其中，K个第一数字信号可以相同，也可以不同，本申请实施例对此不做限制。K个第一数字信号的采样频率相同，将该采样频率记为fs。
针对步骤S22进行说明：
可选地，图3为本申请另一实施例提供的一种基于多麦克风的风噪处理方法的流程图，如图3所示，在步骤S22之前，所述方法还包括：
步骤S31：风噪处理装置对第一数字信号进行变换，得到第二变换域谱。
相应的，步骤S22包括：
步骤S32：风噪处理装置对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱。
其中，风噪处理装置对第一数字信号进行的变换可以是离散傅里叶变换(离散傅里叶变换(Discrete Fourier Transform，DFT)、离散余弦变换(DCT for Discrete Cosine Transform，DCT)、短时傅里叶变换等，本申请对此不做限制。
例如：通过如下变换方式对第一数字信号进行变换，得到第二变换域谱，风噪处理装置按照帧间间隔L将第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数。并对向量采用加窗离散傅里叶变换，得到第一数字信号对应的第二变换域谱，其中第一数字信号对应的第二变换域谱包括N/2+1个元素。具体地，风噪处理装置将任一个第一数字信号x c(t),c＝1,2,…,K，按帧间间隔L组成帧长为N的向量，并对其做加窗离散傅里叶变换得到具有N/2+1个元素的第二变换域谱X c[k] n：
Figure PCTCN2018115381-appb-000001
其中j是虚数单位，N的取值范围为int[0.005fs]＜＝N＜＝int[fs]，例如N＝int[0.032fs]，int[]为取整数操作。其中L的取值范围为int[0.005fs]＜＝L＜＝int[fs]，且L<N，典型值为L＝int[0.016fs]。其中h ana[l],l＝1,2,...,N是N点分析窗函数，h syn[l],l＝1,2,...,N是N点合成窗函数，它们满足下列条件：
N＝L z+2L t+L O，L＝L t+L O，其中L z和L O为非负整数，L t为非0整数。
h ana[l]＝h syn[l]＝0，l＝1,...,L z，若L z不为0。
h ana[l]＝h syn[l]＝1，l＝L z+L t+1，...,L z+L t+L O，若L z不为0。
h ana[L z+l]＝h ana[N+1-l]，l＝1,2,...,L t。
h syn[L z+l]＝h syn[N+1-l],l＝1,2,...,L t。
h ana[L z+l]h syn[L z+l]+h ana[L z+L t+L O+l]h syn[L z+L t+L O+l]＝1，
l＝1,2,...,L t。
进一步地，风噪处理装置对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱。
一种可选方式，风噪处理装置可以将第二变换域谱包括的N/2+1个元素中前k L+1个元素组成第二变换域谱对应的第一信号变换域谱，并将第二变换域谱包括的N/2+1个元素中后k H个元素组成第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。其中，k L是由N和第一数字信号的频率fs确定的。例如：
Figure PCTCN2018115381-appb-000002
典型值为
Figure PCTCN2018115381-appb-000003
其中min()是取最小值操作。这种情况下，该第一信号变换域谱为低频信号变换域谱，第二信号变换域谱为高频信号变换域谱。
具体地，对K个第二变换域谱进行谱分离操作得到K个高频变换域谱X H1[k] n,...,X HK[k] n,k＝1,2,...,k H和K个低频变换域谱X L1[k] n,...,X LK[k] n,k＝1,2,...,k L+1，获得低频变换域谱的操作为：
X Lc[k] n＝X c[k] n，k＝1,2,...,k L+1，c＝1,2,...,K。
获得高频变换域谱的操作为：
X Hc[k] n＝X c[k L+1+k] n，k＝1,2,...,k H，c＝1,2,...,K。
另一种可选方式：风噪处理装置可以将第二变换域谱包括的N/2+1个元素中奇数位的元素组成第二变换域谱对应的第一信号变换域谱，并将第二变换域谱包括的N/2+1个元素中偶数位的元素组成第二变换域谱对应的第二信 号变换域谱，其中k L+k H＝N/2。
需要说明的是：如何对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱，本申请不限于上述两种可选方式。
针对步骤S23进行说明：
可选地，图4为本申请再一实施例提供的一种基于多麦克风的风噪处理方法的流程图，如图4所示，步骤S23包括如下步骤：
步骤S41：风噪处理装置对第一信号变换域谱的实部和虚部作归一化处理，得到第一信号变换域谱的归一化实部和归一化虚部。
步骤S42：风噪处理装置确定K个第一信号变换域谱在所有域谱下的模的最小值。
步骤S43：风噪处理装置根据归一化实部、归一化虚部、K个第一信号变换域谱在每个域谱下的模的最小值，得到第三信号变换域谱。
具体地，获得第一信号变换域谱对应的归一化实部X Rc[k] n和归一化虚部X Ic[k] n，其满足如下条件：
Figure PCTCN2018115381-appb-000004
Figure PCTCN2018115381-appb-000005
k＝1,2,...,k L+1，c＝1,2,...,K
其中real()是取复数的实部操作，imag()是取复数的虚部操作，abs()是取绝对值操作。其次风噪处理装置分别求出K个第一信号变换域谱每个谱序号k的实部最小绝对值和虚部最小绝对值：
R L[k] n＝min{abs[real(X L1[k] n),...,abs[real(X LK[k] n)}
I[k] n＝min{abs[imag(X L1[k] n),...,abs[imag(X LK[k] n)}
k＝1,2,...,k L+1，其中min()是取最小值操作。
最后风噪处理装置获得K个第三信号变换域谱：
Figure PCTCN2018115381-appb-000006
k＝1,2,...,k L+1，c＝1,2,...,K。
针对步骤S24进行说明：
一种可选方式，图5为本申请又一实施例提供的一种基于多麦克风的风噪处理方法的流程图，如图5所示，步骤S24包括如下步骤：
步骤S51：风噪处理装置将第三信号变换域谱组成第一变换域谱中的前k L+1个元素，并将第二信号变换域谱组成第一变换域谱中的后k H个元素。
具体地，第一变换域谱X' c[k] n具体如下：
X' c[k] n＝X' LC[k] n，k＝1,2,...,k L+1，c＝1,2,...,K
X' c[k L+1+k] n＝X Hc[k] n，k＝1,2,...,k H，c＝1,2,...,K。
另一种可选方式：风噪处理装置可以将第三信号变换域谱的元素组成第一变换域谱中的奇数位的元素，将第二信号变换域谱的元素组成第一变换域谱中的偶数位的元素。
需要说明的是，风噪处理装置对第三信号变换域谱与第二信号变换域谱合并处理方式与对第二变换域谱进行的谱分离处理方式相对应，例如：若风噪处理装置对第二变换域谱进行的谱分离处理方式采用上述第一种可选方式，则对第三信号变换域谱与第二信号变换域进行的谱合并处理方式也采用谱合并处理中的第一种可选方式。若风噪处理装置对第二变换域谱进行的谱分离处理方式采用上述第二种可选方式，则对第三信号变换域谱与第二信号变换域进行的谱合并处理方式也采用谱合并处理中的第二种可选方式。
针对步骤S25进行说明：
步骤S25包括：风噪处理装置对第一变换域谱进行时域信号重建处理，得到第二数字信号。
可选地，图6为本申请再一实施例提供的一种基于多麦克风的风噪处理方法的流程图，如图6所示，风噪处理装置对第一变换域谱进行时域信号重建处理，得到第二数字信号包括如下步骤：
步骤S61：风噪处理装置对第一变换域谱进行修复处理，得到第一变换域谱对应的第三变换域谱。
步骤S62：风噪处理装置对第三变换域谱作加窗反离散傅里叶变换，得到第一变换域谱对应的时域上的目标信号。
步骤S63：风噪处理装置对各个时域下的目标信号进行累加处理，得到第二数字信号。
其中，风噪处理装置将第一变换域谱中的前N/2个元素组成第三变换域谱的前N/2个元素，并将第一变换域谱中的后N/2个元素的共轭组成第三变换域谱的后N/2个元素。
具体地，对K个第一变换域谱X′ 1[k] n,…,X′ K[k] n,
Figure PCTCN2018115381-appb-000007
作N 点重建，得到重建的N点修复变换域谱，即第三变换域谱：X″ 1[k] n，X″ 2[k] n……X″ K[k] n，k＝1,2,...,N，其过程为：
X″ c[k] n＝X' c[k] n，
Figure PCTCN2018115381-appb-000008
c＝1,2,...,K
Figure PCTCN2018115381-appb-000009
c＝1,2,...,K
其中，*表示共轭操作。
进一步地，风噪处理装置对第三变换域谱作加窗反离散傅里叶变换，得到第一变换域谱对应的时域上的目标信号。具体过程如下：
Figure PCTCN2018115381-appb-000010
l＝1,2,...,N
更进一步地，风噪处理装置对d c[l] n进行重叠累加操作，得到经过修复的L点时域音频信号
Figure PCTCN2018115381-appb-000011
其中z c[l] n为重叠累加输出缓冲，其初始值为零，且每次重叠累加后需要进行更新：z c[l] n＝d c[L z+L t+L O+l] n,l＝1,2,...,L t。
本申请实施例提供一种基于多麦克风的风噪处理方法，包括：风噪处理装置分别从K个麦克风获取一个第一数字信号，针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱。对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱。对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱。对第一变换域谱进行重建处理，得到第二数字信号。通过本申请提供的风噪处理方法不仅可以降低风噪干扰，同时还不会造成信号失真问题。
下面以基于双麦克风音频采集系统对上述风噪处理方法的效果进行说明：其中双麦克风音频采集系统的采样频率fs＝48000Hz，N＝2048，L＝1024，分析窗函数和合成窗函数分别为：
Figure PCTCN2018115381-appb-000012
l＝1,...,N
Figure PCTCN2018115381-appb-000013
l＝1,...,N
L z＝0，L O＝0，L t＝L，
Figure PCTCN2018115381-appb-000014
图7为本申请一实施例提供的双麦克风在受到风噪干扰的情况下的信号波形图，如图7所示，双麦克风音频采集系统获得的两路数字音频信号(即上述第一数字信号)受到严重的风噪干扰，部分时间段，干扰过大导致信号发生了数字过载。图8为本申请一实施例提供的双麦克风在经过风噪处理之后的情况下的信号波形图，如图8所示，经过风噪处理后，修复后的信号(即上述的第二数字信号)幅度变得非常平缓，没有过载失真现象。
图9为本申请一实施例提供的一种基于多麦克风的风噪处理装置90的示意图，该风噪处理装置可以是计算机、平板电脑、手机等智能设备的部分或者全部。如图9所示，该风噪处理装置包括：
获取模块91，用于分别从K个麦克风获取一个第一数字信号，K为大于1的整数。
分离处理模块92，用于针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱。
风噪修复处理模块93，用于对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱。
合并模块94，用于对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱。
重建处理模块95，用于对第一变换域谱进行重建处理，得到第二数字信号。
可选地，图10为本申请一实施例提供的一种基于多麦克风的风噪处理装置100的示意图，如图10所示，分离处理模块92包括：
变换单元921，用于对第一数字信号进行变换，得到第二变换域谱。
谱分离单元922，用于对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱。
可选地，变换单元921具体用于：按照帧间间隔L将第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数。对向量采用加窗离散傅里叶变换，得到第一数字信号对应的第二变换域谱，其中第一数字信号对应的第二变换域谱包括N/2+1个元素。
可选地，谱分离单元922具体用于：将第二变换域谱包括的N/2+1个元素中前k L+1个元素组成第二变换域谱对应的第一信号变换域谱，并将第二变换域谱包括的N/2+1个元素中后k H个元素组成第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。
可选地，k L是由N和第一数字信号的频率fs确定的。
可选地，第一信号变换域谱为低频信号变换域谱，第二信号变换域谱为高频信号变换域谱。
可选地，图11为本申请一实施例提供的一种基于多麦克风的风噪处理装置110的示意图，如图11所示，风噪修复处理模块93包括：
归一化处理单元931，用于对第一信号变换域谱的实部和虚部作归一化处理，得到第一信号变换域谱的归一化实部和归一化虚部。
确定单元932，用于确定K个第一信号变换域谱在所有域谱下的模的最小值。
处理单元933，用于根据归一化实部、归一化虚部、K个第一信号变换域谱在每个域谱下的模的最小值，得到第三信号变换域谱。
可选地，确定单元932具体用于：确定K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
可选地，合并模块94具体用于：将第三信号变换域谱组成第一变换域谱中的前k L+1个元素，并将第二信号变换域谱组成第一变换域谱中的后k H个元素。
可选地，重建处理模块95具体用于：对第一变换域谱进行时域信号重建处理，得到第二数字信号。
可选地，图12为本申请一实施例提供的一种基于多麦克风的风噪处理装置120的示意图，如图12所示，重建处理模块95包括：
修复处理单元951，用于对第一变换域谱进行修复处理，得到第一变换域谱对应的第三变换域谱。
反离散傅里叶变换单元952，用于对第三变换域谱作加窗反离散傅里叶变换，得到第一变换域谱对应的时域上的目标信号。
累加处理单元953，用于对各个时域下的目标信号进行累加处理，得到第二数字信号。
可选地，修复处理单元951具体用于：将第一变换域谱中的前N/2个元素组成第三变换域谱的前N/2个元素，并将第一变换域谱中的后N/2个元素的共轭组成第三变换域谱的后N/2个元素。
本申请提供的风噪处理装置可以用于执行上述的风噪处理方法，其内容和效果可参考方法部分，本申请对此不再说明。
图13为本申请一实施例提供的一种基于多麦克风的风噪处理装置130的示意图，如图13所示，该风噪处理装置130包括：处理单元131、K个第一滤波器132，其中，处理单元131分别与K个第一滤波器132连接。
处理单元131用于：分别从K个麦克风获取一个第一数字信号，K为大于1的整数。针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱。对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱。对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱。
第一滤波器132用于：对第一变换域谱进行重建处理，得到第二数字信号。
可选地，风噪处理装置130还包括：K个第二滤波器133，其中，处理单元131分别与K个第二滤波器133连接。第二滤波器133用于：在对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱之前，对第一数字信号进行变换，得到第二变换域谱。相应的，处理单元131具体用于：对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱。
可选地，第二滤波器133具体用于：按照帧间间隔L将第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数。对向量采用加窗离散傅里叶变换，得到第一数字信号对应的第二变换域谱，其中第一数字信号对应的第二变换域谱包括N/2+1个元素。
可选地，处理单元131具体用于：将第二变换域谱包括的N/2+1个元素中前k L+1个元素组成第二变换域谱对应的第一信号变换域谱，并将第二变换域谱包括的N/2+1个元素中后k H个元素组成第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。
可选地，k L是由N和第一数字信号的频率fs确定的。
可选地，第一信号变换域谱为低频信号变换域谱，第二信号变换域谱为高频信号变换域谱。
可选地，处理单元131具体用于：对第一信号变换域谱的实部和虚部作归一化处理，得到第一信号变换域谱的归一化实部和归一化虚部。确定K个第一信号变换域谱在所有域谱下的模的最小值。根据归一化实部、归一化虚部、K个第一信号变换域谱在每个域谱下的模的最小值，得到第三信号变换域谱。
可选地，处理单元131具体用于：确定K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
可选地，处理单元131具体用于：将第三信号变换域谱组成第一变换域谱中的前k L+1个元素，并将第二信号变换域谱组成第一变换域谱中的后k H个元素。
可选地，第一滤波器132具体用于：对第一变换域谱进行时域信号重建处理，得到第二数字信号。
可选地，第一滤波器132具体用于：对第一变换域谱进行修复处理，得到第一变换域谱对应的第三变换域谱。对第三变换域谱作加窗反离散傅里叶变换，得到第一变换域谱对应的时域上的目标信号。对各个时域下的目标信号进行累加处理，得到第二数字信号。
可选地，第一滤波器132具体用于：将第一变换域谱中的前N/2个元素组成第三变换域谱的前N/2个元素，并将第一变换域谱中的后N/2个元素的共轭组成第三变换域谱的后N/2个元素。
本申请提供的风噪处理装置可以用于执行上述的风噪处理方法，其内容和效果可参考方法部分，本申请对此不再说明。
图14为本申请一实施例提供的一种基于多麦克风的风噪处理系统140的示意图，如图14所示，该系统140包括：风噪处理装置141以及K个麦克风142。其中，K个麦克风142与风噪处理装置141连接。
其中，该风噪处理装置包括：
获取模块，用于分别从K个麦克风获取一个第一数字信号，K为大于1的整数。
分离处理模块，用于针对每个第一数字信号，对第一数字信号进行分离 处理得到一个第一信号变换域谱和一个第二信号变换域谱。
风噪修复处理模块，用于对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱。
合并模块，用于对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱。
重建处理模块，用于对第一变换域谱进行重建处理，得到第二数字信号。
可选地，分离处理模块包括：
变换单元，用于对第一数字信号进行变换，得到第二变换域谱。
谱分离单元，用于对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱。
可选地，变换单元具体用于：按照帧间间隔L将第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数。对向量采用加窗离散傅里叶变换，得到第一数字信号对应的第二变换域谱，其中第一数字信号对应的第二变换域谱包括N/2+1个元素。
可选地，谱分离单元具体用于：将第二变换域谱包括的N/2+1个元素中前k L+1个元素组成第二变换域谱对应的第一信号变换域谱，并将第二变换域谱包括的N/2+1个元素中后k H个元素组成第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。
可选地，k L是由N和第一数字信号的频率fs确定的。
可选地，第一信号变换域谱为低频信号变换域谱，第二信号变换域谱为高频信号变换域谱。
可选地，风噪修复处理模块包括：
归一化处理单元，用于对第一信号变换域谱的实部和虚部作归一化处理，得到第一信号变换域谱的归一化实部和归一化虚部。
确定单元，用于确定K个第一信号变换域谱在所有域谱下的模的最小值。
处理单元，用于根据归一化实部、归一化虚部、K个第一信号变换域谱在每个域谱下的模的最小值，得到第三信号变换域谱。
可选地，确定单元具体用于：确定K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
可选地，合并模块具体用于：将第三信号变换域谱组成第一变换域谱中 的前k L+1个元素，并将第二信号变换域谱组成第一变换域谱中的后k H个元素。
可选地，重建处理模块具体用于：对第一变换域谱进行时域信号重建处理，得到第二数字信号。
可选地，重建处理模块包括：
修复处理单元，用于对第一变换域谱进行修复处理，得到第一变换域谱对应的第三变换域谱。
反离散傅里叶变换单元，用于对第三变换域谱作加窗反离散傅里叶变换，得到第一变换域谱对应的时域上的目标信号。
累加处理单元，用于对各个时域下的目标信号进行累加处理，得到第二数字信号。
可选地，修复处理单元具体用于：将第一变换域谱中的前N/2个元素组成第三变换域谱的前N/2个元素，并将第一变换域谱中的后N/2个元素的共轭组成第三变换域谱的后N/2个元素。
本申请提供的风噪处理系统包括风噪处理装置，该装置可以用于执行上述的风噪处理方法，其内容和效果可参考方法部分，本申请对此不再说明。
图15为本申请一实施例提供的一种基于多麦克风的风噪处理系统150的示意图，如图15所示，该系统150包括：风噪处理装置151以及K个麦克风152。其中，K个麦克风152与风噪处理装置151连接。
其中，该风噪处理装置包括：
处理单元、K个第一滤波器，其中，处理单元分别与K个第一滤波器连接。
处理单元用于：分别从K个麦克风获取一个第一数字信号，K为大于1的整数。针对每个第一数字信号，对第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱。对第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱。对第三信号变换域谱与第二信号变换域谱合并，得到第一变换域谱。
第一滤波器用于：对第一变换域谱进行重建处理，得到第二数字信号。
可选地，风噪处理装置还包括：K个第二滤波器，其中，处理单元分别与K个第二滤波器连接。第二滤波器用于：在对第一数字信号进行分离处理 得到一个第一信号变换域谱和一个第二信号变换域谱之前，对第一数字信号进行变换，得到第二变换域谱。相应的，处理单元具体用于：对第二变换域谱进行谱分离处理，得到第一信号变换域谱和第二信号变换域谱。
可选地，第二滤波器具体用于：按照帧间间隔L将第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数。对向量采用加窗离散傅里叶变换，得到第一数字信号对应的第二变换域谱，其中第一数字信号对应的第二变换域谱包括N/2+1个元素。
可选地，处理单元具体用于：将第二变换域谱包括的N/2+1个元素中前k L+1个元素组成第二变换域谱对应的第一信号变换域谱，并将第二变换域谱包括的N/2+1个元素中后k H个元素组成第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。
可选地，k L是由N和第一数字信号的频率fs确定的。
可选地，第一信号变换域谱为低频信号变换域谱，第二信号变换域谱为高频信号变换域谱。
可选地，处理单元具体用于：对第一信号变换域谱的实部和虚部作归一化处理，得到第一信号变换域谱的归一化实部和归一化虚部。确定K个第一信号变换域谱在所有域谱下的模的最小值。根据归一化实部、归一化虚部、K个第一信号变换域谱在每个域谱下的模的最小值，得到第三信号变换域谱。
可选地，处理单元具体用于：确定K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
可选地，处理单元具体用于：将第三信号变换域谱组成第一变换域谱中的前k L+1个元素，并将第二信号变换域谱组成第一变换域谱中的后k H个元素。
可选地，第一滤波器具体用于：对第一变换域谱进行时域信号重建处理，得到第二数字信号。
可选地，第一滤波器具体用于：对第一变换域谱进行修复处理，得到第一变换域谱对应的第三变换域谱。对第三变换域谱作加窗反离散傅里叶变换，得到第一变换域谱对应的时域上的目标信号。对各个时域下的目标信号进行累加处理，得到第二数字信号。
可选地，第一滤波器具体用于：将第一变换域谱中的前N/2个元素组成 第三变换域谱的前N/2个元素，并将第一变换域谱中的后N/2个元素的共轭组成第三变换域谱的后N/2个元素。
本申请提供的风噪处理系统包括风噪处理装置，该装置可以用于执行上述的风噪处理方法，其内容和效果可参考方法部分，本申请对此不再说明。
需要说明的是，本申请涉及的处理器可以是电机控制器MCU(Motor control unit，简称MCU)、中央处理单元(Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本申请还提供一种计算机存储介质，包括：计算机指令，计算机指令用于实现如上述的基于多麦克风的风噪处理方法，其内容和效果可参考方法部分，本申请对此不再说明。
本申请还提供一种计算机程序产品，包括：计算机指令，计算机指令用于实现如上述的基于多麦克风的风噪处理方法，其内容和效果可参考方法部分，本申请对此不再说明。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (39)

  1. 一种基于多麦克风的风噪处理方法，其特征在于，包括：
    分别从K个麦克风获取一个第一数字信号，K为大于1的整数；
    针对每个第一数字信号，对所述第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；
    对所述第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；
    对所述第三信号变换域谱与所述第二信号变换域谱合并，得到第一变换域谱；
    对所述第一变换域谱进行重建处理，得到第二数字信号。
  2. 根据权利要求1所述的方法，其特征在于，所述针对每个第一数字信号，对所述第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱之前，还包括：
    对所述第一数字信号进行变换，得到第二变换域谱；
    相应的，所述对所述第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱，包括：
    对所述第二变换域谱进行谱分离处理，得到所述第一信号变换域谱和所述第二信号变换域谱。
  3. 根据权利要求2所述的方法，其特征在于，所述对所述第一数字信号进行变换，得到第二变换域谱，包括：
    按照帧间间隔L将所述第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数；
    对所述向量采用加窗离散傅里叶变换，得到所述第一数字信号对应的第二变换域谱，其中所述第一数字信号对应的第二变换域谱包括N/2+1个元素。
  4. 根据权利要求2所述的方法，其特征在于，所述对所述第二变换域谱进行谱分离处理，得到所述第一信号变换域谱和所述第二信号变换域谱，包括：
    将所述第二变换域谱包括的N/2+1个元素中前k L+1个元素组成所述第二变换域谱对应的第一信号变换域谱，并将所述第二变换域谱包括的N/2+1个元素中后k H个元素组成所述第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。
  5. 根据权利要求4所述的方法，其特征在于，
    所述k L是由所述N和所述第一数字信号的频率fs确定的。
  6. 根据权利要求2-4任一项所述的方法，其特征在于，所述第一信号变换域谱为低频信号变换域谱，所述第二信号变换域谱为高频信号变换域谱。
  7. 根据权利要求1-5任一项所述的方法，其特征在于，所述对所述第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱，包括：
    对所述第一信号变换域谱的实部和虚部作归一化处理，得到所述第一信号变换域谱的归一化实部和归一化虚部；
    确定K个第一信号变换域谱在所有域谱下的模的最小值；
    根据所述归一化实部、所述归一化虚部、所述K个第一信号变换域谱在每个域谱下的模的最小值，得到所述第三信号变换域谱。
  8. 根据权利要求7所述的方法，其特征在于，所述确定K个第一信号变换域谱在所有域谱下的模的最小值，包括：
    确定所述K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
  9. 根据权利要求1-5任一项所述的方法，其特征在于，所述对所述第三信号变换域谱与所述第二信号变换域谱合并，得到第一变换域谱，包括：
    将所述第三信号变换域谱组成所述第一变换域谱中的前k L+1个元素，并将所述第二信号变换域谱组成所述第一变换域谱中的后k H个元素。
  10. 根据权利要求1-5任一项所述的方法，其特征在于，所述对所述第一变换域谱进行重建处理，得到第二数字信号，包括：
    对所述第一变换域谱进行时域信号重建处理，得到所述第二数字信号。
  11. 根据权利要求10所述的方法，其特征在于，所述对所述第一变换域谱进行时域信号重建处理，得到所述第二数字信号，包括：
    对所述第一变换域谱进行修复处理，得到所述第一变换域谱对应的第三变换域谱；
    对所述第三变换域谱作加窗反离散傅里叶变换，得到所述第一变换域谱对应的时域上的目标信号；
    对各个时域下的目标信号进行累加处理，得到所述第二数字信号。
  12. 根据权利要求11所述的方法，其特征在于，所述对所述第一变换域 谱进行修复处理，得到所述第一变换域谱对应的第三变换域谱，包括：
    将所述第一变换域谱中的前N/2个元素组成所述第三变换域谱的前N/2个元素，并将所述第一变换域谱中的后N/2个元素的共轭组成所述第三变换域谱的后N/2个元素。
  13. 一种基于多麦克风的风噪处理装置，其特征在于，包括：
    获取模块，用于分别从K个麦克风获取一个第一数字信号，K为大于1的整数；
    分离处理模块，用于针对每个第一数字信号，对所述第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；
    风噪修复处理模块，用于对所述第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；
    合并模块，用于对所述第三信号变换域谱与所述第二信号变换域谱合并，得到第一变换域谱；
    重建处理模块，用于对所述第一变换域谱进行重建处理，得到第二数字信号。
  14. 根据权利要求13所述的装置，其特征在于，所述分离处理模块，包括：
    变换单元，用于对所述第一数字信号进行变换，得到第二变换域谱；
    谱分离单元，用于对所述第二变换域谱进行谱分离处理，得到所述第一信号变换域谱和所述第二信号变换域谱。
  15. 根据权利要求14所述的装置，其特征在于，所述变换单元具体用于：
    按照帧间间隔L将所述第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数；
    对所述向量采用加窗离散傅里叶变换，得到所述第一数字信号对应的第二变换域谱，其中所述第一数字信号对应的第二变换域谱包括N/2+1个元素。
  16. 根据权利要求14所述的装置，其特征在于，所述谱分离单元具体用于：
    将所述第二变换域谱包括的N/2+1个元素中前k L+1个元素组成所述第二变换域谱对应的第一信号变换域谱，并将所述第二变换域谱包括的N/2+1个元素中后k H个元素组成所述第二变换域谱对应的第二信号变换域谱，其中， k L+k H＝N/2。
  17. 根据权利要求16所述的装置，其特征在于，
    所述kL是由所述N和所述第一数字信号的频率fs确定的。
  18. 根据权利要求15-17任一项所述的装置，其特征在于，所述第一信号变换域谱为低频信号变换域谱，所述第二信号变换域谱为高频信号变换域谱。
  19. 根据权利要求13-17任一项所述的装置，其特征在于，所述风噪修复处理模块，包括：
    归一化处理单元，用于对所述第一信号变换域谱的实部和虚部作归一化处理，得到所述第一信号变换域谱的归一化实部和归一化虚部；
    确定单元，用于确定K个第一信号变换域谱在所有域谱下的模的最小值；
    处理单元，用于根据所述归一化实部、所述归一化虚部、所述K个第一信号变换域谱在每个域谱下的模的最小值，得到所述第三信号变换域谱。
  20. 根据权利要求19所述的装置，其特征在于，所述确定单元具体用于：
    确定所述K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
  21. 根据权利要求13-17任一项所述的装置，其特征在于，所述合并模块具体用于：
    将所述第三信号变换域谱组成所述第一变换域谱中的前kL+1个元素，并将所述第二信号变换域谱组成所述第一变换域谱中的后kH个元素。
  22. 根据权利要求13-17任一项所述的装置，其特征在于，所述重建处理模块具体用于：
    对所述第一变换域谱进行时域信号重建处理，得到所述第二数字信号。
  23. 根据权利要求22所述的装置，其特征在于，所述重建处理模块包括：
    修复处理单元，用于对所述第一变换域谱进行修复处理，得到所述第一变换域谱对应的第三变换域谱；
    反离散傅里叶变换单元，用于对所述第三变换域谱作加窗反离散傅里叶变换，得到所述第一变换域谱对应的时域上的目标信号；
    累加处理单元，用于对各个时域下的目标信号进行累加处理，得到所述第二数字信号。
  24. 根据权利要求23所述的装置，其特征在于，所述修复处理单元具体用于：
    将所述第一变换域谱中的前N/2个元素组成所述第三变换域谱的前N/2个元素，并将所述第一变换域谱中的后N/2个元素的共轭组成所述第三变换域谱的后N/2个元素。
  25. 一种基于多麦克风的风噪处理装置，其特征在于，包括：处理单元、K个第一滤波器，其中，所述处理单元分别与所述K个第一滤波器连接；
    所述处理单元用于：
    分别从K个麦克风获取一个第一数字信号，K为大于1的整数；
    针对每个第一数字信号，对所述第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱；
    对所述第一信号变换域谱进行风噪修复处理，得到第三信号变换域谱；
    对所述第三信号变换域谱与所述第二信号变换域谱合并，得到第一变换域谱；
    所述第一滤波器用于：
    对所述第一变换域谱进行重建处理，得到第二数字信号。
  26. 根据权利要求25所述的装置，其特征在于，还包括：K个第二滤波器，其中，所述处理单元分别与所述K个第二滤波器连接；
    所述第二滤波器用于：在对所述第一数字信号进行分离处理得到一个第一信号变换域谱和一个第二信号变换域谱之前，对所述第一数字信号进行变换，得到第二变换域谱；
    相应的，所述处理单元具体用于：
    对所述第二变换域谱进行谱分离处理，得到所述第一信号变换域谱和所述第二信号变换域谱。
  27. 根据权利要求26所述的装置，其特征在于，所述第二滤波器具体用于：
    按照帧间间隔L将所述第一数字信号生成帧长为N的向量，L为正数，N为大于1的整数；
    对所述向量采用加窗离散傅里叶变换，得到所述第一数字信号对应的第二变换域谱，其中所述第一数字信号对应的第二变换域谱包括N/2+1个元素。
  28. 根据权利要求26所述的装置，其特征在于，所述处理单元具体用于：将所述第二变换域谱包括的N/2+1个元素中前k L+1个元素组成所述第二变换域谱对应的第一信号变换域谱，并将所述第二变换域谱包括的N/2+1个元素中后k H个元素组成所述第二变换域谱对应的第二信号变换域谱，其中，k L+k H＝N/2。
  29. 根据权利要求28所述的装置，其特征在于，所述kL是由所述N和所述第一数字信号的频率fs确定的。
  30. 根据权利要求26-29任一项所述的装置，其特征在于，所述第一信号变换域谱为低频信号变换域谱，所述第二信号变换域谱为高频信号变换域谱。
  31. 根据权利要求25-29任一项所述的装置，其特征在于，所述处理单元具体用于：
    对所述第一信号变换域谱的实部和虚部作归一化处理，得到所述第一信号变换域谱的归一化实部和归一化虚部；
    确定K个第一信号变换域谱在所有域谱下的模的最小值；
    根据所述归一化实部、所述归一化虚部、所述K个第一信号变换域谱在每个域谱下的模的最小值，得到所述第三信号变换域谱。
  32. 根据权利要求31所述的装置，其特征在于，所述处理单元具体用于：
    确定所述K个第一信号变换频域在所有域谱下的实部和虚部的和的最小值。
  33. 根据权利要求25-29任一项所述的装置，其特征在于，所述处理单元具体用于：
    将所述第三信号变换域谱组成所述第一变换域谱中的前kL+1个元素，并将所述第二信号变换域谱组成所述第一变换域谱中的后kH个元素。
  34. 根据权利要求25-29任一项所述的装置，其特征在于，所述第一滤波器具体用于：
    对所述第一变换域谱进行时域信号重建处理，得到所述第二数字信号。
  35. 根据权利要求34所述的装置，其特征在于，所述第一滤波器具体用于：
    对所述第一变换域谱进行修复处理，得到所述第一变换域谱对应的第三 变换域谱；
    对所述第三变换域谱作加窗反离散傅里叶变换，得到所述第一变换域谱对应的时域上的目标信号；
    对各个时域下的目标信号进行累加处理，得到所述第二数字信号。
  36. 根据权利要求35所述的装置，其特征在于，所述第一滤波器具体用于：
    将所述第一变换域谱中的前N/2个元素组成所述第三变换域谱的前N/2个元素，并将所述第一变换域谱中的后N/2个元素的共轭组成所述第三变换域谱的后N/2个元素。
  37. 一种基于多麦克风的风噪处理系统，其特征在于，包括：如权利要求13-24任一项所述的风噪处理装置以及K个麦克风；其中，所述K个麦克风与所述风噪处理装置连接。
  38. 一种基于多麦克风的风噪处理系统，其特征在于，包括：如权利要求25-36任一项所述的风噪处理装置以及K个麦克风；其中，所述K个麦克风与所述风噪处理装置连接。
  39. 一种计算机存储介质，其特征在于，包括：计算机指令，所述计算机指令用于实现如权利要求1-12任一项所述的基于多麦克风的风噪处理方法。
PCT/CN2018/115381 2018-11-14 2018-11-14 基于多麦克风的风噪处理方法、装置、系统及存储介质 WO2020097820A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/115381 WO2020097820A1 (zh) 2018-11-14 2018-11-14 基于多麦克风的风噪处理方法、装置、系统及存储介质
CN201880040350.7A CN110786022A (zh) 2018-11-14 2018-11-14 基于多麦克风的风噪处理方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/115381 WO2020097820A1 (zh) 2018-11-14 2018-11-14 基于多麦克风的风噪处理方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
WO2020097820A1 true WO2020097820A1 (zh) 2020-05-22

Family

ID=69383079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/115381 WO2020097820A1 (zh) 2018-11-14 2018-11-14 基于多麦克风的风噪处理方法、装置、系统及存储介质

Country Status (2)

Country Link
CN (1) CN110786022A (zh)
WO (1) WO2020097820A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477800A (zh) * 2008-12-31 2009-07-08 瑞声声学科技(深圳)有限公司 语音增强的方法
CN202307119U (zh) * 2011-09-05 2012-07-04 歌尔声学股份有限公司 一种多麦克风阵列噪声消除装置及系统
CN103219012A (zh) * 2013-04-23 2013-07-24 中国人民解放军总后勤部军需装备研究所 一种基于声源距离的双麦克风噪声消除方法及装置
CN103854660A (zh) * 2014-02-24 2014-06-11 中国电子科技集团公司第二十八研究所 一种基于独立成分分析的四麦克语音增强方法
CN106251877A (zh) * 2016-08-11 2016-12-21 珠海全志科技股份有限公司 语音声源方向估计方法及装置
US20170078790A1 (en) * 2015-09-14 2017-03-16 Knowles Electronics, Llc Microphone Signal Fusion
CN107223345A (zh) * 2014-08-22 2017-09-29 弗劳恩霍夫应用研究促进协会 用于波束成形滤波器的fir滤波器系数计算
CN108766454A (zh) * 2018-06-28 2018-11-06 浙江飞歌电子科技有限公司 一种语音噪声抑制方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593522B (zh) * 2009-07-08 2011-09-14 清华大学 一种全频域数字助听方法和设备
JP5919647B2 (ja) * 2011-05-11 2016-05-18 富士通株式会社 風雑音抑圧装置、半導体集積回路及び風雑音抑圧方法
US9280984B2 (en) * 2012-05-14 2016-03-08 Htc Corporation Noise cancellation method
DK3236672T3 (da) * 2016-04-08 2019-10-28 Oticon As Høreanordning, der omfatter en stråleformerfiltreringsenhed

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477800A (zh) * 2008-12-31 2009-07-08 瑞声声学科技(深圳)有限公司 语音增强的方法
CN202307119U (zh) * 2011-09-05 2012-07-04 歌尔声学股份有限公司 一种多麦克风阵列噪声消除装置及系统
CN103219012A (zh) * 2013-04-23 2013-07-24 中国人民解放军总后勤部军需装备研究所 一种基于声源距离的双麦克风噪声消除方法及装置
CN103854660A (zh) * 2014-02-24 2014-06-11 中国电子科技集团公司第二十八研究所 一种基于独立成分分析的四麦克语音增强方法
CN107223345A (zh) * 2014-08-22 2017-09-29 弗劳恩霍夫应用研究促进协会 用于波束成形滤波器的fir滤波器系数计算
US20170078790A1 (en) * 2015-09-14 2017-03-16 Knowles Electronics, Llc Microphone Signal Fusion
CN106251877A (zh) * 2016-08-11 2016-12-21 珠海全志科技股份有限公司 语音声源方向估计方法及装置
CN108766454A (zh) * 2018-06-28 2018-11-06 浙江飞歌电子科技有限公司 一种语音噪声抑制方法及装置

Also Published As

Publication number Publication date
CN110786022A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109767783B (zh) 语音增强方法、装置、设备及存储介质
JP6142044B2 (ja) マルチマイクロホンアレイ雑音除去方法、装置及びシステム
CN109215677B (zh) 一种适用于语音和音频的风噪检测和抑制方法和装置
CN105788607B (zh) 应用于双麦克风阵列的语音增强方法
US20120143604A1 (en) Method for Restoring Spectral Components in Denoised Speech Signals
WO2020168981A1 (zh) 风噪声抑制方法及装置
US6931292B1 (en) Noise reduction method and apparatus
CN111970627B (zh) 音频信号的增强方法、装置、存储介质和处理器
Khaldi et al. Speech enhancement using empirical mode decomposition and the Teager–Kaiser energy operator
DE112011106045B4 (de) Audiosignal-Wiederherstellungsvorrichtung und Audiosignal-Wiederherstellungsverfahren
WO2019205796A1 (zh) 减少频域处理量的方法、装置及设备
WO2023103253A1 (zh) 一种音频检测方法、装置及终端设备
Chabot-Leclerc et al. The role of auditory spectro-temporal modulation filtering and the decision metric for speech intelligibility prediction
CN106030704B (zh) 用于对音频信号进行编码/解码的方法和设备
CN110996216A (zh) 对耳机内均衡滤波器进行配置的方法、装置、系统及耳机
WO2020097820A1 (zh) 基于多麦克风的风噪处理方法、装置、系统及存储介质
Bayram et al. A simple prior for audio signals
JP2003510665A (ja) 適応フィルタリングアルゴリズムを用いるデエッサーのための装置および方法
Chi et al. Multiband analysis and synthesis of spectro-temporal modulations of Fourier spectrogram
US20200090637A1 (en) Method and system for implementing a modal processor
WO2019205797A1 (zh) 噪音处理方法、装置及设备
CN111968627A (zh) 一种基于联合字典学习和稀疏表示的骨导语音增强方法
CN113611321B (zh) 一种语音增强方法及系统
TWI738106B (zh) 用於提供處理後的音訊信號表示的設備、音訊信號處理器、音訊解碼器、音訊編碼器、方法及電腦程式
TW201212659A (en) System, method and apparatus with environment noise cancellation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940328

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940328

Country of ref document: EP

Kind code of ref document: A1