WO2015129760A1 - 信号処理装置、方法及びプログラム - Google Patents

信号処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2015129760A1
WO2015129760A1 PCT/JP2015/055442 JP2015055442W WO2015129760A1 WO 2015129760 A1 WO2015129760 A1 WO 2015129760A1 JP 2015055442 W JP2015055442 W JP 2015055442W WO 2015129760 A1 WO2015129760 A1 WO 2015129760A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
component
derived
target area
spectral density
Prior art date
Application number
PCT/JP2015/055442
Other languages
English (en)
French (fr)
Inventor
健太 丹羽
小林　和則
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to CN201580009993.1A priority Critical patent/CN106031196B/zh
Priority to JP2016505268A priority patent/JP6225245B2/ja
Priority to US15/120,678 priority patent/US9747921B2/en
Priority to EP15754624.3A priority patent/EP3113508B1/en
Publication of WO2015129760A1 publication Critical patent/WO2015129760A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Definitions

  • the present invention relates to a technology for clearly collecting sound source signals arriving from a target direction using several microphones.
  • M is an integer of 2 or more. For example, M is about 2 to 4. M may be about 100.
  • K interference noises S k ( ⁇ , ⁇ ) (k 1, 2,..., K) and incoherent stationary noise N m ( ⁇ , ⁇ ).
  • K be a predetermined positive integer.
  • m is the number of each microphone
  • the observation signal X m ( ⁇ , ⁇ ) is a signal obtained by converting a time domain signal collected by the microphone m into a frequency domain.
  • the target sound is sound coming from a predetermined target area.
  • the target area is an area including a sound source to be collected.
  • the number of sound sources to be collected and the position of the sound source to be collected in the target area may be unknown. For example, as illustrated in FIG. 6, it is assumed that an area where six speakers and three microphones are arranged is divided into three areas (area 1, area 2, and area 3). When the sound source to be collected is included in area 1, area 1 is the target area.
  • the target sound may include a reflected sound from a sound source outside the target area.
  • the target sound may include sound arriving at the microphone from the direction of area 1 due to reflection among sounds generated from sound sources included in area 2 and area 3. .
  • the target area may be an area within a predetermined distance from the microphone. In other words, it may be an area having a finite area. Furthermore, there may be a plurality of target areas.
  • FIG. 7 is a diagram illustrating an example when there are two target areas.
  • an area including a sound source that generates noise is also referred to as a noise area.
  • each of area 2 and area 3 is a noise area.
  • each of area 2 and area 3 is a noise area, but an area that is a combination of area 2 and area 3 may be a noise area.
  • a noise area including a sound source that emits interference noise is particularly called an interference noise area. The noise area is set to be different from the target area.
  • the transfer characteristic from the mth microphone to the target sound S 0 ( ⁇ , ⁇ ) is described as A m, 0 ( ⁇ ), and the transfer characteristic from the mth microphone to the kth interference noise is denoted by A m, k ( When ⁇ ) is described, the observed signal X m ( ⁇ , ⁇ ) is modeled as follows.
  • FIG. 1 shows a processing flow of the post-filter type array.
  • the filter coefficient w 0 ( ⁇ ) [W 0,1 ( ⁇ ),..., W 0, M ( ⁇ )] T designed to enhance the target sound is calculated as follows.
  • x is an arbitrary vector or matrix
  • xT means transposition of x
  • xH means conjugate transposition of x
  • h 0 ( ⁇ ) [H 0,1 ( ⁇ ),..., H 0, M ( ⁇ )]
  • T is an array manifold vector in the target sound direction.
  • the array manifold vector, and the transfer characteristic H 0 from the sound source to the microphone, m the (omega) which was the vector h 0 (omega), the transfer characteristic H 0 from the sound source to the microphone, m (omega) is the sound source Transfer characteristics assuming only direct sound that can be theoretically calculated from the microphone position, measured transfer characteristics, and transfer characteristics estimated by computer simulation such as mirror image method and finite element method. Assuming that the source signals are uncorrelated with each other, the spatial correlation matrix R ( ⁇ ) can be modeled as follows:
  • h k ( ⁇ ) is an array manifold vector of the k-th interference noise.
  • the beamforming output signal Y 0 ( ⁇ , ⁇ ) is obtained by the following equation.
  • x ( ⁇ , ⁇ ) [X 1 ( ⁇ , ⁇ ),..., X M ( ⁇ , ⁇ )] T.
  • the post filter G ( ⁇ , ⁇ ) is multiplied.
  • the output signal is obtained by performing inverse fast Fourier transform (IFFT) on Z ( ⁇ , ⁇ ).
  • IFFT inverse fast Fourier transform
  • Non-Patent Document 2 proposes a method of designing a post filter based on the power spectrum density (PSD) of each area estimated using a plurality of beam forming (for example, see Non-Patent Document 2).
  • this method is referred to as an LPSD method (Local PSD-based post-filter design). The processing flow of the LPSD method will be described with reference to FIG.
  • G ( ⁇ , ⁇ ) is calculated as follows.
  • ⁇ S ( ⁇ , ⁇ ) represents the power spectral density of the target area
  • ⁇ N ( ⁇ , ⁇ ) represents the power spectral density of the noise area
  • the power spectrum density of a certain area means the power spectrum density of sound coming from that area. That is, for example, the power spectral density of the target area is the power spectral density of sound coming from the target area
  • the power spectral density of the noise area is the power spectral density of sound coming from the noise area.
  • 2 is, for example,
  • 2
  • 2 an actual measurement value may be used.
  • ⁇ Y ( ⁇ , ⁇ ) [
  • ⁇ S ( ⁇ , ⁇ ) [
  • the power spectrum density of each area is calculated by solving the inverse problem of equation (7).
  • b + represents a pseudo inverse matrix operation on b, where b is an arbitrary matrix.
  • the local PSD estimation unit estimates and outputs the power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) of each area.
  • the target area / noise area PSD estimation unit 12 is defined by the following equation with the local power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) estimated based on the equation (8) for each frequency ⁇ and frame ⁇ as an input. ⁇ S ( ⁇ , ⁇ ) and ⁇ ⁇ N ( ⁇ , ⁇ ) are calculated.
  • the Wiener gain calculation unit 13 calculates the post filter G ( ⁇ , ⁇ ) defined by the equation (6) with ⁇ ⁇ S ( ⁇ , ⁇ ) and ⁇ ⁇ N ( ⁇ , ⁇ ) as inputs. Output. Specifically, the Wiener gain calculation unit 13 obtains ⁇ ⁇ S ( ⁇ , ⁇ ) and ⁇ ⁇ N ( ⁇ , ⁇ ) as ⁇ S ( ⁇ , ⁇ ) and ⁇ N ( ⁇ , ⁇ ) in Equation (6), respectively. ), G ( ⁇ , ⁇ ) is calculated and output.
  • the main advantages of the LPSD method are the following two.
  • (i) The relationship between the beamforming output and each sound source is formulated in the power spectrum region, and control freedom exceeding the number of microphones can be obtained, so that noise can be effectively suppressed, and
  • (ii) L If the beam forming filter w u ( ⁇ ) (u 0, 1,..., L) and D ( ⁇ ) in Equation (7) are calculated in advance, the advantage of (i) can be implemented with low computation. .
  • the LPSD method has formulated the problem on the assumption that the target sound and interference noise are mixed.
  • practical problems often include not only coherent interference noise but also stationary noise with high incoherence (air conditioning noise, microphone internal noise, etc.).
  • estimation errors of ⁇ S ( ⁇ , ⁇ ) and ⁇ N ( ⁇ , ⁇ ) become large, and noise suppression performance may be deteriorated.
  • An object of the present invention is to provide a signal processing apparatus, method, and program in which noise suppression performance is improved as compared with the prior art.
  • a signal processing apparatus includes a target area and at least one different from the target area based on a frequency domain observation signal obtained from signals collected by M microphones constituting a microphone array.
  • a local PSD estimator for estimating the local power spectral density of each noise area, and ⁇ as a frequency and ⁇ as a frame index, based on the estimated local power spectral density ⁇ ⁇ From the target area / noise area PSD estimation unit for estimating the power spectral density ⁇ ⁇ N ( ⁇ , ⁇ ) of S ( ⁇ , ⁇ ) and the noise area, and the power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) of the target area, Due to non-stationary components ⁇ ⁇ S (A) ( ⁇ , ⁇ ) and incoherent noise derived from the sound coming from the target area From the first component extractor that extracts the incoming steady component ⁇ ⁇ S (B) ( ⁇ , ⁇ ) and the noise power spectrum density ⁇ ⁇ N ( ⁇ , ⁇ ), the unsteady component
  • Noise suppression performance can be improved compared to the conventional one.
  • mold array The block diagram of the conventional post filter estimation part.
  • the LPSD method is extended to estimate the post filter robustly against various noise environments. Specifically, the estimation error of the ratio between the power of the target sound and the power of other noise is reduced by estimating the power spectral density by dividing each noise type.
  • FIG. 3 shows a block diagram of an example of the post filter estimation unit 1 which is a signal processing device according to an embodiment of the present invention.
  • the signal processing apparatus includes a local PSD estimation unit 11, a target area / noise area PSD estimation unit 12, a first component extraction unit 14, a second component extraction unit 15, and multi-noise compatible gain calculation.
  • a unit 16 a time frequency averaging unit 17, and a gain shaping unit 18 are provided.
  • FIG. 4 shows each step of signal processing realized by this signal processing device, for example.
  • the local PSD estimation unit 11 is the same as the conventional local PSD estimation unit 11.
  • the estimated local power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) is output to the target area / noise area PSD estimation unit 12.
  • the local PSD estimation unit 11 may prepare a plurality of filter sets and select a filter that takes the maximum power.
  • the target area / noise area PSD estimation unit 12 is the same as the conventional target area / noise area PSD estimation unit 12.
  • the target area / noise area PSD estimation unit 12 determines the power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) of the target area and the power spectral density ⁇ ⁇ N ( ⁇ of the noise area based on the estimated local power spectral density. , ⁇ ) is estimated (step S2).
  • the estimated power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) of the target area is output to the first component extraction unit 14.
  • the estimated power spectral density of the noise area ⁇ ⁇ N ( ⁇ , ⁇ ) is output to the second component extraction unit 15.
  • ⁇ ⁇ S ( ⁇ , ⁇ ) defined by equation (9) is derived from the non-stationary component ⁇ ⁇ S (A) ( ⁇ , ⁇ ) derived from the sound coming from the target area and incoherent noise.
  • the stationary component is a component with little temporal change
  • the unsteady component is a component with much temporal change.
  • Interference noise is noise generated from a noise source arranged in a noise area.
  • the incoherent noise is noise that is not emitted from the target area and the noise area, but is emitted from a place other than these areas and exists constantly.
  • the first component extraction unit 14 determines the unsteady component ⁇ ⁇ S (A) ( ⁇ , ⁇ ) derived from the sound arriving from the target area from the power spectral density ⁇ ⁇ S ( ⁇ , ⁇ ) of the target area.
  • a stationary component ⁇ ⁇ S (B) ( ⁇ , ⁇ ) derived from incoherent noise is extracted by a smoothing process (step S3).
  • the smoothing process is realized by an exponential moving average process, a time average process, or a weighted average process as in Expression (11) and Expression (12).
  • the first component extraction unit 14 performs exponential moving average processing as in Expression (11) and Expression (12), so that ⁇ ⁇ S ( ⁇ , ⁇ ) to ⁇ ⁇ S (B) ( ⁇ , ⁇ ).
  • ⁇ S is a set of frames index for a specific section. For example, the specific section is set to be about 3 to 4 seconds. min is a function that outputs the minimum value.
  • ⁇ ⁇ S (B) ( ⁇ , ⁇ ) is a component obtained by smoothing ⁇ ⁇ S ( ⁇ , ⁇ ) by, for example, Equation (11) and Equation (12). More specifically, ⁇ ⁇ S (B) ( ⁇ , ⁇ ) is a minimum value in a predetermined time interval of a value obtained by smoothing ⁇ ⁇ S ( ⁇ , ⁇ ) by, for example, the equation (11).
  • the first component extraction unit 14 as in Equation (13), ⁇ ⁇ S ( ⁇ , ⁇ ) from ⁇ ⁇ S (B) ( ⁇ , ⁇ ) by subtracting ⁇ ⁇ S (A) ( ⁇ , ⁇ ) is calculated.
  • ⁇ S ( ⁇ ) is a weighting coefficient, which is a predetermined positive real number.
  • ⁇ S ( ⁇ ) is set to a real number of about 1 to 3, for example.
  • ⁇ S (A) ( ⁇ , ⁇ ) is a ⁇ ⁇ S ( ⁇ , ⁇ ) from ⁇ ⁇ S (B) ( ⁇ , ⁇ ) components except.
  • ⁇ ⁇ S (A) ( ⁇ , ⁇ ) may be floored so as to satisfy the condition of ⁇ ⁇ S (A) ( ⁇ , ⁇ ) ⁇ 0.
  • This flooring process is performed by, for example, the first component extraction unit 14.
  • ⁇ Second component extraction unit 15 For example, ⁇ ⁇ N ( ⁇ , ⁇ ) defined by equation (10) includes non-stationary components derived from interference noise ⁇ ⁇ N (A) ( ⁇ , ⁇ ) and stationary components derived from incoherent noise ⁇ ⁇ N (B) ( ⁇ , ⁇ ) is included.
  • the second component extraction unit 15 determines the unsteady component ⁇ ⁇ N (A) ( ⁇ , ⁇ ) derived from the interference noise and the incoherent noise from the power spectral density ⁇ ⁇ N ( ⁇ , ⁇ ) in the noise area.
  • the steady component ⁇ ⁇ N (B) ( ⁇ , ⁇ ) derived from is extracted by a smoothing process (step S4).
  • the smoothing process is realized by an exponential moving average process, a time average process, or a weighted average process like Expression (14) and Expression (15).
  • the non-stationary component ⁇ ⁇ N (A) ( ⁇ , ⁇ ) derived from the extracted interference noise and the stationary component ⁇ ⁇ N (B) ( ⁇ , ⁇ ) derived from incoherent noise are It is output to the calculation unit 16.
  • the second component extraction unit 15 performs an exponential moving average process as in Expression (14) and Expression (15), so that ⁇ ⁇ N ( ⁇ , ⁇ ) to ⁇ ⁇ N (B) ( ⁇ , ⁇ ).
  • ⁇ N is a set of frames index for a specific section. For example, the specific section is set to be about 3 to 4 seconds.
  • ⁇ ⁇ N (B) ( ⁇ , ⁇ ) is a component obtained by smoothing ⁇ ⁇ N ( ⁇ , ⁇ ) by, for example, Expression (14) and Expression (15). More specifically, ⁇ ⁇ N (B) ( ⁇ , ⁇ ) is a minimum value in a predetermined time interval of a value obtained by smoothing ⁇ ⁇ N ( ⁇ , ⁇ ) by, for example, the equation (14).
  • the second component extractor 15 as in Equation (16), ⁇ ⁇ N ( ⁇ , ⁇ ) from ⁇ ⁇ N (B) ( ⁇ , ⁇ ) by subtracting ⁇ ⁇ N (A) ( ⁇ , ⁇ ) is calculated.
  • ⁇ N ( ⁇ ) is a weighting coefficient, which is a predetermined positive real number.
  • ⁇ N ( ⁇ ) is set to a real number of about 1 to 3, for example.
  • ⁇ N (A) ( ⁇ , ⁇ ) is a ⁇ ⁇ N ( ⁇ , ⁇ ) from ⁇ ⁇ N (B) ( ⁇ , ⁇ ) components except.
  • ⁇ ⁇ N (A) ( ⁇ , ⁇ ) may be floored so as to satisfy the condition of ⁇ ⁇ N (A) ( ⁇ , ⁇ ) ⁇ 0.
  • This flooring process is performed by, for example, the second component extraction unit 15.
  • ⁇ N may be the same as or different from ⁇ S.
  • ⁇ N may be the same as or different from ⁇ S.
  • ⁇ N ( ⁇ ) may be the same as or different from ⁇ S ( ⁇ ).
  • the second component extraction unit 15 obtains ⁇ ⁇ N (B) ( ⁇ , ⁇ ). It does not have to be. In other words, in this case, the second component extraction unit 15 may obtain only ⁇ ⁇ N (A) ( ⁇ , ⁇ ) from ⁇ ⁇ N ( ⁇ , ⁇ ).
  • the multi-noise compatible calculation unit 16 uses the non-stationary component ⁇ ⁇ S (A) ( ⁇ , ⁇ ) derived from the sound arriving from the target area and the stationary component ⁇ ⁇ S (B) ( Post-filter that emphasizes the unsteady component of sound coming from the target area using at least ⁇ , ⁇ ) and unsteady component ⁇ ⁇ N (A) ( ⁇ , ⁇ ) derived from interference noise ⁇ G ( ⁇ , ⁇ ) is calculated (step S5).
  • the calculated post filter ⁇ G ( ⁇ , ⁇ ) is output to the time frequency averaging unit 17.
  • the various noise corresponding gain calculation unit 16 uses, for example, the following equation (17). Calculate the defined post filter ⁇ G ( ⁇ , ⁇ ).
  • the various noise corresponding gain calculation unit 16 may calculate a post filter ⁇ G ( ⁇ , ⁇ ) defined by the following equation (18).
  • the time frequency averaging unit 17 performs a smoothing process on at least one of the time direction and the frequency direction for the post-filters ⁇ G ( ⁇ , ⁇ ) (step S6).
  • the smoothed post filter ⁇ G ( ⁇ , ⁇ ) is output to the gain shaping unit 18.
  • ⁇ 0 and ⁇ 1 are set to integers equal to or larger than 0, and the time frequency averaging unit 17 performs, for example, a post filter in the time direction of post filters to G ( ⁇ , ⁇ ). What is necessary is just to perform an addition average for ⁇ G ( ⁇ , ⁇ - ⁇ 0 ), ... ⁇ G ( ⁇ , ⁇ + ⁇ 1 ).
  • the time frequency averaging unit 17 may perform weighted addition for ⁇ G ( ⁇ , ⁇ - ⁇ 0 ), ... ⁇ G ( ⁇ , ⁇ + ⁇ 1 ).
  • ⁇ 0 and ⁇ 1 are set to real numbers of 0 or more, and the time frequency averaging unit 17 is, for example, in the frequency direction of the post filter to G ( ⁇ , ⁇ ). What is necessary is just to perform an addition average about ⁇ G ( ⁇ - ⁇ 0 , ⁇ ),... ⁇ G ( ⁇ + ⁇ 1 , ⁇ ) as post filters.
  • the time frequency averaging unit 17 may perform weighted addition for ⁇ G ( ⁇ - ⁇ 0 , ⁇ ), ... ⁇ G ( ⁇ + ⁇ 1 , ⁇ ).
  • the gain shaping unit 18 generates the post filter G ( ⁇ , ⁇ ) by performing gain shaping on the post filter to G ( ⁇ , ⁇ ) subjected to the smoothing process (step S7).
  • the gain shaping unit 18 generates, for example, a post filter G ( ⁇ , ⁇ ) defined by the following equation (19).
  • ⁇ is a weighting factor and is a positive real number.
  • ⁇ may be set to about 1 to 1.3.
  • the gain shaping unit 18 may perform a flooring process on the post filter G ( ⁇ , ⁇ ) so as to satisfy A ⁇ G ( ⁇ , ⁇ ) ⁇ 1.
  • A is a real number from 0 to 0.3, usually about 0.1. If G ( ⁇ , ⁇ ) is larger than 1, there is a possibility of overemphasis, and if G ( ⁇ , ⁇ ) is too small, musical noise may be generated. By performing an appropriate flooring process, it is possible to prevent this enhancement and the generation of musical noise.
  • a function f whose domain and range are real numbers.
  • the function f is a non-decreasing function.
  • Gain shaping means an operation for obtaining an output value when ⁇ G ( ⁇ , ⁇ ) before gain shaping is input to the function f.
  • the output value when ⁇ G ( ⁇ , ⁇ ) is input to the function f is G ( ⁇ , ⁇ ).
  • An example of the function f is Expression (19).
  • FIG. 8 Another example of another function f will be described with reference to FIG. In FIG. 8, the index is omitted. That is, G in FIG. 8 means G ( ⁇ , ⁇ ), and ⁇ G means ⁇ G ( ⁇ , ⁇ ).
  • G in FIG. 8 means G ( ⁇ , ⁇ )
  • ⁇ G means ⁇ G ( ⁇ , ⁇ ).
  • FIGS. 8B to 8C flooring processing is performed so as to satisfy 0 ⁇ G ( ⁇ , ⁇ ) ⁇ 1.
  • the function specified by the graph indicated by the bold line in FIG. 8C is another example of the function f.
  • the graph of the function f is not limited to that shown in FIG.
  • the graph of the function f is composed of a straight line, but the graph of the function f may be composed of a curve.
  • the function f may be a function obtained by performing a flooring process on a hyperbolic tangent function.
  • this signal processing apparatus and method it is possible to design a post filter for suppressing noise robustly in an environment where noise having various properties exists.
  • a post filter can be designed by processing with real-time characteristics.
  • represent the index set and the total number of frames, respectively.
  • represent the frequency bin index and the total number, respectively.
  • the processing of the time frequency averaging unit 17 and the gain shaping unit 18 is performed to suppress so-called musical noise.
  • the processing of the time frequency averaging unit 17 and the gain shaping unit 18 may not be performed.
  • the first component extraction unit 14 may extract ⁇ ⁇ S (B) ( ⁇ , ⁇ ) and ⁇ ⁇ S (A) ( ⁇ , ⁇ ) by other processing.
  • the second component extraction unit 15 may extract ⁇ ⁇ N (B) ( ⁇ , ⁇ ) and ⁇ ⁇ N (A) ( ⁇ , ⁇ ) by other processing.
  • each unit in the signal processing device is realized by a computer
  • processing contents of functions that each unit of the signal processing device should have are described by a program.
  • each part is implement
  • the program describing the processing contents can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
  • each processing means may be configured by executing a predetermined program on a computer, or at least a part of these processing contents may be realized by hardware.
  • Speech recognition is generally used as a command input for smartphones. Under noisy conditions such as in cars and factories, there is a high demand for hands-free operation of devices and calls with remote locations.
  • This invention can be used, for example, in such a case.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

　雑音抑制性能を従来よりも向上させた信号処理技術を提供することを目的とする。第一成分抽出部１４は、ターゲットエリアのパワースペクトル密度^φS(ω,τ)から、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)を時間平均処理により抽出する。第二成分抽出部１５は、雑音エリアのパワースペクトル密度^φN(ω,τ)から、干渉雑音に由来する非定常成分^φN (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φN (B)(ω,τ)を抽出する。

Description

信号処理装置、方法及びプログラム
　この発明は、数本のマイクロホンを用いて、ターゲット方向から到来する音源信号をクリアに収音する技術に関する。
　まず、基本的な信号処理のフレームワークについて説明する。
　M本のマイクロホンで構成されたアレイを用いることを想定する。Mは、2以上の整数である。例えば、Mを2から4程度とする。Mを100程度としてもよい。周波数ω、フレーム時間τにおける観測信号Xm(ω,τ)(m=1,2,…,M)には、コヒーレント性で非定常性のある1つのターゲット音S0(ω,τ)と、K個の干渉雑音Sk(ω,τ)(k=1,2,…,K)と、インコヒーレントな定常性雑音Nm(ω,τ)とが含まれる。Kを所定の正の整数とする。mは各マイクロホンの番号であり、観測信号Xm(ω,τ)はマイクロホンmで収音された時間領域の信号を周波数領域に変換した信号である。
　ターゲット音とは、所定のターゲットエリアから到来する音のことである。ターゲットエリアとは、収音したい音源を含むエリアのことである。収音したい音源の数及び収音したい音源のターゲットエリア内での位置は、未知であってもよい。例えば、図６に例示するように、６個のスピーカ及び３個のマイクロホンが配置されている領域が、３個のエリア（エリア１、エリア２及びエリア３）に分割されているとする。収音したい音源がエリア１に含まれている場合には、エリア１がターゲットエリアとなる。
　なお、ターゲット音には、ターゲットエリア外の音源からの反射音が含まれてもよい。例えば、ターゲットエリアがエリア１である場合には、エリア２及びエリア３に含まれる音源から生じた音の中で反射によりエリア１の方向からマイクロホンに到来する音をターゲット音が含んでいてもよい。
　ターゲットエリアは、マイクロホンからの所定の距離以内のエリアであってもよい。言い換えれば、有限の面積を持つエリアであってもよい。さらに、ターゲットエリアは複数あってもよい。図７は、ターゲットエリアが２個ある場合の例を示す図である。
　なお、雑音を発する音源が含まれるエリアのことを、雑音エリアとも呼ぶ。図６の例において、雑音を発する音源がエリア２とエリア３のそれぞれに含まれている場合には、エリア２及びエリア３のそれぞれが雑音エリアとなる。この例では、エリア２及びエリア３のそれぞれを雑音エリアとしたが、エリア２及びエリア３を合わせたエリアを雑音エリアとしてもよい。干渉雑音を発する音源が含まれる雑音エリアのことを特に干渉雑音エリアとも呼ぶ。雑音エリアはターゲットエリアとは異なるように設定する。
　m番目のマイクロホンからターゲット音S0(ω,τ)までの伝達特性をAm,0(ω)と記述し、m番目のマイクロホンからk番目の干渉雑音までの伝達特性をAm,k(ω)と記述するとき、観測信号Xm(ω,τ)は以下のようにモデル化される。
Figure JPOXMLDOC01-appb-M000003
　マイクロホン数が少ない場合、すなわち例えばM<Kである場合、最小分散法(MVDR)に基づくビームフォーミングとポストフィルタを組み合わせたフレームワークが雑音抑圧に有効とされている（例えば、非特許文献１参照。）。図１にポストフィルタ型アレイの処理フローを示す。ターゲット音を強調するように設計されたフィルタ係数w0(ω)=[W0,1(ω),…,W0,M(ω)]Tは、以下のように計算される。
Figure JPOXMLDOC01-appb-M000004
　ここで、xを任意のベクトル又は行列として、xTはxの転置を意味し、xHはxの共役転置を意味する。h0(ω)=[H0,1(ω),…,H0,M(ω)]Tは、ターゲット音方向のアレイマニフォールドべクトルである。アレイマニホールドベクトルとは、音源からマイクロホンまでの伝達特性H0,m(ω)をベクトルh0(ω)にしたものであり、音源からマイクロホンまでの伝達特性H0,m(ω)は、音源とマイク位置から理論的に算出できる直接音のみを想定した伝達特性や、実測した伝達特性、鏡像法や有限要素法などの計算機シミュレーションにより推定した伝達特性である。源信号が互いに無相関であると仮定すると、空間相関行列R(ω)は以下のようにモデル化できる。
Figure JPOXMLDOC01-appb-M000005
　ここで、hk(ω)は、k番目の干渉雑音のアレイマニフォールドべクトルである。ビームフォーミングの出力信号Y0(ω,τ)は以下の式により得られる。
Figure JPOXMLDOC01-appb-M000006
　ここで、x(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tである。Y0(ω,τ)に含まれる雑音信号を抑圧するために、ポストフィルタG(ω,τ)を掛け合わせる。
Figure JPOXMLDOC01-appb-M000007
　最後に、Z(ω,τ)を逆高速フーリエ変換（IFFT）することで、出力信号を得る。
　次に、非特許文献２に基づくポストフィルタ設計法について説明する。
　非特許文献２では、複数のビームフォーミングを用いて推定した各エリアのパワースぺクトル密度(PSD)に基づいてポストフィルタを設計する方式が提案されている（例えば、非特許文献２参照。）。以下、この方式をLPSD法(Local PSD-based post-filter design)と呼ぶ。図２を用いて、LPSD法の処理フローを説明する。
　Wiener法に基づいてポストフィルタを設計する場合、G(ω,τ)は以下のように計算される。
Figure JPOXMLDOC01-appb-M000008
　ここで、φS(ω,τ)はターゲットエリアのパワースペクトル密度を表し、φN(ω,τ)は雑音エリアのパワースペクトル密度を表す。ここで、あるエリアのパワースペクトル密度と言った場合には、そのエリアから到来する音のパワースペクトル密度のことを意味する。すなわち、例えば、ターゲットエリアのパワースペクトル密度とはターゲットエリアから到来する音のパワースペクトル密度のことであり、雑音エリアのパワースペクトル密度とは雑音エリアから到来する音のパワースペクトル密度のことである。Xm(ω,τ)からφS(ω,τ),φN(ω,τ)を推定するための方法は様々あるが、観測信号に干渉雑音が含まれることを想定しているので、LPSD法を用いる。
　LPSD法では、観測信号にターゲット音と干渉雑音とが含まれていて、それらが時間周波数領域でスパースであることを仮定している。様々な方向に位置する各エリアのパワースペクトル密度を解析するために、L+1個のビームフォーミングフィルタwu(ω)(u=0,1,…,L)を設計する。フィルタwu(ω)のk番目のエリア方向に対する感度|Du,k(ω)|2と、u番目の出力信号のパワー|Yu(ω,τ)|2と、各エリアのパワースペクトル密度|Sk(ω,τ)|2との関係は以下のようにモデル化できる。ここで、|Du,k(ω)|2は、例えば|Du,k(ω)|2=|wu H(ω)hk(ω)|2である。|Du,k(ω)|2として、実測値を用いてもよい。
Figure JPOXMLDOC01-appb-M000009
　ここで、各シンボルのインデックスを省略した。すなわち、Yu=Yu(ω,τ)であり、Du,k=Du,k(ω)であり、Su=Su(ω,τ)である。また、ΦY(ω,τ)=[|Y0(ω,τ)|2,|Y1(ω,τ)|2,…,|YL(ω,τ)|2]Tであり、ΦS(ω,τ)=[|S0(ω,τ)|2,|S1(ω,τ)|2,…,|SK(ω,τ)|2]Tであるとする。
　例えば式（７）の逆問題を解くことで、各エリアのパワースペクトル密度は算出される。
Figure JPOXMLDOC01-appb-M000010
　ここで、bを任意の行列として、b+はbに対する疑似逆行列演算を表す。局所ＰＳＤ推定部１１は、観測信号Xm(ω,τ)(m=1,2,…,M)を入力として、例えば式（８）により定義される局所パワースペクトル密度^ΦS(ω,τ)を出力する。「^」は、推定されたものであることを意味する。
　局所とは、エリアのことを意味する。図６の例では、エリア１、エリア２及びエリア３のそれぞれが局所である。局所ＰＳＤ推定部は、各エリアのパワースペクトル密度^ΦS(ω,τ)を推定し出力する。
　ターゲットエリア／雑音エリアＰＳＤ推定部１２は、周波数ω及びフレームτ毎に式（８）に基づいて推定された局所パワースペクトル密度^ΦS(ω,τ)を入力として、以下の式により定義される^φS(ω,τ)及び^φN(ω,τ)を算出する。
Figure JPOXMLDOC01-appb-M000011
　最後に、ウィーナーゲイン計算部１３は、^φS(ω,τ)及び^φN(ω,τ)を入力として、式（６）により定義されるポストフィルタG(ω,τ)を計算し出力する。具体的には、ウィーナーゲイン計算部１３は、式（６）のφS(ω,τ)及びφN(ω,τ)としてそれぞれ^φS(ω,τ)及び^φN(ω,τ)を入力することにより、G(ω,τ)を計算し出力する。
　LPSD法の主な利点は以下の２つである。(i)パワースぺクトル領域でビームフォーミングの出力と各音源の関係を定式化し、マイクロホン本数を上回る制御自由度を得ることができるので、雑音を効果的に抑圧できることと、(ii)L個のビームフォーミングフィルタwu(ω)(u=0,1,…,L)と式（７）のD(ω)とを事前に計算すれば、(i)のメリットを低演算で実装できることである。
C. Marro et al., "Analysis of noise reduction and dereverberation techniques based on microphone arrays with postfiltering," IEEE Trans. Speech, Audio Proc., 6, 240-259, 1998. Y. Hioka et al., "Underdetermined sound source separation using power spectrum density estimated by combination of directivity gain," IEEE Trans. Audio, Speech, Language Proc., 21, 1240-1250, 2013.
　LPSD法では、ターゲット音と干渉雑音とが混在することを仮定して問題を定式化してきた。しかし、実用上の問題では、コヒーレント性のある干渉雑音だけでなく、インコヒーレント性の強い定常性雑音(空調の雑音、マイクの内部雑音等)が混在することが多い。この場合、φS(ω,τ)及びφN(ω,τ)の推定誤差が大きくなり、雑音抑圧性能が低下してしまうことがあった。
　この発明は、雑音抑制性能を従来よりも向上させた信号処理装置、方法及びプログラムを提供することを目的とする。
　この発明の一態様による信号処理装置は、マイクロホンアレーを構成するM個のマイクロホンで収音された信号から得られた周波数領域の観測信号に基づいて、ターゲットエリア及び上記ターゲットエリアと異なる少なくとも１個の雑音エリアのそれぞれの局所パワースペクトル密度を推定する局所ＰＳＤ推定部と、ωを周波数とし、τをフレームのインデックスとして、推定された局所パワースペクトル密度に基づいて、ターゲットエリアのパワースペクトル密度^φS(ω,τ)及び雑音エリアのパワースペクトル密度^φN(ω,τ)を推定するターゲットエリア／雑音エリアＰＳＤ推定部と、ターゲットエリアのパワースペクトル密度^φS(ω,τ)から、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)を抽出する第一成分抽出部と、雑音のパワースペクトル密度^φN(ω,τ)から、干渉雑音に由来する非定常成分^φN (A)(ω,τ)を抽出する第二成分抽出部と、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)と、インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)と、干渉雑音に由来する非定常成分^φN (A)(ω,τ)とを少なくとも用いて、ターゲットエリアから到来する音の非定常成分を強調するポストフィルタ~G(ω,τ)を計算する多様雑音対応型ゲイン計算部と、を備えている。
　雑音抑制性能を従来よりも向上させることができる。
ポストフィルタ型アレイの処理フローを示す図。 従来のポストフィルタ推定部のブロック図。 この発明によるポストフィルタ推定装置の例のブロック図。 この発明によるポストフィルタ推定方法の例のブロック図。 実験結果を説明するための図。 ターゲットエリア及び雑音エリアの例を説明するための図。 ターゲットエリアの例を説明するための図。 ゲインシェーピングの例を説明するための図。
　以下に説明する信号処理装置及び方法では、LPSD法を拡張することで、様々な雑音環境に対して頑健にポストフィルタを推定する。具体的には、雑音の種類毎に分割してパワースペクトル密度を推定することで、ターゲット音のパワーとその他雑音のパワーとの比の推定誤差を小さくする。
　図３に、この発明の一実施形態による信号処理装置であるポストフィルタ推定部１の例のブロック図を示す。
　信号処理装置は、図３に示すように、局所ＰＳＤ推定部１１、ターゲットエリア／雑音エリアＰＳＤ推定部１２と、第一成分抽出部１４、第二成分抽出部１５と、多様雑音対応型ゲイン計算部１６と、時間周波数平均化部１７と、ゲインシェーピング部１８とを例えば備えている。
　この信号処理装置により例えば実現される信号処理の各ステップを、図４に示す。
　以下、信号処理装置及び方法の実施形態の詳細について説明する。なお、基本的な信号処理のフレームワーク、言葉の定義等については、背景技術の欄に記載したものと同様である。よって、これらの重複説明を省略する。
　＜局所ＰＳＤ推定部１１＞
　局所ＰＳＤ推定部１１は、従来の局所ＰＳＤ推定部１１と同様である。
　すなわち、局所ＰＳＤ推定部１１は、マイクロホンアレーを構成するM個のマイクロホンで収音された信号から得られた周波数領域の観測信号Xm(ω,τ)(m=1,2,…,M)に基づいて、ターゲットエリア及び雑音エリアのそれぞれの局所パワースペクトル密度^ΦS(ω,τ)を推定する（ステップＳ１）。ωは周波数であり、τはフレームのインデックスである。Mは、2以上の整数である。例えば、Mを2から4程度とする。Mを100程度としてもよい。
　推定された局所パワースペクトル密度^ΦS(ω,τ)は、ターゲットエリア／雑音エリアＰＳＤ推定部１２に出力される。
　局所パワースペクトル密度の推定の具体的な処理の例については、背景技術の欄に記載したものと同様であるため、ここでは説明を省略する。
　なお、ビームフォーミングフィルタwu(ω)及び感度|Du,k(ω)|2は、局所ＰＳＤ推定部１１の処理に先立ち予め設定されているものとする。また、ターゲットエリアの方向がある程度変化する場合には、局所ＰＳＤ推定部１１は、複数のフィルタセットを用意しておき、最大のパワーをとるようなフィルタを選択してもよい。
　なお、局所ＰＳＤ推定部１１は、ビームフォーミングにより得られたYu(ω,τ)(u=0,1,…,L)ではなく、各エリアの方向に指向性を有する各１個のマイクロホンで収音されたYu(ω,τ)(u=0,1,…,L)に基づいて局所パワースペクトル密度^ΦS(ω,τ)を推定してもよい。
　＜ターゲットエリア／雑音エリアＰＳＤ推定部１２＞
　ターゲットエリア／雑音エリアＰＳＤ推定部１２は、従来のターゲットエリア／雑音エリアＰＳＤ推定部１２と同様である。
　すなわち、ターゲットエリア／雑音エリアＰＳＤ推定部１２は、推定された局所パワースペクトル密度に基づいて、ターゲットエリアのパワースペクトル密度^φS(ω,τ)及び雑音エリアのパワースペクトル密度^φN(ω,τ)を推定する（ステップＳ２）。
　推定されたターゲットエリアのパワースペクトル密度^φS(ω,τ)は、第一成分抽出部１４に出力される。推定された雑音エリアのパワースペクトル密度^φN(ω,τ)は、第二成分抽出部１５に出力される。
　ターゲットエリアのパワースペクトル密度^φS(ω,τ)及び雑音エリアのパワースペクトル密度^φN(ω,τ)の推定の具体的な処理の例については、背景技術の欄に記載したものと同様であるため、ここでは説明を省略する。
　＜第一成分抽出部１４＞
　例えば式（９）により定義される^φS(ω,τ)には、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)が含まれる。ここで、定常成分とは時間的に変化の少ない成分のことであり、非定常成分とは時間的に変化の多い成分のことである。
　ここで、雑音には、干渉雑音とインコヒーレントな雑音との２種類の雑音がある。干渉雑音とは、雑音エリアに配置された雑音音源から発せられた雑音のことである。インコヒーレントな雑音とは、ターゲットエリア及び雑音エリアから発せられたものではなく、これらのエリア以外の場所から発せられ、定常的に存在している雑音のことである。
　そこで、第一成分抽出部１４は、ターゲットエリアのパワースペクトル密度^φS(ω,τ)から、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)を平滑化処理により抽出する（ステップＳ３）。例えば、平滑化処理は、式（１１）及び式（１２）のような指数移動平均処理、時間平均処理又は重み付き平均処理により実現される。
　抽出されたターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)は、多様雑音対応型ゲイン計算部１６に出力される。
　例えば、第一成分抽出部１４は、式（１１）及び式（１２）のように指数移動平均処理をすることで、^φS(ω,τ)から^φS (B)(ω,τ)を計算する。
Figure JPOXMLDOC01-appb-M000012
　ここで、αSは平滑化係数であり、所定の正の実数である。例えば、０＜αS＜１とする。また、αS=フレームの時間長／時定数として、時定数が150ms程度となるようにαSを設定してもよい。ΥSは、特定区間のフレームのインデックスの集合である。例えば、特定区間が３から４秒程度となるように設定される。minは、最小値を出力する関数である。
　このように、^φS (B)(ω,τ)は、^φS(ω,τ)を例えば式（１１）及び式（１２）により平滑化した成分である。より具体的には、^φS (B)(ω,τ)は、^φS(ω,τ)を例えば式（１１）により平滑化した値の所定の時間区間における最小値である。
　そして、第一成分抽出部１４は、式（１３）のように、^φS(ω,τ)から^φS (B)(ω,τ)を減算することで^φS (A)(ω,τ)を計算する。
Figure JPOXMLDOC01-appb-M000013
　ここで、βS（ω）は重み係数であり、所定の正の実数である。βS（ω）は、例えば１から３程度の実数に設定される。
　このように、φS (A)(ω,τ)は、^φS(ω,τ)から^φS (B)(ω,τ)を除いた成分である。
　なお、^φS (A)(ω,τ)は、^φS (A)(ω,τ)≧０という条件を満たすようにフロアリング処理されてもよい。このフロアリング処理は、例えば第一成分抽出部１４により行われる。
　＜第二成分抽出部１５＞
　例えば式（１０）により定義される^φN(ω,τ)には、干渉雑音に由来する非定常成分^φN (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φN (B)(ω,τ)が含まれる。
　そこで、第二成分抽出部１５は、雑音エリアのパワースペクトル密度^φN(ω,τ)から、干渉雑音に由来する非定常成分^φN (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φN (B)(ω,τ)を平滑化処理により抽出する（ステップＳ４）。例えば、平滑化処理は、式（１４）及び式（１５）のような指数移動平均処理、時間平均処理又は重み付き平均処理により実現される。
　抽出された干渉雑音に由来する非定常成分^φN (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φN (B)(ω,τ)は、多様雑音対応型ゲイン計算部１６に出力される。
　例えば、第二成分抽出部１５は、式（１４）及び式（１５）のように指数移動平均処理をすることで、^φN(ω,τ)から^φN (B)(ω,τ)を計算する。
Figure JPOXMLDOC01-appb-M000014
　ここで、αNは平滑化係数であり、所定の正の実数である。例えば、０＜αN＜１とする。また、αN=フレームの時間長／時定数として、時定数が150ms程度となるようにαNを設定してもよい。ΥNは、特定区間のフレームのインデックスの集合である。例えば、特定区間が３から４秒程度となるように設定される。
　このように、^φN (B)(ω,τ)は、^φN(ω,τ)を例えば式（１４）及び式（１５）により平滑化した成分である。より具体的には、^φN (B)(ω,τ)は、^φN(ω,τ)を例えば式（１４）により平滑化した値の所定の時間区間における最小値である。
　そして、第二成分抽出部１５は、式（１６）のように、^φN(ω,τ)から^φN  (B)(ω,τ)を減算することで^φN (A)(ω,τ)を計算する。
Figure JPOXMLDOC01-appb-M000015
　ここで、βN（ω）は重み係数であり、所定の正の実数である。βN（ω）は、例えば１から３程度の実数に設定される。
　このように、φN (A)(ω,τ)は、^φN(ω,τ)から^φN (B)(ω,τ)を除いた成分である。
　なお、^φN (A)(ω,τ)は、^φN (A)(ω,τ)≧０という条件を満たすようにフロアリング処理されてもよい。このフロアリング処理は、例えば第二成分抽出部１５により行われる。
　αNは、αSと同じであっても異なっていてもよい。ΥNは、ΥSと同じであっても異なっていてもよい。βN（ω）は、βS（ω）と同じであっても異なっていてもよい。
　なお、多様雑音対応型ゲイン計算部１６において^φN (B)(ω,τ)が用いられない場合には、第二成分抽出部１５は^φN (B)(ω,τ)を求めなくてもよい。言い換えれば、この場合、第二成分抽出部１５は、^φN (A)(ω,τ)のみを^φN(ω,τ)から求めてもよい。
　＜多様雑音対応型ゲイン計算部１６＞
　多様雑音対応型計算部１６は、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)と、インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)と、干渉雑音に由来する非定常成分^φN (A)(ω,τ)とを少なくとも用いて、ターゲットエリアから到来する音の非定常成分を強調するポストフィルタ~G(ω,τ)を計算する（ステップＳ５）。
　計算されたポストフィルタ~G(ω,τ)は、時間周波数平均化部１７に出力される。
　雑音の種類ごとに（言い換えれば、インコヒーレントな雑音、コヒーレントな雑音という雑音の種類ごと）パワースペクトル密度を推定したので、多様雑音対応型ゲイン計算部１６は、例えば、以下の式（１７）により定義されるポストフィルタ~G(ω,τ)を計算する。
Figure JPOXMLDOC01-appb-M000016
　^φS (B)(ω,τ)の値の振る舞いと^φN (B)(ω,τ)の値の振る舞いとに違いがあり、インコヒーレント性の仮定が崩れている場合には、多様雑音対応型ゲイン計算部１６は以下の式（１８）により定義されるポストフィルタ~G(ω,τ)を計算してもよい。
Figure JPOXMLDOC01-appb-M000017
　＜時間周波数平均化部１７＞
　時間周波数平均化部１７は、ポストフィルタ~G(ω,τ)について時間方向と周波数方向との少なくとも一方の方向への平滑化処理を行う（ステップＳ６）。
　平滑化処理されたポストフィルタ~G(ω,τ)は、ゲインシェーピング部１８に出力される。
　時間方向に平滑化を行う場合には、τ0及びτ1を０以上の整数として、時間周波数平均化部１７は、例えば、ポストフィルタ~G(ω,τ)の時間方向に近傍のポストフィルタである~G(ω,τ-τ0),…~G(ω,τ+τ1)について加算平均をすればよい。時間周波数平均化部１７は、~G(ω,τ-τ0),…~G(ω,τ+τ1)について重み付き加算をしてもよい。
　また、周波数方向に平滑化を行う場合には、ω0及びω1を０以上の実数として、時間周波数平均化部１７は、例えば、ポストフィルタ~G(ω,τ)の周波数方向に近傍のポストフィルタである~G(ω-ω0,τ),…~G(ω+ω1,τ)について加算平均をすればよい。時間周波数平均化部１７は、~G(ω-ω0,τ),…~G(ω+ω1,τ)について重み付き加算をしてもよい。
　＜ゲインシェーピング部１８＞
　ゲインシェーピング部１８は、平滑化処理が行われたポストフィルタ~G(ω,τ)についてゲインシェーピングを行うことにより、ポストフィルタG(ω,τ)を生成する（ステップＳ７）。ゲインシェーピング部１８は、例えば、以下の式（１９）により定義されるポストフィルタG(ω,τ)を生成する。
Figure JPOXMLDOC01-appb-M000018
　ここで、γは重み係数であり、正の実数である。例えば、γを1から1.3程度に設定すればよい。
　ゲインシェーピング部１８は、A≦G(ω,τ)≦1を満たすように、ポストフィルタG(ω,τ)についてフロアリング処理をしてもよい。Aは0から0.3の実数であり、通常0.1程度とする。G(ω,τ)が１より大きいと強調し過ぎになる可能性があり、また、G(ω,τ)が小さ過ぎるとミュージカルノイズの発生する可能性がある。適切なフロアリング処理を行うことにより、この強調及びミュージカルノイズの発生を防止することができる。
　定義域及び値域が実数である関数fを考える。関数fは例えば非減少関数とする。ゲインシェーピングは、ゲインシェーピング前の~G(ω,τ)を関数fに入力したときの出力値を求める操作を意味する。言い換えれば、関数fに~G(ω,τ)を入力したときの出力値がG(ω,τ)である。関数fの例が、式（１９）である。式（１９）による関数fは、f(x)=γ(x-0.5)+0.5である。
　他の関数fの他の例を図８を用いて説明する。図８では、インデックスを省略している。すなわち、図８のGはG(ω,τ)を意味し、~Gは~G(ω,τ)を意味する。まず、この例では、図８（Ａ）から図８（Ｂ）に示すように、関数fのグラフの傾きを変えている。そして、図８（Ｂ）から図８（Ｃ）に示すように、0≦G(ω,τ)≦1を満たすように、フロアリング処理をしている。この図８（Ｃ）の太線により示されるグラフで特定される関数が関数fの他の例である。
　関数fのグラフは、図８（Ｃ）に示すものに限られない。例えば、図８（Ｃ）では、関数fのグラフは直線で構成されているが、関数fのグラフは曲線で構成されていてもよい。例えば、関数fは、ハイパボリックタンジェント関数に対してフロアリング処理を施したものであってもよい。
　この信号処理装置及び方法によれば、多様な性質を持つ雑音が存在する環境に対して頑健に、雑音抑圧するためのポストフィルタを設計することができる。また、リアルタイム性のある処理で、このようなポストフィルタを設計することができる。
　[実装例と実験結果]
　LPSD法を従来方式として、提案方式の効果を検証するための実験を行なった。図５のように、残響時間110ms(1.0kHz)の室に音源やアレイを配置した。ターゲット音(男女発話)、K=3個の干渉雑音(#1:男女発話、#2,3:音楽)、室の四隅のスピーカから白色雑音を放射して再現した背景雑音がある中で、M=4本の無指向性マイクロホンを用いて収録した。観測時のSN比は、平均-1dBであった。また、サンプリング周波数を16.0kHzとし、FFT解析長を512ptとし、FFTシフト長を256ptとした。
　この条件の下で、以下の式により定義されるスぺクトル歪(SD)により、雑音抑圧性能を評価した。
Figure JPOXMLDOC01-appb-M000019
　ここで、Ψと|Ψ|は、それぞれフレームのインデックス集合とその総数を表す。Ωと|Ω|は、それぞれ周波数ビンのインデックスとその総数を表す。SDは値が小さいほど雑音抑圧性能が高い。男女発話650文に対してSDを算出し、従来方式で14.0、提案方式で11.5となり、SDが低減した。特に、発話区間外の背景雑音に対する抑圧効果が高まった。
　［変形例等］
　時間周波数平均化部１７及びゲインシェーピング部１８の処理は、いわゆるミュージカルノイズを抑えるために行われる。時間周波数平均化部１７及びゲインシェーピング部１８の処理は、行われなくてもよい。
　指数移動平均処理による^φS (B)(ω,τ)及び^φS (A)(ω,τ)の計算は、第一成分抽出部１４の処理の一例である。第一成分抽出部１４は、他の処理により、^φS (B)(ω,τ)及び^φS (A)(ω,τ)を抽出してもよい。
　同様に、指数移動平均処理による^φN (B)(ω,τ)及び^φN (A)(ω,τ)の計算は、第二成分抽出部１５の処理の一例である。第二成分抽出部１５は、他の処理により、^φN (B)(ω,τ)及び^φN (A)(ω,τ)を抽出してもよい。
　上記信号処理装置及び方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　また、信号処理装置における各部をコンピュータによって実現する場合、信号処理装置の各部が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各部がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　スマートフォンのコマンド入力として、音声認識が一般的に利用されるようになってきた。車内や工場内といった雑音下では、ハンズフリーで機器を操作したり、遠隔地と通話するといった需要が高いと考えられる。
　この発明は、例えばこのような場合に利用することができる。

Claims (6)

  1. 　マイクロホンアレーを構成するM個のマイクロホンで収音された信号から得られた周波数領域の観測信号に基づいて、所定のターゲットエリア及び上記ターゲットエリアと異なる少なくとも１個の雑音エリアのそれぞれの局所パワースペクトル密度を推定する局所ＰＳＤ推定部と、
    　ωを周波数とし、τをフレームのインデックスとして、上記推定された局所パワースペクトル密度に基づいて、ターゲットエリアのパワースペクトル密度^φS(ω,τ)及び雑音エリアのパワースペクトル密度^φN(ω,τ)を推定するターゲットエリア／雑音エリアＰＳＤ推定部と、
    　上記ターゲットエリアのパワースペクトル密度^φS(ω,τ)から、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)を抽出する第一成分抽出部と、
    　上記雑音エリアのパワースペクトル密度^φN(ω,τ)から、干渉雑音に由来する非定常成分^φN (A)(ω,τ)を抽出する第二成分抽出部と、
    　上記ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)と、上記インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)と、上記干渉雑音に由来する非定常成分^φN (A)(ω,τ)とを少なくとも用いて、上記ターゲットエリアから到来する音の非定常成分を強調するポストフィルタ~G(ω,τ)を計算する多様雑音対応型ゲイン計算部と、
    　を含む信号処理装置。
  2. 　請求項１の信号処理装置であって、
    　上記インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)は、上記ターゲットエリアのパワースペクトル密度^φS(ω,τ)を平滑化した成分であり、
    　上記ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)は、上記ターゲットエリアのパワースペクトル密度^φS(ω,τ)から上記インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)を除いた成分であり、
    　上記干渉雑音に由来する非定常成分^φN (A)(ω,τ)は、上記雑音エリアのパワースペクトル密度^φN(ω,τ)から上記雑音エリアのパワースペクトル密度^φN(ω,τ)を平滑化した成分を除いた成分である、
    　信号処理装置。
  3. 　請求項１の信号処理装置であって、
    　上記第二成分抽出部は、上記雑音エリアのパワースペクトル密度^φN(ω,τ)から、干渉雑音に由来する非定常成分^φN (A)(ω,τ)を更に抽出し、
    　上記第一成分抽出部は、αSを所定の実数とし、ΥSを特定区間のフレームのインデックスの集合とし、βS（ω）を所定の実数とし、以下の式により定義される^φS (A)(ω,τ)及び^φS (B)(ω,τ)を計算し、計算された^φS (A)(ω,τ)を上記ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)とし、計算された^φS (B)(ω,τ)を上記インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)とし、
    Figure JPOXMLDOC01-appb-M000001
    　上記第二成分抽出部は、αNを所定の実数とし、ΥNを特定区間のフレームのインデックスの集合とし、βN（ω）を所定の実数とし、以下の式により定義される^φN (A)(ω,τ)及び^φN (B)(ω,τ)を計算し、計算された^φN (A)(ω,τ)を上記干渉雑音に由来する非定常成分^φN (A)(ω,τ)とし、^φN (B)(ω,τ)を上記インコヒーレントな雑音に由来する定常成分^φN (B)(ω,τ)とし、
    Figure JPOXMLDOC01-appb-M000002
    　上記多様雑音対応型ゲイン計算部は、上記インコヒーレントな雑音に由来する定常成分^φN (B)(ω,τ)を更に用いて、上記ターゲットエリアから到来する音の非定常成分を強調するポストフィルタ~G(ω,τ)を計算する、
    　信号処理装置。
  4. 　請求項１から３の何れかの信号処理装置であって、
    　上記ポストフィルタ~G(ω,τ)について時間方向と周波数方向との少なくとも一方の方向への平滑化処理を行う時間周波数平均化部と、
    　上記平滑化処理が行われたポストフィルタ~G(ω,τ)についてゲインシェーピングを行うゲインシェーピング部と、
    　を更に含む信号処理装置。
  5. 　マイクロホンアレーを構成するM個のマイクロホンで収音された信号から得られた周波数領域の観測信号に基づいて、ターゲットエリア及び上記ターゲットエリアと異なる少なくとも１個の雑音エリアのそれぞれの局所パワースペクトル密度を推定する局所ＰＳＤ推定ステップと、
    　ωを周波数とし、τをフレームのインデックスとして、上記推定された局所パワースペクトル密度に基づいて、ターゲットエリアのパワースペクトル密度^φS(ω,τ)及び雑音エリアのパワースペクトル密度^φN(ω,τ)を推定するターゲットエリア／雑音エリアＰＳＤ推定部と、
    　上記ターゲットエリアのパワースペクトル密度^φS(ω,τ)から、ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)及びインコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)を抽出する第一成分抽出ステップと、
    　上記雑音のパワースペクトル密度^φN(ω,τ)から、干渉雑音に由来する非定常成分^φN (A)(ω,τ)を抽出する第二成分抽出ステップと、
    　上記ターゲットエリアから到来する音に由来する非定常成分^φS (A)(ω,τ)と、上記インコヒーレントな雑音に由来する定常成分^φS (B)(ω,τ)と、上記干渉雑音に由来する非定常成分^φN (A)(ω,τ)とを少なくとも用いて、上記ターゲットエリアから到来する音の非定常成分を強調するポストフィルタ~G(ω,τ)を計算する多様雑音対応型ゲイン計算ステップと、
    　を含む信号処理方法。
  6. 　請求項１から４の何れかの信号処理装置の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2015/055442 2014-02-28 2015-02-25 信号処理装置、方法及びプログラム WO2015129760A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580009993.1A CN106031196B (zh) 2014-02-28 2015-02-25 信号处理装置、方法以及程序
JP2016505268A JP6225245B2 (ja) 2014-02-28 2015-02-25 信号処理装置、方法及びプログラム
US15/120,678 US9747921B2 (en) 2014-02-28 2015-02-25 Signal processing apparatus, method, and program
EP15754624.3A EP3113508B1 (en) 2014-02-28 2015-02-25 Signal-processing device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014037820 2014-02-28
JP2014-037820 2014-02-28

Publications (1)

Publication Number Publication Date
WO2015129760A1 true WO2015129760A1 (ja) 2015-09-03

Family

ID=54009075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055442 WO2015129760A1 (ja) 2014-02-28 2015-02-25 信号処理装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US9747921B2 (ja)
EP (1) EP3113508B1 (ja)
JP (1) JP6225245B2 (ja)
CN (1) CN106031196B (ja)
WO (1) WO2015129760A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208137A1 (ja) * 2018-04-24 2019-10-31 日本電信電話株式会社 音源分離装置、その方法、およびプログラム
WO2022038673A1 (ja) * 2020-08-18 2022-02-24 日本電信電話株式会社 収音装置、収音方法、プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181329B2 (en) * 2014-09-05 2019-01-15 Intel IP Corporation Audio processing circuit and method for reducing noise in an audio signal
WO2017094862A1 (ja) * 2015-12-02 2017-06-08 日本電信電話株式会社 空間相関行列推定装置、空間相関行列推定方法および空間相関行列推定プログラム
JP6915579B2 (ja) * 2018-04-06 2021-08-04 日本電信電話株式会社 信号分析装置、信号分析方法および信号分析プログラム
CN109490626B (zh) * 2018-12-03 2021-02-02 中车青岛四方机车车辆股份有限公司 一种基于非平稳随机振动信号的标准psd获取方法及装置
CN113808608B (zh) * 2021-09-17 2023-07-25 随锐科技集团股份有限公司 一种基于时频掩蔽平滑策略的单声道噪声抑制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211190A (ja) * 2009-03-06 2010-09-24 Harman Becker Automotive Systems Gmbh バックグラウンドノイズ推定
WO2012026126A1 (ja) * 2010-08-25 2012-03-01 旭化成株式会社 音源分離装置、音源分離方法、及び、プログラム
JP2012088390A (ja) * 2010-10-15 2012-05-10 Honda Motor Co Ltd 音声認識装置及び音声認識方法
JP2012177828A (ja) * 2011-02-28 2012-09-13 Pioneer Electronic Corp ノイズ検出装置、ノイズ低減装置及びノイズ検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4950733B2 (ja) * 2007-03-30 2012-06-13 株式会社メガチップス 信号処理装置
US8660281B2 (en) * 2009-02-03 2014-02-25 University Of Ottawa Method and system for a multi-microphone noise reduction
CN201418142Y (zh) * 2009-05-22 2010-03-03 杨辉隆 一种麦克风
EP2395506B1 (en) * 2010-06-09 2012-08-22 Siemens Medical Instruments Pte. Ltd. Method and acoustic signal processing system for interference and noise suppression in binaural microphone configurations
JP5836616B2 (ja) * 2011-03-16 2015-12-24 キヤノン株式会社 音声信号処理装置
US9002027B2 (en) * 2011-06-27 2015-04-07 Gentex Corporation Space-time noise reduction system for use in a vehicle and method of forming same
EP2884491A1 (en) * 2013-12-11 2015-06-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Extraction of reverberant sound using microphone arrays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211190A (ja) * 2009-03-06 2010-09-24 Harman Becker Automotive Systems Gmbh バックグラウンドノイズ推定
WO2012026126A1 (ja) * 2010-08-25 2012-03-01 旭化成株式会社 音源分離装置、音源分離方法、及び、プログラム
JP2012088390A (ja) * 2010-10-15 2012-05-10 Honda Motor Co Ltd 音声認識装置及び音声認識方法
JP2012177828A (ja) * 2011-02-28 2012-09-13 Pioneer Electronic Corp ノイズ検出装置、ノイズ低減装置及びノイズ検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KENTA NIWA ET AL.: "Implementation of microphone array for improving speech recognition rate in noisy environment", REPORT OF THE 2014 SPRING MEETING, 12 March 2014 (2014-03-12), pages 717 - 718, XP008184645 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208137A1 (ja) * 2018-04-24 2019-10-31 日本電信電話株式会社 音源分離装置、その方法、およびプログラム
WO2022038673A1 (ja) * 2020-08-18 2022-02-24 日本電信電話株式会社 収音装置、収音方法、プログラム

Also Published As

Publication number Publication date
EP3113508A1 (en) 2017-01-04
JPWO2015129760A1 (ja) 2017-03-30
JP6225245B2 (ja) 2017-11-01
US20160372131A1 (en) 2016-12-22
CN106031196B (zh) 2018-12-07
EP3113508B1 (en) 2020-11-11
EP3113508A4 (en) 2017-11-01
US9747921B2 (en) 2017-08-29
CN106031196A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
US10123113B2 (en) Selective audio source enhancement
KR101934636B1 (ko) 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치
JP6584930B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015196729A1 (zh) 一种麦克风阵列语音增强方法及装置
JP6780644B2 (ja) 信号処理装置、信号処理方法、および信号処理プログラム
Niwa et al. Post-filter design for speech enhancement in various noisy environments
KR101720514B1 (ko) Dcica를 이용한 dnn 기반 특징향상을 수행하는 음성인식장치 및 방법
JP6348427B2 (ja) 雑音除去装置及び雑音除去プログラム
WO2016119388A1 (zh) 一种基于语音信号构造聚焦协方差矩阵的方法及装置
JPWO2016167141A1 (ja) 信号処理装置、信号処理方法、およびプログラム
Martín-Doñas et al. Dual-channel DNN-based speech enhancement for smartphones
KR20220022286A (ko) 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치
JP2006178333A (ja) 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction
Ji et al. Coherence-Based Dual-Channel Noise Reduction Algorithm in a Complex Noisy Environment.
JP6631127B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声処理装置
JP6263890B2 (ja) 音声信号処理装置及びプログラム
CN113870884B (zh) 单麦克风噪声抑制方法和装置
CN111863017B (zh) 一种基于双麦克风阵列的车内定向拾音方法及相关装置
KR101537653B1 (ko) 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법 및 시스템
JP2005091560A (ja) 信号分離方法および信号分離装置
JP6221463B2 (ja) 音声信号処理装置及びプログラム
WO2021124537A1 (ja) 情報処理装置、算出方法、及び算出プログラム
Koldovský et al. Approximate MVDR and MMSE beamformers exploiting scale-invariant reconstruction of signals on microphones

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15754624

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016505268

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015754624

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015754624

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15120678

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE