WO2020003343A1 - 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体 - Google Patents

波源方向推定装置、波源方向推定方法、およびプログラム記録媒体 Download PDF

Info

Publication number
WO2020003343A1
WO2020003343A1 PCT/JP2018/023971 JP2018023971W WO2020003343A1 WO 2020003343 A1 WO2020003343 A1 WO 2020003343A1 JP 2018023971 W JP2018023971 W JP 2018023971W WO 2020003343 A1 WO2020003343 A1 WO 2020003343A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
direction information
pair
estimated
source direction
Prior art date
Application number
PCT/JP2018/023971
Other languages
English (en)
French (fr)
Inventor
友督 荒井
玲史 近藤
裕三 仙田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2018/023971 priority Critical patent/WO2020003343A1/ja
Priority to JP2020526725A priority patent/JP6933303B2/ja
Priority to US17/252,405 priority patent/US11408963B2/en
Publication of WO2020003343A1 publication Critical patent/WO2020003343A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00Measuring characteristics of vibrations by using a detector in a fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21Direction finding using differential microphone array [DMA]

Definitions

  • the present invention relates to a wave direction estimation device, a wave direction estimation method, and a program.
  • the present invention relates to a wave source direction estimating device, a wave source direction estimating method, and a program for estimating a wave source direction using signals based on waves detected by a plurality of sensors.
  • Patent Literature 1 and Non-Patent Literature 1 disclose a method of estimating the direction of a sound source from the arrival time difference between sound reception signals of two microphones.
  • the probability density functions of the arrival time difference of sound waves are obtained for each frequency, the arrival time difference is calculated from the probability density function obtained by superimposing them, and the sound source direction is estimated.
  • Patent Document 2 discloses a sound source direction estimation device using a phase difference distribution.
  • the device of Patent Literature 2 acquires sound signals of a plurality of channels from a plurality of microphones, calculates a phase difference between the signals for each predetermined frequency bin, and generates a phase difference distribution.
  • the apparatus of Patent Document 2 calculates a score corresponding to the similarity between the template and the phase difference distribution generated in advance for each direction for each direction, and estimates the direction of the sound source based on the calculated score.
  • Patent Document 1 and Non-Patent Document 1 in a frequency band having a high signal-to-noise ratio (SNR), the probability density function of the arrival time difference forms a sharp peak. Therefore, according to the methods of Patent Literature 1 and Non-Patent Literature 1, it is possible to accurately estimate the arrival time difference even if the high SNR band is small.
  • the methods of Patent Literature 1 and Non-Patent Literature 1 when the probability density functions of the arrival time differences by frequency are superimposed, the probability densities obtained by accidentally aligning the phases even when no sound source exists do not exist. A peak is generated in the function. Therefore, the methods of Patent Literature 1 and Non-Patent Literature 1 have a problem that a virtual image sound source is erroneously estimated.
  • the estimation of the sound source direction using the phase difference distribution can be performed with a small amount of calculation.
  • the phase difference distribution between two microphones is compared with a template generated for each direction in advance, and a direction having high similarity is estimated as a direction of a sound source.
  • the device disclosed in Patent Document 2 has a problem that, even when a sound source does not exist, a virtual image sound source is erroneously estimated when the phase difference distribution is accidentally similar to the template.
  • An object of the present invention is to provide a wave source direction estimating apparatus that solves the above-described problems, reduces the occurrence of erroneous estimation of a virtual image wave source, and can estimate the direction of a wave source with high accuracy.
  • the wave source direction estimating apparatus includes a plurality of input units configured to acquire an electric signal based on a wave detected by a plurality of sensors as an input signal, and a plurality of pairs obtained by combining two of the plurality of input signals.
  • a signal selection unit for selecting a pair a relative delay time calculation unit for calculating as a relative delay time an arrival time difference of a wave for each wave source direction to a sensor of a source of two input signals forming a pair, and an input signal forming a pair
  • the estimated direction information for each frequency is generated for each pair using the relative delay time of the pair and the contribution rate for each frequency is calculated for the estimated direction information for each source direction using the generated estimated direction information for each source generated for each pair.
  • the weight for each source direction is calculated according to the similarity of the contribution ratio between different pairs, and the estimated direction information of all pairs is weighted and integrated to integrate. And a consolidated estimated direction information calculating unit that generates an estimated direction information.
  • the information processing device acquires an electric signal based on a wave detected by a plurality of sensors as an input signal, and forms a pair obtained by combining two of the plurality of input signals. Select a plurality of sets, calculate the arrival time difference of the wave for each wave source direction to the sensor of the source of the two input signals forming a pair as a relative delay time, and use the paired input signal and the relative delay time of the pair. Generates estimated direction information for each frequency for each pair, calculates a contribution ratio for each frequency with respect to the estimated direction information for each source direction using the generated estimated direction information for each pair, and differs based on the calculated contribution ratio. A weight is calculated for each wave source direction according to the degree of similarity of the contribution ratio between pairs, and integrated estimated direction information is generated by weighting and integrating the estimated direction information of all pairs.
  • the program of one embodiment of the present invention is a process of acquiring an electric signal based on a wave detected by a plurality of sensors as an input signal, and a process of selecting a plurality of pairs of a combination of two of the plurality of input signals, Processing to calculate the difference in arrival time of the wave for each source direction to the sensor that supplies two input signals forming a pair as a relative delay time, and estimation by frequency using the paired input signal and the relative delay time of the pair
  • a process of generating direction information for each pair a process of calculating a contribution ratio for each frequency with respect to the estimated direction information for each source direction using the generated estimated direction information for each frequency of the generated pair, based on the calculated contribution ratio
  • the process of calculating the weight for each wave source direction according to the similarity of the contribution ratio between different pairs, and the integrated estimated direction by weighting and integrating the estimated direction information of all pairs To execute a process of generating a broadcast to the computer.
  • the present invention it is possible to provide a wave source direction estimating apparatus capable of reducing the occurrence of erroneous estimation of a virtual image wave source and estimating the direction of the wave source with high accuracy.
  • FIG. 2 is a block diagram illustrating an example of a configuration of an estimated direction information / frequency contribution ratio generation unit of the wave source direction estimation device according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of a configuration of a frequency-specific cross spectrum generation unit included in an estimated direction information / frequency contribution rate generation unit of the wave source direction estimation device according to the first embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating an example of estimated direction information for each microphone pair calculated by an estimated direction information / frequency contribution rate generation unit of the wave source direction estimation device according to the first embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating an example of a frequency contribution ratio for each microphone pair calculated by a weight calculation unit of the wave source direction estimation device according to the first embodiment of the present invention. It is a block diagram showing an example of composition which added a sensor to a wave source direction estimating device concerning a 1st embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining an outline of an operation of the wave source direction estimation device according to the first embodiment of the present invention. It is a block diagram showing an example of composition of a wave source direction estimating device concerning a 2nd embodiment of the present invention.
  • FIG. 11 is a block diagram illustrating an example of a configuration of a frequency-specific estimated direction information generation unit of the wave source direction estimation device according to the second embodiment of the present invention. It is a block diagram showing an example of composition of a weight generation part of a wave source direction estimating device concerning a 2nd embodiment of the present invention. It is a flow chart for explaining an outline of operation of a wave source direction estimating device concerning a 2nd embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration for realizing a wave source direction estimation device according to each embodiment of the present invention.
  • the wave source direction estimating device of the present embodiment estimates the direction of a sound source (also referred to as a wave source) that is a vibration wave of air or water. Therefore, the wave source direction estimating apparatus of the present embodiment estimates the direction of the wave source of a sound wave converted into an electric signal by a microphone (hereinafter, also referred to as a microphone).
  • a microphone hereinafter, also referred to as a microphone.
  • the estimation target of the wave source direction estimation device of the present embodiment is not limited to the direction of the wave source of a sound wave, and can be used for estimating the direction of a wave source of an arbitrary wave such as a vibration wave or an electromagnetic wave.
  • FIG. 1 is a block diagram illustrating a configuration of a wave source direction estimating apparatus 10 according to the present embodiment.
  • the wave source direction estimating device 10 includes a plurality of input terminals 11, a signal selecting unit 12, a relative delay time calculating unit 13, a plurality of estimated direction information / frequency contribution rate generating units 15, a weight calculating unit 16, and an integrating unit 17.
  • the wave source direction estimating apparatus 10 includes p input terminals 11 (p is an integer of 2 or more).
  • the wave source direction estimating apparatus 10 includes R estimated direction information / frequency contribution rate generation units 15 (R is an integer of 1 or more).
  • R is an integer of 1 or more.
  • numbers from 1 to p are attached with a hyphen between them.
  • numbers 1 to R are attached with a hyphen after the code.
  • the number of the estimated direction information / frequency contribution ratio generation unit 15 indicates the number of a microphone pair (hereinafter, also referred to as a microphone pair) used for estimating the wave source direction.
  • Each of the plurality of input terminals 11-1 to 11-p (also referred to as an input unit) is connected to a microphone (not shown). Electrical signals converted from sound waves (also referred to as sound signals) collected by a plurality of microphones arranged at different positions are input as input signals to each of the plurality of input terminals 11-1 to 11-p.
  • the input signal input to the m-th input terminal 11-m at the time t is referred to as x m (t) (t: real number, m: an integer of 1 to p).
  • a microphone is a sound collection device that collects sound waves in which sound generated from a target sound source and various noises generated around the microphone are mixed.
  • the microphone converts the collected sound waves into a digital signal (also referred to as a sample value sequence).
  • the plurality of microphones are arranged at different positions to collect sound waves from a target sound source.
  • the plurality of microphones are connected to each of the input terminals 11-1 to 11-p. In the following, it is assumed that the input signal converted from the sound wave collected by the m-th microphone is supplied to the m-th input terminal 11-m. Further, the input signal supplied to the m-th input terminal 11-m is also referred to as “m-th microphone input signal”.
  • the signal selection unit 12 selects two input signals from p input signals supplied to the input terminals 11-1 to 11-p.
  • the signal selection unit 12 outputs the selected two input signals to any of the estimated direction information / frequency contribution ratio generation units 15-1 to 15-R, and outputs the position information (hereinafter, referred to as “microphone”) of the supply source of those input signals. (Also referred to as microphone position information) to the relative delay time calculator 13.
  • the number R of the estimated direction information / frequency contribution ratio generation unit 15 corresponds to the number R of combinations of input signals.
  • the signal selection unit 12 may select all combinations or some combinations. When all combinations are selected, R is represented by the following equation 1.
  • the wave source direction estimating apparatus 10 estimates the direction of a sound source by using the time difference at which a sound wave from a target sound source reaches two microphones (also referred to as a microphone pair). If the interval between the two microphones (hereinafter, also referred to as the microphone interval) is too large, the sound from the target sound source is not observed as the same sound due to the influence of a medium such as air or water, so that the direction estimation accuracy decreases. On the other hand, if the microphone interval is too small, the difference in arrival time of the sound wave between the two microphones becomes too small, so that the direction estimation accuracy decreases. Therefore, as shown in Expression 2, it is preferable that the signal selection unit 12 selects the input signals of the microphone pairs in which the microphone interval d falls within a certain range (d min , d max : real numbers).
  • the signal selection unit 12 selects two input signals having the maximum microphone interval d. Further, for example, when the microphone interval d is sufficiently small, the signal selecting unit 12 arranges the microphone signals in descending order of the microphone interval d, and selects a combination of input signals up to the top R (r ⁇ C (p, 2)). I do. As described above, by selecting some combinations of the input signals from the plurality of microphones, it is possible to prevent a decrease in the direction estimation accuracy and reduce the amount of calculation.
  • the relative delay time calculation unit 13 calculates a relative delay time for each microphone pair selected by the signal selection unit 12 using a preset sound source search target direction (also referred to as a sound source direction) and microphone position information. .
  • the relative delay time is an arrival time difference of a sound wave uniquely determined based on a microphone interval between two microphones and a sound source direction. For example, the sound source direction is set at predetermined angle intervals. That is, the relative delay time calculator 13 calculates a relative delay time for the set sound source direction.
  • the relative delay time calculator 13 outputs the calculated set of the sound source direction and the relative delay time to the estimated direction information / frequency contribution ratio generator 15.
  • the method of calculating the relative delay time differs depending on the positional relationship between the microphone pairs.
  • two positional relationships of the microphone pairs will be described, and a calculation method of the relative delay time will be described for each of the positional relationships of the microphone pairs.
  • FIG. 2 shows an example in which three microphones are arranged on the same straight line.
  • the sound speed is c
  • the microphone interval is d r
  • the sound source direction is ⁇ .
  • the sound source direction ⁇ is at least one angle set for estimating the direction of the sound source 100.
  • the relative delay time ⁇ r ( ⁇ ) with respect to the sound source direction ⁇ can be calculated using the following Expression 3.
  • the microphone interval d differs depending on the combination of input signals selected by the signal selection unit 12. That is, the relative delay time ⁇ r ( ⁇ ) differs for each combination number r.
  • relative delay time tau 1 microphone pairs AB (theta) can be calculated using Equation 4 below.
  • the relative delay time ⁇ 2 ( ⁇ ) of the microphone pair AC can be calculated using the following Expression 5.
  • the relative delay time ⁇ r ( ⁇ ) for a certain sound source 100 is proportional to the microphone interval d, but the sound source direction ⁇ can be regarded as the same from any microphone. .
  • FIG. 3 shows an example in which two microphone pairs are arranged on a straight line orthogonal to each other.
  • the sound source direction ⁇ differs depending on the microphone pair.
  • the relative delay time ⁇ 1 ( ⁇ ) of the microphone pair AB can be calculated using the following Expression 6.
  • the relative delay time ⁇ r ( ⁇ ) of another microphone pair with respect to a certain microphone pair can be generalized as a function of the sound source direction ⁇ as viewed from the reference microphone pair, as in the following Expression 8. Note that any reference microphone pair may be selected.
  • the relative delay time calculator 13 calculates relative delay times for all the set sound source search target directions. For example, when the search range of the sound source direction is 0 to 90 degrees in increments of 10 degrees, the relative delay time calculation unit 13 determines the 10 sound source directions of 0, 10, 20,. Calculate the relative delay time. Then, the relative delay time calculation unit 13 outputs the sound source search target direction and the relative delay time to the estimated direction information / frequency contribution rate generation unit 15.
  • the unit for engraving the search range in the sound source direction can be arbitrarily set according to the required accuracy. In order to obtain the direction of the target sound source with high accuracy, the search range of the sound source direction may be finely cut.
  • Estimatimated direction information / frequency contribution rate generator To each of the estimated direction information / frequency contribution rate generation units 15-1 to 15-R, an input signal of one microphone pair of all the microphone pairs selected by the signal selection unit 12 is input. Further, the relative delay time of the microphone pair as the source of the input signal is input from the relative delay time calculator 13 to each of the estimated direction information / frequency contribution ratio generators 15-1 to 15-R. Each of the estimated direction information / frequency contribution ratio generation units 15-1 to 15-R uses the input signal of one microphone pair and the relative delay time to calculate the estimated direction information and the frequency contribution ratio between the input signals of the microphone pair. Generate. The estimated direction information / frequency contribution ratio generation units 15-1 to 15-R output the estimated direction information to the integration unit 17, and output the frequency contribution ratio to the weight calculation unit 16.
  • FIG. 4 is a block diagram illustrating an example of a configuration of the estimated direction information / frequency contribution rate generation unit 15.
  • the estimation direction information / frequency contribution rate generation unit 15 includes a conversion unit 151, a cross spectrum calculation unit 152, an average calculation unit 153, a variance calculation unit 154, a cross spectrum generation unit 155 for each frequency, an inverse conversion unit 156, and an estimation direction for each frequency.
  • An information calculation unit 157 is provided.
  • the estimated direction information / frequency contribution ratio generation unit 15 includes a frequency contribution ratio calculation unit 158 and a frequency integration unit 159.
  • the input signals (input signal A and input signal B) of one microphone pair are input from the signal selection unit 12 to the conversion unit 151.
  • the converter 151 converts the two input signals supplied from the signal selector 12 into a frequency-domain converted signal.
  • the conversion unit 151 performs conversion for decomposing an input signal into a plurality of frequency components. For example, the conversion unit 151 decomposes the input signal into a plurality of frequency components using Fourier transform. Conversion section 151 outputs a conversion signal to cross spectrum calculation section 152.
  • two types of input signals x m (t) are input to the converter 151.
  • m is the number of the input terminal 11.
  • the converter 151 cuts out a waveform of an appropriate length from the input signal supplied from the input terminal 11 while shifting the waveform at a constant cycle.
  • the signal section thus cut out is called a frame
  • the length of the cut out waveform is called a frame length
  • the cycle of shifting the frame is called a frame cycle.
  • conversion section 151 converts the cut-out signal into a frequency domain signal using Fourier transform.
  • n is a frame number
  • the conversion unit 151 can calculate the Fourier transform X m (k, n) of the input signal x m (t, n) using Expression 9 below.
  • Equation 9 j is an imaginary unit, exp is an exponential function, and K is an integer. K represents a frequency bin number and is an integer of 0 or more and K-1 or less. In the following, k is also referred to as a frequency, not a frequency bin number.
  • the converted signal is input from the converter 151 to the cross spectrum calculator 152.
  • the cross spectrum calculator 152 calculates a cross spectrum using the converted signal supplied from the converter 151.
  • the cross spectrum calculation section 152 outputs the calculated cross spectrum to the average calculation section 153.
  • the cross spectrum calculation unit 152 calculates the product of the complex conjugate of the converted signal X 2 (k, n) and the converted signal X 1 (k, n) to calculate the cross spectrum.
  • the cross spectrum of the converted signal is S 12 (k, n).
  • the cross spectrum calculation unit 152 can calculate the cross spectrum S 12 (k, n) using Expression 10 below.
  • Equation 10 conj (X 2 (k, n)) represents the complex conjugate of the converted signal X 2 (k, n).
  • a cross spectrum normalized by an amplitude component may be used.
  • the cross spectrum calculation unit 152 can calculate the cross spectrum S 12 (k, n) using the following Expression 11.
  • the average calculator 153 receives the cross spectrum from the cross spectrum calculator 152.
  • the average calculation unit 153 calculates an average of the cross spectra supplied from the cross spectrum calculation unit 152 (also referred to as an average cross spectrum).
  • the average calculator 153 outputs the calculated average cross spectrum to the frequency-specific cross spectrum generator 155.
  • the average calculation unit 153 calculates the average cross spectrum for each frequency bin from the cross spectrum input in the past.
  • the average calculation unit 153 may calculate the average cross spectrum in units of subbands in which a plurality of frequency bins are bundled, instead of in units of frequency bins.
  • the cross spectrum in the frequency bin k of the n-th frame is defined as S 12 (k, n).
  • the average calculation unit 153 uses the following equation 12 to calculate the average cross spectrum SS 12 from the past L frames. (K, n) can be calculated.
  • the average calculation unit 153 may calculate the average cross spectrum SS 12 (k, n) using the leak integral of the following Expression 13.
  • is a real number larger than 0 and smaller than 1.
  • the variance calculator 154 receives the average cross spectrum from the average calculator 153.
  • the variance calculation unit 154 calculates variance using the average cross spectrum supplied from the average calculation unit 153.
  • the variance calculation unit 154 outputs the calculated variance to the frequency-specific cross spectrum generation unit 155.
  • the dispersion calculator 154 calculates the dispersion V 12 (k, n) using Expression 14 below.
  • the variance calculation unit 154 may calculate the variance V 12 (k, n) using the following Expression 15.
  • the variance calculation unit 154 can calculate the variance V 12 (k, n) using the following Expression 16.
  • the average cross spectrum is input from the average calculator 153 to the frequency-specific cross spectrum generator 155, and the variance is input from the variance calculator 154.
  • the frequency-specific cross spectrum generation unit 155 calculates a cross spectrum (also referred to as a frequency-specific cross spectrum) corresponding to the frequency of the average cross spectrum using the average cross spectrum and the variance.
  • the frequency-specific cross spectrum generation unit 155 outputs the calculated frequency-specific cross spectrum to the inverse transform unit 156.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the frequency-specific cross spectrum generation unit 155.
  • the frequency-specific cross spectrum generation unit 155 includes a frequency-specific basic cross spectrum calculation unit 551, a kernel function spectrum generation unit 552, and a multiplication unit 553.
  • the average cross spectrum from the average calculator 153 is input to the basic cross spectrum calculator 551 for each frequency.
  • the frequency-specific basic cross spectrum calculation unit 551 calculates a cross spectrum (also referred to as a frequency-specific basic cross spectrum) corresponding to each frequency of the average cross spectrum using the average cross spectrum supplied from the average calculation unit 153.
  • the frequency-specific basic cross spectrum calculation unit 551 outputs the calculated frequency-specific basic cross spectrum to the multiplication unit 553.
  • the basic cross spectrum for each frequency is calculated to calculate a correlation function for each frequency component.
  • the frequency-specific basic cross spectrum calculation unit 551 calculates a frequency-specific basic cross spectrum for obtaining a correlation function (also referred to as a frequency-specific cross-correlation function) corresponding to a certain frequency in a subsequent stage.
  • the frequency-specific basic cross spectrum calculation unit 551 calculates the frequency-specific basic cross spectrum of the frequency k.
  • the basic cross spectrum for each frequency 551 integrates the phase component and the amplitude component after separately obtaining them in advance. I do. If the basic cross spectrum of each frequency k is U k (w, n), its amplitude component is
  • w represents a frequency, and is an integer of 0 or more and W-1 or less (W is an integer).
  • the frequency-specific basic cross spectrum calculation unit 551 uses the average cross spectrum SS 12 (k, n) of the frequency k to calculate the amplitude component
  • a method for obtaining arg (U k (w, n)) will be described.
  • the frequency-dependent basic cross spectrum calculator 551 may obtain the amplitude component
  • phase component arg (U k (w, n)) of a frequency obtained by multiplying k by a constant a value obtained by multiplying the average cross spectrum SS 12 (k, n) of the frequency k by a constant is used.
  • the frequency k, 2k, 3k, and each of phase components of 4k is, arg (SS 12 (k, n)), 2arg (SS 12 (k, n)), 3arg (SS 12 (k, n) ), 4 arg (SS 12 (k, n)).
  • the phase components at frequencies other than a constant multiple of k are set to zero. Therefore, the phase component arg (U k (w, n)) of the basic cross spectrum for each frequency corresponding to the frequency k is calculated using the following equation (20).
  • p is an integer of 1 or more and P or less (P> 1).
  • the frequency-specific basic cross spectrum calculation unit 551 integrates the amplitude component calculated using Expressions 18 and 19 and the phase component calculated using Expression 20 using Expression 17, and calculates the frequency of the frequency k. Calculate another basic cross spectrum U k (w, n).
  • the amplitude component and the phase component are separately obtained, and then the fundamental cross spectrum for each frequency is calculated.
  • the power of the cross spectrum shown in the following Expression 21 is used, the basic cross spectrum U k (w, n) for each frequency can be obtained without obtaining the amplitude component and the phase component.
  • kernel function spectrum generator The variance is input from the variance calculator 154 to the kernel function spectrum generator 552.
  • the kernel function spectrum generator 552 calculates a kernel function spectrum using the variance supplied from the variance calculator 154.
  • the kernel function spectrum is obtained by Fourier-transforming a kernel function and taking its absolute value.
  • the kernel function spectrum may be obtained by Fourier transforming the kernel function and taking the square of the Fourier transform.
  • the kernel function spectrum may be obtained by Fourier-transforming the kernel function and taking the square of its absolute value.
  • the kernel function spectrum generator 552 outputs the calculated kernel function spectrum to the multiplier 553.
  • the kernel function spectrum is G (w)
  • the kernel function is g ( ⁇ )
  • the Gaussian function is used as the kernel function.
  • the Gaussian function is given by the following Expression 22.
  • g 1, g 2, and g 3 are positive real numbers.
  • g 1 controls the magnitude of the Gaussian function
  • g 2 controls the position of the peak of the Gaussian function
  • g 3 controls the spread of the Gaussian function.
  • G 3 for adjusting the spread of the Gaussian function affects the sharpness of the peak of the cross-correlation function for each frequency. That is, Equation 22 shows that the spread of the Gaussian function increases as g 3 increases.
  • Equation 23 the probability density function of the logistic distribution of Expression 23 below may be used as a kernel function.
  • Equation 23 g 4 and g 5 are positive real numbers.
  • the probability density function of the logistic distribution has the same shape as the Gaussian function, but has a longer tail than the Gaussian function.
  • G 5 for adjusting the spread of the probability density function of the logistic distribution is a parameter that affects the sharpness of the peak of each frequency cross correlation function.
  • a cosine function or a uniform function may be used as the kernel function.
  • g 3 and g 5 that affect the spread of the kernel function are determined using the variance input from the variance calculation unit 154.
  • parameters that affect the spread of the kernel function such as g 3 and g 5 , are called spread control parameters and are expressed as q (k, n). If the kernel function is a Gaussian function, g 3 is q (k, n). If the variance is small, the parameters are changed so that the peak of the cross-correlation function for each frequency is sharp and the tail is narrow. In this case, the spread control parameter is reduced.
  • the spread control parameter can be calculated by converting a variance value using a predetermined mapping function. For example, if the variance exceeds a certain threshold, the spread control parameter is set to a large value (for example, 10), and if the variance is below a certain threshold, the spread control parameter is set to a small value (for example, 0.01).
  • the variance is V 12 (k, n)
  • the threshold is p th .
  • the spread control parameter q (k, n) in the frequency bin k of the n-th frame can be calculated using the following Expression 24. However, in Expression 24, q 1 and q 2 are positive real numbers that satisfy q 1 > q 2 .
  • the spread control parameter q (k, n) may be calculated using a linear function as in the following Expression 25.
  • q 3 is a positive real number
  • q 4 is a real number.
  • L represents the number of frames averaged when the average calculation unit 153 calculates the average cross spectrum. Since the error of the average cross spectrum is inversely proportional to the number L of averaged frames, the spread control parameter can be obtained by using Equations 26 and 27 in consideration of the error (reliability) of the average cross spectrum.
  • a variance function represented by a linear mapping function, a higher-order polynomial function, a non-linear function, or the like can be used for the variance calculation.
  • the variance may be used as it is as the spread control parameter.
  • the function for obtaining the spread control parameter may be a function of the frequency k as well as the variance. For example, a function that decreases as the frequency k increases can be used. As a typical example, an example using the reciprocal of k is given. In this case, the spread control parameter q (k, n) can be calculated using the function of the following equation 28 instead of the equation 24.
  • Equation 25 the spread control parameter q (k, n) can be calculated using the function of Equation 29 below.
  • the multiplier 553 receives the basic cross spectrum for each frequency from the basic cross spectrum calculator for frequency 551, and receives the kernel function spectrum from the kernel function spectrum generator 552.
  • the multiplication unit 553 calculates a product of the basic cross spectrum for each frequency supplied from the basic cross spectrum for each frequency calculation unit 551 and the kernel function spectrum supplied from the kernel function spectrum generation unit 552 to calculate the cross spectrum for each frequency. I do.
  • the multiplying unit 553 outputs the calculated cross spectrum for each frequency to the inverse transform unit 156.
  • the basic cross spectrum for each frequency supplied from the basic cross spectrum calculation unit for frequency 551 is U k (w, n), and the kernel function spectrum supplied from the kernel function spectrum generation unit 552 is G (w).
  • the multiplication unit 553 calculates the frequency-specific cross spectrum UM k (w, n) using Expression 30 below.
  • the inverse transform unit 156 receives the frequency-specific cross spectrum from the multiplication unit 553 of the frequency-specific cross spectrum generation unit 155. For example, when the conversion unit 151 performs the conversion using the Fourier transform, the inverse conversion unit 156 performs the inverse conversion using the inverse Fourier transform. The inverse transform unit 156 calculates an inverse transform of the frequency-specific cross spectrum supplied from the frequency-specific cross spectrum generation unit 155.
  • the frequency-specific cross spectrum supplied from the frequency-specific cross spectrum generation unit 155 is UM k (w, n).
  • the inverse transform unit 156 inversely transforms UM k (w, n) using the following Expression 31, and calculates a frequency-dependent cross-correlation function u k ( ⁇ , n).
  • the frequency-dependent estimated direction information calculator 157 receives the frequency-dependent cross-correlation function from the inverse transformer 156 and the relative delay time from the relative delay time calculator 13.
  • the frequency-specific estimated direction information calculation unit 157 uses the frequency-dependent cross-correlation function supplied from the inverse transform unit 156 and the relative delay time supplied from the relative delay time calculation unit 13 to determine the correspondence between the direction and the correlation value. The relationship is obtained as frequency-wise estimated direction information.
  • the frequency-specific estimated direction information calculation unit 157 outputs the obtained frequency-specific estimated direction information to the integration unit 17.
  • the frequency-specific estimated direction information calculation unit 157 calculates the frequency-specific estimated direction information H k, r ( ⁇ , n) using Expression 32 below.
  • the estimated frequency direction information from the estimated frequency direction information calculation unit 157 is input to the frequency contribution rate calculation unit 158.
  • the frequency contribution ratio calculation unit 158 calculates a contribution ratio (also referred to as a frequency contribution ratio) for each frequency with respect to the estimated direction information for each sound source direction based on the estimated direction information for each frequency supplied from the estimated direction information for each frequency calculation unit 157. calculate.
  • the frequency contribution ratio calculation unit 158 outputs the calculated frequency contribution ratio to the weight calculation unit 16.
  • the frequency contribution ratio calculation unit 158 calculates the frequency contribution ratio y ⁇ ′, k ′, r (n) of the frequency k ′ when the sound source direction ⁇ is ⁇ ′ using Expression 33 below.
  • Frequency-based estimation direction information is input from frequency-based estimation direction information calculation section 157 to frequency integration section 159.
  • the frequency integrating unit 159 integrates the frequency-specific estimated direction information supplied from the frequency-specific estimated direction information calculation unit 157. That is, the frequency integrating unit 159 generates integrated estimated direction information by integrating the frequency-based estimated direction information separately calculated for each frequency (frequency bin number) into one. For example, the frequency integration unit 159 integrates a plurality of individually obtained estimated direction information pieces for each frequency, or combines them into one piece of estimated direction information. Frequency integrating section 159 outputs the integrated estimated direction information to integrating section 17.
  • the frequency integration unit 159 performs integration by calculating the sum of the estimated direction information H k, r ( ⁇ , n) for each frequency. In this case, the frequency integration unit 159 calculates the estimated direction information H k ( ⁇ , n) using the following Expression 34.
  • the frequency integrating unit 159 may integrate by calculating a total power of the estimated direction information H k, r ( ⁇ , n) for each frequency. In this case, the frequency integration unit 159 calculates the estimated direction information H r ( ⁇ , n) using the following Expression 35.
  • the frequency contribution rate is input to the weight calculation section 16 from the frequency contribution rate calculation section 158 of each of the estimated direction information / frequency contribution rate generation sections 15-1 to 15-R.
  • the weight calculation unit 16 responds to the similarity of the frequency contribution ratio (also simply referred to as contribution ratio) between the microphone pairs based on the frequency contribution ratio supplied from the estimated direction information / frequency contribution ratio generation units 15-1 to 15-R. Calculate the weight for each sound source direction.
  • the weight calculation unit 16 outputs the calculated weight for each sound source direction to the integration unit 17.
  • FIG. 6 is an example of the estimated direction information of all the microphone pairs (AB, BC, AC) calculated by the estimated direction information / frequency contribution ratio generation unit 15 for the microphone A, the microphone B, and the microphone C.
  • FIG. 7 shows the frequency contribution ratio for each microphone pair when the sound source direction ⁇ is ⁇ ′.
  • the weight calculator 16 calculates a weight such that the contribution ratio of different microphone pairs becomes larger in the direction ⁇ that is more similar.
  • the weight calculation unit 16 the frequency contribution of microphone pairs AB y ⁇ , AB (k, n) and microphone pair BC frequency contribution y ⁇ , BC (k, n ) 2 two by applying the equation 36 below
  • the similarity v ⁇ , AB-BC (n) between the microphone pairs is calculated.
  • the weight calculation unit 16 microphone pair r i frequency contribution y theta of, ri (k, n) and microphone pairs r j of the frequency contribution y ⁇ , rj (k, n ) and the The similarity v ⁇ , r ′ (n) can be calculated by applying the following equation (37).
  • r ′ represents a combination number of the microphone pair r i and the microphone pair r j .
  • the weight calculator 16 calculates the weight a ⁇ for each sound source direction ⁇ from the geometric mean of the similarities v ⁇ , r ′ (n) using the following Expression 38.
  • the weight calculation unit 16 can calculate the weight a ⁇ (n) for each sound source direction ⁇ from the arithmetic mean of the similarities v ⁇ , r ′ (n) using Expression 39 below.
  • the integrating unit 17 receives estimated direction information from the estimated direction information / frequency contribution rate generation units 15-1 to 15-R, and receives weights from the weight calculation unit 16.
  • the integration unit 17 integrates the estimated direction information for each microphone pair supplied from the estimated direction information / frequency contribution rate generation units 15-1 to 15-R for all microphone pairs, and is supplied from the weight calculation unit 16 to the integrated estimated direction information.
  • the integrating unit 17 integrates by taking the sum or the power of the estimated direction information for each microphone pair, and generates integrated estimated direction information by weighting the integrated estimated direction information.
  • the integrating unit 17 outputs the generated integrated estimated direction information. For example, the integration unit 17 outputs integrated estimation direction information to a higher-level system (not shown).
  • the integrating unit 17 uses the following equation 40 to set the product of the weight a ⁇ (n) and the total power of the estimated direction information H r ( ⁇ , n) as integrated estimated direction information H ( ⁇ , n). calculate.
  • each sensor 110 is connected to one of the input terminals 11 of the wave direction estimation device 10 via a network such as the Internet or an intranet, or a cable.
  • the sensor 110 when detecting the sound wave, is realized by a microphone.
  • the sensor 110 is realized by a vibration sensor when detecting a vibration wave.
  • the sensor 110 is realized by an antenna when detecting an electromagnetic wave. Note that the form of the sensor 110 is not limited as long as it can convert a wave to be detected into an electric signal.
  • FIG. 9 is a flowchart for explaining the outline of the operation of the wave source direction estimating apparatus 10.
  • the wave source direction estimating apparatus 10 will be mainly described as an operation.
  • the wave source direction estimating apparatus 10 acquires input signals from a plurality of microphones (step S11).
  • the wave source direction estimating apparatus 10 selects two input signals from the input signals corresponding to each of the plurality of microphones (Step S12). That is, the wave source direction estimating apparatus 10 selects two microphones from among the plurality of microphones to form a microphone pair. Here, the wave source direction estimation device 10 selects a plurality of microphone pairs.
  • the wave source direction estimating apparatus 10 determines an interval (also called a microphone interval) between the two microphones that are the two selected input signal supply sources and a set sound source search target direction (also called a sound source direction). Then, the relative delay time is calculated for each microphone pair (step S13).
  • the wave source direction estimation device 10 uses the input signal of the selected microphone pair and the relative delay time to generate the estimated direction information and the frequency contribution ratio between the input signals of the selected microphone pair (step S14). That is, the wave source direction estimating apparatus 10 generates the estimated direction information and the frequency contribution ratio for each microphone pair.
  • the wave source direction estimation device 10 calculates a weight for each sound source direction according to the similarity of the frequency contribution ratio between the microphone pairs (step S15).
  • the wave source direction estimating apparatus 10 calculates integrated estimated direction information by weighting and integrating the estimated direction information for each microphone pair (step S16).
  • the wave source direction estimating apparatus 10 outputs integrated estimated direction information (step S17).
  • the wave source direction estimation device of the present embodiment includes a plurality of input units, a signal selection unit, a relative delay time calculation unit, a plurality of estimated direction information / frequency contribution rate generation units, a weight calculation unit, and an integration unit. Prepare.
  • the input unit acquires an electric signal based on the wave detected by the plurality of sensors as an input signal.
  • the signal selection unit selects a plurality of pairs of a combination of two of the plurality of input signals.
  • the relative delay time calculation unit calculates, as a relative delay time, a difference in arrival time of the wave in each of the wave source directions to the sensor that supplies the two input signals forming a pair.
  • the estimation direction information / frequency contribution rate generation unit obtains two input signals that form one pair of all pairs selected by the signal selection unit, and obtains a relative delay time of the obtained pair.
  • the estimated direction information / frequency contribution rate generation unit uses the frequency-dependent cross-correlation function between the two input signals forming the pair and the relative delay time of the pair to calculate the estimated direction information and the frequency between the two input signals forming the pair. And generate another contribution.
  • the weight calculation unit acquires the contribution ratio for each frequency from the plurality of estimated direction information / frequency contribution ratio generation units, and calculates the weight for each wave source direction according to the similarity of the contribution ratio between different pairs.
  • the integration unit obtains the estimated direction information from the plurality of estimated direction information / frequency contribution ratio generation units, obtains the weight from the weight calculation unit, and integrates the weighted estimation direction information for each of a plurality of pairs. Generate estimated direction information.
  • the estimation direction information / frequency contribution rate generation unit includes a conversion unit, a cross spectrum calculation unit, an average calculation unit, a variance calculation unit, a frequency-specific cross spectrum generation unit, an inverse conversion unit, a frequency-based estimation direction information calculation unit, and frequency integration. And a frequency contribution ratio calculation unit.
  • the conversion unit converts the two input signals forming a pair into a converted signal in the frequency domain.
  • the cross spectrum calculator calculates a cross spectrum using the converted signal converted by the converter.
  • the average calculator calculates an average cross spectrum using the cross spectrum calculated by the cross spectrum calculator.
  • the variance calculator calculates the variance using the average cross spectrum calculated by the average calculator.
  • the frequency-specific cross spectrum generation unit calculates a frequency-specific cross spectrum using the average cross spectrum calculated by the average calculation unit and the variance calculated by the variance calculation unit.
  • the inverse transform unit performs an inverse transform of the frequency cross spectrum calculated by the frequency-specific cross spectrum generation unit to calculate a frequency-specific cross-correlation function.
  • the frequency-specific estimated direction information calculation unit calculates frequency-specific estimated direction information that is a correspondence relationship between a wave source direction and a correlation value based on the frequency-dependent cross-correlation function and the relative delay time of the pair.
  • the frequency integrating unit calculates the estimated direction information by integrating the estimated direction information for each frequency.
  • the frequency contribution ratio calculation unit calculates a contribution ratio for each frequency with respect to the estimated direction information for each wave source direction based on the estimated direction information for each frequency.
  • the weight calculation unit calculates the similarity of the contribution ratio between a plurality of pairs, and calculates the weight for each wave source direction based on the calculated similarity.
  • the wave source direction estimating device of the present embodiment obtains estimated direction information from a cross-correlation function of an input signal for each microphone pair, and integrates the estimated direction information among a plurality of microphone pairs.
  • the wave source direction estimating apparatus of the present embodiment false peaks of estimated direction information in directions other than the sound source direction, which can be generated by accidentally aligning phases between certain microphone pairs, are reduced. Without estimating, the direction of the sound source can be estimated with high accuracy.
  • FIG. 10 is a block diagram showing an example of the configuration of the wave source direction estimating device 20 of the present embodiment.
  • the wave source direction estimating device 20 includes a plurality of input terminals 21, a signal selecting unit 22, a relative delay time calculating unit 23, a plurality of frequency-specific estimated direction information generating units 25, a weight generating unit 26, and an integrating unit. 27.
  • description of the same configuration and operation as those of the wave source direction estimation device 10 of the first embodiment may be omitted.
  • Each of the plurality of input terminals 21-1 to 21-p (also referred to as an input unit) is connected to a microphone (not shown) (p is an integer of 2 or more). Electrical signals converted from sound waves (also referred to as sound signals) collected by microphones arranged at different positions are input as input signals to each of the plurality of input terminals 21-1 to 21-p. Note that the input terminals 21-1 to 21-p are the same as the input terminals 21-1 to 21-p of the first embodiment, and a detailed description thereof will be omitted.
  • the signal selection unit 22 selects two input signals from among the p input signals supplied to the input terminals 21-1 to 21-p.
  • the signal selection unit 22 outputs the selected two input signals to the frequency-specific estimated direction information generation units 25-1 to 25-R, and outputs the position information of the microphone that supplies those input signals (hereinafter, also referred to as microphone position information).
  • the relative delay time calculator 23 calculates a relative delay time for each microphone pair selected by the signal selection unit 22 using a preset sound source search target direction (also referred to as a sound source direction) and microphone position information. .
  • the relative delay time calculator 23 sets the set sound source direction and relative delay time and outputs the set to the frequency-specific estimated direction information generator 25. Note that the relative delay time calculation unit 23 is the same as the relative delay time calculation unit 13 of the first embodiment, and a detailed description thereof will be omitted.
  • the input signal of one microphone pair of all the microphone pairs selected by the signal selecting unit 22 is input to each of the frequency-specific estimated direction information generating units 25-1 to 25-R.
  • the relative delay time of the microphone pair that is the source of the input signal is input from the relative delay time calculation unit 23 to each of the frequency-specific estimated direction information generation units 25-1 to 25-R.
  • Each of the frequency-specific estimated direction information generation units 25-1 to 25-R generates frequency-specific estimated direction information for each microphone pair using the input signal and the relative delay time of one microphone pair.
  • the frequency-specific estimated direction information generation units 25-1 to 25-R output the generated frequency-specific estimated direction information for each microphone pair to the weight generation unit 26 and the integration unit 27.
  • FIG. 11 is a block diagram illustrating an example of the configuration of the frequency-specific estimated direction information generation unit 25.
  • the frequency-specific estimated direction information generation unit 25 includes a conversion unit 251, a cross spectrum calculation unit 252, an average calculation unit 253, a variance calculation unit 254, a frequency-specific cross spectrum generation unit 255, an inverse conversion unit 256, and a frequency-specific estimated direction information calculation.
  • a unit 257 is provided. That is, the frequency-specific estimated direction information generation unit 25 has a configuration in which the frequency integration unit 159 and the frequency contribution ratio calculation unit 158 are omitted from the estimated direction information / frequency contribution ratio generation unit 15 of the first embodiment.
  • the conversion unit 251, the cross spectrum calculation unit 252, the average calculation unit 253, the variance calculation unit 254, the cross spectrum generation unit 255 for each frequency, the inverse conversion unit 256, and the estimated direction information calculation unit 257 for each frequency are implemented in the first embodiment.
  • the configuration is the same as that of the corresponding configuration. Therefore, the detailed description of the conversion unit 251, the cross spectrum calculation unit 252, the average calculation unit 253, the variance calculation unit 254, the cross spectrum generation unit 255 for each frequency, the inverse conversion unit 256, and the estimated direction information calculation unit 257 for each frequency is described below. Omitted.
  • Weight generation unit To the weight generation unit 26, frequency-based estimated direction information for each microphone pair is input from each of the frequency-based estimated direction information generation units 25-1 to 25-R.
  • the weight generation unit 26 calculates the weight for each sound source direction in which the estimated direction information has a peak using the frequency-based estimated direction information for each microphone pair supplied from each of the frequency-based estimated direction information generation units 25-1 to 25-R. I do.
  • the weight generation unit 26 outputs the calculated weight for each sound source direction to the integration unit 27.
  • FIG. 12 is a block diagram illustrating an example of the configuration of the weight generation unit 26.
  • the weight generation unit 26 includes a plurality of frequency integration units 261-1 to 26R, a plurality of source direction candidate selection units 262-1 to 26R, a source direction candidate integration unit 263, and a plurality of source direction candidate frequency contribution rate calculation units 264- 1 to R and a weight calculation unit 265.
  • Each of the frequency integration units 261-1 to 261-1R, the wave source direction candidate selection units 262-1 to 26R, and the wave source direction candidate frequency contribution ratio calculation units 264-1 to 26R correspond to one of the microphone pairs. Therefore, each of the frequency integration units 261-1 to 26R, the source direction candidate selection units 262-1 to 26R, and the source direction candidate frequency contribution ratio calculation units 264-1 to 26R is provided with the microphone pair number (1 to R). Is attached.
  • Each of the frequency integrating units 261-1 to 26R receives frequency-based estimated direction information from each of the frequency-based estimated direction information generation units 25-1 to R. Each of the frequency integrating units 261-1 to 26R integrates the frequency-specific estimated direction information supplied from each of the frequency-specific estimated direction information generating units 25-1 to 25-R, and calculates the estimated direction information. Note that the operation of the frequency integration unit 261 is the same as that of the frequency integration unit 159 of the first embodiment, and a detailed description thereof will not be repeated. Each of the frequency integrating units 261-1 to 26R outputs the calculated estimated direction information to each of the wave source direction candidate selecting units 262-1 to 26R.
  • the estimated direction information is input to each of the wave source direction candidate selecting units 262-1 to 26R from each of the frequency integrating units 261-1 to 26R.
  • Each of the source direction candidate selection units 262-1 to 26-R detects a peak from the estimated direction information supplied from each of the frequency integration units 261-1 to 26R, and selects the direction of the peak as a source direction candidate.
  • Each of the source direction candidate selection units 262-1 to 26R outputs the selected source direction candidate to the source direction candidate integration unit 263.
  • the wave source direction candidate selecting unit 262 selects the sound source direction ⁇ in which the estimated direction information takes the maximum value as the wave source direction candidate.
  • the wave source direction candidate selection unit 262 selects three peaks in descending order of estimated direction information, and determines the sound source direction ⁇ taking these three values as the wave source direction. You may be elected as a candidate.
  • the wave source direction candidate selection unit 262 selects the sound source direction ⁇ having the maximum estimated direction information as the wave source direction candidate.
  • the wave source direction candidate selecting unit 262 uses the following equation 41 to estimate the estimated direction information H r ( ⁇ , n). ) Takes a maximum value of a set of estimated direction information H r ( ⁇ , n).
  • the source direction candidates are input to the source direction candidate integration unit 263 from each of the source direction candidate selection units 262-1 to 262-1R.
  • the source direction candidate integrating unit 263 integrates the source direction candidates selected by each of the source direction candidate selecting units 262-1 to 26R.
  • the source direction candidate integrating unit 263 outputs the integrated source direction candidates to each of the frequency contribution ratio calculating units 264-1 to 26R.
  • a plurality of wave source direction candidates for each microphone pair selected by each of the wave source direction candidate selecting units 262-1 to 26R are defined as a vector ⁇ i .
  • the source direction candidate integration unit 263 integrates the source direction candidates using the following Expression 42, and calculates the integrated source direction candidates ⁇ ′ i (n).
  • the wave source direction candidate integrating unit 263 excludes the overlapping direction and uses the following Expression 43 to convert all the wave source direction candidates for each microphone pair.
  • the microphone pairs are integrated, and the integrated wave source direction candidates ⁇ ′ i (n) are calculated.
  • I indicates the number of all wave source direction candidates.
  • the estimated frequency direction information for each microphone pair is input from each of the estimated frequency direction information generation units 25-1 to 25-R to each of the frequency contribution ratio calculation units 264-1 to 26R for each source direction candidate.
  • the integrated source direction candidates are input from the source direction candidate integration unit 263 to each of the source direction candidate frequency contribution rate calculation units 264-1 to 26R.
  • Each of the frequency contribution ratio calculating units 264-1 to 26R for each source direction candidate uses the estimated direction information for each frequency for each microphone pair and the integrated source direction candidate to determine the frequency contribution to the estimated direction information for each source direction candidate. Calculate the frequency contribution rate for each source direction candidate, which is the rate.
  • Each of the source-source direction candidate frequency contribution ratio calculation units 264-1 to 26-R outputs the calculated source-source direction candidate frequency contribution ratio to the weight calculation unit 265.
  • the frequency contribution ratio calculation unit 158 of the first embodiment calculates the frequency contribution ratio for all sound source directions.
  • the frequency-contribution-percentage-by-source-source-candidate calculating unit 264 obtains the frequency contribution ratio of the selected source-direction candidate.
  • the wave source direction candidate each frequency contribution rate calculation unit 264 calculates a certain wave source direction candidate phi i of the wave source direction candidate each frequency contribution y .phi.i frequency k, r (k, n) and using the equation 44 below .
  • H k, r ( ⁇ i , n) indicates frequency-wise estimated direction information.
  • the weight calculation unit 265 receives the frequency contribution ratios of the respective candidate wave source directions from the respective frequency contribution ratio calculation units 264-1 to 26R of the respective wave source directions. The weight calculation unit 265 uses the frequency contribution ratios for each of the wave source directions supplied from each of the frequency contribution ratio calculation units for each of the wave source directions 264-1 to 26-R, and uses the wave source according to the similarity of the frequency contribution ratio between the microphone pairs. Calculate the weight for each direction candidate. The weight calculation unit 265 outputs the calculated weight for each wave source direction candidate to the integration unit 27.
  • the weight calculator 16 calculates weights for all sound source directions.
  • the weight calculator 265 of the present embodiment obtains a weight for the wave source direction candidate.
  • the weight calculated for each wave source direction candidate by the weight calculation unit 265 is expressed as a ⁇ (n).
  • Other operations of the weight calculation unit 265 are the same as those of the weight calculation unit 16, and a detailed description thereof will be omitted.
  • the integrating unit 27 receives the estimated direction information for each frequency from each of the estimated direction information generating units 25-1 to 25-R, and the weight for each wave source direction candidate from the weight generating unit 26.
  • the integrating unit 27 integrates the frequency-specific estimated direction information supplied from the frequency-specific estimated direction information generating units 25-1 to 25-R for all microphone pairs for each source direction candidate, and estimates the frequency-specific estimated direction for each integrated source direction candidate.
  • the information is weighted, and integrated estimation direction information for each wave source direction candidate is calculated.
  • the integrating unit 27 integrates by calculating the sum or the synergy of the estimated direction information for each frequency for each microphone pair, and generates integrated estimated direction information for each wave source direction candidate by weighting the integrated estimated direction information. For example, the integration unit 27 calculates the integrated estimation direction information H ( ⁇ , n) for each of the wave source direction candidates ⁇ using Expression 45 below.
  • the integrated estimated direction information H ( ⁇ , n) represents the estimated direction information obtained by integrating the frequency-specific estimated direction information for each wave source direction candidate ⁇ .
  • the integration unit 27 calculates the integrated estimation direction information H ( ⁇ , n) in the same manner as the frequency integration unit 261. However, while the frequency integration unit 261 obtains estimated direction information for all sound source directions, the integration unit 27 obtains estimated direction information for the wave source direction candidate ⁇ .
  • FIG. 13 is a flowchart for explaining an outline of the operation of the wave source direction estimating apparatus 20.
  • the description will be made mainly with the operation of the wave source direction estimating device 20.
  • the wave source direction estimating apparatus 20 acquires input signals from a plurality of microphones (step S21).
  • the wave source direction estimating device 20 selects two input signals from the input signals corresponding to each of the plurality of microphones (step S22). That is, the wave source direction estimating device 20 selects two microphones from among the plurality of microphones to form a microphone pair. Here, the wave source direction estimation device 20 selects a plurality of microphone pairs.
  • the wave source direction estimating device 20 determines the interval between the two microphones that are the sources of the two selected input signals (also referred to as the microphone interval) and the set sound source search target direction (also referred to as the sound source direction). Then, a relative delay time is calculated for each microphone pair (step S23).
  • the wave source direction estimating device 20 uses the input signal of the selected microphone pair and the relative delay time to generate frequency-specific estimated direction information of the selected microphone pair (step S24). That is, the wave source direction estimating apparatus 20 generates frequency-specific estimated direction information for each microphone pair.
  • the source direction estimating apparatus 20 selects a candidate source direction based on the estimated direction information obtained by integrating the estimated direction information by frequency for each microphone pair, and calculates a frequency contribution rate for each candidate source direction (step S25).
  • the wave source direction estimating apparatus 20 calculates the weight of each wave source direction candidate according to the similarity of the frequency contribution ratio between the microphone pairs using the wave source direction candidate-specific frequency contribution ratio (step S26).
  • the source direction estimation device 20 integrates the frequency-specific estimated direction information for each source direction candidate and calculates integrated estimated direction information based on the weight for each source direction candidate (step S27).
  • the wave source direction estimating device 20 outputs integrated estimated direction information (step S28).
  • the wave source direction estimating apparatus of the present embodiment includes a plurality of input units, a signal selecting unit, a relative delay time calculating unit, a plurality of frequency-specific estimated direction information generating units, a weight generating unit, and an integrating unit.
  • the input unit acquires an electric signal based on the wave detected by the plurality of sensors as an input signal.
  • the signal selection unit selects a plurality of pairs of a combination of two of the plurality of input signals.
  • the relative delay time calculation unit calculates, as a relative delay time, a difference in arrival time of the wave in each of the wave source directions to the sensor that supplies the two input signals forming a pair.
  • the frequency-specific estimated direction information generation unit obtains two input signals that form one pair of all pairs selected by the signal selection unit, and obtains a relative delay time of the obtained pair.
  • the frequency-specific estimated direction information generation unit calculates frequency-specific estimated direction information for each pair using a frequency-dependent cross-correlation function calculated using two paired input signals and a pair's relative delay time.
  • the weight generation unit obtains frequency-specific estimated direction information for each pair from the plurality of frequency-specific estimated direction information generation units.
  • the weight generation unit calculates a source direction candidate based on the acquired frequency-specific estimated direction information for each pair, and calculates a weight for each calculated source direction candidate.
  • the integration unit acquires the estimated direction information for each pair from the plurality of estimated direction information generation units, and acquires the weight from the weight generation unit.
  • the integrating unit weights and integrates the frequency-based estimated direction information for each of a plurality of pairs to generate integrated estimated direction information.
  • the frequency-specific estimated direction information generation unit includes a conversion unit, a cross spectrum calculation unit, an average calculation unit, a variance calculation unit, a frequency-specific cross spectrum generation unit, an inverse conversion unit, and a frequency-specific estimated direction information calculation unit.
  • the conversion unit converts the two input signals forming a pair into a converted signal in the frequency domain.
  • the cross spectrum calculator calculates a cross spectrum using the converted signal converted by the converter.
  • the average calculator calculates an average cross spectrum using the cross spectrum calculated by the cross spectrum calculator.
  • the variance is calculated using the variance calculator and the average cross spectrum calculated by the average calculator.
  • the frequency-specific cross spectrum generation unit calculates a frequency-specific cross spectrum using the average cross spectrum calculated by the average calculation unit and the variance calculated by the variance calculation unit.
  • the inverse transform unit performs an inverse transform of the frequency cross spectrum calculated by the frequency-specific cross spectrum generation unit to calculate a frequency-specific cross-correlation function.
  • the frequency-specific estimated direction information calculation unit calculates frequency-specific estimated direction information that is a correspondence relationship between a wave source direction and a correlation value based on the frequency-dependent cross-correlation function and the relative delay time of the pair.
  • the weight generation unit includes a plurality of frequency integration units, a plurality of source direction candidate selection units, a source direction candidate integration unit, a plurality of source direction candidate frequency contribution ratio calculation units, and a weight calculation unit.
  • the frequency integrating unit integrates the estimated direction information for each frequency and calculates the estimated direction information for each pair.
  • the source direction candidate selection unit detects a peak from the estimated direction information for each pair, and selects the direction of the peak as a source direction candidate for each pair.
  • the source direction candidate integration unit acquires the source direction candidates for each pair from the plurality of source direction candidate selection units, and integrates the acquired source direction candidates for each pair.
  • the source direction candidate-specific frequency contribution rate calculation unit calculates a frequency-dependent contribution rate to the estimated direction information for each source direction candidate based on the integrated source direction candidates and the estimated frequency direction information.
  • the weight calculation unit obtains the contribution ratio for each frequency with respect to the estimated direction information for each source direction candidate from the plurality of frequency contribution ratios for each source direction candidate.
  • the weight calculation unit calculates a weight for each source direction candidate based on the contribution ratio for each frequency with respect to the obtained estimated direction information for each source direction candidate.
  • the weight calculation unit calculates the similarity of the frequency contribution ratio of each of the plurality of pairs for each source direction candidate, and obtains the weight of each source direction candidate based on the calculated similarity.
  • the wave source direction estimating apparatus of the present embodiment obtains wave direction candidates for each microphone pair, and calculates integrated estimated direction information based on the weight of each wave direction candidate. Therefore, in addition to the effect that the direction of the sound source can be estimated with high accuracy without erroneously estimating the virtual image sound source, there is an effect that the amount of calculation can be reduced.
  • the wave source direction estimating apparatus has a configuration in which the wave source estimating apparatuses according to the first and second embodiments are conceptualized at a higher level.
  • the wave source is not limited to the sound source, and the direction of the wave source of an arbitrary wave is to be estimated.
  • FIG. 14 is a block diagram showing an example of the configuration of the wave source direction estimating device 30 of the present embodiment.
  • the wave source direction estimation device 30 includes an input terminal 31, a signal selection unit 32, a relative delay time calculation unit 33, and an integrated estimation direction information calculation unit 35.
  • description of the same configuration and operation as those of the wave source direction estimation device 10 of the first embodiment and the wave source direction estimation device 20 of the second embodiment may be omitted.
  • Each of the plurality of input terminals 31-1 to 31-p (also referred to as an input unit) is connected to a microphone (not shown) (p is an integer of 2 or more).
  • p is an integer of 2 or more.
  • an electric signal converted from a wave also referred to as a wave signal
  • the input terminals 31-1 to 31-p have the same configuration as those of the first and second embodiments, and a detailed description thereof will be omitted.
  • the signal selection unit 32 selects a plurality of sets of two input signals (also referred to as input signal pairs) among the p input signals supplied to the input terminals 31-1 to 31-p.
  • the signal selection unit 32 outputs the selected plurality of input signal pairs to the integrated estimated direction information calculation unit 35, and outputs position information (hereinafter, also referred to as sensor position information) of a sensor that is a source of the input signals. Output to the relative delay time calculator 33.
  • the signal selection unit 32 has the same configuration as that of the first and second embodiments, and thus a detailed description is omitted.
  • the relative delay time calculator 33 receives sensor position information from the signal selector 32.
  • the relative delay time calculation unit 33 calculates a relative delay time between all pairs of input signals selected by the signal selection unit 32 using the sensor position information and the sound source search target direction (also referred to as a sound source direction).
  • the relative delay time calculator 33 sets the set sound source direction and the relative delay time and outputs the set to the integrated estimated direction information calculator 35.
  • the relative delay time calculation unit 33 has the same configuration as that of the first and second embodiments, and a detailed description thereof will be omitted.
  • the integrated estimated direction information calculation unit 35 receives a plurality of input signal pairs from the signal selection unit 32. Further, the relative delay times of all the input signal pairs selected by the signal selector 32 are input from the relative delay time calculator 33 to the integrated estimated direction information calculator 35.
  • the integrated estimation direction information calculation unit 35 uses the plurality of input signal pairs and the relative delay times of the input signal pairs to estimate the estimation direction information (frequency-based estimation) for each of the plurality of input signal pairs.
  • Direction information The integrated estimated direction information calculation unit 35 calculates a frequency contribution rate for the estimated direction information for each wave source direction based on the generated estimated direction information for each frequency of each pair of input signals.
  • the integrated estimated direction information calculation unit 35 calculates a weight for each wave source direction according to the similarity of the contribution ratio between the pair of input signals, based on the calculated frequency contribution ratio.
  • the integrated estimated direction information calculation unit 35 generates integrated estimated direction information by weighting and integrating the estimated direction information for each pair of input signals.
  • the integrated estimated direction information calculation unit 35 outputs the generated integrated estimated direction information.
  • the integrated estimated direction information calculation unit 35 is configured to include the estimated direction information / frequency contribution rate generation unit 15, the weight calculation unit 16, and the integration unit 17. . Further, when corresponding to the wave source direction estimating apparatus 20 of the second embodiment, the integrated estimated direction information calculation unit 35 is configured to include the frequency-based estimated direction information generation unit 25, the weight generation unit 26, and the integration unit 27. .
  • the wave source direction estimation device of the present embodiment includes a plurality of input units, a signal selection unit, a relative delay time calculation unit, and an integrated estimation direction information calculation unit.
  • the input unit acquires an electric signal based on the wave detected by the plurality of sensors as an input signal.
  • the signal selection unit selects a plurality of pairs of a combination of two of the plurality of input signals.
  • the relative delay time calculation unit calculates, as a relative delay time, a difference in arrival time of the wave in each of the wave source directions to the sensor that supplies the two input signals forming a pair.
  • the integrated estimation direction information calculation unit generates frequency-specific estimation direction information for each pair using the pair of input signals and the pair relative delay time.
  • the integrated estimated direction information calculation unit calculates a contribution ratio for each frequency with respect to the estimated direction information for each wave source direction using the generated estimated direction information for each frequency for each pair.
  • the integrated estimated direction information calculation unit calculates a weight for each wave source direction according to the similarity of the contribution ratio between different pairs based on the calculated contribution ratios, and integrates the estimated direction information of all pairs with weights. Thus, integrated estimated direction information is generated.
  • the signal selection unit selects a pair in which at least two input signals are combined from a plurality of input signals based on the sensor interval.
  • the relative delay time calculation unit based on the source search direction for a pair of sensors that are the source of one input signal pair, the relative delay time of all input signal pairs selected by the signal selection unit, It is calculated as a function of the reference wave source search direction.
  • the direction of the sound source can be accurately estimated without erroneously estimating the virtual image sound source.
  • the wave source direction estimating device of the present embodiment has a configuration in which a wave source direction calculating unit is added to the wave source direction estimating device of the third embodiment.
  • FIG. 15 is a block diagram illustrating a configuration of the wave source direction estimating apparatus 40 according to the present embodiment.
  • the wave source direction estimating device 40 includes an input terminal 41, a signal selecting unit 42, a relative delay time calculating unit 43, an integrated estimated direction information calculating unit 45, and a wave source direction calculating unit 46.
  • the input terminal 41, the signal selection unit 42, the relative delay time calculation unit 43, and the integrated estimation direction information calculation unit 45 are the same as the corresponding configurations of the wave source direction estimation device 30 according to the third embodiment, and thus are described in detail. Detailed description is omitted.
  • the integrated estimated direction information from the integrated estimated direction information calculation unit 45 is input to the wave source direction calculation unit 46.
  • the wave source direction calculator 46 calculates the wave source direction using the integrated estimated direction information.
  • the wave source direction calculation unit 46 outputs the calculated wave source direction.
  • the calculation method of the wave source direction in the wave source direction calculation unit 46 will be described in detail below.
  • the integrated estimation direction information input from the integrated estimation direction information calculation unit 45 has higher reliability (the possibility of the existence of a sound source) as the peak is larger. Therefore, for example, when it can be assumed in advance that the number of sound sources is one, the wave source direction calculation unit 46 outputs the direction in which the integrated estimated direction information is maximum as the estimated direction.
  • the integrated estimated direction information input from the integrated estimated direction information calculation unit 45 is set to H ( ⁇ , n).
  • the wave source direction calculation unit 46 uses the following equation 46 to calculate a set having an argument of the integrated estimated direction information H ( ⁇ , n) such that the integrated estimated direction information H ( ⁇ , n) takes the maximum value. It can be calculated as the wave source direction ⁇ .
  • Equation 46 ⁇ represents all the wave source directions or wave source direction candidates.
  • the wave source direction calculation unit 28 may regard the direction having the peak exceeding the threshold value as the sound source and output the direction exceeding the threshold value as the estimated direction.
  • the wave source direction estimating device of the present embodiment can also estimate, as the sound source direction, the direction corresponding to the time at which the integrated estimated direction information becomes maximum at regular time intervals T. However, it is assumed that the direction of the sound source does not change during the fixed time T, or that the magnitude of the change is negligibly small. By making such an assumption, the estimation accuracy of the wave source direction can be improved.
  • the wave source direction estimating apparatus of the present embodiment includes a plurality of input units, a signal selection unit, a relative delay time calculation unit, an integrated estimation direction information calculation unit, and a wave source direction calculation unit.
  • the wave source direction calculation unit calculates the direction corresponding to the time at which the integrated estimated direction information becomes maximum at regular time intervals as the wave source direction.
  • the direction of the sound source can be estimated with high accuracy without erroneously estimating the virtual image sound source.
  • the information processing device 90 includes a processor 91, a main storage device 92, an auxiliary storage device 93, an input / output interface 95, and a communication interface 96.
  • the interface is abbreviated as I / F (Interface).
  • the processor 91, the main storage device 92, the auxiliary storage device 93, the input / output interface 95, and the communication interface 96 are connected to each other via a bus 99 so as to be able to perform data communication.
  • the processor 91, the main storage device 92, the auxiliary storage device 93, and the input / output interface 95 are connected to a network such as the Internet or an intranet via a communication interface 96.
  • the processor 91 loads the program stored in the auxiliary storage device 93 or the like into the main storage device 92 and executes the loaded program.
  • a configuration using a software program installed in the information processing device 90 may be used.
  • the processor 91 executes processing by the wave source direction estimating device according to the present embodiment.
  • the main storage device 92 has an area where the program is expanded.
  • the main storage device 92 may be a volatile memory such as a DRAM (Dynamic Random Access Memory). Further, a nonvolatile memory such as an MRAM (Magnetoresistive Random Access Memory) may be configured and added as the main storage device 92.
  • DRAM Dynamic Random Access Memory
  • MRAM Magnetic Random Access Memory
  • the auxiliary storage device 93 stores various data.
  • the auxiliary storage device 93 is configured by a local disk such as a hard disk or a flash memory. Note that it is also possible to store various data in the main storage device 92 and omit the auxiliary storage device 93.
  • the input / output interface 95 is an interface for connecting the information processing device 90 and peripheral devices.
  • the communication interface 96 is an interface for connecting to an external system or device via a network such as the Internet or an intranet based on standards and specifications.
  • the input / output interface 95 and the communication interface 96 may be shared as an interface for connecting to an external device.
  • the information processing device 90 may be configured to connect input devices such as a keyboard, a mouse, and a touch panel as needed. These input devices are used for inputting information and settings.
  • input devices such as a keyboard, a mouse, and a touch panel as needed.
  • the display screen of the display device may be configured to also serve as an interface of the input device.
  • Data communication between the processor 91 and the input device may be mediated by the input / output interface 95.
  • the information processing device 90 may be provided with a display device for displaying information.
  • the information processing device 90 includes a display control device (not shown) for controlling display on the display device.
  • the display device may be connected to the information processing device 90 via the input / output interface 95.
  • the information processing device 90 may be provided with a disk drive as needed.
  • the disk drive is connected to the bus 99.
  • the disk drive mediates between a processor 91 and a recording medium (program recording medium) not shown, such as reading of a data program from the recording medium and writing of a processing result of the information processing device 90 to the recording medium.
  • the recording medium can be realized by an optical recording medium such as a CD (Compact Disc) and a DVD (Digital Versatile Disc).
  • the recording medium may be realized by a semiconductor recording medium such as a USB (Universal Serial Bus) memory or an SD (Secure Digital) card, a magnetic recording medium such as a flexible disk, or another recording medium.
  • USB Universal Serial Bus
  • SD Secure Digital
  • the above is an example of a hardware configuration for enabling the wave source direction estimation device according to each embodiment.
  • the hardware configuration in FIG. 16 is an example of a hardware configuration for executing the arithmetic processing of the wave source direction estimation device according to each embodiment, and does not limit the scope of the present invention.
  • a program that causes a computer to execute the process related to the wave source direction estimation device according to each embodiment is also included in the scope of the present invention.
  • a program recording medium on which a program according to each embodiment is recorded is also included in the scope of the present invention.
  • the components of the wave source direction estimating device of each embodiment can be arbitrarily combined. Also, the components of the wave source direction estimation device of each embodiment may be realized by software or may be realized by a circuit.
  • a plurality of input means for acquiring as an input signal an electric signal based on the wave detected by the plurality of sensors, Signal selection means for selecting a plurality of pairs of a combination of two of the plurality of input signals, Relative delay time calculating means for calculating the arrival time difference of the wave for each wave source direction to the sensor of the supply source of the two input signals forming the pair as a relative delay time, Using the input signal forming the pair and the relative delay time of the pair to generate frequency-specific estimated direction information for each pair, and using the generated frequency-specific estimated direction information for each pair for each source direction.
  • a wave source direction estimating apparatus comprising: integrated estimation direction information calculating means for generating integrated estimation direction information by assigning the weights to the estimation direction information and integrating them.
  • the signal selection means 2. The wave source direction estimating apparatus according to claim 1, wherein the pair in which two of the input signals are combined is selected from a plurality of the input signals based on an interval between the sensors.
  • the relative delay time calculation means The relative delay time of all the pairs selected by the signal selection means is determined based on the source search direction in the sensor that is the source of the two input signals forming one pair, and the reference is the source. 3.
  • the integrated estimated direction information calculation means Acquiring the two input signals forming one of the pairs out of all the pairs selected by the signal selecting means, acquiring the relative delay time of the acquired pair, and acquiring the two relative signals of the pair.
  • the wave source direction estimating apparatus further comprising: integrating means for generating the integrated estimated direction information.
  • the estimated direction information / frequency contribution rate generation means Conversion means for converting the two input signals forming the pair into a conversion signal in the frequency domain,
  • Cross spectrum calculation means for calculating a cross spectrum using the converted signal converted by the conversion means
  • Average calculation means for calculating an average cross spectrum using the cross spectrum calculated by the cross spectrum calculation means
  • a variance calculation unit that calculates variance using the average cross spectrum calculated by the average calculation unit
  • the average cross spectrum calculated by the average calculation means, and a frequency-specific cross spectrum generation means for calculating a frequency-specific cross spectrum using the variance calculated by the variance calculation means
  • Inverse transforming means for inversely transforming the frequency-specific cross spectrum calculated by the frequency-specific cross spectrum generating means to calculate a frequency-specific cross-correlation function
  • Frequency-based estimated direction information calculation means for calculating frequency-based estimated direction information that is a correspondence relationship between a wave source direction and a correlation value based on the
  • a plurality of frequency-based estimated direction information generating means for calculating frequency-based estimated direction information for each pair, Obtaining the frequency-specific estimated direction information for each pair from the plurality of frequency-specific estimated direction information generating means, calculating a wave source direction candidate based on the obtained frequency-specific estimated direction information for each of the pairs, and calculating Weight generation means for calculating the weight for each source direction candidate, Acquiring the frequency-specific estimated direction information for each pair from the plurality of frequency-specific estimated direction information generating means, and acquiring the weight from the weight generating means, and obtaining the frequency-specific estimated direction information for each of the plurality of pairs.
  • the wave source direction estimating apparatus according to any one of Supplementary notes 1 to 3, further comprising an integrating unit configured to generate the integrated estimated direction information by performing the integration with the weights.
  • the frequency-specific estimated direction information generating means Conversion means for converting the two input signals forming the pair into a conversion signal in the frequency domain, Cross spectrum calculation means for calculating a cross spectrum using the converted signal converted by the conversion means, Average calculation means for calculating an average cross spectrum using the cross spectrum calculated by the cross spectrum calculation means, A variance calculation unit that calculates variance using the average cross spectrum calculated by the average calculation unit, The average cross spectrum calculated by the average calculation means, and a frequency-specific cross spectrum generation means for calculating a frequency-specific cross spectrum using the variance calculated by the variance calculation means, Inverse transforming means for inversely transforming the frequency-specific cross spectrum calculated by the frequency-specific cross spectrum generating means to calculate a frequency-specific cross-correlation function, And a frequency-based estimated direction information calculating unit that calculates frequency-based estimated direction information that is a correspondence
  • a wave source direction estimating apparatus according to the above.
  • the weight generation means A plurality of frequency integrating means for integrating the estimated direction information for each frequency and calculating the estimated direction information for each pair, Detecting a peak from the estimated direction information for each pair, a plurality of source direction candidate selecting means for selecting the direction of the peak as a source direction candidate for each pair, Source direction candidate integrating means for acquiring the source direction candidates for each pair from a plurality of the source direction candidate selecting means, and integrating the obtained source direction candidates for each pair, A plurality of frequency-source-concentration calculating means for calculating each frequency-dependent contribution rate to the estimated direction information for each of the source-direction candidates based on the integrated source-direction candidates and the frequency-based estimated direction information; When, The contribution ratio for each frequency for the estimated direction information for each of the source direction candidates is obtained from a plurality of frequency contribution ratio calculating means for each of the source direction candidates, and the frequency-dependent ratio for the estimated direction information for each of the obtained source direction candidates is obtained.
  • a wave source direction estimating apparatus further comprising: weight calculating means for calculating the weight for each of the wave source direction candidates based on the contribution ratio.
  • the weight calculation means The wave source direction according to supplementary note 9, wherein the similarity of the contribution ratio for each frequency for each wave source direction candidate between the plurality of pairs is calculated, and the weight for each wave source direction candidate is calculated based on the calculated similarity.
  • Estimation device (Appendix 11) The source direction estimating apparatus according to any one of supplementary notes 1 to 10, further comprising a source direction calculating unit that calculates a source direction based on the integrated estimated direction information calculated by the integrated estimated direction information calculating unit. (Appendix 12) The wave source direction calculation means, 12.
  • the wave source direction estimating apparatus according to claim 11, wherein a direction corresponding to a time at which the integrated estimated direction information becomes maximum is calculated as a wave source direction at regular time intervals. (Appendix 13) 13.
  • the wave source direction estimating apparatus according to any one of supplementary notes 1 to 12, further comprising the sensor arranged corresponding to each of the plurality of input units.
  • the information processing device is Obtain an electric signal based on the wave detected by the plurality of sensors as an input signal, Selecting a plurality of pairs of two of the plurality of input signals, The arrival time difference of the wave for each wave source direction to the sensor of the source of the two input signals forming the pair is calculated as a relative delay time, Using the input signal forming the pair and the relative delay time of the pair to generate frequency-specific estimated direction information for each pair, Using the generated estimated direction information for each frequency for each pair generated to calculate the contribution rate for each frequency for the estimated direction information for each source direction, Calculate weights for each wave source direction according to the similarity of the contribution rates between the different pairs based on the calculated contribution rates, A wave source direction estimating method for generating integrated estimated direction information by adding the weights to the estimated direction information of all the pairs and integrating them.
  • (Appendix 15) A process of obtaining as an input signal an electrical signal based on the wave detected by the plurality of sensors; A process of selecting a plurality of pairs of a combination of two of the plurality of input signals; A process of calculating the arrival time difference of the wave for each wave source direction to the sensor of the source of the two input signals forming the pair as a relative delay time, A process of generating frequency-specific estimated direction information for each pair using the input signal forming the pair and the relative delay time of the pair, A process of calculating a contribution ratio for each frequency with respect to the estimated direction information for each wave source direction using the generated estimated direction information for each frequency of the pair, A process of calculating a weight for each wave source direction according to the similarity of the contribution ratio between the different pairs based on the calculated contribution ratio, A program recording medium in which a program for causing a computer to execute a process of generating integrated estimated direction information by assigning the weights to the estimated direction information of all the pairs and integrating them is recorded.
  • Reference Signs List 10 source direction estimation device 11 input terminal 12 signal selection unit 13 relative delay time calculation unit 15 estimation direction information / frequency contribution ratio generation unit 16 weight calculation unit 17 integration unit 20 source direction estimation device 21 input terminal 22 signal selection unit 23 relative delay Time calculation unit 25 Frequency-specific estimated direction information generation unit 26 Weight generation unit 27 Integration unit 30 Source direction estimation device 31 Input terminal 32 Signal selection unit 33 Relative delay time calculation unit 35 Integrated estimation direction information calculation unit 41 Input terminal 42 Signal selection unit 43 Relative delay time calculation unit 45 Integrated estimation direction information calculation unit 46 Source direction calculation unit 151 Conversion unit 152 Cross spectrum calculation unit 153 Average calculation unit 154 Dispersion calculation unit 155 Frequency-specific cross spectrum generation unit 156 Inverse conversion unit 157 Frequency-based estimation direction Information calculator 158 Frequency Giving ratio calculation unit 159 Frequency integration unit 251 Transformation unit 252 Cross-spectrum calculation unit 253 Average calculation unit 254 Variance calculation unit 255 Cross-spectrum generation unit for each frequency 256 Inverse conversion unit 257 Estimation direction information calculation unit for each frequency 2

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

虚像波源の誤推定の発生を低減し、高精度に波源の方向を推定するために、波動に基づく入力信号を取得する複数の入力部と、複数の入力信号のうち二つを組み合わせたペアを複数組選択する信号選択部と、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する相対遅延時間計算部と、ペアをなす入力信号とペアの相対遅延時間とを用いて周波数別推定方向情報をペアごとに生成し、生成したペアごとの周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、算出した寄与率に基づいて異なるペア間の寄与率の類似度に応じた波源方向ごとの重みを計算し、全てのペアの推定方向情報に重みをつけた統合推定方向情報を生成する統合推定方向情報算出部とを備える波源方向推定装置とする。

Description

波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
 本発明は、波源方向推定装置、波源方向推定方法、およびプログラムに関する。特に、本発明は、複数のセンサによって検出された波動に基づく信号を用いて波源方向を推定する波源方向推定装置、波源方向推定方法、およびプログラムに関する。
 特許文献1および非特許文献1には、2つのマイクロフォンの受音信号の到達時間差から音源の方向を推定する方法が開示されている。特許文献1および非特許文献1の方法では、音波の到達時間差の確率密度関数を周波数別に求め、それらの重ね合わせにより得られた確率密度関数から到達時間差を算出し、音源方向を推定する。
 特許文献2には、位相差分布を用いる音源方向推定装置について開示されている。特許文献2の装置は、複数のマイクから複数チャンネルの音響信号を取得し、それらの信号の位相差を予め定めた周波数ビンごとに計算して位相差分布を生成する。特許文献2の装置は予め方向ごとに生成されたテンプレートと位相差分布との相似性に応じたスコアを方向ごとに計算し、算出したスコアに基づいて音源の方向を推定する。
国際公開第2018/003158号 特開2015-161551号公報
M. Kato, Y. Senda, R. Kondo, "TDOA estimation based on phase-voting cross correlation and circular standard deviation," 25th European Signal Processing Conference (EUSIPCO), EURASIP, August 2017, p.1230-1234
 特許文献1および非特許文献1の方法では、信号対雑音比(SNR:Signal-to-Noise Ratio)が高い周波数帯域では、到達時間差の確率密度関数が鋭いピークを形成する。そのため、特許文献1および非特許文献1の方法によれば、高SNR帯域が少なくても精度よく到達時間差を推定することができる。しかしながら、特許文献1および非特許文献1の方法においては、周波数別の到達時間差の確率密度関数を重ね合わせる際に、音源が存在しなくても、偶然に位相が揃うことで重ね合わせた確率密度関数にピークが生成される。そのため、特許文献1および非特許文献1の方法には、虚像音源を誤推定してしまうという問題点があった。
 特許文献2の装置によれば、位相差分布を用いた音源方向の推定を少ない計算量で行うことができる。特許文献2の装置では、2つのマイクロフォンの間の位相差分布を、あらかじめ方向ごとに生成されたテンプレートと比較して、相似性が高い方向を音源の方向として推定する。しかしながら、特許文献2の装置には、音源が存在しなくても、偶然に位相差分布がテンプレートと相似した場合に、虚像音源を誤推定してしまうという問題点があった。
 本発明の目的は、上述した課題を解決し、虚像波源の誤推定の発生を低減し、高精度に波源の方向を推定することができる波源方向推定装置を提供することにある。
 本発明の一態様の波源方向推定装置は、複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する複数の入力部と、複数の入力信号のうち二つを組み合わせたペアを複数組選択する信号選択部と、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する相対遅延時間計算部と、ペアをなす入力信号とペアの相対遅延時間とを用いて周波数別推定方向情報をペアごとに生成し、生成したペアごとの周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、算出した寄与率に基づいて異なるペア間の寄与率の類似度に応じた波源方向ごとの重みを計算し、全てのペアの推定方向情報に重みをつけて統合することによって統合推定方向情報を生成する統合推定方向情報算出部とを備える。
 本発明の一態様の波源方向推定方法においては、情報処理装置が、複数のセンサによって検出される波動に基づく電気信号を入力信号として取得し、複数の入力信号のうち二つを組み合わせたペアを複数組選択し、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出し、ペアをなす入力信号とペアの相対遅延時間とを用いて周波数別推定方向情報をペアごとに生成し、生成したペアごとの周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、算出した寄与率に基づいて異なるペア間の寄与率の類似度に応じた波源方向ごとの重みを計算し、全てのペアの推定方向情報に重みをつけて統合することによって統合推定方向情報を生成する。
 本発明の一態様のプログラムは、複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する処理と、複数の入力信号のうち二つを組み合わせたペアを複数組選択する処理と、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する処理と、ペアをなす入力信号とペアの相対遅延時間とを用いて周波数別推定方向情報をペアごとに生成する処理と、生成したペアごとの周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出する処理と、算出した寄与率に基づいて異なるペア間の寄与率の類似度に応じた波源方向ごとの重みを計算する処理と、全てのペアの推定方向情報に重みをつけて統合することによって統合推定方向情報を生成する処理とをコンピュータに実行させる。
 本発明によれば、虚像波源の誤推定の発生を低減し、高精度に波源の方向を推定することができる波源方向推定装置を提供することが可能になる。
本発明の第1の実施形態に係る波源方向推定装置の構成の一例を示すブロック図である。 本発明の第1の実施形態に係る波源方向推定装置の相対遅延時間計算部の処理の一例について説明するための概念図である。 本発明の第1の実施形態に係る波源方向推定装置の相対遅延時間計算部の処理の別の一例について説明するための概念図である。 本発明の第1の実施形態に係る波源方向推定装置の推定方向情報・周波数寄与率生成部の構成の一例を示すブロック図である。 本発明の第1の実施形態に係る波源方向推定装置の推定方向情報・周波数寄与率生成部に含まれる周波数別クロススペクトル生成部の構成の一例を示すブロック図である。 本発明の第1の実施形態に係る波源方向推定装置の推定方向情報・周波数寄与率生成部が算出するマイクペアごとの推定方向情報の一例を示す概念図である。 本発明の第1の実施形態に係る波源方向推定装置の重み計算部が算出するマイクペアごとの周波数寄与率の一例を示す概念図である。 本発明の第1の実施形態に係る波源方向推定装置にセンサを追加した構成の一例を示すブロック図である。 本発明の第1の実施形態に係る波源方向推定装置の動作の概略について説明するためのフローチャートである。 本発明の第2の実施形態に係る波源方向推定装置の構成の一例を示すブロック図である。 本発明の第2の実施形態に係る波源方向推定装置の周波数別推定方向情報生成部の構成の一例を示すブロック図である。 本発明の第2の実施形態に係る波源方向推定装置の重み生成部の構成の一例を示すブロック図である。 本発明の第2の実施形態に係る波源方向推定装置の動作の概略について説明するためのフローチャートである。 本発明の第3の実施形態に係る波源方向推定装置の構成の一例を示すブロック図である。 本発明の第4の実施形態に係る波源方向推定装置の構成の一例を示すブロック図である。 本発明の各実施形態に係る波源方向推定装置を実現するハードウェア構成の一例を示すブロック図である。
 以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
 (第1の実施形態)
 まず、本発明の第1の実施形態に係る波源方向推定装置について図面を参照しながら説明する。以下においては、本実施形態の波源方向推定装置が、空気や水の振動波である音波の発生源(波源とも呼ぶ)の方向を推定する例について説明する。そのため、本実施形態の波源方向推定装置は、マイクロフォン(以下、マイクとも呼ぶ)によって電気信号に変換された音波の波源の方向を推定対象とする。なお、本実施形態の波源方向推定装置の推定対象は、音波の波源の方向に限定されず、振動波や電磁波などの任意の波動の波源の方向を推定することに使用できる。
 (構成)
 図1は、本実施形態の波源方向推定装置10の構成を示すブロック図である。波源方向推定装置10は、複数の入力端子11、信号選択部12、相対遅延時間計算部13、複数の推定方向情報・周波数寄与率生成部15、重み計算部16、および統合部17を備える。
 波源方向推定装置10は、p個の入力端子11を備える(pは2以上の整数)。また、波源方向推定装置10は、R個の推定方向情報・周波数寄与率生成部15を備える(Rは1以上の整数)。図1においては、個々の入力端子11を区別するために、符号の後にハイフンを挟んで1~pの番号を付す。同様に、図1においては、個々の推定方向情報・周波数寄与率生成部15を区別するために、符号の後にハイフンを挟んで1~Rの番号を付す。なお、推定方向情報・周波数寄与率生成部15の番号は、波源方向の推定に用いられるマイクのペア(以下、マイクペアとも呼ぶ)の番号を表す。
 〔入力端子〕
 複数の入力端子11-1~p(入力部とも呼ぶ)のそれぞれは、図示しないマイクに接続される。複数の入力端子11-1~pのそれぞれには、異なる位置に配置された複数のマイクによって集音された音波(音信号とも呼ぶ)から変換された電気信号が入力信号として入力される。以下において、時刻tにおいてm番目の入力端子11-mに入力した入力信号をxm(t)と記載する(t:実数、m:1以上p以下の整数)。
 マイクは、目標音源で発生した音と、そのマイクの周囲で発生した様々な雑音とが混ざり合った音波を集音する集音装置である。マイクは、集音した音波をデジタル信号(サンプル値系列とも呼ぶ)に変換する。複数のマイクは、目標音源からの音波を集音するために異なる位置に配置される。複数のマイクは、入力端子11-1~pのそれぞれに接続される。以下においては、m番目のマイクによって集音された音波から変換された入力信号は、m番目の入力端子11-mに供給されるものとする。また、m番目の入力端子11-mに供給された入力信号のことを「m番目のマイクの入力信号」とも呼ぶ。
 〔信号選択部〕
 信号選択部12は、入力端子11-1~pに供給されるp個の入力信号の中から2つの入力信号を選択する。信号選択部12は、選択した2つの入力信号を推定方向情報・周波数寄与率生成部15-1~Rのいずれかに出力し、それらの入力信号の供給元であるマイクの位置情報(以下、マイク位置情報とも呼ぶ)を相対遅延時間計算部13に出力する。
 推定方向情報・周波数寄与率生成部15の数Rは、入力信号の組み合わせの数Rに相当する。信号選択部12は、2個の入力信号を選択する際に、全ての組み合わせを選択してもよいし、一部の組み合わせを選択してもよい。全ての組み合わせを選択する場合、Rは以下の式1で表される。
Figure JPOXMLDOC01-appb-I000001
 波源方向推定装置10は、目標音源からの音波が2つのマイク(マイクペアとも呼ぶ)に到達する時間差を用いて音源の方向を推定する。2つのマイクの間隔(以下、マイク間隔とも呼ぶ)が大きすぎると、目標音源からの音が空気や水などの媒質の影響で同一の音として観測されないために方向推定精度が低下する。また、マイク間隔が小さすぎると、2つのマイクへの音波の到達時間差が小さくなりすぎるために方向推定精度が低下する。そのため、信号選択部12は、式2に示すように、マイク間隔dが一定の範囲内に収まるマイクペアの入力信号を組み合わせて選択するのがよい(dmin、dmax:実数)。
Figure JPOXMLDOC01-appb-I000002
 例えば、信号選択部12は、マイク間隔dが十分に小さい場合、マイク間隔dが最大の2つの入力信号を選択する。また、例えば、信号選択部12は、マイク間隔dが十分に小さい場合、マイク間隔dが大きい方から順に並べ、上位R位(r<C(p,2))までの入力信号の組み合わせを選択する。このように、複数のマイクからの入力信号のうち一部の組み合わせを選択することによって、方向推定精度の低下を防げるとともに、計算量を低減できる。
 〔相対遅延時間計算部〕
 相対遅延時間計算部13には、信号選択部12からマイク位置情報が入力される。相対遅延時間計算部13は、予め設定された音源探索対象方向(音源方向とも呼ぶ)と、マイク位置情報とを用いて、信号選択部12が選択した全てのマイクペアごとに相対遅延時間を算出する。相対遅延時間とは、2つのマイクのマイク間隔と、音源方向とに基づいて一意に定まる音波の到達時間差のことである。例えば、音源方向は、所定の角度刻みで設定される。すなわち、相対遅延時間計算部13は、設定された音源方向について相対遅延時間を計算する。相対遅延時間計算部13は、算出した音源方向と相対遅延時間とのセットを推定方向情報・周波数寄与率生成部15に出力する。
 相対遅延時間は、マイクペアの位置関係によって算出方法が異なる。以下において、マイクペアの位置関係を二つ挙げ、それらのマイクペアの位置関係ごとに相対遅延時間の算出方法を示す。
 図2は、3のマイクが同一直線上に配置される例である。ここで、音速をc、マイク間隔をdr、音源方向をθとする。音源方向θは、音源100の方向を推定するために設定される少なくとも一つの角である。このとき、音源方向θに対する相対遅延時間τr(θ)は、以下の式3を用いて計算できる。
Figure JPOXMLDOC01-appb-I000003
 マイク間隔dは、信号選択部12によって選択される入力信号の組み合わせにより異なる。すなわち、相対遅延時間τr(θ)は、組み合わせ番号rごとに異なる。例えば、マイクペアABのマイク間隔をd1とすると、マイクペアABの相対遅延時間τ1(θ)は、以下の式4を用いて計算できる。
Figure JPOXMLDOC01-appb-I000004
 また、図2のマイクペアACのマイク間隔をd2とすると、マイクペアACの相対遅延時間τ2(θ)は、以下の式5を用いて計算できる。
Figure JPOXMLDOC01-appb-I000005
 このように、全てのマイクが同一直線上に位置する場合、ある音源100に関する相対遅延時間τr(θ)はマイク間隔dに比例するが、音源方向θはどのマイクから見ても同一とみなせる。
 図3は、二組のマイクペアが互いに直交する直線上に配置される例である。図3の例では、音源方向θがマイクペアによって異なる。マイクペアABの相対遅延時間τ1(θ)は、以下の式6を用いて計算できる。
Figure JPOXMLDOC01-appb-I000006
 一方、図3のマイクペアCDの相対遅延時間τ2(θ)は、以下の式7で計算できる。
Figure JPOXMLDOC01-appb-I000007
 このように、あるマイクペアを基準とする別のマイクペアの相対遅延時間τ(θ)は、基準のマイクペアから見た音源方向θの関数として、以下の式8のように一般化できる。なお、基準とするマイクペアはどれを選んでもかまわない。
Figure JPOXMLDOC01-appb-I000008
 相対遅延時間計算部13は、設定された全ての音源探索対象方向に対して相対遅延時間を計算する。例えば、相対遅延時間計算部13は、音源方向の探索範囲が10度刻みで0度から90度の場合、0度、10度、20度、・・・、90度の10種類の音源方向に関して相対遅延時間を計算する。そして、相対遅延時間計算部13は、音源探索対象方向と相対遅延時間とを推定方向情報・周波数寄与率生成部15に出力する。ただし、音源方向の探索範囲を刻む単位は、求める精度に応じて任意に設定できる。目標音源の方向を高精度で求める場合には、音源方向の探索範囲を細かく刻めばよい。
 〔推定方向情報・周波数寄与率生成部〕
 推定方向情報・周波数寄与率生成部15-1~Rのそれぞれには、信号選択部12によって選択された全マイクペアのうち1組のマイクペアの入力信号が入力される。また、推定方向情報・周波数寄与率生成部15-1~Rのそれぞれには、入力信号の供給元のマイクペアの相対遅延時間が相対遅延時間計算部13から入力される。推定方向情報・周波数寄与率生成部15-1~Rのそれぞれは、1組のマイクペアの入力信号と相対遅延時間とを用いて、そのマイクペアの入力信号間の推定方向情報と周波数寄与率とを生成する。推定方向情報・周波数寄与率生成部15-1~Rは、推定方向情報を統合部17に出力し、周波数寄与率を重み計算部16に出力する。
 ここで、図4を参照しながら、推定方向情報・周波数寄与率生成部15の詳細な構成について説明する。図4は、推定方向情報・周波数寄与率生成部15の構成の一例を示すブロック図である。推定方向情報・周波数寄与率生成部15は、変換部151、クロススペクトル計算部152、平均計算部153、分散計算部154、周波数別クロススペクトル生成部155、逆変換部156、および周波数別推定方向情報計算部157を備える。さらに、推定方向情報・周波数寄与率生成部15は、周波数寄与率計算部158および周波数統合部159を備える。
 〔変換部〕
 変換部151には、信号選択部12から1組のマイクペアの入力信号(入力信号Aおよび入力信号B)が入力される。変換部151は、信号選択部12から供給された2つの入力信号を周波数領域の変換信号に変換する。変換部151は、入力信号を複数の周波数成分に分解するための変換を行う。例えば、変換部151は、フーリエ変換を用いて、入力信号を複数の周波数成分に分解する。変換部151は、クロススペクトル計算部152に変換信号を出力する。
 例えば、変換部151には2種類の入力信号xm(t)が入力される。ただし、mは、入力端子11の番号である。変換部151は、入力端子11から供給された入力信号から、適当な長さの波形を一定の周期でずらしながら切り出す。このように切り出された信号区間をフレーム、切り出された波形の長さをフレーム長、フレームをずらす周期をフレーム周期と呼ぶ。そして、変換部151は、フーリエ変換を用いて、切り出された信号を周波数領域信号に変換する。ここで、nをフレーム番号とし、切り出される入力信号をxm(t,n)とする(t=0、1、・・・、K―1)。このとき、変換部151は、以下の式9を用いて入力信号x(t,n)のフーリエ変換Xm(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000009
 なお、上記の式9において、jは虚数単位、expは指数関数、Kは整数である。また、kは、周波数ビン番号を表し、0以上K-1以下の整数である。なお、以下において、kのことを周波数ビン番号ではなく、周波数とも呼ぶ。
 〔クロススペクトル計算部〕
 クロススペクトル計算部152には、変換部151から変換信号が入力される。クロススペクトル計算部152は、変換部151から供給される変換信号を用いてクロススペクトルを計算する。クロススペクトル計算部152は、算出したクロススペクトルを平均計算部153に出力する。
 例えば、クロススペクトル計算部152は、変換信号X2(k,n)の複素共役と変換信号X1(k,n)との積を計算してクロススペクトルを計算する。ここで、変換信号のクロススペクトルをS12(k,n)とする。このとき、クロススペクトル計算部152は、以下の式10を用いてクロススペクトルS12(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000010
 なお、式10において、conj(X2(k,n))は変換信号X2(k,n)の複素共役を表す。また、式10ではなく、振幅成分で正規化したクロススペクトルを用いてもよい。振幅成分で正規化する場合、クロススペクトル計算部152は、以下の式11を用いてクロススペクトルS12(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000011
 〔平均計算部〕
 平均計算部153には、クロススペクトル計算部152からクロススペクトルが入力される。平均計算部153は、クロススペクトル計算部152から供給されたクロススペクトルの平均(平均クロススペクトルとも呼ぶ)を計算する。平均計算部153は、算出した平均クロススペクトルを周波数別クロススペクトル生成部155に出力する。
 ここで、平均計算部153が過去に入力されたクロススペクトルから周波数ビンごとに平均クロススペクトルを計算する例について説明する。なお、平均計算部153は、周波数ビン単位ではなく、複数の周波数ビンを束ねたサブバンド単位で平均クロススペクトルを計算してもよい。ここで、第nフレームの周波数ビンkにおけるクロススペクトルをS12(k,n)とする、このとき、平均計算部153は、以下の式12を用いて、過去Lフレームから平均クロススペクトルSS12(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000012
 また、平均計算部153は、以下の式13のリーク積分を用いて平均クロススペクトルSS12(k,n)を計算してもよい。ただし、式13において、αは、0よりも大きく、1よりも小さい実数である。
Figure JPOXMLDOC01-appb-I000013
 〔分散計算部〕
 分散計算部154には、平均計算部153から平均クロススペクトルが入力される。分散計算部154は、平均計算部153から供給された平均クロススペクトルを用いて分散を計算する。分散計算部154は、算出した分散を周波数別クロススペクトル生成部155に出力する。
 ここで、平均クロススペクトルをSS12(k,n)とする。このとき、クロススペクトルの位相の分散の計算において円周分散を用いた場合、分散計算部154は、以下の式14を用いて分散V12(k,n)を計算する。
Figure JPOXMLDOC01-appb-I000014
 なお、分散計算部154は、以下の式15を用いて分散V12(k,n)を計算してもよい。
Figure JPOXMLDOC01-appb-I000015
 また、分散計算部154は、円周標準偏差を用いる場合、以下の式16を用いて分散V12(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000016
 〔周波数別クロススペクトル生成部〕
 周波数別クロススペクトル生成部155には、平均計算部153から平均クロススペクトルが入力され、分散計算部154から分散が入力される。周波数別クロススペクトル生成部155は、平均クロススペクトルと分散とを用いて平均クロススペクトルの周波数に対応するクロススペクトル(周波数別クロススペクトルとも呼ぶ)を計算する。周波数別クロススペクトル生成部155は、算出した周波数別クロススペクトルを逆変換部156に出力する。
 ここで、周波数別クロススペクトル生成部155の構成について図面を参照しながら説明する。図5は、周波数別クロススペクトル生成部155の構成の一例を示すブロック図である。図5のように、周波数別クロススペクトル生成部155は、周波数別基本クロススペクトル計算部551、カーネル関数スペクトル生成部552、および乗算部553を有する。
 〔周波数別基本クロススペクトル計算部〕
 周波数別基本クロススペクトル計算部551には、平均計算部153から平均クロススペクトルが入力される。周波数別基本クロススペクトル計算部551は、平均計算部153から供給される平均クロススペクトルを用いて、平均クロススペクトルの各周波数に対応するクロススペクトル(周波数別基本クロススペクトルとも呼ぶ)を計算する。周波数別基本クロススペクトル計算部551は、算出した周波数別基本クロススペクトルを乗算部553に出力する。周波数別基本クロススペクトルは、周波数成分ごとに相関関数を計算するために算出される。周波数別基本クロススペクトル計算部551は、ある周波数に対応する相関関数(周波数別相互相関関数とも呼ぶ)を後段で求めるための周波数別基本クロススペクトルを計算する。
 ここで、周波数別基本クロススペクトル計算部551が周波数kの周波数別基本クロススペクトルを計算する例について詳細に説明する。周波数別基本クロススペクトル計算部551は、周波数kの平均クロススペクトルSS12(k,n)を用いて周波数別基本クロススペクトルを計算する際、位相成分と振幅成分とを予め別々に求めた後に統合する。周波数kの周波数別基本クロススペクトルをUk(w,n)、その振幅成分を|Uk(w,n)|、その位相成分をarg(Uk(w,n))とすると、以下の式17の関係が成り立つ。ただし、式17において、wは、周波数を表し、0以上W-1以下の整数である(Wは整数)。
Figure JPOXMLDOC01-appb-I000017
 以下において、周波数別基本クロススペクトル計算部551が、周波数kの平均クロススペクトルSS12(k,n)を用いて、周波数別基本クロススペクトルの振幅成分|Uk(w,n)|および位相成分arg(Uk(w,n))を求める方法について説明する。
 kの定数倍の周波数の振幅成分|Uk(w,n)|には1.0が用いられる。一方、kの定数倍以外の周波数の位相成分はゼロにする。これを数式で表現すると、振幅成分|Uk(w,n)|は以下の式18で与えられる。ただし、式18において、pは1以上P以下の整数である(Pは整数)。
Figure JPOXMLDOC01-appb-I000018
 波源方向推定を行うときに重要な情報は位相成分であるため、式18においては、振幅成分に適当な定数を用いている。なお、kの定数倍の周波数の振幅成分|Uk(w,n)|として、1.0の代わりに周波数kの平均クロススペクトルの絶対値|SS12(k,n)|を用いてもよい。すなわち、周波数別基本クロススペクトル計算部551は、以下の式19を用いて振幅成分|Uk(w,n)|を求めてもよい。
Figure JPOXMLDOC01-appb-I000019
 kを定数倍した周波数の位相成分arg(Uk(w,n))には、周波数kの平均クロススペクトルSS12(k,n)を定数倍したものを用いる。例えば、周波数k、2k、3k、および4kの位相成分には、周波数kの位相成分arg(SS12(k,n))のそれぞれを同一の倍率で整数倍したものが用いられる。すなわち、周波数k、2k、3k、および4kの位相成分のそれぞれには、arg(SS12(k,n))、2arg(SS12(k,n))、3arg(SS12(k,n))、4arg(SS12(k,n))が用いられる。一方、kの定数倍以外の周波数の位相成分はゼロにする。したがって、周波数kに対応する周波数別基本クロススペクトルの位相成分arg(Uk(w,n))は、以下の式20を用いて計算される。なお、pは1以上P以下の整数である(P>1)。
Figure JPOXMLDOC01-appb-I000020
 周波数別基本クロススペクトル計算部551は、式18や式19を用いて算出される振幅成分と、式20を用いて算出される位相成分とを、式17を用いて統合し、周波数kの周波数別基本クロススペクトルUk(w,n)を計算する。
 これまで説明してきた方法では、振幅成分と位相成分を別々に求めてから周波数別基本クロススペクトルを算出した。しかし、以下の式21に示すクロススペクトルのべき乗を用いれば、振幅成分と位相成分とを求めることなく、周波数別基本クロススペクトルUk(w,n)を求めることができる。
Figure JPOXMLDOC01-appb-I000021
 〔カーネル関数スペクトル生成部〕
 カーネル関数スペクトル生成部552には、分散計算部154から分散が入力される。カーネル関数スペクトル生成部552は、分散計算部154から供給される分散を用いてカーネル関数スペクトルを算出する。カーネル関数スペクトルとは、カーネル関数をフーリエ変換し、その絶対値を取ったものである。なお、カーネル関数スペクトルには、カーネル関数をフーリエ変換し、その二乗を取ったものとしてもよい。また、カーネル関数スペクトルには、カーネル関数をフーリエ変換し、その絶対値の二乗を取ったものを用いてもよい。カーネル関数スペクトル生成部552は、算出したカーネル関数スペクトルを乗算部553に出力する。
 ここで、カーネル関数スペクトルをG(w)、カーネル関数をg(τ)とし、カーネル関数としてガウス関数を用いる例を挙げる。このとき、ガウス関数は、以下の式22で与えられる。
Figure JPOXMLDOC01-appb-I000022
 ただし、式22において、g1、2、およびg3は正の実数である。g1はガウス関数の大きさを制御し、g2はガウス関数のピークの位置を制御し、g3はガウス関数の広がりを制御する。ガウス関数の広がりを調整するg3は、周波数別相互相関関数のピークの鋭さに影響を与える。すなわち、式22は、g3が大きくなればガウス関数の広がりが大きくなることを示す。
 また、以下の式23のロジスティック分布の確率密度関数をカーネル関数として用いてもよい。ただし、式23において、g4とg5は正の実数である。
Figure JPOXMLDOC01-appb-I000023
 ロジスティック分布の確率密度関数は、ガウス関数と同様の形状をしているが、ガウス関数よりも裾が長い。ロジスティック分布の確率密度関数の広がりを調整するg5は、式22のガウス関数におけるg3と同様に、周波数別相互相関関数のピークの鋭さに影響を与えるパラメータである。また、ガウス関数やロジスティック分布の確率密度関数の他に、コサイン関数や一様関数をカーネル関数に用いてもよい。
 カーネル関数のパラメータのうち、カーネル関数の広がりに影響を与えるg3やg5は、分散計算部154から入力される分散を用いて決定される。ここで、g3やg5のように、カーネル関数の広がりに影響を与えるパラメータのことを広がり制御パラメータと呼び、q(k,n)と表現する。カーネル関数がガウス関数の場合には、g3がq(k,n)である。分散が小さければ、周波数別相互相関関数のピークが鋭く、裾が狭くなるようにパラメータを変化させる。この場合、広がり制御パラメータを小さくする。
 広がり制御パラメータは、予め設定した写像関数を用いて分散の値を変換することによって算出できる。例えば、分散がある閾値を上回れば広がり制御パラメータを大きな値(例えば10)にし、分散がある閾値を下回れば小さな値(例えば0.01)に設定する。ここで、分散をV12(k,n)とし、閾値をpthとする。このとき、第nフレームの周波数ビンkにおける広がり制御パラメータq(k,n)は、以下の式24を用いて計算できる。ただし、式24において、q1およびq2は、q1>q2を満たす正の実数である。
Figure JPOXMLDOC01-appb-I000024
 また、広がり制御パラメータq(k,n)は、以下の式25のように一次関数を用いて計算してもよい。ただし、式25において、q3は正の実数であり、q4は実数である。
Figure JPOXMLDOC01-appb-I000025
 q3、4としては、例えば、以下の式26および式27で示す値を用いてもよい。
Figure JPOXMLDOC01-appb-I000026

Figure JPOXMLDOC01-appb-I000027
Lは平均計算部153が平均クロススペクトルを求める際に平均化したフレーム数を表す。平均クロススペクトルの誤差は平均化フレーム数Lに反比例するため、式26および式27を用いることで、平均クロススペクトルの誤差(信頼性)を考慮して広がり制御パラメータを求めることができる。
 また、線形写像関数や高次の多項式関数、非線形関数などで表される分散の関数を分散の計算に用いることも可能である。また、分散をそのまま広がり制御パラメータにしてもよい。
 広がり制御パラメータを求める関数は、分散だけでなく、周波数kの関数としてもよい。例えば、周波数kが大きくなるにつれて小さくなる関数を用いることができる。このような代表例としては、kの逆数を用いる例が挙げられる。この場合、式24の代わりに、以下の式28の関数を用いて広がり制御パラメータq(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000028
 また、式25の代わりとして、以下の式29の関数を用いて広がり制御パラメータq(k,n)を計算できる。
Figure JPOXMLDOC01-appb-I000029
 〔乗算部〕
 乗算部553には、周波数別基本クロススペクトル計算部551から周波数別基本クロススペクトルが入力され、カーネル関数スペクトル生成部552からカーネル関数スペクトルが入力される。乗算部553は、周波数別基本クロススペクトル計算部551から供給される周波数別基本クロススペクトルと、カーネル関数スペクトル生成部552から供給されるカーネル関数スペクトルとの積を計算し、周波数別クロススペクトルを算出する。乗算部553は、算出した周波数別クロススペクトルを逆変換部156に出力する。
 ここで、周波数別基本クロススペクトル計算部551から供給される周波数別基本クロススペクトルをUk(w,n)、カーネル関数スペクトル生成部552から供給されるカーネル関数スペクトルをG(w)とする。このとき、乗算部553は、以下の式30を用いて周波数別クロススペクトルUMk(w,n)を計算する。
Figure JPOXMLDOC01-appb-I000030
 〔逆変換部〕
 逆変換部156には、周波数別クロススペクトル生成部155の乗算部553から周波数別クロススペクトルが入力される。例えば、変換部151がフーリエ変換を用いて変換を行う場合、逆変換部156は逆フーリエ変換を用いて逆変換を行う。逆変換部156は、周波数別クロススペクトル生成部155から供給された周波数別クロススペクトルの逆変換を求める。
 ここで、周波数別クロススペクトル生成部155から供給される周波数別クロススペクトルをUMk(w,n)とする。このとき、逆変換部156は、以下の式31を用いてUMk(w,n)を逆変換して周波数別相互相関関数uk(τ,n)を計算する。
Figure JPOXMLDOC01-appb-I000031
 〔周波数別推定方向情報計算部〕
 周波数別推定方向情報計算部157には、逆変換部156から周波数別相互相関関数が入力され、相対遅延時間計算部13から相対遅延時間が入力される。周波数別推定方向情報計算部157は、逆変換部156から供給された周波数別相互相関関数と、相対遅延時間計算部13から供給された相対遅延時間とを用いて、方向と相関値との対応関係を周波数別推定方向情報として求める。周波数別推定方向情報計算部157は、求めた周波数別推定方向情報を統合部17に出力する。
 ここで、周波数別相互相関関数をuk(τ,n)とし、相対遅延時間をτr(θ)とする。このとき、周波数別推定方向情報計算部157は、以下の式32を用いて周波数別推定方向情報Hk,r(θ,n)を算出する。
Figure JPOXMLDOC01-appb-I000032
 式32を用いれば、各方向θに対して相関値が定まるので、相関値が高い方向に音源が存在する可能性が高いと判断できる。
 〔周波数寄与率計算部〕
 周波数寄与率計算部158には、周波数別推定方向情報計算部157から周波数別推定方向情報が入力される。周波数寄与率計算部158は、周波数別推定方向情報計算部157から供給された周波数別推定方向情報に基づいて、音源方向ごとの推定方向情報に対する周波数別の寄与率(周波数寄与率とも呼ぶ)を計算する。周波数寄与率計算部158は、算出した周波数寄与率を重み計算部16に出力する。
 例えば、周波数寄与率計算部158は、以下の式33を用いて、音源方向θがθ’のときの周波数k’の周波数寄与率yθ’,k’,r(n)を計算する。
Figure JPOXMLDOC01-appb-I000033
 全ての音源方向θおよび全ての周波数kについて、式33で表記される周波数寄与率yθ’,k’,r(n)を求めると、周波数寄与率はyθ,r(k,n)と書き換えられる。
 〔周波数統合部〕
 周波数統合部159には、周波数別推定方向情報計算部157から周波数別推定方向情報が入力される。周波数統合部159は、周波数別推定方向情報計算部157から供給された周波数別推定方向情報を統合する。すなわち、周波数統合部159は、周波数(周波数ビン番号)ごとに別々に算出された周波数別推定方向情報を一つに統合することによって、統合された推定方向情報を生成する。例えば、周波数統合部159は、個別に求めた複数の周波数別推定方向情報を合成したり、重ね合わせたりすることにより、一つの推定方向情報に統合する。周波数統合部159は、統合された推定方向情報を統合部17に出力する。
 例えば、周波数統合部159は、周波数別推定方向情報Hk,r(θ,n)の総和を計算することによって統合する。この場合、周波数統合部159は、以下の式34を用いて推定方向情報Hk(θ,n)を計算する。
Figure JPOXMLDOC01-appb-I000034
 また、例えば、周波数統合部159は、周波数別推定方向情報Hk,r(θ,n)の総乗を計算することによって統合してもよい。この場合、周波数統合部159は、以下の式35を用いて推定方向情報Hr(θ,n)を計算する。
Figure JPOXMLDOC01-appb-I000035
 〔重み計算部〕
 重み計算部16には、推定方向情報・周波数寄与率生成部15-1~Rのそれぞれの周波数寄与率計算部158から周波数寄与率が入力される。重み計算部16は、推定方向情報・周波数寄与率生成部15-1~Rから供給される周波数寄与率に基づいて、マイクペア間の周波数寄与率(単に寄与率とも呼ぶ)の類似度に応じた音源方向ごとの重みを計算する。重み計算部16は、算出した音源方向ごとの重みを統合部17に出力する。
 ここで、3つのマイクによって方向推定する例における重み算出方法について図面を参照しながら説明する。図6は、推定方向情報・周波数寄与率生成部15が、マイクA、マイクB、およびマイクCに関して算出する全てのマイクペア(AB、BC、AC)の推定方向情報の一例である。図7は、音源方向θがθ’の場合のマイクペアごとの周波数寄与率を示す。重み計算部16は、異なるマイクペアの寄与率が類似している方向θほど大きくなるような重みを計算する。
 例えば、重み計算部16は、マイクペアABの周波数寄与率yθ,AB(k,n)およびマイクペアBCの周波数寄与率yθ,BC(k,n)を以下の式36に適用して2つのマイクペア間の類似度vθ,AB-BC(n)を計算する。
Figure JPOXMLDOC01-appb-I000036
 上記の式36を一般化すると、重み計算部16は、マイクペアriの周波数寄与率yθ,ri(k,n)とマイクペアrjの周波数寄与率yθ,rj(k,n)との類似度vθ,r'(n)を以下の式37に適用して算出できる。
Figure JPOXMLDOC01-appb-I000037
 なお、式37において、r’は、マイクペアriとマイクペアrjとの組み合わせ番号を表す。マイクペアriの周波数寄与率yθ,ri(k,n)と、マイクペアrの周波数寄与率yθ,rj(k,n)とが一致する場合、式37で表される類似度vθ,r'(n)は最大値1となる。
 例えば、重み計算部16は、以下の式38を用いて、類似度vθ,r'(n)の相乗平均から音源方向θごとの重みaθを計算する。
Figure JPOXMLDOC01-appb-I000038
 また、例えば、重み計算部16は、以下の式39を用いて、類似度vθ,r'(n)の相加平均から音源方向θごとの重みaθ(n)を計算できる。
Figure JPOXMLDOC01-appb-I000039
 上述のように計算される重みは、全てのマイクペアの類似度が高いほど大きくなる。
 〔統合部〕
 統合部17には、推定方向情報・周波数寄与率生成部15-1~Rから推定方向情報が入力され、重み計算部16から重みが入力される。統合部17は、推定方向情報・周波数寄与率生成部15-1~Rから供給されるマイクペアごとの推定方向情報を全てのマイクペアについて統合し、統合した推定方向情報に重み計算部16から供給される重みをつけた統合推定方向情報を生成する。統合部17は、マイクペアごとの推定方向情報の総和や総乗を取ることで統合し、統合した推定方向情報に重みを掛けることによって統合推定方向情報を生成する。統合部17は、生成した統合推定方向情報を出力する。例えば、統合部17は、上位システム(図示しない)に統合推定方向情報を出力する。
 例えば、統合部17は、以下の式40を用いて、重みaθ(n)と推定方向情報Hr(θ,n)の総乗との積を統合推定方向情報H(θ,n)として算出する。
Figure JPOXMLDOC01-appb-I000040
 以上が、本実施形態の波源方向推定装置10の構成についての説明である。
 なお、図8のように、波源方向推定装置10にマイクなどのセンサ110を少なくとも一つ追加した構成も本実施形態の範囲に含まれる。それぞれのセンサ110は、インターネットやイントラネットなどネットワークや、ケーブルを介して、波源方向推定装置10のいずれかの入力端子11に接続される。
 例えば、センサ110は、音波を検出する場合、マイクロフォンによって実現される。例えば、センサ110は、振動波を検出する場合、振動センサによって実現される。例えば、センサ110は、電磁波を検出する場合、アンテナによって実現される。なお、センサ110は、検知対象の波動を電気信号に変換できるものであれば、その形態に限定を加えない。
 (動作)
 次に、本実施形態の波源方向推定装置10の動作の概略について図面を参照しながら説明する。図9は、波源方向推定装置10の動作の概略について説明するためのフローチャートである。なお、図9のフローチャートに沿った説明においては、波源方向推定装置10を動作の主体として説明する。
 図9において、まず、波源方向推定装置10は、複数のマイクから入力信号を取得する(ステップS11)。
 次に、波源方向推定装置10は、複数のマイクのそれぞれに対応する入力信号から2つの入力信号を選択する(ステップS12)。すなわち、波源方向推定装置10は、複数のマイクの中から2つのマイクを選択してマイクペアとする。ここでは、波源方向推定装置10は、複数のマイクペアを選択する。
 次に、波源方向推定装置10は、選択された2つの入力信号の供給元である2つのマイクの間隔(マイク間隔とも呼ぶ)と、設定された音源探索対象方向(音源方向とも呼ぶ)とを用いてマイクペアごとに相対遅延時間を算出する(ステップS13)。
 次に、波源方向推定装置10は、選択されたマイクペアの入力信号と相対遅延時間とを用いて、そのマイクペアの入力信号間の推定方向情報と周波数寄与率とを生成する(ステップS14)。すなわち、波源方向推定装置10は、推定方向情報と周波数寄与率とをマイクペアごとに生成する。
 次に、波源方向推定装置10は、マイクペア間の周波数寄与率の類似度に応じた音源方向ごとの重みを算出する(ステップS15)。
 次に、波源方向推定装置10は、マイクペアごとの推定方向情報に重みを付けて統合することで統合推定方向情報を算出する(ステップS16)。
 そして、波源方向推定装置10は、統合推定方向情報を出力する(ステップS17)。
 以上が、波源方向推定装置10の動作の概略についての説明である。
 以上のように、本実施形態の波源方向推定装置は、複数の入力部、信号選択部、相対遅延時間計算部、複数の推定方向情報・周波数寄与率生成部、重み計算部、および統合部を備える。
 入力部は、複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する。
 信号選択部は、複数の入力信号のうち二つを組み合わせたペアを複数組選択する。
 相対遅延時間計算部は、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する。
 推定方向情報・周波数寄与率生成部は、信号選択部によって選択された全てのペアのうち1組のペアをなす二つの入力信号を取得するとともに、取得したペアの相対遅延時間を取得する。推定方向情報・周波数寄与率生成部は、ペアをなす二つの入力信号間の周波数別相互相関関数とペアの相対遅延時間とを用いて、ペアをなす二つの入力信号間の推定方向情報と周波数別の寄与率とを生成する。
 重み計算部は、複数の推定方向情報・周波数寄与率生成部から周波数ごとの寄与率を取得し、異なるペア間の寄与率の類似度に応じて波源方向ごとの重みを計算する。
 統合部は、複数の推定方向情報・周波数寄与率生成部から推定方向情報を取得するとともに、重み計算部から重みを取得し、複数のペアごとの推定方向情報に重みをつけて統合して統合推定方向情報を生成する。
 例えば、推定方向情報・周波数寄与率生成部は、変換部、クロススペクトル計算部、平均計算部、分散計算部、周波数別クロススペクトル生成部、逆変換部、周波数別推定方向情報計算部、周波数統合部、および周波数寄与率計算部を備える。変換部は、ペアをなす二つの入力信号を周波数領域の変換信号に変換する。クロススペクトル計算部は、変換部によって変換された変換信号を用いてクロススペクトルを計算する。平均計算部は、クロススペクトル計算部によって算出されるクロススペクトルを用いて平均クロススペクトルを計算する。分散計算部は、平均計算部によって算出される平均クロススペクトルを用いて分散を計算する。周波数別クロススペクトル生成部は、平均計算部によって算出される平均クロススペクトルと、分散計算部によって算出される分散とを用いて周波数別クロススペクトルを計算する。逆変換部は、周波数別クロススペクトル生成部によって算出される周波数クロススペクトルを逆変換して周波数別相互相関関数を計算する。周波数別推定方向情報計算部は、ペアの周波数別相互相関関数と相対遅延時間とに基づいて波源方向と相関値との対応関係である周波数別推定方向情報を計算する。周波数統合部は、周波数別推定方向情報を統合して推定方向情報を計算する。周波数寄与率計算部は、周波数別推定方向情報に基づいて波源方向ごとの推定方向情報に対する周波数別の寄与率を計算する。
 例えば、重み計算部は、複数のペア間において寄与率の類似度を計算し、算出した類似度に基づいて波源方向ごとの重みを計算する。
 本実施形態の波源方向推定装置は、マイクペアごとの入力信号の相互相関関数から推定方向情報を求め、複数のマイクペア間で推定方向情報を統合する。その結果、本実施形態の波源方向推定装置によれば、あるマイクペア間で偶然位相が揃うことで発生しうる、音源方向以外の方向の推定方向情報の偽ピークが小さくなるため、虚像音源を誤推定することなく、高精度に音源の方向を推定することができる。
 (第2の実施形態)
 次に、本発明の第2の実施形態に係る波源方向推定装置について図面を参照しながら説明する。
 図10は、本実施形態の波源方向推定装置20の構成の一例を示すブロック図である。図10のように、波源方向推定装置20は、複数の入力端子21、信号選択部22、相対遅延時間計算部23、複数の周波数別推定方向情報生成部25、重み生成部26、および統合部27を備える。以下において、第1の実施形態の波源方向推定装置10と同様の構成・動作については説明を省略する場合がある。
 〔入力端子〕
 複数の入力端子21-1~p(入力部とも呼ぶ)のそれぞれは、図示しないマイクに接続される(pは2以上の整数)。複数の入力端子21-1~pのそれぞれには、異なる位置に配置されたマイクによって集音された音波(音信号とも呼ぶ)から変換された電気信号が入力信号として入力される。なお、入力端子21-1~pは、第1の実施形態の入力端子21-1~pと同様であるため、詳細な説明は省略する。
 〔信号選択部〕
 信号選択部22は、入力端子21-1~pに供給されるp個の入力信号のうちの2つの入力信号を選択する。信号選択部22は、選択した2つの入力信号を周波数別推定方向情報生成部25-1~Rに出力し、それらの入力信号の供給元であるマイクの位置情報(以下、マイク位置情報とも呼ぶ)を相対遅延時間計算部23に出力する(Rは1以上の整数)。なお、信号選択部22は、第1の実施形態の信号選択部12と同様であるため、詳細な説明は省略する。
 〔相対遅延時間計算部〕
 相対遅延時間計算部23には、信号選択部22からマイク位置情報が入力される。相対遅延時間計算部23は、予め設定された音源探索対象方向(音源方向とも呼ぶ)と、マイク位置情報とを用いて、信号選択部22が選択した全てのマイクペアごとに相対遅延時間を計算する。相対遅延時間計算部23は、設定された音源方向と相対遅延時間とをセットにして周波数別推定方向情報生成部25に出力する。なお、相対遅延時間計算部23は、第1の実施形態の相対遅延時間計算部13と同様であるため、詳細な説明は省略する。
 〔周波数別推定方向情報生成部〕
 周波数別推定方向情報生成部25-1~Rのそれぞれには、信号選択部22によって選択された全マイクペアのうち1組のマイクペアの入力信号が入力される。また、周波数別推定方向情報生成部25-1~Rのそれぞれには、入力信号の供給元のマイクペアの相対遅延時間が相対遅延時間計算部23から入力される。周波数別推定方向情報生成部25-1~Rのそれぞれは、1組のマイクペアの入力信号と相対遅延時間とを用いて、そのマイクペアごとに周波数別推定方向情報を生成する。周波数別推定方向情報生成部25-1~Rは、生成したマイクペアごとの周波数別推定方向情報を重み生成部26および統合部27に出力する。
 ここで、図11を参照しながら、周波数別推定方向情報生成部25の詳細な構成について説明する。図11は、周波数別推定方向情報生成部25の構成の一例を示すブロック図である。周波数別推定方向情報生成部25は、変換部251、クロススペクトル計算部252、平均計算部253、分散計算部254、周波数別クロススペクトル生成部255、逆変換部256、および周波数別推定方向情報計算部257を備える。すなわち、周波数別推定方向情報生成部25は、第1の実施形態の推定方向情報・周波数寄与率生成部15から周波数統合部159および周波数寄与率計算部158を省いた構成を有する。なお、変換部251、クロススペクトル計算部252、平均計算部253、分散計算部254、周波数別クロススペクトル生成部255、逆変換部256、および周波数別推定方向情報計算部257は、第1の実施形態の対応する構成と同様である。そのため、変換部251、クロススペクトル計算部252、平均計算部253、分散計算部254、周波数別クロススペクトル生成部255、逆変換部256、および周波数別推定方向情報計算部257についての詳細な説明は省略する。
 〔重み生成部〕
 重み生成部26には、周波数別推定方向情報生成部25-1~Rのそれぞれからマイクペアごとの周波数別推定方向情報が入力される。重み生成部26は、周波数別推定方向情報生成部25-1~Rのそれぞれから供給されるマイクペアごとの周波数別推定方向情報を用いて、推定方向情報がピークをもつ音源方向ごとの重みを計算する。重み生成部26は、算出した音源方向ごとの重みを統合部27に出力する。
 ここで、図12を参照しながら、重み生成部26の詳細な構成について説明する。図12は、重み生成部26の構成の一例を示すブロック図である。重み生成部26は、複数の周波数統合部261-1~R、複数の波源方向候補選出部262-1~R、波源方向候補統合部263、複数の波源方向候補別周波数寄与率計算部264-1~R、および重み計算部265を有する。周波数統合部261-1~R、波源方向候補選出部262-1~R、および波源方向候補別周波数寄与率計算部264-1~Rのそれぞれは、いずれかのマイクペアに対応する。そのため、周波数統合部261-1~R、波源方向候補選出部262-1~R、および波源方向候補別周波数寄与率計算部264-1~Rのそれぞれには、マイクペアの番号(1~R)を付す。
 〔周波数統合部〕
 周波数統合部261-1~Rのそれぞれには、周波数別推定方向情報生成部25-1~Rのそれぞれから周波数別推定方向情報が入力される。周波数統合部261-1~Rのそれぞれは、周波数別推定方向情報生成部25-1~Rのそれぞれから供給される周波数別推定方向情報を統合し、推定方向情報を計算する。なお、周波数統合部261の動作は、第1の実施形態の周波数統合部159と同様であるため、詳細な説明は省略する。周波数統合部261-1~Rのそれぞれは、算出した推定方向情報を波源方向候補選出部262-1~Rのそれぞれに出力する。
 〔波源方向候補選出部〕
 波源方向候補選出部262-1~Rのそれぞれには、周波数統合部261-1~Rのそれぞれから推定方向情報が入力される。波源方向候補選出部262-1~Rのそれぞれは、周波数統合部261-1~Rのそれぞれから供給される推定方向情報からピークを検出し、ピークの方向を波源方向候補として選出する。波源方向候補選出部262-1~Rのそれぞれは、選出した波源方向候補を波源方向候補統合部263に出力する。
 例えば、波源方向候補選出部262は、推定方向情報が極大値を取る音源方向θを波源方向候補として選出する。また、例えば、波源方向候補選出部262は、音源数が3つと事前に仮定できる場合には、推定方向情報が大きい順に3つのピークを選別し、それら3つの値を取る音源方向θを波源方向候補として選出してもよい。特に、波源方向候補選出部262は、音源数が1つと事前に仮定できる場合には、推定方向情報が最大値となる音源方向θを波源方向候補として選出する。この場合、周波数統合部261から供給される推定方向情報をHr(θ,n)とすると、波源方向候補選出部262は、以下の式41を用いて、推定方向情報Hr(θ,n)が最大値を取るような推定方向情報Hr(θ,n)の引数を要素とする集合を求める。
Figure JPOXMLDOC01-appb-I000041
 〔波源方向候補統合部〕
 波源方向候補統合部263には、波源方向候補選出部262-1~Rのそれぞれから波源方向候補が入力される。波源方向候補統合部263は、波源方向候補選出部262-1~Rのそれぞれによって選出された波源方向候補を統合する。波源方向候補統合部263は、統合した波源方向候補を波源方向候補別周波数寄与率計算部264-1~Rのそれぞれに出力する。
 ここで、波源方向候補選出部262-1~Rのそれぞれによって選出されたマイクペアごとの複数の波源方向候補をベクトルφiとする。波源方向候補統合部263は、以下の式42を用いて波源方向候補を統合し、統合した波源方向候補Φ'i(n)を計算する。
Figure JPOXMLDOC01-appb-I000042
 ここで、Φ'i(n)の成分で重複する方向がある場合、波源方向候補統合部263は、重複する方向を省いて、以下の式43を用いてマイクペアごとの波源方向候補を全てのマイクペアについて統合し、統合した波源方向候補Φ'i(n)を計算する。ただし、式43において、Iは全ての波源方向候補の数を示す。
Figure JPOXMLDOC01-appb-I000043
 〔波源方向候補別周波数寄与率計算部〕
 波源方向候補別周波数寄与率計算部264-1~Rのそれぞれには、周波数別推定方向情報生成部25-1~Rのそれぞれからマイクペアごとの周波数別推定方向情報が入力される。また、波源方向候補別周波数寄与率計算部264-1~Rのそれぞれには、統合された波源方向候補が波源方向候補統合部263から入力される。波源方向候補別周波数寄与率計算部264-1~Rのそれぞれは、マイクペアごとの周波数別推定方向情報と、統合された波源方向候補とを用いて、波源方向候補ごとの推定方向情報に対する周波数寄与率である波源方向候補別周波数寄与率を計算する。波源方向候補別周波数寄与率計算部264-1~Rのそれぞれは、算出した波源方向候補別周波数寄与率を重み計算部265に出力する。第1の実施形態の周波数寄与率計算部158は、全ての音源方向について周波数寄与率を求める。それに対し、本実施形態の波源方向候補別周波数寄与率計算部264は、選出された波源方向候補について周波数寄与率を求める。
 例えば、波源方向候補別周波数寄与率計算部264は、ある波源方向候補φiの周波数kの波源方向候補別周波数寄与率yφi,r(k,n)を以下の式44を用いて計算する。ただし、式44において、Hk,r(Φi,n)は、周波数別推定方向情報を示す。
Figure JPOXMLDOC01-appb-I000044
 〔重み計算部〕
 重み計算部265には、波源方向候補別周波数寄与率計算部264-1~Rのそれぞれから波源方向候補別周波数寄与率が入力される。重み計算部265は、波源方向候補別周波数寄与率計算部264-1~Rのそれぞれから供給される波源方向候補別周波数寄与率を用いて、マイクペア間の周波数寄与率の類似度に応じた波源方向候補ごとの重みを計算する。重み計算部265は、算出した波源方向候補ごとの重みを統合部27に出力する。
 第1の実施形態の重み計算部16は、全ての音源方向について重みを求める。それに対し、本実施形態の重み計算部265は、波源方向候補について重みを求める。重み計算部265が算出する波源方向候補ごとの重みをaΦ(n)と表記する。重み計算部265のその他の動作は重み計算部16と同様であるため、詳細な説明は省略する。
 〔統合部〕
 統合部27には、周波数別推定方向情報生成部25-1~Rのそれぞれから周波数別推定方向情報が入力され、重み生成部26から波源方向候補ごとの重みが入力される。統合部27は、周波数別推定方向情報生成部25-1~Rから供給される周波数別推定方向情報を波源方向候補ごとに全てのマイクペアについて統合し、統合した波源方向候補ごとの周波数別推定方向情報に重みを付け、波源方向候補ごとの統合推定方向情報を算出する。統合部27は、マイクペアごとの周波数別推定方向情報の総和や相乗を取ることで統合し、統合した推定方向情報に重みを掛けることによって波源方向候補ごとの統合推定方向情報を生成する。例えば、統合部27は、以下の式45を用いて、波源方向候補Φごとの統合推定方向情報H(Φ,n)を算出する。
Figure JPOXMLDOC01-appb-I000045
 ただし、式45において、統合推定方向情報H(Φ,n)は、波源方向候補Φごとに周波数別推定方向情報を統合した推定方向情報を表す。統合部27は、周波数統合部261と同様に統合推定方向情報H(Φ,n)を計算する。ただし、周波数統合部261が全ての音源方向について推定方向情報を求めるのに対し、統合部27は波源方向候補Φについて推定方向情報を求める。
 (動作)
 次に、本実施形態の波源方向推定装置20の動作の概略について図面を参照しながら説明する。図13は、波源方向推定装置20の動作の概略について説明するためのフローチャートである。なお、図13のフローチャートに沿った説明においては、波源方向推定装置20を動作の主体として説明する。
 図13において、まず、波源方向推定装置20は、複数のマイクから入力信号を取得する(ステップS21)。
 次に、波源方向推定装置20は、複数のマイクのそれぞれに対応する入力信号から2つの入力信号を選択する(ステップS22)。すなわち、波源方向推定装置20は、複数のマイクの中から2つのマイクを選択してマイクペアとする。ここでは、波源方向推定装置20は、複数のマイクペアを選択する。
 次に、波源方向推定装置20は、選択された2つの入力信号の供給元である2つのマイクの間隔(マイク間隔とも呼ぶ)と、設定された音源探索対象方向(音源方向とも呼ぶ)とを用いてマイクペアごとに相対遅延時間を算出する(ステップS23)。
 次に、波源方向推定装置20は、選択されたマイクペアの入力信号と相対遅延時間とを用いて、そのマイクペアの周波数別推定方向情報を生成する(ステップS24)。すなわち、波源方向推定装置20は、周波数別推定方向情報をマイクペアごとに生成する。
 次に、波源方向推定装置20は、マイクペアごとの周波数別推定方向情報を統合した推定方向情報に基づいて波源方向候補を選出し、波源方向候補別に周波数寄与率を計算する(ステップS25)。
 次に、波源方向推定装置20は、波源方向候補別周波数寄与率を用いて、マイクペア間の周波数寄与率の類似度に応じた波源方向候補ごとの重みを計算する(ステップS26)。
 次に、波源方向推定装置20は、波源方向候補ごとの重みに基づいて、波源方向候補ごとに周波数別推定方向情報を統合して統合推定方向情報を算出する(ステップS27)。
 そして、波源方向推定装置20は、統合推定方向情報を出力する(ステップS28)。
 以上が、波源方向推定装置20の動作の概略についての説明である。
 以上のように、本実施形態の波源方向推定装置は、複数の入力部、信号選択部、相対遅延時間計算部、複数の周波数別推定方向情報生成部、重み生成部、および統合部を備える。
 入力部は、複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する。
 信号選択部は、複数の入力信号のうち二つを組み合わせたペアを複数組選択する。
 相対遅延時間計算部は、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する。
 周波数別推定方向情報生成部は、信号選択部によって選択された全てのペアのうち1組のペアをなす二つの入力信号を取得するとともに、取得したペアの相対遅延時間を取得する。周波数別推定方向情報生成部は、ペアをなす二つの入力信号を用いて算出される周波数別相互相関関数とペアの相対遅延時間とを用いて、ペアごとの周波数別推定方向情報を計算する。
 重み生成部は、複数の周波数別推定方向情報生成部からペアごとの周波数別推定方向情報を取得する。重み生成部は、取得したペアごとの周波数別推定方向情報に基づいて波源方向候補を計算し、算出した波源方向候補ごとに重みを計算する。
 統合部は、複数の周波数別推定方向情報生成部からペアごとの周波数別推定方向情報を取得するとともに、重み生成部から重みを取得する。統合部は、複数のペアごとの周波数別推定方向情報に重みをつけて統合して統合推定方向情報を生成する。
 例えば、周波数別推定方向情報生成部は、変換部、クロススペクトル計算部、平均計算部、分散計算部、周波数別クロススペクトル生成部、逆変換部、および周波数別推定方向情報計算部を有する。変換部は、ペアをなす二つの入力信号を周波数領域の変換信号に変換する。クロススペクトル計算部は、変換部によって変換された変換信号を用いてクロススペクトルを計算する。平均計算部は、クロススペクトル計算部によって算出されるクロススペクトルを用いて平均クロススペクトルを計算する。分散計算部と、平均計算部によって算出される平均クロススペクトルを用いて分散を計算する。周波数別クロススペクトル生成部は、平均計算部によって算出される平均クロススペクトルと、分散計算部によって算出される分散とを用いて周波数別クロススペクトルを計算する。逆変換部は、周波数別クロススペクトル生成部によって算出される周波数クロススペクトルを逆変換して周波数別相互相関関数を計算する。周波数別推定方向情報計算部は、ペアの周波数別相互相関関数と相対遅延時間とに基づいて波源方向と相関値との対応関係である周波数別推定方向情報を計算する。
 例えば、重み生成部は、複数の周波数統合部、複数の波源方向候補選出部、波源方向候補統合部、複数の波源方向候補別周波数寄与率計算部、および重み計算部を有する。周波数統合部は、周波数別推定方向情報を統合してペアごとの推定方向情報を計算する。波源方向候補選出部は、ペアごとの推定方向情報からピークを検出し、ピークとなる方向をペアごとの波源方向候補として選出する。波源方向候補統合部は、複数の波源方向候補選出部からペアごとの波源方向候補を取得し、取得したペアごとの波源方向候補を統合する。波源方向候補別周波数寄与率計算部は、統合された波源方向候補と周波数別推定方向情報とに基づいて、波源方向候補ごとの推定方向情報に対する周波数別の寄与率を計算する。重み計算部は、波源方向候補ごとの推定方向情報に対する周波数別の寄与率を複数の波源方向候補別周波数寄与率計算部から取得する。重み計算部は、取得した波源方向候補ごとの推定方向情報に対する周波数別の寄与率に基づいて波源方向候補ごとの重みを計算する。
 例えば、重み計算部は、複数のペア間の波源方向候補別の周波数寄与率の類似度を計算し、算出した類似度に基づいて波源方向候補ごとの重みを求める。
 以上で説明したように、本実施形態の波源方向推定装置は、マイクペアごとに波源方向候補を求め、波源方向候補ごとの重みに基づいて統合推定方向情報を求める。そのため、虚像音源を誤推定することなく高精度に音源の方向を推定することができるという効果に加えて、計算量を低減できるという効果を有する。
 (第3の実施形態)
 次に、本発明の第3の実施形態に係る波源方向推定装置について図面を参照しながら説明する。本実施形態の波源方向推定装置は、第1および第2の実施形態の波源推定装置を上位概念化した構成である。なお、本実施形態においては、波源を音源に限定せず、任意の波動の波源の方向を推定対象とする。
 図14は、本実施形態の波源方向推定装置30の構成の一例を示すブロック図である。図14のように、波源方向推定装置30は、入力端子31、信号選択部32、相対遅延時間計算部33、および統合推定方向情報算出部35を備える。以下において、第1の実施形態の波源方向推定装置10や、第2の実施形態の波源方向推定装置20と同様の構成・動作については説明を省略する場合がある。
 〔入力端子〕
 複数の入力端子31-1~p(入力部とも呼ぶ)のそれぞれは、図示しないマイクに接続される(pは2以上の整数)。複数の入力端子31-1~pのそれぞれには、異なる位置に配置されたセンサによって集音された波動(波動信号とも呼ぶ)から変換された電気信号が入力信号として入力される。なお、入力端子31-1~pは、第1および第2の実施形態の対応する構成と同様であるため、詳細な説明は省略する。
 〔信号選択部〕
 信号選択部32は、入力端子31-1~pに供給されるp個の入力信号のうちの2つの入力信号(入力信号のペアとも呼ぶ)を複数組選択する。信号選択部32は、選択した複数組の入力信号のペアを統合推定方向情報算出部35に出力し、それらの入力信号の供給元であるセンサの位置情報(以下、センサ位置情報とも呼ぶ)を相対遅延時間計算部33に出力する。なお、信号選択部32は、第1および第2の実施形態の対応する構成と同様であるため、詳細な説明は省略する。
 〔相対遅延時間計算部〕
 相対遅延時間計算部33には、信号選択部32からセンサ位置情報が入力される。相対遅延時間計算部33は、センサ位置情報と音源探索対象方向(音源方向とも呼ぶ)とを用いて、信号選択部32が選択した全ての入力信号のペア間の相対遅延時間を計算する。相対遅延時間計算部33は、設定された音源方向と相対遅延時間とをセットにして統合推定方向情報算出部35に出力する。なお、相対遅延時間計算部33は、第1および第2の実施形態の対応する構成と同様であるため、詳細な説明は省略する。
 〔統合推定方向情報算出部〕
 統合推定方向情報算出部35には、複数組の入力信号のペアが信号選択部32から入力される。また、統合推定方向情報算出部35には、信号選択部32によって選択された全ての入力信号のペアの相対遅延時間が相対遅延時間計算部33から入力される。
 統合推定方向情報算出部35は、複数組の入力信号のペアと、それらの入力信号のペアの相対遅延時間とを用いて、複数の入力信号のペアに関する周波数ごとの推定方向情報(周波数別推定方向情報とも呼ぶ)を生成する。統合推定方向情報算出部35は、生成した入力信号のペアごとの周波数別推定方向情報に基づいて、波源方向ごとの推定方向情報に対する周波数寄与率を算出する。統合推定方向情報算出部35は、算出した周波数寄与率に基づいて、入力信号のペア間の寄与率の類似度に応じた波源方向ごとの重みを計算する。統合推定方向情報算出部35は、入力信号のペアごとの推定方向情報に重みをつけて統合することによって統合推定方向情報を生成する。統合推定方向情報算出部35は、生成した統合推定方向情報を出力する。
 第1の実施形態の波源方向推定装置10に対応させると、統合推定方向情報算出部35は、推定方向情報・周波数寄与率生成部15、重み計算部16、および統合部17を含む構成である。また、第2の実施形態の波源方向推定装置20に対応させると、統合推定方向情報算出部35は、周波数別推定方向情報生成部25、重み生成部26、および統合部27を含む構成である。
 以上のように、本実施形態の波源方向推定装置は、複数の入力部、信号選択部、相対遅延時間計算部、および統合推定方向情報算出部を備える。
 入力部は、複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する。
 信号選択部は、複数の入力信号のうち二つを組み合わせたペアを複数組選択する。相対遅延時間計算部は、ペアをなす二つの入力信号の供給元のセンサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する。
 統合推定方向情報算出部は、ペアをなす入力信号とペアの相対遅延時間とを用いて周波数別推定方向情報をペアごとに生成する。統合推定方向情報算出部は生成したペアごとの周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出する。統合推定方向情報算出部は、算出した寄与率に基づいて異なるペア間の寄与率の類似度に応じた波源方向ごとの重みを計算し、全てのペアの推定方向情報に重みをつけて統合することによって統合推定方向情報を生成する。
 例えば、信号選択部は、センサの間隔に基づいて、複数の入力信号から少なくとも二つの入力信号を組み合わせたペアを選択する。
 例えば、相対遅延時間計算部は、一つの入力信号のペアの供給元であるセンサのペアに対する波源探索方向を基準として、信号選択部によって選択された全ての入力信号のペアの相対遅延時間を、基準である波源探索方向の関数として計算する。
 本実施形態の波源方向推定装置によれば、虚像音源を誤推定することなく、高精度に音源の方向を推定することができる。
 (第4の実施形態)
 次に、本発明の第4の実施形態に係る波源方向推定装置について図面を参照しながら説明する。本実施形態の波源方向推定装置は、第3の実施形態の波源方向推定装置に波源方向算出部を追加した構成を有する。
 図15は、本実施形態の波源方向推定装置40の構成を表すブロック図である。波源方向推定装置40は、入力端子41、信号選択部42、相対遅延時間計算部43、統合推定方向情報算出部45、および波源方向算出部46を備える。なお、入力端子41、信号選択部42、相対遅延時間計算部43、および統合推定方向情報算出部45は、第3の実施形態の波源方向推定装置30の対応する構成と同様であるため、詳細な説明を省略する。
 〔波源方向算出部〕
 波源方向算出部46には、統合推定方向情報算出部45から統合推定方向情報が入力される。波源方向算出部46は、統合推定方向情報を用いて、波源方向を計算する。波源方向算出部46は、計算した波源方向を出力する。
 波源方向算出部46における波源方向の計算方法を以下で詳細に説明する。統合推定方向情報算出部45から入力された統合推定方向情報は、ピークが大きいほど信頼性(音源の存在可能性)が高い。そのため、例えば音源数が1つと事前に仮定できる場合には、波源方向算出部46は、統合推定方向情報が最大となる方向を推定方向として出力する。ここで、統合推定方向情報算出部45から入力された統合推定方向情報をH(θ,n)とする。波源方向算出部46は、以下の式46を用いて、統合推定方向情報H(θ,n)が最大値を取るような統合推定方向情報H(θ,n)の引数を要素とする集合を波源方向Θとして算出できる。なお、式46において、θは全ての波源方向または波源方向候補を表す。
Figure JPOXMLDOC01-appb-I000046
 また、統合推定方向情報のピークが閾値を超える場合には、波源方向算出部28は、閾値を超えるピークを有する方向を音源とみなし、閾値を超える方向を推定方向として出力することもできる。
 また、本実施形態の波源方向推定装置は、一定時間Tごとに統合推定方向情報が最大になる時刻に対応する方向を音源方向として推定することもできる。ただし、音源の方向は、一定時間Tの間で変化しない、あるいは変化の大きさが無視できるほど小さいと仮定する。このように仮定することによって、波源方向の推定精度を向上させることができる。
 以上のように、本実施形態の波源方向推定装置は、複数の入力部、信号選択部、相対遅延時間計算部、統合推定方向情報算出部、および波源方向算出部を備える。例えば、波源方向算出部は、一定時間ごとに統合推定方向情報が最大になる時刻に対応する方向を波源方向として算出する。本実施形態の波源方向推定装置によれば、虚像音源を誤推定することなく、高精度に音源の方向を推定することができる。
 (ハードウェア)
 ここで、各実施形態に係る波源方向推定装置の処理を実行するハードウェア構成について、図16の情報処理装置90を一例として挙げて説明する。なお、図16の情報処理装置90は、各実施形態の波源方向推定装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。
 図16のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96を備える。図16においては、インターフェースをI/F(Interface)と略して表記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96は、バス99を介して互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
 プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る波源方向推定装置による処理を実行する。
 主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
 補助記憶装置93は、種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
 入出力インターフェース95は、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
 情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
 また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
 また、情報処理装置90には、必要に応じて、ディスクドライブを備え付けてもよい。ディスクドライブは、バス99に接続される。ディスクドライブは、プロセッサ91と図示しない記録媒体(プログラム記録媒体)との間で、記録媒体からのデータ・プログラムの読み出し、情報処理装置90の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。また、記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。
 以上が、各実施形態に係る波源方向推定装置を可能とするためのハードウェア構成の一例である。なお、図16のハードウェア構成は、各実施形態に係る波源方向推定装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る波源方向推定装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
 各実施形態の波源方向推定装置の構成要素は、任意に組み合わせることができる。また、各実施形態の波源方向推定装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
 以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する複数の入力手段と、
 複数の前記入力信号のうち二つを組み合わせたペアを複数組選択する信号選択手段と、
 前記ペアをなす二つの前記入力信号の供給元の前記センサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する相対遅延時間計算手段と、
 前記ペアをなす前記入力信号と前記ペアの相対遅延時間とを用いて周波数別推定方向情報を前記ペアごとに生成し、生成した前記ペアごとの前記周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、算出した前記寄与率に基づいて異なる前記ペア間の前記寄与率の類似度に応じた波源方向ごとの重みを計算し、全ての前記ペアの前記推定方向情報に前記重みをつけて統合することによって統合推定方向情報を生成する統合推定方向情報算出手段とを備える波源方向推定装置。
(付記2)
 前記信号選択手段は、
 前記センサの間隔に基づいて、複数の前記入力信号から二つの前記入力信号を組み合わせた前記ペアを選択する付記1に記載の波源方向推定装置。
(付記3)
 前記相対遅延時間計算手段は、
 一つの前記ペアをなす二つの前記入力信号の供給元である前記センサにおける波源探索方向を基準として、前記信号選択手段によって選択された全ての前記ペアの前記相対遅延時間を、基準である前記波源探索方向の関数として計算する付記1または2に記載の波源方向推定装置。
(付記4)
 前記統合推定方向情報算出手段は、
 前記信号選択手段によって選択された全ての前記ペアのうち1組の前記ペアをなす二つの前記入力信号を取得するとともに、取得した前記ペアの前記相対遅延時間を取得し、前記ペアをなす二つの前記入力信号間の周波数別相互相関関数と前記ペアの前記相対遅延時間とを用いて、前記ペアをなす二つの前記入力信号間の前記推定方向情報と周波数別の前記寄与率とを生成する複数の推定方向情報・周波数寄与率生成手段と、
 複数の前記推定方向情報・周波数寄与率生成手段から周波数ごとの前記寄与率を取得し、異なる前記ペア間の前記寄与率の類似度に応じて波源方向ごとの前記重みを計算する重み計算手段と、
 複数の前記推定方向情報・周波数寄与率生成手段から前記推定方向情報を取得するとともに、前記重み計算手段から前記重みを取得し、複数の前記ペアごとの前記推定方向情報に前記重みをつけて統合して前記統合推定方向情報を生成する統合手段とを有する付記1乃至3のいずれか一項に記載の波源方向推定装置。
(付記5)
 前記推定方向情報・周波数寄与率生成手段は、
 前記ペアをなす二つの前記入力信号を周波数領域の変換信号に変換する変換手段と、
 前記変換手段によって変換された前記変換信号を用いてクロススペクトルを計算するクロススペクトル計算手段と、
 前記クロススペクトル計算手段によって算出される前記クロススペクトルを用いて平均クロススペクトルを計算する平均計算手段と、
 前記平均計算手段によって算出される前記平均クロススペクトルを用いて分散を計算する分散計算手段と、
 前記平均計算手段によって算出される前記平均クロススペクトルと、前記分散計算手段によって算出される分散とを用いて周波数別クロススペクトルを計算する周波数別クロススペクトル生成手段と、
 前記周波数別クロススペクトル生成手段によって算出される前記周波数別クロススペクトルを逆変換して周波数別相互相関関数を計算する逆変換手段と、
 前記ペアの前記周波数別相互相関関数と前記相対遅延時間とに基づいて波源方向と相関値との対応関係である周波数別推定方向情報を計算する周波数別推定方向情報計算手段と、
 前記周波数別推定方向情報を統合して前記推定方向情報を計算する周波数統合手段と、
 前記周波数別推定方向情報に基づいて波源方向ごとの前記推定方向情報に対する周波数別の前記寄与率を計算する周波数寄与率計算手段とを有する付記4に記載の波源方向推定装置。
(付記6)
 前記重み計算手段は、
 複数の前記ペア間において前記寄与率の類似度を計算し、算出した前記類似度に基づいて波源方向ごとの重みを計算する付記4または5に記載の波源方向推定装置。
(付記7)
 前記統合推定方向情報算出手段は、
 前記信号選択手段によって選択された全ての前記ペアのうち1組の前記ペアをなす二つの前記入力信号を取得するとともに、取得した前記ペアの前記相対遅延時間を取得し、前記ペアをなす二つの前記入力信号を用いて算出される周波数別相互相関関数と前記ペアの前記相対遅延時間とを用いて、前記ペアごとの周波数別推定方向情報を計算する複数の周波数別推定方向情報生成手段と、
 複数の前記周波数別推定方向情報生成手段から前記ペアごとの前記周波数別推定方向情報を取得し、取得した前記ペアごとの前記周波数別推定方向情報に基づいて波源方向候補を計算し、算出した前記波源方向候補ごとに前記重みを計算する重み生成手段と、
 複数の前記周波数別推定方向情報生成手段から前記ペアごとの前記周波数別推定方向情報を取得するとともに、前記重み生成手段から前記重みを取得し、複数の前記ペアごとの前記周波数別推定方向情報に前記重みをつけて統合して前記統合推定方向情報を生成する統合手段とを有する付記1乃至3のいずれか一項に記載の波源方向推定装置。
(付記8)
 前記周波数別推定方向情報生成手段は、
 前記ペアをなす二つの前記入力信号を周波数領域の変換信号に変換する変換手段と、
 前記変換手段によって変換された前記変換信号を用いてクロススペクトルを計算するクロススペクトル計算手段と、
 前記クロススペクトル計算手段によって算出される前記クロススペクトルを用いて平均クロススペクトルを計算する平均計算手段と、
 前記平均計算手段によって算出される前記平均クロススペクトルを用いて分散を計算する分散計算手段と、
 前記平均計算手段によって算出される前記平均クロススペクトルと、前記分散計算手段によって算出される分散とを用いて周波数別クロススペクトルを計算する周波数別クロススペクトル生成手段と、
 前記周波数別クロススペクトル生成手段によって算出される前記周波数別クロススペクトルを逆変換して周波数別相互相関関数を計算する逆変換手段と、
 前記ペアの前記周波数別相互相関関数と前記相対遅延時間とに基づいて波源方向と相関値との対応関係である周波数別推定方向情報を計算する周波数別推定方向情報計算手段とを有する付記7に記載の波源方向推定装置。
(付記9)
 前記重み生成手段は、
 前記周波数別推定方向情報を統合して前記ペアごとの前記推定方向情報を計算する複数の周波数統合手段と、
 前記ペアごとの前記推定方向情報からピークを検出し、ピークとなる方向を前記ペアごとの波源方向候補として選出する複数の波源方向候補選出手段と、
 複数の前記波源方向候補選出手段から前記ペアごとの前記波源方向候補を取得し、取得した前記ペアごとの前記波源方向候補を統合する波源方向候補統合手段と、
 統合された前記波源方向候補と前記周波数別推定方向情報とに基づいて、前記波源方向候補ごとの前記推定方向情報に対する周波数別の前記寄与率を計算する複数の波源方向候補別周波数寄与率計算手段と、
 前記波源方向候補ごとの前記推定方向情報に対する周波数別の前記寄与率を複数の前記波源方向候補別周波数寄与率計算手段から取得し、取得した前記波源方向候補ごとの前記推定方向情報に対する周波数別の前記寄与率に基づいて前記波源方向候補ごとの前記重みを計算する重み計算手段とを有する付記8に記載の波源方向推定装置。
(付記10)
 前記重み計算手段は、
 複数の前記ペア間の前記波源方向候補ごとの周波数別の前記寄与率の類似度を計算し、算出した前記類似度に基づいて前記波源方向候補ごとの前記重みを求める付記9に記載の波源方向推定装置。
(付記11)
 前記統合推定方向情報算出手段によって算出される前記統合推定方向情報に基づいて波源方向を算出する波源方向算出手段を備える付記1乃至10のいずれか一項に記載の波源方向推定装置。
(付記12)
 前記波源方向算出手段は、
 一定時間ごとに前記統合推定方向情報が最大になる時刻に対応する方向を波源方向として算出する付記11に記載の波源方向推定装置。
(付記13)
 複数の前記入力手段のそれぞれに対応して配置される前記センサを備える付記1乃至12のいずれか一項に記載の波源方向推定装置。
(付記14)
 情報処理装置が、
 複数のセンサによって検出される波動に基づく電気信号を入力信号として取得し、
 複数の前記入力信号のうち二つを組み合わせたペアを複数組選択し、
 前記ペアをなす二つの前記入力信号の供給元の前記センサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出し、
 前記ペアをなす前記入力信号と前記ペアの相対遅延時間とを用いて周波数別推定方向情報を前記ペアごとに生成し、
 生成した前記ペアごとの前記周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、
 算出した前記寄与率に基づいて異なる前記ペア間の前記寄与率の類似度に応じた波源方向ごとの重みを計算し、
 全ての前記ペアの前記推定方向情報に前記重みをつけて統合することによって統合推定方向情報を生成する波源方向推定方法。
(付記15)
 複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する処理と、
 複数の前記入力信号のうち二つを組み合わせたペアを複数組選択する処理と、
 前記ペアをなす二つの前記入力信号の供給元の前記センサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する処理と、
 前記ペアをなす前記入力信号と前記ペアの相対遅延時間とを用いて周波数別推定方向情報を前記ペアごとに生成する処理と、
 生成した前記ペアごとの前記周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出する処理と、
 算出した前記寄与率に基づいて異なる前記ペア間の前記寄与率の類似度に応じた波源方向ごとの重みを計算する処理と、
 全ての前記ペアの前記推定方向情報に前記重みをつけて統合することによって統合推定方向情報を生成する処理とをコンピュータに実行させるプログラムを記録させたプログラム記録媒体。
 10  波源方向推定装置
 11  入力端子
 12  信号選択部
 13  相対遅延時間計算部
 15  推定方向情報・周波数寄与率生成部
 16  重み計算部
 17  統合部
 20  波源方向推定装置
 21  入力端子
 22  信号選択部
 23  相対遅延時間計算部
 25  周波数別推定方向情報生成部
 26  重み生成部
 27  統合部
 30  波源方向推定装置
 31  入力端子
 32  信号選択部
 33  相対遅延時間計算部
 35  統合推定方向情報算出部
 41  入力端子
 42  信号選択部
 43  相対遅延時間計算部
 45  統合推定方向情報算出部
 46  波源方向算出部
 151  変換部
 152  クロススペクトル計算部
 153  平均計算部
 154  分散計算部
 155  周波数別クロススペクトル生成部
 156  逆変換部
 157  周波数別推定方向情報計算部
 158  周波数寄与率計算部
 159  周波数統合部
 251  変換部
 252  クロススペクトル計算部
 253  平均計算部
 254  分散計算部
 255  周波数別クロススペクトル生成部
 256  逆変換部
 257  周波数別推定方向情報計算部
 261  周波数統合部
 262  波源方向候補選出部
 263  波源方向候補統合部
 264  波源方向候補別周波数寄与率計算部
 265  重み計算部
 551  周波数別基本クロススペクトル計算部
 552  カーネル関数スペクトル生成部
 553  乗算部

Claims (15)

  1.  複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する複数の入力手段と、
     複数の前記入力信号のうち二つを組み合わせたペアを複数組選択する信号選択手段と、
     前記ペアをなす二つの前記入力信号の供給元の前記センサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する相対遅延時間計算手段と、
     前記ペアをなす前記入力信号と前記ペアの相対遅延時間とを用いて周波数別推定方向情報を前記ペアごとに生成し、生成した前記ペアごとの前記周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、算出した前記寄与率に基づいて異なる前記ペア間の前記寄与率の類似度に応じた波源方向ごとの重みを計算し、全ての前記ペアの前記推定方向情報に前記重みをつけて統合することによって統合推定方向情報を生成する統合推定方向情報算出手段とを備える波源方向推定装置。
  2.  前記信号選択手段は、
     前記センサの間隔に基づいて、複数の前記入力信号から二つの前記入力信号を組み合わせた前記ペアを選択する請求項1に記載の波源方向推定装置。
  3.  前記相対遅延時間計算手段は、
     一つの前記ペアをなす二つの前記入力信号の供給元である前記センサにおける波源探索方向を基準として、前記信号選択手段によって選択された全ての前記ペアの前記相対遅延時間を、基準である前記波源探索方向の関数として計算する請求項1または2に記載の波源方向推定装置。
  4.  前記統合推定方向情報算出手段は、
     前記信号選択手段によって選択された全ての前記ペアのうち1組の前記ペアをなす二つの前記入力信号を取得するとともに、取得した前記ペアの前記相対遅延時間を取得し、前記ペアをなす二つの前記入力信号間の周波数別相互相関関数と前記ペアの前記相対遅延時間とを用いて、前記ペアをなす二つの前記入力信号間の前記推定方向情報と周波数別の前記寄与率とを生成する複数の推定方向情報・周波数寄与率生成手段と、
     複数の前記推定方向情報・周波数寄与率生成手段から周波数ごとの前記寄与率を取得し、異なる前記ペア間の前記寄与率の類似度に応じて波源方向ごとの前記重みを計算する重み計算手段と、
     複数の前記推定方向情報・周波数寄与率生成手段から前記推定方向情報を取得するとともに、前記重み計算手段から前記重みを取得し、複数の前記ペアごとの前記推定方向情報に前記重みをつけて統合して前記統合推定方向情報を生成する統合手段とを有する請求項1乃至3のいずれか一項に記載の波源方向推定装置。
  5.  前記推定方向情報・周波数寄与率生成手段は、
     前記ペアをなす二つの前記入力信号を周波数領域の変換信号に変換する変換手段と、
     前記変換手段によって変換された前記変換信号を用いてクロススペクトルを計算するクロススペクトル計算手段と、
     前記クロススペクトル計算手段によって算出される前記クロススペクトルを用いて平均クロススペクトルを計算する平均計算手段と、
     前記平均計算手段によって算出される前記平均クロススペクトルを用いて分散を計算する分散計算手段と、
     前記平均計算手段によって算出される前記平均クロススペクトルと、前記分散計算手段によって算出される分散とを用いて周波数別クロススペクトルを計算する周波数別クロススペクトル生成手段と、
     前記周波数別クロススペクトル生成手段によって算出される前記周波数別クロススペクトルを逆変換して周波数別相互相関関数を計算する逆変換手段と、
     前記ペアの前記周波数別相互相関関数と前記相対遅延時間とに基づいて波源方向と相関値との対応関係である周波数別推定方向情報を計算する周波数別推定方向情報計算手段と、
     前記周波数別推定方向情報を統合して前記推定方向情報を計算する周波数統合手段と、
     前記周波数別推定方向情報に基づいて波源方向ごとの前記推定方向情報に対する周波数別の前記寄与率を計算する周波数寄与率計算手段とを有する請求項4に記載の波源方向推定装置。
  6.  前記重み計算手段は、
     複数の前記ペア間において前記寄与率の類似度を計算し、算出した前記類似度に基づいて波源方向ごとの重みを計算する請求項4または5に記載の波源方向推定装置。
  7.  前記統合推定方向情報算出手段は、
     前記信号選択手段によって選択された全ての前記ペアのうち1組の前記ペアをなす二つの前記入力信号を取得するとともに、取得した前記ペアの前記相対遅延時間を取得し、前記ペアをなす二つの前記入力信号を用いて算出される周波数別相互相関関数と前記ペアの前記相対遅延時間とを用いて、前記ペアごとの周波数別推定方向情報を計算する複数の周波数別推定方向情報生成手段と、
     複数の前記周波数別推定方向情報生成手段から前記ペアごとの前記周波数別推定方向情報を取得し、取得した前記ペアごとの前記周波数別推定方向情報に基づいて波源方向候補を計算し、算出した前記波源方向候補ごとに前記重みを計算する重み生成手段と、
     複数の前記周波数別推定方向情報生成手段から前記ペアごとの前記周波数別推定方向情報を取得するとともに、前記重み生成手段から前記重みを取得し、複数の前記ペアごとの前記周波数別推定方向情報に前記重みをつけて統合して前記統合推定方向情報を生成する統合手段とを有する請求項1乃至3のいずれか一項に記載の波源方向推定装置。
  8.  前記周波数別推定方向情報生成手段は、
     前記ペアをなす二つの前記入力信号を周波数領域の変換信号に変換する変換手段と、
     前記変換手段によって変換された前記変換信号を用いてクロススペクトルを計算するクロススペクトル計算手段と、
     前記クロススペクトル計算手段によって算出される前記クロススペクトルを用いて平均クロススペクトルを計算する平均計算手段と、
     前記平均計算手段によって算出される前記平均クロススペクトルを用いて分散を計算する分散計算手段と、
     前記平均計算手段によって算出される前記平均クロススペクトルと、前記分散計算手段によって算出される分散とを用いて周波数別クロススペクトルを計算する周波数別クロススペクトル生成手段と、
     前記周波数別クロススペクトル生成手段によって算出される前記周波数別クロススペクトルを逆変換して周波数別相互相関関数を計算する逆変換手段と、
     前記ペアの前記周波数別相互相関関数と前記相対遅延時間とに基づいて波源方向と相関値との対応関係である周波数別推定方向情報を計算する周波数別推定方向情報計算手段とを有する請求項7に記載の波源方向推定装置。
  9.  前記重み生成手段は、
     前記周波数別推定方向情報を統合して前記ペアごとの前記推定方向情報を計算する複数の周波数統合手段と、
     前記ペアごとの前記推定方向情報からピークを検出し、ピークとなる方向を前記ペアごとの波源方向候補として選出する複数の波源方向候補選出手段と、
     複数の前記波源方向候補選出手段から前記ペアごとの前記波源方向候補を取得し、取得した前記ペアごとの前記波源方向候補を統合する波源方向候補統合手段と、
     統合された前記波源方向候補と前記周波数別推定方向情報とに基づいて、前記波源方向候補ごとの前記推定方向情報に対する周波数別の前記寄与率を計算する複数の波源方向候補別周波数寄与率計算手段と、
     前記波源方向候補ごとの前記推定方向情報に対する周波数別の前記寄与率を複数の前記波源方向候補別周波数寄与率計算手段から取得し、取得した前記波源方向候補ごとの前記推定方向情報に対する周波数別の前記寄与率に基づいて前記波源方向候補ごとの前記重みを計算する重み計算手段とを有する請求項8に記載の波源方向推定装置。
  10.  前記重み計算手段は、
     複数の前記ペア間の前記波源方向候補ごとの周波数別の前記寄与率の類似度を計算し、算出した前記類似度に基づいて前記波源方向候補ごとの前記重みを求める請求項9に記載の波源方向推定装置。
  11.  前記統合推定方向情報算出手段によって算出される前記統合推定方向情報に基づいて波源方向を算出する波源方向算出手段を備える請求項1乃至10のいずれか一項に記載の波源方向推定装置。
  12.  前記波源方向算出手段は、
     一定時間ごとに前記統合推定方向情報が最大になる時刻に対応する方向を波源方向として算出する請求項11に記載の波源方向推定装置。
  13.  複数の前記入力手段のそれぞれに対応して配置される前記センサを備える請求項1乃至12のいずれか一項に記載の波源方向推定装置。
  14.  情報処理装置が、
     複数のセンサによって検出される波動に基づく電気信号を入力信号として取得し、
     複数の前記入力信号のうち二つを組み合わせたペアを複数組選択し、
     前記ペアをなす二つの前記入力信号の供給元の前記センサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出し、
     前記ペアをなす前記入力信号と前記ペアの相対遅延時間とを用いて周波数別推定方向情報を前記ペアごとに生成し、
     生成した前記ペアごとの前記周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出し、
     算出した前記寄与率に基づいて異なる前記ペア間の前記寄与率の類似度に応じた波源方向ごとの重みを計算し、
     全ての前記ペアの前記推定方向情報に前記重みをつけて統合することによって統合推定方向情報を生成する波源方向推定方法。
  15.  複数のセンサによって検出される波動に基づく電気信号を入力信号として取得する処理と、
     複数の前記入力信号のうち二つを組み合わせたペアを複数組選択する処理と、
     前記ペアをなす二つの前記入力信号の供給元の前記センサへの波源方向ごとの波動の到達時間差を相対遅延時間として算出する処理と、
     前記ペアをなす前記入力信号と前記ペアの相対遅延時間とを用いて周波数別推定方向情報を前記ペアごとに生成する処理と、
     生成した前記ペアごとの前記周波数別推定方向情報を用いて波源方向ごとの推定方向情報に対する周波数別の寄与率を算出する処理と、
     算出した前記寄与率に基づいて異なる前記ペア間の前記寄与率の類似度に応じた波源方向ごとの重みを計算する処理と、
     全ての前記ペアの前記推定方向情報に前記重みをつけて統合することによって統合推定方向情報を生成する処理とをコンピュータに実行させるプログラムを記録させたプログラム記録媒体。
PCT/JP2018/023971 2018-06-25 2018-06-25 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体 WO2020003343A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/023971 WO2020003343A1 (ja) 2018-06-25 2018-06-25 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
JP2020526725A JP6933303B2 (ja) 2018-06-25 2018-06-25 波源方向推定装置、波源方向推定方法、およびプログラム
US17/252,405 US11408963B2 (en) 2018-06-25 2018-06-25 Wave-source-direction estimation device, wave-source-direction estimation method, and program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/023971 WO2020003343A1 (ja) 2018-06-25 2018-06-25 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2020003343A1 true WO2020003343A1 (ja) 2020-01-02

Family

ID=68986143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023971 WO2020003343A1 (ja) 2018-06-25 2018-06-25 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体

Country Status (3)

Country Link
US (1) US11408963B2 (ja)
JP (1) JP6933303B2 (ja)
WO (1) WO2020003343A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220342026A1 (en) * 2019-09-02 2022-10-27 Nec Corporation Wave source direction estimation device, wave source direction estimation method, and program recording medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089312A (ja) * 2006-09-29 2008-04-17 Kddi Corp 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
JP2010175431A (ja) * 2009-01-30 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> 音源方向推定装置とその方法と、プログラム
JP2010193323A (ja) * 2009-02-19 2010-09-02 Casio Hitachi Mobile Communications Co Ltd 録音装置、再生装置、録音方法、再生方法、及びコンピュータプログラム
JP2011071686A (ja) * 2009-09-25 2011-04-07 Nec Corp 映像音響処理装置、映像音響処理方法及びプログラム
JP2015161551A (ja) * 2014-02-26 2015-09-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
WO2018003158A1 (ja) * 2016-06-29 2018-01-04 日本電気株式会社 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4234746B2 (ja) * 2006-09-25 2009-03-04 株式会社東芝 音響信号処理装置、音響信号処理方法及び音響信号処理プログラム
JP6413741B2 (ja) * 2014-12-16 2018-10-31 日本電気株式会社 振動発生源推定装置、方法およびプログラム
JP6874766B2 (ja) * 2016-06-15 2021-05-19 日本電気株式会社 波源方向推定装置、波源方向推定システム、波源方向推定方法および波源方向推定プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089312A (ja) * 2006-09-29 2008-04-17 Kddi Corp 信号到来方向推定装置及び方法、並びに信号分離装置及び方法、コンピュータプログラム
JP2010175431A (ja) * 2009-01-30 2010-08-12 Nippon Telegr & Teleph Corp <Ntt> 音源方向推定装置とその方法と、プログラム
JP2010193323A (ja) * 2009-02-19 2010-09-02 Casio Hitachi Mobile Communications Co Ltd 録音装置、再生装置、録音方法、再生方法、及びコンピュータプログラム
JP2011071686A (ja) * 2009-09-25 2011-04-07 Nec Corp 映像音響処理装置、映像音響処理方法及びプログラム
JP2015161551A (ja) * 2014-02-26 2015-09-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
WO2018003158A1 (ja) * 2016-06-29 2018-01-04 日本電気株式会社 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KATO, MASANORI ET AL.: "TDOA Estimation Based on Phase-Voting Cross Correlation and Circular Standard Deviation", 2017 25TH EUROPEAN SIGNAL PROCESSING CONFERENCE (EUSIPCO, 2017, pages 1230 - 1234, XP033236133, ISBN: 978-0-9928626-7-1, DOI: 10.23919/EUSIPCO.2017.8081404 *
KATO, MASANORI ET AL.: "TDOA Estimation Based on Phase-Voting Cross Correlation and Circular Standard Deviation", IEICE TECHNICAL REPORT, vol. 116, no. 477, March 2017 (2017-03-01), pages 1230 - 1234, XP033236133, ISSN: 0913-5685 *

Also Published As

Publication number Publication date
US20210263126A1 (en) 2021-08-26
US11408963B2 (en) 2022-08-09
JPWO2020003343A1 (ja) 2021-06-24
JP6933303B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
Bofill Underdetermined blind separation of delayed sound sources in the frequency domain
CN103426435B (zh) 具有移动约束的通过独立分量分析的源分离
JP2015161551A (ja) 音源方向推定装置、音源方向推定方法およびプログラム
US10638221B2 (en) Time interval sound alignment
JP2005274708A (ja) 信号処理装置および信号処理方法、プログラム、並びに記録媒体
JP5423684B2 (ja) 音声帯域拡張装置及び音声帯域拡張方法
CN103250208B (zh) 信号处理装置和信号处理方法
US9858946B2 (en) Signal processing apparatus, signal processing method, and signal processing program
JP6935425B2 (ja) ノイズ抑圧装置、ノイズ抑圧方法、及びこれらを用いた受信装置、受信方法
JP2007288463A (ja) 特性取得装置、方法およびプログラム
WO2020003343A1 (ja) 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
KR20200137561A (ko) 잡음 환경 노이지 데이터를 생성하기 위한 데이터 생성장치, 데이터 생성방법 및 이를 이용한 잡음 제거장치 및 잡음 제거방법
JP2015021824A (ja) 類識別フィルタ生成装置及び目標類識別装置
WO2020003342A1 (ja) 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
JP2020076907A (ja) 信号処理装置、信号処理プログラム及び信号処理方法
JP2015185978A (ja) 電子透かし埋め込み装置及び電子透かし埋め込みプログラム及び電子透かし検出装置及び電子透かし検出プログラム
EP3860148B1 (en) Acoustic object extraction device and acoustic object extraction method
US10388264B2 (en) Audio signal processing apparatus, audio signal processing method, and audio signal processing program
JP6011536B2 (ja) 信号処理装置、信号処理方法、およびコンピュータ・プログラム
JP6438786B2 (ja) 信号中に含まれる正弦成分抽出装置、正弦成分抽出方法及びプログラム
JP7276469B2 (ja) 波源方向推定装置、波源方向推定方法、およびプログラム
JP7023324B2 (ja) マルチメディア信号認識のための電子装置およびその動作方法
JP7270869B2 (ja) 情報処理装置、出力方法、及び出力プログラム
JP2018170640A (ja) マルチトーン信号検出装置、マルチトーン信号検出方法及びプログラム
JP6119604B2 (ja) 信号処理装置、信号処理方法、および信号処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020526725

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924591

Country of ref document: EP

Kind code of ref document: A1