WO2006132249A1 - 信号分離装置 - Google Patents

信号分離装置 Download PDF

Info

Publication number
WO2006132249A1
WO2006132249A1 PCT/JP2006/311334 JP2006311334W WO2006132249A1 WO 2006132249 A1 WO2006132249 A1 WO 2006132249A1 JP 2006311334 W JP2006311334 W JP 2006311334W WO 2006132249 A1 WO2006132249 A1 WO 2006132249A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
output
gradient
separation device
spatial
Prior art date
Application number
PCT/JP2006/311334
Other languages
English (en)
French (fr)
Inventor
Kenbu Teramoto
Kosuke Tsuruta
Original Assignee
Saga University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saga University filed Critical Saga University
Priority to JP2007520126A priority Critical patent/JPWO2006132249A1/ja
Publication of WO2006132249A1 publication Critical patent/WO2006132249A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present invention relates to a signal for separating each output signal before superposition from a superposition signal on which each output signal such as an audio signal or a radio signal output from a different position in a two-dimensional plane or three-dimensional space is superposed.
  • the present invention relates to a separation device.
  • This human auditory ability is called the cocktail party effect. Even if a large number of sound sources are mixed, even when recording with a normal microphone, only the necessary sound is efficiently collected due to the effects of the distance to the sound source, the direction of arrival of the sound source, and the strength of the sound. It is very difficult to do.
  • Blind signal separation is one method for restoring an original signal from a signal in which a plurality of signals are superimposed.
  • Blind signal separation is a technique for estimating a source signal based on the assumption that the source signal is statistically independent and the observed signal is linearly mixed by the source signal.
  • a sound source signal circuit relating to these separation methods and a microphone device using the same are disclosed in Japanese Patent Application Laid-Open No. 2000-181499.
  • a sound source separation and collection microphone device and method thereof are disclosed in Japanese Patent Laid-Open No. 2003-98003. Furthermore, a sound source separation method, apparatus, and recording medium are disclosed in JP-A-10-31349.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2000-181499
  • Patent Document 2 JP 2003-98003 A
  • Patent Document 3 JP-A-10-313497 Disclosure of the invention
  • Patent Document 1 in the above prior art describes that a plurality of mixed signals X (t) in which a plurality of linearly independent sounds (sound source signals) are linearly added.
  • Patent Document 2 has the same problem because the mixed signal is divided for each sound source signal after being divided for each frame, as in Patent Document 1.
  • Patent Document 3 divides each channel signal of a plurality of microphone forces into a plurality of bands so that the main component is the power of only one sound source signal component. Since each sound source signal is separated by detecting the level and arrival time, and then determining and separating which sound source signal for each band from these, only the component of one sound source signal is used. The division processing cannot be executed unless the pre-processing for dividing into a plurality of bands as much as possible, and the processing steps and circuit configuration become complicated, and the separation processing time is delayed.
  • the present invention has been made to solve the above-described problems. Output signals output from different positions in a two-dimensional plane or a three-dimensional space can be quickly and reliably output with simple processing steps and apparatus configurations. It is an object of the present invention to provide a signal separation device that can be separated.
  • the signal separation device is a signal separation device that separates the superimposed signals on which the output power signals output at different positions in a two-dimensional plane or three-dimensional space are superimposed.
  • Spatial gradient detection means for detecting a signal as an instantaneous mixture sum of time gradients for each output signal, and directly capturing the signals detected by the spatial gradient detection means without storing them, thereby obtaining an instantaneous mixture sum of time gradients of the output signals.
  • a signal separation means for separating each of the output signals based on the output signal.
  • a superimposed signal in which output signals to be output from output sources at different positions are superimposed is detected as an instantaneous mixed sum of time gradients related to the output signals, and the instantaneous value of the time gradient is instantaneous. Based on the mixed sum, the output signals are separated from each other! /, So this detected signal can be detected not as a scalar quantity (sound pressure) but as a vector (sound pressure gradient). Thus, it is possible to quickly and reliably separate the output signals together with the directions of the output sources with simple processing steps and apparatus configurations.
  • the signal separation unit includes an integrator for time-integrating the spatial gradient signal output from the gradient detection unit force as necessary.
  • the signal separation unit includes an integrator that temporally integrates the spatial gradient signal output from the gradient detection unit
  • the matrix in the subsequent stage of the spatial gradient detection unit Has the effect of reducing the negative effects of noise in computation
  • the signal separation means includes a first integrator that temporally integrates the spatial gradient signal output by the gradient detection means, and the first integrator as necessary.
  • the average calculator that calculates the average of two signals and the time-integrated signal that is output by the first integrator force are the gradient of the spatial gradient by spatial differentiation.
  • a second integrator for temporally integrating the spatial gradient signal output from the spatial differentiator.
  • the signal separating means includes a first integrator that time-integrates the spatial gradient signal output from the gradient detecting means, and a time integrated signal output from the first integrator.
  • a first integrator that time-integrates the spatial gradient signal output from the gradient detecting means
  • a time integrated signal output from the first integrator a time integrated signal output from the first integrator
  • a spatial differentiator that computes the gradient of the spatial gradient by spatial differentiation
  • the spatial differentiation described above Since it is equipped with a second integrator that integrates the output spatial gradient signal with respect to time, the effect that the signal separation device can support up to four sound sources in a two-dimensional plane is achieved. Play.
  • the signal separation device is configured as a microphone array in which the spatial gradient detection unit detects each output signal as each audio signal, if necessary.
  • the mouthphone array detects the sound pressure gradient of the audio signal.
  • the detection of the time gradient for each output signal is detected by the microarray as each sound signal by the microarray, and this microphone array detects the sound pressure gradient of the sound signal.
  • each audio signal can be separated quickly and reliably with a simple processing process and apparatus configuration.
  • the signal separation device obtains the sound pressure gradient detected by the microphone array by time differentiation of the particle velocity as necessary.
  • each output signal itself is estimated by the time differentiation of each output signal.
  • Each process is unnecessary, and there is an effect that high-speed and reliable separation is possible with a simpler process and apparatus configuration.
  • the microphone array measures a sound pressure difference at least in the X-axis direction or the y-axis direction at an observation point with respect to a different position where each audio signal is output. It consists of a bidirectional microphone.
  • the microphone array force is composed of a bidirectional microphone that measures a sound pressure difference at least in the X-axis direction or the y-axis direction at observation points with respect to different positions from which each audio signal is output. Therefore, it has the effect that the sound signals can be separated quickly and reliably with a simple processing process and apparatus configuration along with the direction of each sound source.
  • the signal separation means separates the superimposed signal into output signals as necessary, and the direction and Z or standard of each output signal in each output source. Deviation is output.
  • the signal separation means separates the superimposed signal into each output signal and outputs the direction and Z or standard deviation of each output signal at each output source. Along with the direction, each audio signal can be separated quickly and reliably with a simple processing process and apparatus configuration.
  • FIG. 1 is an overall circuit configuration diagram of a signal separation device according to a first embodiment of the present invention.
  • 2 is an arrangement configuration diagram of the bidirectional microphone shown in FIG. 1.
  • FIG. 1 is an overall circuit configuration diagram of a signal separation device according to a first embodiment of the present invention.
  • ⁇ 4] is an overall circuit configuration diagram of the signal separation device according to the second embodiment of the present invention.
  • ⁇ 5] is an operation flowchart of the signal separation device shown in FIG.
  • FIG. 7 is an arrangement configuration diagram of the particle velocity microphone described in FIG.
  • FIG. 8 is an operation flowchart of the signal separation device shown in FIG.
  • FIG. 9 is a block diagram of a confusion process “separation process” for explaining the arithmetic logic of each embodiment of the present invention.
  • FIG. 10 is a speech waveform diagram used in a numerical experiment 'acoustic experiment in each embodiment of the present invention.
  • FIG. 11 is a power spectrum of two source signals of each embodiment of the present invention.
  • FIG. 17 is a block diagram of a spatial integration microphone used in an acoustic experiment of the present invention.
  • FIG. 23 is an overall circuit configuration diagram of a signal separation device according to a fourth embodiment of the present invention.
  • FIG. 24 is an explanatory diagram for explaining an omnidirectional microphone unit in the omnidirectional microphone shown in FIG.
  • FIG. 25 is an explanatory diagram for explaining directivity characteristics in the ⁇ -axis and y-axis directions by the first spatial differentiator and the first integrator in the signal separation device shown in FIG.
  • FIG. 26 is a layout diagram of the omnidirectional microphone shown in FIG. 23.
  • FIG. 27 is an operation flowchart of the signal separation device shown in FIG. 23.
  • FIGS. 1 is an overall circuit configuration diagram of the signal separation device according to the present embodiment, and FIG.
  • Fig. 3 is a layout diagram of the bidirectional microphone described in Fig. 1.
  • Fig. 3 shows an operation flowchart of the signal separation device shown in Fig. 1.
  • the signal separation device collects source signals P (t) and P (t) from sound sources 201 and 202 existing at different positions in a homogeneous three-dimensional space.
  • the bidirectional microphone 1 includes an X-axis bidirectional microphone 11 that measures the sound pressure difference in the X-axis direction, and a sound pressure difference in the y-axis direction from the vicinity of the observation point 100.
  • the y-axis direction bidirectional microphone 12 to be measured is provided.
  • the bidirectional microphone 11 in the X-axis direction has directivity 11a used for spatial differentiation in the X-axis direction at the observation point 100 as shown in FIGS. 2 (A) and 2 (B).
  • the y-axis direction bidirectional microphone 12 has a directivity 12a used for spatial differentiation in the y-axis direction, like the X-axis direction bidirectional microphone 11.
  • the spatial differentiator 2 calculates the spatial gradient (f-f) ⁇ ⁇ ⁇ ⁇ in the X-axis xl x2 to obtain xl x2, and the spatial gradient (f f) ⁇ in the y-axis y-axis yl y2
  • the directional space differentiator 22 is provided.
  • the separation processing operation of the signal separation device according to the present embodiment based on the above configuration will be described. I will explain. First, the source signals P (t) and P (t) from the sound sources 201 and 202 arranged in a homogeneous three-dimensional space are converted into both the X-axis bidirectional microphone 11 and the y-axis direction near the observation point 100.
  • Step 1 The collected source signals Pl (t) and P2 (t) are converted into spatial gradients fx, fy by the spatial differentiation in the X-axis and y-axis directions by the X-axis spatial differentiator 21 and the y-axis spatial differentiator 22, respectively.
  • the matrix calculation circuit 3 multiplies the spatial amount (sound pressure gradient) of the spatial gradient signals fx (t) and fy (t) by the inverse matrix of the mixing matrix. (Step 2).
  • the matrix operation circuit 3 determines whether or not there is a signal input from the bidirectional microphone 1, the spatial differentiator 2, and the matrix operation circuit 3 which are input devices in the previous stage (step 3). Is determined by blind signal separation (step 4), and the estimated separation signals P (t) and P (t) are calculated (step 5). ).
  • the y-axis time integrator 62 integrates each time to calculate the separated signals P (t) and P (t) (step 6).
  • the separated signals P (t) and P (t) calculated in step (b) are output to a display device (not shown).
  • the direction 'standard deviation calculation circuit 5 determines the arrival directions 0 and ⁇ of the source signals P (t) and P (t) and the sound source. 201, 202 time gradient
  • ⁇ and the standard deviations ⁇ and ⁇ of the sound sources 201 and 202 are output to the display device or the like (step
  • the signal separation device is based on the spatiotemporal gradient analysis, and in a homogeneous space, the spatial gradient at an arbitrary observation point 100 is linear in the temporal gradient at the sound sources 201 and 202. Take advantage of the fact that it is expressed as a mixture. That is, the features of the present embodiment are summarized as follows. By measuring the spatial gradient at only one observation point 100 and its vicinity, the instantaneous mixed sum of the time gradients of the source signals P (t) and P (t) can be obtained.
  • the spatial gradient of the observed signal that does not need to take into account the difference in the arrival time of signals occurring between the observation points 100 can be regarded as the instantaneous linear mixed signal. Separation signals P (t) and P (t) can be estimated
  • FIG. 4 is an overall circuit configuration diagram of the signal separation device according to the present embodiment
  • FIG. 5 is an operation flowchart of the signal separation device described in FIG.
  • the signal separation device is the same as the first embodiment in the bidirectional microphone 1, the spatial differentiator 2, the matrix operation circuit 3, and the separation matrix element calculation circuit 4. And the direction 'standard deviation calculation circuit 5 are provided in common, and the sound pressure gradient signals fx (t) and fy (t) output from the spatial differentiator 2 are time-integrated, and the integrated sound pressure gradient signal fx ( t) and an integrator 7 (corresponding to the integrator 6 in the first embodiment) that outputs fy (t) to the matrix operation circuit 3.
  • noise is usually superimposed on the observation signal at observation point 100, and when spatial differentiator 2 simply obtains the spatial gradient by subtraction, the noise is emphasized, and the matrix operation in the subsequent stage is performed. In some cases, a large error may be caused in the calculation by the circuit 3. For this reason, there is a possibility that the filter can be applied to remove this noise. Depending on the type of filter, the linear instantaneous mixing conditions necessary for the system to operate well may be broken. .
  • the signal separation device by disposing the integrator 7 in the previous stage of the matrix calculation circuit 3, the spatial separation that does not cause the above-described inappropriate action is achieved. It is possible to reduce the adverse effects of noise in the matrix operation in the second stage of the device 2.
  • the separation processing operation of the signal separation device according to the present embodiment based on the above configuration is processed in substantially the same manner as in the first embodiment, but the X-axis direction spatial differentiator 21
  • the spatial gradients fx and fy are calculated (step 11) by the y-axis direction spatial differentiator 22, the spatial gradients fx and fy are time-integrated by the integrator 7. (S Step 12).
  • the spatial gradient signals fx (t) and fy (t) of the spatially integrated spatial gradients fx and fy are multiplied by the inverse matrix of the mixing matrix by the matrix operation circuit 3. Thereafter, separation signals P (t) and P (t) are output in steps 13 to 18 as in the first embodiment, and at the observation point 100.
  • FIGS. 6 is an overall circuit configuration diagram of the signal separation device according to the present embodiment
  • FIG. 7 is an arrangement configuration diagram of the particle velocity microphone described in FIG. 6
  • FIG. 8 is an operation flowchart of the signal separation device described in FIG. Show.
  • the signal separation device is similar to the first embodiment in that the matrix operation circuit 30 (corresponding to the matrix operation circuit 3 in the first embodiment), the separation matrix element calculation Circuit 4 and direction 'Standard deviation calculation circuit 5 is provided in common, and particle velocity microphone 10 that measures source signals P (t) and P (t) from sound sources 201 and 202 as particle velocity Vx and Vy is provided.
  • the matrix operation circuit 30 corresponding to the matrix operation circuit 3 in the first embodiment
  • the separation matrix element calculation Circuit 4 and direction 'Standard deviation calculation circuit 5 is provided in common
  • particle velocity microphone 10 that measures source signals P (t) and P (t) from sound sources 201 and 202 as particle velocity Vx and Vy is provided.
  • the particle velocity signals Vx (t) and Vy (t) measured by the particle velocity microphone 10 are output to the matrix operation circuit 30.
  • the source signals P (t) and P (t) from the sound sources 201 and 202 are converted into a particle velocity V by the particle velocity microphone 10.
  • step 20 It is determined whether or not the particle velocity signals Vx (t) and Vy (t) based on the particle velocities Vx and Vy from the input device including the particle velocity microphone 10 have been output (step 21).
  • step 21 if it is determined that the particle velocity signals Vx (t) and Vy (t) are output, the subsequent particle velocity signals Vx (t) and Vy (t) Is multiplied by the inverse matrix of the mixing matrix by the matrix operation circuit 30. Thereafter, as in the second embodiment, the separation signals P (t) and P (t) are output in steps 22 to 26 and the source signals P (t) and P at the observation point 100 are output.
  • the spatial gradient at the observation point 100 is expressed by a linear combination of the time gradients of the source signal according to the wave equation.
  • the sound pressure satisfies the following wave equation in a far field that does not include the sound source 201 and the sound source 202.
  • Equation 1 0. (1)
  • Equation (1) shows the existence of two wavefronts traveling in opposite directions. Here, we focus on one wavefront and focus on the following advection equation.
  • Equation (2) This equation shows the linear relationship between the temporal and spatial gradients of sound pressure at observation point 100. ing. Assuming a homogeneous space, the time gradient of the sound pressure at a certain observation point is represented by the sum of the time gradient values of the sound pressure past the propagation delay time in each sound source 201 202. In the present invention, the spatiotemporal gradient method using the linear relationship between the temporal gradient and the spatial gradient is applied to the blind signal separation problem in the wave field satisfying the advection type equation expressed by Equation (2).
  • Equation 6 the sound pressure gradient of f (x, y, t) is derived as follows.
  • the spatial gradient of f (x, y, t) is instantaneous linear mixture with P (t) and P (t) as the source signal.
  • Equation 9 matrix A is defined as a mixed matrix by the following equation.
  • the outline of the instantaneous linear mixed blind signal separation problem is shown in Figs. 9 (A) and 9 (b).
  • ( ⁇ ) indicates the mixing process
  • ( ⁇ ) indicates the separation process.
  • the separation process consists of a whitening process in which the two observed signals are decorrelated with W and a rotation process in which R (r?) Is separated into independent components.
  • R (r?) Is separated into independent components.
  • the separation signal P (t), P (t) and the sound pressure gradient of the observation signal are expressed as
  • the arrival direction and standard deviation of each sound source can be estimated simultaneously with the estimation of the separated signal.
  • the sound pressure gradient of the observed signal is whitened by the matrix W, and rotated and transformed so that the output signals are independent from each other by the matrix R (r?) Estimate the separated signal.
  • the whitening can be calculated by the following equation.
  • the speech waveform shown in Fig. 10 is the source signal used in numerical and acoustic experiments.
  • Table 1 shows the source signal
  • blind signal separation is applied to the spatial gradient of the observation signal composed of the time gradient of the source signal created based on the Fourier series expansion.
  • Blinds used in the present invention In signal separation, in order to stabilize the moment used in the whitening process, estimation of the separation matrix starts 1 second after the moment calculation starts. In addition, the following equation is adopted to obtain the source signal by time integration of the estimated separated signal.
  • Table 2 shows the setting values for numerical experiments.
  • Figure 12 shows the time gradient of the source signal.
  • Fig. 13 shows the spatial gradients fx (t) and fy (t) of the observed signal.
  • Fig. 14, Fig. 15, and Fig. 16 show the integral and sequentially estimated ⁇ and ⁇ , respectively.
  • FIG. 16 (B) shows the estimated direction of the sound source.
  • p (Z) and p (Z) are marginal probability density functions, and p (Z, Z) is a joint probability density function.
  • the probability density function was calculated from the amplitude value of the signal and quantized to 129 tones including 0 and 64 on the + and-sides, respectively, and the mutual information was calculated.
  • the observation point 100 is centered on the X axis and the y axis and separated by a predetermined distance.
  • a microphone formed by arranging a pair is introduced. If the observation signal obtained at the point (0, 0) in the center of the spatial micro microphone is f (0, 0, t), then f (x, y, t) to f (x, y, t)
  • Equation 32 4 (: r, y, t) From these relational expressions, the spatial differentiation in the X and y directions of the observed signal using the difference method is [0084] [Equation 33] f , h ( ⁇ , y, t)-fs (x ⁇ j, t)
  • ⁇ is the distance between the microphones, and the wavelength of the signal of interest is sufficiently longer than this distance. In the manufactured microphone of Fig. 17, ⁇ is 18 mm.
  • FIG. 23 is an overall circuit configuration diagram of the signal separation device according to the present embodiment
  • FIG. 24 illustrates an omnidirectional microphone unit in the omnidirectional microphone shown in FIG.
  • FIG. 25 is an explanatory diagram for explaining the directivity characteristics in the X-axis and y-axis directions by the first spatial differentiator and the first integrator in the signal separation device shown in FIG. 26 is an arrangement configuration diagram of the omnidirectional microphone shown in FIG. 23, and
  • FIG. 27 is an operation flowchart of the signal separation device shown in FIG.
  • the signal separation device is similar to the second embodiment in that the matrix operation circuit 103 (corresponding to the matrix operation circuit 3 in the second embodiment), the separation matrix Common element calculation circuit 104 (corresponding to separation matrix element calculation circuit 4 in the second embodiment) and direction 'standard deviation calculation circuit 105 (direction in second embodiment 5' corresponding to standard deviation calculation circuit 5)
  • the source signals P (t), P (t), P (t), and P (t) from the sound sources 201, 202, 203, and 204 existing at different positions in a homogeneous two-dimensional plane are collected. Sound omnidirectional microphone
  • V (t), v (t), v (t), v (t), v (t) to average calculator 108, v (t), v (t), v (t), v y4 xl x4 yl y4 xl x2 x3 x4
  • the first yl y2 y3 y4 that outputs (t), v (t), v (t), v (t), v (t) to the second spatial differentiator 109, respectively
  • Integrator 107 and the time integration signal output from the first integrator 107 V (t), V (t), v (t), xl x4 yl
  • V (t) the average of V (t) and V (t) is V (t)
  • the average (t) of V (t) and V (t) is the row y4 xl x4 x yl y4 y
  • the average arithmetic unit 108 output to the column arithmetic circuit 103 and the time integration signal V (t), v (t), v (t), v (t), v (t ), V (t), v (t), v (t), v (t) and v (t), xl x2 x3 x4 yl y2 y3 y4 x2 x3
  • the second spatial differentiator 109 to be obtained and the gradient signal output from the second spatial differentiator 109 are time integrated, and the obtained time integrated signals u (t), u (t), u (t), u (t) the matrix operation circuit
  • the matrix operation circuit 103 and the separation matrix element calculation circuit 104 are shown as one block.
  • the average calculator 108 calculates the gradient of the sound pressure in the X direction at f (origin O).
  • the second spatial differentiator 109 is configured so that the sound pressure gradient in the X direction ((f ⁇ f) / ⁇ ( ⁇ ⁇ f) /
  • V (t) indicates the particle velocity in the X direction
  • V (t) indicates the particle velocity in the y direction
  • the signal separation device is in the two-dimensional plane. It will be able to support up to two sound sources.
  • U (t) is the X direction gradient of the particle displacement in the X direction
  • u (t) is the y direction gradient of the particle displacement in the X direction
  • u (t) is the y of the particle displacement in the y direction.
  • the gradient of the direction, u (t), indicates the gradient of the particle displacement in the y direction in the X direction.
  • the device can support up to four sound sources in a two-dimensional plane.
  • the omnidirectional microphone 101 includes nine omnidirectional microphones (f,
  • Two omnidirectional microphone units (a pair of f1, f2, f3 and f5, a pair of f3, f5, f6 and f8, a thread of f5, f7, f8 and f And
  • an omnidirectional microphone composed of four omnidirectional microphones (f, f, f, f).
  • the source signal of the sound source picked up by the omnidirectional microphone unit 101a is the first spatial differentiator 102a connected to the omnidirectional microphone unit 101a. And the directivity in the x-axis direction by the first integrator 107a. It is output as a time integration signal with la and directivity 11 lb in the y-axis direction.
  • the first spatial differentiator 102a is connected to omnidirectional microphones f and f.
  • one omnidirectional microphone unit shown in FIG. 25 is replaced with two omnidirectional microphone units 101b and 101d in the X direction and two omnidirectional microphones in the y direction as shown in FIG.
  • the undirected microphone 101 in FIG. 23 is configured by arranging the units 101a and 101c close to each other in parallel.
  • omnidirectional microphones (f, f, f, f, f) that touch each other between adjacent omnidirectional microphone units are adjacent omnidirectional microphones.
  • source signals P (t), P (t), P (t), and P (t) from sound sources 201, 202, 203, and 204 arranged in a homogeneous two-dimensional plane are Omnidirectional microphone (f, f, f, f, f, f, f
  • the collected source signals P (t), P (t), P (t), and P (t) are converted by the first spatial differentiator 102 into the x-axis and
  • This spatial gradient fx (t), fx (t), fx (t), fx (t), fy (t), fy (t), fy (t), fy (t) is the first integration
  • the time is integrated by the unit 107 (step 29).
  • the unit 109 calculates the gradient of the spatial gradient by the spatial differentiation in the x-axis and y-axis directions (step 31).
  • the gradient signal output from the second spatial differentiator 109 is time-integrated (step 32).
  • Standard deviations ⁇ , ⁇ , ⁇ , ⁇ are output to the display device or the like.
  • the signal separation device is based on the spatiotemporal gradient analysis, and in the homogeneous space, the spatial gradient force at any observation point 100 in the sound sources 201, 202, 203, 204 Take advantage of the fact that it is expressed as a linear mixture of time gradients.
  • the features of this embodiment are summarized as follows.
  • P (t) 4 can be separated.
  • the spatial gradient of the observed signal that does not need to take into account the difference in arrival time of signals generated between the observation points 100 can be regarded as an instantaneous linear mixed signal. Separation signals P (t), P (t), P (t), and P (t) can be estimated by processing for mixing.
  • the time integration signal of the sound pressure gradient signal from the first integrator 107 is converted into an average calculator using the omnidirectional microphone 101, which is the force of nine omnidirectional microphones.
  • the particle velocity V (t) in the X direction and the particle velocity V (t) in the y direction are output to the matrix operation circuit 103, and are output by the second spatial differentiator 109 and the second integrator 110.
  • the signal separation device can support up to four sound sources in the two-dimensional plane.
  • the arithmetic logic of the fourth embodiment is substantially the same as the arithmetic logic up to the equation (8) described in the first embodiment, the second embodiment, and the third embodiment. Therefore, the explanation of the arithmetic logic up to the equation (8) is omitted.
  • the spatial gradient of f (X, y, t) is instantaneous linear when P (t), P (t), P (t), and P (t) are used as source signals.
  • the source signals P (t), P (t), P (t), and P (t) can be obtained by calculating the pseudo inverse matrix B— 1 of the matrix B (6 rows and 4 columns) using the existing method. Can do.
  • the 1st and 2nd row portions of the matrix B are the mixed rows of A with respect to ⁇ , ⁇ , ⁇ and ⁇ , and the 3rd to 6th row portions of B are ⁇ , ⁇ , ⁇ , c , a new matrix of ⁇

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

二次元平面又は三次元空間の異なる位置から出力される出力信号を簡易な処理工程及び装置構成で迅速かつ確実に分離できる信号分離装置を提供する。異なる位置の出力源２０１、２０２から出力される各出力信号が重畳された重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出し、この時間勾配の瞬時混合和に基づいて前記各出力信号を分離するようにしているので、この検出された信号をスカラー量（音圧）ではなく、ベクトル量（音圧勾配）として検出できることとなり、各出力源の方向と共に、各出力信号の分離を簡易な処理工程及び装置構成で迅速且つ確実に分離できる。

Description

明 細 書
信号分離装置
技術分野
[0001] 本発明は、二次元平面または三次元空間の異なる位置から出力される音声信号又 は電波信号等の各出力信号が重畳された重畳信号から重畳前の各出力信号を分 離する信号分離装置に関する。
背景技術
[0002] 人間は多くの人が話している中で、特定の人の声を選択して聞き取ることができる。
この人間の聴覚的な能力をカクテルパーティ効果と呼ぶ。し力し多数の音源が混在 する中、通常のマイクロホンを用いて録音を行ったとしても、音源までの距離、音源の 到来方向、音の強弱などの影響によって必要な音だけを効率よく収音することは非 常に困難である。
[0003] 複数の信号が重畳した信号から元の信号を復元する手法の一つにブラインド信号 分離がある。ブラインド信号分離は、源信号が統計的に独立であり、観測信号が源信 号によって線形的に混合されるという仮定に基づき、源信号を推定する手法である。
[0004] ブラインド信号分離は様々な手法が提案されているが、特に実環境中での音声の 観測を考慮したコンボリューシヨン型のものが研究されてきた。近年その中でも信号を 狭帯域信号に分割し、帯域ごとに瞬時混合型のブラインド信号分離を行う分離手法 が盛んに研究されている。
[0005] これらの分離手法に関する音源信号回路及びこれを用いたマイクロホン装置が特 開 2000— 181499号公報に開示されている。
[0006] また、音源分離収音マイクロホン装置及びその方法が特開 2003— 98003号公報 に開示されている。さらに音源分離方法、装置及び記録媒体が特開平 10— 31349
7号公報に開示されている。
特許文献 1 :特開 2000— 181499号公報
特許文献 2：特開 2003 - 98003号公報
特許文献 3 :特開平 10— 313497号公報 発明の開示
発明が解決しょうとする課題
[0007] 前記従来技術における特許文献 1は、互!、に線形独立な複数の音 (音源信号)が 線形加算された複数の混合信号 X (t
1 )、 X (t)をフレーム分割し、フレーム毎に分割さ
2
れた複数の信号 y (t)、y (t)相互間のラグタイムゼロの相関を最小にする混合行列
1 2
の逆行列を乗算するようにして複数の音源力も音 (音源信号)を分離して 、ることから 、分離処理の前提として複数の混合信号をフレーム毎に分割しなければならず、処 理工程及び回路構成が複雑ィ匕すると共に、分離処理時間を遅延させるという課題を 有する。
[0008] また、特許文献 2にも前記特許文献 1と同様に混合信号をフレーム毎に分割した後 に音源信号ごとに分離していることから、同様の課題を有する。
[0009] さらに、特許文献 3は、複数のマイクロホン力 の各チャンネル信号を、主な成分が 1つの音源信号の成分のみ力 なる程度に複数の帯域に分割し、これらから、各同 一帯域について、レベル、到達時間を検出し、これらから、各帯域毎にいずれの音源 信号かを判定分離することにより、各音源信号を分離するようにしていることから、 1つ の音源信号の成分のみ力 なる程度に複数の帯域に分割する前処理を経なければ 分割処理が実行できず、処理工程及び回路構成が複雑化すると共に、分離処理時 間を遅延させるという課題を有する。
[0010] 本発明は、前記課題を解消するためになされたもので、二次元平面又は三次元空 間の異なる位置から出力される出力信号を簡易な処理工程及び装置構成で迅速か つ確実に分離できる信号分離装置を提供することを目的とする。
課題を解決するための手段
[0011] 本発明に係る信号分離装置は、二次元平面又は三次元空間の異なる位置の出力 源力 出力される各出力信号が重畳された重畳信号を分離する信号分離装置にお いて、前記重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出する 空間勾配検出手段と、前記空間勾配検出手段が検出した信号を格納することなく直 接取り込み、前記出力信号の時間勾配の瞬時混合和に基づいて前記各出力信号を 分離する信号分離手段とを備えるものである。 [0012] このように本発明によれば、異なる位置の出力源から出力させる各出力信号が重畳 された重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出し、この時 間勾配の瞬時混合和に基づ!/、て前記各出力信号を分離するようにして!/、るので、こ の検出された信号をスカラー量 (音圧)でなく、ベクトル (音圧勾配)として検出できる こととなり、各出力源の方向と共に、各出力信号の分離を簡易な処理工程及び装置 構成で迅速且つ確実に分離できる効果を奏する。
[0013] また、本発明に係る信号分離装置は必要に応じて、前記信号分離手段は、前記勾 配検出手段力 出力される空間勾配信号を時間積分する積分器を備えるものである
[0014] このように本発明によれば、信号分離手段が、前記勾配検出手段から出力される空 間勾配信号を時間積分する積分器を備えるものであるので、空間勾配検出手段の 後段における行列演算でのノイズによる悪影響を減少することができる効果を奏する
[0015] また、本発明に係る信号分離装置は必要に応じて、前記信号分離手段は、前記勾 配検出手段力 出力される空間勾配信号を時間積分する第 1の積分器と、前記第 1 の積分器力 出力される時間積分信号のうち、二つの信号の平均を演算する平均演 算器と、前記第 1の積分器力 出力される時間積分信号を、空間微分による空間勾 配の勾配を演算する空間微分器と、前記空間微分器から出力される空間勾配信号 を時間積分する第 2の積分器とを備えるものである。
[0016] 本発明によれば、信号分離手段が、前記勾配検出手段から出力される空間勾配信 号を時間積分する第 1の積分器と、前記第 1の積分器から出力される時間積分信号 のうち、二つの信号の平均を演算する平均演算器と、前記第 1の積分器から出力さ れる時間積分信号を、空間微分による空間勾配の勾配を演算する空間微分器と、前 記空間微分器力 出力される空間勾配信号を時間積分する第 2の積分器とを備える ものであるので、信号分離装置が二次元平面中にある最大で 4つの音源に対応する ことが可能となる効果を奏する。
[0017] また、本発明に係る信号分離装置は必要に応じて、前記空間勾配検出手段が、各 出力信号を各音声信号として検出するマイクロホンアレイとして構成され、当該マイク 口ホンアレイが前記音声信号の音圧勾配として検出するものである。
[0018] 本発明によれば、各出力信号に関する時間勾配の検出をマイクロアレイが各出力 を各音声信号として検出し、このマイクロホンアレイが前記音声信号の音圧勾配とし て検出するようにしているので、各音源の方向と共に、各音声信号の分離を簡易な 処理工程及び装置構成で迅速且つ確実に分離できる効果を有する。
[0019] また、本発明に係る信号分離装置は必要に応じて、マイクロホンアレイが検出する 音圧勾配を粒子速度の時間微分により求めるものである。本発明によれば、マイクロ ホンアレイが検出する音圧勾配を粒子速度の時間微分により求めることから、各出力 信号の時間微分でなぐ各出力信号そのものを推定するようにしているので、微分、 積分の各処理が不用となり、より簡易な処理工程及び装置構成で高速'確実な分離 が可能となる効果を有する。
[0020] また、本発明に係る信号分離装置は必要に応じて、前記マイクロホンアレイが、各 音声信号が出力される異なる位置に対する観測点における少なくとも X軸方向又は y 軸方向の音圧差分を計測する双指向性のマイクロホンで構成されるものである。
[0021] 本発明によれば、マイクロホンアレイ力 各音声信号が出力される異なる位置に対 する観測点における少なくとも X軸方向又は y軸方向の音圧差分を計測する双指向 性のマイクロホンで構成されるので、各音源の方向と共に、各音声信号の分離を簡 易な処理工程及び装置構成で迅速且つ確実に分離できる効果を有する。
[0022] さらに、本発明に係る信号分離装置は必要に応じて、前記信号分離手段が、重畳 信号を各出力信号に分離すると共に、当該各出力信号の各出力源における方向及 び Z又は標準偏差を出力するものである。
[0023] 本発明によれば、信号分離手段が、重畳信号を各出力信号に分離すると共に、こ の各出力信号の各出力源における方向及び Z又は標準偏差を出力するので、各音 源の方向と共に、各音声信号の分離を簡易な処理工程及び装置構成で迅速且つ確 実に分離できる効果を有する。
図面の簡単な説明
[0024] [図 1]本発明の第 1の実施形態に係る信号分離装置における全体回路構成図である [図 2]図 1に記載の双指向性マイクロホンの配置構成図である。
圆 3]図 1に記載の信号分離装置の動作フローチャートである。
圆 4]本発明の第 2の実施形態に係る信号分離装置における全体回路構成図である 圆 5]図 1に記載の信号分離装置の動作フローチャートである。
圆 6]本発明の第 3の実施形態に係る信号分離装置における全体回路構成図である
[図 7]図 6に記載する粒子速度マイクロホンの配置構成図である。
圆 8]図 6に記載の信号分離装置の動作フローチャートである。
圆 9]本発明の各実施形態の演算論理を説明するための混同過程'分離過程のプロ ック図である。
[図 10]本発明の各実施形態における数値実験'音響実験に使用する音声波形図で ある。
[図 11]本発明の各実施形態の 2つの源信号のパワースペクトルである。
圆 12]本発明の各実施形態の源信号の時間勾配特性図である。
圆 13]本発明の各実施形態における観測信号の空間勾配図である。
圆 14]本発明の各実施形態における分離信号の特性図である。
圆 15]本発明の各実施形態における分離信号の特性図である。
圆 16]本発明の各実施形態における分離信号の特性図である。
[図 17]本発明の音響実験に用いる空間積分マイクロホンのブロック図である。
圆 18]本発明の音響実験の実験概略図である。
圆 19]本発明の音響実験における観測信号の空間勾配特性図である。
圆 20]本発明の音響実験における観測信号の空間勾配特性図である。
圆 21]本発明の音響実験における分離信号の波形図である。
圆 22]本発明の音響実験における到来方向の特性図である。
[図 23]本発明の第 4の実施形態に係る信号分離装置の全体回路構成図である。
[図 24]図 23に示す無指向性マイクロホンにおける無指向性マイクロホンユニットを説 明するための説明図である。 [図 25]図 23に示す信号分離装置のうち第 1の空間微分器と第 1の積分器による χ軸 及び y軸方向の指向特性を説明するための説明図である。
[図 26]図 23に記載する無指向性マイクロホンの配置構成図である。
[図 27]図 23に記載の信号分離装置の動作フローチヤ一トである。
符号の説明
1 双方向性マイクロホン
10 粒子速度マイクロホン
11 X軸方向双方向性マイクロホン
12 y軸方向双方向性マイクロホン
11a, 12a, 111a, 111b 指向性
2 空間微分器
21 X軸方向空間微分器
22 y軸方向空間微分器
3、 30、 103 行列演算回路
4、 104 分離行列要素算出回路
5、 105 方向，標準偏差算出回路
6、 7 積分器
61 X軸時間積分器
62 y軸時間積分器
100 観測点
101 無指向性マイクロホン
101a, 101b, 101c, 101d 無指向性マイクロホンユニット
102、 102a 第 1の空間微分器
107、 107a 第 1の積分器
108 平均演算器
109 第 2の空間微分器
110 第 2の積分器 201、 202、 203、 204 音源
p ωゝ ρ ω、 ρ ω、 ρ )源信号 fx(t)、 fy(t)音圧勾配信号
発明を実施するための最良の形態
[0026] (本発明の第 1の実施形態）
以下、本発明の第 1の実施形態に係る信号分離装置を、図 1ないし図 3に基づいて 説明する。この図 1は本実施形態に係る信号分離装置の全体回路構成図、図 2は図
1に記載する双指向性マイクロホンの配置構成図、図 3は図 1に記載する信号分離装 置の動作フローチャートを示す。
[0027] 前記各図において本実施形態に係る信号分離装置は、均質な三次元空間中の異 なる位置に存在する音源 201、 202からの源信号 P (t)、 P (t)を収音する双方向性マ
1 2
イク口ホン 1と、この双方向性マイクロホン 1で収音した源信号 P (t)、 P (t)に関する音
1 2
圧の勾配を求める空間微分器 2と、この求められた音圧勾配信号 fx(t)、 fy(t)のべタト ル量 (音圧勾配)に混合行列の逆行列を乗算する行列演算回路 3と、この行列演算 値をブラインド信号分離で分離行列要素 a'ijを推定して推定分離信号 Pti(t) ;i= l, 2 を推定算出する分離行列要素算出回路 4と、前記分離行列要素 a'ijに基づいて音源 201、 202の到来方向 0 、 θ (X軸正方向とのなす角度)及び音源 201、 202の時
1 2
間勾配の標準偏差 σ ti、 σ tjを算出する方向，標準偏差算出回路 5と、前記推定分離 信号 Pti(t)を時間積分として分離信号 P (t)、 P (t)を演算する積分器 6とを備える構成
1 2
である。
[0028] 前記双方向性マイクロホン 1は、観測点 100近傍力も X軸方向の音圧差分を計測す る X軸方向双方向性マイクロホン 11と、観測点 100近傍から y軸方向の音圧差分を計 測する y軸方向双方向性マイクロホン 12とを備える構成である。この X軸方向双方向 性マイクロホン 11は、図 2 (A)、（B)に示すように観測点 100における X軸方向の空 間微分に用いられる指向性 11aを有する。また、前記 y軸方向双方向性マイクロホン 12は X軸方向双方向性マイクロホン 11と同様に y軸方向の空間微分用に用いられる 指向性 12aを有する。前記空間微分器 2は、 X軸方向の空間勾配 (f - f ) ΖΔχを xl x2 求める χ軸方向空間微分器 21と、 y軸方向の空間勾配 (f f ) ΖΔχを求める y軸 yl y2
方向空間微分器 22とを備える構成である。
[0029] 次に、前記構成に基づく本実施形態に係る信号分離装置の分離処理動作につい て説明する。まず、均質な三次元空間中に配設された音源 201、 202からの源信号 P (t)、 P (t)を観測点 100近傍の X軸方向双方向性マイクロホン 11及び y軸方向双方
1 2
向性マイクロホン 12で収音する (ステップ 1)。この収音された源信号 Pl(t)、 P2(t)を X 軸方向空間微分器 21、 y軸方向空間微分器 22により X軸、 y軸各方向の空間微分に よる空間勾配 fx、 fyを演算し、この空間勾配 fx、 fyに基づいて行列演算回路 3が空 間勾配信号 fx(t)、 fy(t)のべ外ル量 (音圧勾配）に混合行列の逆行列を乗算する (ス テツプ 2)。
[0030] 前記行列演算回路 3は、前段の入力機器である双方向性マイクロホン 1、空間微分 器 2及び行列演算回路 3から信号の入力が有る力否かを判断し (ステップ 3)、この信 号の入力が有ると判断した場合にはブラインド信号分離で分離行列要素 a'ijを推定し (ステップ 4)、この推定した推定分離信号 P (t)、P (t)を算出する (ステップ 5)。
tl t2
[0031] この分離行列要素 a'ijに基づく推定分離信号 P (t)、 P (t)を x軸時間積分器 61及び tl t2
y軸時間積分器 62が各々時間積分し、分離信号 P (t)、 P (t)を演算し (ステップ 6)、こ
1 2
の演算された分離信号 P (t)、 P (t)を図示を省略する表示装置等へ出力する (ステツ
1 2
プ 7)。
[0032] 他方、前記ステップ 4で推定算出された分離行列要素 a'ijに基づいて方向'標準偏 差算出回路 5が源信号 P (t)、P (t)の到来方向 0 、 Θ 及び音源 201、 202の時間勾
1 2 1 2
配における標準編着 σ ΐί、 a tjを推定算出する (ステップ 8)。この方向'標準偏差算 出回路 5で推定算出された観測点 100における源信号 P (t)、 P (t)の到来方向 Θ 、
1 2 1
Θ 及び音源 201、 202の標準偏差 σ 、 σ を前記表示装置等へ出力する (ステップ
2 1 2
9)。
[0033] このようにして本実施形態に係る信号分離装置は、時空間勾配解析に基づき、均 質な空間中では、任意の観測点 100における空間勾配が、音源 201、 202における 時間勾配の線形混合で表現されるという事実を利用する。即ち、本実施形態の特徴 は次のように集約される。ただ一つの観測点 100及びその近傍における空間勾配を 計測することにより、源信号 P (t)、 P (t)の時間勾配の瞬時混合和を取得することがで
1 2
きる。そのため最も簡単な瞬時混合型ブラインド信号分離問題に帰着することができ る。さらに、観測量力 sスカラー量 (音圧)ではなぐベクトル量 (音圧の空間勾配)なので 音源の到来方向を含めた源信号 P (t)、 P (t)の分離が可能である。本時空間勾配解
1 2
析手法を採用することにより、観測点 100間に生じる信号の到達時間差を考慮する 必要がなぐ観測信号の空間勾配を瞬時線形混合信号とみなすことができるため、 最も簡単な瞬時線形混合に対する処理で分離信号 P (t)、 P (t)を推定することが可能
1 2
となる。
[0034] (本発明の第 2の実施形態）
以下、本発明の第 2の実施形態に係る信号分離装置を、図 4及び図 5に基づいて 説明する。この図 4は本実施形態に係る信号分離装置の全体回路構成図、図 5は図 4に記載する信号分離装置の動作フローチャートを示す。
[0035] 前記各図において本実施形態に係る信号分離装置は、前記第 1の実施形態と同 様に双方向性マイクロホン 1、空間微分器 2、行列演算回路 3、分離行列要素算出回 路 4及び方向'標準偏差算出回路 5を共通して備え、この空間微分器 2から出力され る音圧勾配信号 fx(t)、 fy(t)を時間積分し、積分された音圧勾配信号 fx(t)、 fy(t)を行 列演算回路 3へ出力する積分器 7 (第 1の実施形態における積分器 6に相当）を備え る構成である。
[0036] ここで、通常、観測地点 100における観測信号にはノイズが重畳されており、空間 微分器 2が単純に空間勾配を引き算によって取得した場合には、ノイズが強調され、 後段の行列演算回路 3による演算に大きな誤差をもたらしてしまう場合がある。このた め、このノイズを除去するために、フィルタを作用させる手段も考えられる力 フィルタ の種類によっては、本システムが良好に動作するために必要な線形瞬時混合の条件 を壊してしまう場合がある。
[0037] したがって、この第 2の実施形態に係る信号分離装置おいては、積分器 7を行列演 算回路 3の前段に配置することで、前述した不適切な作用をもたらすことなぐ空間微 分器 2の後段における行列演算でのノイズの悪影響を減少させることができる。
[0038] 次に、前記構成に基づく本実施形態に係る信号分離装置の分離処理動作は、前 記第 1の実施形態とほぼ同様に処理されるものであるが、 X軸方向空間微分器 21、 y 軸方向空間微分器 22により X軸、 y軸各方向の空間微分による空間勾配 fx、 fyが演 算 (ステップ 11)された後に、この空間勾配 fx、 fyを積分器 7により時間積分する (ス テツプ 12)。
[0039] この時間積分された空間勾配 fx、 fyの各空間勾配信号 fx(t)、 fy(t)が行列演算回 路 3により混合行列の逆行列を乗算される。以下、前記第 1の実施形態と同様ステツ プ 13ないしステップ 18により分離信号 P (t)、 P (t)を出力すると共に観測点 100にお
1 2
ける源信号 P (t)、 P (t)の到来方向 θ 、 Θ 及び音源 201、 202の標準偏差 σ 、 σ を
1 2 1 2 1 2 前記表示装置等へ出力する
[0040] (本発明の第 3の実施形態）
本発明の第 3の実施形態に係る信号分離装置を、図 6ないし図 8に基づいて説明 する。この図 6は本実施形態に係る信号分離装置の全体回路構成図、図 7は図 6〖こ 記載する粒子速度マイクロホンの配置構成図、図 8は図 6に記載する信号分離装置 の動作フローチャートを示す。
[0041] 前記各図において本実施形態に係る信号分離装置は、前記第 1の実施形態と同 様に行列演算回路 30 (第 1の実施形態における行列演算回路 3に相当）、分離行列 要素算出回路 4及び方向 '標準偏差算出回路 5を共通して備え、音源 201、 202から の源信号 P (t)、 P (t)を粒子速度 Vx、 Vyとして計測する粒子速度マイクロホン 10を備
1 2
え、この粒子速度マイクロホン 10で計測された粒子速度信号 Vx(t)、 Vy(t)を前記行 列演算回路 30へ出力する構成である。
[0042] 次に、前記構成に基づく本実施形態に係る信号分離装置分離処理動作はまず、 音源 201、 202からの源信号 P (t)、 P (t)が粒子速度マイクロホン 10により粒子速度 V
1 2
x、 Vyとして計測される (ステップ 20)。この粒子速度マイクロホン 10からなる入力機 器からの粒子速度 Vx、 Vyに基づく粒子速度信号 Vx(t)、 Vy(t)が出力されたカゝ否か を判断する (ステップ 21)。
[0043] このステップ 21にお 、て粒子速度信号 Vx(t)、 Vy(t)が出力されて 、ると判断された 場合には、以降の粒子速度信号 Vx(t)、 Vy(t)が行列演算回路 30により混合行列の 逆行列を乗算される。以下、前記第 2の実施形態と同様にステップ 22ないしステップ 26により分離信号 P (t)、 P (t)を出力すると共に、観測点 100における源信号 P (t)、 P
1 2 1
(t)の到来方向 θ 、 Θ 及び音源 201、 202の標準偏差 σ 、 σ を前記表示装置等へ
2 1 2 1 2
出力する。 [0044] (本発明の各実施形態の演算論理）
以下、前記各実施形態の演算論理を図 9に基づき前記第 1の実施形態の図 2を参 照して説明する。
前記図 2及び図 9において本発明の各実施形態に係る信号分離装置は、波動方 程式により、観測点 100における空間勾配が源信号の時間勾配の線形結合で表現 される。この波動場の時空間勾配法においては、音源 201、音源 202を含んでいな い遠方場で、音圧は次の波動方程式を満たす。
[0045] [数 1] = 0. (1)
Figure imgf000013_0001
ここで cは位相速度ベクトルである。式 (1)は逆向きに進行する 2つの波面の存在を 示して 、る。ここでは片方の波面に着目し次の移流方程式に注目する。
[0046] [数 2]
~ P(x, y, z, t) = -cTVP(x, y, z, t) . (2) この方程式は、観測点 100における音圧の時間勾配と空間勾配の線形関係を示し ている。均質な空間を仮定すると、ある観測点での音圧の時間勾配は、各音源 201 202における伝播遅延時間過去の音圧の時間勾配値の総和で表される。本発明は 式 (2)で示される移流型の方程式を満たす波動場にお 、て、時間勾配と空間勾配の 線形関係を利用する時空間勾配法をブラインド信号分離問題に適用させる。
[0047] 次に、波面の重畳と瞬時混合については、簡単のため同一平面上を進行する 2つ の独立な平面波を仮定する。任意の点における音圧は次式で与えられる。
[0048] [数 3]
， )：
Figure imgf000013_0002
。^ + 1 (3)
ここで cは音速、 θ Θ は各波面の到来方向を示す。関数 P (t)、P (t)は帯域幅 ω の信号の音圧であり、次式で定義する。
[0049] [数 4]
P1 (t) = / Αι (ω)ε3 ω1άω, ζ
Figure imgf000014_0001
任意の点で得られる情報は観測信号 f (x, y, t)のみであり、元の信号や音源の到 来方向は未知である。このような観測信号から源信号 P (t)、 P (t)を推定するために、
1 2
時空間勾配法を適用し、観測信号の空間勾配を源信号 P (t)、 P (t)の時間勾配の線
1 2
形混合信号として表現する。原点 0 (観測点 100)における時間勾配は次式で得られ る。
[0050] [数 5]
Figure imgf000014_0002
：で P (t)、 P (t)の時間勾配である。
[0051] [数 6]
Figure imgf000014_0003
式（5)を用いると、 f (x, y, t)の音圧勾配は次のように導出される。
[0052] [数 7]
Figure imgf000014_0004
[0053] [数 8] d
fy (A = / ， 2/， ) Qj
X = y = Q sin
= -c ∑ Pt
すなわち f (x, y, t)の空間勾配は P (t)、P (t)を源信号とした場合の瞬時線形混合
tl t2
信号として表される。
[0054] [数 9]
Figure imgf000015_0001
ここで行列 Aを混合行列として、次式で定義する。
[数 10]
Figure imgf000015_0002
また、信号の分離と音源方向の推定については、瞬時線形混合型ブラインド信号 分離問題の概略を図 9 (A)、（Β)に示す。（Α)は混合過程を示し、（Β)は分離過程を 示す。（Β)に示されるように、分離過程は観測された 2信号を Wで無相関化する白色 化過程と R( r? )で独立した成分に分離する回転過程から構成される。白色化後、分 離行列を求めるため、分離信号 P (t)、 P (t)と観測信号の音圧勾配は次の関係式を
tl t2
満たす。
[0056] [数 11]
. (11)
Figure imgf000015_0003
ここで分離行列を
[0057] [数 12]
A'二 R(r})W (12) とおく。 R(r?)と Wは後述するブラインド信号分離のアルゴリズムによって決定される 力 混合行列の逆行列 A 1を用いて次式でも表わすことができる。
[0058] [数 13]
Figure imgf000016_0001
ここで σ とび はそれぞれ観測点 P (t)、P (t)におけるの標準偏差である。式（13) tl t2 tl t2
において の要素と A1の各要素を比較することで、式（14)、 （15)の推定式を得 る。
[0059] [数 14]
Figure imgf000016_0002
4)
[0060] [数 15]
α λ + a 2 ί-\ ίι — し J = 丄， z干 J' μο
det A' 二のとき分離信号と各パラメータ Ρ (t)、 θ、 σ 、i=l、 2は次の 2通りのどちらかで推 定される。
[0061] [数 16]
(i) § ™ 9i,at.i =び A ) = Pti(t),
i二 1,2， (16)
[0062] [数 17]
(ii) θ% 二 θ3,σΗ びり.， Pu(t) 二 ¾ W,
Figure imgf000017_0001
すなわち分離信号を推定するのと同時に、個々の音源の到来方向、標準偏差も推 定することができる。
[0063] さらに、瞬時混合に対するブラインド信号分離については、観測信号の音圧勾配は 行列 Wによって白色化され、行列 R( r? )によって出力信号が互いに独立になるように 回転変換させることにより、分離信号を推定する。白色化については、次式で求める ことができる。
[0064] [数 18]
Figure imgf000017_0002
[0065] [数 19]
Figure imgf000017_0003
回転変換については、次式で求めることができる [0066] [数 20]
〜 、 , 、
R(v) (20)
Figure imgf000018_0001
ここで 7?は分離パラメータであり、単位は度 (° )である。最適な 7?を推定するために 次式の評価関数を導入する。
[0067] [数 21]
QM = ( (Α(ί))) + (H(p2(t))) → max .(21) ここで関数 H ( は 4次の Hermite多項式である。
4
[0068] [数 22]
H4(Z) = Z4 - 6 2 + 3. (22) 勾配法を適用した 7?を逐次的に推定する式は次式となる。
[0069] [数 23] ή(t + l) ^ ή(t) ^ μ~Q(ή(t)). (23) ここで μは適当な定数である。
[0070] (本発明における数値実験）
本発明における数値実験により、ブラインド信号分離を用いた音源方向の推定をす る。図 10に示す音声波形は数値実験、音響実験で使用する源信号である。源信号 P (t)、 P (t)として 10秒間の異なる 2人の女性の音声信号を用いる。表 1には源信号の
1 2
各規格を示す。これら 2つの源信号のパワースペクトルを示した図 11をみると、それ ぞれが同様の帯域 (200〜350Hz付近)に主に成分を持っていることがわかる。本発明 ではフーリエ級数展開に基づいて作成した源信号の時間勾配により構成される観測 信号の空間勾配に対してブラインド信号分離を適用する。本発明で用いたブラインド 信号分離では白色化過程で用いられるモーメントを安定させるため、分離行列の推 定はモーメント算出開始から 1秒後に開始する。また推定した分離信号を時間積分し て源信号を求めるため、次式を採用する。
[0071] [数 24]
N
A( At) 二 PH ( (N ― η)Δΐ)Δί. (24)
η = 0
[0072] [表 1]
表 1 源信号の特性
Specincation oi sound sources
Figure imgf000019_0001
表 2に数値実験の設定値を示す。
[0073] [表 2] 表 2 数値実験の設定値
l ctble Δ ¾e values in numerical experiments
Figure imgf000019_0002
これは以降に示す音響実験と同様の設定にしている。源信号の時間勾配を図 12 に、観測信号の空間勾配 fx(t)、fy(t)を図 13に、分離信号 P (t)、P (t)とそれらの時 tl t2
間積分、逐次的に推定した θ 、 Θ を図 14、図 15、図 16にそれぞれ示す。数値実験
1 2
の初期値として分離パラメータの初期値数 V (t)=0° 、 t = lsec、収束係数 =0.
0 0
001を与えている。図 14より、推定開始直後は波形が乱れている力 t=2secには元 の波形はほぼ復元されている。このとき推定した分離行列 R( 7? )Wを次式に示す。
[数 25]
, 、
Figure imgf000020_0001
音源の到来方向を推定した図 16(A)では、 t=2secには θ 、 Θ は徐々に安定し
1 2
始め、 t = 3sec以降は収束している。その後源信号 P 、Pの振幅が同時に急激な変 tl t2
化をしているため、 t = 7sec付近に多少乱れが生じている力 再び真値付近に収束し ている。また最終的に推定された音源の到来方向は 0 =60.8° 、 Θ =120. 1°
1 2
であった。標準偏差は σ =11535. 9、 σ =11835. 2であり、表 1の真値とほぼ
1 2 一 致する。次に分離パラメータの初期値 r? (t ) =270° を与えた場合、分離行列 R( η
0
)wは次式となった。
[数 26]
, 、 , -0.029 0.016 . ^
R(fj)W = 26
、 ノ 1 -0.030 -0.017 ' 図 16(B)には推定した音源の方向を示す。このとき最終的に推定された音源の方 向は 0 =120. 1° 、 Θ =60.8° 標準偏差は σ =11835. 2、 Θ =11535. 9で
1 2 1 2
あった。初期値 7? (t ) =0° の場合、分離信号は式（16)のように推定されるが、初期
0
値 r? (t)=270° をとると、ブラインド信号分離で得られる分離行列の成分が変化し
0
、全ての推定値が式 (17)のように逆に推定された。このように本手法ではブラインド信 号分離によって分離行列がどのように推定されたとしても、出力される分離信号と推 定されたそれらの音源 201、 202の到来方向、標準偏差を適宜に推定できることが 確認された。
[0076] 相互情報量については、混合前後または分離処理前後の信号間の統計的独立性 を確かめるために、相互情報量
[0077] [数 27]
Figure imgf000021_0001
を算出する。相互情報量は常に正であり， Zと Zが互いに独立のとき 0になる。ここで
1 2
p (Z )、 p (Z )は周辺確率密度関数、 p (Z , Z )は結合確率密度関数を表わす。各信
1 2 1 2
号の振幅値を +側と—側それぞれ 64諧調ずつと 0を含む 129諧調に量子化したも のから確率密度関数を求め、相互情報量を算出した。相互情報量は分離信号が安 定して得られて 、る t = 2〜10secの区間のものをそれぞれ求めて!/、る。各信号間の 相互情報量を示した表 3をみると、源信号間の相互情報量 I (P (t)、 P (t))は 0. 048b
1 2
itであり、分離によってこの値を下回ることはない限界の値を意味する。表 3より、相互 情報量における観測信号の空間勾配力 のそれぞれの距離の比：
[0078] [数 28]
Figure imgf000021_0002
を比較すると d〜一 99. 0%となり、得られた分離信号は分離処理によってほぼ統計 的独立になったと考えられる。
[0079] [表 3] 表 3 数値実験における相互情報量
Table 3 Mutual information for numerical experiment
Figure imgf000022_0003
(本発明における音響実験）
本発明における音響実験にぉ 、て、本発明における空間微分マイクロホンを用い て観測信号の空間微分を実現するために、観測点 100を中心として X軸、 y軸各方向 に所定間隔離反させて 2対を配設させて形成されるマイクロホンを導入する。空間微 分マイクロホン本体中央の点（0, 0)で得られる観測信号を f(0, 0, t)とすると、その 前後左右に位置するマイクロホンで得られる f (x、 y、 t)〜f (x、 y、 t)
1 4 はそれぞれ次 のように表わされる。
[0080] [数 29]
Figure imgf000022_0001
[0081] [数 30]
/2( ,y,i) 二 /(0,Δ/2,έ),
[0082] [数 31] h(x,y,t) 二 /(一 Δ/2，0，
[0083] [数 32] 4(:r,y,t)
Figure imgf000022_0002
これらの関係式より差分法を用いた観測信号の X, y方向の空間微分は、 [0084] [数 33] f 、 h(^, y, t) - fs (x^j, t)
) = ― ， (33)
[0085] [数 34] fy (t) = お y ト y (34) で表される。ここで△はマイクロホン間の距離であり、対象の信号の波長はこの距離よ りも十分に長いものとする。製作した図 17のマイクロホンにおいて、△は 18mmであ る。
[0086] 時間積分によるノイズの低減については、実環境中で観測された信号は反射の影 響により、精度の良い分離処理や音源の到来方向、標準偏差の推定を行うことがで きな 、。そこで分離信号に対して行って 、た時間積分を観測信号の空間勾配に対し て行う。すなわち次式の処理で分離信号を得る。
[0087] [数 35]
尋
Figure imgf000023_0001
- n At At
(35) ここで忘却係数は a = e— 〜一 0. 9991であり、時定数 γは 25msに設定して いる。このときの分離過程を図 17に示す。
[0088] 実環境中での信号分離と音源方向の推定については、 2つのスピーカーと空間微 分マイクロホンを用いて信号分離の実験を行った。実験の概略図を図 18に示す。右 側のスピーカーから音声信号 P (t)、左側のスピーカーからは P (t)を同時に再生し、
1 2
空間微分マイクロホンを用いて録音を行った。ただし本システムでは 4音声を同時録 音できないので、マイク f〜fの位置でそれぞれ録音し、同時刻に記録された音声信 号に対して分離処理を行っている。観測信号の音圧勾配 fx(t)、 fy(t)とそれらの時間 積分値を図 19、図 20に、分離信号 P (t)、P (t)を図 21に推定した θ 、 Θ を図 22に
1 2 1 2 それぞれ示す。実験の初期値として分離パラメータの初期値 r? (t ) = 270° 、 t = ls
0 0 ec、収束係数 =0. 0001を与えている。このときブラインド信号分離で推定した分 離行列を次式に示す。
[数 36]
ϋ(ή)ΐν
Figure imgf000024_0001
推定した音源の到来方向 θ 、 Θ はともに t= l. 5secには安定し、 t = 3sec以降に
1 2
はほぼ真値付近に収束しており、精度良く推定されている。このとき最終的に推定さ れた音源の到来方向は 0 =63. 4° 、 Θ = 126. 4° であった。標準偏差は σ =
1 2 tl
3459. 2、 σ = 3483. 3であり、 σ ： σ はほぼ 1： 1でとなるので、表 1の真値の比と t2 tl t2
一致する。また分離信号を音声に変換して聞いてみると、多少相手側の音声が重畳 しているが、所望の信号は強調されていた。表 3, 4より、この実験の相互情報量も式 ( 28)を用いると、 d〜一 85. 3%とすることができた。
[表 4] 表 4 音^実験における相互情報還
Table 4 Mutual information ior acoustical experiment
Figure imgf000024_0002
(本発明の第 4の実施形態）
以下、本発明の第 1の実施形態に係る信号分離装置を、図 23ないし図 27に基づ いて説明する。この図 23は本実施形態に係る信号分離装置の全体回路構成図、図 24は図 23に示す無指向性マイクロホンにおける無指向性マイクロホンユニットを説 明するための説明図、図 25は図 23に示す信号分離装置のうち第 1の空間微分器と 第 1の積分器による X軸及び y軸方向の指向特性を説明するための説明図、図 26は 図 23に記載する無指向性マイクロホンの配置構成図、図 27は図 23に記載する信号 分離装置の動作フローチャートを示す。
[0091] 前記各図において本実施形態に係る信号分離装置は、前記第 2の実施形態と同 様に、行列演算回路 103 (第 2の実施形態における行列演算回路 3に相当）、分離行 列要素算出回路 104 (第 2の実施形態における分離行列要素算出回路 4に相当）及 び方向 '標準偏差算出回路 105 (第 2の実施形態 5における方向 '標準偏差算出回 路 5に相当）を共通して備え、均質な二次元平面中の異なる位置に存在する音源 20 1、 202、 203、 204からの源信号 P (t)、 P (t)、 P (t)、 P (t)を収音する無指向性マイク
1 2 3 4
口ホン 101と、この無指向性マイクロホン 101で収音した源信号 P (t)、 P (t)、 P (t)、 P
1 2 3 4
(t)に関する音圧の勾配を求める第 1の空間微分器 102と、この第 1の空間微分器 10 2から出力される音圧勾配信号 fx (t)、 fx (t)、 fx (t)、 fx (t)、 fy (t)、 fy (t)、 fy (t)、 fy (t
1 2 3 4 1 2 3 4
)を時間積分し、得られた時間積分信号 V (t)、 V (t)、 V (t)、 V (t)、 V (t)、 V (t)、 V (t) xl x2 x3 x4 yl y2 y3
、v (t)のうち、 v (t)、v (t)、v (t)、v (t)を平均演算器 108に、 v (t)、v (t)、v (t)、v y4 xl x4 yl y4 xl x2 x3 x4
(t)、v (t)、v (t)、v (t)、v (t)を第 2の空間微分器 109に、それぞれ出力する第 1の yl y2 y3 y4
積分器 107と、第 1の積分器 107から出力される時間積分信号 V (t)、 V (t)、 v (t)、 xl x4 yl
V (t)のうち、 V (t)と V (t)との平均を V (t)と、 V (t)と V (t)との平均 (t)として、前記行 y4 xl x4 x yl y4 y
列演算回路 103に出力する平均演算器 108と、第 1の積分器 107から出力される時 間積分信号 V (t)、v (t)、v (t)、v (t)、v (t)、v (t)、v (t)、v (t)のうち、 v (t)と v (t)、 xl x2 x3 x4 yl y2 y3 y4 x2 x3
V (t)と V (t)、 V (t)と V (t)、 V (t)と V (t)をそれぞれ入力し、音圧の空間勾配の勾配を xl x4 y2 y3 yl y4
求める第 2の空間微分器 109と、第 2の空間微分器 109から出力される勾配信号を 時間積分し、得られた時間積分信号 u (t)、 u (t)、 u (t)、 u (t)を前記行列演算回路
103に出力する第 2の積分器 110とを備える構成である。
なお、図 23においては、行列演算回路 103と分離行列要素算出回路 104とを 1つ のブロックとして示して 、る。
[0092] また、平均演算器 108は、 f (原点 O)における X方向の音圧の勾配を求めるにあた
5
り、対象性をよくするために、 f と f との傾き（(f — f ) Ζ Δχ)及び f と f との傾き（(f -f
2 3 3 2 7 8 8 )ΖΔχ)の平均をとつている。同様に、 f (原点 O)における y方向の音圧の勾配を求
7 5
めるにあたり、対象性をよくするために、 fと (
3 fとの傾き（
8 f 3— f 8 )ZAy)及び fと
2 fとの 7 傾き（(f — f )ΖΔγ)の平均をとつている。
2 7
[0093] また、第 2の空間微分器 109は、 X方向の音圧の勾配（(f -f )/Δχ- (ί -f )/
5 4 6 5 厶 ）の 方向の勾配（（ f )ΖΔχ—（f ー；07 ）7 ）、 方向の音圧の勾
5 4 6 5
配（(f -f )/Δγ-(ί f )ZAy)の y方向の勾配（（(f -f )/Ay-(f -f )/Δ
1 5 5 9 1 5 5 9
)7厶 )、 方向の音圧の勾配（ f )ΖΔχ （f f )ΖΔχ)の y方向の勾配（（
3 2 8 7
(f f )ΖΔχ （f f )ZAx)ZAy)、y方向の音圧の勾配（(f -f )/Δγ-(ί
3 2 8 7 3 8 2 f )ZAy)の χ方向の勾配（（(f -f )/Δγ-(ίー；07 )7 )をそれぞれ求
7 3 8 2 7
めている。
[0094] さらに、 V (t)は X方向の粒子速度、 V (t)は y方向の粒子速度をそれぞれ示しており、 行列演算回路 103に出力することで、信号分離装置が二次元平面中にある最大で 2 つの音源に対応できるようにするものである。また、 u (t)は X方向の粒子変位の X方 向の勾配、 u (t)は X方向の粒子変位の y方向の勾配、 u (t)は y方向の粒子変位の y
xy yy
方向の勾配、 u (t)は y方向の粒子変位の X方向の勾配をそれぞれ示しており、行列 演算回路 103に出力し、 V (t)及び V (t)と併用することで、信号分離装置が二次元平 面中にある最大で 4つの音源に対応できるようにするものである。
[0095] 図 26に示すように、無指向性マイクロホン 101は、 9本の無指向性マイクロホン（f、
1 f 、 f、 f、 f 、 f 、 f 、 f 、 f )からなり、互いに近接する 4本の無指向性マイクロホンが 1
2 3 4 5 6 7 8 9
つの無指向性マイクロホンユニット（f 1と f 2と f 3と f 5との組、 f 3と f 5と f 6と f 8との組、 f 5と f 7と f 8 と fとの糸且、
9 fと
2 fと
4 fと の糸且)を構成して 、る。
5 fと
7
[0096] なお、この第 4の実施形態においては、図 26に示すように、無指向性マイクロホン f
5 を原点 O (観測点 100)に配置し、 X軸方向に対して Δχの距離、 y軸方向に対して Δ yの距離をもたせて、他の無指向性マイクロホンを配置して 、る。
[0097] 図 25に示すように、 4本の無指向性マイクロホン (f、 f 、 f 、 f )からなる無指向性マ
1 2 3 5
イク口ホンユニット 101aを例に挙げて説明すると、無指向性マイクロホンユニット 101 aが収音した音源力もの源信号は、この無指向性マイクロホンユニット 101aに接続さ れた第 1の空間微分器 102a及び第 1の積分器 107aによって、 x軸方向の指向性 11 laと y軸方向の指向性 11 lbとをもつ時間積分信号として出力される。また、前記第 1 の空間微分器 102aは、無指向性マイクロホン f , f が接続され x
2 3
軸方向の空間勾配 (f f ) Ζ Δ χを求める X軸方向空間微分器と、無指向性マイクロ
3 2
ホン f , f が接続され y軸方向の空間勾配 (f f ) Z Ayを求める y軸方向空間微分
1 5 1 5
器とを備える構成である。
[0098] なお、図 25に示す 1つの無指向性マイクロホンユニットを、図 24に示すように、 X方 向に 2つの無指向性マイクロホンユニット 101b及び 101d、 y方向に 2つの無指向性 マイクホンユニット 101a及び 101cを近接して並列させることで、図 23における無指 向性マイクロホン 101が構成される。また、隣り合う無指向性マイクロホンユニット間で 互いに接する無指向性マイクロホン (f 、 f 、 f 、 f 、 f )は隣り合う無指向性マイクロホン
2 3 5 7 8
ユニット間で共有させて 、る。
[0099] 次に、前記構成に基づく本実施形態に係る信号分離装置の分離処理動作につい て説明する。
まず、均質な二次元平面中に配設された音源 201、 202、 203、 204からの源信号 P (t)、 P (t)、 P (t)、 P (t)を観測点 100近傍の無指向性マイクロホン (f 、 f 、 f 、 f 、 f 、 f
1 2 3 4 1 2 3 4 5
、 f 、 f 、 f )で収音する (ステップ 27)。
6 7 8 9
[0100] この収音された源信号 P (t)、 P (t)、 P (t)、 P (t)を第 1の空間微分器 102により x軸及
1 2 3 4
び y軸の各方向の空間微分による空間勾配 fx (t)、 fx (t)、 fx (t)、 fx (t)、 fy (t)、 fy (t)
、 fy (t)、 fy (t)を演算する (ステップ 28)。
3 4
[0101] この空間勾配 fx (t)、 fx (t)、 fx (t)、 fx (t)、 fy (t)、 fy (t)、 fy (t)、 fy (t)を第 1の積分
1 2 3 4 1 2 3 4
器 107により時間積分する (ステップ 29)。
[0102] この時間積分された空間勾配 fx (t)、 fx (t)、 fx (t)、 fx (t)、 fy (t)、 fy (t)、 fy (t)、 fy (
1 2 3 4 1 2 3 4 t)の時間積分信号 V (t)、 V (t)、 V (t)、 V (t)、 V (t)、 V (t)、 V (t)、 V (t)のうち、 V (t)t
xl x2 x3 x4 yl y2 y3 y4 xl v (t)との平均、及び v (t)と v (t)との平均を平均演算器 108により演算する (ステップ x4 yl y4
30)。
[0103] 他方、前記ステップ 29で時間積分された空間勾配 fx (t)、 fx (t)、 fx (t)、 fx (t)、 fy (t
1 2 3 4 1
)、fy (t)、fy (t)、fy (t)の時間積分信号V (t)、v (t)、v (t)、v (t)、v (t)、v (t)、v (t)
2 3 4 xl x2 x3 x4 yl y2 y3
、 v (t)のうち、 v (t)と v (t)、 v (t)と v (t)、 v (t)と v (t)、 v (t)と v (t)を第 2の空間微分 器 109により x軸及び y軸の各方向の空間微分による空間勾配の勾配を演算する (ス テツプ 31)。
第 2の空間微分器 109から出力される勾配信号を時間積分する (ステップ 32)。
[0104] ステップ 30で得られた平均時間積分信号 V (t)、 V (t)と、ステップ 32で得られた時間 積分信号 u (t)、u (t)、u (t)、u (t)とが、行列演算回路 103により混合行列の逆行 列を乗算される。以下、前記第 2の実施形態と同様ステップ 33ないしステップ 38によ り分離信号 P (t)、 P (t)、 P (t)、 P (t)を出力すると共に観測点 100における源信号 P (t
1 2 3 4 1
)、 P (t)、 P (t)、 P (t)の IJ来方向 θ 、 θ 、 θ 、 θ 及び音源 201、 202、 203、 204の
2 3 4 1 2 3 4
標準偏差 σ 、 σ 、 σ 、 σ を前記表示装置等へ出力する。
1 2 3 4
[0105] このようにして第 4の実施形態に係る信号分離装置は、時空間勾配解析に基づき、 均質な空間中では、任意の観測点 100における空間勾配力 音源 201、 202、 203 、 204における時間勾配の線形混合で表現されるという事実を利用する。即ち、本実 施形態の特徴は次のように集約される。ただ一つの観測点 100及びその近傍におけ る空間勾配を計測することにより、源信号 P (t)、 P (t)、 P (t)、 P (t)の時間勾配の瞬時
1 2 3 4
混合和を取得することができる。そのため最も簡単な瞬時混合型ブラインド信号分離 問題に帰着することができる。さらに、観測量力 sスカラー量 (音圧)ではなぐベクトル量 (音圧の空間勾配)なので音源の到来方向を含めた源信号 P (t
1 )、 P (t
2 )、 P (t
3 )、 P (t) 4 の 分離が可能である。本時空間勾配解析手法を採用することにより、観測点 100間に 生じる信号の到達時間差を考慮する必要がなぐ観測信号の空間勾配を瞬時線形 混合信号とみなすことができるため， 最も簡単な瞬時線形混合に対する処理で分離 信号 P (t)、 P (t)、 P (t)、 P (t)を推定することが可能となる。
1 2 3 4
[0106] 特に、第 1の実施形態、第 2の実施形態及び第 3の実施形態においては、信号分 離装置が二次元平面中にある最大で 2つの音源にしか対応することができな力つた 力 この第 4の実施形態においては、 9本の無指向性マイクロホン力 なる無指向性 マイクロホン 101を用いて、第 1の積分器 107からの音圧勾配信号の時間積分信号 を、平均演算器 108によって、 X方向の粒子速度 V (t)及び y方向の粒子速度 V (t)とし て、行列演算回路 103に出力し、第 2の空間微分器 109及び第 2の積分器 110によ つて、 X方向の粒子変位の X方向の勾配 u (t)、 X方向の粒子変位の y方向の勾配 u ( t)、 y方向の粒子変位の y方向の勾配 u (t)及び y方向の粒子変位の x方向の勾配 u (
yy yx t)として、行列演算回路 103に出力することで、信号分離装置が二次元平面中にある 最大で 4つの音源に対応することが可能となる。
[0107] (本発明の各実施形態の演算論理）
以下、前記第 4の実施形態の演算論理を説明する。
[0108] なお、この第 4の実施形態の演算論理は、前記第 1の実施形態、第 2の実施形態及 び第 3の実施形態において説明した前記式 (8)までの演算論理とほぼ同様の演算 論理となるので、前記式 (8)までの演算論理の説明は省略する。
f (X, y, t)の空間勾配は P (t)、 P (t)、 P (t)、 P (t)を源信号とした場合の瞬時線形
tl t2 t3 t4
混合信号として表される。
[0109] [数 37]
Figure imgf000029_0001
両辺を時間で積分すると、次式が得られる。
[0110] [数 38]
p i ( t )
J V f ( x , y , t ) I d t p 2 ( t ) ( 3 8 ) x = y = 0
P , ( t ) ここで、 Vf (x, y, t)は、粒子速度 vの 3 vZ 3 tに比例しており、式（38)に代入す ると、次式が得られる。
[数 39] P ! ( t )
V B P 2 ( t ) (39)
P , ( t ) また、粒子速度 vを式 (40)とすると、式 (41)が得られる。
[数 40] r ヽ
x ( t )
V ( t )
U ( t )
V = (40)
U y ( t )
U y ( t )
U X ( t
[0113] [数 41]
Figure imgf000030_0001
したがって、行列 B (6行 4列）の擬似逆行列 B—1を既存の方法で求めることで、源信 号 P (t)、 P (t)、 P (t)、 P (t)を求めることができる。
1 2 3 4
[0114] この場合に、行列 Bの 1行及び 2行部分は、 θ 、 θ 、 θ 、 Θ に関する Aの混合行 列であり、 Bの 3行ないし 6行部分は、 σ 、 σ 、 σ 、 σ の新たな行列である c

Claims

請求の範囲
[1] 二次元平面又は三次元空間の異なる位置の出力源力 出力される各出力信号が重 畳された重畳信号を分離する信号分離装置にお!、て、
前記重畳信号を各出力信号に関する時間勾配の瞬時混合和として検出する空間 勾配検出手段と、
前記空間勾配検出手段が検出した信号を格納することなく直接取り込み、前記出 力信号の時間勾配の瞬時混合和に基づいて前記各出力信号を分離する信号分離 手段とを備えることを
特徴とする信号分離装置。
[2] 前記請求項 1に記載の信号分離装置にお!、て、
前記信号分離手段は、前記勾配検出手段から出力される空間勾配信号を時間積 分する積分器を備えることを
特徴とする信号分離装置。
[3] 前記請求項 2に記載の信号分離装置において、
前記信号分離手段は、
前記勾配検出手段力 出力される空間勾配信号を時間積分する第 1の積分器と、 前記第 1の積分器力 出力される時間積分信号のうち、二つの信号の平均を演算す る平均演算器と、
前記第 1の積分器力 出力される時間積分信号を、空間微分による空間勾配の勾配 を演算する空間微分器と、
前記空間微分器力 出力される空間勾配信号を時間積分する第 2の積分器と を備えることを
特徴とする信号分離装置。
[4] 前記請求項 1な!、し 3の 、ずれかに記載の信号分離装置にお!、て、
前記空間勾配検出手段が、各出力信号を各音声信号として検出するマイクロホン アレイとして構成され、当該マイクロホンアレイが前記音声信号の音圧勾配として検 出することを
特徴とする信号分離装置。
[5] 前記請求項 4に記載の信号分離装置において、
前記マイクロホンアレイが検出する音圧勾配を粒子速度の時間微分により求めるこ とを
特徴とする信号分離装置。
[6] 前記請求項 4又は 5に記載の信号分離装置において、
前記マイクロホンアレイが、各音声信号が出力される異なる位置に対する観測点に おける少なくとも X軸方向又は y軸方向の音圧差分を計測する双指向性のマイクロホ ンで構成されることを
特徴とする信号分離装置。
[7] 前記請求項 1な!、し 6の 、ずれかに記載の信号分離装置にお!、て、
前記信号分離手段が、重畳信号を各出力信号に分離すると共に、当該各出力信 号の各出力源における方向及び Z又は標準偏差を出力することをことを
特徴とする信号分離装置。
PCT/JP2006/311334 2005-06-06 2006-06-06 信号分離装置 WO2006132249A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007520126A JPWO2006132249A1 (ja) 2005-06-06 2006-06-06 信号分離装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2005-010341 2005-06-06
PCT/JP2005/010341 WO2006131959A1 (ja) 2005-06-06 2005-06-06 信号分離装置

Publications (1)

Publication Number Publication Date
WO2006132249A1 true WO2006132249A1 (ja) 2006-12-14

Family

ID=37498171

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2005/010341 WO2006131959A1 (ja) 2005-06-06 2005-06-06 信号分離装置
PCT/JP2006/311334 WO2006132249A1 (ja) 2005-06-06 2006-06-06 信号分離装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/010341 WO2006131959A1 (ja) 2005-06-06 2005-06-06 信号分離装置

Country Status (2)

Country Link
JP (1) JPWO2006132249A1 (ja)
WO (2) WO2006131959A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009535998A (ja) * 2006-05-02 2009-10-01 クゥアルコム・インコーポレイテッド ブラインド信号源分離（ｂｓｓ）の向上技術
JP2011179888A (ja) * 2010-02-26 2011-09-15 Nissan Motor Co Ltd 波動源位置演算方法及び波動源位置演算装置
US8175871B2 (en) 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems
US8223988B2 (en) 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4894638B2 (ja) * 2007-06-05 2012-03-14 パナソニック電工株式会社 音響入力装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508105A (ja) * 1995-09-18 1999-07-13 インターヴァル リサーチ コーポレイション 信号処理のための適応フィルタおよびその方法
JP2002501623A (ja) * 1995-06-07 2002-01-15 アンドリア エレクトロニクス コーポレイション ノイズ取消し及びノイズ低減装置
JP2002507351A (ja) * 1997-06-18 2002-03-05 クラリティー リミテッド ライアビリティ カンパニー ブラインド信号分離方法及び装置
JP2002140096A (ja) * 2000-06-02 2002-05-17 Canon Inc 信号処理システム
JP2003514481A (ja) * 1999-10-25 2003-04-15 アンドレア エレクトロニクス コーポレイション 超指向性ビーム形成の設計及び実施

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424757B2 (ja) * 1992-12-22 2003-07-07 ソニー株式会社 音源信号推定装置
JP3424761B2 (ja) * 1993-07-09 2003-07-07 ソニー株式会社 音源信号推定装置および方法
JP3355598B2 (ja) * 1996-09-18 2002-12-09 日本電信電話株式会社 音源分離方法、装置及び記録媒体
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2002232989A (ja) * 2001-02-01 2002-08-16 Matsushita Electric Ind Co Ltd マルチチャンネル音場収音装置
JP3986785B2 (ja) * 2001-09-20 2007-10-03 日本放送協会 音源分離収音マイクロホン装置および方法
JP2004325127A (ja) * 2003-04-22 2004-11-18 Nippon Telegr & Teleph Corp <Ntt> 音源検出方法、音源分離方法、およびこれらを実施する装置
WO2005024788A1 (ja) * 2003-09-02 2005-03-17 Nippon Telegraph And Telephone Corporation 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP4090969B2 (ja) * 2003-09-03 2008-05-28 独立行政法人科学技術振興機構 信号分離方法、信号分離プログラム及びそのプログラムを記録した記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501623A (ja) * 1995-06-07 2002-01-15 アンドリア エレクトロニクス コーポレイション ノイズ取消し及びノイズ低減装置
JPH11508105A (ja) * 1995-09-18 1999-07-13 インターヴァル リサーチ コーポレイション 信号処理のための適応フィルタおよびその方法
JP2002507351A (ja) * 1997-06-18 2002-03-05 クラリティー リミテッド ライアビリティ カンパニー ブラインド信号分離方法及び装置
JP2003514481A (ja) * 1999-10-25 2003-04-15 アンドレア エレクトロニクス コーポレイション 超指向性ビーム形成の設計及び実施
JP2002140096A (ja) * 2000-06-02 2002-05-17 Canon Inc 信号処理システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009535998A (ja) * 2006-05-02 2009-10-01 クゥアルコム・インコーポレイテッド ブラインド信号源分離（ｂｓｓ）の向上技術
US8175871B2 (en) 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US8223988B2 (en) 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
JP2011179888A (ja) * 2010-02-26 2011-09-15 Nissan Motor Co Ltd 波動源位置演算方法及び波動源位置演算装置

Also Published As

Publication number Publication date
WO2006131959A1 (ja) 2006-12-14
JPWO2006132249A1 (ja) 2009-01-08

Similar Documents

Publication Publication Date Title
EP1856948B1 (en) Position-independent microphone system
JP6644197B2 (ja) 雑音除去装置および雑音除去方法
WO2016183791A1 (zh) 一种语音信号处理方法及装置
JP5156260B2 (ja) 雑音を除去して目的音を抽出する方法、前処理部、音声認識システムおよびプログラム
JP3789685B2 (ja) マイクロホンアレイ装置
EP2905975B1 (en) Sound capture system
WO2006132249A1 (ja) 信号分離装置
JP4862656B2 (ja) 信号除去方法、信号除去システムおよび信号除去プログラム
CN106872945B (zh) 声源定位方法、装置和电子设备
EP2242286B1 (en) Sound collecting device, sound collecting method, sound collecting program, and integrated circuit
US10798511B1 (en) Processing of audio signals for spatial audio
JP2019533192A (ja) 動的サウンド調整のための雑音推定
CN107113496B (zh) 移动设备的环绕声记录
CN110827846A (zh) 采用加权叠加合成波束的语音降噪方法及装置
Pandey et al. Multichannel speech enhancement without beamforming
Gößling et al. RTF-steered binaural MVDR beamforming incorporating multiple external microphones
JP6182169B2 (ja) 収音装置、その方法及びプログラム
Niwa et al. Encoding large array signals into a 3D sound field representation for selective listening point audio based on blind source separation
Nakadai et al. Exploiting auditory fovea in humanoid-human interaction
JP5270259B2 (ja) 音声認識装置
EP1448016B1 (en) Device and method for detecting wind noise
JP2010056762A (ja) マイクロホンアレー
Carabias-Orti et al. Multi-source localization using a DOA Kernel based spatial covariance model and complex nonnegative matrix factorization
Ağcaer et al. Binaural source localization based on modulation-domain features and decision pooling
Ogawa et al. Speech enhancement using a square microphone array in the presence of directional and diffuse noise

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007520126

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06757073

Country of ref document: EP

Kind code of ref document: A1