WO2019003716A1 - 集音装置、指向性制御装置及び指向性制御方法 - Google Patents

集音装置、指向性制御装置及び指向性制御方法 Download PDF

Info

Publication number
WO2019003716A1
WO2019003716A1 PCT/JP2018/019488 JP2018019488W WO2019003716A1 WO 2019003716 A1 WO2019003716 A1 WO 2019003716A1 JP 2018019488 W JP2018019488 W JP 2018019488W WO 2019003716 A1 WO2019003716 A1 WO 2019003716A1
Authority
WO
WIPO (PCT)
Prior art keywords
directivity
signal
signals
specific direction
sound
Prior art date
Application number
PCT/JP2018/019488
Other languages
English (en)
French (fr)
Inventor
好孝 村山
寧 本多
Original Assignee
共栄エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 共栄エンジニアリング株式会社 filed Critical 共栄エンジニアリング株式会社
Priority to JP2019526684A priority Critical patent/JP7152786B2/ja
Publication of WO2019003716A1 publication Critical patent/WO2019003716A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Definitions

  • the present invention relates to directivity control that directs in any direction.
  • This spectral subtraction method is a method of reducing noise by estimating the average value of the power spectrum of noise and subtracting it from the power spectrum of the input signal containing noise.
  • An ambisonic microphone is a microphone unit which arranges four microphones which face outward from each vertex of a regular tetrahedron.
  • the microphone unit includes a directional microphone and a space in the center surrounded by the directional microphone.
  • a signal expression called B format includes a non-directional sound collection signal of zero order and bidirectional sound collection signals of top, bottom, right and left and front and back called primary. Then, the zero-order sound collection signal and the first-order circumferential sound signals are added together at a ratio suitable for a specific direction giving directivity. Thereby, directivity is given in a specific direction using an ambisonic microphone.
  • the ambisonic microphone it is necessary to accurately hold the phase difference of the sound collection signal. If the phase difference of the sound collection signal is changed, the effect of emphasizing or attenuating the signal in the calculation at the time of reproduction can not be expected. For this reason, in the sound collection method using an ambisonic microphone, it is difficult to suppress uncorrelated noise by signal processing. Therefore, when using ambisonic microphones, four unidirectional microphones were carefully selected so as to reduce individual differences among the four unidirectional microphones.
  • the unidirectional microphone there is a possibility that the wind may enter from the acoustic port on the back surface, turbulence is generated, and the wind noise becomes large. Therefore, the noise caused by the wind noise can not be sufficiently eliminated by the ambisonic microphone, and the SN ratio becomes worse.
  • the noise caused by the wind noise can not be sufficiently eliminated by the ambisonic microphone, and the SN ratio becomes worse.
  • it is attempted to select four unidirectional microphones so that the individual difference between the four unidirectional microphones is reduced a large cost will be incurred, and if it is attempted to reduce this cost, The signal-to-noise ratio is degraded due to circuit noise and the like inherent to the unidirectional microphone.
  • the present invention has been made to solve the problems of the prior art as described above, and its object is to achieve a good SN ratio when directivity is provided using a plurality of microphones. It is in providing a sound collection device which can be performed.
  • the sound collection device is a sound collection device which gives directivity in a specific direction expressed in N dimensions, which measures surrounding sound and outputs a sound collection signal
  • the beamformer generating two directional signals having unidirectionality in a specific direction based on at least N + 2 omnidirectional microphones and a sound collection signal output from the omnidirectional microphone;
  • a noise processing unit that suppresses noise components based on various directional signals, and the beam former is single in a specific direction based on N + 1 sound collection signals selected from the outputs of the nondirectional microphones.
  • the first directivity signal having directivity is generated, and the N + 1 collection signals different from the N + 1 collection signals used to generate the first directivity signal are used based on N + 1 collection signals.
  • First directivity signal Generating a second directional signal having unidirectional in the same particular direction, the noise processing unit is to suppress the two uncorrelated sound component between directional signal, characterized by.
  • the noise correction unit further includes a sensitivity correction unit for equalizing the sensitivities of the sound collection signals output by the at least N + 2 nondirectional microphones, wherein the noise processing unit is not present between the two types of directivity signals corrected by the sensitivity correction unit.
  • the sound component of the correlation may be suppressed.
  • the beam former is based on four collected signals selected from the outputs of the non-directional microphones And generating a first directivity signal having a single directivity in a specific direction, and collecting four different combinations of the four collection signals used to generate the first directivity signal.
  • a second directivity signal having unidirectivity in the same specific direction as the first directivity signal may be generated based on the sound signal.
  • the omnidirectional microphones are three-dimensionally arranged so that two combinations of the omnidirectional microphones facing each vertex direction of the tetrahedron can be selected, and the two tetrahedrons are neither congruent nor similar,
  • the positions may be different, the directions may be different, or a combination of these may be used.
  • the beam former is based on three collected signals selected from the outputs of the non-directional microphones And generating a first directivity signal having a single directivity in a specific direction, and using three different combinations of the three collection signals used to generate the first directivity signal.
  • a second directivity signal having unidirectivity in the same specific direction as the first directivity signal may be generated based on the sound signal.
  • the apparatus may further include an input unit that receives an input in the specific direction, and the beam former may form directivity in the specific direction received by the input unit.
  • the system further comprises a panoramic imaging unit having a plurality of cameras and photographing surrounding directions, wherein the at least N + 2 omnidirectional microphones are distributed among the plurality of cameras or a user holds the plurality of cameras It may be attached to a rod for use.
  • the noise processing unit alternates the first directivity signal and the second directivity signal alternately for each sample to generate a pair of exchange signals, and a coefficient to one of the exchange signals.
  • an error signal generation unit that generates an error signal of the exchange signal, and a recurrence equation operation that updates the coefficient m every one sample by computing the recurrence equation of the coefficient m including the error signal
  • an integration unit that multiplies the first directivity signal or the second directivity signal and outputs the multiplied signal.
  • a directivity control apparatus is a directivity control apparatus for providing directivity in a specific direction expressed in N dimensions, and at least N + 2 nondirectional microphones. And a beam former for generating two types of directivity signals having a single directivity in a specific direction based on a storage unit for storing each of the sound collection signals generated by the storage unit, and the two types of directivity signals based on the sound collection signals of the storage unit.
  • a noise processing unit configured to suppress a noise component based on a directivity signal, the beam former having a single directivity in a specific direction based on N + 1 sound collection signals selected from the storage unit;
  • the first directivity signal is generated based on N + 1 collection signals different in combination from the N + 1 collection signals used to generate the first directivity signal and Same specific direction as Generating a second directional signal having a unidirectional, the noise processing unit is to suppress the two uncorrelated sound component between directional signal, characterized by.
  • the noise correction unit further includes a sensitivity correction unit that adjusts the sensitivity of the at least N + 2 sound collection signals, and the noise processing unit suppresses uncorrelated sound components between the two types of directivity signals that have been corrected by the sensitivity correction unit. You may do so.
  • the noise processing unit alternates the first directivity signal and the second directivity signal alternately for each sample to generate a pair of exchange signals, and a coefficient to one of the exchange signals.
  • an error signal generation unit that generates an error signal of the exchange signal, and a recurrence equation operation that updates the coefficient m every one sample by computing the recurrence equation of the coefficient m including the error signal
  • an integration unit that multiplies the first directivity signal or the second directivity signal and outputs the multiplied signal.
  • a directivity control apparatus is a directivity control method for providing directivity in a specific direction expressed in N dimensions, and at least N + 2 nondirectional microphones.
  • the beamforming step generates a first directivity signal having unidirectionality in a specific direction based on N + 1 sound collection signals of at least N + 2 sound collection signals.
  • the method further includes a sensitivity correction step of equalizing the sensitivities of the at least N + 2 sound collection signals, and the noise suppression step suppresses uncorrelated sound components between the two types of directivity signals that have been corrected by the sensitivity correction step. You may do so.
  • the first directivity signal and the second directivity signal are alternately interchanged every one sample to generate a pair of exchange signals, and one of the exchange signals is a coefficient.
  • An error signal generation step of generating an error signal of the exchange signal after multiplication by m, and a recurrence equation operation of updating the coefficient m every one sample by calculating a recurrence equation of the coefficient m including the error signal may further include the steps of: integrating the step of: multiplying the first directivity signal or the second directivity signal with the sequentially updated coefficient m;
  • noise components included in the first directivity signal and the second directivity signal can be made uncorrelated, and a good signal-to-noise ratio can be achieved by the process of suppressing the non-correlation component.
  • FIG. 6 is a schematic view showing original polar patterns of six nondirectional microphones. It is a block diagram which shows the detailed structure of a sensitivity correction
  • FIG. 7 is a schematic view showing control points set around four omnidirectional microphones according to the multipoint control method. It is a block diagram showing composition of a beam former. It is a graph which shows two directivity signals which a beamformer outputs.
  • It is a schematic diagram which shows the 1st application example of a sound collector (a) is a perspective view, (b) is a side view, (c) is a bottom view.
  • It is a schematic diagram which shows the 2nd application example of a sound collector (a) is a perspective view, (b) is a side view, (c) is a bottom view.
  • It is a schematic diagram which shows the 3rd application example of a sound collector (a) is a perspective view, (b) is a side view, (c) is a bottom view.
  • FIG. 1 is a block diagram showing an overall configuration of a sound collection device.
  • the sound collection device 1 includes a microphone unit 2 and a directivity control device 3. After collecting the surrounding sound, the sound collection device 1 adds directivity in the specific direction selected by the user.
  • the microphone unit 2 and the directivity control device 3 each have a power supply and can be separately driven.
  • the user carries around the microphone unit 2 to perform sound collection work, and connects the microphone unit 2 to the directivity control device 3 at home or in a studio.
  • the microphone unit 2 transfers the sound collection result to the directivity control device 3, and the directivity control device 3 receives the setting of the specific direction from the user, and gives directivity to the sound collection result in the specific direction. Signal processing.
  • the microphone unit 2 includes a plurality of nondirectional microphones 21a, 21b,... And a non-volatile memory 22 such as a flash memory.
  • the microphone unit 2 collects surrounding sounds by multi-channel, and records each of the collected signals Sa to Sf as raw data.
  • the sound collection signals Sa to Sf are formed by synthesizing sound components coming from the surrounding directions.
  • the microphone unit 2 converts amplifiers from the analog signals to digital signals and amplifies the sound collection signals Sa to Sf and the amplifiers.
  • a converter is additionally provided, and a digital sound collection signal passed through the amplifier and the converter is recorded in the non-volatile memory 22.
  • the directivity control device 3 is a dedicated circuit by a microcomputer, a computer or a DSP that digitally processes the sound collection signals Sa to Sf.
  • the directivity control device 3 stores the sound collection signals Sa to Sf transferred from the microphone unit 2 in a memory 34 such as a hard disk or an SSD in the device or an internal storage. Then, the directivity control device 3 performs signal processing on each of the sound collection signals Sa to Sf to clarify the sound component arriving from the specific direction, and the circuit noise and wind noise of the nondirectional microphones 21a, 21b,. To generate an output signal So excluding.
  • the output signal So may be multi-channel in accordance with the number of speakers to be output.
  • the directivity control device 3 relatively emphasizes the sound component arriving at the microphone unit 2 from the specific direction, as compared with the sound component arriving from other than the specific direction. In other words, the directivity control device 3 largely suppresses the sound components that arrive at the microphone unit 2 from directions other than the specific direction, as the difference between the arrival direction and the specific direction becomes close. Furthermore, the directivity control device 3 improves the SN ratio by suppressing noises such as circuit noise and wind noise generated due to individual differences among the nondirectional microphones 21a, 21b,.
  • the microphone unit 2 includes a cylindrical support member 23.
  • the six nondirectional microphones 21a to 21f are attached to the surface of the support member 23 at equal distances from the adjacent nondirectional microphones 21a to 21f.
  • the support member 23 is solid, even if other parts are disposed inside the support member 23 at positions surrounded by the nondirectional microphones 21a, 21b,. The inside and the outside need not be in communication.
  • the support member 23 is cylindrical, but the shape of the support member 23 may be any shape.
  • a regular hexagonal column inscribed in the support member 23 is considered.
  • the six nondirectional microphones 21a to 21f are distributed and disposed at six places among the corners of the regular hexagonal prism.
  • the distribution positions are selected so as not to be adjacent to each other across one side of the regular hexagonal column. That is, three corners are selected at intervals of 120 degrees from one bottom surface around the axis of a regular hexagonal column, and three corners are selected at intervals of 120 degrees from the other bottom surface, The three places on the bottom of the case and the three places on the other bottom are shifted 60 degrees around the axis of the regular hexagonal column.
  • This microphone arrangement conforms to the following rules. That is, first, nondirectional microphones 21a, 21b,... Next, as shown in (b) and (c) of FIG. 3, the microphone unit 2 selects two types of combinations of four nondirectional microphones 21a, 21b,... Facing the respective vertex directions of the tetrahedron. In order to be able to, at least five or more omnidirectional microphones are provided in a stereo arrangement.
  • the two tetrahedrons are neither congruent nor similar, have different positions, have different orientations, or have a combination of these.
  • the tetrahedron is preferably, but not limited to, a tetrahedron.
  • the nondirectional microphones 21a, 21c, 21d, and 21e are combination groups A arranged in one tetrahedron, and the nondirectional microphones 21a, 21b, 21d, and 21f are other tetrahedrons. It is a combination group B to be arranged.
  • the microphone unit 2 has eight omnidirectional microphones 21a, 21b,.
  • the microphone unit 2 has eight omnidirectional microphones 21a, 21b,.
  • four corners are selected at intervals of 90 degrees from one bottom surface around the axis of a regular octagonal prism, and four corners are selected at intervals of 90 degrees from the other bottom surface,
  • the four bottoms and the other four bottoms are offset 45 degrees around the axis of the regular octagonal prism.
  • the nondirectional microphones 21a, 21b,... are arranged at these selected positions, so that the four nondirectional microphones 21a, 21b,. Two groups of sex microphones 21a, 21b,... Can be created.
  • the nondirectional microphones 21a, 21b,... are five or more is applied when relatively emphasizing sound components from a specific direction represented in three dimensions.
  • at least four nondirectional microphones 21a, 21b,... May be provided. That is, when relatively emphasizing sound components from a specific direction expressed in N dimensions, the nondirectional microphones including at least N + 2 nondirectional microphones 21a, 21b,...
  • two sets of N + 1 nondirectional microphones 21a, 21b, ... may be made.
  • FIG. 4 is a block diagram showing the detailed configuration of the directivity control device 3.
  • the sound collection signals from the nondirectional microphones 21a, 21c, 21d, 21e having one tetrahedral arrangement relationship are regarded as one group A, and the nondirectionality having another one tetrahedral arrangement relationship.
  • the collected sound signals from the microphones 21a, 21b, 21d and 21f are regarded as one group B.
  • the directivity control device 3 includes a sensitivity correction unit 31, a beam former 32, and a noise processing unit 33.
  • the sensitivity correction unit 31 unifies the sensitivities of the six nondirectional microphones 21a to 21f.
  • the beam former 32 generates a first directivity signal S1 whose directivity is directed in a specific direction based on the sound collection signals Sa, Sc, Sd and Se of the group A, and the sound collection signals Sa, Sb, A second directivity signal S2 whose directivity is directed in a specific direction is generated based on Sd and Sf.
  • the noise processing unit 33 generates a coefficient m that emphasizes the correlation component of the first directivity signal S1 and the second directivity signal S2 and suppresses the non-correlation component.
  • the output signal So is generated by multiplying the polarity signal S1.
  • the factor m may be multiplied by the second directivity signal S2.
  • FIG. 5 is a schematic view showing original polar patterns of six nondirectional microphones 21a to 21f.
  • the sensitivity correction unit 31 selects one of the sound collection signals Sa to Sf of the six nondirectional microphones 21a to 21f, and selects another sound collection as the sound power of the selected sound collection signal. Gains Ga to Gf are applied to the other collected sound signals so that the acoustic powers of the signals Sa to Sf become equal.
  • the sound collection signal Sa output from the nondirectional microphone 21a is selected, and another sound collection signal having sound powers Pb, Pc, Pd, Pe and Pf based on the sound power Pa of the sound collection signal Sa. All of Sb to Sf are changed to the acoustic power Pa. That is, the sound collection signal Sb having the sound power Pb is multiplied by the gain Gb, with the inverse of the magnification of the sound power Pb with respect to the reference sound power Pa as the gain Gb.
  • the sound collection signal Sc having the acoustic power Pc is multiplied by the reciprocal of the magnification of the acoustic power Pc with respect to the reference acoustic power Pa as the gain Gc.
  • the reciprocal of the sound collection signal Sd having the acoustic power Pd, the sound collection signal Sf having the acoustic power Pf and the sound collection signal Sf having the acoustic power Pf are similarly multiplied.
  • FIG. 6 is a block diagram showing the detailed configuration of the sensitivity correction unit 31.
  • the sensitivity correction unit 31 includes band pass filters 311a to 311f and power calculation units 312a to 312f for the sound collection signals Sa to Sf input from the six nondirectional microphones 21a to 21f.
  • the band pass filters 311a to 311f extract predetermined frequency regions from the respective sound collection signals Sa to Sf. An audible range is desirable as the predetermined frequency range.
  • the power calculation units 312a to 312f calculate root mean square from the signals passed through the band pass filters 311a to 311f, and obtain power values Pa, Pb, Pc, Pd, Pe, and Pf of the respective sound collection signals Sa to Sf.
  • the sensitivity correction unit 31 further includes a coefficient calculation unit 313 and multiplication units 314a to 314f.
  • the coefficient calculation unit 313 takes one of the power values of the respective collected signals Sa to Sf as a reference value, and obtains respective gains Ga to Gf represented by inverses of the magnification of the power value with respect to the reference value.
  • the multipliers 314a to 314f use the gains Ga to Gf obtained by the coefficient calculator 313 so as to make the corresponding sound pickups in such a manner that the sound pickup signals and the sound powers on which the respective sound pickup signals Sa to Sf become the same. Multiply the signal.
  • FIG. 7 is a schematic diagram showing control points D1 to Dn set around four nondirectional microphones M1 to M4 according to the multipoint control method.
  • the control points are arranged only in the horizontal plane, but it is assumed that n control points D1 to Dn are equally arranged on a spherical surface equidistant from the centers of the microphones M1 to M4. .
  • a control filter convoluted to the output of the omnidirectional microphone M k is a transfer function H k ( ⁇ )
  • a desired response to each control point D i is a response function A i ( ⁇ ).
  • the following equation (1) is satisfied so that the result of collecting the sound coming from each control point D i by the nondirectional microphones M1 to M4 is obtained.
  • Transfer function H k ( ⁇ ) is required.
  • the beam former 32 applies the above-described multipoint control method to generate and apply transfer functions H k ( ⁇ ) corresponding to the nondirectional microphones 21a to 21f, thereby collecting the sound collection signal of group A.
  • a second directivity signal S1 having directivity in a specific direction is generated from Sa, Sc, Sd and Se, and a directivity in the specific direction is generated from sound collection signals Sa, Sb, Sd and Sf of group B
  • the directivity signal S2 of The bi-directional signals S1 and S2 have the same polar pattern.
  • the polar pattern may be a unidirectional cardioid type having directivity in a specific direction, or may be bidirectional having directivity in the opposite direction of the specific direction and the ridge.
  • r is the distance from the control point to the microphone and r / c is the propagation time.
  • FIG. 8 is a block diagram showing the configuration of this beam former 32.
  • the beam former 32 adds together the outputs of the control filters 321a, 321c, 321d and 321e to which the sound collection signals Sa, Sc, Sd and Se of the group A are input, and the control filters 321a, 321c, 321d and 321e. And an adder 322a that outputs the directivity signal S1. Further, the beam former 32 adds up the outputs of the control filters 321a, 321b, 321d and 321f to which the sound collection signals Sa, Sb, Sd and Sf of the group B are input and the control filters 321a, 321b, 321d and 321f.
  • the adder 322 b outputs the second directivity signal S 2.
  • the beam former 32 includes a specific direction setting unit 323 that generates a transfer function H k ( ⁇ ) and sets it in the control filters 321a to 321f.
  • the specific direction setting unit 323 When the specific direction is set, the specific direction setting unit 323 generates a matrix A ( ⁇ ) of the desired response transfer function Ai ( ⁇ ) according to the specific direction. Further, the specific direction setting unit 323 takes the product of the matrix C ( ⁇ ) of the transfer function C ik ( ⁇ ) and the matrix H ( ⁇ ) of the transfer function H k ( ⁇ ).
  • the specific direction setting unit 323 generates an error e by subtracting the multiplication result of the transfer function matrix C ( ⁇ ) and the transfer function matrix H ( ⁇ ) with respect to the desired response transfer function matrix A ( ⁇ ).
  • the specific direction setting unit 323 solves the transfer function matrix H ( ⁇ ) that minimizes the error e by the steepest descent method, and sets the transfer function H k ( ⁇ ) in the control filters 321a to 321f.
  • the beam former 32 Fourier-transforms and inputs the sound collection signals Sa, Sc, Sd, and Se of the group A to the control filters 321 a to 321 f in which the corresponding transfer functions H k ( ⁇ ) are set.
  • the sound collection signals Sa, Sb, Sd and Sf are Fourier-transformed and input.
  • the beam former 32 adds up the sound collection signals Sa, Sc, Sd and Se of the group A outputted from the control filters 321a, 321c, 321d and 321e to generate a first directivity signal S1, and thereby the control filter
  • the sound collection signals Sa, Sb, Sd and Sf of the group B output from 321a, 321b, 321d and 321f are added together to generate a second directivity signal S1.
  • FIG. 9 shows the first directivity signal S1 derived from group A
  • (b) shows the second directivity signal S2 derived from group B
  • the horizontal axis represents frequency
  • the vertical axis represents sound pressure. It is a graph taken.
  • the first and second directivity signals S1 and S2 have a single directivity emphasized in a specific direction by the beam former, and the sensitivity correction unit 31 Since the sensitivities are unified by the above, they have a common sound component Sc.
  • noises N1 and N2 are on each frequency band.
  • the characteristics of the six nondirectional microphones 21a to 21f are not aligned, and the individual differences of the six nondirectional microphones 21a to 21f are remarkable. Therefore, the noise N1 and the noise N2 on the bi-directional signals S1 and S2 derived from the groups A and B different in the combination of the four microphones have low correlation.
  • the bidirectional signals S1 and S2 derived from the group A and the group B have noises N1 and N2 having no correlation.
  • the noise processing unit 33 emphasizes the sound component having high correlation, and performs signal processing to suppress the sound component as the correlation of the sound component is lower.
  • the sound components included in the bi-directional signals S1 and S2 and coming from the specific direction are equalized to the same sound pressure by the sensitivity correction unit 31 and the beam former 32, and thus are enhanced by the noise processing unit 33 and correlated.
  • the small or no noise N1, N2 will be suppressed.
  • the noise processing unit 33 calculates an error between the exchange signal Sx (k) and the exchange signal Sy (k), and determines a coefficient m (k) according to the error. Also, the noise processing unit 33 sequentially updates the coefficient m (k) with reference to the coefficient m (k ⁇ 1) in the past.
  • the noise processing unit 33 sets the error signal e (k) as a function of the coefficient m (k ⁇ 1), and operates the adjacent binomial recurrence equation of the coefficient m (k) including the error signal e (k). Search for a coefficient m (k) that minimizes the error signal e (k).
  • the noise processing unit 33 decreases the coefficient m (k) as the time difference is generated between the first directivity signal S1 (k) and the second directivity signal S2 (k) by this arithmetic processing.
  • the coefficient m (k) is made close to 1 if there is no time difference.
  • the noise processing unit 33 multiplies the first directivity signal S1 (k) or the second directivity signal S2 (k) by a coefficient m (k) at an arbitrary ratio to generate an output signal So (k). Output.
  • FIG. 10 is a block diagram showing a configuration example of the noise processing unit 33.
  • the noise processing unit 33 alternates the signal sequence of the first directivity signal S1 (k) and the second directivity signal S2 (k) at the previous stage to exchange signals Sx (k).
  • An exchange unit 331 which is a circuit for generating exchange signal Sy (k), is provided with a plurality of integrators and adders for updating coefficient m (k) in the middle stage, and coefficient m (k)
  • An integration unit 332 is provided which generates an output signal So (k) by multiplying the one directivity signal S1 (k) or the second directivity signal S2 (k).
  • the middle row is a circuit that embodies the adjacent binomial recurrence equation, and is for gradually updating the coefficient m (k) with reference to the coefficient m (k-1) in the past.
  • an adaptive filter having a long tap number is excluded.
  • the exchange signal Sy (k) is used as a reference signal to generate an error signal e (k). That is, the exchange signal Sx (k) is input to the integrator 335.
  • the integrator 335 multiplies the exchange signal Sa (k) by ⁇ 1 times the coefficient m (k ⁇ 1) one sample before.
  • An adder 336 is connected to the output side of the integrator 335. The signal output from the integrator 335 and the exchange signal Sy (k) are input to the adder 336, and an instantaneous error signal e (k) is obtained by adding these signals.
  • the error signal e (k) is input to an integrator 337 that multiplies the input signal by ⁇ .
  • the factor ⁇ is a step size parameter less than one.
  • An integrator 338 is connected to the output side of the integrator 337. To the integrator 338, the exchange signal Sx (k) and the signal ⁇ e (k) that has passed through the integrator are input. The integrator 338 multiplies the exchange signal Sx (k) and the signal ⁇ e (k) to obtain a differential signal ⁇ E (m) 2 / ⁇ m of the instantaneous square error expressed by the following equation (4).
  • An adder 339 is connected to the integrator 338.
  • the adder 339 completes the coefficient m (k) by calculating the following equation (5), and sets the coefficient m (k) in the integration unit 332. That is, as shown in the following equation (5), the adder 339 completes the coefficient m (k) by adding the signal ⁇ ⁇ m (k ⁇ 1) to the differential signal ⁇ E (m) 2 / ⁇ m
  • the signal ⁇ ⁇ m (k ⁇ 1) is connected to the output side of the adder 339, with a delay unit 333 for delaying the signal by one sample and an integrator 334 for integrating the constant ⁇ .
  • the coefficient m (k-1) updated by the processing is generated by multiplying the constant ⁇ in the integrator 334.
  • the noise processing unit 33 the calculation processing of the following recurrence formula (6) is realized, the coefficient m (k) is generated, and the coefficient m (k) is gradually updated for each sampling.
  • the noise processing unit 33 multiplies the coefficient m by one of the exchange signals Sx and Sy, and then generates an error signal e of the exchange signals Sx and Sy, and gradually generates the coefficient m including the error signal e.
  • a recurrence formula operation unit is provided which calculates the equation and updates the coefficient m every one sample.
  • the error signal generation unit multiplies the exchange signal Sa (k) by ⁇ 1 times the coefficient m (k ⁇ 1) one sample before, an integrator 335, the signal output from the integrator 335, and the exchange signal Sy. (K) is input and it is the adder 336 which adds these signals.
  • the recurrence formula operation unit is an integrator other than the integrator 335 and the adder 336 and an adder.
  • the noise processing unit 33 alternately operates the following equation (7), and multiplies the directivity signal by the coefficient m (k) obtained by the equation (7).
  • equation (7) the square of the signal acts to reduce uncorrelated components such as white noise with the passage of time.
  • the adjacent term is equivalent to the numerator part of the following equation (8) which sequentially calculates the correlation coefficient, and the influence of the correlation component is reflected in the coefficient m.
  • the uncorrelated component of the first directivity signal S1 is in the amplification direction, and the second directivity signal S2 is obtained.
  • the uncorrelated component of is in the suppression direction.
  • the uncorrelated component of the first directivity signal S1 is in the amplification direction, and the first directivity signal S1 is The uncorrelated component of is in the suppression direction.
  • the noise processing unit 33 has the function of approximating the second directivity signal S2 with respect to the first directivity signal S1 and performing synchronous addition, and the first directivity signal S2 for the second directivity signal S2.
  • the function of trying to perform synchronous addition by approximating the directivity signal S1 is alternately repeated. Therefore, the functions of amplifying and suppressing uncorrelated components cancel each other alternately. That is, the influence of the correlation component is strongly reflected on the coefficient m (k), and from the directivity signals S1 and S2 multiplied by the coefficient m (k), the nondirectional microphones 21a to 21f are obtained. Inherent noise is suppressed.
  • the sound collection device 1 adds directivity in a specific direction expressed in N dimensions, and at least N + 2 nondirectional microphones 21a, 21b, ..., the beam former 32, and noise processing A part 33 is provided.
  • the beam former 32 generates two types of directivity signals S1 and S2 having unidirectionality in a specific direction based on the collected sound signals Sa, Sb,... Output from the nondirectional microphones 21a, 21b,.
  • Generate The noise processing unit 33 suppresses noise components based on the two types of directivity signals S1 and S2.
  • This beamformer has a first directivity having unidirectionality in a specific direction based on N + 1 collected signals Sa, Sb,... Selected from the outputs of the nondirectional microphones 21a, 21b,. While generating the signal S1, the N + 1 sound collection signals Se, Sf,... Of different combinations from the N + 1 sound collection signals Sa, Sb,... Used for generating the first directivity signal S1. , To generate a second directivity signal S2 having a single directivity in the same specific direction as the first directivity signal S1. Then, the noise processing unit 33 suppresses uncorrelated sound components between the two types of directivity signals S1 and S2.
  • the noise components included in the first directivity signal S1 and the second directivity signal S2 become uncorrelated, so suppressing the uncorrelated sound components allows the nondirectional microphones 21a, 21b,. ⁇ It is possible to suppress inherent circuit noise and wind noise, and improve the SN ratio.
  • the noise correction unit 31 further includes a sensitivity correction unit 31 that equalizes the sensitivities of the sound collection signals output by at least N + 2 nondirectional microphones 21a, 21b,... The uncorrelated sound component is suppressed between the directivity signals S1 and S2 of FIG.
  • the sound components obtained from the specific direction obtained by the nondirectional microphones 21a, 21b,... are precisely aligned, and are included in the first directivity signal S1 and the second directivity signal S2.
  • the correlation of sound components in the direction can be made higher. Therefore, the relative emphasis or suppression between the sound component and the noise component in the specific direction is sharpened, and the SN ratio is further improved.
  • the microphones recording surrounding sounds have directivity in different directions, it is unclear whether the sound pressure difference of each microphone is derived from the arrival direction or the sensitivity difference, and the sound arrived from a specific direction It is difficult to align the ingredients.
  • the omnidirectional microphones 21a, 21b,... are used, the sound pressure difference between the microphones can be limited to that derived from the sensitivity difference, and the sound components coming from the specific direction It is possible to align.
  • the noise processing unit 33 alternately switches the first directivity signal S1 and the second directivity signal S2 every one sample.
  • one of the exchange signals Sx and Sy is multiplied by a coefficient m to generate an error signal of the exchange signals Sx and Sy.
  • the recurrence formula of the coefficient m including the error signal e is calculated to update the coefficient m every one sample.
  • the sequentially updated coefficient m is multiplied by the first directivity signal S1 or the second directivity signal S2 and output.
  • the second directivity signal S2 is approximated to the first directivity signal S1 to perform synchronous addition, and the first directivity signal S1 is output to the second directivity signal S2.
  • the operation to approximate and synchronize is alternately repeated. Therefore, the functions of amplifying and suppressing uncorrelated components cancel each other alternately. That is, the influence of the correlation component is strongly reflected on the coefficient m (k), and from the directivity signals S1 and S2 multiplied by the coefficient m (k), the nondirectional microphones 21a to 21f are obtained. Inherent noise is suppressed.
  • FIG. 11 and FIG. 11 and 12 are schematic views showing an example of an omnidirectional camera capable of photographing each azimuth and each elevation angle.
  • the microphone unit 2 and the panoramic imaging unit 100 are integrated, and both have the same support member 23 as a housing, and a plurality of cameras 101 and omnidirectional microphones 21a to 21f included in the panoramic imaging unit 100 are attached to the support member 23 ing.
  • the support member 23 has a square pole shape.
  • two cameras 101 made of fisheye lenses are distributed to a pair of opposing surfaces, one by one.
  • the omnidirectional microphones 21a to 21f are distributed to the four corners.
  • the nondirectional microphones 21a to 21c are distributed one by one to three corners of one facing surface
  • the nondirectional microphones 21d to 21f are distributed one by one to three corners of the other facing surface.
  • the support member 23 has a spherical shape.
  • Two cameras 101 made of fisheye lenses are distributed 180 degrees apart to the support member 23.
  • the omnidirectional microphones 21a to 21f are distributed beside the two cameras 101.
  • the nondirectional microphones 21a to 21c are distributed one by one at 45 degrees, 225 degrees and 315 degrees positions viewed clockwise from the direction facing the camera 101.
  • the nondirectional microphones 21d to 21f are distributed one by one at positions 135 degrees, 225 degrees and 315 degrees clockwise as viewed from the direction facing the camera 101, with the top of the other camera 101 as zero degree. Be done.
  • the omnidirectional camera is compact. The reason is that since the sound collection device 1 actively uses the nondirectional microphones 21a to 21f, a space like a directional microphone is not required behind the nondirectional microphones 21a to 21f.
  • FIG. 1 Another application example of the sound collection device 1 is shown in FIG.
  • the panoramic imaging unit 100 is attached to a rod-like support member 23 held by a user.
  • the microphone unit 2 is built in the support member 23 held by the user. That is, the nondirectional microphones 21a to 21f are attached to the corners of the virtual hexagonal column inscribed in the support member 23.
  • the omnidirectional microphones 21a to 21f can be incorporated in the user's grip bar, so that the omnidirectional camera can be compact. This is because there is no need for a space like a directional microphone behind the nondirectional microphones 21a to 21f.
  • the imaging data of the panoramic imaging unit 100 and the sound collection signals Sa to Sf are transferred to the personal computer 102 of the user.
  • image processing for rendering an image in a specific direction from imaging data and an application 103 for realizing the directivity control device 3 are installed.
  • Information indicating a specific direction input to the application 103 using a man-machine interface such as a keyboard or mouse is passed to the beam former 32, and the beam former 32 performs a desired response transfer function matrix according to the information indicating the specific direction.
  • an input unit such as a keyboard or a mouse that receives an input in a specific direction may be further provided, and the beam former 32 may form directivity in the specific direction received by the input unit.
  • a panoramic image pickup unit 100 having a plurality of cameras 101 and photographing surrounding directions is further provided, and at least N + 2 nondirectional microphones 21a, 21b,... Are distributed among the plurality of cameras 101.
  • N + 2 nondirectional microphones 21a, 21b,... are distributed among the plurality of cameras 101.
  • the reason why the plurality of cameras 101 can be distributed is that no space is required behind the nondirectional microphones 21a, 21b,.
  • the noise processing unit 33 multiplies the coefficient m by one side of the exchange signal, then generates an error signal of the exchange signal, calculates the regression equation of the coefficient m including the error signal, and samples the coefficient m If it is made to update every time, it is realizable in other modes, without limiting to the above-mentioned embodiment.
  • the sound collection device 1 may be realized as software processing of a CPU or DSP, or may be configured by a dedicated digital circuit.
  • software processing in a computer including a CPU, an external memory, and a RAM, a program that describes the same processing contents as the sensitivity correction unit 31, the beam former 32, and the noise processing unit 33 is ROM, hard disk, flash memory, etc. It may be stored in the external memory of the above, appropriately expanded in the RAM, and operated by the CPU according to the program of ⁇ .

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

複数のマイクを用いて指向性を付ける際に良好なSN比を達成する。N次元で表現される特定方向に指向性を付けるべく、N+2個以上の無指向性マイク21a,21b・・・とビームフォーマ32とノイズ処理部33を備える。ビームフォーマ32は、N+1個の集音信号Sa,Sb・・・から、特定方向への第1の指向性信号S1を生成し、第1の指向性信号S1の生成に用いられたN+1個の集音信号Sa,Sb・・・とは異なる組み合わせのN+1個の集音信号Se,Sf,・・・から、特定方向への第2の指向性信号S2を生成する。ノイズ処理部33は、2種類の指向性信号S1,S2間で無相関の音成分を抑制する。

Description

集音装置、指向性制御装置及び指向性制御方法
 本発明は、任意の方向に指向性を付ける指向性コントロールに関する。
 複数のマイクで周囲の音を収集し、複数の集音信号から特定方向に指向性を付けた音波信号を生成する技術が各種提案されている。複数のマイクには個体差があり、マイク固有の回路ノイズや風切り音といったマイク間で無相関のノイズが発生する。そこで、これらノイズを抑制する方法が検討されているところである。
 無相関のノイズを抑制する方法として、非線形性のアルゴリズムを使ったスペクトルサブトラクション法がある(例えば特許文献1参照)。このスペクトルサブトラクション法は、雑音のパワースペクトルの平均値を推定し、雑音を含んだ入力信号のパワースペクトルから差し引くことで雑音を低減させる方法である。
 また、アンビソニックマイク(Ambisonic Microphones)を用い、再生時に記録済み信号同士を加算或いは減算処理することで、指向性を制御する方法が知られている(例えば非特許文献1参照)。アンビソニックマイクとは、正四面体の各頂点から外側に向く4つのマイクを配置したマイクロフォンユニットである。このマイクロフォンユニットは、指向性マイクを備え、指向性マイクで囲まれる中心に空間部を備える。
 このアンビソニックマイクを用いた指向性制御方法では、まず4つの単一指向性マイクが出力した集音信号に基づいて、Bフォーマットと呼ばれる信号表現に変換する。Bフォーマットと呼ばれる信号表現には、0次である無指向性の集音信号と、1次と呼ばれる上下、左右及び前後に双方向性の各集音信号が含まれる。そして、0次の集音信号と1次の各周音信号を、指向性を与える特定方向に適した比率で足し合わせる。これにより、アンビソニックマイクを用いて特定方向に指向性が付けられる。
 ここで、アンビソニックマイクでは、集音信号の位相差が正確に保持されている必要がある。集音信号の位相差が変わってしまうと、本来再生時の演算で信号が強調または減衰される効果が望めなくなってしまうためである。このため、アンビソニックマイクを用いた集音方法では、無相関性のノイズを信号処理で抑制することが困難である。そこで、アンビソニックマイクを用いる場合には、4つの単一指向性マイクの個体差が小さくなるように、4つの単一指向性マイクの選択を念入りに行っていた。
S.F.Boll、「Suppression of Acoustic Noise in Speech Using Spectral Subtraction」、IEEE Trans. ASSP.、1979年4月2日、Vol.27、pp.113-120 D.G. Malham、「SPATIAL HEARING MECHANISMS and SOUND REPRODUCTION」、[online]、2008年5月6日、University of York、[平成29年6月23日検索]、インターネット〈URL:https://www.york.ac.uk/inst/mustech/3d_audio/ambis2.htm〉
 非線形性のアルゴリズムを使ったスペクトルサブトラクション法で無相関のノイズを抑制しようとすると、1チャンネル毎に個別の挙動の処理が行われるため、4つのマイクの集音信号間の位相差が集音時から変化してしまうと、位相差が変化した信号同士を加算または減算して指向性を得ようとしても、信号の強調や減衰ができなくなり、指向性に影響を与えてしまう。そのため、アンビソニックマイクのマイク信号毎にノイズを抑制することはできず、SN比を向上させることができない。
 また、単一指向性マイクは、背面の音響ポートから風が進入する虞があり、乱気流が発生してウインドノイズが大きくなる。従って、風切り音を原因とするノイズは、アンビソニックマイクでは十分に解消できず、SN比が悪くなる。また、4つの単一指向性マイクの個体差が小さくなるように、4つの単一指向性マイクを選択しようとすると、多大なコストが発生してしまい、このコストを抑制しようとすると、4つの単一指向性マイクに固有の回路ノイズ等を起因として、SN比が悪くなってしまう。
 本発明は、上記のような従来技術の問題点を解決するために成されたものであり、その目的は、複数のマイクを用いて指向性を付ける際に良好なSN比を達成することができる集音装置を提供することにある。
 上記の目的を達成するために、本発明に係る集音装置は、N次元で表現される特定方向に指向性を付ける集音装置であって、周囲の音を測定して集音信号を出力する、少なくともN+2個の無指向性マイクと、前記無指向性マイクが出力する集音信号に基づき、特定方向に単一指向性を有する2種類の指向性信号を生成するビームフォーマと、前記2種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、を備え、前記ビームフォーマは、前記無指向性マイクの出力から選ばれるN+1個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、前記第1の指向性信号の生成に用いられた前記N+1個の集音信号とは異なる組み合わせのN+1個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成し、前記ノイズ処理部は、前記2種類の指向性信号間で無相関の音成分を抑制すること、を特徴とする。
 前記少なくともN+2個の無指向性マイクが出力する集音信号の感度を揃える感度補正部を更に備え、前記ノイズ処理部は、前記感度補正部による補正を経た前記2種類の指向性信号間で無相関の音成分を抑制するようにしてもよい。
 3次元で表される特定方向に指向性を付け、少なくとも5個以上の前記無指向性マイクを備え、前記ビームフォーマは、前記無指向性マイクの出力から選ばれる4個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、前記第1の指向性信号の生成に用いられた前記4個の集音信号とは異なる組み合わせの4個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成するようにしてもよい。
 前記無指向性マイクは、四面体の各頂点方向を向いた当該無指向性マイクの組み合わせを2種類選択できるように、立体配置され、前記2種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有するようにしてもよい。
 2次元で表される特定方向に指向性を付け、少なくとも4個以上の前記無指向性マイクを備え、前記ビームフォーマは、前記無指向性マイクの出力から選ばれる3個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、前記第1の指向性信号の生成に用いられた前記3個の集音信号とは異なる組み合わせの3個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成するようにしてもよい。
 前記特定方向の入力を受け付ける入力部を更に備え、前記ビームフォーマは、前記入力部が受け付けた前記特定方向に指向性を形成するようにしてもよい。
 複数のカメラを有し、周囲各方向を撮影するパノラマ撮像部を更に備え、前記少なくともN+2個の無指向性マイクは、前記複数のカメラ間の合間に配分され、又は複数のカメラを支えるユーザ把持用の棒に取り付けられているようにしてもよい。
 前記ノイズ処理部は、前記第1の指向性信号と前記第2の指向性信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、逐次更新された係数mを前記第1の指向性信号又は前記第2の指向性信号に乗じて出力する積算部と、を備えるようにしてもよい。
 また、上記の目的を達成するために、本発明に係る指向性制御装置は、N次元で表現される特定方向に指向性を付ける指向性制御装置であって、少なくともN+2個の無指向性マイクが生成した各集音信号を記憶する記憶部と、前記記憶部の集音信号に基づき、特定方向に単一指向性を有する2種類の指向性信号を生成するビームフォーマと、前記2種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、を備え、前記ビームフォーマは、前記記憶部から選ばれるN+1個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、前記第1の指向性信号の生成に用いられた前記N+1個の集音信号とは異なる組み合わせのN+1個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成し、前記ノイズ処理部は、前記2種類の指向性信号間で無相関の音成分を抑制すること、を特徴とする。
 前記少なくともN+2個の集音信号の感度を揃える感度補正部を更に備え、前記ノイズ処理部は、前記感度補正部による補正を経た前記2種類の指向性信号間で無相関の音成分を抑制するようにしてもよい。
 前記ノイズ処理部は、前記第1の指向性信号と前記第2の指向性信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、逐次更新された係数mを前記第1の指向性信号又は前記第2の指向性信号に乗じて出力する積算部と、を備えるようにしてもよい。
 また、上記の目的を達成するために、本発明に係る指向性制御装置は、N次元で表現される特定方向に指向性を付ける指向性制御方法であって、少なくともN+2個の無指向性マイクが生成した各集音信号に基づき、特定方向に単一指向性を有する2種類の指向性信号を生成するビームフォーミングステップと、前記2種類の指向性信号に基づいてノイズ成分を抑制するノイズ抑制ステップと、を含み、前記ビームフォーミングステップは、少なくともN+2個の前記集音信号のうちのN+1個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、前記第1の指向性信号の生成に用いられた前記N+1個の集音信号とは異なる組み合わせのN+1個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成し、前記ノイズ抑制ステップは、前記2種類の指向性信号間で無相関の音成分を抑制すること、を特徴とする。
 前記少なくともN+2個の集音信号の感度を揃える感度補正ステップを更に含み、前記ノイズ抑制ステップは、前記感度補正ステップによる補正を経た前記2種類の指向性信号間で無相関の音成分を抑制するようにしてもよい。
 前記ノイズ処理ステップは、前記第1の指向性信号と前記第2の指向性信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成ステップと、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算ステップと、逐次更新された係数mを前記第1の指向性信号又は前記第2の指向性信号に乗じて出力する積算ステップと、を備えるようにしてもよい。
 本発明によれば、第1の指向性信号と第2の指向性信号に含まれるノイズ成分を無相関とすることができ、無相関成分を抑制する処理によって、良好なSN比を達成することができる。
集音装置の全体構成を示すブロック図である。 マイクロフォンユニットを示す模式図である。 マイクロフォンユニットから二種類のマイク群を選択する例を示す模式である。 指向性制御装置の詳細構成を示すブロック図である。 6つの無指向性マイクのオリジナルのポーラーパターンを示す模式図である。 感度補正部の詳細構成を示すブロック図である。 多点制御法に係り、4つの無指向性マイクロフォンの周りに設定される制御点を示す模式図である。 ビームフォーマの構成を示すブロック図である。 ビームフォーマが出力する2つの指向性信号を示すグラフである。 ノイズ処理部の構成例を示すブロック図である。 集音装置の第1の適用例を示す模式図であり、(a)は斜視図、(b)は側面図、(c)は下面図である。 集音装置の第2の適用例を示す模式図であり、(a)は斜視図、(b)は側面図、(c)は下面図である。 集音装置の第3の適用例を示す模式図であり、(a)は斜視図、(b)は側面図、(c)は下面図である。
 (構成)
 図1は、集音装置の全体構成を示すブロック図である。集音装置1は、マイクロフォンユニット2と指向性制御装置3とを備える。この集音装置1は、周囲の音を収録した後で、ユーザが選択した特定方向に事後的に指向性を付ける。マイクロフォンユニット2と指向性制御装置3は、各々が電源を有し、別々に駆動可能となっている。
 ユーザは、マイクロフォンユニット2を持ち歩いて集音作業を行い、自宅やスタジオでマイクロフォンユニット2を指向性制御装置3に繋ぐ。マイクロフォンユニット2は、指向性制御装置3へ集音結果を転送し、指向性制御装置3は、ユーザからの特定方向の設定を受け付け、集音結果に対して特定方向に指向性を付けるように信号処理する。
 マイクロフォンユニット2は、複数の無指向性マイク21a,21b・・・及びフラッシュメモリ等の不揮発性メモリ22を備える。このマイクロフォンユニット2は、周囲の音をマルチチャンネルで集音し、各集音信号Sa~Sfをロウデータ(raw data)で各々記録する。集音信号Sa~Sfは、周囲各方向から到来する音成分が合成されて成る。
 無指向性マイク21a,21b・・・がアナログ出力の場合、マイクロフォンユニット2には、各々の集音信号Sa~Sfを増幅するアンプと集音信号Sa~Sfをアナログ信号からデジタル信号へ変換するコンバータとが付設され、アンプとコンバータを経たデジタルの集音信号が不揮発性メモリ22に記録される。
 指向性制御装置3は、集音信号Sa~Sfをデジタル処理するマイコン、コンピュータ又はDSPによる専用回路である。この指向性制御装置3は、装置内のハードディスクやSSDや内部ストレージ等のメモリ34に、マイクロフォンユニット2から転送された集音信号Sa~Sfを保存しておく。そして、指向性制御装置3は、各集音信号Sa~Sfを信号処理して、特定方向から到来した音成分を明瞭化し、無指向性マイク21a,21b・・・の回路系ノイズや風雑音を除いた出力信号Soを生成する。出力信号Soは、出力するスピーカ数に合わせてマルチチャンネルであってもよい。
 即ち、この指向性制御装置3は、特定方向からマイクロフォンユニット2に到来した音成分を、特定方向以外から到来した音成分と比べて相対的に強調する。言い換えれば、指向性制御装置3は、特定方向以外の方向からマイクロフォンユニット2に到来した音成分を、その到来方向と特定方向との差が付けば付くほど大きく抑制する。更に、指向性制御装置3は、各無指向性マイク21a,21b・・・の個体差に起因して生じる回路系ノイズ及び風雑音等のノイズを抑制してSN比を向上させる。
 (マイクロフォンユニット)
 図2及び図3に示すように、マイクロフォンユニット2は円筒の支持部材23を備える。6つの無指向性マイク21a~21fは、隣り合う他の無指向性マイク21a~21fと等しく距離を取りながら、支持部材23の表面に取り付けられている。無指向性マイク21a,21b・・・は、振動板の前方が音場に対して開放されていればよい。
 そのため、無指向性マイク21a,21b・・・の背後に空間は不要である。従って、支持部材23は中実であっても、支持部材23の内部の、無指向性マイク21a,21b・・・に囲まれた位置に他の部品が配置されていても、支持部材23の内外が連通していなくともよい。また、無指向性マイク21a~21fの向き設定が容易であるため、支持部材23は円筒としているが、支持部材23の形状は何れでも良い。
 図3の(a)に示すように、支持部材23に内接する正六角柱を考える。このとき、6つの無指向性マイク21a~21fは、正六角柱の角のうちの6箇所に分配配置される。各分配位置は、正六角柱の一辺を挟んで隣り合わないように選択される。即ち、正六角柱の軸周りに、一方の底面から120度間隔で一つ置きに3箇所の角を選択し、他方の底面から120度間隔で一つ置きに3箇所の角を選択し、一方の底面の3箇所と他方の底面の3箇所とは、正六角柱の軸周りに60度ずらされる。
 このマイク配置は次の規則に従ったものである。即ち、まず、指向性ではなく、無指向性マイク21a,21b・・・が配置される。次に、図3の(b)及び(c)に示すように、マイクロフォンユニット2は、四面体の各頂点方向を向いた4つの無指向性マイク21a,21b・・・の組み合わせを2種類選択できるように、少なくとも5つ以上の無指向性マイクを立体配置して備える。2種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有する。四面体は、正四面体が望ましいが、これに限られない。本実施形態では、無指向性マイク21a,21c,21d,21eが1つの四面体に配置される組み合わせグループAであり、無指向性マイク21a,21b,21d,21fが他の1つの四面体に配置される組み合わせグループBである。
 2種類の四面体に重複して属する無指向性マイク21a,21b・・・が少ないほどよく、望ましくは、マイクロフォンユニット2は、8つの無指向性マイク21a,21b・・・を有する。例えば、正八角柱の軸周りに、一方の底面から90度間隔で一つ置きに4箇所の角を選択し、他方の底面から90度間隔で一つ置きに4箇所の角を選択し、一方の底面の4箇所と他方の底面の4箇所とは、正八角柱の軸周りに45度ずれている。無指向性マイク21a,21b・・・は、これら選択位置に配置されることにより、無指向性マイク21a,21b・・・が2種類の四面体に重複して属することなく、4つの無指向性マイク21a,21b・・・のグループを2種類作出できる。
 無指向性マイク21a,21b・・・が5つ以上という規則は、3次元で表される特定方向からの音成分を相対的に強調する場合に適用される。2次元で表される特定方向からの音成分を相対的に強調する場合には、少なくとも4つ以上の無指向性マイク21a,21b・・・を備えていればよい。即ち、N次元で表現される特定方向からの音成分を相対的に強調する場合、少なくともN+2個の無指向性マイク21a,21b・・・を備え、2組に重複して属する無指向性マイク21a,21b・・・をなるべく少なくするように、N+1個の無指向性マイク21a,21b・・・の組を2組作れればよい。
 (指向性制御装置)
 図4は、指向性制御装置3の詳細構成を示すブロック図である。まず、1つの四面体状の配置関係を有する無指向性マイク21a,21c,21d,21eからの集音信号を1つのグループAとし、他の1つの四面体状の配置関係を有する無指向性マイク21a,21b,21d,21fからの集音信号を1つのグループBとする。そして、この指向性制御装置3は、感度補正部31、ビームフォーマ32及びノイズ処理部33を備える。
 感度補正部31は、6つの無指向性マイク21a~21fの感度を統一する。ビームフォーマ32は、グループAの集音信号Sa、Sc、Sd及びSeに基づいて特定方向に指向性を向けた第1の指向性信号S1を生成し、グループBの集音信号Sa、Sb、Sd及びSfに基づいて特定方向に指向性を向けた第2の指向性信号S2を生成する。
 ノイズ処理部33は、第1の指向性信号S1と第2の指向性信号S2の相関性成分を強調し、且つ無相関成分を抑圧する係数mを生成し、この係数mを第1の指向性信号S1に乗じることで、出力信号Soを生成する。係数mを乗じるのは、第2の指向性信号S2であってもよい。
 図5は、6つの無指向性マイク21a~21fのオリジナルのポーラーパターンを示す模式図である。図5に示すように、感度補正部31は、6つの無指向性マイク21a~21fの各集音信号Sa~Sfの一つを選択し、選択した集音信号の音響パワーに他の集音信号Sa~Sfの音響パワーが等しくなるように、他の集音信号にゲインGa~Gfをかける。
 例えば、無指向性マイク21aが出力した集音信号Saを選択し、この集音信号Saの音響パワーPaを基準にして、音響パワーPb、Pc、Pd、Pe及びPfを有する他の集音信号Sb~Sfの全てを音響パワーPaに変化させる。即ち、音響パワーPbを有する集音信号Sbに、基準となった音響パワーPaに対する音響パワーPbの倍率の逆数をゲインGbとして、このゲインGbを乗算する。
 また、音響パワーPcを有する集音信号Scに、基準となった音響パワーPaに対する音響パワーPcの倍率の逆数をゲインGcとして乗算する。音響パワーPdを有する集音信号Sdに対しても、音響パワーPeを有する集音信号Seに対しても、音響パワーPfを有する集音信号Sfに対しても同様に逆数を乗算する。
 図6は、この感度補正部31の詳細構成を示すブロック図である。この感度補正部31は、6つの無指向性マイク21a~21fから入力された集音信号Sa~Sfに対して、バンドパスフィルタ311a~311f及びパワー算出部312a~312fを備える。バンドパスフィルタ311a~311fは、各集音信号Sa~Sfから所定周波数領域を抽出する。所定周波数領域としては可聴域が望ましい。パワー算出部312a~312fは、バンドパスフィルタ311a~311fを経た信号から二乗平均平方根を算出し、各集音信号Sa~Sfのパワー値Pa、Pb、Pc、Pd、Pe及びPfを得る。
 また、感度補正部31は、係数算出部313と乗算部314a~314fとを備える。係数算出部313は、各集音信号Sa~Sfのパワー値の1つを基準値とし、この基準値に対するパワー値の倍率の逆数で表される各ゲインGa~Gfを得る。乗算部314a~314fは、各集音信号Sa~Sfが基準となった集音信号と音響パワーにおいて同一になるように、係数算出部313で得られたゲインGa~Gfを、対応の集音信号に乗算する。
 次に、ビームフォーマ32の信号処理を説明する。まず、4つの無指向性マイクロフォンM1~M4が存在する空間を仮定する。図7は、多点制御法に係り、4つの無指向性マイクロフォンM1~M4の周りに設定される制御点D1~Dnを示す模式図である。図中では、説明の都合上、制御点を水平面にのみ配置しているが、マイクロフォンM1~M4の中心から等距離の球面にn個の制御点D1~Dnを等配置しているものとする。
 そして、制御点D,(i=1~n)から無指向性マイクM,(k=1~m)までの経路において音に変化を与える伝達関数を伝達関数Cik(ω)とし、無指向性マイクMの出力に畳み込む制御フィルタを伝達関数H(ω)とし、各制御点Dに対する所望応答を応答関数A(ω)とする。このとき、各制御点Dから到来した音を無指向性マイクM1~M4で集音した結果を、所望応答伝達関数A(ω)とするには、以下式(1)が満たされるような伝達関数H(ω)が要求される。
Figure JPOXMLDOC01-appb-M000001
 ここで、上記式(1)において、特定方向にある制御点Dに対応する所望応答伝達関数A(ω),(i=j)を「1」にし、それ以外の抑圧すべき制御点Dに対応する所望応答伝達関数A(ω),(i≠j)をゼロにすれば、上記式(1)は、制御点Dの存在方向を特定方向として、この特定方向に指向性を向けるための伝達関数H(ω),(k=1~m)を含む式となる。
 そこで、ビームフォーマ32は、特定方向がユーザにより設定されると、特定方向に合った制御点Dに対応する所望応答伝達関数A(ω)を1にセットし、その他の所望応答伝達関数A(ω)をゼロにセットする。そして、ビームフォーマ32は、一般化逆行列を用いて最小二乗解として伝達関数H(ω),(k=1~m)を求める。そして、無指向性マイクM1~M4に対応する伝達関数H1(ω)~H4(ω)を無指向性マイクM1~M4の集音信号に畳み込む。
 ビームフォーマ32は、以上のような多点制御法を適用して、無指向性マイク21a~21fに対応する伝達関数H(ω)を生成して適用することにより、グループAの集音信号Sa、Sc、Sd及びSeから特定方向に指向性を有する第1の指向性信号S1を生成し、またグループBの集音信号Sa、Sb、Sd及びSfから特定方向に指向性を有する第2の指向性信号S2を生成する。そして、両指向性信号S1、S2は、同一のポーラーパターンを有することになる。そのポーラーパターンとしては、特定方向に指向性を有する単一指向性のカーディオイド型でもよいし、特定方向と其の反対方向に指向性を有する双方向性であってもよい。
 尚、伝達関数Cik(ω)は、自由空間における理想が以下式(2)となる。ただし、伝達関数Cik(ω)は、各無指向性マイク21a~21fと各制御点i間の減衰や遅れなどの伝達特性を実測することで、求めることが望ましい。
Figure JPOXMLDOC01-appb-M000002
但し、rは制御点からマイクまでの距離であり、r/cは伝播時間である。
 図8は、このビームフォーマ32の構成を示すブロック図である。ビームフォーマ32は、グループAの集音信号Sa、Sc、Sd及びSeが入力される制御フィルタ321a、321c、321d及び321eと、制御フィルタ321a、321c、321d及び321eの出力を合算して第1の指向性信号S1を出力する加算器322aを備える。また、ビームフォーマ32は、グループBの集音信号Sa、Sb、Sd及びSfが入力される制御フィルタ321a、321b、321d及び321fと、制御フィルタ321a、321b、321d及び321fの出力を合算して第2の指向性信号S2を出力する加算器322bを備える。
 更に、ビームフォーマ32は、伝達関数H(ω)を生成し、制御フィルタ321a~321fにセットする特定方向設定部323を備える。この特定方向設定部323は、特定方向が設定されると、特定方向に応じた所望応答伝達関数A(ω)の行列A(ω)を生成する。また、特定方向設定部323は、伝達関数Cik(ω)の行列C(ω)と伝達関数H(ω)の行列H(ω)の積を取る。
 そして、特定方向設定部323は、所望応答伝達関数行列A(ω)に対して、伝達関数行列C(ω)と伝達関数行列H(ω)の乗算結果を差分して誤差eと生成する。特定方向設定部323は、最急降下法によって誤差eが最小になる伝達関数行列H(ω)を解き、伝達関数H(ω)を制御フィルタ321a~321fにセットする。
 ビームフォーマ32は、対応の伝達関数H(ω)がセットされた制御フィルタ321a~321fに対し、グループAの集音信号Sa、Sc、Sd及びSeをフーリエ変換して入力し、グループBの集音信号Sa、Sb、Sd及びSfをフーリエ変換して入力する。そして、ビームフォーマ32は、制御フィルタ321a、321c、321d及び321eから出力されるグループAの集音信号Sa、Sc、Sd及びSeを合算して第1の指向性信号S1を生成し、制御フィルタ321a、321b、321d及び321fから出力されるグループBの集音信号Sa、Sb、Sd及びSfを合算して第2の指向性信号S1を生成する。
 図9の(a)はグループA由来の第1の指向性信号S1を示し、(b)はグループB由来の第2の指向性信号S2を示し、横軸に周波数、縦軸に音圧を取ったグラフである。図9の(a)及び(b)に示すように、第1及び第2の指向性信号S1、S2は、ビームフォーマによって、特定方向に単一の指向性が強調され、また感度補正部31によって感度が統一されているため、共通の音成分Scを有している。一方、各周波数帯にノイズN1,N2が乗っている。
 ここで、6つの無指向性マイク21a~21fの特性は揃えられておらず、6つの無指向性マイク21a~21fの個体差は顕著である。そのため、4つのマイクの組み合わせが異なるグループAとグループBを由来とする両指向性信号S1,S2に乗っているノイズN1及びノイズN2は相関性の低い。グループAとグループBに属する4つのマイクに重複が無い場合、グループAとグループBを由来とする両指向性信号S1、S2は、相関性の無いノイズN1,N2を有している。
 そこで、ノイズ処理部33は、相関性の高い音成分を強調し、音成分の相関性が低ければ低いほど、その音成分を抑圧する信号処理を行う。両指向性信号S1、S2に含まれる、特定方向から到来した音成分は、感度補正部31とビームフォーマ32によって同一音圧に揃えられているので、このノイズ処理部33によって強調され、相関性の小さい又は無いノイズN1,N2は抑圧されることになる。
 このノイズ処理部33は、第1の指向性信号S1(k)と第2の指向性信号S2(k)を1サンプルおきに交互に入れ替えて出力する。すなわち、交換信号Sx(k)及び交換信号Sy(k)のデータ列は、k=1、2、3、4・・・において、以下のようになる。
Sx(k)={S1(1) S2(2) S1(3) S2(4)・・・}
Sy(k)={S2(1) S1(2) S2(3) S1(4)・・・}
 ノイズ処理部33は、交換信号Sx(k)と交換信号Sy(k)の誤差を計算し、誤差に応じた係数m(k)を決定する。また、ノイズ処理部33は、過去の係数m(k-1)を参照して逐次的に係数m(k)を更新する。
 同着の交換信号Sx(k)と交換信号Sy(k)の誤差信号e(k)を以下式(3)のように定義する。
Figure JPOXMLDOC01-appb-I000003
 ノイズ処理部33は、誤差信号e(k)を係数m(k-1)の関数とし、誤差信号e(k)を含む係数m(k)の隣接二項間漸化式を演算することで、誤差信号e(k)が最小となる係数m(k)を探索する。ノイズ処理部33は、この演算処理により、第1の指向性信号S1(k)と第2の指向性信号S2(k)とに時間差が生じていればいるほど、係数m(k)を減少させる方向で更新し、時間差がなければ係数m(k)を1に近づける。そして、ノイズ処理部33は、第1の指向性信号S1(k)または第2の指向性信号S2(k)とに任意の比率で係数m(k)を乗じて出力信号So(k)を出力する。
 図10は、このノイズ処理部33の構成例を示すブロック図である。図10に示すように、ノイズ処理部33は、前段に、第1の指向性信号S1(k)と第2の指向性信号S2(k)の信号列を交互に入れ替えて交換信号Sx(k)交換信号Sy(k)を生成する回路である交換部331を備え、中段に、係数m(k)を更新する複数の積算器と加算器を備え、後段に、係数m(k)を第1の指向性信号S1(k)若しくは第2の指向性信号S2(k)に乗じて出力信号So(k)を生成する積算部332を備える。
 中段は、隣接二項間漸化式を体現した回路であり、過去の係数m(k-1)を参照して係数m(k)を漸次更新するものである。ノイズ処理部33において、長いタップ数を有する適応フィルタは排除されている。
 このノイズ処理部33において、中段では、交換信号Sy(k)を参照信号として用いて誤差信号e(k)を生成する。すなわち、交換信号Sx(k)は、積算器335に入力される。積算器335は、交換信号Sa(k)に対して1サンプル前の係数m(k-1)の-1倍を掛け合わせる。積算器335の出力側には、加算器336が接続されている。この加算器336には、積算器335から出力された信号と交換信号Sy(k)とが入力され、これら信号を加算することで、瞬時の誤差信号e(k)を得る。
 誤差信号e(k)は、入力信号をμ倍する積算器337に入力される。係数μは、1未満のステップサイズパラメータである。積算器337の出力側には、積算器338が接続される。積算器338には、交換信号Sx(k)と積算器を経た信号μe(k)とが入力される。この積算器338は、交換信号Sx(k)と信号μe(k)とを乗じ、以下式(4)で表される瞬時二乗誤差の微分信号∂E(m)/∂mを得る。
Figure JPOXMLDOC01-appb-I000004
 積算器338には加算器339が接続されている。加算器339は、以下式(5)を演算することで係数m(k)を完成させ、積算部332に係数m(k)をセットする。すなわち、以下式(5)のように、加算器339は微分信号∂E(m)/∂mに対して信号β・m(k-1)を加算することで係数m(k)を完成させる。
Figure JPOXMLDOC01-appb-I000005
 信号β・m(k-1)は、加算器339の出力側に1サンプル分だけ信号を遅延させる遅延器333と定数βを積算する積算器334とが接続されており、1サンプル前の信号処理により更新された係数m(k-1)に対して積算器334で定数βを乗じることにより生成される。
 これにより、ノイズ処理部33では、以下の漸化式(6)の演算処理が実現し、係数m(k)を生成され、サンプリング毎に漸次更新していく。
Figure JPOXMLDOC01-appb-I000006
 即ち、ノイズ処理部33は、交換信号Sx,Syの片方に係数mを乗じた上で交換信号Sx,Syの誤差信号eを生成する誤差信号生成部と、誤差信号eを含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部を備える。誤差信号生成部は、交換信号Sa(k)に対して1サンプル前の係数m(k-1)の-1倍を掛け合わせる積算器335と、積算器335から出力された信号と交換信号Sy(k)とが入力され、これら信号を加算する加算器336である。漸化式演算部は、積算器335と加算器336以外の積算器と加算器である。
 そして、ノイズ処理部33は、以下の数式(7)を交互に演算し、数式(7)で得られる係数m(k)を指向性信号に乗じる。
Figure JPOXMLDOC01-appb-I000007
 数式(7)において、信号の二乗の項は、ホワイトノイズ等の無相関成分を時間の経過とともに小さくなるように作用する。一方、その隣接項は、相関係数を逐次的に算出する以下の数式(8)の分子部分と同等であり、相関成分の影響を係数mに反映させていくこととなる。
Figure JPOXMLDOC01-appb-I000008
 つまり、第1の指向性信号S1に対して第2の指向性信号S2を近似させようとしたときには、第1の指向性信号S1の無相関成分は増幅方向となり、第2の指向性信号S2の無相関成分は抑制方向となる。また、第2の指向性信号S2に対して第1の指向性信号S1を近似させようとしたときには、第1の指向性信号S1の無相関成分は増幅方向となり、第1の指向性信号S1の無相関成分は抑制方向となる。
 そこで、ノイズ処理部33は、第1の指向性信号S1に対して第2の指向性信号S2を近似させて同期加算しようとする働きと、第2の指向性信号S2に対して第1の指向性信号S1を近似させて同期加算しようとする働きとを交互に繰り返す。そのため、無相関成分を増幅及び抑制しようとする働きは、交互に打ち消し合うことになる。即ち、係数m(k)には相関成分の影響を濃く反映させていくことになり、この係数m(k)が乗じられた指向性信号S1,S2からは、無指向性マイク21a~21fに固有のノイズが抑制される。
 (効果)
 以上のように、集音装置1は、N次元で表現される特定方向に指向性を付けるものであり、少なくともN+2個の無指向性マイク21a,21b,・・・とビームフォーマ32とノイズ処理部33を備えるようにした。ビームフォーマ32は、無指向性マイク21a,21b,・・・が出力する集音信号Sa,Sb,・・・に基づき、特定方向に単一指向性を有する2種類の指向性信号S1,S2を生成する。ノイズ処理部33は、2種類の指向性信号S1,S2に基づいてノイズ成分を抑制する。
 このビームフォーマは、無指向性マイク21a,21b・・・の出力から選ばれるN+1個の集音信号Sa,Sb,・・・に基づき、特定方向に単一指向性を有する第1の指向性信号S1を生成するとともに、第1の指向性信号S1の生成に用いられたN+1個の集音信号Sa,Sb・・・とは異なる組み合わせのN+1個の集音信号Se,Sf,・・・に基づき、第1の指向性信号S1と同じ特定方向に単一指向性を有する第2の指向性信号S2を生成するようにした。そして、ノイズ処理部33は、2種類の指向性信号S1,S2間で無相関の音成分を抑制するようにした。
 これにより、第1の指向性信号S1と第2の指向性信号S2に含まれるノイズ成分は無相関となるため、無相関の音成分を抑制することで、無指向性マイク21a,21b・・・に固有の回路系ノイズや風雑音を抑制でき、SN比が向上する。
 しかも、集音信号Sa,Sb・・・を収録した機器に固有の回路系ノイズや風雑音が存在することを寧ろ積極的に利用するものであり、無指向性マイク21a,21b・・・の特性を揃える作業が不要となり、労力の飛躍的な軽減がもたらされ、集音装置1の単価を軽減できる。
 また、少なくともN+2個の無指向性マイク21a,21b・・・が出力する集音信号の感度を揃える感度補正部31を更に備え、ノイズ処理部33は、感度補正部31による補正を経た2種類の指向性信号S1,S2間で無相関の音成分を抑制するようにした。
 これにより、無指向性マイク21a,21b・・・が得た、特定方向から到来した音成分が精度良く揃えられ、第1の指向性信号S1と第2の指向性信号S2に含まれる、特定方向の音成分の相関性をより高くできる。従って、特定方向の音成分とノイズ成分との相対的な強調又は抑制にメリハリが大きくなり、SN比がより良好となる。
 ここで、周囲の音を収録するマイクが異なる方向に向く指向性を有すると、各マイクの音圧差が到来方向に由来するのか、感度差に由来するのか不明であり、特定方向から到来した音成分を揃えることは難しい。しかしながら、この集音装置1では、無指向性マイク21a,21b・・・を利用するため、各マイクの音圧差は感度差に由来するものあることに限定でき、特定方向から到来した音成分を揃えることが可能となったものである。
 ノイズ処理部33は、まず、第1の指向性信号S1と第2の指向性信号S2を1サンプル毎に交互に入れ替える。次に、交換信号Sx,Syの片方に係数mを乗じた上で、交換信号Sx,Syの誤差信号を生成する。そして、誤差信号eを含む係数mの漸化式を演算して係数mを1サンプル毎に更新する。この逐次更新された係数mを第1の指向性信号S1又は第2の指向性信号S2に乗じて出力する。
 これにより、第1の指向性信号S1に対して第2の指向性信号S2を近似させて同期加算しようとする働きと、第2の指向性信号S2に対して第1の指向性信号S1を近似させて同期加算しようとする働きとを交互に繰り返す。そのため、無相関成分を増幅及び抑制しようとする働きは、交互に打ち消し合うことになる。即ち、係数m(k)には相関成分の影響を濃く反映させていくことになり、この係数m(k)が乗じられた指向性信号S1,S2からは、無指向性マイク21a~21fに固有のノイズが抑制される。
 (適用例)
 集音装置1の適用例を図11及び図12に示す。図11及び図12は、各方位及び各仰角を撮影可能な全方向カメラの例を示す模式図である。マイクロフォンユニット2とパノラマ撮像部100は一体であり、共に同一の支持部材23を筐体とし、この支持部材23にパノラマ撮像部100が備える複数のカメラ101と無指向性マイク21a~21fが取り付けられている。
 例えば、図11に示すように、支持部材23は四角柱形状を有する。この支持部材23の側面のうち、一対の対向面に魚眼レンズにより成る2つのカメラ101が1つずつ配分されている。一対の対向面の四隅には余白が生じている。無指向性マイク21a~21fは、この四隅に配分されている。例えば、一方の対向面の三つの隅に無指向性マイク21a~21cが1つずつ配分され、他方の対向面の三つの隅に無指向性マイク21d~21fが1つずつ配分される。
 また、図12に示すように、支持部材23は球形を有する。この支持部材23に魚眼レンズにより成る2つのカメラ101が180度離されて配分されている。無指向性マイク21a~21fは、2つのカメラ101の脇に配分されている。例えば、一方のカメラ101の真上をゼロ度として、当該カメラ101に向かい合う方向から見て時計回りに45度位置、225度位置及び315度位置に無指向性マイク21a~21cが1つずつ配分され、他方のカメラ101の真上をゼロ度として、当該カメラ101に向かい合う方向から見て時計回りに135度位置、225度位置及び315度位置に無指向性マイク21d~21fが1つずつ配分される。
 即ち、同じ支持部材23にカメラ101もマイクロフォンユニット2も一体的に備えられているため、全方向カメラはコンパクトに収まっている。その理由は、集音装置1が無指向性マイク21a~21fを積極的に用いるため、無指向性マイク21a~21fの背後には指向性マイクのような空間が不要だからである。
 また、集音装置1の他の適用例を図13に示す。パノラマ撮像部100は、ユーザが把持する棒状の支持部材23に取り付けられている。マイクロフォンユニット2は、このユーザが把持する支持部材23に内蔵されている。即ち、この支持部材23に内接する仮想の六角柱の各隅に無指向性マイク21a~21fが取り付けられている。このように、無指向性マイク21a~21fはユーザの把持する棒に内蔵させることもできるので、全方向カメラはコンパクトに収まる。無指向性マイク21a~21fの背後には指向性マイクのような空間が不要だからである。
 パノラマ撮像部100の撮像データと集音信号Sa~Sfは、ユーザのパーソナルコンピュータ102に転送される。パーソナルコンピュータ102には、撮像データから特定方向の画像をレンダリングする画像処理と、指向性制御装置3を実現するためのアプリ103がインストールされている。アプリ103に対してユーザがキーボードやマウス等のマンマシンインターフェースを用いて入力した特定方向を示す情報は、ビームフォーマ32に渡され、ビームフォーマ32は当該特定方向を示す情報に従って所望応答伝達関数行列A(ω)を生成する。
 このように、特定方向の入力を受け付けるキーボードやマウス等の入力部を更に備え、ビームフォーマ32は、入力部が受け付けた特定方向に指向性を形成するようにすればよい。
 また、複数のカメラ101を有し、周囲各方向を撮影するパノラマ撮像部100を更に備え、少なくともN+2個の無指向性マイク21a,21b・・・は、複数のカメラ101間の合間に配分されて取り付けられているようにした。これにより、複数のカメラ101に無指向性マイク21a,21b・・・が写り難くなり、品質の高い撮影が可能となる。複数のカメラ101間の合間に配分できるのは、無指向性マイク21a,21b・・・の裏に空間を必要としないためである。
 (その他の実施形態)
 以上のように、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、そのほかの様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
 例えば、ノイズ処理部33は、交換信号の片方に係数mを乗じた上で、交換信号の誤差信号を生成し、この誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新するようにすれば、上記実施形態に限定することなく、その他の態様で実現可能である。
 また、この集音装置1は、CPUやDSPのソフトウェア処理として実現してもよいし、専用のデジタル回路で構成するようにしてもよい。ソフトウェア処理として実現する場合には、CPU、外部メモリ、RAMを備えるコンピュータにおいて、感度補正部31、ビームフォーマ32及びノイズ処理部33と同一の処理内容を記述したプログラムをROMやハードディスクやフラッシュメモリ等の外部メモリに記憶させ、RAMに適宜展開し、CPUで其のプログラムに従って演算を行うようにすればよい。
1 集音装置
2 マイクロフォンユニット
21a~21f 無指向性マイク
22 不揮発性メモリ
23 支持部材
3 指向性制御装置
31 感度補正部
311a~311f バンドパスフィルタ
312a~312f パワー算出部
313 係数算出部
314a~314f 乗算部
32 ビームフォーマ
321a~321f 制御フィルタ
322a、322b 加算器
323 特定方向設定部
33 ノイズ処理部
331 交換部
332 積算部
333 遅延器
334 積算器
335 積算器
336 加算器
337 積算器
338 積算器
339 加算器
34 メモリ
100 パノラマ撮像部
101 カメラ
102 パーソナルコンピュータ
103 アプリ

Claims (14)

  1.  N次元で表現される特定方向に指向性を付ける集音装置であって、
     周囲の音を測定して集音信号を出力する、少なくともN+2個の無指向性マイクと、
     前記無指向性マイクが出力する集音信号に基づき、特定方向に単一指向性を有する2種類の指向性信号を生成するビームフォーマと、
     前記2種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、
     を備え、
     前記ビームフォーマは、
     前記無指向性マイクの出力から選ばれるN+1個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、
     前記第1の指向性信号の生成に用いられた前記N+1個の集音信号とは異なる組み合わせのN+1個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成し、
     前記ノイズ処理部は、
     前記2種類の指向性信号間で無相関の音成分を抑制すること、
     を特徴とする集音装置。
  2.  前記少なくともN+2個の無指向性マイクが出力する集音信号の感度を揃える感度補正部を更に備え、
     前記ノイズ処理部は、前記感度補正部による補正を経た前記2種類の指向性信号間で無相関の音成分を抑制すること、
     を特徴とする請求項1記載の集音装置。
  3.  3次元で表される特定方向に指向性を付け、
     少なくとも5個以上の前記無指向性マイクを備え、
     前記ビームフォーマは、
     前記無指向性マイクの出力から選ばれる4個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、
     前記第1の指向性信号の生成に用いられた前記4個の集音信号とは異なる組み合わせの4個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成すること、
     を特徴とする請求項1又は2記載の集音装置。
  4.  前記無指向性マイクは、
     四面体の各頂点方向を向いた当該無指向性マイクの組み合わせを2種類選択できるように、立体配置され、
     前記2種類の四面体は、合同でも相似でもないか、位置が異なるか、向きが異なるか、又はこれらの組み合わせの関係を有すること、
     を特徴とする請求項3記載の集音装置。
  5.  2次元で表される特定方向に指向性を付け、
     少なくとも4個以上の前記無指向性マイクを備え、
     前記ビームフォーマは、
     前記無指向性マイクの出力から選ばれる3個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、
     前記第1の指向性信号の生成に用いられた前記3個の集音信号とは異なる組み合わせの3個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成すること、
     を特徴とする請求項1又は2記載の集音装置。
  6.  前記特定方向の入力を受け付ける入力部を更に備え、
     前記ビームフォーマは、前記入力部が受け付けた前記特定方向に指向性を形成すること、
     を特徴とする請求項1乃至5の何れかに記載の集音装置。
  7.  複数のカメラを有し、周囲各方向を撮影するパノラマ撮像部を更に備え、
     前記少なくともN+2個の無指向性マイクは、前記複数のカメラ間の合間に配分され、又は複数のカメラを支えるユーザ把持用の棒に取り付けられていること、
     を特徴とする請求項1乃至6の何れかに記載の集音装置。
  8.  前記ノイズ処理部は、
     前記第1の指向性信号と前記第2の指向性信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
     前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、
     前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、
     逐次更新された係数mを前記第1の指向性信号又は前記第2の指向性信号に乗じて出力する積算部と、
     を備えること、
     を特徴とする請求項1乃至7の何れかに記載の集音装置。
  9.  N次元で表現される特定方向に指向性を付ける指向性制御装置であって、
     少なくともN+2個の無指向性マイクが生成した各集音信号を記憶する記憶部と、
     前記記憶部の集音信号に基づき、特定方向に単一指向性を有する2種類の指向性信号を生成するビームフォーマと、
     前記2種類の指向性信号に基づいてノイズ成分を抑制するノイズ処理部と、
     を備え、
     前記ビームフォーマは、
     前記記憶部から選ばれるN+1個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、
     前記第1の指向性信号の生成に用いられた前記N+1個の集音信号とは異なる組み合わせのN+1個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成し、
     前記ノイズ処理部は、
     前記2種類の指向性信号間で無相関の音成分を抑制すること、
     を特徴とする指向性制御装置。
  10.  前記少なくともN+2個の集音信号の感度を揃える感度補正部を更に備え、
     前記ノイズ処理部は、前記感度補正部による補正を経た前記2種類の指向性信号間で無相関の音成分を抑制すること、
     を特徴とする請求項9記載の指向性制御装置。
  11.  前記ノイズ処理部は、
     前記第1の指向性信号と前記第2の指向性信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
     前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成部と、
     前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算部と、
     逐次更新された係数mを前記第1の指向性信号又は前記第2の指向性信号に乗じて出力する積算部と、
     を備えること、
     を特徴とする請求項9又は10記載の指向性制御装置。
  12.  N次元で表現される特定方向に指向性を付ける指向性制御方法であって、
     少なくともN+2個の無指向性マイクが生成した各集音信号に基づき、特定方向に単一指向性を有する2種類の指向性信号を生成するビームフォーミングステップと、
     前記2種類の指向性信号に基づいてノイズ成分を抑制するノイズ抑制ステップと、
     を含み、
     前記ビームフォーミングステップは、
     少なくともN+2個の前記集音信号のうちのN+1個の集音信号に基づき、特定方向に単一指向性を有する第1の指向性信号を生成するとともに、
     前記第1の指向性信号の生成に用いられた前記N+1個の集音信号とは異なる組み合わせのN+1個の集音信号に基づき、前記第1の指向性信号と同じ特定方向に単一指向性を有する第2の指向性信号を生成し、
     前記ノイズ抑制ステップは、
     前記2種類の指向性信号間で無相関の音成分を抑制すること、
     を特徴とする指向性制御方法。
  13.  前記少なくともN+2個の集音信号の感度を揃える感度補正ステップを更に含み、
     前記ノイズ抑制ステップは、前記感度補正ステップによる補正を経た前記2種類の指向性信号間で無相関の音成分を抑制すること、
     を特徴とする請求項12記載の指向性制御方法。
  14.  前記ノイズ処理ステップは、
     前記第1の指向性信号と前記第2の指向性信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、
     前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する誤差信号生成ステップと、
     前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する漸化式演算ステップと、
     逐次更新された係数mを前記第1の指向性信号又は前記第2の指向性信号に乗じて出力する積算ステップと、
     を備えること、
     を特徴とする請求項12又は13記載の指向性制御方法。
PCT/JP2018/019488 2017-06-27 2018-05-21 集音装置、指向性制御装置及び指向性制御方法 WO2019003716A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019526684A JP7152786B2 (ja) 2017-06-27 2018-05-21 集音装置、指向性制御装置及び指向性制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-125687 2017-06-27
JP2017125687 2017-06-27

Publications (1)

Publication Number Publication Date
WO2019003716A1 true WO2019003716A1 (ja) 2019-01-03

Family

ID=64740587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/019488 WO2019003716A1 (ja) 2017-06-27 2018-05-21 集音装置、指向性制御装置及び指向性制御方法

Country Status (2)

Country Link
JP (1) JP7152786B2 (ja)
WO (1) WO2019003716A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021113888A (ja) * 2020-01-17 2021-08-05 Tvs Regza株式会社 環境音出力装置、システム、方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131886A (ja) * 1993-11-05 1995-05-19 Matsushita Electric Ind Co Ltd アレイマイクロホンおよびその感度補正装置
JP2016025469A (ja) * 2014-07-18 2016-02-08 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
JP2016127459A (ja) * 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法
JP2016146547A (ja) * 2015-02-06 2016-08-12 パナソニックIpマネジメント株式会社 収音システム及び収音方法
JP2017067666A (ja) * 2015-09-30 2017-04-06 パナソニックIpマネジメント株式会社 物体検出装置、物体検出システム、及び物体検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483269B1 (ko) 2008-05-06 2015-01-21 삼성전자주식회사 로봇의 음원 위치 탐색 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131886A (ja) * 1993-11-05 1995-05-19 Matsushita Electric Ind Co Ltd アレイマイクロホンおよびその感度補正装置
JP2016025469A (ja) * 2014-07-18 2016-02-08 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
JP2016127459A (ja) * 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法
JP2016146547A (ja) * 2015-02-06 2016-08-12 パナソニックIpマネジメント株式会社 収音システム及び収音方法
JP2017067666A (ja) * 2015-09-30 2017-04-06 パナソニックIpマネジメント株式会社 物体検出装置、物体検出システム、及び物体検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021113888A (ja) * 2020-01-17 2021-08-05 Tvs Regza株式会社 環境音出力装置、システム、方法およびプログラム

Also Published As

Publication number Publication date
JP7152786B2 (ja) 2022-10-13
JPWO2019003716A1 (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
US10356514B2 (en) Spatial encoding directional microphone array
US10659873B2 (en) Spatial encoding directional microphone array
US20120082322A1 (en) Sound scene manipulation
US8971548B2 (en) Motor noise reduction circuit
EP2905975B1 (en) Sound capture system
EP2882170A1 (en) Audio information processing method and apparatus
US8666090B1 (en) Microphone modeling system and method
US8873762B2 (en) System and method for efficient sound production using directional enhancement
JP5679304B2 (ja) 多重極スピーカ群とその配置方法と、音響信号出力装置とその方法と、その方法を用いたアクティブノイズコントロール装置と音場再生装置と、それらの方法とプログラム
JP4928382B2 (ja) 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体
JP5175262B2 (ja) 音声取得装置
JP2009130854A (ja) 音声信号処理装置、音声信号処理方法及び撮像装置
JP7152786B2 (ja) 集音装置、指向性制御装置及び指向性制御方法
WO2014103066A1 (ja) 音源分離方法、装置、及びプログラム
US8064618B2 (en) Direction detection apparatus, direction detection method and direction detection program, and direction control apparatus, direction control method, and direction control program
JP5190859B2 (ja) 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
JP6567216B2 (ja) 信号処理装置
JP6479211B2 (ja) 聴音装置
WO2013111348A1 (ja) 指向性制御方法及び装置
JP6182169B2 (ja) 収音装置、その方法及びプログラム
US20200068301A1 (en) Sound processing apparatus and sound processing method thereof
JP2020048038A (ja) 収音装置、プログラム及び方法
WO2016136284A1 (ja) 信号処理装置、信号処理方法および信号処理プログラム並びに端末装置
CN115665606B (zh) 基于四麦克风的收音方法和收音装置
JP2006072163A (ja) 妨害音抑圧装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18824706

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526684

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18824706

Country of ref document: EP

Kind code of ref document: A1