WO2018163810A1 - 信号処理装置および方法、並びにプログラム - Google Patents

信号処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2018163810A1
WO2018163810A1 PCT/JP2018/006112 JP2018006112W WO2018163810A1 WO 2018163810 A1 WO2018163810 A1 WO 2018163810A1 JP 2018006112 W JP2018006112 W JP 2018006112W WO 2018163810 A1 WO2018163810 A1 WO 2018163810A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
microphone array
array
speaker
signal
Prior art date
Application number
PCT/JP2018/006112
Other languages
English (en)
French (fr)
Inventor
悠 前野
祐基 光藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020197025101A priority Critical patent/KR20190126069A/ko
Priority to BR112019018089-3A priority patent/BR112019018089A2/pt
Priority to US16/490,124 priority patent/US20200074978A1/en
Priority to CN201880014624.5A priority patent/CN110383372A/zh
Priority to EP18764644.3A priority patent/EP3594937B1/en
Priority to JP2019504443A priority patent/JP7028238B2/ja
Publication of WO2018163810A1 publication Critical patent/WO2018163810A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17857Geometric disposition, e.g. placement of microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • G10K11/26Sound-focusing or directing, e.g. scanning
    • G10K11/34Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/111Directivity control or beam pattern
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3028Filtering, e.g. Kalman filters or special analogue or digital filters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3046Multiple acoustic inputs, multiple acoustic outputs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3214Architectures, e.g. special constructional features or arrangements of features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3215Arrays, e.g. for beamforming
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3219Geometry of the configuration
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/321Physical
    • G10K2210/3226Sensor details, e.g. for producing a reference or error signal

Definitions

  • the present technology relates to a signal processing device, method, and program, and more particularly, to a signal processing device, method, and program capable of improving noise canceling performance.
  • an adaptive filter is generally used in noise canceling.
  • the noise signal acquired by the reference microphone or error microphone is required. It is assumed that noise input to these microphones normally enters the control area from the outside of the control area. However, it is conceivable that noise occurs unintentionally inside the control area and is picked up by a microphone.
  • the adaptive filter diverges and the noise canceling performance is degraded.
  • Non-Patent Document 1 a method of using a unidirectional microphone as a reference microphone or an error microphone has been proposed (see, for example, Non-Patent Document 1).
  • the present technology has been made in view of such a situation, and makes it possible to improve noise canceling performance.
  • a signal processing device includes a noise detection unit that detects noise in a control region generated in a control region formed by a microphone array, and external noise to a noise canceling region formed by a speaker array. And a control unit that controls updating of the filter coefficient of the adaptive filter used to generate the output sound signal output from the speaker array based on the detection result of the noise in the control region.
  • the signal processing device may further include an adaptive filter unit that generates the output sound signal based on the signal obtained by the sound collection by the microphone array and the filter coefficient.
  • the adaptive filter unit can perform filtering processing based on a signal obtained by sound collection by the microphone array and the filter coefficient in the spatial frequency domain, and generate a signal of the output sound.
  • the control unit can prevent the filter coefficient from being updated when noise in the control region is detected by the noise detection unit.
  • the noise detection unit can detect noise in the control region based on a signal obtained by sound collection by the microphone array.
  • Noise based on each of the signals obtained by sound collection by each of the plurality of microphone arrays constituting the microphone array and having different distances from the center position of the control region, Noise can be detected.
  • the noise detection unit includes a signal obtained by sound collection by the microphone array and a signal obtained by sound collection by another microphone array whose distance from the center position of the control region is different from the microphone array. Based on this, the noise in the control region can be detected.
  • the noise detection unit can detect the noise in the control area based on a signal obtained by sound collection by a detection microphone arranged in the control area.
  • the microphone array can be obtained by arranging a plurality of microphone arrays in a predetermined shape.
  • the speaker array can be obtained by arranging a plurality of speaker arrays in a predetermined shape.
  • the control area may be an area formed by a reference microphone array or an error microphone array as the microphone array.
  • a signal processing method or program detects noise in a control region generated in a control region formed by a microphone array and reduces external noise to a noise canceling region formed by a speaker array. Therefore, the method includes a step of controlling the update of the filter coefficient of the adaptive filter used for generating the signal of the output sound output from the speaker array based on the detection result of the noise in the control region.
  • noise in the control region generated in the control region formed by the microphone array is detected, and the speaker array is used to reduce external noise to the noise canceling region formed by the speaker array.
  • the update of the filter coefficient of the adaptive filter used for generating the output sound signal output by the control is controlled based on the detection result of the noise in the control region.
  • noise canceling performance can be improved.
  • This technology detects noise generated inside the control area and controls the update of the adaptive filter according to the detection result, thereby preventing divergence of the adaptive filter even when noise occurs inside the control area, and noise canceling.
  • the ring performance can be improved.
  • error microphones 11-1 to 11-8 are arranged in a ring so as to surround a position where a predetermined user U11 is present, and these error microphones 11-1 to 11-8 are arranged.
  • the error microphone array 12 is configured.
  • the error microphone 11-1 to the error microphone 11-8 are also simply referred to as the error microphone 11 when it is not necessary to distinguish them.
  • speakers 13-1 to 13-4 are arranged in a ring so as to surround the error microphone array 12, and the speaker array 14 is configured by the speakers 13-1 to 13-4. .
  • speakers 13-1 to 13-4 are also simply referred to as speakers 13 when it is not necessary to distinguish them.
  • the reference microphone 15-1 to the reference microphone 15-8 are arranged in an annular shape so as to surround the speaker array 14, and the reference microphone array 16 is configured by the reference microphone 15-1 to the reference microphone 15-8. ing.
  • the reference microphone 15-1 to the reference microphone 15-8 are also simply referred to as the reference microphone 15 when it is not necessary to particularly distinguish them.
  • a region surrounded by the error microphone 11, that is, a region inside the error microphone array 12, or a region surrounded by the reference microphone 15, that is, a region inside the reference microphone array 16 is a control region that is a noise detection target. Is done.
  • the control region is a detection target of noise in the control region. This is the area.
  • the noise in the control area is generated, for example, when the user U11 talks or moves.
  • noise Sound
  • This external noise is a sound that is a target of noise canceling.
  • the propagation path of the external noise from the source of the external noise to the error microphone 11 is called a primary path.
  • a region surrounded by the speakers 13, that is, a region inside the speaker array 14, is a region to be subjected to noise canceling.
  • this region is also referred to as a noise canceling region.
  • the speaker array 14 outputs a sound that cancels noise, particularly external noise, so that noise is reduced (cancelled) in the noise canceling region, and noise canceling is realized.
  • the extraneous noise is particularly canceled, and the noise in the control region is not targeted for reduction (cancellation).
  • the propagation path of the sound output from the speaker 13 to the error microphone 11, that is, the propagation path from the speaker 13 to the error microphone 11 is called a secondary path.
  • an adaptive filter is used for noise canceling. This is because the external noise to be canceled is not a predetermined known noise.
  • the filter is based on the reference signal obtained by collecting the sound by the reference microphone array 16 and the error signal obtained by collecting the sound by the error microphone array 12. A coefficient is calculated.
  • the reference signal is a signal mainly composed of an external noise component
  • the error signal is a signal mainly indicating a difference between the sound component output from the speaker array 14 and the external noise component.
  • the speaker array 14 outputs a sound based on the signal obtained by filtering the reference signal using the filter coefficient obtained in this way, and the noise is reduced by the sound.
  • noise in the control area due to the user U11 or the like is generated.
  • the noise in the control region is noise that propagates from the control region to the outside of the control region, and the propagation direction is opposite to the propagation direction of the sound output from the speaker 13, so that it is difficult to control. That is, for example, it is difficult to cancel the noise in the control area in the entire control area by the sound output from the speaker array 14 or to cancel only in the area near the error microphone 11.
  • the adaptive filter may diverge and an appropriate filter coefficient may not be obtained.
  • noise in the control region is detected, and when noise in the control region is detected, the processing for updating the adaptive filter, that is, the adaptive processing is stopped to improve the noise canceling performance. .
  • FIG. 2 shows a block diagram of a general feedforward type ANC system.
  • the feedforward ANC system with respect to the reference signal obtained by the reference microphone x (n t), estimates a is estimated secondary path is multiplied by the obtained signal x of the secondary path '(n t ) And the error signal e (n t ), the filter coefficient of the adaptive filter is obtained by LMS (Least Mean Squares).
  • the reference signal x (n t ) is subjected to filtering processing using the filter coefficient obtained by LMS, and the noise canceling sound is output from the speaker based on the obtained signal. .
  • the sound signal y (n t ) output from the speaker passes through the secondary path to become a signal y ′ (n t ) and is collected by the error microphone.
  • the reference signal x (n t ) which is external noise, passes through the primary path and becomes a signal d (n t ), which is picked up by the error microphone.
  • Such an ANC system is called the Filtered-X LMS algorithm.
  • the Filtered-X LMS algorithm for example, “Morgan DR,“ An analysis of multiple correlation cancellation loops with a filter in the auxiliary path, ”IEEE Trans. Acoust. Speech Signal Process., 454-467 , 1980. ”and the like.
  • the angular frequency be ⁇
  • the error signal in the time frequency domain, the primary path, the secondary path, the filter coefficient of the adaptive filter, and the reference signal are E ( ⁇ ), P ( ⁇ ), S ( ⁇ ), W ( Assuming that ⁇ ) and X ( ⁇ ), the error signal E ( ⁇ ) is expressed by the following equation (1).
  • the secondary path model S ′ ( ⁇ ) that is the estimated value of the secondary path is used.
  • the filter coefficient is updated.
  • the error signal e (n t ) is expressed by the following equation (3).
  • Equation (3) n t represents a time index, d (n t ) represents an external noise signal picked up by the error microphone through the primary path, and s (n t ). Indicates the impulse response of the secondary path S ( ⁇ ).
  • * indicates a linear convolution operation, w (n t ) indicates a filter coefficient of the adaptive filter, and x (n t ) indicates a reference signal.
  • the filter coefficient w (n t ) of the adaptive filter is updated so as to minimize the square error ⁇ ′ (n t ) of the error signal e (n t ) as shown in the following equation (4).
  • the filter coefficient of the adaptive filter can be updated as shown in the following equation (5).
  • w (n t ) indicates the filter coefficient before update
  • w (n t +1) indicates the filter coefficient after update.
  • represents a step size
  • ⁇ ′ (n t ) represents a square error gradient of the error signal e (n t ).
  • x ′ (n t ) in equation (6) is as shown in the following equation (7).
  • s ′ (n t ) represents the impulse response of the secondary path model S ′ ( ⁇ ).
  • the filter coefficient of the adaptive filter is updated using the update formula shown in Formula (8).
  • FIG. 3 is a diagram illustrating a configuration example of an embodiment of a spatial noise control device to which the present technology is applied.
  • the spatial noise control device 71 is a signal processing device that updates a filter coefficient of an adaptive filter using a feed-forward type ANC system, and realizes noise canceling in a noise canceling region using the obtained filter coefficient. is there.
  • the spatial noise control device 71 includes a reference microphone array 81, a time frequency analysis unit 82, a spatial frequency analysis unit 83, an estimated secondary path addition unit 84, an error microphone array 85, a time frequency analysis unit 86, a spatial frequency analysis unit 87, and a control. It has an in-region noise detection unit 88, an adaptive filter coefficient calculation unit 89, an adaptive filter unit 90, a spatial frequency synthesis unit 91, a time frequency synthesis unit 92, and a speaker array 93.
  • the reference microphone array 81 corresponds to, for example, the reference microphone array 16 shown in FIG. 1, and is a microphone array obtained by arranging a plurality of microphones in an annular shape or a spherical shape.
  • the reference microphone array 81 picks up an external sound and supplies the reference signal obtained as a result to the time frequency analysis unit 82.
  • the reference signal is an audio signal mainly composed of an external noise component emitted from a noise source.
  • the time frequency analysis unit 82 performs time frequency conversion on the reference signal supplied from the reference microphone array 81, and supplies the time frequency spectrum of the reference signal obtained as a result to the spatial frequency analysis unit 83.
  • the spatial frequency analysis unit 83 performs spatial frequency conversion on the time frequency spectrum of the reference signal supplied from the time frequency analysis unit 82, and estimates the spatial frequency spectrum of the reference signal obtained as a result of the estimation secondary path addition unit 84. And is supplied to the adaptive filter unit 90.
  • the estimated secondary path adding unit 84 calculates the spatial frequency spectrum of the estimated secondary path that is an estimated value of the secondary path with respect to the spatial frequency spectrum of the reference signal supplied from the spatial frequency analyzing unit 83, that is, the secondary path model. Multiplication is performed, and the spatial frequency spectrum obtained as a result is supplied to the adaptive filter coefficient calculation unit 89.
  • the error microphone array 85 corresponds to, for example, the error microphone array 12 shown in FIG. 1, and is a microphone array obtained by arranging a plurality of microphones in an annular shape or a spherical shape.
  • the error microphone array 85 picks up an external sound and supplies an error signal obtained as a result to the time frequency analysis unit 86.
  • the error signal is an audio signal mainly composed of an external noise component emitted from a noise source and a sound component output from the speaker array 93.
  • the sound output from the speaker array 93 is a sound that cancels out external noise, that is, cancels it. Therefore, it can be said that the error signal indicates a component in which the external noise cannot be canceled during noise canceling, that is, an error between the external noise and the sound output from the speaker array 93.
  • the time frequency analysis unit 86 performs time frequency conversion on the error signal supplied from the error microphone array 85, and supplies the time frequency spectrum of the error signal obtained as a result to the spatial frequency analysis unit 87.
  • the spatial frequency analysis unit 87 performs spatial frequency conversion on the time frequency spectrum of the error signal supplied from the time frequency analysis unit 86, and the resulting spatial frequency spectrum of the error signal is sent to the adaptive filter coefficient calculation unit 89. Supply.
  • the noise detection unit 88 in the control area is based on a sensor signal that is an output of a sensor such as a camera arranged in the control area, a sound collection signal that is an output of a detection microphone arranged in the control area, for example. Then, noise in the control area generated in the control area is detected. In addition, the in-control-area noise detection unit 88 supplies a noise detection signal indicating the detection result of the in-control-area noise to the adaptive filter coefficient calculation unit 89.
  • the adaptive filter coefficient calculation unit 89 functions as a control unit that controls update of the filter coefficient of the adaptive filter based on the noise detection signal supplied from the noise detection unit 88 in the control region.
  • the adaptive filter coefficient calculation unit 89 performs adaptive filter based on the spatial frequency spectrum from the estimated secondary path addition unit 84 and the spatial frequency spectrum of the error signal from the spatial frequency analysis unit 87 according to the noise detection signal.
  • the filter coefficient is calculated and supplied to the adaptive filter unit 90.
  • the filter coefficient of the adaptive filter obtained by the adaptive filter coefficient calculation unit 89 is ideally a filter coefficient of a filter having an inverse characteristic of the secondary path.
  • the filter coefficient of such an adaptive filter is used to generate a speaker drive signal of output sound output from the speaker array 93 in order to reduce external noise in the noise canceling region, that is, to cancel (cancel).
  • the adaptive filter unit 90 performs a filtering process on the spatial frequency spectrum of the reference signal supplied from the spatial frequency analysis unit 83 using the filter coefficient of the adaptive filter supplied from the adaptive filter coefficient calculation unit 89, and the result The obtained spatial frequency spectrum of the speaker drive signal is supplied to the spatial frequency synthesis unit 91.
  • the adaptive filter unit 90 performs a filtering process based on the reference signal and the filter coefficient in the spatial frequency domain, and generates a speaker drive signal.
  • the spatial frequency synthesis unit 91 spatially synthesizes the spatial frequency spectrum supplied from the adaptive filter unit 90 and supplies the temporal frequency spectrum of the speaker drive signal obtained as a result to the temporal frequency synthesis unit 92.
  • the time frequency synthesizer 92 synthesizes the time frequency spectrum of the speaker drive signal supplied from the spatial frequency synthesizer 91 with time, and supplies the speaker drive signal, which is the resulting time signal, to the speaker array 93.
  • the speaker array 93 corresponds to the speaker array 14 shown in FIG. 1, for example, and is a speaker array obtained by arranging a plurality of speakers in an annular shape or a spherical shape.
  • the speaker array 93 outputs sound based on the speaker drive signal supplied from the time frequency synthesis unit 92.
  • the arrangement relationship of the reference microphone array 81, the error microphone array 85, and the speaker array 93 is the same as the arrangement relationship of the reference microphone array 16, the error microphone array 12, and the speaker array 14 in FIG. .
  • the speaker array 93 is disposed so as to surround the error microphone array 85, and the reference microphone array 81 is disposed so as to surround the speaker array 93.
  • a region formed by the reference microphone array 81 that is, a region surrounded by the reference microphone array 81 is set as a control region.
  • a region formed by the speaker array 93 that is, a region surrounded by the speaker array 93 is a noise canceling region.
  • each part which comprises the spatial noise control apparatus 71 is demonstrated in detail.
  • time frequency analysis unit 82 (Time Frequency Analysis Department) First, the time frequency analysis unit 82 will be described.
  • time-frequency analysis unit 82 time-frequency conversion is performed on the reference signal s (q, n t ) obtained by collecting each microphone constituting the reference microphone array 81.
  • the time-frequency analysis unit 82 performs time-frequency conversion using DFT (Discrete Fourier Transform) by performing the calculation of the following equation (9), and the reference signal s (q, n t ).
  • DFT Discrete Fourier Transform
  • Q indicates the number of microphones that are the number of microphones constituting the reference microphone array 81, and n t indicates a time index. Further, n tf represents a time frequency index, M t represents the number of DFT samples, and i represents a pure imaginary number.
  • the time frequency analysis unit 82 supplies the time frequency spectrum S (q, n tf ) obtained by the time frequency conversion to the spatial frequency analysis unit 83.
  • time frequency analysis unit 86 the same calculation as that in the time frequency analysis unit 82 is performed to perform time frequency conversion on the error signal.
  • the spatial frequency analysis unit 83 uses the time frequency spectrum S (q, n tf ) supplied from the time frequency analysis unit 82 according to the shape of the reference microphone array 81, that is, the arrangement shape of the microphones constituting the reference microphone array 81. Perform spatial frequency analysis. That is, spatial frequency conversion is performed on the time-frequency spectrum S (q, n tf ).
  • the reference microphone array 81 is an annular microphone array
  • the following equation (10) is calculated and spatial frequency conversion is performed.
  • S ′ represents a vector of the spatial frequency spectrum
  • Q represents the number of microphones of the reference microphone array 81
  • J inv represents a matrix composed of spherical Bessel functions.
  • E mic is a matrix composed of a circular harmonic function
  • E H mic is a Hermitian transpose of the matrix E mic
  • S is a time-frequency spectrum S (q, n tf ) of the reference signal. The vector is shown.
  • the spatial frequency spectrum vector S ′ is expressed by the following equation (11).
  • n ⁇ N, ⁇ N + 1,..., N
  • S ′ n (n tf ) n indicates the order of the spatial frequency, and in particular, N indicates the maximum order of the spatial frequency.
  • n tf indicates a time frequency index.
  • the matrix J inv composed of the spherical Bessel function in the equation (10) is represented by, for example, the following equation (12), and the matrix E mic composed of the circular harmonic function is represented by the following equation (13). It is supposed to be.
  • Equation (12) j n represents a spherical Bessel function whose spatial frequency is n, c represents the speed of sound, and r mic represents the radius of the reference microphone array 81, which is an annular microphone array.
  • indicates the angular frequency.
  • i a pure imaginary number
  • n ⁇ N, ⁇ N + 1,..., N
  • ⁇ q a reference microphone
  • a straight line connecting a predetermined microphone MU11 constituting the reference microphone array 81 and the origin O is a straight line LN
  • a straight line obtained by projecting the straight line LN on the xy plane from the z-axis direction is a straight line LN ′.
  • the angle ⁇ formed between the x-axis and the straight line LN ′ is an azimuth indicating the direction of the position of the microphone MU11 as viewed from the origin O on the xy plane.
  • the angle ⁇ formed by the z axis and the straight line LN is an elevation angle indicating the direction of the position of the microphone MU11 as viewed from the origin O in a plane perpendicular to the xy plane.
  • the vector S is a vector having the time frequency spectrum S (q, n tf ) of the reference signal obtained by each microphone of the reference microphone array 81 as an element.
  • the calculation of the following equation (15) is performed to perform spatial frequency conversion.
  • Equation (15) S ′ is a vector of the spatial frequency spectrum shown in Equation (11), Q indicates the number of microphones in the reference microphone array 81, and J inv is shown in Equation (12).
  • a matrix consisting of spherical Bessel functions.
  • Y mic is a matrix composed of spherical harmonics
  • Y H mic is a Hermitian transpose matrix of the matrix Y mic
  • S is the time-frequency spectrum S (q, n) of the reference signal shown in equation (14). tf ).
  • the elevation angle and azimuth angle of the microphone position where the microphone index of the reference microphone array 81 is q are ⁇ q and ⁇ q
  • the spherical harmonic function whose spatial frequency order is n and m is Y n m ( ⁇ q , ⁇ q ).
  • Equation (16) N and M represent the maximum order of the spatial frequency.
  • the spatial frequency analysis unit 83 outputs the spatial frequency spectrum S ′ n (n tf ) obtained by the spatial frequency conversion shown in Expression (10) or Expression (15).
  • spatial frequency analysis unit 87 spatial frequency conversion (spatial frequency analysis) is performed by the same calculation as in the spatial frequency analysis unit 83.
  • the control area noise detector 88 detects control area noise and generates a noise detection signal indicating the detection result.
  • control area is an area formed by the reference microphone array 81 as shown in FIG. 5, that is, an area surrounded by the reference microphone array 81.
  • parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the speaker array 93 and the error microphone array 85 are arranged in a region surrounded by each microphone of the reference microphone array 81.
  • a hatched portion of the reference microphone array 81 that is, a region surrounded by each microphone is set as a control region, and noise (sound) generated in the control region is detected.
  • the noise detection unit 88 in the control area detects a user in the control area based on a sensor signal output from a camera that captures the control area as a subject, that is, image data, and detects a movement of the user's mouth. .
  • the noise in the control area 88 When the movement of the user's mouth is detected, the noise in the control area 88 generates a noise detection signal indicating that the noise in the control area is detected, and when the movement of the user's mouth is not detected. Then, a noise detection signal indicating that no noise in the control area has been detected is generated.
  • the noise detection unit 88 in the control area receives the output from one or more detection microphones. Control area noise may be detected based on the sound signal.
  • control area noise detector 88 may detect the presence or absence of noise in the control area from the temporal change of the sound pressure of the sound based on the collected sound signal.
  • the sound pressure ratio of the sound based on the signals output from the two microphones is used. Then, noise in the control area may be detected. In this case, if necessary, the sound pressures of sounds based on signals output from two microphones are compared in advance, and the comparison result can also be used for noise detection as appropriate.
  • the reference microphone array 81 is collected when the noise within the control area is collected and when the external noise is collected.
  • the error microphone array 85 have different sound pressures. That is, for example, when noise in the control area is collected, the sound pressure in the error microphone array 85 should be larger than the sound pressure in the reference microphone array 81. Therefore, such a relationship between sound pressures is used. Then, the noise in the control area may be detected.
  • noise in the control area is detected based on outputs from a plurality of microphone arrays (microphones) having different distances from the center position of the control area, such as the detection microphone, the reference microphone array 81, and the error microphone array 85. Is also possible.
  • the noise in the control area 88 detects noise in the control area by using a microphone array to estimate the position of the sound source or the direction of arrival (DOA (DirectionDirectArrival Estimation)), a combination of these techniques, or the like. It may be. Note that any method may be used for detecting the noise in the control region.
  • DOA DirectionDirectArrival Estimation
  • the noise detection section 88 in the control area supplies a noise detection signal indicating the detection result to the adaptive filter coefficient calculation section 89.
  • the adaptive filter coefficient calculation unit 89 updates the filter coefficient of the adaptive filter based on the spatial frequency spectrum of the error signal and the spatial frequency spectrum of the reference signal multiplied by the spatial frequency spectrum of the estimated secondary path.
  • the filter coefficient is not updated. That is, when noise in the control area is detected in the control area, the filter coefficient is not updated.
  • the time index is n t
  • the time frequency index is n tf
  • the spatial frequency spectrum of the error signal output from the spatial frequency analysis unit 87 is expressed as S ′ n err (n t , n tf ).
  • n is the order of the spatial frequency.
  • the filter coefficient of the adaptive filter that minimizes the square error ⁇ ′ (n t , n tf ) of the spatial frequency spectrum S ′ n err (n t , n tf ) of the error signal shown in the following equation (17) are calculated as updated filter coefficients.
  • * indicates a complex conjugate.
  • Equation (18) w (n t , n tf ) indicates a filter coefficient before update, and w (n t + 1, n tf ) indicates a filter coefficient after update.
  • represents a step size
  • X ′ is represented by the following Expression (19).
  • Equation (19) n indicates the order of the spatial frequency, and * indicates the complex conjugate.
  • S ′ n ref (n t , n tf ) represents the spatial frequency spectrum of the reference signal that is the output of the spatial frequency analysis unit 83, and this spatial frequency spectrum S ′ n ref (n t , n tf ) is , The spatial frequency spectrum S ′ n (n tf ) in the above equation (11). Further, ⁇ n represents the spatial frequency spectrum of the estimated secondary path.
  • the estimated secondary path adding unit 84 performs an operation for obtaining a product of the spatial frequency spectrum S ′ n ref (n t , n tf ) and the spatial frequency spectrum ⁇ n of the estimated secondary path.
  • the adaptive filter coefficient calculation unit 89 the spatial frequency spectrum S ′ n ref (n t , n tf ) ⁇ n supplied from the estimated secondary path addition unit 84 and the spatial frequency spectrum S ′ n err (n t , n tf), and updates the previous filter coefficients w (n t, based on the n tf) is computed equation (18), updated filtering coefficient w (n t + 1, n tf) is calculated.
  • the spatial frequency synthesizer 91 synthesizes the spatial frequency spectrum of the speaker drive signal supplied from the adaptive filter unit 90 according to the shape of the speaker array 93.
  • the order of the spatial frequency is n
  • the maximum order of the spatial frequency is N
  • the spatial frequency spectrum of the speaker drive signal that is the output of the adaptive filter unit 90 is expressed as D ′ n (n tf ).
  • the spatial frequency synthesis unit 91 performs spatial frequency synthesis by calculating the following equation (20).
  • D represents a vector of the time frequency spectrum of the speaker drive signal that is the output of the spatial frequency synthesizer 91
  • E sp represents a matrix composed of a circular harmonic function
  • D ′ represents a vector composed of the spatial frequency spectrum D ′ n (n tf ) of the speaker drive signal that is input to the spatial frequency synthesizer 91.
  • the vector D ′ is represented by the following equation (21)
  • the matrix E sp is represented by the following equation (22)
  • the vector D is represented by the following equation (23).
  • n tf represents a time frequency index.
  • l represents a speaker index for identifying the speakers constituting the speaker array 93.
  • L 0,1,2, ..., L-1. L indicates the number of speakers, which is the number of speakers constituting the speaker array 93.
  • D (l, n tf ) in Equation (23) represents the time frequency spectrum of the speaker drive signal.
  • i a pure imaginary number
  • n ⁇ N, ⁇ N + 1,..., N
  • ⁇ l a speaker array
  • 93 shows the azimuth angle of the position of the speaker whose speaker index is l. This azimuth angle ⁇ l corresponds to the above-mentioned azimuth angle ⁇ q of the microphone position.
  • the spatial frequency synthesis unit 91 performs spatial frequency synthesis by calculating the following equation (24).
  • D is a vector composed of the time-frequency spectrum D (l, n tf ) shown in Expression (23), and Y sp represents a matrix composed of spherical harmonic functions.
  • D ′ is a vector composed of the spatial frequency spectrum D ′ n (n tf ) shown in Expression (21).
  • a matrix Y sp composed of spherical harmonics is expressed by the following equation (25).
  • ⁇ l and ⁇ l indicate the elevation angle ⁇ l and the azimuth angle ⁇ l of the speaker position of the speaker array 93 corresponding to the elevation angle ⁇ q and the azimuth angle ⁇ q of the microphone position described above.
  • N and M represent the maximum order of the spatial frequency.
  • Y n m ( ⁇ l , ⁇ l ) represents a spherical harmonic function.
  • the spatial frequency synthesizer 91 supplies the temporal frequency spectrum D (l, n tf ) of the speaker drive signal obtained by the spatial frequency synthesis shown in Equation (20) or Equation (24) to the temporal frequency synthesizer 92.
  • the time-frequency synthesis unit 92 performs time-frequency synthesis using IDFT (Inverse Discrete Fourier Transform) on the time-frequency spectrum D (l, ntf ) supplied from the spatial frequency synthesis unit 91. Then, a speaker drive signal d (l, nt ) that is a time signal is calculated.
  • IDFT Inverse Discrete Fourier Transform
  • Equation (26) n t represents a time index, M dt represents the number of IDFT samples, and i represents a pure imaginary number.
  • Time frequency synthesizer 92 loudspeaker drive signal d (l, n t) obtained by the time-frequency synthesis was supplied to the speaker array 93 to output a sound based on the speaker drive signal d (l, n t).
  • step S ⁇ b> 11 the spatial noise control device 71 performs sound collection with the reference microphone array 81. That is, the reference microphone array 81 collects ambient sounds and supplies the reference signal obtained as a result to the time frequency analysis unit 82.
  • step S12 the time-frequency analysis unit 82 performs time-frequency conversion on the reference signal supplied from the reference microphone array 81, and supplies the time-frequency spectrum of the reference signal obtained as a result to the spatial frequency analysis unit 83.
  • the above-described equation (9) is calculated to calculate a time frequency spectrum.
  • step S13 the spatial frequency analysis unit 83 performs spatial frequency conversion on the temporal frequency spectrum supplied from the temporal frequency analysis unit 82, and the spatial frequency spectrum obtained as a result is estimated by the estimated secondary path addition unit 84 and the adaptation. It supplies to the filter part 90.
  • the above-described equation (10) or equation (15) is calculated to calculate a spatial frequency spectrum.
  • step S14 the estimated secondary path adding unit 84 multiplies the spatial frequency spectrum supplied from the spatial frequency analyzing unit 83 by the spatial frequency spectrum of the estimated secondary path, and adapts the resulting spatial frequency spectrum. This is supplied to the filter coefficient calculation unit 89.
  • the spatial frequency spectrum S ′ n ref (n t , n tf ) ⁇ n shown in the above equation (19) is calculated.
  • step S15 the spatial noise control device 71 collects sound with the error microphone array 85. That is, the error microphone array 85 collects ambient sounds and supplies the error signal obtained as a result to the time frequency analysis unit 86.
  • step S16 the time-frequency analysis unit 86 performs time-frequency conversion on the error signal supplied from the error microphone array 85, and supplies the time-frequency spectrum of the error signal obtained as a result to the spatial frequency analysis unit 87.
  • step S16 the same calculation as the above-described equation (9) is performed.
  • step S ⁇ b> 17 the spatial frequency analysis unit 87 performs spatial frequency conversion on the temporal frequency spectrum supplied from the temporal frequency analysis unit 86 and supplies the spatial frequency spectrum obtained as a result to the adaptive filter coefficient calculation unit 89.
  • step S ⁇ b> 17 the same calculation as in the above formula (10) or formula (15) is performed.
  • step S18 the noise in the control area 88 detects noise in the control area based on a sensor signal that is an output of a sensor such as a camera, an output of a detection microphone, a reference signal, an error signal, and the like.
  • a noise detection signal indicating the detection result is supplied to the adaptive filter coefficient calculation unit 89.
  • step S19 the adaptive filter coefficient calculation unit 89 determines whether or not to update the filter coefficient of the adaptive filter based on the noise detection signal supplied from the noise detection unit 88 in the control region. For example, when the noise detection signal is a signal indicating that no noise in the control area has been detected, it is determined that the update is performed.
  • step S19 If it is determined in step S19 that updating is performed, the process proceeds to step S20.
  • step S20 the adaptive filter coefficient calculation unit 89 calculates the filter coefficient of the adaptive filter based on the spatial frequency spectrum from the estimated secondary path addition unit 84 and the spatial frequency spectrum from the spatial frequency analysis unit 87, and the filter coefficient Update. For example, in step S20, the above-described equation (18) is calculated to update the filter coefficient.
  • the adaptive filter coefficient calculation unit 89 supplies the obtained updated filter coefficient to the adaptive filter unit 90, and then the process proceeds to step S21.
  • step S19 when it is determined in step S19 that the update is not performed, that is, when noise in the control area is detected in the control area, the process of step S20 is not performed, and then the process proceeds to step S21. .
  • step S19 If it is determined in step S19 that the update is not performed or if the process of step S20 is performed, the process of step S21 is performed.
  • step S 21 the adaptive filter unit 90 performs a filtering process on the spatial frequency spectrum supplied from the spatial frequency analysis unit 83 using the filter coefficient of the adaptive filter supplied from the adaptive filter coefficient calculation unit 89.
  • the adaptive filter unit 90 supplies the spatial frequency spectrum of the speaker drive signal obtained by the filtering process to the spatial frequency synthesis unit 91.
  • step S22 the spatial frequency synthesis unit 91 performs spatial frequency synthesis on the spatial frequency spectrum supplied from the adaptive filter unit 90, and supplies the temporal frequency spectrum of the speaker drive signal obtained as a result to the temporal frequency synthesis unit 92.
  • the above-described equation (20) or equation (24) is calculated to calculate a time-frequency spectrum.
  • step S23 the time-frequency synthesizer 92 synthesizes the time-frequency spectrum supplied from the spatial frequency synthesizer 91 with time, and supplies the speaker drive signal, which is the time signal obtained as a result, to the speaker array 93.
  • the above-described equation (26) is calculated to calculate a speaker drive signal.
  • step S24 the speaker array 93 outputs a sound based on the speaker drive signal supplied from the time-frequency synthesizer 92. Thereby, the external noise in the noise canceling area is canceled (reduced) by the sound output from the speaker array 93.
  • step S25 the spatial noise control device 71 determines whether or not to end the process.
  • step S25 If it is determined in step S25 that the process is not yet finished, the process returns to step S11, and the above-described process is repeated.
  • step S25 if it is determined in step S25 that the process is to be terminated, the noise canceling process is terminated.
  • the spatial noise control device 71 generates a speaker drive signal by the filtering process using the filter coefficient of the adaptive filter, and outputs a sound that cancels the external noise. At this time, the spatial noise control device 71 detects noise in the control region generated in the control region, and controls the update of the filter coefficient of the adaptive filter according to the detection result.
  • noise in the control region is detected, and the update of the filter coefficient of the adaptive filter is controlled according to the detection result, thereby suppressing the divergence of the adaptive filter and improving the noise canceling performance.
  • the spatial noise control device 71 performs filter coefficient updating and filtering processing in the spatial frequency domain. In other words, a speaker drive signal with a sound that reduces or cancels external noise by wavefront synthesis is generated.
  • the filter coefficient is updated and the filtering process is performed in the spatial frequency domain, the amount of calculation can be reduced by diagonalizing the transfer characteristics. As a result, the filter coefficients of the adaptive filter converge quickly, and the noise canceling performance can be improved.
  • the spatial noise control device is configured as shown in FIG. 7, for example.
  • parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the 7 includes an error microphone array 85, a time frequency analysis unit 86, a spatial frequency analysis unit 87, an estimated secondary path adding unit 141, an adding unit 142, an estimated secondary path adding unit 143, and a control region.
  • An internal noise detection unit 88, an adaptive filter coefficient calculation unit 89, an adaptive filter unit 90, a spatial frequency synthesis unit 91, a time frequency synthesis unit 92, and a speaker array 93 are provided.
  • the reference microphone array 81 is not used, and only the error microphone array 85 is used to collect sound.
  • the spatial frequency spectrum of the error signal obtained by the spatial frequency analysis unit 87 is supplied to the adaptive filter coefficient calculation unit 89 and the addition unit 142. Further, the spatial frequency spectrum of the speaker drive signal obtained by the adaptive filter unit 90 is supplied to the spatial frequency synthesis unit 91 and the estimated secondary path addition unit 141.
  • the estimated secondary path adding unit 141 corresponds to the estimated secondary path adding unit 84, and multiplies the spatial frequency spectrum of the speaker drive signal supplied from the adaptive filter unit 90 by the spatial frequency spectrum of the estimated secondary path.
  • the obtained spatial frequency spectrum is supplied to the adding unit 142.
  • the adding unit 142 adds the spatial frequency spectrum of the error signal supplied from the spatial frequency analyzing unit 87 and the spatial frequency spectrum supplied from the estimated secondary path adding unit 141 and estimates the obtained spatial frequency spectrum. This is supplied to the next path adding unit 143 and the adaptive filter unit 90.
  • the estimated secondary path adding unit 143 corresponds to the estimated secondary path adding unit 84, multiplies the spatial frequency spectrum supplied from the adding unit 142 by the spatial frequency spectrum of the estimated secondary path, and obtains the resulting space.
  • the frequency spectrum is supplied to the adaptive filter coefficient calculation unit 89.
  • the adaptive filter coefficient calculation unit 89 generates the spatial frequency spectrum from the estimated secondary path addition unit 143 and the error signal from the spatial frequency analysis unit 87 according to the noise detection signal supplied from the noise detection unit 88 in the control region.
  • the filter coefficient of the adaptive filter is calculated based on the spatial frequency spectrum and supplied to the adaptive filter unit 90.
  • the adaptive filter unit 90 performs a filtering process on the spatial frequency spectrum supplied from the adder 142 using the filter coefficient of the adaptive filter supplied from the adaptive filter coefficient calculation unit 89, and the spatial frequency spectrum of the speaker drive signal Is generated.
  • the control region is a region formed by the error microphone array 85 as shown in FIG. 8, for example, the error microphone.
  • the region is surrounded by the array 85.
  • portions corresponding to those in FIG. 7 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the error microphone array 85 is arranged in a region surrounded by each speaker of the speaker array 93.
  • the spatial noise control device 131 a portion inside the error microphone array 85 to which hatching is applied, that is, a region surrounded by each microphone is set as a control region, and noise generated in the control region is detected.
  • the noise canceling area as in the case of the spatial noise control device 71, the area surrounded by the speaker array 93 is set as the noise canceling area.
  • step S61 When the noise canceling process is started, the process from step S61 to step S63 is performed. Since these processes are the same as the process from step S15 to step S17 in FIG. 6, the description thereof is omitted. However, in step S63, the spatial frequency spectrum of the error signal obtained by the spatial frequency conversion is supplied from the spatial frequency analysis unit 87 to the adaptive filter coefficient calculation unit 89 and the addition unit 142.
  • step S64 the estimated secondary path adding unit 141 multiplies the spatial frequency spectrum of the speaker drive signal supplied from the adaptive filter unit 90 by the spatial frequency spectrum of the estimated secondary path, and the spatial frequency obtained as a result thereof.
  • the spectrum is supplied to the adding unit 142.
  • step S65 the addition unit 142 performs an addition process. That is, the adding unit 142 adds the spatial frequency spectrum supplied from the spatial frequency analyzing unit 87 and the spatial frequency spectrum supplied from the estimated secondary path adding unit 141, and calculates the obtained spatial frequency spectrum as the estimated secondary. This is supplied to the route adding unit 143 and the adaptive filter unit 90.
  • step S66 the estimated secondary path adding unit 143 multiplies the spatial frequency spectrum of the estimated secondary path by the spatial frequency spectrum supplied from the adding unit 142, and uses the resulting spatial frequency spectrum as an adaptive filter coefficient. It supplies to the calculation part 89.
  • step S66 When the process of step S66 is performed, the process of step S67 to step S74 is performed thereafter, and the noise canceling process ends.
  • these processes are the same as the processes of step S18 to step S25 of FIG. The description is omitted.
  • step S69 the adaptive filter coefficient calculation unit 89 updates the filter coefficient of the adaptive filter based on the spatial frequency spectrum from the estimated secondary path addition unit 143 and the spatial frequency spectrum from the spatial frequency analysis unit 87. .
  • step S70 the adaptive filter unit 90 performs a filtering process on the spatial frequency spectrum supplied from the adder 142 using the filter coefficient of the adaptive filter supplied from the adaptive filter coefficient calculation unit 89, and the speaker.
  • the spatial frequency spectrum of the drive signal is calculated. Further, the adaptive filter unit 90 supplies the obtained spatial frequency spectrum of the speaker drive signal to the spatial frequency synthesis unit 91 and the estimated secondary path addition unit 141.
  • the spatial noise control device 131 generates the speaker drive signal by the filtering process using the filter coefficient of the adaptive filter, and outputs the sound that cancels the external noise. At this time, the spatial noise control device 131 detects noise in the control region generated in the control region, and controls update of the filter coefficient of the adaptive filter according to the detection result.
  • noise in the control region is detected, and the update of the filter coefficient of the adaptive filter is controlled according to the detection result, thereby suppressing the divergence of the adaptive filter and improving the noise canceling performance.
  • the spatial noise control device 71 and the spatial noise control device 131 described above may be applied to, for example, vehicles and hospitals.
  • a speaker array composed of a large number of speakers and a microphone array composed of a large number of microphones are arranged in a passenger compartment of a vehicle such as a passenger car.
  • the interior of the vehicle can be kept quiet.
  • the use of the present technology can suppress a decrease in noise canceling performance.
  • the hospital has a shared room where multiple inpatients live in the same room.
  • the field of view is blocked by the curtain, the sound of other patients and the surrounding sounds can be heard for each inpatient. Therefore, a sound from the outside of the control area can be canceled by installing a spatial noise control device to which the present technology is applied upright and surrounding a predetermined area with a microphone array or a speaker array. Thereby, a quiet space can be secured for each hospitalized patient.
  • a spatial noise control device to which the present technology is applied to all the bed portions of all patients each other's voices are mutually suppressed and can be used for privacy protection.
  • the reference microphone array 81, the error microphone array 85, and the speaker array 93 are spherical or annular has been described as a specific example.
  • the shape of 93 may be any shape such as a linear shape.
  • the arrangement of the microphone array and the speaker array is as shown in FIG.
  • a reference microphone array 171 that is a linear microphone array, a speaker array 172 that is a linear speaker array, and an error microphone array 173 that is a linear microphone array are perpendicular to the direction in which the microphones and speakers are arranged.
  • the reference microphone array 171 is arranged behind the speaker array 172, that is, the upper side in the drawing, and the error microphone array 173 is arranged in front of the speaker array 172, that is, the lower side in the drawing.
  • the sound emission direction by the speaker array 172 is the lower side in the figure.
  • a reference microphone array 171 for example, a reference microphone array 171, an error microphone array 173, and a speaker array 172 are used instead of the reference microphone array 81, the error microphone array 85, and the speaker array 93.
  • a rectangular area R11 below the reference microphone array 171 in the figure is a control area, and the area R11 below the speaker array 172 in the figure, that is, an area on the error microphone array 173 side. Is a noise canceling region.
  • a linear microphone array or a linear speaker array may be arranged in a rectangular frame shape.
  • a rectangular frame-shaped speaker array 202 composed of four linear speaker arrays is arranged in an area surrounded by a rectangular frame-shaped reference microphone array 201 composed of four linear microphone arrays. Further, a rectangular frame-shaped error microphone array 203 including four linear microphone arrays is arranged in a region surrounded by the speaker array 202.
  • the reference microphone array 201, the error microphone array 203, and the speaker array 202 are used instead of the reference microphone array 81, the error microphone array 85, and the speaker array 93. Will be.
  • a region R21 surrounded by the reference microphone array 201 is a control region, and a region surrounded by the speaker array 202 is a noise canceling region.
  • the spatial noise control device 131 uses a speaker array 172 instead of the speaker array 93 as shown in FIG. Instead of the error microphone array 85, an error microphone array 173 is used.
  • FIG. 12 parts corresponding to those in FIG. 10 are denoted by the same reference numerals, and description thereof is omitted.
  • a rectangular region R31 below the error microphone array 173 in the drawing is the control region, and a rectangular region below the speaker array 172, ie, the rectangular region on the error microphone array 173 side. Is a noise canceling region.
  • the spatial noise control device 131 uses a speaker array 202 instead of the speaker array 93 as shown in FIG. Therefore, the error microphone array 203 is used instead of the error microphone array 85.
  • FIG. 13 parts corresponding to those in FIG. 11 are denoted by the same reference numerals, and the description thereof is omitted.
  • a rectangular region R41 surrounded by the error microphone array 203 is a control region, and a rectangular region surrounded by the speaker array 202 is a noise canceling region.
  • the above-described processing is performed, and if noise in the control region is detected in the control region, it is adaptive.
  • the noise canceling performance can be improved by preventing the filter coefficient of the filter from being updated.
  • ⁇ Modification 2> a spherical microphone array or an annular microphone array may be used instead of each of the microphones constituting the reference microphone array and the error microphone array.
  • a spherical microphone array or an annular microphone array may be used instead of each of the microphones constituting the reference microphone array and the error microphone array.
  • FIG. 14 portions corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • the speaker array 93 is disposed in a region surrounded by the reference microphone array 231
  • the error microphone array 232 is disposed in a region surrounded by the speaker array 93.
  • the reference microphone array 231 corresponds to the reference microphone array 81
  • the error microphone array 232 corresponds to the error microphone array 85.
  • the reference microphone array 231 is composed of a plurality of microphone arrays 241-1 to 241-8.
  • the microphone arrays 241-1 to 241-8 are also simply referred to as microphone arrays 241 when it is not necessary to distinguish them.
  • Each microphone array 241 is a spherical microphone array or a circular microphone array obtained by arranging a plurality of microphones in a spherical or annular shape.
  • one annular microphone array is configured by arranging a plurality of microphone arrays 241 in an annular arrangement, and the annular microphone array is a reference microphone array 231.
  • the error microphone array 232 includes a plurality of microphone arrays 242-1 to 242-4.
  • the microphone arrays 242-1 to 242-4 are also simply referred to as a microphone array 242 when it is not necessary to distinguish them.
  • Each microphone array 242 is a spherical microphone array or a circular microphone array obtained by arranging a plurality of microphones in a spherical or annular shape.
  • one annular microphone array is configured by arranging a plurality of microphone arrays 242 in a ring, and the annular microphone array is an error microphone array 232.
  • the reference microphone array 231 is used instead of the reference microphone array 81, and the error microphone array 232 is used instead of the error microphone array 85.
  • the reference microphone array 231 may be a spherical microphone array including a plurality of microphone arrays 241, and similarly, the error microphone array 232 may be a spherical microphone array including a plurality of microphone arrays 242.
  • the reference microphone array 231 and the error microphone array 232 As described above, it is possible to suppress leakage of noise in the control region from the inside of the control region to the reference microphone array 231. In addition, it is possible to suppress leakage of unnecessary sound such as sound that circulates to the reference microphone array 231 among noise canceling sounds output from the speaker array 93.
  • the reference microphone array 231 and the error microphone array 232 By configuring the reference microphone array 231 and the error microphone array 232 with the annular microphone array and the microphone array 241 and the microphone array 242, which are spherical microphone arrays, directivity can be given to each of the microphone array 241 and the microphone array 242. It becomes like this. Therefore, for example, the noise canceling performance can be further improved by controlling the microphone array 241 and the microphone array 242 so that directivity is directed outside the control region.
  • noise canceling performance can be further improved by using a technique in which the reference microphone array and the error microphone array are composed of a plurality of microphone arrays in combination with the spatial noise control device described above.
  • a spherical speaker array or an annular speaker array as shown in FIG. 15 may be used instead of each speaker constituting a speaker array that outputs sound for noise canceling.
  • FIG. 15 parts corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • the speaker array 271 is disposed in the area surrounded by the reference microphone array 81, and the error microphone array 85 is disposed in the area surrounded by the speaker array 271.
  • the speaker array 271 corresponds to the speaker array 93.
  • the speaker array 271 includes a plurality of speaker arrays 281-1 to 281-4.
  • the speaker arrays 281-1 to 281-4 are also simply referred to as speaker arrays 281 when it is not necessary to distinguish them.
  • Each speaker array 281 is a spherical speaker array or an annular speaker array obtained by arranging a plurality of speakers in a spherical or annular shape.
  • one annular speaker array is configured by arranging a plurality of speaker arrays 281 in an annular arrangement, and the annular speaker array is a speaker array 271.
  • a speaker array 271 is used instead of the speaker array 93.
  • the speaker array 271 may be a spherical speaker array including a plurality of speaker arrays 281.
  • the speaker array 271 By constituting the speaker array 271 from a plurality of speaker arrays 281, sound is reproduced only within the noise canceling region surrounded by the speaker array 271, and leakage of sound outside the noise canceling region is suppressed. Can do.
  • a sound that is output from a speaker arranged so as to face the inside of a noise canceling region that constitutes the speaker array 281 and that circulates into the reference microphone array 81 is output from the noise canceling region that constitutes the speaker array 281 outside the noise canceling region. It can be canceled by the sound output from the speaker arranged to face the outside of the ring area.
  • the speaker array 271 when used, it is possible to suppress the sound output from the speaker array 271 from entering the reference microphone array 81 and to improve the noise canceling performance.
  • a speaker array is formed by arranging a plurality of annular speaker arrays or spherical speaker arrays, it is possible to suppress the sound wrapping outside the area surrounded by the speaker array, but in reality, it does not wrap the sound completely. It is difficult to prevent.
  • noise canceling performance can be further improved by using a technique for configuring a speaker array from a plurality of speaker arrays in combination with the spatial noise control device described above.
  • ⁇ Modification 4> a technique of arranging a plurality of annular microphone arrays and spherical microphone arrays to form one microphone array and a technique of arranging a plurality of annular speaker arrays and spherical speaker arrays to form one speaker array are used in combination. It may be.
  • the same reference numerals are given to the portions corresponding to those in FIG. 14 or FIG. 15, and the description thereof will be omitted as appropriate.
  • a reference microphone array 231, an error microphone array 232, and a speaker array 271 are used instead of the reference microphone array 81, the error microphone array 85, and the speaker array 93 in the spatial noise control device 71.
  • the speaker array 271 is arranged in a region surrounded by the reference microphone array 231, and the error microphone array 232 is arranged in a region surrounded by the speaker array 271.
  • a technology for forming one microphone array or speaker array using a spherical or annular microphone array or speaker array is applied to a feedforward type spatial noise control device.
  • the case of applying was explained.
  • a technique of forming one microphone array or speaker array using such a spherical or annular microphone array or speaker array may be applied to a feedback type spatial noise control apparatus.
  • the intra-control-area noise detection unit 88 may detect the intra-control-area noise based on a reference signal obtained by collecting sound with the reference microphone array.
  • the reference microphone array is configured as shown in FIG. In FIG. 17, the same reference numerals are given to portions corresponding to those in FIG. 3, and description thereof will be omitted as appropriate.
  • a reference microphone array 311 is used in place of the reference microphone array 81 in the spatial noise control device 71.
  • a speaker array 93 is disposed in a region surrounded by the reference microphone array 311, and an error microphone array 85 is disposed in a region surrounded by the speaker array 93.
  • the reference microphone array 311 includes a microphone array 321-1 that is an annular microphone array or a spherical microphone array, and a microphone array 321-2 that is an annular microphone array or a spherical microphone array.
  • the microphone array 321-1 is closer to the speaker array 93 than the microphone array 321-2. It is arranged at the position.
  • the distance from the center position of the control area to the microphone array 321-1 is different from the distance from the center position of the control area to the microphone array 321-2.
  • the sound pressure of the reference signal obtained by the microphone array 321-1 is converted to the reference signal obtained by the microphone array 321-2. It becomes larger than the sound pressure.
  • the microphone array 321 when external noise propagating from outside the control area to inside the control area is collected by the reference microphone array 311, the microphone array 321 is more effective than the sound pressure of the reference signal obtained by the microphone array 321-1. The sound pressure of the reference signal obtained in -2 increases.
  • the noise detection unit 88 in the control region if the reference signal obtained by the reference microphone array 311 is supplied to the noise detection unit 88 in the control region, the noise detection unit 88 in the control region and the sound pressure of the reference signal obtained by the microphone array 321-1 and the microphone By comparing the sound pressure of the reference signal obtained by the array 321-2, noise in the control region can be detected.
  • the error microphone array 85 is composed of two or more microphone arrays having different distances from the center of the control region, and is supplied from the error microphone array 85 in the noise detection unit 88 in the control region.
  • the noise in the control area may be detected based on the error signal.
  • the reference microphone array 231 and the error microphone array 232 shown in FIG. 16 there are two or more microphones having different distances from the center of the control region as microphones constituting the microphone arrays. Therefore, even if the reference signal or error signal obtained by the reference microphone array 231 or the error microphone array 232 is used, the noise in the control region can be detected in the same manner as in the reference microphone array 311.
  • the spatial noise control device 131 can also detect the noise in the control region based on the error signal obtained by collecting the sound with the error microphone array.
  • the error microphone array is configured as shown in FIG. In FIG. 18, portions corresponding to those in FIG. 7 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • an error microphone array 351 is used in place of the error microphone array 85 in the spatial noise control device 131. Further, an error microphone array 351 is arranged in a region surrounded by the speaker array 93.
  • the error microphone array 351 includes a microphone array 361-1 that is an annular microphone array or a spherical microphone array, and a microphone array 361-2 that is an annular microphone array or a spherical microphone array.
  • the microphone array 361-2 is closer to the speaker array 93 than the microphone array 361-1. It is arranged at the position.
  • the distance from the center position of the control area to the microphone array 361-1 is different from the distance from the center position of the control area to the microphone array 361-2.
  • the sound pressure of the error signal obtained by the microphone array 361-1 is compared with the sound pressure of the error signal obtained by the microphone array 361-2.
  • noise in the control region can be detected.
  • the error signal obtained by the error microphone array 351 is supplied to the noise detection unit 88 in the control region, and the noise detection unit 88 in the control region detects the sound pressure of the error signal obtained by the microphone array 361-1.
  • the noise in the control region is detected by comparing the sound pressure of the error signal obtained by the microphone array 361-2.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 19 is a block diagram showing an example of a hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone array, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker array, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • a noise detection unit for detecting noise in the control region generated in the control region formed by the microphone array; In order to reduce the external noise to the noise canceling area formed by the speaker array, the filter coefficient of the adaptive filter used to generate the output sound signal output from the speaker array is detected, and the noise in the control area is detected. And a control unit that controls based on the result.
  • the signal processing apparatus further comprising: an adaptive filter unit that generates a signal of the output sound based on a signal obtained by sound collection by the microphone array and the filter coefficient.
  • the adaptive filter unit generates a signal of the output sound by performing a filtering process based on a signal obtained by sound collection by the microphone array and the filter coefficient in a spatial frequency domain. apparatus.
  • the noise detection unit is based on a signal obtained by sound collection by the microphone array and a signal obtained by sound collection by another microphone array whose distance from the central position of the control region is different from the microphone array.
  • the signal processing device according to (5), wherein noise in the control region is detected.
  • the noise detection unit detects noise in the control area based on a signal obtained by sound collection by a detection microphone arranged in the control area.
  • (1) to (4) The signal processing apparatus as described.
  • (9) The signal processing apparatus according to any one of (1) to (8), wherein the microphone array is obtained by arranging a plurality of microphone arrays in a predetermined shape.
  • the signal processing apparatus according to any one of (1) to (9), wherein the speaker array is obtained by arranging a plurality of speaker arrays in a predetermined shape.
  • the control region is a region formed by a reference microphone array or an error microphone array as the microphone array.
  • Detect noise in the control area generated in the control area formed by the microphone array In order to reduce the external noise to the noise canceling area formed by the speaker array, the filter coefficient of the adaptive filter used to generate the output sound signal output from the speaker array is detected, and the noise in the control area is detected.
  • a signal processing method including a step of controlling based on a result.
  • Spatial noise control device 81 reference microphone array, 85 error microphone array, 88 noise detection unit in control area, 89 adaptive filter coefficient calculation unit, 90 adaptive filter unit, 93 speaker array

Abstract

本技術は、ノイズキャンセリング性能を向上させることができるようにする信号処理装置および方法、並びにプログラムに関する。 信号処理装置は、マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出するノイズ検出部と、スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるためにスピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、制御領域内ノイズの検出結果に基づいて制御する制御部とを備える。本技術は空間ノイズ制御装置に適用することができる。

Description

信号処理装置および方法、並びにプログラム
 本技術は信号処理装置および方法、並びにプログラムに関し、特に、ノイズキャンセリング性能を向上させることができるようにした信号処理装置および方法、並びにプログラムに関する。
 ノイズキャンセリング技術は古くから研究され、現在ではノイズキャンセリング機能が搭載されたヘッドホンが実用化され、普及している。
 近年では、ノイズキャンセリング技術として、多数のスピーカとマイクロホンを用いて制御領域を囲み、ノイズをより広い領域で抑制する研究が行われている。これにより例えば車の中や航空機の中などで広い領域を静かに保つことができると考えられる。
 通常、ノイズの周波数特性は不明であるため、ノイズキャンセリングでは一般的に適応フィルタが用いられる。
 適応フィルタの係数更新には、参照マイクロホンや誤差マイクロホンで取得したノイズ信号が必要である。これらのマイクロホンに入力されるノイズは通常、制御領域外側から制御領域内側に侵入してくるものと仮定される。しかしながら、意図せず制御領域内側でノイズが発生し、マイクロホンで収音されてしまうことも考えられる。
 このように参照マイクロホンや誤差マイクロホンにより制御領域内側で発生したノイズが検出されると、適応フィルタが発散し、ノイズキャンセリング性能が低下してしまう。
 そこで、参照マイクロホンまたは誤差マイクロホンに単一指向性のマイクロホンを用いる方法が提案されている(例えば、非特許文献1参照)。
 この手法では、マイクロホンの指向性を制御領域の外側に向けることで、理想的には制御領域内側から届くノイズに影響されなくなるようにすることができる。
Christian Kleinhenrich, Detlef Krahe, "The Reflection Equivalence Formulation for a circular ANC System," Proceedings of INTER-NOISE 2016. 2016.
 しかしながら、上述した技術では十分なノイズキャンセリング性能を得ることは困難であった。
 例えば単一指向性のマイクロホンを用いる手法では、実際に完全な単一指向性を有するマイクロホンを作ることは困難であり、制御領域内側から伝わるノイズの影響を少なからず受けることになる。
 また、単一指向性を有するマイクロホンでは周波数特性をフラットに保つことが難しいため、一般的に低域のゲインが減少するだけでなく、マイクロホン個体間のばらつきも大きいので、正確に音場を収録することが困難である。そうすると、ノイズキャンセリング性能が劣化してしまうことがある。
 本技術は、このような状況に鑑みてなされたものであり、ノイズキャンセリング性能を向上させることができるようにするものである。
 本技術の一側面の信号処理装置は、マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出するノイズ検出部と、スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する制御部とを備える。
 信号処理装置には、前記マイクアレイによる収音により得られた信号と、前記フィルタ係数とに基づいて前記出力音の信号を生成する適応フィルタ部をさらに設けることができる。
 前記適応フィルタ部には、空間周波数領域において、前記マイクアレイによる収音により得られた信号と前記フィルタ係数とに基づくフィルタリング処理を行わせ、前記出力音の信号を生成させることができる。
 前記制御部には、前記ノイズ検出部により前記制御領域内ノイズが検出された場合、前記フィルタ係数の更新が行われないようにさせることができる。
 前記ノイズ検出部には、前記マイクアレイによる収音により得られた信号に基づいて、前記制御領域内ノイズを検出させることができる。
 前記ノイズ検出部には、前記マイクアレイを構成する、前記制御領域の中心位置からの距離が互いに異なる複数のマイクアレイのそれぞれによる収音により得られた信号のそれぞれに基づいて、前記制御領域内ノイズを検出させることができる。
 前記ノイズ検出部には、前記マイクアレイによる収音により得られた信号と、前記制御領域の中心位置からの距離が前記マイクアレイとは異なる他のマイクアレイによる収音により得られた信号とに基づいて、前記制御領域内ノイズを検出させることができる。
 前記ノイズ検出部には、前記制御領域内に配置された検出用マイクロホンによる収音により得られた信号に基づいて、前記制御領域内ノイズを検出させることができる。
 前記マイクアレイを、複数のマイクアレイを所定形状に並べて配置することにより得られるものとすることができる。
 前記スピーカアレイを、複数のスピーカアレイを所定形状に並べて配置することにより得られるものとすることができる。
 前記制御領域を、前記マイクアレイとしての参照マイクアレイまたは誤差マイクアレイにより形成される領域とすることができる。
 本技術の一側面の信号処理方法またはプログラムは、マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出し、スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御するステップを含む。
 本技術の一側面においては、マイクアレイにより形成される制御領域内で発生した制御領域内ノイズが検出され、スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新が、前記制御領域内ノイズの検出結果に基づいて制御される。
 本技術の一側面によれば、ノイズキャンセリング性能を向上させることができる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術について説明する図である。 フィードフォワード型のANCシステムについて説明する図である。 空間ノイズ制御装置の構成例を示す図である。 座標系について説明する図である。 制御領域について説明する図である。 ノイズキャンセリング処理を説明するフローチャートである。 空間ノイズ制御装置の構成例を示す図である。 制御領域について説明する図である。 ノイズキャンセリング処理を説明するフローチャートである。 参照マイクアレイ、スピーカアレイ、および誤差マイクアレイの他の例について説明する図である。 参照マイクアレイ、スピーカアレイ、および誤差マイクアレイの他の例について説明する図である。 スピーカアレイおよび誤差マイクアレイの他の例について説明する図である。 スピーカアレイおよび誤差マイクアレイの他の例について説明する図である。 参照マイクアレイおよび誤差マイクアレイの他の例について説明する図である。 スピーカアレイの他の例について説明する図である。 参照マイクアレイ、スピーカアレイ、および誤差マイクアレイの他の例について説明する図である。 参照マイクアレイの他の例について説明する図である。 誤差マイクアレイの他の例について説明する図である。 コンピュータの構成例を示す図である。
 以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈本技術について〉
 本技術は、制御領域内側で発生するノイズを検出し、その検出結果に応じて適応フィルタの更新を制御することで、制御領域内側でノイズが発生した場合でも適応フィルタの発散を防ぎ、ノイズキャンセリング性能を向上させることができるようにするものである。
 まず、図1を参照して本技術を適用したノイズキャンセリングの概要について説明する。
 図1に示す例では、所定のユーザU11がいる位置を囲むように誤差マイクロホン11-1乃至誤差マイクロホン11-8が環状に並べられており、それらの誤差マイクロホン11-1乃至誤差マイクロホン11-8により誤差マイクアレイ12が構成されている。
 なお、以下、誤差マイクロホン11-1乃至誤差マイクロホン11-8を特に区別する必要のない場合、単に誤差マイクロホン11とも称することとする。
 また、誤差マイクアレイ12を囲むようにスピーカ13-1乃至スピーカ13-4が環状に並べられて配置されており、それらのスピーカ13-1乃至スピーカ13-4からスピーカアレイ14が構成されている。
 以下では、スピーカ13-1乃至スピーカ13-4を特に区別する必要のない場合、単にスピーカ13とも称することとする。
 さらに、スピーカアレイ14を囲むように、参照マイクロホン15-1乃至参照マイクロホン15-8が環状に並べられており、それらの参照マイクロホン15-1乃至参照マイクロホン15-8により参照マイクアレイ16が構成されている。
 なお、以下、参照マイクロホン15-1乃至参照マイクロホン15-8を特に区別する必要のない場合、単に参照マイクロホン15とも称することとする。
 この例では、誤差マイクロホン11により囲まれる領域、すなわち誤差マイクアレイ12の内側の領域、または参照マイクロホン15により囲まれる領域、すなわち参照マイクアレイ16の内側の領域がノイズの検出対象となる制御領域とされる。
 ここで、例えば矢印A11に示す位置など、制御領域内で発生し、制御領域外へと伝搬するノイズ(音)を制御領域内ノイズと称することとすると、制御領域は制御領域内ノイズの検出対象となる領域である。制御領域内ノイズは、例えばユーザU11が話をしたり、身動きしたりすることで発生する。
 これに対して、例えば矢印A12に示す位置など、制御領域外で発生し、制御領域内へと伝搬するノイズ(音)を外来ノイズと称することとする。この外来ノイズは、ノイズキャンセリングの対象となる音であり、特にこの外来ノイズの発生源から誤差マイクロホン11までの外来ノイズの伝搬経路は一次経路と呼ばれている。
 また、この例ではスピーカ13により囲まれる領域、すなわちスピーカアレイ14の内側の領域が、ノイズキャンセリングの対象となる領域であり、以下ではこの領域をノイズキャンセリング領域とも称することとする。
 ノイズキャンセリング時には、スピーカアレイ14によりノイズ、特に外来ノイズを打ち消すような音を出力することで、ノイズキャンセリング領域内でノイズが低減(キャンセル)され、ノイズキャンセリングが実現される。この場合、特に外来ノイズがキャンセルされるようにされ、制御領域内ノイズは低減(キャンセル)の対象とはされない。
 なお、スピーカ13から出力された音の誤差マイクロホン11までの伝搬経路、つまりスピーカ13から誤差マイクロホン11までの間の伝搬経路は二次経路と呼ばれている。
 例えばノイズキャンセリングには、適応フィルタが用いられる。これは、キャンセル対象となる外来ノイズは予め定められた既知のノイズではないからである。
 適応フィルタのフィルタ係数の更新時には、参照マイクアレイ16により音を収音することで得られた参照信号と、誤差マイクアレイ12により音を収音することで得られた誤差信号とに基づいてフィルタ係数が算出される。
 ここで、参照信号は主に外来ノイズの成分からなる信号であり、誤差信号は主にスピーカアレイ14から出力された音の成分と外来ノイズの成分との差分を示す信号である。
 スピーカアレイ14からは、このようにして得られたフィルタ係数を用いた、参照信号に対するフィルタリング処理により得られた信号に基づく音が出力され、その音により外来ノイズが低減されることになる。
 上述したように制御領域内では、ユーザU11等を要因とする制御領域内ノイズが発生する。制御領域内ノイズは、制御領域内から制御領域外へと伝搬するノイズであり、その伝搬方向がスピーカ13から出力される音の伝搬方向とは逆方向となるため制御することは困難である。すなわち、例えば制御領域内ノイズをスピーカアレイ14から出力する音により制御領域全域でキャンセルしたり、誤差マイクロホン11近傍の領域でのみキャンセルしたりすることは困難である。
 このような制御領域内ノイズが意図しない方向から誤差マイクロホン11や参照マイクロホン15に混入すると適応フィルタを発散させてしまい、適切なフィルタ係数が得られなくなってしまう可能性もある。
 そこで、本技術では、制御領域内ノイズを検出し、制御領域内ノイズが検出されたときには、適応フィルタを更新する処理、つまり適応処理を停止することで、ノイズキャンセリング性能を向上させるようにした。
〈ANCについて〉
 以下、本技術についてより具体的に説明する。
 まず、一般的なフィードフォワード型のANC(Active Noise Controll)システムについて説明する。
 図2は、一般的なフィードフォワード型のANCシステムのブロック図を示している。
 フィードフォワード型のANCシステムでは、参照マイクロホンで得られた参照信号x(nt)に対して、二次経路の推定値である推定二次経路が乗算されて得られた信号x'(nt)と、誤差信号e(nt)とに基づいてLMS(Least Mean Squares)により適応フィルタのフィルタ係数が求められる。
 そして、適応フィルタでは参照信号x(nt)に対してLMSで得られたフィルタ係数によりフィルタリング処理が行われ、その結果得られた信号に基づいてスピーカからノイズキャンセリング用の音が出力される。スピーカから出力された音の信号y(nt)は、二次経路を通って信号y'(nt)となり、誤差マイクロホンにより収音される。同時に、外来ノイズである参照信号x(nt)も一次経路を通って信号d(nt)となり誤差マイクロホンにより収音される。
 このようにして誤差マイクロホンで収音された信号d(nt)と信号y'(nt)とからなる信号が新たな誤差信号e(nt)となり、この誤差信号e(nt)がLMSへと供給される。
 このようなANCシステムは、特にFiltered-X LMSアルゴリズムと呼ばれている。なお、Filtered-X LMSアルゴリズムについては、例えば「Morgan D.R., “An analysis of multiple correlation cancellation loops with a filter in the auxiliary path,” IEEE Trans. Acoust. Speech Signal Process., ASSP28(4), 454-467, 1980.」などに詳細に記載されている。
 いま、角周波数をωとして時間周波数領域における誤差信号、一次経路、二次経路、適応フィルタのフィルタ係数、および参照信号を、それぞれE(ω)、P(ω)、S(ω)、W(ω)、およびX(ω)とすると、誤差信号E(ω)は次式(1)により表される。
Figure JPOXMLDOC01-appb-M000001
 理想的には誤差信号E(ω)=0となるときノイズが完全にキャンセル(除去)されることになるので、理想的な適応フィルタのフィルタ係数Wideal(ω)は次式(2)に示すようになる。
Figure JPOXMLDOC01-appb-M000002
 しかし、遅延なく二次経路S(ω)そのものを考慮した適応フィルタのフィルタ係数を得ることは困難であるため、二次経路の推定値である二次経路モデルS'(ω)が用いられてフィルタ係数の更新が行われる。
 時間領域で考えると、誤差信号e(nt)は、次式(3)で表される。
Figure JPOXMLDOC01-appb-M000003
 なお、式(3)において、ntは時間インデックスを示しており、d(nt)は一次経路を通って誤差マイクロホンに収音された外来ノイズの信号を示しており、s(nt)は二次経路S(ω)のインパルス応答を示している。また、式(3)において*は直線畳み込み演算を示しており、w(nt)は適応フィルタのフィルタ係数を示しており、x(nt)は参照信号を示している。
 適応フィルタのフィルタ係数w(nt)は、次式(4)に示すように誤差信号e(nt)の二乗誤差ξ'(nt)を最小化するように更新される。
Figure JPOXMLDOC01-appb-M000004
 例えば最急降下法を用いると、適応フィルタのフィルタ係数は次式(5)に示すように更新することができる。
Figure JPOXMLDOC01-appb-M000005
 なお、式(5)において、w(nt)は更新前のフィルタ係数を示しており、w(nt+1)は更新後のフィルタ係数を示している。また、式(5)においてμはステップサイズを示しており、∇ξ'(nt)は誤差信号e(nt)の二乗誤差の勾配を示している。
 ここで、二乗誤差の勾配∇ξ'(nt)は、次式(6)に示すように表されるものである。
Figure JPOXMLDOC01-appb-M000006
 なお、式(6)におけるx'(nt)は、次式(7)に示すものとされる。式(7)ではs'(nt)は二次経路モデルS'(ω)のインパルス応答を示している。
Figure JPOXMLDOC01-appb-M000007
 式(6)を上述の式(5)に代入することにより、次式(8)に示すフィルタ係数w(nt)の更新式が得られる。
Figure JPOXMLDOC01-appb-M000008
 フィードフォワード型のANCシステムでは、式(8)に示す更新式が用いられて適応フィルタのフィルタ係数が更新される。
〈空間ノイズ制御装置の構成例〉
 次に、本技術をフィードフォワード型のANCシステムに適用した具体的な実施の形態について説明する。
 図3は、本技術を適用した空間ノイズ制御装置の一実施の形態の構成例を示す図である。
 この空間ノイズ制御装置71は、フィードフォワード型のANCシステムを利用して適応フィルタのフィルタ係数を更新し、得られたフィルタ係数を用いてノイズキャンセリング領域におけるノイズキャンセリングを実現する信号処理装置である。
 空間ノイズ制御装置71は、参照マイクアレイ81、時間周波数分析部82、空間周波数分析部83、推定二次経路付加部84、誤差マイクアレイ85、時間周波数分析部86、空間周波数分析部87、制御領域内ノイズ検出部88、適応フィルタ係数算出部89、適応フィルタ部90、空間周波数合成部91、時間周波数合成部92、およびスピーカアレイ93を有している。
 参照マイクアレイ81は、例えば図1に示した参照マイクアレイ16に対応し、複数のマイクロホンを環状や球状などに配置して得られたマイクアレイである。参照マイクアレイ81は、外部の音を収音し、その結果得られた参照信号を時間周波数分析部82に供給する。なお、参照信号は、主にノイズ源から発せられた外来ノイズの成分からなる音声信号である。
 時間周波数分析部82は、参照マイクアレイ81から供給された参照信号に対して時間周波数変換を行い、その結果得られた参照信号の時間周波数スペクトルを空間周波数分析部83に供給する。
 空間周波数分析部83は、時間周波数分析部82から供給された参照信号の時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた参照信号の空間周波数スペクトルを推定二次経路付加部84および適応フィルタ部90に供給する。
 推定二次経路付加部84は、空間周波数分析部83から供給された参照信号の空間周波数スペクトルに対して二次経路の推定値である推定二次経路の空間周波数スペクトル、つまり二次経路モデルを乗算し、その結果得られた空間周波数スペクトルを適応フィルタ係数算出部89に供給する。
 誤差マイクアレイ85は、例えば図1に示した誤差マイクアレイ12に対応し、複数のマイクロホンを環状や球状などに配置して得られたマイクアレイである。誤差マイクアレイ85は、外部の音を収音し、その結果得られた誤差信号を時間周波数分析部86に供給する。
 なお、誤差信号は、主にノイズ源から発せられた外来ノイズの成分と、スピーカアレイ93から出力された音の成分とからなる音声信号である。
 ここで、スピーカアレイ93から出力される音は、外来ノイズを打ち消す、つまりキャンセルするような音である。したがって、誤差信号はノイズキャンセリング時における外来ノイズの打ち消しきれなかった成分、つまり外来ノイズとスピーカアレイ93から出力された音との誤差を示しているということができる。
 時間周波数分析部86は、誤差マイクアレイ85から供給された誤差信号に対して時間周波数変換を行い、その結果得られた誤差信号の時間周波数スペクトルを空間周波数分析部87に供給する。
 空間周波数分析部87は、時間周波数分析部86から供給された誤差信号の時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた誤差信号の空間周波数スペクトルを適応フィルタ係数算出部89に供給する。
 制御領域内ノイズ検出部88は、例えば制御領域内に配置されたカメラなどのセンサの出力であるセンサ信号や、制御領域内に配置された検出用マイクロホンの出力である収音信号等に基づいて、制御領域内で発生した制御領域内ノイズを検出する。また、制御領域内ノイズ検出部88は、制御領域内ノイズの検出結果を示すノイズ検出信号を適応フィルタ係数算出部89に供給する。
 適応フィルタ係数算出部89は、制御領域内ノイズ検出部88から供給されたノイズ検出信号に基づいて、適応フィルタのフィルタ係数の更新を制御する制御部として機能する。
 すなわち、適応フィルタ係数算出部89は、ノイズ検出信号に応じて、推定二次経路付加部84からの空間周波数スペクトルと、空間周波数分析部87からの誤差信号の空間周波数スペクトルとに基づいて適応フィルタのフィルタ係数を算出し、適応フィルタ部90に供給する。適応フィルタ係数算出部89で得られる適応フィルタのフィルタ係数は、理想的には二次経路の逆特性を有するフィルタのフィルタ係数である。
 このような適応フィルタのフィルタ係数は、ノイズキャンセリング領域において外来ノイズを低減させるため、つまりキャンセルする(打ち消す)ためにスピーカアレイ93から出力される出力音のスピーカ駆動信号の生成に用いられる。
 適応フィルタ部90は、適応フィルタ係数算出部89から供給された適応フィルタのフィルタ係数を用いて、空間周波数分析部83から供給された参照信号の空間周波数スペクトルに対してフィルタリング処理を行い、その結果得られたスピーカ駆動信号の空間周波数スペクトルを空間周波数合成部91に供給する。この場合、適応フィルタ部90では、空間周波数領域において、参照信号とフィルタ係数とに基づくフィルタリング処理が行われ、スピーカ駆動信号が生成されることになる。
 空間周波数合成部91は、適応フィルタ部90から供給された空間周波数スペクトルを空間周波数合成し、その結果得られたスピーカ駆動信号の時間周波数スペクトルを時間周波数合成部92に供給する。
 時間周波数合成部92は、空間周波数合成部91から供給されたスピーカ駆動信号の時間周波数スペクトルを時間周波数合成し、その結果得られた時間信号であるスピーカ駆動信号をスピーカアレイ93に供給する。
 スピーカアレイ93は、例えば図1に示したスピーカアレイ14に対応し、複数のスピーカを環状や球状などに配置して得られたスピーカアレイである。スピーカアレイ93は、時間周波数合成部92から供給されたスピーカ駆動信号に基づいて音を出力する。
 なお、参照マイクアレイ81、誤差マイクアレイ85、およびスピーカアレイ93の配置関係は、例えば図1における参照マイクアレイ16、誤差マイクアレイ12、およびスピーカアレイ14の配置関係と同じとなるようにされる。
 すなわち、誤差マイクアレイ85の周囲を囲むようにスピーカアレイ93が配置され、さらにそのスピーカアレイ93が囲まれるように参照マイクアレイ81が配置される。
 なお、詳細は後述するが、ここでは参照マイクアレイ81により形成される領域、すなわち参照マイクアレイ81により囲まれる領域が制御領域とされる。また、スピーカアレイ93により形成される領域、すなわちスピーカアレイ93により囲まれる領域がノイズキャンセリング領域とされる。
 ここで、空間ノイズ制御装置71を構成する各部についてより詳細に説明する。
(時間周波数分析部)
 まず、時間周波数分析部82について説明する。
 時間周波数分析部82では、参照マイクアレイ81を構成する各マイクロホンが収音することで得られた参照信号s(q,nt)に対して時間周波数変換が行われる。
 すなわち、時間周波数分析部82は、次式(9)の計算を行うことで、DFT(Discrete Fourier Transform)(離散フーリエ変換)を用いて時間周波数変換を行い、参照信号s(q,nt)から時間周波数スペクトルS(q,ntf)を求める。
Figure JPOXMLDOC01-appb-M000009
 なお、式(9)において、qは参照マイクアレイ81を構成するマイクロホンを識別するマイクロホンインデックスを示しており、q=0,1,2,…,Q-1である。また、Qは参照マイクアレイ81を構成するマイクロホンの数であるマイクロホン数を示しており、ntは時間インデックスを示している。さらに、ntfは時間周波数インデックスを示しており、MtはDFTのサンプル数を示しており、iは純虚数を示している。
 時間周波数分析部82は、時間周波数変換により得られた時間周波数スペクトルS(q,ntf)を空間周波数分析部83に供給する。
 なお、時間周波数分析部86においても、時間周波数分析部82における場合と同様の計算が行われて誤差信号に対して時間周波数変換が行われる。
(空間周波数分析部)
 空間周波数分析部83は、参照マイクアレイ81の形状、すなわち参照マイクアレイ81を構成するマイクロホンの配置形状に応じて、時間周波数分析部82から供給された時間周波数スペクトルS(q,ntf)を空間周波数分析する。すなわち、時間周波数スペクトルS(q,ntf)に対する空間周波数変換が行われる。
 例えば参照マイクアレイ81が環状マイクアレイである場合、次式(10)の計算が行われて空間周波数変換が行われる。
 なお、式(10)において、S'は空間周波数スペクトルのベクトルを示しており、Qは参照マイクアレイ81のマイクロホン数を示しており、Jinvは球ベッセル関数からなる行列を示している。
 また、Emicは環状調和関数(circular harmonic function)からなる行列であり、EH micは行列Emicのエルミート転置行列を示しており、Sは参照信号の時間周波数スペクトルS(q,ntf)のベクトルを示している。
 具体的には、空間周波数スペクトルのベクトルS'は次式(11)により表される。
Figure JPOXMLDOC01-appb-M000011
 式(11)において、S'n(ntf)(但し、n=-N,-N+1,…,N)は、参照信号の空間周波数スペクトルを示している。空間周波数スペクトルS'n(ntf)におけるnは空間周波数の次数を示しており、特にNは空間周波数の最大次数を示している。また、式(11)においてntfは時間周波数インデックスを示している。
 さらに、式(10)における球ベッセル関数からなる行列Jinvは、例えば次式(12)により表されるものとされ、環状調和関数からなる行列Emicは以下の式(13)により表されるものとされる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 なお、式(12)において、jnは空間周波数の次数がnである球ベッセル関数を示しており、cは音速を示しており、rmicは環状マイクアレイである参照マイクアレイ81の半径を示しており、ωは角周波数を示している。
 また、式(13)において、iは純虚数を示しており、n(但し、n=-N,-N+1,…,N)は空間周波数の次数を示しており、φqは参照マイクアレイ81のマイクロホンインデックスがqであるマイクロホンの位置の方位角を示している。
 ここで、マイクロホン位置の方位角および仰角について説明する。
 例えば図4に示すように原点Oを基準とし、x軸、y軸、およびz軸を各軸とする3次元の直交座標系を考えるとする。
 いま、参照マイクアレイ81を構成する所定のマイクロホンMU11と原点Oとを結ぶ直線を直線LNとし、直線LNをz軸方向からxy平面に投影して得られる直線を直線LN'とする。
 このとき、x軸と直線LN'とのなす角度φが、xy平面における原点Oから見たマイクロホンMU11の位置の方向を示す方位角とされる。また、z軸と直線LNとのなす角度θが、xy平面と垂直な平面における原点Oから見たマイクロホンMU11の位置の方向を示す仰角とされる。
 さらに、上述した式(10)におけるベクトルSは次式(14)により表される。
Figure JPOXMLDOC01-appb-M000014
 式(14)では、ベクトルSは参照マイクアレイ81の各マイクロホンで得られた参照信号の時間周波数スペクトルS(q,ntf)を要素とするベクトルとなっている。
 また、例えば参照マイクアレイ81が球状マイクアレイである場合、次式(15)の計算が行われて空間周波数変換が行われる。
Figure JPOXMLDOC01-appb-M000015
 なお、式(15)において、S'は式(11)に示した空間周波数スペクトルのベクトルであり、Qは参照マイクアレイ81のマイクロホン数を示しており、Jinvは式(12)に示した球ベッセル関数からなる行列である。
 また、Ymicは球面調和関数からなる行列であり、YH micは行列Ymicのエルミート転置行列を示しており、Sは式(14)に示した参照信号の時間周波数スペクトルS(q,ntf)のベクトルである。
 ここで、参照マイクアレイ81のマイクロホンインデックスがqであるマイクロホンの位置の仰角および方位角をθqおよびφqとし、空間周波数の次数がnおよびmである球面調和関数をYn mqq)とする。
 この場合、球面調和関数からなる行列Ymicは次式(16)により表される。なお、式(16)においてNおよびMは空間周波数の最大次数を表している。
Figure JPOXMLDOC01-appb-M000016
 空間周波数分析部83は、式(10)や式(15)に示す空間周波数変換により得られた空間周波数スペクトルS'n(ntf)を出力する。なお、空間周波数分析部87においても、空間周波数分析部83における場合と同様の計算により空間周波数変換(空間周波数分析)が行われる。
(制御領域内ノイズ検出部)
 制御領域内ノイズ検出部88では、制御領域内ノイズの検出が行われ、その検出結果を示すノイズ検出信号が生成される。
 ここで制御領域は、例えば図5に示すように参照マイクアレイ81により形成される領域、すなわち参照マイクアレイ81により囲まれる領域とされる。なお、図5において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図5に示す例では、参照マイクアレイ81の各マイクロホンにより囲まれる領域内にスピーカアレイ93および誤差マイクアレイ85が配置されている。
 空間ノイズ制御装置71では、ハッチが施された参照マイクアレイ81の内側の部分、つまり各マイクロホンにより囲まれる部分の領域が制御領域とされ、この制御領域内で発生したノイズ(音)が検出される。
 例えば制御領域内ノイズ検出部88は、制御領域を被写体として撮影するカメラから出力されたセンサ信号、すなわち画像データに基づいて制御領域内のユーザを検出するとともに、そのユーザの口の動きを検出する。
 そして、制御領域内ノイズ検出部88は、ユーザの口の動きが検出されたときには、制御領域内ノイズが検出された旨のノイズ検出信号を生成し、ユーザの口の動きが検出されなかったときには、制御領域内ノイズが検出されなかった旨のノイズ検出信号を生成する。
 また、例えば制御領域内に検出用マイクロホンを設置したり、制御領域内のユーザに検出用マイクロホンを取り付けたりして、制御領域内ノイズ検出部88が1または複数の検出用マイクロホンから出力された収音信号に基づいて制御領域内ノイズを検出してもよい。
 この場合、例えば制御領域内ノイズ検出部88は、収音信号に基づく音の音圧の時間的な変化などから制御領域内ノイズの有無を検出すればよい。
 さらに、例えば互いに設置位置が異なる検出用マイクロホン、参照マイクアレイ81、および誤差マイクアレイ85のうちの任意の2つを用いて、2つのマイクロホンから出力される信号に基づく音の音圧比等に基づいて制御領域内ノイズを検出してもよい。この場合、必要に応じて、予め2つのマイクロホンから出力される信号に基づく音の音圧などを比較しておき、その比較結果も適宜ノイズ検出に用いるようにすることができる。
 例えば参照マイクアレイ81と誤差マイクアレイ85とを用いて制御領域内ノイズを検出する場合、制御領域内ノイズが収音されたときと、外来ノイズが収音されたときとで、参照マイクアレイ81と誤差マイクアレイ85とでは得られる音圧が異なる。すなわち、例えば制御領域内ノイズが収音されたときには、参照マイクアレイ81での音圧よりも、誤差マイクアレイ85での音圧が大きくなるはずであるので、このような音圧の関係を利用して制御領域内ノイズを検出すればよい。
 このように検出用マイクロホンや、参照マイクアレイ81、誤差マイクアレイ85など、制御領域の中心位置からの距離が互いに異なる複数のマイクアレイ(マイクロホン)の出力に基づいて制御領域内ノイズを検出することも可能である。
 その他、制御領域内ノイズ検出部88では、マイクアレイを用いた音源位置推定や到来方向推定(DOA(Direction of Arrival Estimation))、それらの技術等の組み合わせなどにより制御領域内ノイズが検出されるようにしてもよい。なお、制御領域内ノイズの検出方法は、どのような方法であってもよい。
 以上のようにして制御領域内ノイズの有無が検出されると、制御領域内ノイズ検出部88はその検出結果を示すノイズ検出信号を適応フィルタ係数算出部89に供給する。
(適応フィルタ係数算出部)
 適応フィルタ係数算出部89では、誤差信号の空間周波数スペクトルと、推定二次経路の空間周波数スペクトルが乗算された参照信号の空間周波数スペクトルとに基づいて、適応フィルタのフィルタ係数が更新される。
 但し、制御領域内ノイズが検出された旨のノイズ検出信号が制御領域内ノイズ検出部88から供給された場合には、フィルタ係数の更新は行われない。すなわち、制御領域内で制御領域内ノイズが検出された場合には、フィルタ係数の更新は行われないようにされる。
 例えば、時間インデックスをntとし、時間周波数インデックスをntfとして、空間周波数分析部87から出力される誤差信号の空間周波数スペクトルをS'n err(nt,ntf)と表すとする。ここで、nは空間周波数の次数である。
 このとき、次式(17)に示す誤差信号の空間周波数スペクトルS'n err(nt,ntf)の二乗誤差ξ'(nt,ntf)が最小となるような適応フィルタのフィルタ係数が更新後のフィルタ係数として算出される。なお、式(17)において、*は複素共役を示している。
Figure JPOXMLDOC01-appb-M000017
 この場合、上述した方法と同様に次式(18)に示す更新式が得られる。
Figure JPOXMLDOC01-appb-M000018
 なお、式(18)において、w(nt,ntf)は更新前のフィルタ係数を示しており、w(nt+1,ntf)は更新後のフィルタ係数を示している。また、式(18)においてμはステップサイズを示しており、X'は次式(19)により表される。
Figure JPOXMLDOC01-appb-M000019
 式(19)において、nは空間周波数の次数を示しており、*は複素共役を示している。また、S'n ref(nt,ntf)は空間周波数分析部83の出力である参照信号の空間周波数スペクトルを示しており、この空間周波数スペクトルS'n ref(nt,ntf)は、上述した式(11)における空間周波数スペクトルS'n(ntf)である。さらにαnは推定二次経路の空間周波数スペクトルを示している。
 したがって、例えば推定二次経路付加部84では、空間周波数スペクトルS'n ref(nt,ntf)と推定二次経路の空間周波数スペクトルαnの積を求める演算が行われることになる。
 適応フィルタ係数算出部89では、推定二次経路付加部84から供給された空間周波数スペクトルS'n ref(nt,ntfn、誤差信号の空間周波数スペクトルS'n err(nt,ntf)、および更新前のフィルタ係数w(nt,ntf)に基づいて式(18)が計算され、更新後のフィルタ係数w(nt+1,ntf)が算出される。
(空間周波数合成部)
 空間周波数合成部91は、スピーカアレイ93の形状に応じて、適応フィルタ部90から供給されたスピーカ駆動信号の空間周波数スペクトルを空間周波数合成する。
 例えば空間周波数の次数をnとし、その空間周波数の最大次数をNとして、適応フィルタ部90の出力であるスピーカ駆動信号の空間周波数スペクトルをD'n(ntf)と表すとする。
 このとき、例えばスピーカアレイ93が環状スピーカアレイである場合には、空間周波数合成部91は以下の式(20)を計算することにより空間周波数合成を行う。
Figure JPOXMLDOC01-appb-M000020
 なお、式(20)においてDは空間周波数合成部91の出力となるスピーカ駆動信号の時間周波数スペクトルのベクトルを示しており、Espは環状調和関数からなる行列を示している。また、D'は空間周波数合成部91の入力となるスピーカ駆動信号の空間周波数スペクトルD'n(ntf)からなるベクトルを示している。
 すなわち、ベクトルD'は以下の式(21)により表され、行列Espは以下の式(22)により表され、ベクトルDは以下の式(23)により表される。
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
 なお、式(21)および式(23)においてntfは時間周波数インデックスを示しており、式(22)および式(23)において、lはスピーカアレイ93を構成するスピーカを識別するスピーカインデックスを示しており、l=0,1,2,…,L-1である。また、Lはスピーカアレイ93を構成するスピーカの数であるスピーカ数を示している。特に、式(23)におけるD(l,ntf)は、スピーカ駆動信号の時間周波数スペクトルを示している。
 さらに、式(22)において、iは純虚数を示しており、n(但し、n=-N,-N+1,…,N)は空間周波数の次数を示しており、φlはスピーカアレイ93のスピーカインデックスがlであるスピーカの位置の方位角を示している。この方位角φlは上述したマイクロホンの位置の方位角φqに対応するものである。
 また、例えばスピーカアレイ93が球状スピーカアレイである場合には、空間周波数合成部91は以下の式(24)を計算することにより空間周波数合成を行う。
Figure JPOXMLDOC01-appb-M000024
 なお、式(24)において、Dは式(23)に示した時間周波数スペクトルD(l,ntf)からなるベクトルであり、Yspは球面調和関数からなる行列を示している。また、D'は式(21)に示した空間周波数スペクトルD'n(ntf)からなるベクトルである。
 球面調和関数からなる行列Yspは次式(25)により表される。
Figure JPOXMLDOC01-appb-M000025
 なお、式(25)においてθlおよびφlは、上述したマイクロホンの位置の仰角θqおよび方位角φqに対応する、スピーカアレイ93のスピーカの位置の仰角θlおよび方位角φlを示しており、NおよびMは空間周波数の最大次数を表している。また、Yn mll)は球面調和関数を示している。
 空間周波数合成部91は、式(20)や式(24)に示す空間周波数合成により得られたスピーカ駆動信号の時間周波数スペクトルD(l,ntf)を時間周波数合成部92に供給する。
(時間周波数合成部)
 時間周波数合成部92は、空間周波数合成部91から供給された時間周波数スペクトルD(l,ntf)に対してIDFT(Inverse Discrete Fourier Transform)(逆離散フーリエ変換)を用いた時間周波数合成を行い、時間信号であるスピーカ駆動信号d(l,nt)を算出する。
 すなわち、時間周波数合成では、次式(26)の計算が行われる。
Figure JPOXMLDOC01-appb-M000026
 なお、式(26)において、ntは時間インデックスを示しており、MdtはIDFTのサンプル数を示しており、iは純虚数を示している。
 時間周波数合成部92は、時間周波数合成により得られたスピーカ駆動信号d(l,nt)をスピーカアレイ93に供給し、スピーカ駆動信号d(l,nt)に基づく音を出力させる。
〈ノイズキャンセリング処理の説明〉
 次に、空間ノイズ制御装置71の動作について説明する。
 すなわち、以下、図6のフローチャートを参照して空間ノイズ制御装置71により行われるノイズキャンセリング処理について説明する。
 ステップS11において、空間ノイズ制御装置71は、参照マイクアレイ81での収音を行う。すなわち、参照マイクアレイ81は、周囲の音を収音し、その結果得られた参照信号を時間周波数分析部82に供給する。
 ステップS12において、時間周波数分析部82は参照マイクアレイ81から供給された参照信号に対して時間周波数変換を行い、その結果得られた参照信号の時間周波数スペクトルを空間周波数分析部83に供給する。例えばステップS12では、上述した式(9)の計算が行われて時間周波数スペクトルが算出される。
 ステップS13において、空間周波数分析部83は、時間周波数分析部82から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを推定二次経路付加部84および適応フィルタ部90に供給する。例えばステップS13では、上述した式(10)または式(15)の計算が行われて空間周波数スペクトルが算出される。
 ステップS14において、推定二次経路付加部84は、空間周波数分析部83から供給された空間周波数スペクトルに対して推定二次経路の空間周波数スペクトルを乗算し、その結果得られた空間周波数スペクトルを適応フィルタ係数算出部89に供給する。例えばステップS14では、上述した式(19)に示した空間周波数スペクトルS'n ref(nt,ntfnが算出される。
 ステップS15において、空間ノイズ制御装置71は、誤差マイクアレイ85での収音を行う。すなわち、誤差マイクアレイ85は、周囲の音を収音し、その結果得られた誤差信号を時間周波数分析部86に供給する。
 ステップS16において、時間周波数分析部86は誤差マイクアレイ85から供給された誤差信号に対して時間周波数変換を行い、その結果得られた誤差信号の時間周波数スペクトルを空間周波数分析部87に供給する。例えばステップS16では、上述した式(9)と同様の計算が行われる。
 ステップS17において、空間周波数分析部87は、時間周波数分析部86から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを適応フィルタ係数算出部89に供給する。例えばステップS17では、上述した式(10)または式(15)と同様の計算が行われる。
 ステップS18において、制御領域内ノイズ検出部88は、例えばカメラなどのセンサの出力であるセンサ信号や、検出用マイクロホンの出力、参照信号、誤差信号などに基づいて制御領域内ノイズを検出し、その検出結果を示すノイズ検出信号を適応フィルタ係数算出部89に供給する。
 ステップS19において、適応フィルタ係数算出部89は、制御領域内ノイズ検出部88から供給されたノイズ検出信号に基づいて、適応フィルタのフィルタ係数の更新を行うか否かを判定する。例えばノイズ検出信号が制御領域内ノイズが検出されなかった旨の信号である場合、更新を行うと判定される。
 ステップS19において更新を行うと判定された場合、処理はステップS20へと進む。
 ステップS20において適応フィルタ係数算出部89は、推定二次経路付加部84からの空間周波数スペクトルと、空間周波数分析部87からの空間周波数スペクトルとに基づいて適応フィルタのフィルタ係数を算出し、フィルタ係数を更新する。例えばステップS20では、上述した式(18)の計算が行われてフィルタ係数が更新される。
 適応フィルタ係数算出部89は、得られた更新後のフィルタ係数を適応フィルタ部90に供給し、その後、処理はステップS21へと進む。
 これに対して、ステップS19において更新を行わないと判定された場合、すなわち制御領域内で制御領域内ノイズが検出された場合、ステップS20の処理は行われず、その後、処理はステップS21へと進む。
 ステップS19において更新を行わないと判定されたか、またはステップS20の処理が行われると、ステップS21の処理が行われる。
 すなわち、ステップS21において、適応フィルタ部90は適応フィルタ係数算出部89から供給された適応フィルタのフィルタ係数を用いて、空間周波数分析部83から供給された空間周波数スペクトルに対してフィルタリング処理を行う。
 適応フィルタ部90はフィルタリング処理により得られたスピーカ駆動信号の空間周波数スペクトルを空間周波数合成部91に供給する。
 ステップS22において、空間周波数合成部91は、適応フィルタ部90から供給された空間周波数スペクトルを空間周波数合成し、その結果得られたスピーカ駆動信号の時間周波数スペクトルを時間周波数合成部92に供給する。例えばステップS22では、上述した式(20)または式(24)の計算が行われて時間周波数スペクトルが算出される。
 ステップS23において、時間周波数合成部92は空間周波数合成部91から供給された時間周波数スペクトルを時間周波数合成し、その結果得られた時間信号であるスピーカ駆動信号をスピーカアレイ93に供給する。例えばステップS23では、上述した式(26)の計算が行われてスピーカ駆動信号が算出される。
 ステップS24において、スピーカアレイ93は時間周波数合成部92から供給されたスピーカ駆動信号に基づいて音を出力する。これにより、スピーカアレイ93から出力された音により、ノイズキャンセリング領域内の外来ノイズがキャンセル(低減)される。
 ステップS25において、空間ノイズ制御装置71は処理を終了するか否かを判定する。
 ステップS25において、まだ処理を終了しないと判定された場合、処理はステップS11に戻り、上述した処理が繰り返し行われる。
 これに対して、ステップS25において処理を終了すると判定された場合、ノイズキャンセリング処理は終了する。
 以上のようにして空間ノイズ制御装置71は、適応フィルタのフィルタ係数を用いたフィルタリング処理によりスピーカ駆動信号を生成し、外来ノイズを打ち消す音を出力する。このとき、空間ノイズ制御装置71は、制御領域内で発生した制御領域内ノイズを検出し、その検出結果に応じて適応フィルタのフィルタ係数の更新を制御する。
 このように、制御領域内ノイズを検出し、その検出結果に応じて適応フィルタのフィルタ係数の更新を制御することで適応フィルタの発散を抑制し、ノイズキャンセリング性能を向上させることができる。
 しかも、空間ノイズ制御装置71では、空間周波数領域でフィルタ係数の更新とフィルタリング処理が行われる。換言すれば、波面合成により外来ノイズを低減させる、つまりキャンセルする音のスピーカ駆動信号が生成される。
 したがって、ノイズキャンセリング領域全体において、外来ノイズが打ち消される(キャンセルさせる)音の波面が波面合成により得られるので、高いノイズキャンセリング性能を得ることができる。
 また、フィルタ係数の更新やフィルタリング処理が空間周波数領域で行われるので、伝達特性の対角化により計算量を削減することができる。これにより、適応フィルタのフィルタ係数が迅速に収束し、ノイズキャンセリング性能を向上させることができる。
〈第2の実施の形態〉
〈空間ノイズ制御装置の構成例〉
 なお、以上においては、本技術をフィードフォワード型のANCシステムに適用した場合を例として説明を行ったが、本技術をフィードバック型のANCシステムに適用することも勿論可能である。以下では、本技術をフィードバック型のANCシステムに適用した場合を例として説明を行う。
 そのような場合、空間ノイズ制御装置は、例えば図7に示すように構成される。なお、図7において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図7に示す空間ノイズ制御装置131は、誤差マイクアレイ85、時間周波数分析部86、空間周波数分析部87、推定二次経路付加部141、加算部142、推定二次経路付加部143、制御領域内ノイズ検出部88、適応フィルタ係数算出部89、適応フィルタ部90、空間周波数合成部91、時間周波数合成部92、およびスピーカアレイ93を有している。
 空間ノイズ制御装置131では、参照マイクアレイ81は用いられず、誤差マイクアレイ85のみが用いられて音が収音される。
 また、空間周波数分析部87で得られた誤差信号の空間周波数スペクトルは、適応フィルタ係数算出部89および加算部142に供給される。さらに適応フィルタ部90で得られたスピーカ駆動信号の空間周波数スペクトルは、空間周波数合成部91および推定二次経路付加部141に供給される。
 推定二次経路付加部141は推定二次経路付加部84に対応し、適応フィルタ部90から供給されたスピーカ駆動信号の空間周波数スペクトルに対して推定二次経路の空間周波数スペクトルを乗算し、その結果得られた空間周波数スペクトルを加算部142に供給する。
 加算部142は、空間周波数分析部87から供給された誤差信号の空間周波数スペクトルと、推定二次経路付加部141から供給された空間周波数スペクトルとを加算し、得られた空間周波数スペクトルを推定二次経路付加部143および適応フィルタ部90に供給する。
 推定二次経路付加部143は推定二次経路付加部84に対応し、加算部142から供給された空間周波数スペクトルに対して推定二次経路の空間周波数スペクトルを乗算し、その結果得られた空間周波数スペクトルを適応フィルタ係数算出部89に供給する。
 適応フィルタ係数算出部89は、制御領域内ノイズ検出部88から供給されたノイズ検出信号に応じて、推定二次経路付加部143からの空間周波数スペクトルと、空間周波数分析部87からの誤差信号の空間周波数スペクトルとに基づいて適応フィルタのフィルタ係数を算出し、適応フィルタ部90に供給する。
 適応フィルタ部90は、適応フィルタ係数算出部89から供給された適応フィルタのフィルタ係数を用いて、加算部142から供給された空間周波数スペクトルに対してフィルタリング処理を行い、スピーカ駆動信号の空間周波数スペクトルを生成する。
 このように空間ノイズ制御装置131がフィードバック型とされるときには、参照マイクアレイ81は用いられないので、制御領域は、例えば図8に示すように誤差マイクアレイ85により形成される領域、つまり誤差マイクアレイ85により囲まれる領域とされる。なお、図8において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図8に示す例では、スピーカアレイ93の各スピーカにより囲まれる領域内に誤差マイクアレイ85が配置されている。
 空間ノイズ制御装置131では、ハッチが施された誤差マイクアレイ85の内側の部分、つまり各マイクロホンにより囲まれる部分の領域が制御領域とされ、この制御領域内で発生したノイズが検出される。また、ノイズキャンセリング領域については、空間ノイズ制御装置71における場合と同様に、スピーカアレイ93により囲まれた領域がノイズキャンセリング領域とされる。
〈ノイズキャンセリング処理の説明〉
 続いて、空間ノイズ制御装置131の動作について説明する。
 すなわち、以下、図9のフローチャートを参照して空間ノイズ制御装置131により行われるノイズキャンセリング処理について説明する。
 ノイズキャンセリング処理が開始されると、ステップS61乃至ステップS63の処理が行われるが、これらの処理は図6のステップS15乃至ステップS17の処理と同様であるので、その説明は省略する。但し、ステップS63では、空間周波数変換により得られた誤差信号の空間周波数スペクトルが空間周波数分析部87から、適応フィルタ係数算出部89および加算部142へと供給される。
 ステップS64において、推定二次経路付加部141は、適応フィルタ部90から供給されたスピーカ駆動信号の空間周波数スペクトルに対して推定二次経路の空間周波数スペクトルを乗算し、その結果得られた空間周波数スペクトルを加算部142に供給する。
 ステップS65において、加算部142は加算処理を行う。すなわち、加算部142は、空間周波数分析部87から供給された空間周波数スペクトルと、推定二次経路付加部141から供給された空間周波数スペクトルとを加算し、得られた空間周波数スペクトルを推定二次経路付加部143および適応フィルタ部90に供給する。
 ステップS66において、推定二次経路付加部143は、加算部142から供給された空間周波数スペクトルに対して推定二次経路の空間周波数スペクトルを乗算し、その結果得られた空間周波数スペクトルを適応フィルタ係数算出部89に供給する。
 ステップS66の処理が行われると、その後、ステップS67乃至ステップS74の処理が行われてノイズキャンセリング処理は終了するが、これらの処理は図6のステップS18乃至ステップS25の処理と同様であるので、その説明は省略する。
 但し、ステップS69では、適応フィルタ係数算出部89は、推定二次経路付加部143からの空間周波数スペクトルと、空間周波数分析部87からの空間周波数スペクトルとに基づいて適応フィルタのフィルタ係数を更新する。
 また、ステップS70では、適応フィルタ部90は、適応フィルタ係数算出部89から供給された適応フィルタのフィルタ係数を用いて、加算部142から供給された空間周波数スペクトルに対してフィルタリング処理を行い、スピーカ駆動信号の空間周波数スペクトルを算出する。さらに、適応フィルタ部90は、得られたスピーカ駆動信号の空間周波数スペクトルを空間周波数合成部91および推定二次経路付加部141に供給する。
 以上のようにして空間ノイズ制御装置131は、適応フィルタのフィルタ係数を用いたフィルタリング処理によりスピーカ駆動信号を生成し、外来ノイズを打ち消す音を出力する。このとき、空間ノイズ制御装置131は、制御領域内で発生した制御領域内ノイズを検出し、その検出結果に応じて適応フィルタのフィルタ係数の更新を制御する。
 このように、制御領域内ノイズを検出し、その検出結果に応じて適応フィルタのフィルタ係数の更新を制御することで適応フィルタの発散を抑制し、ノイズキャンセリング性能を向上させることができる。
〈適用例〉
 ところで、上述した空間ノイズ制御装置71や空間ノイズ制御装置131は、例えば車両や病院などに適用することが考えられる。
 すなわち、例えば乗用車等の車両の車室内に多数のスピーカからなるスピーカアレイと、多数のマイクロホンからなるマイクアレイが配置されているとする。
 このとき制御領域外側から到来するエンジンノイズやロードノイズなどを、本技術を利用して低減(キャンセル)させれば、車内を静かに保つことができるようになる。特に、この場合、車内で制御領域内ノイズが発生した場合でも、本技術を用いればノイズキャンセリング性能の低下を抑制することができる。
 また、病院には複数人の入院患者が同じ部屋で生活する相部屋がある。そのような場合、カーテンで視界は遮れるものの、各入院患者に対して他の患者の音やその周囲の音が聞こえてしまう。そこで、本技術を適用した空間ノイズ制御装置をつい立て上に設置し、マイクアレイやスピーカアレイにより所定の領域を囲むことで、制御領域外側からの音をキャンセルすることができる。これにより、入院患者ごとに静かな空間を確保することができる。さらに、全ての患者のベッド部分にそれぞれ本技術を適用した空間ノイズ制御装置を設置することで、お互いの声などが相互に抑圧され、プライバシの保護にも利用することができる。
〈変形例1〉
 なお、以上においては、参照マイクアレイ81や誤差マイクアレイ85、スピーカアレイ93が球状や環状である場合を具体的な例として説明したが、これらの参照マイクアレイ81や誤差マイクアレイ85、スピーカアレイ93の形状は直線形状など、どのような形状であってもよい。
 例えば参照マイクアレイ、誤差マイクアレイ、およびスピーカアレイが直線形状とされる場合、それらのマイクアレイとスピーカアレイの配置は図10に示すようになる。
 図10に示す例では、直線マイクアレイである参照マイクアレイ171、直線スピーカアレイであるスピーカアレイ172、および直線マイクアレイである誤差マイクアレイ173が、それらのマイクロホンやスピーカが並ぶ方向と垂直な方向に並べられている。
 すなわち、スピーカアレイ172の後方、つまり図中、上側に参照マイクアレイ171が配置されており、スピーカアレイ172の前方、つまり図中、下側に誤差マイクアレイ173が配置されている。ここではスピーカアレイ172による音の放射方向は図中、下側とされている。
 例えばフィードフォワード型の空間ノイズ制御装置71において、参照マイクアレイ81、誤差マイクアレイ85、およびスピーカアレイ93に代えて、参照マイクアレイ171、誤差マイクアレイ173、およびスピーカアレイ172が用いられる。
 この場合、参照マイクアレイ171よりも図中、下側の矩形の領域R11が制御領域とされ、この領域R11のうちのスピーカアレイ172よりも図中、下側、つまり誤差マイクアレイ173側の領域がノイズキャンセリング領域とされる。
 また、例えば図11に示すように直線マイクアレイや直線スピーカアレイを矩形枠形状に並べて配置するようにしてもよい。
 図11に示す例では、4つの直線マイクアレイからなる矩形枠形状の参照マイクアレイ201により囲まれる領域内に、4つの直線スピーカアレイからなる矩形枠形状のスピーカアレイ202が配置されている。さらに、このスピーカアレイ202により囲まれる領域内に4つの直線マイクアレイからなる矩形枠形状の誤差マイクアレイ203が配置されている。この例では、例えばフィードフォワード型の空間ノイズ制御装置71において、参照マイクアレイ81、誤差マイクアレイ85、およびスピーカアレイ93に代えて、参照マイクアレイ201、誤差マイクアレイ203、およびスピーカアレイ202が用いられることになる。
 この場合、参照マイクアレイ201により囲まれる領域R21が制御領域とされ、スピーカアレイ202により囲まれる領域がノイズキャンセリング領域とされる。
 同様に、フィードバック型の空間ノイズ制御装置131において直線マイクアレイと直線スピーカアレイが用いられる場合、空間ノイズ制御装置131では、例えば図12に示すようにスピーカアレイ93に代えてスピーカアレイ172が用いられ、誤差マイクアレイ85に代えて誤差マイクアレイ173が用いられる。なお、図12において図10における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
 図12に示す例では、誤差マイクアレイ173よりも図中、下側の矩形の領域R31が制御領域とされ、スピーカアレイ172よりも図中、下側、つまり誤差マイクアレイ173側の矩形の領域がノイズキャンセリング領域とされる。
 さらに、フィードバック型の空間ノイズ制御装置131において矩形枠形状のマイクアレイとスピーカアレイが用いられる場合、空間ノイズ制御装置131では、例えば図13に示すようにスピーカアレイ93に代えてスピーカアレイ202が用いられ、誤差マイクアレイ85に代えて誤差マイクアレイ203が用いられる。なお、図13において図11における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
 図13に示す例では、誤差マイクアレイ203により囲まれる矩形の領域R41が制御領域とされ、スピーカアレイ202により囲まれる矩形の領域がノイズキャンセリング領域とされる。
 以上のように、参照マイクアレイや誤差マイクアレイ、スピーカアレイが直線形状や矩形枠形状である場合でも上述した処理を行って、制御領域内で制御領域内ノイズが検出された場合には、適応フィルタのフィルタ係数が更新されないようにし、ノイズキャンセリング性能を向上させることができる。
〈変形例2〉
 また、参照マイクアレイや誤差マイクアレイを構成する各マイクロホンのそれぞれに代えて、例えば図14に示すように球状マイクアレイや環状マイクアレイを用いるようにしてもよい。なお、図14において、図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図14に示す例では、参照マイクアレイ231により囲まれる領域にスピーカアレイ93が配置され、そのスピーカアレイ93により囲まれる領域に誤差マイクアレイ232が配置されている。また、参照マイクアレイ231は参照マイクアレイ81に対応し、誤差マイクアレイ232は誤差マイクアレイ85に対応している。
 この例では、参照マイクアレイ231は複数のマイクアレイ241-1乃至マイクアレイ241-8から構成されている。なお、以下、マイクアレイ241-1乃至マイクアレイ241-8を特に区別する必要のない場合、単にマイクアレイ241とも称する。
 各マイクアレイ241は、複数のマイクロホンを球状または環状に並べて得られた球状マイクアレイまたは環状マイクアレイである。ここでは、複数のマイクアレイ241を環状に並べて配置することで1つの環状マイクアレイが構成され、その環状マイクアレイが参照マイクアレイ231とされている。
 同様に、誤差マイクアレイ232は複数のマイクアレイ242-1乃至マイクアレイ242-4から構成されている。なお、以下、マイクアレイ242-1乃至マイクアレイ242-4を特に区別する必要のない場合、単にマイクアレイ242とも称する。
 各マイクアレイ242は、複数のマイクロホンを球状または環状に並べて得られた球状マイクアレイまたは環状マイクアレイである。ここでは、複数のマイクアレイ242を環状に並べて配置することで1つの環状マイクアレイが構成され、その環状マイクアレイが誤差マイクアレイ232とされている。
 この例では、空間ノイズ制御装置71において、参照マイクアレイ81に代えて参照マイクアレイ231が用いられ、誤差マイクアレイ85に代えて誤差マイクアレイ232が用いられる。
 なお、参照マイクアレイ231は複数のマイクアレイ241からなる球状マイクアレイであってもよく、同様に誤差マイクアレイ232は複数のマイクアレイ242からなる球状マイクアレイであってもよい。
 参照マイクアレイ231や誤差マイクアレイ232をこのような構成とすることで、制御領域の内側からの制御領域内ノイズの参照マイクアレイ231への漏れ込みを抑制することができる。また、スピーカアレイ93から出力されるノイズキャンセリングのための音のうちの参照マイクアレイ231へと回り込む音などの不要な音の漏れ込みも抑制することができる。
 参照マイクアレイ231や誤差マイクアレイ232を環状マイクアレイや球状マイクアレイであるマイクアレイ241やマイクアレイ242により構成することで、それらの各マイクアレイ241やマイクアレイ242に指向性をつけることができるようになる。したがって、例えば制御領域外に指向性が向くようにマイクアレイ241やマイクアレイ242を制御することで、ノイズキャンセリング性能をさらに向上させることができる。
 環状マイクアレイや球状マイクアレイを用いると指向性を持たせることが可能であるものの現実的には完全な指向性を持たせることは困難であり、指向性の制御だけでは不要な音の漏れ込みを完全に防止することはできない。しかし、参照マイクアレイや誤差マイクアレイを複数のマイクアレイから構成する技術を上述した空間ノイズ制御装置と組み合わせて用いることで、ノイズキャンセリング性能をさらに向上させることができる。
 なお、マイクアレイの指向性制御については、例えば「Meyer, Jens, and Gary Elko. "A highly scalable spherical microphone array based on an orthonormal decomposition of the soundfield." Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEE International Conference on. Vol. 2. IEEE, 2002.」などに詳細に記載されている。
〈変形例3〉
 また、ノイズキャンセリングのための音を出力するスピーカアレイを構成する各スピーカのそれぞれに代えて、例えば図15に示すように球状スピーカアレイや環状スピーカアレイを用いるようにしてもよい。なお、図15において、図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図15に示す例では、参照マイクアレイ81により囲まれる領域にスピーカアレイ271が配置され、そのスピーカアレイ271により囲まれる領域に誤差マイクアレイ85が配置されている。また、スピーカアレイ271はスピーカアレイ93に対応している。
 この例では、スピーカアレイ271は複数のスピーカアレイ281-1乃至スピーカアレイ281-4から構成されている。なお、以下、スピーカアレイ281-1乃至スピーカアレイ281-4を特に区別する必要のない場合、単にスピーカアレイ281とも称する。
 各スピーカアレイ281は、複数のスピーカを球状または環状に並べて得られた球状スピーカアレイまたは環状スピーカアレイである。ここでは、複数のスピーカアレイ281を環状に並べて配置することで1つの環状スピーカアレイが構成され、その環状スピーカアレイがスピーカアレイ271とされている。この例では、空間ノイズ制御装置71において、スピーカアレイ93に代えてスピーカアレイ271が用いられる。
 なお、スピーカアレイ271は、複数のスピーカアレイ281からなる球状スピーカアレイであってもよい。
 スピーカアレイ271を複数のスピーカアレイ281から構成することで、スピーカアレイ271により囲まれたノイズキャンセリング領域内でだけ音を再生し、そのノイズキャンセリング領域外への音の漏れ出しを抑制することができる。
 例えばスピーカアレイ281を構成するノイズキャンセリング領域の内側を向くように配置されたスピーカにより出力され、参照マイクアレイ81へと回り込む音を、ノイズキャンセリング領域外において、スピーカアレイ281を構成するノイズキャンセリング領域の外側を向くように配置されたスピーカにより出力された音により打ち消すことができる。このように、スピーカアレイ271を用いれば、スピーカアレイ271から出力される音の参照マイクアレイ81への回り込みを抑制することができ、ノイズキャンセリング性能を向上させることができる。
 例えば環状スピーカアレイや球状スピーカアレイを複数並べてスピーカアレイとすれば、スピーカアレイにより囲まれる領域外への音の回り込みを抑制することが可能であるものの現実的にはそれだけでは完全に音の回り込みを防止することは困難である。しかし、スピーカアレイを複数のスピーカアレイから構成する技術を上述した空間ノイズ制御装置と組み合わせて用いることで、ノイズキャンセリング性能をさらに向上させることができる。
 なお、複数のスピーカアレイを並べて1つのスピーカアレイを構成し、音の回り込みを抑制する技術については、例えば「Samarasinghe, Prasanga N., et al. "3D soundfield reproduction using higher order loudspeakers." 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013.」などに詳細に記載されている。
〈変形例4〉
 さらに、例えば図16に示すように環状マイクアレイや球状マイクアレイを複数並べて1つのマイクアレイとする技術と、環状スピーカアレイや球状スピーカアレイを複数並べて1つのスピーカアレイとする技術を組み合わせて用いるようにしてもよい。なお、図16において図14または図15における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 この例では、空間ノイズ制御装置71において参照マイクアレイ81、誤差マイクアレイ85、およびスピーカアレイ93に代えて、参照マイクアレイ231、誤差マイクアレイ232、およびスピーカアレイ271が用いられる。
 図16に示す例では、参照マイクアレイ231により囲まれる領域にスピーカアレイ271が配置され、そのスピーカアレイ271により囲まれる領域に誤差マイクアレイ232が配置されている。
 なお、図14乃至図16を参照して説明した例では、球状または環状のマイクアレイやスピーカアレイを用いて1つのマイクアレイやスピーカアレイを構成する技術を、フィードフォワード型の空間ノイズ制御装置に適用する場合について説明した。しかし、このような球状または環状のマイクアレイやスピーカアレイを用いて1つのマイクアレイやスピーカアレイを構成する技術を、フィードバック型の空間ノイズ制御装置に適用してもよい。
〈変形例5〉
 その他、例えば制御領域内ノイズ検出部88において、参照マイクアレイで収音して得られた参照信号に基づいて制御領域内ノイズを検出するようにしてもよい。
 そのような場合、例えば参照マイクアレイは図17に示すように構成される。なお、図17において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図17の例では、空間ノイズ制御装置71において参照マイクアレイ81に代えて参照マイクアレイ311が用いられている。また、参照マイクアレイ311により囲まれる領域にスピーカアレイ93が配置され、そのスピーカアレイ93により囲まれる領域に誤差マイクアレイ85が配置されている。
 参照マイクアレイ311は、環状マイクアレイまたは球状マイクアレイであるマイクアレイ321-1と、環状マイクアレイまたは球状マイクアレイであるマイクアレイ321-2とから構成されている。
 特に、ここではマイクアレイ321-1の半径は、マイクアレイ321-2の半径よりも小さくなっているため、マイクアレイ321-1はマイクアレイ321-2に対して、よりスピーカアレイ93に近い側の位置に配置されている。
 すなわち、制御領域の中心位置からマイクアレイ321-1までの距離と、制御領域の中心位置からマイクアレイ321-2までの距離とが異なる。
 そのため、例えば制御領域内で発生した制御領域内ノイズを参照マイクアレイ311により収音すると、マイクアレイ321-1で得られた参照信号の音圧が、マイクアレイ321-2で得られた参照信号の音圧よりも大きくなる。
 これに対して、制御領域外から制御領域内へと伝搬してくる外来ノイズを参照マイクアレイ311により収音すると、マイクアレイ321-1で得られた参照信号の音圧よりも、マイクアレイ321-2で得られた参照信号の音圧が大きくなる。
 したがって、参照マイクアレイ311で得られた参照信号を制御領域内ノイズ検出部88に供給すれば、制御領域内ノイズ検出部88はマイクアレイ321-1で得られた参照信号の音圧と、マイクアレイ321-2で得られた参照信号の音圧とを比較することで、制御領域内ノイズを検出することができる。
 なお、参照マイクアレイ311における場合と同様に、誤差マイクアレイ85を制御領域の中心からの距離が異なる2以上のマイクアレイから構成し、制御領域内ノイズ検出部88において誤差マイクアレイ85から供給された誤差信号に基づいて制御領域内ノイズを検出するようにしてもよい。
 また、例えば図16に示した参照マイクアレイ231や誤差マイクアレイ232についても、それらのマイクアレイを構成するマイクロホンとして、制御領域の中心からの距離が異なる2以上のマイクロホンがある。したがって、参照マイクアレイ231や誤差マイクアレイ232で得られた参照信号や誤差信号を用いても、参照マイクアレイ311における場合と同様にして、制御領域内ノイズを検出することができる。
〈変形例6〉
 さらに、空間ノイズ制御装置131においても、誤差マイクアレイで収音して得られた誤差信号に基づいて制御領域内ノイズを検出することができる。
 そのような場合、例えば誤差マイクアレイは図18に示すように構成される。なお、図18において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
 図18の例では、空間ノイズ制御装置131において誤差マイクアレイ85に代えて誤差マイクアレイ351が用いられている。また、スピーカアレイ93により囲まれる領域に誤差マイクアレイ351が配置されている。
 誤差マイクアレイ351は、環状マイクアレイまたは球状マイクアレイであるマイクアレイ361-1と、環状マイクアレイまたは球状マイクアレイであるマイクアレイ361-2とから構成されている。
 特に、ここではマイクアレイ361-1の半径は、マイクアレイ361-2の半径よりも小さくなっているため、マイクアレイ361-2はマイクアレイ361-1に対して、よりスピーカアレイ93に近い側の位置に配置されている。
 すなわち、制御領域の中心位置からマイクアレイ361-1までの距離と、制御領域の中心位置からマイクアレイ361-2までの距離とが異なる。
 そのため、図17を参照して説明した場合と同様に、マイクアレイ361-1で得られた誤差信号の音圧と、マイクアレイ361-2で得られた誤差信号の音圧とを比較することにより、制御領域内ノイズを検出することができる。
 したがって、この例では誤差マイクアレイ351で得られた誤差信号が制御領域内ノイズ検出部88に供給され、制御領域内ノイズ検出部88はマイクアレイ361-1で得られた誤差信号の音圧と、マイクアレイ361-2で得られた誤差信号の音圧とを比較することで、制御領域内ノイズを検出する。
〈コンピュータの構成例〉
 ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
 図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
 バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
 入力部506は、キーボード、マウス、マイクアレイ、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカアレイなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
 以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 さらに、本技術は、以下の構成とすることも可能である。
(1)
 マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出するノイズ検出部と、
 スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する制御部と
 を備える信号処理装置。
(2)
 前記マイクアレイによる収音により得られた信号と、前記フィルタ係数とに基づいて前記出力音の信号を生成する適応フィルタ部をさらに備える
 (1)に記載の信号処理装置。
(3)
 前記適応フィルタ部は、空間周波数領域において、前記マイクアレイによる収音により得られた信号と前記フィルタ係数とに基づくフィルタリング処理を行い、前記出力音の信号を生成する
 (2)に記載の信号処理装置。
(4)
 前記制御部は、前記ノイズ検出部により前記制御領域内ノイズが検出された場合、前記フィルタ係数の更新が行われないようにする
 (1)乃至(3)の何れか一項に記載の信号処理装置。
(5)
 前記ノイズ検出部は、前記マイクアレイによる収音により得られた信号に基づいて、前記制御領域内ノイズを検出する
 (1)乃至(4)の何れか一項に記載の信号処理装置。
(6)
 前記ノイズ検出部は、前記マイクアレイを構成する、前記制御領域の中心位置からの距離が互いに異なる複数のマイクアレイのそれぞれによる収音により得られた信号のそれぞれに基づいて、前記制御領域内ノイズを検出する
 (5)に記載の信号処理装置。
(7)
 前記ノイズ検出部は、前記マイクアレイによる収音により得られた信号と、前記制御領域の中心位置からの距離が前記マイクアレイとは異なる他のマイクアレイによる収音により得られた信号とに基づいて、前記制御領域内ノイズを検出する
 (5)に記載の信号処理装置。
(8)
 前記ノイズ検出部は、前記制御領域内に配置された検出用マイクロホンによる収音により得られた信号に基づいて、前記制御領域内ノイズを検出する
 (1)乃至(4)の何れか一項に記載の信号処理装置。
(9)
 前記マイクアレイは、複数のマイクアレイを所定形状に並べて配置することにより得られるものである
 (1)乃至(8)の何れか一項に記載の信号処理装置。
(10)
 前記スピーカアレイは、複数のスピーカアレイを所定形状に並べて配置することにより得られるものである
 (1)乃至(9)の何れか一項に記載の信号処理装置。
(11)
 前記制御領域は、前記マイクアレイとしての参照マイクアレイまたは誤差マイクアレイにより形成される領域である
 (1)乃至(10)の何れか一項に記載の信号処理装置。
(12)
 マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出し、
 スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する
 ステップを含む信号処理方法。
(13)
 マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出し、
 スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する
 ステップを含む処理をコンピュータに実行させるプログラム。
 71 空間ノイズ制御装置, 81 参照マイクアレイ, 85 誤差マイクアレイ, 88 制御領域内ノイズ検出部, 89 適応フィルタ係数算出部, 90 適応フィルタ部, 93 スピーカアレイ

Claims (13)

  1.  マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出するノイズ検出部と、
     スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する制御部と
     を備える信号処理装置。
  2.  前記マイクアレイによる収音により得られた信号と、前記フィルタ係数とに基づいて前記出力音の信号を生成する適応フィルタ部をさらに備える
     請求項1に記載の信号処理装置。
  3.  前記適応フィルタ部は、空間周波数領域において、前記マイクアレイによる収音により得られた信号と前記フィルタ係数とに基づくフィルタリング処理を行い、前記出力音の信号を生成する
     請求項2に記載の信号処理装置。
  4.  前記制御部は、前記ノイズ検出部により前記制御領域内ノイズが検出された場合、前記フィルタ係数の更新が行われないようにする
     請求項1に記載の信号処理装置。
  5.  前記ノイズ検出部は、前記マイクアレイによる収音により得られた信号に基づいて、前記制御領域内ノイズを検出する
     請求項1に記載の信号処理装置。
  6.  前記ノイズ検出部は、前記マイクアレイを構成する、前記制御領域の中心位置からの距離が互いに異なる複数のマイクアレイのそれぞれによる収音により得られた信号のそれぞれに基づいて、前記制御領域内ノイズを検出する
     請求項5に記載の信号処理装置。
  7.  前記ノイズ検出部は、前記マイクアレイによる収音により得られた信号と、前記制御領域の中心位置からの距離が前記マイクアレイとは異なる他のマイクアレイによる収音により得られた信号とに基づいて、前記制御領域内ノイズを検出する
     請求項5に記載の信号処理装置。
  8.  前記ノイズ検出部は、前記制御領域内に配置された検出用マイクロホンによる収音により得られた信号に基づいて、前記制御領域内ノイズを検出する
     請求項1に記載の信号処理装置。
  9.  前記マイクアレイは、複数のマイクアレイを所定形状に並べて配置することにより得られるものである
     請求項1に記載の信号処理装置。
  10.  前記スピーカアレイは、複数のスピーカアレイを所定形状に並べて配置することにより得られるものである
     請求項1に記載の信号処理装置。
  11.  前記制御領域は、前記マイクアレイとしての参照マイクアレイまたは誤差マイクアレイにより形成される領域である
     請求項1に記載の信号処理装置。
  12.  マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出し、
     スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する
     ステップを含む信号処理方法。
  13.  マイクアレイにより形成される制御領域内で発生した制御領域内ノイズを検出し、
     スピーカアレイにより形成されるノイズキャンセリング領域への外来ノイズを低減させるために前記スピーカアレイにより出力される出力音の信号の生成に用いる適応フィルタのフィルタ係数の更新を、前記制御領域内ノイズの検出結果に基づいて制御する
     ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2018/006112 2017-03-07 2018-02-21 信号処理装置および方法、並びにプログラム WO2018163810A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020197025101A KR20190126069A (ko) 2017-03-07 2018-02-21 신호 처리 장치 및 방법, 그리고 프로그램
BR112019018089-3A BR112019018089A2 (pt) 2017-03-07 2018-02-21 Dispositivo e método de processamento de sinal, e, programa.
US16/490,124 US20200074978A1 (en) 2017-03-07 2018-02-21 Signal processing device and method, and program
CN201880014624.5A CN110383372A (zh) 2017-03-07 2018-02-21 信号处理设备与方法、及程序
EP18764644.3A EP3594937B1 (en) 2017-03-07 2018-02-21 Signal processing device and method, and program
JP2019504443A JP7028238B2 (ja) 2017-03-07 2018-02-21 信号処理装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017042680 2017-03-07
JP2017-042680 2017-03-07

Publications (1)

Publication Number Publication Date
WO2018163810A1 true WO2018163810A1 (ja) 2018-09-13

Family

ID=63448698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006112 WO2018163810A1 (ja) 2017-03-07 2018-02-21 信号処理装置および方法、並びにプログラム

Country Status (7)

Country Link
US (1) US20200074978A1 (ja)
EP (1) EP3594937B1 (ja)
JP (1) JP7028238B2 (ja)
KR (1) KR20190126069A (ja)
CN (1) CN110383372A (ja)
BR (1) BR112019018089A2 (ja)
WO (1) WO2018163810A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085117A1 (ja) * 2018-10-25 2020-04-30 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2021100461A1 (ja) * 2019-11-18 2021-05-27 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
KR102262837B1 (ko) * 2020-10-30 2021-06-09 덕흥 주식회사 능동소음제어장치
US20210327174A1 (en) * 2020-04-21 2021-10-21 Hyundai Motor Company Allophone inspection device and inspection method thereof
WO2022034795A1 (ja) * 2020-08-11 2022-02-17 ソニーグループ株式会社 信号処理装置および方法、ノイズキャンセリング装置、並びにプログラム
WO2022065075A1 (ja) * 2020-09-25 2022-03-31 ソニーグループ株式会社 信号処理装置および方法、並びに音響制御装置および方法
US20230125941A1 (en) * 2021-10-25 2023-04-27 Gn Hearing A/S Wave-domain approach for cancelling noise entering an aperture

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110767247B (zh) * 2019-10-29 2021-02-19 支付宝(杭州)信息技术有限公司 语音信号处理方法、声音采集装置和电子设备
US11170752B1 (en) * 2020-04-29 2021-11-09 Gulfstream Aerospace Corporation Phased array speaker and microphone system for cockpit communication
CN112466271A (zh) * 2020-11-30 2021-03-09 声耕智能科技(西安)研究院有限公司 一种分布式主动噪声控制方法、系统、设备及存储介质
CN112562629A (zh) * 2020-12-10 2021-03-26 南京汉得利智能科技有限公司 一种汽车空调管道风噪降噪的装置及方法
CN112822593B (zh) * 2021-01-04 2023-03-31 泰凌微电子(上海)股份有限公司 自适应降噪控制方法、自适应降噪控制装置和耳机
CN113035168B (zh) * 2021-02-25 2023-10-24 泰凌微电子(上海)股份有限公司 一种自适应降噪方法以及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102886A (ja) * 1992-09-22 1994-04-15 Mitsubishi Electric Corp 消音装置
JP2016145963A (ja) * 2015-02-02 2016-08-12 パナソニックIpマネジメント株式会社 騒音低減装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123437A (ja) * 1994-10-25 1996-05-17 Matsushita Electric Ind Co Ltd 騒音制御装置
JP4742226B2 (ja) * 2005-09-28 2011-08-10 国立大学法人九州大学 能動消音制御装置及び方法
JP2009029405A (ja) * 2007-06-22 2009-02-12 Panasonic Corp 騒音制御装置
US9037458B2 (en) * 2011-02-23 2015-05-19 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US8737634B2 (en) * 2011-03-18 2014-05-27 The United States Of America As Represented By The Secretary Of The Navy Wide area noise cancellation system and method
US9928824B2 (en) * 2011-05-11 2018-03-27 Silentium Ltd. Apparatus, system and method of controlling noise within a noise-controlled volume
US9058801B2 (en) * 2012-09-09 2015-06-16 Apple Inc. Robust process for managing filter coefficients in adaptive noise canceling systems
US9576588B2 (en) * 2014-02-10 2017-02-21 Apple Inc. Close-talk detector for personal listening device with adaptive active noise control
EP3091750B1 (en) * 2015-05-08 2019-10-02 Harman Becker Automotive Systems GmbH Active noise reduction in headphones

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102886A (ja) * 1992-09-22 1994-04-15 Mitsubishi Electric Corp 消音装置
JP2016145963A (ja) * 2015-02-02 2016-08-12 パナソニックIpマネジメント株式会社 騒音低減装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN KLEINHENRICHDETLEF KRAHE: "The Reflection Equivalence Formulation for a circular ANC System", PROCEEDINGS OF INTER-NOISE 2016, 2016
MEYERJENSGARY ELKO: "Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEE International Conference", vol. 2, 2002, IEEE, article "A highly scalable spherical microphone array based on an orthonormal decomposition of the soundfield"
MORGAN D.R.: "An analysis of multiple correlation cancellation loops with a filter in the auxiliary path", IEEE TRANS. ACOUST. SPEECH SIGNAL PROCESS., ASSP, vol. 28, no. 4, 1980, pages 454 - 467, XP000601783, doi:10.1109/TASSP.1980.1163430
SAMARASINGHE, PRASANGA N. ET AL.: "2013 IEEE International Conference on Acoustics, Speech and Signal Processing", 2013, IEEE, article "3D soundfield reproduction using higher order loudspeakers"
See also references of EP3594937A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085117A1 (ja) * 2018-10-25 2020-04-30 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2021100461A1 (ja) * 2019-11-18 2021-05-27 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
US20210327174A1 (en) * 2020-04-21 2021-10-21 Hyundai Motor Company Allophone inspection device and inspection method thereof
US11636717B2 (en) * 2020-04-21 2023-04-25 Hyundai Motor Company Allophone inspection device and inspection method thereof
WO2022034795A1 (ja) * 2020-08-11 2022-02-17 ソニーグループ株式会社 信号処理装置および方法、ノイズキャンセリング装置、並びにプログラム
WO2022065075A1 (ja) * 2020-09-25 2022-03-31 ソニーグループ株式会社 信号処理装置および方法、並びに音響制御装置および方法
KR102262837B1 (ko) * 2020-10-30 2021-06-09 덕흥 주식회사 능동소음제어장치
US20230125941A1 (en) * 2021-10-25 2023-04-27 Gn Hearing A/S Wave-domain approach for cancelling noise entering an aperture
US11908444B2 (en) * 2021-10-25 2024-02-20 Gn Hearing A/S Wave-domain approach for cancelling noise entering an aperture

Also Published As

Publication number Publication date
BR112019018089A2 (pt) 2020-03-24
US20200074978A1 (en) 2020-03-05
CN110383372A (zh) 2019-10-25
KR20190126069A (ko) 2019-11-08
JPWO2018163810A1 (ja) 2020-01-09
JP7028238B2 (ja) 2022-03-02
EP3594937A1 (en) 2020-01-15
EP3594937B1 (en) 2023-05-24
EP3594937A4 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
WO2018163810A1 (ja) 信号処理装置および方法、並びにプログラム
US10224018B2 (en) Arrangements and methods for active noise cancelling
US10117019B2 (en) Noise-reducing directional microphone array
Kajikawa et al. Recent advances on active noise control: open issues and innovative applications
JP6616768B2 (ja) アクティブ・ノイズ・コントロール・システム
Iwai et al. Multichannel feedforward active noise control system combined with noise source separation by microphone arrays
US20100296666A1 (en) Apparatus and method for noise cancellation in voice communication
US10037755B2 (en) Method and system for active noise reduction
EP1488661A2 (en) Reducing noise in audio systems
Shi et al. Feedforward multichannel virtual-sensing active control of noise through an aperture: Analysis on causality and sensor-actuator constraints
Zhang et al. Noise cancellation over spatial regions using adaptive wave domain processing
Cheer et al. The application of a multi-reference control strategy to noise cancelling headphones
US7181026B2 (en) Post-processing scheme for adaptive directional microphone system with noise/interference suppression
Shen et al. Multi-channel wireless hybrid active noise control with fixed-adaptive control selection
Murata et al. Global and local mode-domain adaptive algorithms for spatial active noise control using higher-order sources
Ho et al. Time-division multiple reference approach for multiple-channel active noise control system
Kuo et al. Adaptive algorithms and experimental verification of feedback active noise control systems
Arikawa et al. Spatial active noise control method based on sound field interpolation from reference microphone signals
Patel et al. A hybrid multi-reference subband control strategy for active noise control headphones
WO2020085117A1 (ja) 信号処理装置および方法、並びにプログラム
WO2021100461A1 (ja) 信号処理装置および方法、並びにプログラム
Xiao et al. Spatially selective active noise control systems
Lawin-Ore et al. Analysis of the average performance of the multi-channel Wiener filter for distributed microphone arrays using statistical room acoustics
CN113132848A (zh) 滤波器设计方法、装置以及入耳式主动降噪耳机
Antoñanzas et al. Control effort strategies for acoustically coupled distributed acoustic nodes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18764644

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019504443

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197025101

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112019018089

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2018764644

Country of ref document: EP

Effective date: 20191007

ENP Entry into the national phase

Ref document number: 112019018089

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20190830