WO2018167921A1 - 信号処理装置 - Google Patents

信号処理装置 Download PDF

Info

Publication number
WO2018167921A1
WO2018167921A1 PCT/JP2017/010714 JP2017010714W WO2018167921A1 WO 2018167921 A1 WO2018167921 A1 WO 2018167921A1 JP 2017010714 W JP2017010714 W JP 2017010714W WO 2018167921 A1 WO2018167921 A1 WO 2018167921A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter coefficient
coefficient vector
generation unit
directivity
signal processing
Prior art date
Application number
PCT/JP2017/010714
Other languages
English (en)
French (fr)
Inventor
信秋 田中
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019505628A priority Critical patent/JP6567216B2/ja
Priority to US16/482,396 priority patent/US20200035214A1/en
Priority to DE112017007051.1T priority patent/DE112017007051B4/de
Priority to CN201780088262.XA priority patent/CN110419228B/zh
Priority to PCT/JP2017/010714 priority patent/WO2018167921A1/ja
Priority to TW106132227A priority patent/TW201835900A/zh
Publication of WO2018167921A1 publication Critical patent/WO2018167921A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341—Circuits therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present invention relates to a signal processing apparatus that obtains a signal that emphasizes voice coming from a specific direction by performing signal processing on an observation signal obtained from a sensor array including a plurality of acoustic sensors.
  • the signal processing device uses a sensor array composed of a plurality of acoustic sensors (for example, microphones) and performs predetermined signal processing on the observation signals obtained from the respective acoustic sensors, thereby arriving from the direction desired by the user.
  • the voice (target sound) to be emphasized can be emphasized, and the other voice (interfering sound) can be suppressed.
  • Such technology not only makes it easy for humans to hear speech, but also improves robustness against noise in speech recognition systems and the like.
  • the judgment accuracy deteriorates due to ambient noise. It can be used for purposes such as prevention.
  • Non-Patent Document 1 discloses a technique for forming directivity using linear beam forming.
  • the linear beam forming has an advantage that the deterioration of the sound quality of the output signal is small as compared with the method involving nonlinear signal processing.
  • a filter coefficient vector is generated so as to minimize the square error between the directivity in the target direction and the directivity actually formed after giving the directivity in the target direction desired by the user.
  • no restriction is imposed on the absolute value of each element constituting the generated filter coefficient vector.
  • the absolute value of each element constituting the filter coefficient vector may be a very large value depending on the target frequency and microphone arrangement. If the filter coefficient vector contains elements with a large absolute value, the correct output signal can be obtained theoretically by performing beamforming using the filter coefficient vector. There are also individual differences and electrical noises, so that the influence thereof is magnified and adversely affects the output signal.
  • the signal level of the electrical noise is enhanced to a level that can be perceived by human hearing with respect to the signal level of the target sound included in the output signal, and the sound quality is improved. There is a possibility that it will deteriorate significantly.
  • the present invention has been made to solve such a problem, and an object thereof is to obtain a signal processing device capable of avoiding deterioration of sound quality of an output signal due to individual differences of acoustic sensors or electrical noise. To do.
  • a signal processing device includes a plurality of acoustic sensors, a filter coefficient vector generation unit that generates a filter coefficient vector for forming directivity in a target direction by beamforming within a set value, and a plurality of Beam that performs beamforming based on the observation signal obtained from the acoustic sensor and the filter coefficient vector generated by the filter coefficient vector generation unit, forms the directivity in the target direction, and outputs a signal that emphasizes the formed directivity sound And a forming unit.
  • the filter coefficient vector for forming the directivity in the target direction is suppressed within the set value by beam forming and is generated. As a result, it is possible to avoid deterioration of the sound quality of the output signal due to individual differences between acoustic sensors and electrical noise.
  • a non-directional microphone is used as a specific example of the acoustic sensor, and the sensor array is described as a microphone array.
  • the acoustic sensor in the present invention is not limited to the omnidirectional microphone, and includes, for example, a directional microphone and an ultrasonic sensor.
  • FIG. 1 is a configuration diagram of a signal processing device according to the present embodiment.
  • the illustrated signal processing apparatus 1 includes a microphone array 2 including a plurality of microphones, a filter coefficient vector generation unit 3, and a beam forming unit 4.
  • the microphone array 2 is configured to perform A / D conversion on analog audio signals observed by the plurality of microphones 2-1 to 2-m and output the obtained digital signals as observation signals.
  • the filter coefficient vector generation unit 3 is a processing unit that generates a filter coefficient vector for forming directivity in a direction desired by the user by beam forming.
  • a direction desired by the user is a target direction. Further, it is assumed that the information on the target direction is given to the filter coefficient vector generation unit 3 from the outside of the signal processing device 1.
  • the filter coefficient vector includes information on gain and delay given to the observation signal of each microphone constituting the microphone array 2.
  • the filter coefficient vector generation unit 3 suppresses the size of the filter coefficient vector so that the gain that the generated filter coefficient vector gives to the observation signal of each microphone does not become excessive.
  • the beam forming unit 4 outputs an audio signal in which the voice coming from the target direction is emphasized based on the observation signal obtained from each microphone constituting the microphone array 2 and the filter coefficient vector obtained from the filter coefficient vector generation unit 3. It is a processing unit. Details of this process will be described later.
  • the filter coefficient vector generation unit 3 and the beam forming unit 4 are implemented, for example, as software on a computer or dedicated hardware.
  • FIG. 2 shows an example of a hardware configuration when the signal processing apparatus is implemented by a computer
  • FIG. 3 shows an example of a hardware configuration when implemented by dedicated hardware.
  • the signal processing apparatus 1 includes a plurality of microphones 101-1 to 101-m, an A / D converter 102, a processor 103, a memory 104, and a D / A converter 105.
  • the output device 5 in the figure is the same as the output device 5 in FIG.
  • a program that configures the functions of the filter coefficient vector generation unit 3 and the beamforming unit 4 is expanded in the memory 104 and executed by the processor 103 to generate a filter coefficient vector.
  • the unit 3 and the beam forming unit 4 are realized.
  • the plurality of microphones 101-1 to 101-m and the A / D converter 102 constitute the microphone array 2.
  • the D / A converter 105 is a circuit that converts the digital signal of the beam forming unit 4 into an analog signal when the output device 5 is a device driven by an analog signal.
  • the processing circuit 200 is a processing circuit that realizes the functions of the filter coefficient vector generation unit 3 and the beam forming unit 4. Other components are the same as those in FIG.
  • the output device 5 is a device that outputs or stores an output signal from the beam forming unit 4 as a processing result of the signal processing device 1.
  • the output device 5 when the output device 5 is a speaker, an output signal is output as sound from the speaker.
  • the output device 5 can be a storage medium such as a hard disk or a memory. In such a case, the output signal output from the beam forming unit 4 is recorded as digital data in a hard disk or memory.
  • FIG. 4 is a configuration diagram of the signal processing device 1 showing details of the beamforming unit 4.
  • the beamforming unit 4 includes a DFT unit 41, an observation signal vector generation unit 42, an inner product unit 43, and an IDFT unit 44.
  • the DFT unit 41 is a circuit that is provided corresponding to each microphone in the microphone array 2 and performs a discrete Fourier transform (DFT).
  • the observation signal vector generation unit 42 is a circuit that integrates and outputs the frequency spectrum output from each DFT unit 41 into one complex vector.
  • the inner product unit 43 is a circuit that calculates the inner product of the output from the observation signal vector generation unit 42 and the output from the filter coefficient vector generation unit 3.
  • the IDFT unit 44 is a circuit that performs an inverse Fourier transform (IDFT: inverse discrete Fourier transform) on the output from the inner product unit 43.
  • IDFT inverse discrete Fourier transform
  • the microphone array 2 is composed of M microphones 2-1 to 2-m, and the observation signal obtained at the time t obtained from the m-th microphone is represented as x m (t). .
  • the observation signals output from the microphones 2-1 to 2-m are respectively input to the DFT unit 41, and the DFT unit 41 obtains a frequency spectrum obtained by performing short-time discrete Fourier transform on the input signal. Output.
  • the frequency spectrum (complex number) output from the DFT unit 41 corresponding to the m-th microphone is represented as X m ( ⁇ , ⁇ ). Where ⁇ is a short-time frame number and ⁇ is a discrete frequency.
  • the observation signal vector generation unit 42 integrates the m frequency spectra output from the DFT unit 41 into one complex vector x ( ⁇ , ⁇ ) as in the following equation (1), and x ( ⁇ , ⁇ ) Is output.
  • T represents transposition of a vector or a matrix.
  • the filter coefficient vector generation unit 3 outputs a filter coefficient vector w ( ⁇ ), which is a complex vector having the same number of elements (M) as the complex vector x ( ⁇ , ⁇ ).
  • the complex number that is the mth element of the filter coefficient vector w ( ⁇ ) represents the gain that the absolute value gives to the observation signal of the mth microphone, and the declination represents the delay that is given to the observation signal.
  • a method of generating an appropriate w ( ⁇ ) from the directivity in the target direction in the filter coefficient vector generation unit 3 will be described later.
  • the inner product is expressed by the following equation (2) from x ( ⁇ , ⁇ ) output from the observed signal vector generation unit 42 and the filter coefficient vector w ( ⁇ ) output from the filter coefficient vector generation unit 3. And Y ( ⁇ , ⁇ ) obtained as a result is output.
  • Y ( ⁇ , ⁇ ) is a short-time discrete Fourier transform of the output signal.
  • the IDFT unit 44 performs inverse short-time discrete Fourier transform on Y ( ⁇ , ⁇ ) output from the inner product unit 43, and outputs a final output signal y (t). If the filter coefficient vector w ( ⁇ ) is appropriately designed, this output signal is a speech signal in which speech having directivity in the target direction is emphasized.
  • N points that divide the circumference of a circle that is sufficiently larger than the size of the microphone array around the microphone array 2 into N equal parts will be considered.
  • a steering vector (the number of elements is M) for the n-th point viewed from the microphone array 2 is a ⁇ , n .
  • a ( ⁇ ) be a matrix created by arranging N steering vectors as follows.
  • r be a vector created by arranging desired gains corresponding to N points as shown in the following equation. That is, r represents ideal directivity.
  • the filter coefficient vector w ( ⁇ ) that minimizes e can be obtained by the following equation (6) by differentiating e with w ( ⁇ ) and setting it to 0.
  • + indicates a Moore-Penrose type pseudo inverse matrix.
  • FIG. 5 shows an example of a microphone composed of four microphones. These microphones are arranged at the apexes of a square having a diagonal length of 4 cm.
  • the directivity shown in FIG. 6 is given as the ideal directivity r and w ( ⁇ ) is simply calculated from the equation (6), the directivity as shown in FIG.
  • the norm for each frequency of w ( ⁇ ) is as shown in FIG. It can be seen from FIG. 8 that the norm of w ( ⁇ ) is remarkably large particularly at low frequencies.
  • One of the methods for suppressing the absolute value of each element of the filter coefficient vector w ( ⁇ ) from being excessive is to use singular value decomposition when calculating the Moore-Penrose pseudo inverse matrix in Equation (6).
  • a singular value close to 0 is replaced with 0.
  • the formed directivity is slightly sharpened as shown in FIG. 9, but the norm of w ( ⁇ ) is as shown in FIG. FIG. 10 shows that the norm of the filter coefficient vector is smaller than that in FIG. This makes it possible to guarantee the sound quality of the output signal even in an actual environment where there are individual differences between microphones and electrical noise.
  • FIG. 11 is a flowchart showing the above process in the filter coefficient vector generation unit 3.
  • the filter coefficient vector generation unit 3 first reads the directivity (r) in the target direction (step ST1). This is equivalent to reading r shown in the above equation (4). Further, the filter coefficient vector generation unit 3 calculates a matrix A ( ⁇ ) as shown in the above equation (3) (step ST2). Next, the filter coefficient vector generation unit 3 performs singular value decomposition on the matrix A ( ⁇ ) obtained in step ST2, and replaces singular values below the threshold with 0 (step ST3). Then, a Moore-Penrose pseudo inverse matrix of the matrix A ( ⁇ ) is obtained, and the calculation of Expression (6) is performed (step ST4). Finally, the filter coefficient vector w ( ⁇ ) obtained by Expression (6) is output (step ST5).
  • the signal processing device by suppressing the magnitude of the filter coefficient vector from becoming excessive, individual differences of microphones and electrical noise existing in the actual environment are excessively enlarged. It is possible to prevent the sound quality from being deteriorated by being mixed into the output signal.
  • the process of calculating the pseudo inverse matrix is implemented using singular value decomposition, but the method for obtaining the pseudo inverse matrix after substituting small singular values with 0 uses singular value decomposition. This can be achieved with very small implementation changes. Therefore, since the time required for mounting and testing can be reduced, the cost of the apparatus can be expected to be reduced.
  • a plurality of acoustic sensors and a filter coefficient vector for forming directivity in a target direction by beam forming are suppressed within a set value and generated.
  • the filter coefficient vector generated by the filter coefficient vector generation unit Based on the filter coefficient vector generated by the filter coefficient vector generation unit, the observation signals obtained from the plurality of acoustic sensors and the filter coefficient vector generated by the filter coefficient vector generation unit, the directivity in the target direction is formed, and the formed directivity Since a beam forming unit that outputs a signal with enhanced speech is provided, it is possible to avoid deterioration of the sound quality of the output signal due to individual differences in acoustic sensors and electrical noise.
  • the filter coefficient vector generation unit generates a filter coefficient vector in which the norm of the filter coefficient vector is within a set value by singular value decomposition. Time can be reduced, and the cost can be reduced.
  • Embodiment 2 the filter coefficient vector generation unit 3 is configured to generate a filter coefficient vector by L2 regularization.
  • Other configurations are the same as those of the first embodiment shown in FIG.
  • the filter coefficient vector generation unit 3 calculates the filter coefficient vector w ( ⁇ ) using singular value decomposition.
  • there are other methods for suppressing the size of the filter coefficient vector For example, there is a method of adding a penalty term for increasing the norm of w ( ⁇ ) to the error function shown in Expression (5). Such a method is called L2 regularization, and the filter coefficient vector generation unit 3 of Embodiment 2 generates a filter coefficient vector using this L2 regularization.
  • the error e in the expression (5) in the first embodiment is rewritten as the following expression (7) in the second embodiment.
  • ⁇ is a parameter for adjusting the penalty contribution.
  • Equation (8) When e in Equation (7) is differentiated by w ( ⁇ ) and set to 0, a filter coefficient vector w ( ⁇ ) that minimizes e is obtained as in Equation (8) below.
  • H represents Hermitian transpose and I represents a unit matrix.
  • FIG. 13 is a flowchart showing the operation in the filter coefficient vector generation unit 3.
  • step ST1 and step ST2 are the same as the operation of the first embodiment shown in FIG.
  • the filter coefficient vector generation unit 3 of Embodiment 2 calculates Expression (8) in Step ST11.
  • the filter coefficient vector w ((omega)) obtained by Formula (8) is output (step ST12).
  • the filter coefficient vector calculated based on L2 regularization has a continuous value compared to the filter coefficient vector based on singular value decomposition shown in FIG. is there. That is, the filter coefficient vector based on L2 regularization does not change abruptly according to the frequency, so that it can be expected to improve the sound quality of the output signal.
  • the filter coefficient vector generation unit generates the filter coefficient vector by L2 regularization, so that the sound quality of the output signal can be further improved. it can.
  • Embodiment 3 the norm threshold value of the filter coefficient vector is given to the filter coefficient vector generation unit 3, and the filter coefficient vector generation unit 3 is configured to generate a filter coefficient vector that realizes a value within the threshold value. is there.
  • Other configurations are the same as those of the first embodiment shown in FIG.
  • the method of suppressing the size of the filter coefficient vector by the singular value decomposition of the first embodiment and the L2 regularization of the second embodiment needs to give the threshold of the singular value and the coefficient of the penalty term as parameters, respectively. Since it is not self-evident how much the norm of the filter coefficient vector generated by these parameters falls, trial and error are required to adjust the parameters. On the other hand, if the range of values that can be taken by the norm of the filter coefficient vector is explicitly specified, trial and error parameter adjustment becomes unnecessary. Therefore, in the third embodiment, the filter coefficient vector generation unit 3 explicitly specifies a range of values that can be taken by the norm of the filter coefficient vector as a threshold, and the filter coefficient vector generation unit 3 A filter coefficient vector that realizes the norm is generated.
  • w ( ⁇ ) is calculated by a simple method such as Expression (6). After calculation, there is a method for obtaining w ( ⁇ ) that minimizes the error e under the constraint that the norm of w ( ⁇ ) coincides with ⁇ in the frequency band where the norm of w ( ⁇ ) exceeds ⁇ . That is, the filter coefficient vector generation unit 3 sets the error between the directivity in the target direction and the directivity formed by the beam forming unit 4 within a set value under the constraint that the norm of the filter coefficient vector is equal to or less than the threshold value. Generate a filter coefficient vector.
  • it is difficult to analytically find w ( ⁇ ) that minimizes the error e under the constraint that the norm of w ( ⁇ ) coincides with ⁇ but a numerical solution can be obtained by using the Newton method or the like. Can be sought.
  • FIG. 15 is a flowchart showing the operation in the filter coefficient vector generation unit 3.
  • step ST1 and step ST2 are the same as the operation of the first embodiment shown in FIG.
  • the filter coefficient vector generation unit 3 of Embodiment 3 calculates Expression (6) (step ST21). Furthermore, it is determined whether the norm of the obtained w ( ⁇ ) is equal to or less than a threshold value (step ST22).
  • the optimum w ( ⁇ ) is obtained by the Newton method under the constraint that the norm of w ( ⁇ ) matches the threshold value (step ST23), and the w ( ⁇ ) is output ( Step ST23).
  • the norm of w ( ⁇ ) is equal to or smaller than the threshold value in step ST22, the w ( ⁇ ) is output (step ST24), and the operation is terminated.
  • w ( ⁇ ) that minimizes the error e is obtained under the constraint that the norm of w ( ⁇ ) matches ⁇ in the frequency band where the norm of w ( ⁇ ) exceeds ⁇ . Therefore, the directivity closest to the directivity in the target direction is formed within the range of values that the filter coefficient vector can take, so that the influence of individual microphones and the influence of electrical noise can be minimized and It is possible to accurately emphasize incoming speech.
  • the filter coefficient vector generation unit generates a filter coefficient vector that is given a norm of the filter coefficient vector as a threshold and realizes a norm within the threshold. As a result, the parameters can be adjusted quickly, and the mounting cost of the apparatus can be reduced.
  • the filter coefficient vector generation unit has the directivity in the target direction and the directivity formed by the beam forming unit under the constraint that the norm of the filter coefficient vector is equal to or less than the threshold.
  • the filter coefficient vector is generated so that the error with the specified value is within the set value, so that the sound coming from the target direction is accurately emphasized while minimizing the influence of individual acoustic sensor differences and electrical noise. be able to.
  • the signal processing device performs a signal processing on an observation signal obtained from a sensor array composed of a plurality of acoustic sensors, thereby enhancing a signal that emphasizes sound coming from a specific direction.
  • the present invention relates to a signal processing apparatus to be obtained, and is suitable for use in a voice recognition system or a device monitoring system.
  • 1 signal processing device 2 microphone array, 3 filter coefficient vector generation unit, 4 beam forming unit, 5 output device.

Abstract

フィルタ係数ベクトル生成部（３）は、ビームフォーミングによって目的方向の指向性を形成するためのフィルタ係数ベクトルを設定値以内に抑制して生成する。ビームフォーミング部（４）は、マイクロホンアレイ（２）から得られる観測信号とフィルタ係数ベクトル生成部（３）で生成されたフィルタ係数ベクトルに基づきビームフォーミングを行い、目的方向の指向性を形成し、形成した指向性の音声を強調した信号を出力する。

Description

信号処理装置
　本発明は、複数の音響センサで構成されるセンサアレイから得られる観測信号に対して信号処理を施すことで特定の方向から到来する音声を強調した信号を得る信号処理装置に関するものである。
　信号処理装置は、複数の音響センサ（例えばマイクロホン）から構成されるセンサアレイを利用し、各音響センサから得られる観測信号に対して所定の信号処理を施すことで、ユーザが所望する方向から到来する音声（目的音）を強調し、それ以外の音声（妨害音）を抑制することができる。
　この装置によって、例えば、エアコンなどの機器から発生する騒音により聞き取りにくくなった音声を明瞭化したり、複数の話者が同時に発話しているときに所望の話者の発話だけを強調したりすることが可能となる。
　このような技術は、音声を人間にとって聞き取りやすくするだけでなく、音声認識システムなどにおける雑音に対する頑健性を向上させることもできる。また、人間の発話を明瞭化する以外にも、例えば、機器の作動音に異常な音が含まれていないかどうかを自動的に判定する機器監視システムにおいて、周囲の騒音による判定精度の劣化を防止する用途などに利用することができる。
　センサアレイを利用して信号処理によって指向性を形成する手法は、従来から種々開示されている。例えば、非特許文献１では線形ビームフォーミングを利用して指向性を形成する技術について開示されている。線形ビームフォーミングは、非線形な信号処理を伴う方法と比較して、出力信号の音質の劣化が小さいという利点がある。
池田生馬，尾本章，"８０チャンネルマイクアレイ収音システムの５．１ｃｈサラウンド再生に向けての検討，"音講論集，ｐｐ．５８７‐５８８，Ｓｅｐ．２０１２．
　上記従来の技術では、ユーザが所望する目的方向の指向性を与えた上で、目的方向の指向性と実際に形成される指向性の二乗誤差を最小化するようにフィルタ係数ベクトルを生成しているが、生成されるフィルタ係数ベクトルを構成する各要素の絶対値の大きさについて、どのような制約も施されていない。
　フィルタ係数ベクトルの大きさに制約がない場合、対象とする周波数やマイクロホン配置によっては、フィルタ係数ベクトルを構成する各要素の絶対値は非常に大きな値となる場合がある。フィルタ係数ベクトルに大きな絶対値を持つ要素が含まれている場合、理論的にはそのフィルタ係数ベクトルを用いてビームフォーミングを行うことで正しい出力信号を得ることができるが、実環境においては音響センサの個体差や電気的なノイズも存在しているため、それらの影響が拡大されて出力信号に悪影響を及ぼすこととなる。
　音響センサの個体差の影響が拡大されると、目的方向の指向性と実際に形成される指向性との乖離が大きくなるため、目的方向から到来する音声（目的音）が強調されなくなってしまったり、それ以外の音声（妨害音）が強調されてしまったりする可能性がある。
　また、電気的なノイズが拡大されると、出力信号に含まれる目的音の信号レベルに対して、電気的なノイズの信号レベルが人間の聴覚においても知覚可能なレベルにまで強調され、音質が著しく劣化してしまう可能性がある。
　この発明は、かかる問題を解決するためになされたもので、音響センサの個体差や電気的なノイズに起因する出力信号の音質の劣化を回避することのできる信号処理装置を得ることを目的とする。
　この発明に係る信号処理装置は、複数の音響センサと、ビームフォーミングによって目的方向の指向性を形成するためのフィルタ係数ベクトルを設定値以内に抑制して生成するフィルタ係数ベクトル生成部と、複数の音響センサから得られる観測信号とフィルタ係数ベクトル生成部で生成されたフィルタ係数ベクトルに基づきビームフォーミングを行い、目的方向の指向性を形成し、形成した指向性の音声を強調した信号を出力するビームフォーミング部とを備えたものである。
　この発明に係る信号処理装置は、ビームフォーミングによって目的方向の指向性を形成するためのフィルタ係数ベクトルを設定値以内に抑制して生成するようにしたものである。これにより、音響センサの個体差や電気的なノイズに起因する出力信号の音質の劣化を回避することができる。
この発明の実施の形態１の信号処理装置の構成図である。 この発明の実施の形態１の信号処理装置のハードウェア構成図である。 この発明の実施の形態１の信号処理装置の他の例のハードウェア構成図である。 この発明の実施の形態１の信号処理装置のビームフォーミング部の詳細を示す構成図である。 この発明の実施の形態１の信号処理装置における４個のマイクロホンから構成されるマイクロホンの例を示す説明図である。 この発明の実施の形態１の信号処理装置の理想の指向性を示す説明図である。 この発明の実施の形態１の信号処理装置における計算上得られる指向性の説明図である。 この発明の実施の形態１の信号処理装置における周波数毎のノルムを示す説明図である。 この発明の実施の形態１の信号処理装置における特異値分解を利用した場合の指向性を示す説明図である。 この発明の実施の形態１の信号処理装置における図９の場合の周波数毎のノルムを示す説明図である。 この発明の実施の形態１の信号処理装置におけるフィルタ係数ベクトル生成部の動作を示すフローチャートである。 この発明の実施の形態２の信号処理装置における周波数毎のノルムを示す説明図である。 この発明の実施の形態２の信号処理装置におけるフィルタ係数ベクトル生成部の動作を示すフローチャートである。 この発明の実施の形態３の信号処理装置における周波数毎のノルムを示す説明図である。 この発明の実施の形態３の信号処理装置におけるフィルタ係数ベクトル生成部の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。なお、以降の実施の形態では、音響センサの具体例として無指向性のマイクロホンを用い、センサアレイはマイクロホンアレイとして説明する。ただし、本発明における音響センサは無指向性マイクロホンに限定されるものではなく、例えば指向性マイクロホンや超音波センサなども含まれるものとする。
実施の形態１．
　図１は、本実施の形態による信号処理装置の構成図である。
　図示の信号処理装置１は、複数のマイクロホンによって構成されるマイクロホンアレイ２と、フィルタ係数ベクトル生成部３と、ビームフォーミング部４を備える。マイクロホンアレイ２は、複数のマイクロホン２－１～２－ｍによって観測されたアナログ音声信号に対してＡ／Ｄ変換を施し、得られたデジタル信号を観測信号として出力するよう構成されている。フィルタ係数ベクトル生成部３は、ビームフォーミングによって、ユーザが所望する方向の指向性を形成するためのフィルタ係数ベクトルを生成する処理部である。なお、以下、ユーザが所望する方向を目的方向とする。また、目的方向の情報は、信号処理装置１の外部よりフィルタ係数ベクトル生成部３に与えられるとする。フィルタ係数ベクトルは、マイクロホンアレイ２を構成する各マイクロホンの観測信号に対して与える利得や遅延に関する情報を含んでいる。このとき、フィルタ係数ベクトル生成部３は、生成されるフィルタ係数ベクトルが各マイクロホンの観測信号に与える利得が過大とならないようにフィルタ係数ベクトルの大きさを抑制する。ビームフォーミング部４は、マイクロホンアレイ２を構成する各マイクロホンから得られる観測信号と、フィルタ係数ベクトル生成部３から得られるフィルタ係数ベクトルに基づき、目的方向から到来する音声を強調した音声信号を出力する処理部である。なお、この処理の詳細については後述する。
　フィルタ係数ベクトル生成部３とビームフォーミング部４は、例えば、コンピュータ上のソフトウェアか、それぞれ専用のハードウェアとして実装される。図２は信号処理装置をコンピュータによって実装する場合のハードウェア構成の例、図３は専用のハードウェアによって実装する場合のハードウェア構成の例である。
　図２の構成では、信号処理装置１は、複数のマイクロホン１０１－１～１０１－ｍ、Ａ／Ｄ変換器１０２、プロセッサ１０３、メモリ１０４、Ｄ／Ａ変換器１０５からなる。図中の出力装置５は、図１中の出力装置５と同様である。図２のハードウェアで図１の構成を実現する場合、メモリ１０４にフィルタ係数ベクトル生成部３とビームフォーミング部４の機能を構成するプログラムを展開し、プロセッサ１０３で実行することでフィルタ係数ベクトル生成部３とビームフォーミング部４を実現する。なお、複数のマイクロホン１０１－１～１０１－ｍとＡ／Ｄ変換器１０２でマイクロホンアレイ２を構成している。また、Ｄ／Ａ変換器１０５は、出力装置５がアナログ信号で駆動される装置である場合、ビームフォーミング部４のデジタル信号をアナログ信号に変換する回路である。
　また、図３の構成では、複数のマイクロホン１０１－１～１０１－ｍ、Ａ／Ｄ変換器１０２、Ｄ／Ａ変換器１０５、処理回路２００からなる。処理回路２００は、フィルタ係数ベクトル生成部３及びビームフォーミング部４の機能を実現する処理回路である。他の各構成は図２と同様である。
　出力装置５は、ビームフォーミング部４からの出力信号を信号処理装置１の処理結果として出力または記憶する装置である。例えば、出力装置５がスピーカである場合は、そのスピーカから出力信号が音声として出力される。出力装置５は、ハードディスクやメモリなどの記憶媒体とすることも可能である。このような場合、ビームフォーミング部４から出力された出力信号は、ハードディスクやメモリにデジタルデータとして記録される。
　図４は、ビームフォーミング部４の詳細を示す信号処理装置１の構成図である。
　図示のように、ビームフォーミング部４は、ＤＦＴ部４１、観測信号ベクトル生成部４２、内積部４３、ＩＤＦＴ部４４を備える。ＤＦＴ部４１は、マイクロホンアレイ２におけるそれぞれのマイクロホンに対応して設けられ、離散フーリエ変換（ＤＦＴ：ｄｉｓｃｒｅｔｅ　ｆｏｕｒｉｅｒ　ｔｒａｎｓｆｏｒｍ）を行う回路である。観測信号ベクトル生成部４２は、それぞれのＤＦＴ部４１から出力された周波数スペクトルを一つの複素ベクトルに統合して出力する回路である。内積部４３は、観測信号ベクトル生成部４２からの出力と、フィルタ係数ベクトル生成部３からの出力の内積を計算する回路である。ＩＤＦＴ部４４は、内積部４３からの出力に対して逆フーリエ変換（ＩＤＦＴ：ｉｎｖｅｒｓｅ　ｄｉｓｃｒｅｔｅ　Ｆｏｕｒｉｅｒ　ｔｒａｎｓｆｏｒｍ）を行う回路である。
　次に、実施の形態１の信号処理装置１の動作について図４に示す構成を用いて説明する。ここでは、マイクロホンアレイ２がＭ個のマイクロホン２－１～２－ｍで構成されている場合を想定しており、ｍ番目のマイクロホンから得られる時刻ｔにおける観測信号をｘｍ（ｔ）と表す。
　各マイクロホン２－１～２－ｍから出力された観測信号は、それぞれＤＦＴ部４１に入力され、ＤＦＴ部４１は入力された信号に対して短時間離散フーリエ変換を施して得られた周波数スペクトルを出力する。ｍ番目のマイクロホンに対応するＤＦＴ部４１が出力する周波数スペクトル（複素数）はＸｍ（τ，ω）と表す。ただし、τは短時間フレーム番号、ωは離散周波数である。
　観測信号ベクトル生成部４２は、ＤＦＴ部４１から出力されたｍ個の周波数スペクトルを次式（１）のように、一つの複素ベクトルｘ（τ，ω）に統合し、ｘ（τ，ω）を出力する。ただし、Ｔはベクトルまたは行列の転置を表す。
Figure JPOXMLDOC01-appb-I000001
　フィルタ係数ベクトル生成部３は、複素ベクトルｘ（τ，ω）と同じ要素数（Ｍ）の複素ベクトルであるフィルタ係数ベクトルｗ（ω）を出力する。フィルタ係数ベクトルｗ（ω）のｍ番目の要素である複素数は、その絶対値がｍ番目のマイクロホンの観測信号に与える利得を表し、偏角が観測信号に与える遅延を表す。フィルタ係数ベクトル生成部３における目的方向の指向性から適切なｗ（ω）を生成する方法については後述する。
　内積部４３では、観測信号ベクトル生成部４２から出力されたｘ（τ，ω）とフィルタ係数ベクトル生成部３から出力されたフィルタ係数ベクトルｗ（ω）から、次式（２）のように内積を計算し、その結果得られたＹ（τ，ω）を出力する。Ｙ（τ，ω）は出力信号の短時間離散フーリエ変換となる。
Figure JPOXMLDOC01-appb-I000002
　ＩＤＦＴ部４４では、内積部４３から出力されたＹ（τ，ω）に対して逆短時間離散フーリエ変換を施し、最終的な出力信号ｙ（ｔ）を出力する。この出力信号は、フィルタ係数ベクトルｗ（ω）が適切に設計されていれば、目的方向の指向性の音声が強調された音声信号となる。
　次に、フィルタ係数ベクトル生成部３において、目的方向の指向性から適切なフィルタ係数ベクトルｗ（ω）を生成する具体的な方法について説明する。
　ここで、マイクロホンアレイ２を中心としマイクロホンアレイの大きさよりも十分に大きい円の円周をＮ等分するＮ個の点を考える。このとき、マイクロホンアレイ２から見たｎ番目の点に対するステアリングベクトル（要素数はＭ）をａω，ｎとする。また、Ｎ個のステアリングベクトルを以下のように並べて作成した行列をＡ（ω）とする。
Figure JPOXMLDOC01-appb-I000003
　次に、マイクロホンアレイ２から見てｎ番目の点の方向から到来する音声に対する所望の利得をｒｎとする。また、Ｎ個の点に対応する所望の利得を次式のように並べて作成したベクトルをｒとする。つまり、ｒは理想の指向性を表す。
Figure JPOXMLDOC01-appb-I000004
　実際に形成される指向性と所望の指向性との二乗誤差をｅとすると、ｅは次式（５）で表すことができる。
Figure JPOXMLDOC01-appb-I000005
　ｅを最小化するフィルタ係数ベクトルｗ（ω）は、ｅをｗ（ω）で微分し０とおくことで次式（６）のように求めることができる。ただし、＋はＭｏｏｒｅ‐Ｐｅｎｒｏｓｅ型疑似逆行列を示す。
Figure JPOXMLDOC01-appb-I000006
　しかし、式（６）をそのまま使用する場合、ｗ（ω）の各要素の絶対値の大きさについてどのような制約も掛からないため、周波数帯によっては絶対値の大きさが過大となってしまう可能性がある。このような場合、マイクロホンの個体差や電気的なノイズが存在する実際の環境においては出力信号の音質が著しく劣化してしまうこととなる。
　図５は、４個のマイクロホンから構成されるマイクロホンの例である。これらのマイクロホンは、対角線の長さが４ｃｍの正方形の各頂点に配置されている。このマイクロホンアレイを利用し、理想の指向性ｒとして図６に示す指向性を与えた上で式（６）から単純にｗ（ω）を計算すると、計算上は３００Ｈｚにおいて図７のような指向性が得られるが、ｗ（ω）の周波数毎のノルムは図８のようになる。図８を見ると、特に低い周波数においてｗ（ω）のノルムが著しく大きくなっていることが分かる。
　フィルタ係数ベクトルｗ（ω）の各要素の絶対値が過大とならないように抑制する方法のひとつは、式（６）において、Ｍｏｏｒｅ‐Ｐｅｎｒｏｓｅ型疑似逆行列を計算する際に特異値分解を利用し、０に近い特異値を０に置換することである。例えば、図５に示すマイクロホンアレイを利用し、図６を理想の指向性ｒとして式（６）によってｗ（ω）を計算する際に、０．１未満の特異値を０として疑似逆行列を計算する。その結果、形成される指向性は図９のように若干鋭さが失われるが、ｗ（ω）のノルムは図１０のようになる。図１０を見ると、図８と比較してフィルタ係数ベクトルのノルムの大きさが小さくなっていることが分かる。これにより、マイクロホンの個体差や電気的なノイズが存在する実際の環境においても出力信号の音質を保証することが可能となる。
　図１１は、フィルタ係数ベクトル生成部３における以上の過程をフローチャートとして表したものである。
　フィルタ係数ベクトル生成部３では、先ず、目的方向の指向性（ｒ）を読み込む（ステップＳＴ１）。これは上式（４）で示すｒを読み込むことに相当する。また、フィルタ係数ベクトル生成部３では、上式（３）に示すように、行列Ａ（ω）を計算する（ステップＳＴ２）。次に、フィルタ係数ベクトル生成部３は、ステップＳＴ２で得られた行列Ａ（ω）を特異値分解し、閾値以下の特異値を０に置換する（ステップＳＴ３）。そして、行列Ａ（ω）のＭｏｏｒｅ‐Ｐｅｎｒｏｓｅ型疑似逆行列を求め、式（６）の計算を行う（ステップＳＴ４）。最後に、式（６）で得られたフィルタ係数ベクトルｗ（ω）を出力する（ステップＳＴ５）。
　このように、実施の形態１の信号処理装置では、フィルタ係数ベクトルの大きさが過大とならないように抑制することで、実環境において存在するマイクロホンの個体差や電気的ノイズが過剰に拡大されて出力信号に混入し音質が劣化することを防ぐことができる。
　また、多くの場合、疑似逆行列を計算する処理は特異値分解を利用して実装されているが、小さな特異値を０に置換した上で疑似逆行列を求める手法は、特異値分解を利用した実装においては非常に小さな実装の変更だけで実現可能である。従って、実装や試験に要する時間を削減することができるので、装置の低コスト化が期待できる。
　以上説明したように、実施の形態１の信号処理装置によれば、複数の音響センサと、ビームフォーミングによって目的方向の指向性を形成するためのフィルタ係数ベクトルを設定値以内に抑制して生成するフィルタ係数ベクトル生成部と、複数の音響センサから得られる観測信号とフィルタ係数ベクトル生成部で生成されたフィルタ係数ベクトルに基づきビームフォーミングを行い、目的方向の指向性を形成し、形成した指向性の音声を強調した信号を出力するビームフォーミング部とを備えたので、音響センサの個体差や電気的なノイズに起因する出力信号の音質の劣化を回避することができる。
　また、実施の形態１の信号処理装置によれば、フィルタ係数ベクトル生成部は、特異値分解によりフィルタ係数ベクトルのノルムが設定値以内となるフィルタ係数ベクトルを生成するようにしたので、実装や試験に要する時間を削減でき、低コスト化を図ることができる。
実施の形態２．
　実施の形態２は、フィルタ係数ベクトル生成部３が、Ｌ２正則化によりフィルタ係数ベクトルを生成するよう構成したものである。他の各構成は図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
　実施の形態１では、フィルタ係数ベクトル生成部３において、特異値分解を利用してフィルタ係数ベクトルｗ（ω）を算出した。一方、フィルタ係数ベクトルの大きさを抑制する方法は他にも存在する。例えば、式（５）に示した誤差関数に対して、ｗ（ω）のノルムが増大することに対するペナルティ項を追加する方法がある。このような方法はＬ２正則化と呼ばれ、実施の形態２のフィルタ係数ベクトル生成部３は、このＬ２正則化を用いてフィルタ係数ベクトルを生成する。
　実施の形態１における式（５）の誤差ｅは、実施の形態２では、次式（７）のように書き換えられる。ただし、λはペナルティの寄与度を調整するパラメータである。
Figure JPOXMLDOC01-appb-I000007
　式（７）のｅをｗ（ω）で微分して０とおくと、次式（８）のようにｅを最小化するフィルタ係数ベクトルｗ（ω）が求められる。ただし、Ｈはエルミート転置、Ｉは単位行列を表す。
Figure JPOXMLDOC01-appb-I000008
　Ｌ２正則化に基づく方法では、ｗ（ω）のノルムを周波数毎にプロットすると図１２のようになる。図１３は、フィルタ係数ベクトル生成部３における動作を示すフローチャートである。図１３のフローチャートにおいて、ステップＳＴ１及びステップＳＴ２については、図１１に示した実施の形態１の動作と同様である。次に、実施の形態２のフィルタ係数ベクトル生成部３は、ステップＳＴ１１において式（８）を計算する。そして、式（８）で得られたフィルタ係数ベクトルｗ（ω）を出力する（ステップＳＴ１２）。
　実施の形態２では、図１２を見ると分かるように、Ｌ２正則化に基づき算出されたフィルタ係数ベクトルは、図１０に示す特異値分解に基づくフィルタ係数ベクトルと比較して、値が連続的である。つまり、Ｌ２正則化に基づくフィルタ係数ベクトルはその各要素の値が周波数に応じて急激に変化することがないため、出力信号の音質を向上させることが期待できる。
　以上説明したように、実施の形態２の信号処理装置によれば、フィルタ係数ベクトル生成部は、Ｌ２正則化によりフィルタ係数ベクトルを生成するようにしたので、出力信号のさらなる音質向上を図ることができる。
実施の形態３．
　実施の形態３は、フィルタ係数ベクトルのノルムの閾値をフィルタ係数ベクトル生成部３に与え、フィルタ係数ベクトル生成部３は、この閾値以内の値を実現するフィルタ係数ベクトルを生成するよう構成したものである。他の各構成は図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
　実施の形態１の特異値分解及び実施の形態２のＬ２正則化によってフィルタ係数ベクトルの大きさを抑制する手法は、それぞれ特異値の閾値、ペナルティ項の係数をパラメータとして与える必要があるが、これらのパラメータによって生成されるフィルタ係数ベクトルのノルムがどの程度に収まるかは自明ではないため、パラメータの調整に試行錯誤が必要となる。一方、フィルタ係数ベクトルのノルムが取り得る値の範囲を明示的に指定すれば、試行錯誤的なパラメータ調整は不要となる。そこで、実施の形態３では、フィルタ係数ベクトル生成部３に対して、フィルタ係数ベクトルのノルムが取り得る値の範囲を閾値として明示的に指定し、フィルタ係数ベクトル生成部３は、この閾値以内のノルムを実現するフィルタ係数ベクトルを生成する。
　例えば、フィルタ係数ベクトル生成部３に対して、フィルタ係数ベクトルｗ（ω）のノルムがψ以下となる制約を掛けるならば、最初に式（６）のような単純な方法でｗ（ω）を算出した上で、ｗ（ω）のノルムがψを超える周波数帯においてはｗ（ω）のノルムがψに一致する制約下で誤差ｅを最小化するｗ（ω）を求める方法がある。すなわち、フィルタ係数ベクトル生成部３は、フィルタ係数ベクトルのノルムを閾値以下とする制約下で、目的方向の指向性と、ビームフォーミング部４によって形成される指向性との誤差を設定値以内とするフィルタ係数ベクトルを生成する。ここで、ｗ（ω）のノルムがψに一致する制約下で誤差ｅを最小化するｗ（ω）を解析的に求めることは困難だが、ニュートン法などを利用することで数値的な解を求めることができる。
　以上の方法により、フィルタ係数ベクトル生成部３において、ψ＝１０とした上でｗ（ω）を算出すると、ｗ（ω）のノルムは図１４のようになる。図１５は、フィルタ係数ベクトル生成部３における動作を示すフローチャートである。図１５のフローチャートにおいて、ステップＳＴ１及びステップＳＴ２については、図１１に示した実施の形態１の動作と同様である。次に、実施の形態３のフィルタ係数ベクトル生成部３は、式（６）を計算する（ステップＳＴ２１）。さらに、求めたｗ（ω）のノルムが閾値以下であるかを判定する（ステップＳＴ２２）。ステップＳＴ２２で閾値を超える値であれば、ｗ（ω）のノルムが閾値と一致する制約下で最適なｗ（ω）をニュートン法で求め（ステップＳＴ２３）、そのｗ（ω）を出力する（ステップＳＴ２３）。一方、ステップＳＴ２２において、ｗ（ω）のノルムが閾値以下であった場合は、そのｗ（ω）を出力して（ステップＳＴ２４）、動作を終了する。
　このように、実施の形態３では、フィルタ係数ベクトルが取り得る値の範囲を明示的に指定できるようにしたことで、試行錯誤的なパラメータ調整が不要となり、装置の実装コストを下げることができる。
　また、実施の形態３では、ｗ（ω）のノルムがψを超える周波数帯においてはｗ（ω）のノルムがψに一致する制約下で誤差ｅを最小化するｗ（ω）を求めるようにしたので、フィルタ係数ベクトルが取り得る値の範囲内において最も目的方向の指向性に近い指向性が形成されるため、マイクロホンの個体差や電気的なノイズの影響を最小限としつつ、目的方向から到来する音声を正確に強調することが可能となる。
　以上説明したように、実施の形態３の信号処理装置によれば、フィルタ係数ベクトル生成部は、フィルタ係数ベクトルのノルムが閾値として与えられ、かつ、閾値以内のノルムを実現するフィルタ係数ベクトルを生成するようにしたので、パラメータの調整を速やかに行え、装置の実装コストを下げることができる。
　また、実施の形態３の信号処理装置によれば、フィルタ係数ベクトル生成部は、フィルタ係数ベクトルのノルムを閾値以下とする制約下で、目的方向の指向性と、ビームフォーミング部によって形成される指向性との誤差を設定値以内とするフィルタ係数ベクトルを生成するようにしたので、音響センサの個体差や電気的なノイズの影響を最小限としつつ、目的方向から到来する音声を正確に強調することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　以上のように、この発明に係る信号処理装置は、複数の音響センサで構成されるセンサアレイから得られる観測信号に対して信号処理を施すことで特定の方向から到来する音声を強調した信号を得る信号処理装置に関するものであり、音声認識システムや機器監視システムに用いるのに適している。
　１　信号処理装置、２　マイクロホンアレイ、３　フィルタ係数ベクトル生成部、４　ビームフォーミング部、５　出力装置。

Claims (5)

  1. 　複数の音響センサと、
    　ビームフォーミングによって目的方向の指向性を形成するためのフィルタ係数ベクトルを設定値以内に抑制して生成するフィルタ係数ベクトル生成部と、
    　前記複数の音響センサから得られる観測信号と前記フィルタ係数ベクトル生成部で生成されたフィルタ係数ベクトルに基づき前記ビームフォーミングを行い、前記目的方向の指向性を形成し、当該形成した指向性の音声を強調した信号を出力するビームフォーミング部とを備えた信号処理装置。
  2. 　前記フィルタ係数ベクトル生成部は、
    　特異値分解により前記フィルタ係数ベクトルのノルムが設定値以内となるフィルタ係数ベクトルを生成することを特徴とする請求項１記載の信号処理装置。
  3. 　前記フィルタ係数ベクトル生成部は、
    　Ｌ２正則化によりフィルタ係数ベクトルを生成することを特徴とする請求項１記載の信号処理装置。
  4. 　前記フィルタ係数ベクトル生成部は、
    　前記フィルタ係数ベクトルのノルムが閾値として与えられ、かつ、当該閾値以内のノルムを実現するフィルタ係数ベクトルを生成することを特徴とする請求項１記載の信号処理装置。
  5. 　前記フィルタ係数ベクトル生成部は、
    　前記フィルタ係数ベクトルのノルムを閾値以下とする制約下で、前記目的方向の指向性と、前記ビームフォーミング部によって形成される指向性との誤差を設定値以内とするフィルタ係数ベクトルを生成することを特徴とする請求項４記載の信号処理装置。
PCT/JP2017/010714 2017-03-16 2017-03-16 信号処理装置 WO2018167921A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019505628A JP6567216B2 (ja) 2017-03-16 2017-03-16 信号処理装置
US16/482,396 US20200035214A1 (en) 2017-03-16 2017-03-16 Signal processing device
DE112017007051.1T DE112017007051B4 (de) 2017-03-16 2017-03-16 Signalverarbeitungsvorrichtung
CN201780088262.XA CN110419228B (zh) 2017-03-16 2017-03-16 信号处理装置
PCT/JP2017/010714 WO2018167921A1 (ja) 2017-03-16 2017-03-16 信号処理装置
TW106132227A TW201835900A (zh) 2017-03-16 2017-09-20 訊號處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010714 WO2018167921A1 (ja) 2017-03-16 2017-03-16 信号処理装置

Publications (1)

Publication Number Publication Date
WO2018167921A1 true WO2018167921A1 (ja) 2018-09-20

Family

ID=63521983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010714 WO2018167921A1 (ja) 2017-03-16 2017-03-16 信号処理装置

Country Status (6)

Country Link
US (1) US20200035214A1 (ja)
JP (1) JP6567216B2 (ja)
CN (1) CN110419228B (ja)
DE (1) DE112017007051B4 (ja)
TW (1) TW201835900A (ja)
WO (1) WO2018167921A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10938994B2 (en) * 2018-06-25 2021-03-02 Cypress Semiconductor Corporation Beamformer and acoustic echo canceller (AEC) system
WO2021168863A1 (zh) * 2020-02-29 2021-09-02 华为技术有限公司 一种滤波器系数的确定方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165984A (ja) * 1998-11-20 2000-06-16 Matsushita Electric Ind Co Ltd 音響拡声装置とその明瞭度改善方法
JP2008141593A (ja) * 2006-12-04 2008-06-19 Nippon Telegr & Teleph Corp <Ntt> 音声収音装置、その方法、そのプログラム、およびその記録媒体
JP2012523731A (ja) * 2009-04-09 2012-10-04 エヌティーエヌユー テクノロジー トランスファー エーエス センサーアレイに最適なモーダルビームフォーマ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100578622C (zh) * 2006-05-30 2010-01-06 北京中星微电子有限公司 一种自适应麦克阵列系统及其语音信号处理方法
CN101466055A (zh) * 2008-12-31 2009-06-24 瑞声声学科技(常州)有限公司 小型麦克风阵列装置及其波束形成方法
CN101763858A (zh) * 2009-10-19 2010-06-30 瑞声声学科技(深圳)有限公司 双麦克风信号处理方法
CN101719368B (zh) * 2009-11-04 2011-12-07 中国科学院声学研究所 高声强定向声波发射装置
KR101103794B1 (ko) * 2010-10-29 2012-01-06 주식회사 마이티웍스 멀티 빔 음향시스템
JP5967571B2 (ja) 2012-07-26 2016-08-10 本田技研工業株式会社 音響信号処理装置、音響信号処理方法、及び音響信号処理プログラム
JP6074263B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 雑音抑圧装置及びその制御方法
CA3190715A1 (en) * 2014-08-14 2016-02-18 Memed Diagnostics Ltd. Computational analysis of biological data using manifold and a hyperplane
JP2016042132A (ja) * 2014-08-18 2016-03-31 ソニー株式会社 音声処理装置、音声処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165984A (ja) * 1998-11-20 2000-06-16 Matsushita Electric Ind Co Ltd 音響拡声装置とその明瞭度改善方法
JP2008141593A (ja) * 2006-12-04 2008-06-19 Nippon Telegr & Teleph Corp <Ntt> 音声収音装置、その方法、そのプログラム、およびその記録媒体
JP2012523731A (ja) * 2009-04-09 2012-10-04 エヌティーエヌユー テクノロジー トランスファー エーエス センサーアレイに最適なモーダルビームフォーマ

Also Published As

Publication number Publication date
CN110419228A (zh) 2019-11-05
DE112017007051T5 (de) 2019-10-31
DE112017007051B4 (de) 2022-04-14
US20200035214A1 (en) 2020-01-30
JP6567216B2 (ja) 2019-08-28
CN110419228B (zh) 2020-12-29
TW201835900A (zh) 2018-10-01
JPWO2018167921A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
EP3320692B1 (en) Spatial audio processing apparatus
US10657981B1 (en) Acoustic echo cancellation with loudspeaker canceling beamformer
JP6389259B2 (ja) マイクロホンアレイを使用した残響音の抽出
CN105590631B (zh) 信号处理的方法及装置
EP2647221B1 (en) Apparatus and method for spatially selective sound acquisition by acoustic triangulation
EP3576426B1 (en) Low complexity multi-channel smart loudspeaker with voice control
US7991166B2 (en) Microphone apparatus
US20120082322A1 (en) Sound scene manipulation
JPWO2019049276A1 (ja) 雑音除去装置および雑音除去方法
US8615392B1 (en) Systems and methods for producing an acoustic field having a target spatial pattern
JP2007219479A (ja) 音源分離装置、音源分離プログラム及び音源分離方法
JP6724905B2 (ja) 信号処理装置、信号処理方法、およびプログラム
CN110111802B (zh) 基于卡尔曼滤波的自适应去混响方法
JP4448464B2 (ja) 雑音低減方法、装置、プログラム及び記録媒体
JP4928382B2 (ja) 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体
JP6567216B2 (ja) 信号処理装置
JP5240026B2 (ja) マイクロホンアレイにおけるマイクロホンの感度を補正する装置、この装置を含んだマイクロホンアレイシステム、およびプログラム
US20130253923A1 (en) Multichannel enhancement system for preserving spatial cues
WO2020085117A1 (ja) 信号処理装置および方法、並びにプログラム
JP6840302B2 (ja) 情報処理装置、プログラム及び情報処理方法
EP3225037B1 (en) Method and apparatus for generating a directional sound signal from first and second sound signals
EP3787311A1 (en) Sound image reproduction device, sound image reproduction method and sound image reproduction program
JP5105336B2 (ja) 音源分離装置、プログラム及び方法
JP2016092562A (ja) 音声処理装置および方法、並びにプログラム
JP3869823B2 (ja) 音声の周波数特性の等化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900891

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505628

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17900891

Country of ref document: EP

Kind code of ref document: A1