JPWO2014097637A1 - 指向性マイクロホン装置、音響信号処理方法およびプログラム - Google Patents
指向性マイクロホン装置、音響信号処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2014097637A1 JPWO2014097637A1 JP2014523122A JP2014523122A JPWO2014097637A1 JP WO2014097637 A1 JPWO2014097637 A1 JP WO2014097637A1 JP 2014523122 A JP2014523122 A JP 2014523122A JP 2014523122 A JP2014523122 A JP 2014523122A JP WO2014097637 A1 JPWO2014097637 A1 JP WO2014097637A1
- Authority
- JP
- Japan
- Prior art keywords
- acoustic signal
- unit
- signal
- noise suppression
- power spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000001629 suppression Effects 0.000 claims abstract description 219
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 115
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 115
- 230000035945 sensitivity Effects 0.000 claims abstract description 85
- 238000012937 correction Methods 0.000 claims abstract description 82
- 238000001228 spectrum Methods 0.000 claims description 255
- 238000004364 calculation method Methods 0.000 claims description 185
- 238000006243 chemical reaction Methods 0.000 claims description 84
- 238000012545 processing Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 18
- 238000003079 width control Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 56
- 238000004590 computer program Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
- H04R1/342—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means for microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/403—Linear arrays of transducers
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
本開示の指向性マイクロホン装置等は、目的方向に感度を有する第1の音響信号を生成するマイクロホン(11)と、目的方向に感度死角を有する第2の音響信号を生成するマイクロホン(12)と、マイクロホン(12)で生成された第2の音響信号に対して、マイクロホン(11)で生成された前記第1の音響信号と、前記第2の指向性合成部で生成された前記第2の音響信号とをN回(N>0)周波数領域で乗算することによって、目的方向の感度死角の角度範囲を第2の音響信号より狭くした第3の音響信号を生成する補正部(105)と、マイクロホン(11)で生成された第1の音響信号を主信号とし、補正部(105)で生成された第3の音響信号を参照信号として雑音抑圧を行うことで、第1の音響信号の目的方向の指向性を狭角化した出力音響信号を生成する抑圧部(107)とを備える。
Description
本発明は、指向性マイクロホン装置、音響信号処理方法およびプログラムに関する。
指向性マイクロホン装置として、目的方向に指向性の主軸を有する主信号と、目的方向に理想上ゼロ感度を持ち一定の角度範囲の感度死角を有する参照信号と、を用いて主信号に含まれる目的方向以外の音を抑圧するものが提案されている(例えば、特許文献1)。
しかしながら、上記特許文献1などに開示される従来構成では、目的方向に対し、十分に狭い指向角を有する指向性を形成することができない。そのため、目的方向以外(真正面以外)の音(目的音以外の音)も収音してしまうという問題がある。
本発明は、上記の問題点に着目したものであり、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置、音響信号処理方法およびプログラムを提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る指向性マイクロホン装置は、目的方向に感度を有する第1の音響信号を生成する第1の指向性合成部と、前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成部と、前記第2の指向性合成部で生成された前記第2の音響信号に対して、前記第1の指向性合成部で生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正部と、前記第1の指向性合成部で生成された前記第1の音響信号を主信号とし、前記補正部で生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧部とを備える。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の指向性マイクロホン装置等は、目的方向に対し、より狭い指向角を有する指向性を形成することができる。
(本発明の基礎となった知見)
まず、特許文献1に開示された、目的方向以外の音を抑圧できる従来の指向性マイクロホン装置について説明する。ここで、目的音方向とはマイクロホン装置が持つ指向特性の指向性主軸を指す。
まず、特許文献1に開示された、目的方向以外の音を抑圧できる従来の指向性マイクロホン装置について説明する。ここで、目的音方向とはマイクロホン装置が持つ指向特性の指向性主軸を指す。
図21は、従来の指向性マイクロホン装置の構成の一例を示す図である。
図21に示す指向性マイクロホン装置は、第1のマイクロホンユニット901と、第2のマイクロホンユニット902と、判定部910と、適応フィルタ部920と、信号減算部930と、雑音抑圧フィルタ係数算出部940と、時変係数フィルタ部950とを備える。
図21に示す指向性マイクロホン装置は、まず、第1のマイクロホンユニット901から出力された目的方向に指向性の主軸を有する音圧傾度型の主信号と、第2のマイクロホンユニット902から出力された目的方向に感度死角を有する音圧傾度型の参照信号とをそれぞれ周波数分析する。次に、雑音抑圧フィルタ係数算出部940は、主信号と参照信号のそれぞれのパワースペクトルを基に主信号に含まれる目的方向以外の音のパワースペクトルを推定し、この推定したパワースペクトルを基に目的方向以外の音を抑圧するフィルタ係数を算出する。そして、時変係数フィルタ部950は、主信号に対してフィルタ処理を行うことで目的方向以外の音を抑圧し、目的方向の音を強調する。
しかしながら、上記従来構成では、参照信号に音圧傾度型の指向性合成法を用いており、目的方向に対する感度死角を十分に狭く形成する(角度範囲を十分に狭く形成する)のが難しい。換言すると、上記従来構成では、抑圧したい目的方向近傍の音が参照信号に含まれないので、雑音抑圧フィルタ係数算出部940は、目的音近傍の音を抑圧する係数を算出できない。
つまり、上記特許文献1などに開示される従来構成では、目的方向に対し、十分に狭い指向角を有する指向性を形成することができない。そのため、目的方向以外(真正面以外)の音(目的音以外の音)も収音してしまうという問題がある。
また、例えば、特許文献2には、目的音方向の音を強調する技術が開示されている。特許文献2に開示される指向性マイクロホン装置では、目的音方向に感度を有する第1の指向性マイクロホンからの出力信号を主信号とし、目的音方向に感度死角を有する第2の指向性マイクロホンからの出力信号を参照信号として、第1と第2の指向性マイクロホンからの主信号および参照信号のパワースペクトルを用いて目的音方向以外の方向の音を抑圧するフィルタ係数を算出し、主信号に対してフィルタ処理を行うことで、目的音方向の音を強調する。
しかしながら、特許文献2に開示される構成では、主信号に用いている指向性マイクロホンの指向性パターンと参照信号に用いている指向性マイクロホンの指向性パターンとの関係において、参照信号は目的音方向に対して感度死角を有し、目的音の信号成分を含まず参照信号としての条件を満たすが、目的音方向以外の指向性パターンに関しては、主信号と参照信号との間で一致しない。ここで、指向性パターンは、マイクロホンの音圧感度対音波到来方向の特性を示す。そして、主信号と参照信号との間で指向性パターンが一致しないことが原因で、目的音方向以外に複数方向に雑音源が存在するときに、雑音源方向に応じ適応的に最適な抑圧係数を推定する必要があった。それにより、参照信号から主信号に混入する抑圧すべき信号成分の推定精度などが性能限界の要因となっていた。
そこで、本発明の一態様は、上記の問題点に着目したものであり、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置、音響信号処理方法および音響処理プログラムを提供することを目的とする。
このような問題を解決するため、本発明の一態様に係る指向性マイクロホン装置は、目的方向に感度を有する第1の音響信号を生成する第1の指向性合成部と、前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成部と、前記第2の指向性合成部で生成された前記第2の音響信号に対して、前記第1の指向性合成部で生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正部と、前記第1の指向性合成部で生成された前記第1の音響信号を主信号とし、前記補正部で生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧部とを備える。
これにより、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置を実現することができる。
具体的には、本態様の指向性マイクロホン装置によれば、参照信号の目的方向に対する感度死角の角度範囲をより狭くすることができ、参照信号に目的方向近傍の音を含ませることができる。それにより、目的方向に対し、より狭い指向角を有する指向性を形成することができる。また、本態様の指向性マイクロホン装置によれば、高精度に雑音成分の推定を行うことができるよう参照信号を補正することができるので、指向性を鋭角化できるだけでなく高音質化も可能となる。
また、例えば、前記第1の指向性合成部および前記第2の指向性合成部は、複数のマイクロホンから構成されるマイクロホンアレイの出力信号を演算処理することで、前記第1の音響信号および前記第2の音響信号を生成するとしてもよい。
また、例えば、さらに、前記第1の指向性合成部で生成された前記第1の音響信号と、前記第2の指向性合成部で生成された前記第2の音響信号とを周波数領域の信号に変換する第1の変換部を備え、前記補正部は、前記第1の変換部で周波数領域の信号に変換された前記第2の音響信号に対して前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号をN回(N>0)乗算することにより、前記第3の音響信号を生成するとしてもよい。
また、例えば、前記Nは、1であり、前記補正部は、周波数領域の信号に変換された前記第2の音響信号と周波数領域の信号に変換された前記第1の音響信号とを複素乗算するスペクトル乗算部と、前記スペクトル乗算部の出力信号の絶対値を算出する絶対値演算部と、前記絶対値演算部により算出された前記絶対値の平方根を算出することにより、前記第3の音響信号を生成する平方根算出部と、を有するとしてもよい。
また、例えば、前記Nは、1であり、前記補正部は、周波数領域の信号に変換された前記第1の音響信号の第1の絶対値および周波数領域の信号に変換された前記第2の音響信号の第2の絶対値を算出する絶対値演算部と、前記絶対値演算部で算出された前記第1の絶対値と前記第2の絶対値との乗算を行う乗算部と、前記乗算部により行われた乗算値の平方根を算出することにより、前記第3の音響信号を生成する平方根算出部と、を有するとしてもよい。
また、例えば、前記抑圧部は、前記第1の音響信号と前記第3の音響信号とのパワースペクトルを用いて、前記第1の音響信号に含まれる前記目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する雑音抑圧係数算出部と、前記第1の指向性合成部で生成された前記第1の音響信号に前記雑音抑圧係数算出部で算出された前記雑音抑圧係数を適用し、前記雑音を抑圧して前記目的方向の音のみを抽出することにより前記雑音抑圧を行うことで、前記出力音響信号を生成する雑音抑圧部と、を備えるとしてもよい。
また、例えば、さらに、周波数領域の信号に変換されている前記第1の音響信号および前記第3の音響信号のそれぞれのパワースペクトルを算出するパワースペクトル算出部を備え、前記抑圧部は、前記第1の音響信号または前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号と、前記パワースペクトル算出部で算出された前記第1の音響信号のパワースペクトルとを主信号とし、前記パワースペクトル算出部で算出された前記第3の音響信号のパワースペクトルを参照信号として前記雑音抑圧を行うことで、前記出力音響信号を生成するとしてもよい。
また、例えば、前記パワースペクトル算出部は、前記補正部で生成された前記第3の音響信号の絶対値に対して(2/(N+1))乗の演算をすることにより、前記第3の音響信号のパワースペクトルを算出するとしてもよい。
また、例えば、前記抑圧部は、前記第3の音響信号のパワースペクトルに所定の係数を乗算して出力する第1の係数乗算部と、前記第1の音響信号のパワースペクトルから前記第1の係数乗算部からの出力信号を減算する第1の減算部と、前記第1の音響信号のパワースペクトルと前記第1の減算部からの出力信号とを入力として、前記第1の音響信号に含まれる前記目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する雑音抑圧係数算出部と、前記第1の音響信号または前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号と前記雑音抑圧係数算出部で算出された前記雑音抑圧係数とを入力として前記雑音抑圧を行うことで、前記出力音響信号を生成する雑音抑圧処理部とを備えるとしてもよい。
また、例えば、さらに、前記補正部における乗算回数である前記Nと、前記パワースペクトル算出部における(2/(N+1))乗のN値を変化させることで前記指向性マイクロホン装置の指向性を制御するビーム幅制御部を備えるとしてもよい。
また、例えば、前記Nは、ゼロより大きい実数であるとしてもよい。
また、例えば、さらに、周波数領域の信号に変換された、前記第1の音響信号および前記第3の音響信号のそれぞれのパワースペクトルを算出するパワースペクトル算出部を備え、前記雑音抑圧係数算出部は、前記パワースペクトル算出部で算出された前記第1の音響信号のパワースペクトルを主信号とし、前記パワースペクトル算出部で算出された前記第3の音響信号のパワースペクトルを参照信号として、前記雑音抑圧係数を算出するとしてもよい。
また、例えば、前記指向性マイクロホン装置は、さらに、前記目的方向に感度死角を有し、かつ、前記第2の音響信号とは異なる指向性パターンを有する第4の音響信号を生成する第3の指向性合成部を備え、前記抑圧部は、さらに、前記補正部で生成された前記第3の音響信号を主信号とし、前記第3の指向性合成部で生成された前記第4の音響信号を参照信号として、前記第3の音響信号に含まれる前記目的方向に対して正反対の方向の音である第1の雑音を抑圧する反対方向雑音抑圧部と、前記第1の音響信号と前記第4の音響信号と前記反対方向雑音抑圧部の出力信号とを用いて、前記第1の雑音を含む前記目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する雑音抑圧係数算出部と、前記第1の指向性合成部で生成された前記第1の音響信号に前記雑音抑圧係数算出部で算出された前記雑音抑圧係数を適用し、前記雑音を抑圧して前記目的方向の音のみを抽出することにより前記雑音抑圧を行うことで、前記出力音響信号を生成する雑音抑圧部とを備えるとしてもよい。
また、例えば、さらに、前記第1の指向性合成部で生成された前記第1の音響信号と、前記第2の指向性合成部で生成された前記第2の音響信号と、前記第3の指向性合成部で生成された前記第4の音響信号とを周波数領域の信号に変換する第1の変換部と、前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号と前記第3の音響信号と前記第4の音響信号とのそれぞれのパワースペクトルを算出するパワースペクトル算出部を備え、前記反対方向雑音抑圧部は、前記第3の音響信号のパワースペクトルを主信号とし、前記第4の音響信号のパワースペクトルを参照信号として、前記第1の雑音を抑圧するとしてもよい。
また、例えば、前記雑音抑圧係数算出部は、前記第1の音響信号のパワースペクトルを主信号とし、前記反対方向雑音抑圧部の出力信号及び前記第4の音響信号のパワースペクトルを参照信号として、前記雑音抑圧係数を算出するとしてもよい。
また、例えば、前記雑音抑圧部は、周波数領域の信号に変換された前記第1の音響信号と、前記雑音抑圧係数算出部で算出された前記雑音抑圧係数との乗算を行い、前記雑音を抑圧した前記目的方向の目的音響信号のみを抽出する乗算器と、前記乗算器で抽出された前記目的音響信号を時間領域の信号に変換することで、前記出力音響信号を生成する逆フーリエ変換部と、を有するとしてもよい。
また、例えば、前記雑音抑圧部は、周波数領域の係数である前記雑音抑圧係数を時間領域のFIRフィルタの係数に変換する第2の変換部と、前記第2の変換部で変換された1単位時間前のFIRフィルタの係数を、前記第2の変換部で変換された現単位時間のFIRフィルタの係数を用いて更新し、前記第1の指向性合成部で生成された前記第1の音響信号にフィルタ処理を行うことにより、前記出力音響信号を生成する時変係数FIRフィルタ部と、を有するとしてもよい。
また、このような問題を解決するため、本発明の一態様に係る音響信号処理方法は、目的方向に感度を有する第1の音響信号を生成する第1の指向性合成ステップと、前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成ステップと、前記第2の指向性合成ステップにおいて生成された前記第2の音響信号に対して、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正ステップと、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号を主信号とし、前記補正ステップにおいて生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧ステップとを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る指向性マイクロホン装置等について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
図1は、実施の形態1における指向性マイクロホン装置の構成の一例を示す図である。図1に示す指向性マイクロホン装置1は、第1のマイクロホン11と、第2のマイクロホン12と、変換部104と、補正部105と、算出部106と、抑圧部107とを有する。
図1は、実施の形態1における指向性マイクロホン装置の構成の一例を示す図である。図1に示す指向性マイクロホン装置1は、第1のマイクロホン11と、第2のマイクロホン12と、変換部104と、補正部105と、算出部106と、抑圧部107とを有する。
第1のマイクロホン11は、例えば第1の指向性合成部の一例であり、目的方向に感度を有する第1の音響信号を生成する。本実施の形態では、第1のマイクロホン11は、目的音方向に感度を有する感度特性を持ち、音波を電気信号に変換し出力信号として主信号x(t)を出力する。ここで、目的方向に感度を有するとは、感度特性において、目的方向にピーク感度を持つことをいう。なお、第1のマイクロホン11は、単数または複数のマイクロホン(マイクロホンアレイ)からなり、マイクロホンアレイの出力信号を演算処理することで、目的方向に感度を有する第1の音響信号(主信号x(t))を生成する第1の指向性合成部を備えるとしてもよい。
第2のマイクロホン12は、例えば第2の指向性合成部の一例であり、目的方向に感度死角を有する第2の音響信号を生成する。本実施の形態では、第2のマイクロホン12は、目的音方向に感度死角を有する感度特性を持ち、音波を電気信号に変換し出力信号として参照信号r1(t)を出力する。なお、第2のマイクロホン12は、単数または複数のマイクロホン(マイクロホンアレイ)からなり、マイクロホンアレイの出力信号を演算処理することで、目的方向に感度死角を有する第2の音響信号(参照信号r1(t))を生成する第2の指向性合成部を備えるとしてもよい。
変換部104は、例えば、第1の変換部の一例であり、第1のマイクロホン11で生成された第1の音響信号(主信号x(t))と、第2のマイクロホン12で生成された第2の音響信号(参照信号r1(t))を周波数領域の信号に変換する。
本実施の形態では、図1に示すように、変換部104は、第1の時間−周波数変換部1041と、第2の時間−周波数変換部1042とを備える。第1の時間−周波数変換部1041は、第1のマイクロホン11からの主信号x(t)を入力として時間領域から周波数領域に信号を変換し主信号スペクトルX(ω)を出力する。第2の時間−周波数変換部1042は、第2のマイクロホン12からの参照信号r1(t)を入力として時間領域から周波数領域に信号を変換し第1の参照信号スペクトルR1(ω)を出力する。
補正部105は、第2のマイクロホン12で生成された第2の音響信号に対して、第1のマイクロホン11で生成された第1の音響信号をN回(N>0)周波数領域で乗算することによって、上記目的方向の感度死角の角度範囲を第2の音響信号より狭くした第3の音響信号を生成する。より具体的には、補正部105は、変換部104で周波数領域の信号に変換された第2の音響信号(R1(ω))に対して変換部104で周波数領域の信号に変換された第1の音響信号(X(ω))をN回(N>0)乗算することにより、第3の音響信号を生成する。
本実施の形態では、補正部105は、第1の時間−周波数変換部1041からの主信号スペクトルX(ω)と第2の時間−周波数変換部1042からの第1の参照信号スペクトルR1(ω)を入力として、補正された第2の参照信号スペクトルR2(ω)を出力する。
以下、図2を用いて補正部105の詳細構成の一例について説明する。ここで、図2は、実施の形態1における補正部の詳細構成の一例を示す図である。
例えば、図2に示すように、補正部105は、演算部1050と、スペクトル乗算部1051とを備え、(式1)に示す算出式を実行する。
R2(ω)=R1(ω)・X(ω)^N (式1)
つまり、スペクトル乗算部1051は、周波数領域の信号に変換された第2の音響信号(R1(ω))に対して、周波数領域の信号に変換された第1の音響信号(X(ω))をN回(N>0)乗算したものを複素乗算する。
算出部106は、例えば、パワースペクトル算出部の一例であり、周波数領域の信号に変換されている第1の音響信号および第3の音響信号のそれぞれのパワースペクトルを算出する。算出部106は、補正部105で生成された第3の音響信号(R2(ω))の絶対値に対して(2/(N+1))乗の演算をすることにより、第3の音響信号のパワースペクトル(Pr2(ω))を算出する。
本実施の形態では、図1に示すように、算出部106は、第1のパワースペクトル算出部1061と第2のパワースペクトル算出部1062とを備える。第1のパワースペクトル算出部1061は、第1の時間−周波数変換部1041からの主信号スペクトルX(ω)が入力され、主信号パワースペクトルPx(ω)を出力する。第2のパワースペクトル算出部1062は、補正部105からの第2の参照信号スペクトルR2(ω)が入力され、第2の参照信号パワースペクトルPr2(ω)を出力する。
抑圧部107は、第1のマイクロホン11で生成された第1の音響信号を主信号とし、補正部105で生成された第3の音響信号を参照信号として雑音抑圧を行うことで、第1の音響信号の目的方向の指向性を狭角化した出力音響信号を生成する。より具体的には、抑圧部107は、変換部104で周波数領域の信号に変換された第1の音響信号(X(ω))と、算出部106で算出された第1の音響信号のパワースペクトル(Px(ω))とを主信号とし、算出部106で算出された第3の音響信号のパワースペクトル(Pr2(ω))を参照信号として雑音抑圧を行うことで、出力音響信号を生成する。
本実施の形態では、抑圧部107は、第1の時間−周波数変換部1041からの主信号スペクトルX(ω)と、第1のパワースペクトル算出部1061からの主信号パワースペクトルPx(ω)と、第2のパワースペクトル算出部1062からの第2の参照信号パワースペクトルPr2(ω)が入力され、指向性マイクロホン装置1の出力y(t)を出力する。
以下、図3を用いて抑圧部107の詳細構成の一例について説明する。ここで、図3は、実施の形態1における雑音抑圧部の詳細構成の一例を示す図である。
抑圧部107は、図3に示すように、第1の係数乗算部110と、第1の減算部111と、雑音抑圧係数算出部108と、雑音抑圧処理部109とを備える。
第1の係数乗算部110は、第3の音響信号のパワースペクトル(Pr2(ω))に所定の係数(係数C(ω))を乗算して出力する。具体的には、第1の係数乗算部110は、第2のパワースペクトル算出部1062からの第2の参照信号パワースペクトルPr2(ω)が入力され、係数C(ω)を乗算して第3の参照信号パワースペクトルPr3(ω)を出力する。ここで、所定の係数すなわち係数C(ω)は、予め定められた定数でもよいし、時系列や所定のタイミングで変動する変数でもよい。
第1の減算部111は、第1の音響信号のパワースペクトル(Px(ω))から第1の係数乗算部110の出力信号(Pr3(ω))を減算する。具体的には、第1の減算部111は、第1のパワースペクトル算出部1061からの主信号パワースペクトルPx(ω)から第1の係数乗算部110からの第3の参照信号パワースペクトルPr3(ω)を減算して、推定目的音パワースペクトルPs(ω)を出力する。
雑音抑圧係数算出部108は、第1の音響信号のパワースペクトル(Px(ω))と第1の減算部111の出力信号(Ps(ω))とを入力として、第1の音響信号に含まれる目的方向の音以外の音である雑音を抑圧する雑音抑圧係数(H(ω))を算出する。具体的には、雑音抑圧係数算出部108は、第1のパワースペクトル算出部1061からの主信号パワースペクトルPx(ω)と第1の減算部111からの推定目的音パワースペクトルPs(ω)が入力され、雑音抑圧係数H(ω)を出力する。
雑音抑圧処理部109は、変換部104で周波数領域の信号に変換された第1の音響信号(X(ω))と雑音抑圧係数算出部108で算出された雑音抑圧係数(H(ω))とが入力され、それらを用いて雑音抑圧処理を行うことで出力音響信号(y(t))を生成する。具体的には、雑音抑圧処理部109は、第1の時間−周波数変換部1041からの主信号スペクトルX(ω)と雑音抑圧係数算出部108からの雑音抑圧係数H(ω)を入力として、雑音である目的音方向以外の信号成分を抑圧し、指向性主軸方向にある目的音を抽出して出力y(t)を出力する。
以上のように構成された指向性マイクロホン装置1の動作について説明する。
ここで、目的音方向とは、指向性マイクロホン装置が形成する指向性の主軸方向(正面方向)であるとして以下の説明を行う。また、時間領域信号をx(t)など(t)を付け、周波数領域信号にはX(ω)など(ω)を付ける。また、指向性の説明に関して、X(ω)の指向性パターンとは、信号Xの周波数ωにおける音波到来方向θ対音圧感度特性を表し、指向性パターンの図は、ポーラパタンの書式で図示する。
図4Aは実施の形態1における第1のマイクロホンの指向性パターンを示す特性図であり、図4Bは実施の形態1における第2のマイクロホンの指向性パターンを示す特性図である。
第1のマイクロホン11は、目的音方向に感度を有する指向特性を有し、例えば、図4Aに示す指向性パターン(指向特性図)を有する。図4Aに示す指向性パターンは、一般に正面方向の音を収音するために用いられる1次音圧傾度型の単一指向性を示している。図1に示す指向性マイクロホン装置1では、第1のマイクロホン11からの出力信号x(t)を主信号として、後段の処理によって、指向性をさらに鋭くし(狭角化し)、音の選択性を高める。後段の処理とは主信号x(t)と参照信号r1(t)から生成されるパワースペクトルに基づく雑音抑圧の処理である。
第2のマイクロホン12は、目的音方向に感度死角を有する指向特性を有し、例えば、図4Bに示す指向性パターンを有する。図4Bに示す指向性パターンは、目的音方向である正面に感度死角を持つ1次音圧傾度型の双指向性を示している。指向性マイクロホン装置1では、第2のマイクロホン12からの出力信号r1(t)を参照信号として用いることで主信号の指向性に対して鋭角化処理を行う。ここで、指向性パターンの図における周波数は1kHzとして計算しているが、第1のマイクロホン11と第2のマイクロホン12の指向性パターンに対する上記の条件を満たしていれば特に特定の周波数に限らない。
第1の時間−周波数変換部1041および第2の時間−周波数変換部1042は、例えばFFT演算やフィルタバンクなどの演算を用いて、主信号x(t)と参照信号r1(t)とをそれぞれ周波数スペクトル信号に変換し、主信号スペクトルX(ω)、第1の参照信号スペクトルR1(ω)を出力する。
第1のパワースペクトル算出部1061は、主信号スペクトルX(ω)に対して、周波数成分毎に次の演算を行い、主信号パワースペクトルPx(ω)を出力する。
Px(ω)=|X(ω)|^2 (式2)
補正部105は、第1の時間−周波数変換部1041からの主信号スペクトルX(ω)と第2の時間−周波数変換部1042からの第1の参照信号スペクトルR1(ω)とが入力される。補正部105は、指向性パターンを理想的な形状に近づけるために、参照信号スペクトルR1(ω)に対して周波数ω毎に(式3)に示す補正を行って、第2の参照信号スペクトルR2(ω)を出力する。補正の内容の詳細については後述する。
R2(ω)=R1(ω)・X(ω)^N (式3)
(式3)は、第1の参照信号スペクトルR1(ω)に複数N回主信号スペクトルX(ω)を乗算することを示している。ただし、N>0つまりNはゼロより大きい実数である。
第2のパワースペクトル算出部1062は、補正部105によって補正された第2の参照信号スペクトルR2(ω)の次元数をパワのオーダーに変換する。具体的には、補正部105では、スペクトルがN+1回乗算されていることから、(式4)に示す演算によって次元をパワ(2乗)のオーダーに変換し、参照信号パワースペクトルPr2(ω)を出力する。
Pr2(ω)=|R2(ω)|^(2/(N+1)) (式4)
抑圧部107は、主信号パワースペクトルPx(ω)と第2の参照信号パワースペクトルPr2(ω)とを基に、主信号から目的音方向以外の信号成分を抑圧することで指向性が主軸方向にある目的音を抽出した出力y(t)を出力する。より具体的には、例えば図3に示すように、第1の係数乗算部110は、(式5)に示すように、第2の参照信号パワースペクトルPr2(ω)をC(ω)倍(係数倍)に乗算することでレベル調整したPr3(ω)を出力する。第1の減算部111は、(式6)に示すように、主信号パワースペクトルPx(ω)からPr3(ω)を減算することで生成した推定目的音パワースペクトルPs(ω)を雑音抑圧係数算出部108に出力する。
Pr3(ω)=C(ω)・Pr2(ω) (式5)
Ps(ω)=Px(ω)−Pr3(ω) (式6)
図5Aは、主信号パワースペクトルPx(ω)が持つ指向性パターンを実線、Pr2(ω)に係数C(ω)を乗算してレベル調整した第3の参照信号パワースペクトルPr3(ω)が持つ指向性パターンを破線で示す。以下では、(式3)、(式4)におけるNを(式7)として計算したもので説明する。
図5Aは、主信号パワースペクトルPx(ω)が持つ指向性パターンを実線、Pr2(ω)に係数C(ω)を乗算してレベル調整した第3の参照信号パワースペクトルPr3(ω)が持つ指向性パターンを破線で示す。以下では、(式3)、(式4)におけるNを(式7)として計算したもので説明する。
N=0 (式7)
ここで、(式7)の条件は、従来の構成に相当する。
図5Aは、実施の形態1におけるN=0である場合の主信号パワースペクトルPx(ω)および第3の参照信号パワースペクトルPr3(ω)の指向性パターンの関係を示す特性図である。図5Bは、実施の形態1におけるN=0である場合の推定目的音パワースペクトルPs(ω)の指向性パターンを示す特性図である。
より具体的には、図5Aに示す指向性パターンは、係数C(ω)を90°方向に存在する雑音Aの方向に対して、主信号パワースペクトルPx(ω)(実線)と第3の参照信号パワースペクトルPr3(ω)(破線)が一致するようにC(ω)を設定した場合を示している。図5Bに示す指向性パターンは、(式6)に従って、主信号パワースペクトルPx(ω)から第3の参照信号パワースペクトルPr3(ω)を減算した推定目的音パワースペクトルPs(ω)を示している。ただし、減算結果が負の値になる部分については、値をゼロとして計算した結果である。
図5Bに示す推定目的音パワースペクトルPs(ω)は、主信号パワースペクトルPx(ω)から、第3の参照信号パワースペクトルPr3(ω)を使って、雑音である目的音方向以外の信号成分を抑圧したパワースペクトルであり、雑音抑圧係数算出部108に出力される。また、推定目的音パワースペクトルPs(ω)は、指向性マイクロホン装置1の出力(y(t))の指向性パターンに対応する。
雑音抑圧係数算出部108は、(式8)に示すように、指向性を鋭角化処理する前の入力信号である主信号パワースペクトルPx(ω)を分母にし、出力すべき推定目的音パワースペクトルPs(ω)を分子にした伝達特性H(ω)を計算する。雑音抑圧係数算出部108は、計算した伝達特性H(ω)を雑音抑圧処理部109に出力する。
H(ω)=Ps(ω)/Px(ω) (式8)
ここで、(式8)は、一般にパワースペクトルに基づく雑音抑圧(ノイズサプレッサ)に用いられるウィナーフィルタ伝達特性を用いる場合の計算方法の例である。
雑音抑圧処理部109は、(式9)に示すように雑音抑圧係数H(ω)と主信号スペクトルX(ω)との積を計算し、周波数−時間変換を行うことにより時間波形出力y(t)を生成する。なお、(式9)では、一例として周波数−時間変換の処理をIFFT{・}(逆FFT演算)で表現している。
y(t)=IFFT{H(ω)・X(ω)} (式9)
このように(式8)および(式9)に示される演算を行うことによって、図5Aに示す実線の指向性パターンである主信号x(t)が、図5Bに示す実線の指向性パターンに鋭角化され、信号y(t)として出力される。
以上のような処理を行うことによって、目的音方向以外の信号成分を抑圧し、指向性マイクロホンの指向性の鋭角化を行うことができる。
ところで、指向性マイクロホン装置1における特徴は、参照信号の指向性パターンに着目し、指向性パターンを理想的に近づける補正処理を、補正部105と第2のパワースペクトル算出部1062とで実施することにある。そして、補正部105では、第1の参照信号スペクトルR1(ω)に主信号スペクトルをN回乗算する補正処理を実施する。
なお、上述したN=0は指向性パターンを補正しない場合に相当し、従来の方法に等しくなる。以下、従来の課題について図5Aを用いて説明する。ここで、正面方向に目的音、90°方向に雑音A、120°方向に雑音Bが存在しているとする。90°方向に存在する雑音Aを過不足なしに抑圧を掛けるには、主信号と参照信号とにおける90°方向の感度を一致させることが必要である。図5Aは、係数C(ω)によって90°方向の雑音Aに対してレベル調整が行われた状態を示しており、指向性パターンの実線(Px(ω))と破線(Pr3(ω))とが90°方向で、値が一致している状態である。
このとき、120°方向の雑音Bについては、主信号が持つ感度より、参照信号が持つ感度の方が高くなっており、120方向の雑音Bについては、過剰な抑圧がかかることになる。そのため、雑音Aや雑音Bの強弱によって適切な参照信号のレベル調整を随時行う学習の仕組みなどが必要となる。
理想的には、参照信号の指向性パターンとしては、正面方向については感度死角を有し、正面方向以外は主信号の指向性パターンと一致していることが望ましい。主信号と参照信号の正面方向以外の指向性パターンが一致していれば、例えば90°方向の雑音Aと120°方向の雑音Bに対する参照信号のレベル調整値(係数C(ω))は必要なくなる。つまり、主信号と参照信号の正面方向以外の指向性パターンの一致度が高まれば、雑音抑圧が全ての方向に対して同時に過不足なく行えることになるので、参照信号の指向性パターンが理想形状に近づけば雑音抑圧精度が高まり、指向性の鋭角化や音質の向上が得られることとなる。また、係数C(ω)を雑音源の空間分布に適応して随時調整しなくてもよくなることから、この係数を固定の定数として従来と比べ処理をより簡素化することも可能となる。
そこで、参照信号の指向性パターンについて、主信号と参照信号の正面方向以外の指向性パターンの一致度を高めるようにするため、補正部105と第2のパワースペクトル算出部とでは、(式3)および(式4)に示されるように、第1の参照信号スペクトルR1(ω)に主信号スペクトルX(ω)をN回乗算(N>0)して、参照信号パワースペクトルを得る。
ここで、第1の参照信号スペクトルR1(ω)では、感度死角の角度方向が感度ゼロである。そのため、第1の参照信号スペクトルR1(ω)に対して主信号スペクトルX(ω)を何回乗算しても第1の参照信号スペクトルR1(ω)の感度死角の角度方向では感度ゼロを保つ。一方、感度死角の角度方向以外は、感度の高/低は存在してもある値を持っているため、主信号スペクトルX(ω)を乗算する回数Nを増していくと、参照信号の指向性パターンは、Nの増加に応じて、主信号スペクトルX(ω)の影響が高まり、主信号と同じ指向性パターンに近づくことになる。理論上では例えばN=∞とすると、第1の参照信号スペクトルR1(ω)の感度死角(感度=ゼロ)である目的音方向以外の角度範囲は、主信号スペクトルX(ω)と同じ指向性パターンになる。
図6Aは、実施の形態1におけるN=1である場合の主信号パワースペクトルPx(ω)および第3の参照信号パワースペクトルPr3(ω)の指向性パターンの関係を示す特性図であり、図7Aは、実施の形態1におけるN=3である場合の主信号パワースペクトルPx(ω)および第3の参照信号パワースペクトルPr3(ω)の指向性パターンの関係を示す特性図である。図8Aは、実施の形態1におけるN=7である場合の主信号パワースペクトルPx(ω)および第3の参照信号パワースペクトルPr3(ω)の指向性パターンの関係を示す特性図である。
具体的には、図6Aから図8Aにおける破線はそれぞれN=1,N=3,N=7と乗算回数Nを増加させたときの、(式3)から(式5)より計算した第3の参照信号Pr3(ω)の指向性パターンである。例えば図8Aに示す主信号パワースペクトルPx(ω)(実線)と参照信号パワースペクトルPr3(ω)(破線)とを比較すると、目的音方向以外の部分で一致度が高いことからわかるように、N=1からN=7のNの増加に伴い主信号パワースペクトルPx(ω)の指向性パターンとの一致度が高まっている。
また、図6Bは、実施の形態1におけるN=1である場合の推定目的音パワースペクトルPs(ω)の指向性パターンを示す特性図であり、図7Bは、実施の形態1におけるN=3である場合の推定目的音パワースペクトルPs(ω)の指向性パターンを示す特性図である。図8Bは、実施の形態1におけるN=7である場合の推定目的音パワースペクトルPs(ω)の指向性パターンを示す特性図である。
具体的には、図6Bから図8Bに示されるように、主信号パワースペクトルPx(ω)から第3の参照信号パワースペクトルPr3(ω)を減算した推定目的音パワースペクトルPs(ω)の指向性パターンもNの増加に伴い鋭角化できることがわかる。ここで、推定目的音パワースペクトルPs(ω)の指向性パターンは、雑音抑圧部の目標出力であるので、指向性マイクロホン装置の出力y(t)の指向性パターンと等しくなる。
このように、実施の形態1の構成によれば、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置を実現することができる。より具体的には、実施の形態1の指向性マイクロホン装置1によれば、主信号の指向性パターンに対して、参照信号の指向性パターンの目的音方向以外のパターン一致度を向上させることができ、雑音抑圧部処理部の雑音推定精度の改善が得られるので、指向性の鋭角化と高音質化とを実現することができる。
なお、図9に示すように、抑圧部107には、主信号スペクトルX(ω)に代えて、第1のマイクロホン11からの出力信号x(t)が入力されるとしてもよい。以下変形例として具体的に説明する。
(変形例)
図9は、実施の形態1の変形例における指向性マイクロホン装置の構成を示す図である。図10は、実施の形態1の変形例における抑圧部の詳細構成の一例を示す図である。なお、図1および図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図9は、実施の形態1の変形例における指向性マイクロホン装置の構成を示す図である。図10は、実施の形態1の変形例における抑圧部の詳細構成の一例を示す図である。なお、図1および図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図9に示す指向性マイクロホン装置1Aは、実施の形態1に係る指向性マイクロホン装置1に対して、抑圧部107Aの構成が異なる。
抑圧部107Aは、第1のマイクロホン11で生成された第1の音響信号を主信号とし、補正部105で生成された第3の音響信号を参照信号として雑音抑圧を行うことで、第1の音響信号の目的方向の指向性を狭角化した出力音響信号を生成する。より具体的には、抑圧部107Aは、第1のマイクロホン11で生成された第1の音響信号(x(t))と、算出部106で算出された第1の音響信号のパワースペクトル(Px(ω))とを主信号とし、算出部106で算出された第3の音響信号のパワースペクトル(Pr2(ω))を参照信号として雑音抑圧を行うことで、出力音響信号を生成する。
より具体的には、抑圧部107Aは、図10に示すように、第1の係数乗算部110と、第1の減算部111と、雑音抑圧係数算出部108Aと、雑音抑圧処理部109Aとを備える。図10に示す抑圧部107Aは、実施の形態1に係る抑圧部107に対して、雑音抑圧係数算出部108Aと、雑音抑圧処理部109Aとの構成が異なる。
雑音抑圧処理部109Aは、第1の音響信号と雑音抑圧係数算出部108Aで算出された雑音抑圧係数とを入力として雑音抑圧を行うことで、出力音響信号y(t)を生成する。
図10に示すように、雑音抑圧処理部109Aの入出力は、x(t),y(t)の時間領域信号になっている。また、雑音抑圧係数算出部108Aの出力は、雑音抑圧処理部109Aで用いられるフィルタ係数hとなる。例えば次式で計算することができる。
h(n)=IFFT{Ps(ω)/Px(ω)} (式10)
そして、雑音抑圧処理部109で、(式11)に示すフィルタ処理を行っても良い。
y(t)=Σ x(t−n)・h(n) (式11)
以上、実施の形態1の変形例の構成によれば、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置を実現することができる。
なお、(式3)、(式4)のNは整数でなくても良く、詳細に調整が必要な場合には0より大きい実数値を用いても良い。
また、第1のマイクロホン11と第2のマイクロホン12は、マイクロホン素子で構成されても良いし、複数のマイクロホン素子から成るマイクロホンアレイからの信号処理で構成されても良い。
(実施の形態2)
実施の形態1では、補正部105において、第1の参照信号スペクトルR1(ω)に乗算する主信号スペクトルX(ω)の回数Nを予め定めた値として説明したが、それに限られない。Nは、変動させてもよい。以下この場合の例について説明する。
実施の形態1では、補正部105において、第1の参照信号スペクトルR1(ω)に乗算する主信号スペクトルX(ω)の回数Nを予め定めた値として説明したが、それに限られない。Nは、変動させてもよい。以下この場合の例について説明する。
図11は、実施の形態2における指向性マイクロホン装置の構成の一例を示す図である。なお、図1の指向性マイクロホン装置と同じ構成要素については同じ符号を用い、説明を省略する。
図11に示す指向性マイクロホン装置2は、図1の指向性マイクロホン装置1に対して、補正部105Aと、算出部106Aとの構成が異なり、ビーム幅制御部200が追加されている。
補正部105Aは、補正部105の機能を有し、さらにビーム幅制御部200より、(式3)に示す乗算回数であるNの値が制御される。
第2のパワースペクトル算出部1062Aは、第2のパワースペクトル算出部1062の機能を有し、さらにビーム幅制御部200より、(式4)に示すNの値が制御される。
ビーム幅制御部200は、補正部105Aにおける乗算回数であるNと、算出部106(第2のパワースペクトル算出部1062A)における(2/(N+1))乗のN値を変化させることで指向性マイクロホン装置2の指向性を制御する。
ここで、ビーム幅制御部200は、ユーザが使用する際の設定値が入力されたり、カメラ系の画像ズームに連動させたズーム制御信号が入力されたりすることで、上記Nの値を制御する。
以上のように構成された指向性マイクロホン装置2の動作について説明する。
実施の形態1における(式3)と(式4)の主信号スペクトルの乗算回数Nを変数とすることで、図5Bに示すN=0の場合の推定目的音パワースペクトルPs(ω)の指向性パターンから図8Bに示すN=7の場合の推定目的音パワースペクトルPs(ω)の指向性パターンを制御することができる。例えば、ビーム幅制御部200によりNの値が増やされることで指向性マイクロホン装置2の出力y(t)の指向性パターンを鋭角化することができる。つまり、ビーム幅制御部200がNの値を制御することで指向性マイクロホン装置2の指向性を広角から鋭角へと変化させることができる。
このように、実施の形態2の構成によれば、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置を実現することができる。さらに、実施の形態2の構成によれば、ユーザは、指向性マイクロホン装置2の指向性パターンを設定することができたり、画像のズームに連動した音ズーム効果を得たりすることができる。
(実施の形態3)
以下の実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。また、以下では、図中の0°は目的方向を示している。
以下の実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。また、以下では、図中の0°は目的方向を示している。
図12は、実施の形態3における指向性マイクロホン装置の構成の一例を示す図である。図13は、実施の形態3における第1の指向性合成部の詳細構成の一例を示す図である。図14は、実施の形態3における第2の指向性合成部の詳細構成の一例を示す図である。
図12に示す指向性マイクロホン装置3は、マイクロホンアレイ101、第1の指向性合成部102、第2の指向性合成部103、変換部104、補正部105B、算出部106B、および、抑圧部107Bを備える。
マイクロホンアレイ101は、複数のマイクロホンから構成される。具体的には、マイクロホンアレイ101は、複数の無指向性マイクロホンユニットを備え、比較的小さいスペースに配置されている。マイクロホンアレイ101は、例えばビデオカメラやデジタルスチルカメラ等の機器に内蔵される。
本実施の形態では、例えば図12に示すように、マイクロホンアレイ101は、4個の無指向性マイクロホンユニット101F、101B、101Lおよび101Rが目的方向に対して菱形に配置される。無指向性マイクロホンユニット101F、101B、101Lおよび101Rはそれぞれ、音響信号xf(t)、xb(t)、xl(t)およびxr(t)を出力する。ここで、間隔d1は無指向性マイクロホンユニット101Fと101Bの間隔であり、間隔d2は無指向性マイクロホンユニット101Lと101Rの間隔である。間隔d1および間隔d2は、必要とする周波数帯域や設置スペースの制約によって決定される任意の値である。以下では、一例として周波数帯域の観点からd1、d2=5mm〜100mm程度の範囲として説明する。
第1の指向性合成部102は、マイクロホンアレイ101の出力信号を演算処理することで、目的方向に感度を有する第1の音響信号を生成する。本実施の形態では、第1の指向性合成部102は、無指向性マイクロホンユニット101Fおよび101Bからの音響信号xf(t)およびxb(t)を用いて目的方向に主軸を有す指向性を持つ音響信号x(t)を生成(指向性信号x(t)とも記載)する。ここで、音響信号x(t)は、第1の音響信号の具体例である。
また、第1の指向性合成部102は、図13に示すように、第1の遅延器1021、第2の遅延器1022、減算器1023、EQ(Equalizer)1024を備え、目的方向(0°)に主軸を有する音圧傾度型の単一指向性を形成する。
第1の遅延器1021は、デジタルフィルタで構成され、音響信号xf(t)が入力される。同様に、第2の遅延器1022は、デジタルフィルタで構成され、音響信号xb(t)が入力される。
第1の遅延器1021と第2の遅延器1022とを構成するそれぞれのデジタルフィルタのフィルタ係数は、次のように設計される。すなわち、減算器1023の入力において図12の180°方向からの到来する音波に対する音響信号xf(t)と音響信号xb(t)とが、例えば減算器1023の入力において同相となるように設計される。より具体的には、上記フィルタ係数は、第2の遅延器1022が第1の遅延器1021に対して相対的にd1/c[s]遅れるよう設計される。ここで、cは音速[m/s]である。
減算器1023は、第1の遅延器1021の出力信号から第2の遅延器1022の出力信号を差し引く。これにより、180°方向の感度を無くす(目的方向に感度死角を有する)ことができ、相対的に0°方向(目的方向)に感度の高い信号を得ることができる。また、減算器1023の出力信号は、0°方向について原理的に周波数が低く(波長が長く)なるにしたがって−6dB/Octaveの傾斜を有する振幅周波数特性となる。
EQ1024は、減算器1023の出力信号の振幅周波数特性が平坦となるように補正を行うことで、音響信号x(t)を生成して出力する。
以上のように第1の指向性合成部102は構成される。
第2の指向性合成部103は、マイクロホンアレイ101の出力信号を演算処理することで、目的方向に感度死角を有する第2の音響信号を生成する。本実施の形態では、第2の指向性合成部103は、無指向性マイクロホンユニット101Lおよび101Rからの音響信号xl(t)およびxr(t)を用いて目的方向に感度死角を有する指向性を持つ音響信号r1(t)(以下、指向性信号r1(t)とも記載)を生成する。ここで、音響信号r1(t)は、第2の音響信号の具体例である。
また、第2の指向性合成部103は、図14に示すように、減算器1031およびEQ1032を備え、目的方向(0°)と目的方向の正反対方向(180°)とに感度死角を有する双指向性を形成する。
減算器1031は、音響信号xl(t)から音響信号xr(t)を差し引く。なお、0°方向(目的方向)、及び180°方向からの音波は、理想状態の場合、無指向性マイクロホンユニット101Lおよび101Rに同振幅かつ同位相で入力されるため、減算器1031からの出力信号は0である。
また、減算器1031の出力信号は、90°方向或いは270°方向について原理的に周波数が低く(波長が長く)なるにしたがって−6dB/Octaveの傾斜を有する振幅周波数特性となる。
EQ1032は、減算器1031の出力信号の振幅周波数特性が平坦となるように補正を行うことで、音響信号r1(t)を生成して出力する。
以上のように第2の指向性合成部103は構成される。
変換部104は、例えば、第1の変換部の一例であり、第1の指向性合成部102で生成された第1の音響信号と、第2の指向性合成部103で生成された第2の音響信号を周波数領域の信号に変換する。本実施の形態では、図12に示すように、変換部104は、第1の時間−周波数変換部1041と、第2の時間−周波数変換部1042とを備える。
第1の時間−周波数変換部1041は、第1の指向性合成部102からの音響信号x(t)を、複数のサンプル数を蓄積したフレーム単位(例えば、1フレームのサンプル数は256等の2のべき乗)で、高速フーリエ変換、フィルタバンクまたはウェーブレット変換等を行い周波数領域の信号X(ω)を算出する。なお、第1の時間−周波数変換部1041は、音響信号x(t)を例えば50%オーバーラップで蓄積したり、また、蓄積した音響信号x(t)にハミング窓等の窓掛けを行ったりして、信号X(ω)を算出するとしてもよい。
第2の時間−周波数変換部1042は、第2の指向性合成部103からの音響信号r1(t)に対し、上述した第1の時間−周波数変換部1041と同じ方法で周波数領域の信号R1(ω)を算出する。
補正部105Bは、例えば補正部の一例であり、第2の指向性合成部103で生成された第2の音響信号に対して、第1の指向性合成部102で生成された第1の音響信号と、第2の指向性合成部103で生成された第2の音響信号とをN回(N>0)周波数領域で乗算することによって、上記目的方向の感度死角の角度範囲を第2の音響信号より狭くした第3の音響信号を生成する。より具体的には、補正部105Bは、変換部104で周波数領域の信号に変換された第1の音響信号に対して変換部104で周波数領域の信号に変換された第2の音響信号とをN回(N>0)乗算することにより、第3の音響信号を生成する。なお、実施の形態1および2において、第2のパワスペクトル算出部1062が、N+1回乗算された信号スペクトルをパワ(2乗)のオーダーに変換していたが、以下では、第2のパワスペクトル算出部1062Bは、補正部105Bより出力された振幅スペクトルを入力としてパワスペクトルに変換するものとする。補正部105BはN+1回乗算された信号スペクトルを振幅スペクトルに変換して出力する構成であるとして説明をする。本実施の形態および以降の実施の形態では、N=1であるものとして説明する。
本実施の形態では、補正部105Bは、第1の時間−周波数変換部1041の出力信号である信号X(ω)と第2の時間−周波数変換部1042の出力信号である信号R1(ω)とのスペクトル乗算を用いて信号R1(ω)の目的方向の感度死角の角度範囲を狭角化した信号R1’(ω)を算出する。なお、信号R1’(ω)は、第3の音響信号の具体例である。
以下、より具体的に説明する。
図15Aおよび図15Bは、実施の形態3における補正部の機能構成の一例を示す図である。
例えば、図15Aに示すように、補正部105Bは、スペクトル乗算部1051と、絶対値演算部1052と、平方根算出部1053とを備え、(式12)に示す算出式を実行する。
この場合、スペクトル乗算部1051は、周波数領域の信号に変換された第2の音響信号と周波数領域の信号に変換された第1の音響信号とを複素乗算する。本実施の形態では、スペクトル乗算部1051は、図15Aに示すように、信号X(ω)と信号R1(ω)とのスペクトル乗算を行う。
絶対値演算部1052は、スペクトル乗算部1051の出力信号の絶対値を算出する。本実施の形態では、絶対値演算部1052は、信号X(ω)と信号R1(ω)との乗算値の絶対値を算出する。
平方根算出部1053は、絶対値演算部1052により算出された絶対値の平方根を算出することにより、第3の音響信号を生成する。本実施の形態では、平方根算出部1053は、信号R1’(ω)を算出する。
なお、補正部105Bは、図15Aに示す機能構成を備える場合に限られない。例えば、図15Bに示すように、補正部105Cは、絶対値演算部1054、1055と、乗算部1056と、平方根算出部1057とを備え、(式13)に示す算出式を実行するとしてもよい。(式13)に示す算出式を実行する場合でも、(式12)に示す算出式を実行する場合と同じ結果が得られるからである。
この場合、絶対値演算部1054、1055は、周波数領域の信号に変換された第1の音響信号の第1の絶対値および周波数領域の信号に変換された第2の音響信号の第2の絶対値を算出する。本実施の形態では、図15Bに示すように、絶対値演算部1054は、信号X(ω)の絶対値(第1の絶対値)を算出し、絶対値演算部1055は、信号R1(ω)の絶対値(第2の絶対値)を算出する。
乗算部1056は、絶対値演算部1054、1055で算出された第1の絶対値と第2の絶対値との乗算を行う。本実施の形態では、乗算部1056は、信号X(ω)の絶対値(第1の絶対値)と信号R1(ω)の絶対値(第2の絶対値)との乗算を行う。
平方根算出部1057は、乗算部1056により行われた乗算値の平方根を算出することにより、第3の音響信号を生成する。本実施の形態では、平方根算出部1057は、信号R1’(ω)を算出する。
なお、補正部105Bは、(式12)または(式13)に示す算出式を実行する機能構成を備える場合について説明したが、同じ結果が得られるのであればこれらに限られない。例えば、信号X(ω)および信号R1(ω)のどちらか、または両方の共役複素数をとって算出してもよい。(式12)に示す算出式を実行する場合と同じ結果が得られる。
ここで、図16は、実施の形態3における補正部105Bの入力信号および出力信号の指向性パターンを示す図である。図16の(a)には、図15Aに示す補正部105Bに入力される入力信号である信号X(ω)の指向性パターンが示されており、図16の(b)には、図15Aに示す補正部105Bに入力される入力信号である信号R1(ω)の指向性パターンが示されている。図16の(c)には、図15Aに示す補正部105Bが出力する出力信号である信号R1’(ω)の指向性パターンが示されている。
このように、補正部105Bは、双指向性を持つ信号R1(ω)の目的方向に形成しているゼロ感度(図16の(b)の0°方向の感度)を、信号R1’(ω)でも維持するよう算出処理する(図16の(c)の0°方向の感度)。また、補正部105Bは、信号R1’(ω)のその他の方向(目的方向以外の方向)の感度(指向性)を、信号R1(ω)と信号X(ω)の中間値となるよう算出処理する。それにより、補正部105Bは、目的方向に信号R1(ω)より角度範囲の狭い感度死角を有する指向性を持つ信号R1’(ω)を生成することができる。
以上のように補正部105Bは構成され、算出処理を行う。
算出部106Bは、例えば、パワースペクトル算出部の一例であり、周波数領域の信号に変換された、第1の音響信号および第2の音響信号のそれぞれのパワースペクトルを算出する。本実施の形態では、図12に示すように、算出部106は、第1のパワースペクトル算出部1061と、第2のパワースペクトル算出部1062Bとを備える。
第1のパワースペクトル算出部1061は、第1の時間−周波数変換部1041の出力信号である信号X(ω)のパワースペクトルPx(ω)を算出する。ここで、例えば第1のパワースペクトル算出部1061は、(式14)に示す算出式を用いてパワースペクトルPx(ω)を算出する。
第2のパワースペクトル算出部1062Bは、補正部105Bの出力信号である信号R1’(ω)のパワースペクトルPr1’(ω)を算出する。ここで、例えば第2のパワースペクトル算出部1062Bは、(式15)に示す算出式を用いてパワースペクトルPr1’(ω)を算出する。
以上のように算出部106Bは構成され、パワースペクトルを算出する。
なお、(式14)および(式12)または(式15)および(式13)を比較してわかるように(式12)および(式13)の平方根の計算は省略が可能である。
抑圧部107Bは、第1の指向性合成部102で生成された第1の音響信号を主信号とし、補正部105Bで生成された第3の音響信号を参照信号として雑音抑圧を行うことで、第1の音響信号の目的方向の指向性を狭角化した出力音響信号を生成する。本実施の形態では、図12に示すように、抑圧部107Bは、雑音抑圧係数算出部108Bと、雑音抑圧部109Bとを備える。
雑音抑圧係数算出部108Bは、第1の音響信号と第3の音響信号とのパワースペクトルを用いて、第1の音響信号に含まれる目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する。例えば、雑音抑圧係数算出部108Bは、算出部106Bで算出された第1の音響信号のパワースペクトルを主信号とし、算出部106Bで算出された第3の音響信号のパワースペクトルを参照信号として、雑音抑圧係数を算出する。
本実施の形態では、雑音抑圧係数算出部108Bは、第1のパワースペクトル算出部1061の出力信号であるパワースペクトルPx(ω)を主信号とし、第2のパワースペクトル算出部1062Bの出力信号であるパワースペクトルPr1’(ω)を参照信号とし、主信号であるパワースペクトルPx(ω)から目的方向以外の音である雑音を抑圧する雑音抑圧係数H(ω)を算出する。
雑音抑圧係数算出部108Bは、例えば(式16)に示す算出式を用いて、雑音抑圧係数H(ω)を算出する。なお、(式16)は、雑音抑圧係数H(ω)を算出するための算出式の一例であり、ウィナーフィルタの特性を有する算出式である。
ここで、α(ω)は重み係数である。
重み係数α(ω)の算出方法は、例えば上記特許文献1に開示されている。すなわち、まず、スペクトル比Px(ω)/Pr1’(ω)を算出する。次に、目的音より周囲雑音が支配的な状況、本実施の形態の構成の場合では例えば(式17)に示すような状況において、(式18)を用いて、スペクトル比Px(ω)/Pr1’(ω)の時間平均を算出する。算出した時間平均がα(ω)に相当する。
なお、重み係数α(ω)の算出方法の詳細は、上記特許文献1に開示されているため、説明を省略する。
また、雑音抑圧係数算出部108Bは、第1の音響信号と第3の音響信号とのパワースペクトルを用いて、上記雑音を抑圧する雑音抑圧係数を算出できればよいので、上述した構成に限らない。例えば、特許文献3に開示される構成を用いてもよい。なお、構成の例示については、特許文献3に開示されているため、ここでの説明を省略する。
雑音抑圧部109Bは、第1の指向性合成部102で生成された第1の音響信号に雑音抑圧係数算出部108Bで算出された雑音抑圧係数を適用することで、雑音を抑圧して目的方向の音のみを抽出する雑音抑圧を行うことにより、出力音響信号を生成する。本実施の形態では、図12に示すように、雑音抑圧部109Bは、乗算器1091と、周波数−時間変換部1092とを備える。
乗算器1091は、周波数領域の信号に変換された前記第1の音響信号と、雑音抑圧係数算出部108Bで算出された雑音抑圧係数との乗算を行い、雑音を抑圧した目的方向の目的音響信号のみを抽出する。本実施の形態では、乗算器1091は、第1の時間−周波数変換部1041の出力信号である信号X(ω)に、雑音抑圧係数算出部108Bで算出した雑音抑圧係数H(ω)を乗ずることにより、信号X(ω)から目的方向以外の音である雑音を抑圧した信号Y(ω)=X(ω)・H(ω)を算出する。ここで、信号Y(ω)は、目的音響信号の具体例である。
周波数−時間変換部1092は、例えば、逆フーリエ変換部の一例であり、乗算器1091で抽出された目的音響信号を時間領域の信号に変換することで、出力音響信号を生成する。本実施の形態では、周波数−時間変換部1092は、目的方向以外の音である雑音が抑圧され、目的方向の音が強調された信号Y(ω)を逆フーリエ変換等により時間領域の音響信号y(t)に変換する。ここで、音響信号y(t)は、出力音響信号の具体例である。
以上、本実施の形態によれば、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置および音響信号処理方法を実現することができる。
より具体的には、本実施の形態の指向性マイクロホン装置および音響信号処理方法によれば、目的方向に主軸を有する主信号と、目的方向に感度死角を有する参照信号と用いて、これら感度死角が異なる2つの指向性信号(主信号、参照信号)のスペクトル乗算を行うことにより、目的方向の感度死角の角度範囲をより狭くできる参照信号を形成することができる。つまり、本実施の形態の指向性マイクロホン装置によれば、数mmから数cmオーダーの比較的小さいスペースに配置した複数のマイクロホンユニットを用いて、目的方向以外の音を抑圧し、目的方向の音のみを収音するため、目的方向の感度死角の角度範囲のより狭い参照信号を形成することができる。そして、形成した参照信号を用いて雑音抑圧処理を行うことにより、目的方向の狭角化が可能となる。
換言すると、本実施の形態の指向性マイクロホン装置および音響信号処理方法によれば、参照信号の目的方向に対する感度死角の角度範囲をより狭くすることができ、参照信号に目的方向近傍の音を含ませることができる。それにより、目的方向に対し、より狭い指向角を有する指向性を形成することができるので、目的方向に対し、より狭い指向角を有する指向性を有する音響信号を形成することができる。
(実施の形態4)
図17は、実施の形態4における指向性マイクロホン装置の構成の一例を示す図である。図17において、図12と同じ構成要素については同じ符号を用い、説明を省略する。
図17は、実施の形態4における指向性マイクロホン装置の構成の一例を示す図である。図17において、図12と同じ構成要素については同じ符号を用い、説明を省略する。
図17に示す指向性マイクロホン装置4は、実施の形態3に係る指向性マイクロホン装置3に対して、抑圧部207の雑音抑圧部209の構成が異なる。
具体的には、図17に示す雑音抑圧部209は、図12に示す雑音抑圧部109Bに対して、乗算器1091および周波数−時間変換部1092が削除され、周波数−時間変換部2091、時変係数FIR(Finite Impulse Response)フィルタ部2092を追加した点が異なる。また、上記構成の変更に伴い、第1の指向性合成部102および第1の時間−周波数変換部1041それぞれの出力先が変更となっている。
周波数−時間変換部2091は、例えば第2の変換部の一例であり、周波数領域の係数である雑音抑圧係数を時間領域のFIRフィルタのフィルタ係数に変換する。本実施の形態では、周波数−時間変換部2091は、雑音抑圧係数算出部108Bで算出した雑音抑圧係数H(ω)を時間領域のFIRフィルタの係数h(t)に変換する。
時変係数FIRフィルタ部2092は、周波数−時間変換部2091で変換された1単位時間(1フレーム)前のFIRフィルタの係数を、周波数−時間変換部2091で変換された現単位時間(現フレーム)のFIRフィルタの係数を用いて更新し、第1の指向性合成部102で生成された第1の音響信号にフィルタ処理を行うことにより、出力音響信号を生成する。本実施の形態では、時変係数FIRフィルタ部2092は、まず、例えば(式19)にしたがって周波数−時間変換部2091で算出されたフィルタ係数h(t)を用いて現在の時変係数FIRフィルタの係数hw(t)を更新する。
ここで、係数γは、時定数に相当するパラメータであり、出力音響信号の音質の制御を可能とする。
このようにして、雑音抑圧部209は、第1の指向性合成部102で生成された第1の音響信号に雑音抑圧係数算出部108Bで算出された雑音抑圧係数を適用することで、雑音を抑圧して目的方向の音のみを抽出する雑音抑圧を行うことにより、出力音響信号を生成する。
本実施の形態では、さらに、雑音抑圧部209は、周波数−時間変換部2091および時変係数FIRフィルタ部2092を有することにより、雑音抑圧係数がFIRフィルタのフィルタ係数に変換され、フレーム間に算出されるフィルタ係数の更新を短い時間単位で行うことができるので、畳み込み演算を利用して、出力音響信号の音質の細かい制御が可能となる。
(実施の形態5)
図18は、実施の形態5における指向性マイクロホン装置の構成の一例を示す図である。図19は、実施の形態5における第3の指向性合成部の詳細構成の一例を示す図である。なお、図12と同じ構成要素については同じ符号を用い、説明を省略する。
図18は、実施の形態5における指向性マイクロホン装置の構成の一例を示す図である。図19は、実施の形態5における第3の指向性合成部の詳細構成の一例を示す図である。なお、図12と同じ構成要素については同じ符号を用い、説明を省略する。
図18に示す指向性マイクロホン装置5は、実施の形態3に係る指向性マイクロホン装置3(図12)に対して、変換部304、算出部306および抑圧部307の構成が異なり、第3の指向性合成部301が追加されている。
具体的には、図18に示す変換部304は、図12に示す変換部104に対して、第3の時間−周波数変換部3043が追加されている点が異なる。図18に示す算出部306は、図12に示す算出部106Bに対して、第3のパワースペクトル算出部3063が追加されている点が異なる。図18に示す抑圧部307は、図12に示す抑圧部107Bに対して、雑音抑圧係数算出部308の構成が異なり、雑音抑圧部310が追加されている。
第3の指向性合成部301は、マイクロホンアレイ101の出力信号を演算処理することで、目的方向に感度死角を有し、かつ、第2の音響信号とは異なる指向性パターンを有する第4の音響信号を生成する。
本実施の形態では、第3の指向性合成部301は、無指向性マイクロホンユニット101Bおよび101Fからの音響信号xb(t)および音響信号xf(t)を用いて目的方向の反対方向、すなわち180°に主軸を有する指向性を有する音響信号r2(t)(指向性信号r2(t)とも記載)を生成する。ここで、音響信号r2(t)は、第4の音響信号の具体例である。
また、第3の指向性合成部301は、図19に示すように、第1の遅延器3011、第2の遅延器3012、減算器3013、EQ3014を備え、第1の指向性合成部102と正反対の方向に指向性の主軸を有する音圧傾度型の単一指向性を形成する。つまり、第3の指向性合成部301は、図13に示す第1の指向性合成部102の構成と入力信号が逆になっており、第1の指向性合成部102と正反対の方向に指向性の主軸を有する音圧傾度型の単一指向性を形成する。なお、詳細な説明は、図13と同様のために省略する。
変換部304は、例えば第1の変換部の一例であり、第1の指向性合成部102で生成された第1の音響信号と、第2の指向性合成部103で生成された第2の音響信号と、第3の指向性合成部301で生成された第4の音響信号とを周波数領域の信号に変換する。
本実施の形態では、変換部304は、第1の時間−周波数変換部1041、第2の時間−周波数変換部1042および第3の時間−周波数変換部3043を備える。第3の時間−周波数変換部3043は、第3の指向性合成部301の出力信号r2(t)に対し、第1の時間−周波数変換部1041と同じ方法で周波数領域の信号R2(ω)を算出する。なお、第1の時間−周波数変換部1041および第2の時間−周波数変換部1042については、実施の形態3で説明した通りであるので、説明は省略する。
算出部306は、例えばパワースペクトル算出部の一例であり、変換部304で周波数領域の信号に変換された第1の音響信号と第3の音響信号と第4の音響信号とのそれぞれのパワースペクトルを算出する。
本実施の形態では、算出部306は、第1のパワースペクトル算出部1061、第2のパワースペクトル算出部1062B、および第3のパワースペクトル算出部3063を備える。第3のパワースペクトル算出部3063は、第3の時間−周波数変換部3043の出力信号である信号R2(ω)のパワースペクトルPr2(ω)を算出する。ここで、例えば第3のパワースペクトル算出部3063は、(式20)に示す算出式を用いてパワースペクトルPr2(ω)を算出する。
なお、第1のパワースペクトル算出部1061および第2のパワースペクトル算出部1062Bについては、実施の形態3で説明した通りであるので、説明は省略する。
雑音抑圧部310は、例えば、反対方向雑音抑圧部の一例であり、補正部105Bで生成された第3の音響信号を主信号とし、第3の指向性合成部301で生成された第4の音響信号を参照信号として、第3の音響信号に含まれる目的方向に対して正反対の方向の音である第1の雑音を抑圧する。例えば、雑音抑圧部310は、第3の音響信号のパワースペクトルを主信号とし、第4の音響信号のパワースペクトルを参照信号として、第1の雑音を抑圧する。
本実施の形態では、雑音抑圧部310は、第2のパワースペクトル算出部1062Bの出力信号であるパワースペクトルPr1'(ω)を主信号とし、第3のパワースペクトル算出部3063の出力信号であるパワースペクトルPr2(ω)を参照信号とし、主信号であるパワースペクトルPr1'(ω)から180°を中心とする後方の雑音を抑圧し、出力信号であるパワースペクトルPr1”(ω)を算出する。
例えば、雑音抑圧部310は、(式21)に示す算出式を用いて出力信号であるパワースペクトルPr1”(ω)を算出する。
ここで、α’(ω)は重み係数である。重み係数α’(ω)の算出は、例えば、雑音抑圧係数算出部308にて算出する重み係数α(ω)と同様に、上記特許文献1または上記特許文献3に開示されている方法を用いればよいので、詳細な説明は省略する。
雑音抑圧係数算出部308は、図12に示す雑音抑圧係数算出部108Bと比較して、雑音抑圧係数算出部108Bの参照信号が増加した点が異なっている。換言すると、雑音抑圧係数算出部308は、雑音抑圧係数算出部108Bの参照信号を複数チャンネルに拡張した処理を行うものである。
雑音抑圧係数算出部308は、第1の音響信号と第4の音響信号と雑音抑圧部310の出力信号とを用いて、第1の雑音を含む目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する。雑音抑圧係数算出部308は、第1の音響信号のパワースペクトルを主信号とし、雑音抑圧部310の出力信号および第4の音響信号のパワースペクトルを参照信号として、雑音抑圧係数を算出する。
本実施の形態では、雑音抑圧係数算出部308は、第1のパワースペクトル算出部1061の出力信号Px(ω)を主信号とし、雑音抑圧部310の出力信号Pr1”(ω)、及び第3のパワースペクトル算出部3063の出力信号であるパワースペクトルPr2(ω)を参照信号とし、主信号であるパワースペクトルPx(ω)から目的方向以外の音である雑音を抑圧する係数H(ω)を算出する。
雑音抑圧係数算出部308は、例えば(式22)に示す算出式を用いて、雑音抑圧係数H(ω)を算出する。なお、(式22)は、雑音抑圧係数H(ω)を算出するための算出式の一例であり、ウィナーフィルタの特性を有する算出式である。
ここで、α1(ω)およびα2(ω)は重み係数である。重み係数α1(ω)およびα2(ω)の算出方法は、例えば、雑音抑圧係数算出部108Bにて算出する重み係数α(ω)と同様に、上記特許文献1または上記特許文献3に開示されている方法を用いればよいので、詳細な説明は省略する。
以上、本実施の形態によれば、目的方向に対し、より狭い指向角を有する指向性を形成することができる指向性マイクロホン装置および音響信号処理方法を実現することができる。
本実施の形態では、実施の形態3および4と比較して、さらに、参照信号を方向別に算出できるよう構成することにより、より複数方向から到来する雑音の推定が可能となる。それにより、目的方向に対し、より狭い指向角を有する指向性を有する音響信号を精度よく形成することができる。
以上、本発明の一つまたは複数の態様に係る指向性マイクロホン装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、実施の形態4と実施の形態5に示す指向性マイクロホン装置の構成を組み合わせてもよい。以下、この場合の例について図20に示す。図20は、実施の形態5における指向性マイクロホン装置3Aの構成の変形例を示す図である。なお、図20において、図17および図18と同じ構成要素については同じ符号を用いているため説明は省略する。
この構成によれば、参照信号を方向別に算出し、かつ、雑音の抑圧処理を雑音抑圧部310で行うことにより、複数方向から到来する雑音の推定と共にフレーム間に算出されるフィルタ係数の更新を短い時間単位で行うことが可能となる。それにより、目的方向に対し、より狭い指向角を有する指向性を有する音響信号を精度よく形成することができるだけでなく、出力音響信号の音質の細かい制御が可能となる。
以上のように、本出願において開示する技術の例示として、複数の実施の形態を説明した。しかしながら、本発明における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
また、以下のような場合も本開示に含まれる。
(1)マイクロホンを除く上記の各装置を構成する構成要素は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Ramdom Access Memory)、などから構成されるコンピュータシステムとして実装される。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)マイクロホンを除く上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
(3)マイクロホンを除く上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なIC(Integrated Circuit)カード又は単体のモジュールから構成されてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含んでもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有してもよい。
(4)本発明は、マイクロホンを備えるのは必須ではない。外部装置としてのマイクロホンから出力信号を受け取り、受け取った出力信号を用いて、目的方向に感度を有する第1の音響信号と、目的方向に感度死角を有する第2の音響信号とを生成すればよい。すなわち、目的方向に感度を有する第1の音響信号を生成する第1の指向性合成部と、前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成部と、前記第2の指向性合成部で生成された前記第2の音響信号に対して、前記第1の指向性合成部で生成された前記第1の音響信号と、前記第2の指向性合成部で生成された前記第2の音響信号とをN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正部と、前記第1の指向性合成部で生成された前記第1の音響信号を主信号とし、前記補正部で生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧部とを備えるとしてもよい。
(5)本発明は、上記に示す方法であってもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであってもよいし、コンピュータプログラムからなるデジタル信号であってもよい。
すなわち、このプログラムは、コンピュータに、目的方向に感度を有する第1の音響信号を生成する第1の指向性合成ステップと、前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成ステップと、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号と、前記第2の指向性合成ステップにおいて生成された前記第2の音響信号に対して、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正ステップと、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号を主信号とし、前記補正ステップにおいて生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧ステップとを、実行させるためのプログラムとしてもよい。
また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magneto−Optical disc)、DVD(Digital Versatile Disc)、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものでもよい。また、これらの記録媒体に記録されているデジタル信号であってもよい。また、本発明は、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものでもよい。また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムに従って動作してもよい。また、プログラムもしくはデジタル信号を記録媒体に記録して移送することにより、または、プログラムもしくはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。
(6)上記各実施の形態をそれぞれ組み合わせてもよい。
なお、上記各実施の形態において、複数の指向性信号を、マイクロホンアレイと複数の指向性合成部とを用いて生成してきたが、代わりに極近接に配置した複数の指向性マイクロホンの出力を用いても良い。
以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本発明における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本発明は、指向性マイクロホン装置、音響信号処理方法およびプログラムに利用でき、特に、特定方向の音の収音するビデオカメラ、補聴器、車載マイクおよびテレビ等や、外部装置としてのマイクロホンを用いて特定方向の音を収音する携帯端末にインストールされるアプリケーションなどの用途に応用される指向性マイクロホン装置、音響信号処理方法およびプログラムに利用することができる。
1、1A、2、3、3A、4、5 指向性マイクロホン装置
11 第1のマイクロホン
12 第2のマイクロホン
101 マイクロホンアレイ
101L、101R、101F、101B 無指向性マイクロホンユニット
102 第1の指向性合成部
103 第2の指向性合成部
104、304 変換部
105、105A、105B、105C 補正部
106、106A、106B、306 算出部
107、107A、107B、207、307 抑圧部
108、108A、108B 雑音抑圧係数算出部
109、109A 雑音抑圧処理部
109B、209、310 雑音抑圧部
110 第1の係数乗算部
111 第1の減算部
200 ビーム幅制御部
301 第3の指向性合成部
308 雑音抑圧係数算出部
901 第1のマイクロホンユニット
902 第2のマイクロホンユニット
910 判定部
920 適応フィルタ部
930 信号減算部
940 雑音抑圧フィルタ係数算出部
950 時変係数フィルタ部
1021、3011 第1の遅延器
1022、3012 第2の遅延器
1023、1031、3013 減算器
1024、1032、3014 EQ
1041 第1の時間−周波数変換部
1042 第2の時間−周波数変換部
1050 演算部
1051 スペクトル乗算部
1052、1054、1055 絶対値演算部
1056 乗算部
1053、1057 平方根算出部
1061 第1のパワースペクトル算出部
1062、1062A、1062B 第2のパワースペクトル算出部
1091 乗算器
1092 周波数−時間変換部
2091 周波数−時間変換部
2092 時変係数FIRフィルタ部
3043 第3の時間−周波数変換部
3063 第3のパワースペクトル算出部
11 第1のマイクロホン
12 第2のマイクロホン
101 マイクロホンアレイ
101L、101R、101F、101B 無指向性マイクロホンユニット
102 第1の指向性合成部
103 第2の指向性合成部
104、304 変換部
105、105A、105B、105C 補正部
106、106A、106B、306 算出部
107、107A、107B、207、307 抑圧部
108、108A、108B 雑音抑圧係数算出部
109、109A 雑音抑圧処理部
109B、209、310 雑音抑圧部
110 第1の係数乗算部
111 第1の減算部
200 ビーム幅制御部
301 第3の指向性合成部
308 雑音抑圧係数算出部
901 第1のマイクロホンユニット
902 第2のマイクロホンユニット
910 判定部
920 適応フィルタ部
930 信号減算部
940 雑音抑圧フィルタ係数算出部
950 時変係数フィルタ部
1021、3011 第1の遅延器
1022、3012 第2の遅延器
1023、1031、3013 減算器
1024、1032、3014 EQ
1041 第1の時間−周波数変換部
1042 第2の時間−周波数変換部
1050 演算部
1051 スペクトル乗算部
1052、1054、1055 絶対値演算部
1056 乗算部
1053、1057 平方根算出部
1061 第1のパワースペクトル算出部
1062、1062A、1062B 第2のパワースペクトル算出部
1091 乗算器
1092 周波数−時間変換部
2091 周波数−時間変換部
2092 時変係数FIRフィルタ部
3043 第3の時間−周波数変換部
3063 第3のパワースペクトル算出部
Claims (19)
- 目的方向に感度を有する第1の音響信号を生成する第1の指向性合成部と、
前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成部と、
前記第2の指向性合成部で生成された前記第2の音響信号に対して、前記第1の指向性合成部で生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正部と、
前記第1の指向性合成部で生成された前記第1の音響信号を主信号とし、前記補正部で生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧部とを備える、
指向性マイクロホン装置。 - 前記第1の指向性合成部および前記第2の指向性合成部は、複数のマイクロホンから構成されるマイクロホンアレイの出力信号を演算処理することで、前記第1の音響信号および前記第2の音響信号を生成する、
請求項1に記載の指向性マイクロホン装置。 - さらに、前記第1の指向性合成部で生成された前記第1の音響信号と、前記第2の指向性合成部で生成された前記第2の音響信号とを周波数領域の信号に変換する第1の変換部を備え、
前記補正部は、前記第1の変換部で周波数領域の信号に変換された前記第2の音響信号に対して前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号をN回(N>0)乗算することにより、前記第3の音響信号を生成する、
請求項1または2に記載の指向性マイクロホン装置。 - 前記Nは、1であり、
前記補正部は、
周波数領域の信号に変換された前記第2の音響信号と周波数領域の信号に変換された前記第1の音響信号とを複素乗算するスペクトル乗算部と、
前記スペクトル乗算部の出力信号の絶対値を算出する絶対値演算部と、
前記絶対値演算部により算出された前記絶対値の平方根を算出することにより、前記第3の音響信号を生成する平方根算出部と、を有する、
請求項1〜3のいずれか1項に記載の指向性マイクロホン装置。 - 前記Nは、1であり、
前記補正部は、
周波数領域の信号に変換された前記第1の音響信号の第1の絶対値および周波数領域の信号に変換された前記第2の音響信号の第2の絶対値を算出する絶対値演算部と、
前記絶対値演算部で算出された前記第1の絶対値と前記第2の絶対値との乗算を行う乗算部と、
前記乗算部により行われた乗算値の平方根を算出することにより、前記第3の音響信号を生成する平方根算出部と、を有する、
請求項1〜3のいずれか1項に記載の指向性マイクロホン装置。 - 前記抑圧部は、
前記第1の音響信号と前記第3の音響信号とのパワースペクトルを用いて、前記第1の音響信号に含まれる前記目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する雑音抑圧係数算出部と、
前記第1の指向性合成部で生成された前記第1の音響信号に前記雑音抑圧係数算出部で算出された前記雑音抑圧係数を適用し、前記雑音を抑圧して前記目的方向の音のみを抽出することにより前記雑音抑圧を行うことで、前記出力音響信号を生成する雑音抑圧部と、を備える、
請求項1〜5のいずれか1項に記載の指向性マイクロホン装置。 - さらに、周波数領域の信号に変換されている前記第1の音響信号および前記第3の音響信号のそれぞれのパワースペクトルを算出するパワースペクトル算出部を備え、
前記抑圧部は、前記第1の音響信号または前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号と、前記パワースペクトル算出部で算出された前記第1の音響信号のパワースペクトルとを主信号とし、前記パワースペクトル算出部で算出された前記第3の音響信号のパワースペクトルを参照信号として前記雑音抑圧を行うことで、前記出力音響信号を生成する、
請求項3に記載の指向性マイクロホン装置。 - 前記パワースペクトル算出部は、前記補正部で生成された前記第3の音響信号の絶対値に対して(2/(N+1))乗の演算をすることにより、前記第3の音響信号のパワースペクトルを算出する、
請求項7に記載の指向性マイクロホン装置。 - 前記抑圧部は、
前記第3の音響信号のパワースペクトルに所定の係数を乗算して出力する第1の係数乗算部と、
前記第1の音響信号のパワースペクトルから前記第1の係数乗算部からの出力信号を減算する第1の減算部と、
前記第1の音響信号のパワースペクトルと前記第1の減算部からの出力信号とを入力として、前記第1の音響信号に含まれる前記目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する雑音抑圧係数算出部と、
前記第1の音響信号または前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号と前記雑音抑圧係数算出部で算出された前記雑音抑圧係数とを入力として前記雑音抑圧を行うことで、前記出力音響信号を生成する雑音抑圧処理部とを備える、
請求項7または8に記載の指向性マイクロホン装置。 - さらに、前記補正部における乗算回数である前記Nと、前記パワースペクトル算出部における(2/(N+1))乗のN値を変化させることで前記指向性マイクロホン装置の指向性を制御するビーム幅制御部を備える、
請求項8に記載の指向性マイクロホン装置。 - 前記Nは、ゼロより大きい実数である、
請求項7〜10のいずれか1項に記載の指向性マイクロホン装置。 - さらに、周波数領域の信号に変換された、前記第1の音響信号および前記第3の音響信号のそれぞれのパワースペクトルを算出するパワースペクトル算出部を備え、
前記雑音抑圧係数算出部は、
前記パワースペクトル算出部で算出された前記第1の音響信号のパワースペクトルを主信号とし、前記パワースペクトル算出部で算出された前記第3の音響信号のパワースペクトルを参照信号として、前記雑音抑圧係数を算出する、
請求項6に記載の指向性マイクロホン装置。 - 前記指向性マイクロホン装置は、さらに、前記目的方向に感度死角を有し、かつ、前記第2の音響信号とは異なる指向性パターンを有する第4の音響信号を生成する第3の指向性合成部を備え、
前記抑圧部は、さらに、前記補正部で生成された前記第3の音響信号を主信号とし、前記第3の指向性合成部で生成された前記第4の音響信号を参照信号として、前記第3の音響信号に含まれる前記目的方向に対して正反対の方向の音である第1の雑音を抑圧する反対方向雑音抑圧部と、
前記第1の音響信号と前記第4の音響信号と前記反対方向雑音抑圧部の出力信号とを用いて、前記第1の雑音を含む前記目的方向の音以外の音である雑音を抑圧する雑音抑圧係数を算出する雑音抑圧係数算出部と、
前記第1の指向性合成部で生成された前記第1の音響信号に前記雑音抑圧係数算出部で算出された前記雑音抑圧係数を適用し、前記雑音を抑圧して前記目的方向の音のみを抽出することにより前記雑音抑圧を行うことで、前記出力音響信号を生成する雑音抑圧部とを備える、
請求項1〜5のいずれか1項に記載の指向性マイクロホン装置。 - さらに、前記第1の指向性合成部で生成された前記第1の音響信号と、前記第2の指向性合成部で生成された前記第2の音響信号と、前記第3の指向性合成部で生成された前記第4の音響信号とを周波数領域の信号に変換する第1の変換部と、
前記第1の変換部で周波数領域の信号に変換された前記第1の音響信号と前記第3の音響信号と前記第4の音響信号とのそれぞれのパワースペクトルを算出するパワースペクトル算出部を備え、
前記反対方向雑音抑圧部は、前記第3の音響信号のパワースペクトルを主信号とし、前記第4の音響信号のパワースペクトルを参照信号として、前記第1の雑音を抑圧する、
請求項13に記載の指向性マイクロホン装置。 - 前記雑音抑圧係数算出部は、前記第1の音響信号のパワースペクトルを主信号とし、前記反対方向雑音抑圧部の出力信号及び前記第4の音響信号のパワースペクトルを参照信号として、前記雑音抑圧係数を算出する、
請求項14に記載の指向性マイクロホン装置。 - 前記雑音抑圧部は、
周波数領域の信号に変換された前記第1の音響信号と、前記雑音抑圧係数算出部で算出された前記雑音抑圧係数との乗算を行い、前記雑音を抑圧した前記目的方向の目的音響信号のみを抽出する乗算器と、
前記乗算器で抽出された前記目的音響信号を時間領域の信号に変換することで、前記出力音響信号を生成する逆フーリエ変換部と、を有する、
請求項6、13〜15のいずれか1項に記載の指向性マイクロホン装置。 - 前記雑音抑圧部は、
周波数領域の係数である前記雑音抑圧係数を時間領域のFIRフィルタの係数に変換する第2の変換部と、
前記第2の変換部で変換された1単位時間前のFIRフィルタの係数を、前記第2の変換部で変換された現単位時間のFIRフィルタの係数を用いて更新し、前記第1の指向性合成部で生成された前記第1の音響信号にフィルタ処理を行うことにより、前記出力音響信号を生成する時変係数FIRフィルタ部と、を有する、
請求項6、13〜15のいずれか1項に記載の指向性マイクロホン装置。 - 目的方向に感度を有する第1の音響信号を生成する第1の指向性合成ステップと、
前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成ステップと、
前記第2の指向性合成ステップにおいて生成された前記第2の音響信号に対して、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正ステップと、
前記第1の指向性合成ステップにおいて生成された前記第1の音響信号を主信号とし、前記補正ステップにおいて生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧ステップとを含む、
音響信号処理方法。 - 音響信号処理方法を行うためのプログラムであって、
目的方向に感度を有する第1の音響信号を生成する第1の指向性合成ステップと、
前記目的方向に感度死角を有する第2の音響信号を生成する第2の指向性合成ステップと、
前記第2の指向性合成ステップにおいて生成された前記第2の音響信号に対して、前記第1の指向性合成ステップにおいて生成された前記第1の音響信号をN回(N>0)周波数領域で乗算することによって、前記目的方向の感度死角の角度範囲を前記第2の音響信号より狭くした第3の音響信号を生成する補正ステップと、
前記第1の指向性合成ステップにおいて生成された前記第1の音響信号を主信号とし、前記補正ステップにおいて生成された前記第3の音響信号を参照信号として雑音抑圧を行うことで、前記第1の音響信号の前記目的方向の指向性を狭角化した出力音響信号を生成する抑圧ステップとを、
コンピュータに実行させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012280246 | 2012-12-21 | ||
JP2012280246 | 2012-12-21 | ||
JP2012283319 | 2012-12-26 | ||
JP2012283319 | 2012-12-26 | ||
PCT/JP2013/007474 WO2014097637A1 (ja) | 2012-12-21 | 2013-12-19 | 指向性マイクロホン装置、音響信号処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014097637A1 true JPWO2014097637A1 (ja) | 2017-01-12 |
JP6226301B2 JP6226301B2 (ja) | 2017-11-08 |
Family
ID=50977996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014523122A Active JP6226301B2 (ja) | 2012-12-21 | 2013-12-19 | 指向性マイクロホン装置、音響信号処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9264797B2 (ja) |
EP (1) | EP2938098B1 (ja) |
JP (1) | JP6226301B2 (ja) |
WO (1) | WO2014097637A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016163135A (ja) * | 2015-02-27 | 2016-09-05 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
WO2017010313A1 (ja) * | 2015-07-16 | 2017-01-19 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP6809936B2 (ja) * | 2017-02-28 | 2021-01-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 雑音抽出装置およびマイクロホン装置 |
US10708702B2 (en) * | 2018-08-29 | 2020-07-07 | Panasonic Intellectual Property Corporation Of America | Signal processing method and signal processing device |
WO2020089745A1 (en) | 2018-10-31 | 2020-05-07 | Cochlear Limited | Combinatory directional processing of sound signals |
EP3926976B1 (en) * | 2019-02-15 | 2024-05-08 | Panasonic Intellectual Property Corporation of America | Information processing device, information processing method, and program |
EP3764358B1 (en) | 2019-07-10 | 2024-05-22 | Analog Devices International Unlimited Company | Signal processing methods and systems for beam forming with wind buffeting protection |
EP3764359B1 (en) | 2019-07-10 | 2024-08-28 | Analog Devices International Unlimited Company | Signal processing methods and systems for multi-focus beam-forming |
EP3764660B1 (en) * | 2019-07-10 | 2023-08-30 | Analog Devices International Unlimited Company | Signal processing methods and systems for adaptive beam forming |
EP3764664A1 (en) | 2019-07-10 | 2021-01-13 | Analog Devices International Unlimited Company | Signal processing methods and systems for beam forming with microphone tolerance compensation |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187283A (ja) * | 2002-11-18 | 2004-07-02 | Matsushita Electric Ind Co Ltd | マイクロホン装置および再生装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007106399A2 (en) * | 2006-03-10 | 2007-09-20 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
US7577262B2 (en) | 2002-11-18 | 2009-08-18 | Panasonic Corporation | Microphone device and audio player |
JP4247037B2 (ja) | 2003-01-29 | 2009-04-02 | 株式会社東芝 | 音声信号処理方法と装置及びプログラム |
US8189806B2 (en) * | 2005-11-01 | 2012-05-29 | Panasonic Corporation | Sound collection apparatus |
JP5156260B2 (ja) | 2007-04-27 | 2013-03-06 | ニュアンス コミュニケーションズ,インコーポレイテッド | 雑音を除去して目的音を抽出する方法、前処理部、音声認識システムおよびプログラム |
KR101409169B1 (ko) * | 2007-09-05 | 2014-06-19 | 삼성전자주식회사 | 억제 폭 조절을 통한 사운드 줌 방법 및 장치 |
CN102576543B (zh) | 2010-07-26 | 2014-09-10 | 松下电器产业株式会社 | 多输入噪声抑制装置、多输入噪声抑制方法以及集成电路 |
-
2013
- 2013-12-19 WO PCT/JP2013/007474 patent/WO2014097637A1/ja active Application Filing
- 2013-12-19 JP JP2014523122A patent/JP6226301B2/ja active Active
- 2013-12-19 US US14/379,323 patent/US9264797B2/en active Active
- 2013-12-19 EP EP13865796.0A patent/EP2938098B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004187283A (ja) * | 2002-11-18 | 2004-07-02 | Matsushita Electric Ind Co Ltd | マイクロホン装置および再生装置 |
Also Published As
Publication number | Publication date |
---|---|
US9264797B2 (en) | 2016-02-16 |
EP2938098A4 (en) | 2015-11-11 |
US20150016629A1 (en) | 2015-01-15 |
JP6226301B2 (ja) | 2017-11-08 |
EP2938098A1 (en) | 2015-10-28 |
EP2938098B1 (en) | 2019-04-03 |
WO2014097637A1 (ja) | 2014-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6226301B2 (ja) | 指向性マイクロホン装置、音響信号処理方法およびプログラム | |
JP5493850B2 (ja) | 信号処理装置、マイクロホン・アレイ装置、信号処理方法、および信号処理プログラム | |
JP4990981B2 (ja) | マイクロホンを用いた雑音抽出装置 | |
JP5805365B2 (ja) | ノイズ推定装置及び方法とそれを利用したノイズ減少装置 | |
JP5272920B2 (ja) | 信号処理装置、信号処理方法、および信号処理プログラム | |
JP2004187283A (ja) | マイクロホン装置および再生装置 | |
JP6204312B2 (ja) | 収音装置 | |
JP6371167B2 (ja) | 残響抑制装置 | |
JP2010028307A (ja) | 雑音低減装置及び方法、並びにプログラム | |
JP2010124370A (ja) | 信号処理装置、信号処理方法、および信号処理プログラム | |
JP4928382B2 (ja) | 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体 | |
US9418677B2 (en) | Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program | |
JP6064600B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
JP6226885B2 (ja) | 音源分離方法、装置、及びプログラム | |
WO2018229821A1 (ja) | 信号処理装置、遠隔会議装置、および信号処理方法 | |
JP6182169B2 (ja) | 収音装置、その方法及びプログラム | |
WO2018042773A1 (ja) | 収音装置、記録媒体及び方法 | |
JP2006237816A (ja) | 演算装置、収音装置、及び、信号処理プログラム | |
JP6707914B2 (ja) | ゲイン処理装置及びプログラム、並びに、音響信号処理装置及びプログラム | |
JPWO2013111348A1 (ja) | 指向性制御方法及び装置 | |
JP6295650B2 (ja) | 音声信号処理装置及びプログラム | |
JP2018136509A (ja) | 信号処理装置、プログラム及び方法 | |
JP6221463B2 (ja) | 音声信号処理装置及びプログラム | |
JP6128547B2 (ja) | 音源分離方法、装置及びプログラム | |
JP2015025914A (ja) | 音声信号処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6226301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |