JPWO2010038385A1 - 音判定装置、音判定方法、及び、音判定プログラム - Google Patents
音判定装置、音判定方法、及び、音判定プログラム Download PDFInfo
- Publication number
- JPWO2010038385A1 JPWO2010038385A1 JP2010510597A JP2010510597A JPWO2010038385A1 JP WO2010038385 A1 JPWO2010038385 A1 JP WO2010038385A1 JP 2010510597 A JP2010510597 A JP 2010510597A JP 2010510597 A JP2010510597 A JP 2010510597A JP WO2010038385 A1 JPWO2010038385 A1 JP WO2010038385A1
- Authority
- JP
- Japan
- Prior art keywords
- sound
- frequency signal
- frequency
- phase
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 144
- 238000004458 analytical method Methods 0.000 claims abstract description 260
- 238000001514 detection method Methods 0.000 claims description 152
- 238000000605 extraction Methods 0.000 claims description 66
- 239000000284 extract Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 96
- 238000010586 diagram Methods 0.000 description 114
- 238000012937 correction Methods 0.000 description 84
- 230000008859 change Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 32
- 238000013459 approach Methods 0.000 description 22
- 238000001228 spectrum Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000002123 temporal effect Effects 0.000 description 14
- 230000001629 suppression Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 6
- 230000001788 irregular Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000000491 multivariate analysis Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
雑音除去装置（１００）は、複数のマイクロホン（４１０７（ｎ）（ｎ＝１〜Ｎ））と、時間軸調整部（１０３）と、ＦＦＴ分析部（２４０２）と、雑音除去処理部（１０１）とを含み、雑音除去処理部（１０１）が、複数のマイクロホンで集音された混合音において、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で示したときの位相距離に対してしきい値判定を行うことにより、抽出音の周波数信号の判定を行う。
Description
本発明は、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定する音判定装置等に関し、特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定する音判定装置等に関する。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定する音判定装置に関する。
第１の従来技術では、入力音声信号（混合音）からピッチ周期の抽出を行い、ピッチ周期が抽出されない場合には雑音であると判定するものがあった（例えば、特許文献１参照）。第１の従来技術では、音声候補と判定された入力音声から音声を認識していた。
図１は、特許文献１に記載された第１の従来技術の構成を示すブロック図である。
この従来技術は、認識部２５０１と、ピッチ抽出部２５０２と、判定部２５０３と、周期範囲記憶部２５０４とを備える。
認識部２５０１は、入力音声信号（混合音）から音声部分（抽出音）と推定される信号区間の音声認識候補を出力する処理部である。ピッチ抽出部２５０２は、入力音声信号からピッチ周期を抽出する処理部である。判定部２５０３は、認識部２５０１で出力された信号区間に対する音声認識候補とピッチ抽出部２５０２で抽出された該区間の信号のピッチ抽出結果とから音声認識結果を出力する処理部である。周期範囲記憶部２５０４は、ピッチ抽出部２５０２によって抽出されるピッチ周期に対する周期範囲を記憶している記憶装置である。この従来技術では、ピッチ周期が予め設定されたピッチ周期に対する設定周期範囲内であれば、該認識処理区間の信号は音声候補であると判定し、ピッチ周期に対する周期の範囲外であれば雑音であると判定していた。
第２の従来技術では、第１〜第３の判定手段での判定結果に基づいて、人の声の入力の有無を最終的に判定している（例えば、特許文献２）。第１の判定手段では、入力信号（混合音）から調波構造をもつ信号成分を検出した場合に、人の声（抽出音）が入力されたと判定する。第２の判定手段では、入力信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する。第３の判定手段では、ノイズレベル記憶手段に記憶された雑音レベルに対する入力信号のパワー比が所定のしきい値を超えた場合に、人の声が入力されたと判定する。
第３の従来技術では、複数方向に存在する音源からの音入力を受付けて、同じ周波数ごとに算出された位相成分の差分に基づいて、所定の方向に音源が存在する確率値を求める。また、この確率値に基づいて、所定の方向の音源以外の音源からの音入力を抑圧している（例えば、特許文献３）。
図２は、特許文献３に記載された第３の従来技術の構成を示すブロック図である。
この従来技術に係る指向性集音装置は、音声入力部５１００と、音声受付部５１０１と、信号変換部５１０２と、位相差分算出部５１０３と、確率値特定部５１０４と、抑制関数算出部５１０５と、振幅算出部５１０６と、信号補正部５１０７と、信号復元部５１０８とを備える。
音声受付部５１０１は、音源が複数混在する音入力を２本のマイクロホン（音声入力部５１００）から受付ける。信号変換部５１０２は、入力された音声についてスペクトルＩＮ１（ｆ）、ＩＮ２（ｆ）に変換する。ここでｆは周波数を示している。位相差分算出部５１０３は、スペクトルＩＮ１（ｆ）、ＩＮ２（ｆ）に基づいて位相スペクトルを算出して、位相スペクトル間の差分を周波数ごとに算出する。確率値特定部５１０４は、集音対象となる音声を発する音源が存在する方向に高い確率値を設定するように確率値を特定する。抑制関数算出部５１０５は、位相スペクトルの差分及び確率値に基づいて抑制関数ｇａｉｎ（ｆ）を周波数ごとに算出する。振幅算出部５１０６は、入力信号のスペクトルの振幅スペクトル｜ＩＮ１（ｆ）｜の代表値を算出する。信号補正部５１０７は、振幅算出部５１０６で算出された振幅スペクトル｜ＩＮ１（ｆ）｜に抑制関数算出部５１０５で算出された抑制関数ｇａｉｎ（ｆ）を乗算する。信号復元部５１０８は、信号補正部５１０７からの出力信号を時間軸上の信号に変換して出力する。
第４の従来技術では、オーディオ信号において、位相がランダムに変化する部分は雑音により支配されていると判断することにより、効率的にオーディオ信号の符号化を行う（例えば、特許文献４）。
しかしながら、第１の従来技術の構成では、ピッチ周期は時間区間ごとに抽出されるため、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定することができなかった。また、エンジン音（エンジンの回転数に応じてピッチ周期が変化する音）などのようにピッチ周期が変化する音を判定することはできなかった。
また、第２の従来技術の構成では、調波構造や周波数重心などのスペクトル形状により抽出音を判定しているため、大きな雑音が混合するとスペクトル形状が歪むため抽出音を判定することができなかった。特に、雑音によりスペクトル形状は失われているが、時間‐周波数領域ごとにみれば抽出音が部分的に存在する場合に、この部分の周波数信号を抽出音の周波数信号として判定することができなかった。
また、第３の従来技術の構成では、所定の方向に指向性を向けて集音することで雑音を除去しているため、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音のみを抽出することができなかった。
また、第４の従来技術の構成では、オーディオ信号の符号化を対象としているため、混合音から抽出音のみを抽出する技術に適用することが困難である。
本発明は、前記従来の課題を解決するもので、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定できる音判定装置等を提供することを目的とする。特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定する音判定装置等を提供することを目的とする。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定する音判定装置を提供することを目的とする。
本発明に係る音判定装置は、複数のマイクロホンからそれぞれ集音される複数の混合音を受付けて、所定の方向から到来する音に対して前記複数のマイクロホン間での到達時間差がゼロになるように前記複数の混合音の時間軸を調整する時間軸調整部と、前記時間軸調整部により調整された時間軸上で、所定の時間幅に含まれる前記複数の混合音の周波数信号を所定の時刻ごとに求める周波数分析部と、前記周波数分析部で求められた前記所定の時間幅に含まれる複数の時刻における前記複数の混合音の周波数信号において、第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が第２のしきい値以下である周波数信号の各々を、抽出音の周波数信号に判定する抽出音判定部とを備え、前記位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの、周波数信号の位相間の距離である。
この構成によると、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での距離（所定の時間幅のおける位相ψ´（ｔ）の時間形状を計る１つの指標）を用いることにより、抽出音と雑音とが同一の方向に存在する場合にも、時間‐周波数領域ごとに、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音との区別ができて、音色のある音（もしくは音色のない音）の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向に存在する抽出音の周波数信号の位相が複数の混合音同士で類似した値になるため、複数の混合音同士での位相距離も合わせることで、１つの混合音を用いるときよりも正確に抽出音の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向以外の方向に存在する音の周波数信号の位相は複数の混合音同士で異なる値になるため、所定の方向以外の方向に存在する音を除去することができる。
好ましくは、上述の音判定装置は、さらに、前記時間軸調整部により調整された時間軸上で、前記所定の時刻ごとに、前記周波数分析部が求めた複数の前記混合音の周波数信号の中から、他の全ての前記混合音の周波数信号との位相差が第３のしきい値以上である前記混合音の周波数信号を特定する雑音特定部を備え、前記抽出音判定部は、前記周波数分析部が求めた前記所定の時間幅に含まれる前記複数の時刻での前記複数の混合音の周波数信号から、前記雑音特定部が特定した周波数信号を除いた前記周波数信号において、前記第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が前記第２のしきい値以下である周波数信号の各々を、前記抽出音の周波数信号に判定する。
この構成によると、マイクロホン間での混合音の位相差が第３のしきい値以上である雑音の周波数信号を除いてから抽出音の周波数信号を判定するため、第１のしきい値を用いた判定を正確に行うことができて正確に抽出音の判定を行うことができる。例えば、風雑音のようにマイクロホンごとに独立に発生する雑音は、マイクロホン間で位相が異なるため第３のしきい値を用いることで取り除くことができる。また、所定の方向以外の方向に存在する音に対しても、所定の方向に時間軸が調整されたあとのマイクロホン間で位相差は大きくなるため第３のしきい値を用いることで取り除くことができる。
また、他の全ての前記混合音との周波数信号の位相差が第３のしきい値以上である前記混合音の周波数信号を取り除くことで、抽出音の可能性が残る周波数信号を取り除くことなく抽出音の周波数信号を判定することができる。これは、例えば、全てのマイクロホンで位相差が類似する周波数信号以外を全て取り除いてしまうと、いずれか１つのマイクロホンに風雑音のようにマイクロホンごとに独立に発生する雑音が入力された場合に、他のマイクロホンに抽出音が入力されていても全て除去されてしまうからである。
好ましくは、前記時間軸調整部は、前記所定の方向として複数の方向を設定して、前記設定された方向ごとに前記複数の混合音の時間軸を調整し、前記周波数分析部は、前記設定された方向ごとに調整された時間軸で、前記所定の時間幅に含まれる前記複数の混合音の周波数信号を求め、前記抽出音判定部は、前記設定された方向ごとに、前記方向に対応して調整された時間軸上での前記所定の時間幅に含まれる前記複数の混合音の周波数信号から前記抽出音の周波数信号を判定する。
この構成によると、複数の方向に対して、混合音から抽出音の周波数信号を判定することができる。このため、抽出音の方向がわからない場合でも抽出音の周波数信号を判定することができる。
本発明の他の局面に係る音検知装置は、上述の音判定装置と、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、抽出音検知フラグを作成して出力する音検知部とを備える。
この構成によると、時間‐周波数領域ごとに、抽出音を検出して利用者に知らせることができる。例えば、車両検知装置に組み込んだ場合には、抽出音としてエンジン音を検出して、運転者に車両の接近を知らせることができる。
本発明のさらに他の局面に係る音抽出装置は、上述の音判定装置と、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号であると判定された周波数信号を出力する音抽出部とを備える。
この構成によると、時間‐周波数領域ごとに判定された抽出音の周波数信号を利用できるため、例えば、音出力装置に組み込めば、雑音が除去されたあとのきれいな抽出音が再現できる。また、音源方向検知装置に組み込めば、雑音が除去されたあとの正確な音源方向を求めることができる。また、音識別装置に組み込めば、周囲に雑音が存在する場合でも正確に音識別を行うことができる。
本発明のさらに他の局面に係る方向検知装置は、上述の音判定装置と、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号が判定された前記所定の方向を前記抽出音の音源方向として出力する方向検知部とを備える。
この構成によると、抽出音の周波数信号が判定された方向を抽出音の音源方向に判定することで、複数の方向に抽出音が存在する場合でも抽出音の各々の音源方向を出力することができる。特に、異なる種類の抽出音（例えば、Ａさんの音声とＢさんの音声）が異なる方向から入力された場合でも各々の抽出音の音源方向を出力することができる。
好ましくは、前記方向検知部は、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号が判定された前記所定の方向のうち、前記位相距離が最小になる方向を前記抽出音の音源方向として出力する。
この構成によると、位相距離が最小になる方向を抽出音の音源方向として出力するため、１つの方向から抽出音が入力された場合に抽出音の正確な音源方向を出力することができる。
なお、本発明は、このような特徴的な処理部を備える音判定装置として実現することができるだけでなく、音判定装置に含まれる特徴的な処理部をステップとする音判定方法として実現したり、音判定方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本発明の音判定装置等によれば、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定することができる。特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定することができる。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定することができる。
例えば、時間‐周波数領域ごとに判定された音声の周波数信号を入力して逆周波数変換により抽出音を出力する音声出力装置や、方向ごとの混合音から時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して抽出音の音源方向を出力する音源方向検知装置や、時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して音声認識や音識別を行う音識別装置や、時間‐周波数領域ごとに判定されたエンジン音を検知して車両の接近を知らせる車両検知装置や、時間‐周波数領域ごとに判定されたサイレン音の周波数信号を検知して緊急車両の接近を知らせる緊急車両検知装置や、時間‐周波数領域ごとに判定されたエンジン音やサイレン音が存在する方向を運転者に知らせる車両検知装置等に適用できる。
本発明の特徴は、入力した混合音を周波数分析した後に、分析した周波数信号の位相の時間変化が、（１／ｆ）（ｆは分析周波数）で規則的に繰り返されるか否かにより、分析周波数ｆにおいて、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定することである。
図３Ａおよび図３Ｂは、本発明の特徴を説明する概念図である。図３Ａは、バイク音（エンジン音）を周波数ｆで周波数分析した結果を模式的に示した図である。図３Ｂは、暗騒音を周波数ｆで周波数分析した結果を模式的に示した図である。両図ともに横軸は時間軸であり縦軸は周波数軸である。図３Ａに示すように、周波数の時間変化などの影響により周波数信号の振幅（パワー）の大きさは変化するものの、周波数信号の位相の時間変化は、規則的に１／ｆの時間間隔（ｆは分析周波数）で等角速度で０〜２π（ラジアン）まで変化する。例えば、１００Ｈｚにおける周波数信号では位相は１０ｍｓ間隔の間に２π（ラジアン）回転して、２００Ｈｚにおける周波数信号では位相は５ｍｓ間隔の間に２π（ラジアン）回転する。一方、図３Ｂに示すように、暗騒音などの音色のない音における周波数信号の位相の時間変化は不規則になる。また、混合音が原因で歪んだ部分においても位相の時間変化は乱れて不規則になる。このように、周波数信号の位相の時間変化が規則的な時間‐周波数領域の周波数信号を判定することで、風雑音、雨音、暗騒音などの音色のない音と区別して、エンジン音、サイレン音、音声などの音色のある音（もしくは音色のない音）の周波数信号を判定することができる。
さらに、サイレン音のように機械的で正弦波に近い音と、バイク音（エンジン音）のように物理機構的な音とは、位相の時間変化の規則的な度合いが異なると考えられる。このため位相の時間変化の規則的な度合いを不等号で表すと、
また、本発明では、位相距離を用いているため、雑音と抽出音との周波数信号のパワーの大小に関係なく抽出音の周波数信号を判定することができる。例えば、ある時間‐周波数領域での雑音の周波数信号のパワーが大きい場合でも、位相の規則性を用いることで、この雑音よりもパワーが大きい時間‐周波数領域の抽出音の周波数信号を判定できることはもちろん、この雑音よりもパワーが小さい時間‐周波数領域の抽出音の周波数信号も判定することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図４は、本発明の実施の形態１における雑音除去装置の外観図である。雑音除去装置１００は、請求の範囲に記載の時間軸調整部と、周波数分析部と、抽出音判定部と、音抽出部とを備えるものであり、コンピュータを構成する１つの部品であるＣＰＵにより構成される。
図４は、本発明の実施の形態１における雑音除去装置の外観図である。雑音除去装置１００は、請求の範囲に記載の時間軸調整部と、周波数分析部と、抽出音判定部と、音抽出部とを備えるものであり、コンピュータを構成する１つの部品であるＣＰＵにより構成される。
図５及び図６は、本発明の実施の形態１における雑音除去装置の構成を示すブロック図である。
図５において、雑音除去装置１００は、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＦＦＴ分析部２４０２（請求の範囲の周波数分析部）と、雑音除去処理部１０１（請求の範囲の抽出音判定部と音抽出部とから構成される）とを含む。時間軸調整部１０３、ＦＦＴ分析部２４０２、および、雑音除去処理部１０１は、コンピュータ上で各処理部の機能を実現するためのプログラムを実行することにより実現される。
複数のマイクロホン４１０７（ｎ）（ｎ＝１〜Ｎ）は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を入力する。
このあとに、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）をＤＶＤ−ＲＯＭなどの記録媒体に蓄積して、記録媒体に蓄積された混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を用いて以下の処理を行ってもよい。
ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める。以下では、ＦＦＴ分析部２４０２で求められた周波数信号の周波数帯域の個数をＭとして、それらの周波数帯域を指定する番号を記号ｊ（ｊ＝１〜Ｍ）で表すこととする。
このとき、初めに、時間軸調整部１０３は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の時間軸を調整して、次に、ＦＦＴ分析部２４０２は、調整された時間軸上での所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を用いて周波数信号を求めてもよい。また、処理の順番を逆にして、初めに、ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を求めて、次に、時間軸調整部１０３は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の時間軸を調整して、調整された時間軸上での所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を選択してもよい。
雑音除去処理部１０１は、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と音抽出部２０２（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の音抽出部）とを含む。雑音除去処理部１０１は、ＦＦＴ分析部２４０２が求めた周波数信号に対して、周波数帯域ｊ（ｊ＝１〜Ｍ）ごとに、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）と音抽出部２０２（ｊ）（ｊ＝１〜Ｍ）とを用いて混合音から抽出音の周波数信号を取り出すことで雑音の除去を行う処理部である。
抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により調整された時間軸上での、所定の時間幅に含まれる１／ｆ（ｆは分析周波数）の時間間隔の時刻から選択される複数の時刻の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を用いて、分析の対象の周波数信号と、所定の時間幅に含まれる複数の周波数信号との位相距離を求める。このとき、位相距離を求めるときに用いた周波数信号の数は第１のしきい値以上の数から構成されている。また、位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの距離である。そして、位相距離が第２のしきい値以下になる分析の対象とする時刻の周波数信号を抽出音の周波数信号２４０８に判定する。
このとき、抽出音の周波数信号２４０８が、いずれの混合音２４０１（ｎ）（ｎ＝１〜Ｎ）から判定されたのかを特定することもできる。
最後に、音抽出部２０２（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）が判定した抽出音の周波数信号２４０８を取り出すことで混合音から雑音の除去を行う。
これらの処理を、所定の時間幅の時刻を移動させながら行うことにより、時間‐周波数領域ごとに抽出音の周波数信号２４０８を取り出すことができる。
図６に、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）の構成を示すブロック図を示す。
抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部２００（ｊ）（ｊ＝１〜Ｍ）と、位相距離判定部２０１（ｊ）（ｊ＝１〜Ｍ）とから構成される。
周波数信号選択部２００（ｊ）（ｊ＝１〜Ｍ）は、位相距離を求める際に用いる周波数信号として、時間軸調整部１０３により調整された時間軸上での、所定の時間幅の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から第１のしきい値以上の数から構成される周波数信号を選択する処理部である。位相距離判定部２０１（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部２００（ｊ）（ｊ＝１〜Ｍ）が選択した混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の位相を用いて位相距離を計算して、位相距離が第２のしきい値以下になる周波数信号を抽出音の周波数信号２４０８に判定する処理部である。
次に、以上のように構成された雑音除去装置１００の動作について説明する。
以下では、ｊ番目の周波数帯域について説明を行う。ここでは、周波数帯域の中心周波数と分析周波数（位相距離を求めるψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）における周波数ｆであって、周波数ｆに抽出音が存在するか否かを判定することになる）とが一致する場合を例にして説明を行う。他の方法として、周波数帯域を含む複数の周波数を分析周波数として抽出音の判定を行ってもよい。この場合は、中心周波数の周辺の周波数に抽出音が存在するか否かを判定することができる。
図７及び図８は、雑音除去装置１００の動作手順を示すフローチャートである。
ここでは、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）として、音声Ａ（有声音）と音声Ｂ（有声音）と暗騒音との混合音を用いた場合を一例として説明を行う。この例では、音声Ａと音声Ｂとは異なる方向に音源があって、音声Ａの方向は既知であって、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）から音声Ｂと暗騒音とを除去して音声Ａ（抽出音）の周波数信号を抽出することを目的とする。
例えば、車内の複数の音声から運転者の音声だけを集音して音声コマンド入力を行うカーナビゲーションシステムの音声認識機能などに利用できる。
初めに、ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により音声Ａの方向（所定の方向）から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める。（ステップＳ３００）。この例では、高速フーリエ変換処理により複素空間上での周波数信号を求めている。
ここで、時間軸調整部１０３が、所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように時間軸を調整する方法について説明する。ここでは所定の方向をΘとする。
図９は、マイクロホン４１０７（ｎ）（ｎ＝１〜Ｎ）と所定の方向（Θ）から到達する音との関係の一例を示した図である。この例では、マイクロホンの本数を３本（Ｎ＝３）としている。ここで、マイクロホン４１０７（１）とマイクロホン４１０７（２）との距離をＬ２として、マイクロホン４１０７（１）とマイクロホン４１０７（３）との距離をＬ３とすると、マイクロホン４１０７（１）とマイクロホン４１０７（２）との到達時間差τ２と、マイクロホン４１０７（１）とマイクロホン４１０７（３）との到達時間差τ３は以下の式で求めることができる。
ここで、Ｃは音速である。
図１０に、所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように時間軸を調整した混合音の一例を示す。横軸は時間軸を示している。図１０（ａ）には、時間軸を調整する前の混合音が示されており、図１０（ｂ）には、時間軸が調整された後の混合音が示されている。図１０（ｂ）に示すように、混合音２４０１（１）を基準として、混合音２４０１（２）の時間軸をτ２の時刻だけ遅らせて、混合音２４０１（３）の時間軸をτ３の時刻だけ遅らせることで、所定の方向（Θ）から到達する音に対して時刻が揃うように時間軸を調整することができる。
次に、雑音除去処理部１０１は、ＦＦＴ分析部２４０２が求めた周波数信号に対して、周波数帯域ｊごとに、抽出音判定部１０１（ｊ）を用いて混合音から抽出音の周波数信号を時間‐周波数領域ごとに判定する（ステップＳ３０１（ｊ））。そして、音抽出部２０２（ｊ）を用いて抽出音判定部１０１（ｊ）が判定した抽出音の周波数信号を取り出すことで雑音の除去を行う（ステップＳ３０２（ｊ））。この後の説明はｊ番目の周波数帯域に関してのみ行う。この例では、ｊ番目の周波数帯域の中心周波数はｆである。
抽出音判定部１０１（ｊ）は、所定の時間幅における１／ｆの時間間隔の全ての時刻における周波数信号を用いて、分析の対象と周波数信号と、所定の時間幅に含まれる全ての周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）との位相距離を求める（ここでは、第１のしきい値として、所定の時間幅に含まれる１／ｆの時間間隔の周波数信号の数の３０％の値を用いている。）。そして、位相距離が第２のしきい値以下である分析の対象とする周波数信号を抽出音の周波数信号２４０８に判定する（ステップＳ３０１（ｊ））。最後に、音抽出部２０２（ｊ）は、抽出音判定部１０１（ｊ）が抽出音の周波数信号と判定した周波数信号を取り出すことで雑音を除去する（ステップＳ３０２（ｊ））。
図１１には、周波数ｆにおける混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号が模式的に示されている。水平軸は時間軸であり垂直平面の２軸は周波数信号の実部と虚部とを表している。ここでの時間軸は、所定の方向に時間軸が調整されたあとのものである。
初めに、周波数信号選択部２００（ｊ）は、第１のしきい値以上である、所定の時間幅における全ての１／ｆの時間間隔の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を選択する（ステップＳ４００（ｊ））。このことは、位相距離を求めるために選択された周波数信号の数が少ない場合には、位相の時間変化の規則性を判定することが困難になるからである。図１１には、１／ｆの時間間隔の時刻から選択された周波数信号の位置が白丸印で示されている。
ここで、図１２Ａと図１２Ｂとに、周波数信号の他の選択方法を示す。表示の方法は図１１と同じであるため説明を省略する。図１２Ａには、１／ｆの時間間隔の時刻から、１／ｆ×Ｎ（Ｎ＝２）の時間間隔の時刻の周波数信号を選択する一例が示されている。また、図１２Ｂには、１／ｆの時間間隔の時刻から、ランダムに選択した時刻の周波数信号を選択する一例が示されている。すなわち、周波数信号を選択する方法は、１／ｆの時間間隔の時刻から得られる周波数信号を選択するいかなる方法を用いてもよい。ただし、選択される周波数信号の数は第１のしきい値以上である必要がある。
ここで、周波数信号選択部２００（ｊ）は、位相距離判定部２０１（ｊ）が位相距離の計算に用いる周波数信号の時間範囲（所定の時間幅）も設定するが、時間範囲の設定方法の説明については、位相距離判定部２０１（ｊ）の説明と合わせて以下で行う。
次に、位相距離判定部２０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した全ての混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を用いて位相距離を計算する（ステップＳ４０１（ｊ））。ここでは、位相距離としてパワーで正規化された周波数信号同士の相関値の逆数を用いる。
図１３に、位相距離の求め方の一例を示す。図１３の表示の方法において、図１１と共通する部分の説明は省略する。図１３において、分析の対象とする周波数信号を黒丸印で示す。ここでの所定の時間幅の時間長は、ＦＦＴ分析部２４０２の高速フーリエ変換処理で用いた窓関数の時間窓幅の２〜４倍の長さに設定することが好ましい。
ここで、位相距離の計算方法を以下に説明する。この例では、１／ｆの時間間隔の周波数信号を用いて位相距離の計算を行う。以下では、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の実部を
ここで位相距離を求めるため、周波数信号のパワーの大きさで正規化された周波数信号を求める。周波数信号の実部をパワーで正規化した値を
位相距離Ｓを、
ここで、他の位相距離Ｓの算出方法を以下に示す。相関値の計算において、総和した周波数信号の数で正規化する方法である
なお、位相の値はトーラス状に繋がっていること（０（ラジアン）と２π（ラジアン）は同じであること）を考慮して位相距離を求めてもよい。例えば、数１１に示した位相の差分誤差を用いて位相距離を計算する場合に、右辺の部分で、
次に、位相距離判定部２０１（ｊ）は、位相距離が第２のしきい値以下である分析の対象とする周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）の各々を抽出音（音声Ａ）の周波数信号２４０８に判定する（ステップＳ４０２（ｊ））。
これらの処理を、時間軸方向に時間シフトを行いながら求めた全ての時刻の周波数信号を分析の対象とする周波数信号として行う。
最後に、音抽出部２０２（ｊ）は、抽出音判定部１０１（ｊ）が抽出音の周波数信号２４０８と判定した周波数信号を取り出すことで雑音を除去する。
ここで、雑音として除去される周波数信号の位相について考察を加える。ここでは、第２のしきい値をπ／２（ラジアン）に設定している。図１４は、位相距離を求める所定の時間幅における、混合音の周波数信号の位相を模式的に示したものである。横軸は時間であり縦軸は位相である。黒丸印は分析の対象とする周波数信号の位相を示す。ここでは１／ｆの時間間隔での周波数信号の位相が示されている。図１４（ａ）に示すように、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での位相の距離を求めることは、分析の対象とする周波数信号の位相ψ（ｔ）を通り、時刻ｔに対して２πｆの傾きをもつ直線（１／ｆの時間間隔では時間軸に水平な直線になる）とのψ（ｔ）での距離を求めることと同じになる。図１４（ａ）では、この直線の近傍に周波数信号の位相が集まっているため、第１のしきい値以上の数の周波数信号との位相距離は第２のしきい値以下になり抽出音の周波数信号に判定される。また、図１４（ｂ）のように、分析の対象とする周波数信号の位相を通り、時間に対して２πｆの傾きをもつ直線の近傍に、周波数信号がほとんど存在しない場合には、第１のしきい値以上の数の周波数信号との位相距離が第２のしきい値より大きくなるため、抽出音の周波数信号として判定されることはなく雑音として除去される。
このとき、所定の方向に存在する音声Ａの周波数信号については、音声Ａは音色をもつ音であるとともに、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）は音声Ａの方向に時間軸が調整されているため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）は類似した値をもつことになり、音声Ａの周波数信号が抽出される。
また、所定の方向に存在しない音声Ｂの周波数信号については、音声Ｂは音色をもつ音ではあるが、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）は音声Ｂの方向には時間軸が調整されていないため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）は分散した値をもつことになり、音声Ｂの周波数信号を除去することができる。
また、暗騒音の周波数信号については、暗騒音は音色をもたない音であるため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）は分散した値をもつことになり、暗騒音の周波数信号を除去することができる。
かかる構成によれば、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析する周波数）で表したときの位相の距離を用いることにより、抽出音と雑音とが同一の方向に存在する場合にも、時間‐周波数領域ごとに、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音との区別ができて、音色のある音（もしくは音色のない音）の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向に存在する抽出音の周波数信号の位相が複数の混合音同士で類似した値になるため、複数の混合音同士での位相距離も合わせることで、１つの混合音を用いるときよりも正確に抽出音の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向以外の方向に存在する音の周波数信号の位相は複数の混合音同士で異なる値になるため、所定の方向以外の方向に存在する音を除去することができる。
また、１／ｆ（ｆは分析周波数）の時間間隔の周波数信号では、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）となり、位相距離の計算をψ（ｔ）を用いた簡単な計算で行うことができる。
ここで、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での位相の距離について説明する。図３Ａを用いて説明したように音色のある音の周波数信号（周波数ｆの成分をもつとする）は、所定の時間幅において位相は規則的に等角速度かつ１／ｆの時間間隔の間に２π（ラジアン）回転する。
図１５（ａ）に、周波数分析を行うときに抽出音に畳み込むＤＦＴ（Discrete Fourier Transform）の波形を示す。実部はコサイン波形で虚部はマイナスのサイン波形である。ここでは、周波数ｆの信号について分析を行う。抽出音が周波数ｆの正弦波であるとき、周波数分析を行ったときの周波数信号の位相ψ（ｔ）の時間変化は、図１５（ｂ）に示すように反時計回りになる。このとき、横軸は実部であり縦軸は虚部である。反時計回りの位相ψ（ｔ）を正とすると、位相ψ（ｔ）は１／ｆの時間で２π（ラジアン）増加する。また、位相ψ（ｔ）は時刻ｔに対して２πｆの傾きで変化するとも言える。図１６を用いて、位相ψ（ｔ）の時間変化が反時計回りになる仕組みについて説明する。図１６（ａ）に、抽出音（周波数ｆの正弦波）を示す。ここでは抽出音の振幅の大きさ（パワーの大きさ）を１に正規化している。図１６（ｂ）に、周波数分析を行うときに抽出音に畳み込むＤＦＴの波形（周波数ｆ）を示す。実線は実部のコサイン波形を破線は虚部のマイナスのサイン波形を示している。図１６（ｃ）に、図１６（ａ）の抽出音と図１６（ｂ）のＤＦＴの波形を畳み込んだときの値の符号を示す。図１６（ｃ）より、時刻が（ｔ１〜ｔ２）のとき図１５（ｂ）の第１象限に、時刻が（ｔ２〜ｔ３）のとき図１５（ｂ）の第２象限に、時刻が（ｔ３〜ｔ４）のとき図１５（ｂ）の第３象限に、時刻が（ｔ４〜ｔ５）のとき図１５（ｂ）の第４象限に位相が変化することがわかる。このことから、位相ψ（ｔ）の時間変化が反時計回りになることがわかる。
ここで補足であるが、図１７（ａ）のように、横軸を虚部にして縦軸を実部にするという特殊なことをすると位相ψ（ｔ）の増減が反転して、位相ψ（ｔ）は時刻ｔに対して（−２πｆ）の傾きで変化することが起こるが、ここでは図１５（ｂ）の軸の取り方に補正されているとして説明を行う。また、図１７（ｂ）のように、周波数分析を行うときに畳み込む波形を、実部をコサイン波形に虚部をサイン波形にするという特殊なことをすると位相ψ（ｔ）の増減が反転して、位相ψ（ｔ）は時刻ｔに対して（−２πｆ）の傾きで変化することが起こるが、ここでは、図１５（ａ）の周波数分析の結果にあうように実部と虚部の符号が補正されていることを前提として説明を行う。
このことから、音色のある音の周波数信号の位相ψ（ｔ）は時刻ｔに対して２πｆの傾きで変化するため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析する周波数）での位相の距離は小さくなる。
（実施の形態１の変形例）
次に、実施の形態１に示した雑音除去装置の変形例について説明する。
次に、実施の形態１に示した雑音除去装置の変形例について説明する。
変形例に係る雑音除去装置は、図５及び図６を参照して説明した実施の形態１に係る雑音除去装置と同様の構成を有する。ただし、雑音除去処理部１０１が実行する処理が異なる。
抽出音判定部１０１（ｊ）（請求の範囲の抽出音判定部）において、位相距離判定部２０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した１／ｆの時間間隔の時刻の周波数信号を用いて、位相のヒストグラムを作成して、ヒストグラムから、位相距離が第２のしきい値以下でありかつ出現頻度が第１のしきい値以上である周波数信号を判定して、抽出音の周波数信号２４０８に判定する。
最後に、音抽出部２０２（ｊ）（請求の範囲の音抽出部）は、位相距離判定部２０１（ｊ）が判定した抽出音の周波数信号２４０８を取り出すことで雑音を除去する。
次に、以上のように構成された雑音除去装置１００の動作について説明する。雑音除去装置１００の動作手順を示すフローチャートは、実施の形態１と同様であり、図７及び図８に示されている。
雑音除去処理部１０１は、ＦＦＴ分析部２４０２（請求の範囲の周波数分析部）が求めた周波数信号に対して、周波数帯域ｊ（ｊ＝１〜Ｍ）ごとに抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）を用いて抽出音の周波数信号を判定する（ステップＳ３０１（ｊ）（ｊ＝１〜Ｍ））。この後の説明は、ｊ番目の周波数帯域に関してのみ行う。この例では、ｊ番目の周波数帯域の中心周波数はｆである。
抽出音判定部１０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した１／ｆの時間間隔の時刻の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を用いて位相のヒストグラムを作成する。そして、位相距離が第２のしきい値以下でありかつ出現頻度が第１のしきい値以上である周波数信号を抽出音の周波数信号２４０８に判定する。（ステップＳ３０１（ｊ））。
位相距離判定部２０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した周波数信号を用いて、上記周波数信号の位相のヒストグラムを作成して位相距離を判定する（ステップＳ４０１（ｊ））。以下、ヒストグラムを求める方法について説明する。
周波数信号選択部２００（ｊ）が選択した周波数信号を、数４、数５で表すことにする。ここで、以下の式を用いて周波数信号の位相を求める。
図１８に、周波数信号の位相のヒストグラムを作成する方法の一例を示す。ここでは、位相区間がΔψ（ｉ）（ｉ＝１〜４）で、位相が時間に対して２πｆ（ｆは分析周波数）の傾きで変化する帯領域ごとの、所定の時間幅における周波数信号の出現頻度を求めることでヒストグラムを作成する。図１８の斜線で示されている部分はΔψ（１）の領域である。ここでは位相を０〜２π（ラジアン）の間に制限して表現しているためにとびとびの領域になっている。ここで、Δψ（ｉ）（ｉ＝１〜４）ごとにそれらの領域に含まれる周波数信号の数をカウントすることでヒストグラムを作成することができる。
図１９に、周波数信号選択部２００（ｊ）が選択した周波数信号と、上記選択された位相のヒストグラムの一例を示す。ここでは、図１８のヒストグラムよりも細かいΔψ（ｉ）（ｉ＝１〜Ｌ）で分析している。ここでは、選択された周波数信号の一部である混合音２４０１（ｎ）の周波数信号のみを表示している。
図１９（ａ）に、選択された周波数信号を示す。図１９（ａ）の表示の方法は、図１１と同じであるので説明を省略する。この例では、選択された周波数信号の中にエンジン音Ａ（音色のある音）とエンジン音Ｂ（音色のある音）と暗騒音（音色のない音）との周波数信号が含まれている。
図１９（ｂ）に、周波数信号の位相のヒストグラムの一例を模式的に示す。エンジン音Ａの周波数信号の集まりは類似した位相（この例ではπ／２（ラジアン）の近傍）を持ち、エンジン音Ｂの周波数信号の集まりは類似した位相（この例ではπ（ラジアン）の近傍）を持つため、ヒストグラムのπ／２（ラジアン）の近傍とπ（ラジアン）の近傍に山が２つできている。また、暗騒音の周波数信号は特定の位相を持たないため、ヒストグラムでは山ができていない。
そこで、位相距離判定部２０１（ｊ）は、位相距離が第２のしきい値（π／４（ラジアン））以下であり、かつ出現頻度が第１のしきい値（所定の時間幅に含まれる１／ｆの時間間隔の全ての周波数信号の数の３０％）以上である周波数信号を、抽出音の周波数信号２４０８に判定する。この例では、π／２（ラジアン）の近傍の周波数信号とπ（ラジアン）近傍の周波数信号とが抽出音の周波数信号２４０８に判定される。このとき、π／２（ラジアン）近傍の周波数信号とπ（ラジアン）近傍の周波数信号との間の位相距離はπ／４（ラジアン）（第４のしきい値）以上になるため、これらの２つの山の周波数信号の集まりは異なる種類の抽出音として判定することができる。すなわち、エンジン音Ａとエンジン音Ｂとを区別して２つの抽出音の周波数信号として判定することができる。
最後に、音抽出部２０２（ｊ）は、位相距離判定部２０１（ｊ）が判定した、異なる種類の抽出音の周波数信号を各々取り出すことで雑音を除去することができる（ステップＳ４０２（ｊ））。
かかる構成によれば、抽出音判定部は、第１のしきい値以上の数から構成されかつ周波数信号間の位相の類似度が第２のしきい値以下である周波数信号の集まりを複数作成して、周波数信号の集まり同士の位相距離が第４のしきい値以上になる周波数信号の集まり同士を異なる種類の抽出音と判定することで、同じ時間‐周波数領域に複数の種類の抽出音がある場合にそれらを区別して判定することができる。例えば、複数の車両のエンジン音を区別して判定できるため、本実施の形態を車両検知装置に適用した場合には運転者に同じ方向に複数の異なる車両が存在していることを知らせることができて、運転者は安全に運転できる。また、複数の人の音声を区別して判定できるため、本実施の形態を音声抽出装置に適用した場合には複数の人の音声を分離して聞かせることができる。
本発明の雑音除去装置を、例えば、音声出力装置に組み込めば、混合音から時間‐周波数領域ごとに音声の周波数信号を判定して逆周波数変換によりきれいな音声を出力することができる。また、本発明の雑音除去装置を、例えば、音源方向検知装置に組み込めば、雑音が除去されたあとの抽出音の周波数信号を抽出して正確な音源の方向を求めることができる。また、本発明の雑音除去装置を、例えば、音声認識装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに音声の周波数信号を抽出して正確に音声認識を行うことができる。また、本発明の雑音除去装置を、例えば、音識別装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに抽出音の周波数信号を抽出して正確に音識別を行うことができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにエンジン音の周波数信号を抽出したときに車両の接近を知らせることができる。また、本発明の雑音除去装置を、例えば、緊急車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにサイレン音の周波数信号を抽出したときに緊急車両の接近を知らせることができる。
また、本発明で抽出音（音色のある音）に判定されなかった雑音（音色のない音）の周波数信号を抽出することを考えると、本発明の雑音除去装置を、例えば、風音レベル判定装置に組み込めば、混合音から時間‐周波数領域ごとに風雑音の周波数信号を抽出してパワーの大きさを求めて出力することができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにタイヤ摩擦による走行音の周波数信号を抽出してパワーの大きさから車両の接近を検知することができる。
なお、周波数分析部として、コサイン変換、ウェーブレット変換、又は、バンドパスフィルタを用いてもよい。
なお、周波数分析部の窓関数として、ハミング窓、矩形窓、又は、ブラックマン窓などのいかなる窓関数を用いてもよい。
なお、周波数分析部が求めた周波数信号の中心周波数ｆと、位相距離を求める分析周波数ｆ´は異なる値を用いてもよい。このとき、中心周波数ｆの周波数信号の中に周波数ｆ´における周波数信号が存在する場合に、その周波数信号は抽出音の周波数信号に判定される。また、その周波数信号の詳細な周波数はｆ´である。
なお、実施の形態１の抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）において、１／ｆ（ｆは分析周波数）の時間間隔の時刻から、過去と未来の時刻に対して同じ時間区間Ｋ（時間幅９６ｍｓ）の中から周波数信号を選択したが、過去と未来の時刻に対して異なる時間区間の中から周波数信号を選択してもよい。
なお、実施の形態１において、位相距離を求めるときに分析の対象とする時刻の周波数信号を設定して、時刻ごとの周波数信号に対して抽出音の周波数信号であるか否かの判定を行ったが、複数の周波数信号間の位相距離をまとめて求めて第２のしきい値と比較することで、複数の周波数信号全体が抽出音の周波数信号であるか否かをまとめて判定することができる。この場合は、時間区間の平均的な位相の時間変化を分析することになるため、雑音の位相と抽出音の位相とがたまたま一致した場合にも安定して抽出音の周波数信号を判定することができる。
なお、時間軸調整部は所定の方向として複数の方向を設定して、各々の方向で抽出音の周波数信号を判定してもよい。
（実施の形態２）
次に、実施の形態２に係る雑音除去装置について説明する。実施の形態２に係る雑音除去装置は、実施の形態１に係る雑音除去装置と異なり、マイクロホン間での位相差により雑音を除去したあとに、位相距離を求めて抽出音の周波数信号を判定して雑音を除去する。また、混合音の時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を補正し、補正後の周波数信号の位相ψ´（ｔ）を用いて抽出音の周波数信号を判定して雑音を除去する。
次に、実施の形態２に係る雑音除去装置について説明する。実施の形態２に係る雑音除去装置は、実施の形態１に係る雑音除去装置と異なり、マイクロホン間での位相差により雑音を除去したあとに、位相距離を求めて抽出音の周波数信号を判定して雑音を除去する。また、混合音の時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を補正し、補正後の周波数信号の位相ψ´（ｔ）を用いて抽出音の周波数信号を判定して雑音を除去する。
図２０及び図２１は、本発明の実施の形態２における雑音除去装置の構成を示すブロック図である。
図２０において、雑音除去装置１５００は、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＦＦＴ分析部２４０２（請求の範囲の周波数分析部）と、雑音除去処理部１５０４において、位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）と、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の雑音特定部）と、抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と、音抽出部１５０３（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の音抽出部）とを含む。
ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める。以下では、ＦＦＴ分析部２４０２から求められた周波数帯域の個数をＭとして、それらの周波数帯域を指定する番号を記号ｊ（ｊ＝１〜Ｍ）で表すこととする。
位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）は、ＦＦＴ分析部２４０２が求めた周波数帯域ｊの周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を補正する処理部である。
雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する。この例では、位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）が求めた補正された位相を用いて位相差を求める。
なお、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、位相補正する前のＦＦＴ分析部２４０２が求めた周波数信号の位相を用いて位相差を求めてもよい。
抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により調整された時間軸上での所定の時間幅において、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号を用いて、分析の対象とする位相補正された周波数信号と、所定の時間幅に含まれる複数の位相補正された周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）との位相距離を求める。このとき、位相距離を求めるときに用いた周波数信号の数は第１のしきい値以上の数から構成されている。このとき位相距離はψ´（ｔ）を用いて計算する。そして、位相距離が第２のしきい値以下である分析の対象とする周波数信号を抽出音の周波数信号２４０８に判定する。
このとき、抽出音の周波数信号２４０８が、いずれの混合音２４０１（ｎ）（ｎ＝１〜Ｎ）から判定されたのかを特定することもできる。
最後に、音抽出部１５０３（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）が判定した抽出音の周波数信号２４０８を取り出すことで混合音から雑音の除去を行う。
これらの処理を、所定の時間幅の時刻を移動させながら行うことにより、時間‐周波数領域ごとに抽出音の周波数信号２４０８を取り出すことができる。
図２１に、抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）の構成を示すブロック図を示す。
抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部１６００（ｊ）（ｊ＝１〜Ｍ）と、位相距離判定部１６０１（ｊ）（ｊ＝１〜Ｍ）とから構成される。
周波数信号選択部１６００（ｊ）（ｊ＝１〜Ｍ）は、所定の時間幅において、位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）が位相補正した周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号から、位相距離判定部１６０１（ｊ）（ｊ＝１〜Ｍ）が位相距離を計算するのに用いる周波数信号を選択する処理部である。位相距離判定部１６０１（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部１６００（ｊ）（ｊ＝１〜Ｍ）が選択した周波数信号の補正された位相ψ´（ｔ）を用いて位相距離を計算して、位相距離が第２のしきい値以下になる周波数信号を抽出音の周波数信号２４０８に判定する処理部である。
次に、以上のように構成された雑音除去装置１５００の動作について説明する。
以下では、ｊ番目の周波数帯域について説明を行う。ここでは、周波数帯域の中心周波数と分析周波数（位相距離を求めるψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）における周波数ｆであって、周波数ｆに抽出音が存在するか否かを判定することになる）とが一致する場合を例にして説明を行う。他の方法として、周波数帯域を含む周辺の複数の周波数を分析周波数として抽出音の判定を行ってもよい。この場合は、中心周波数の周辺の周波数に抽出音が存在するか否かを判定することができる。ここでの処理は実施の形態１と同じである。
図２２及び図２３は、雑音除去装置１５００の動作手順を示すフローチャートである。
初めに、ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める（ステップＳ３００）。ここでは、実施の形態１と同様に周波数信号を求める。
次に、位相補正部１５０１（ｊ）は、ＦＦＴ分析部２４０２が求めた周波数帯域ｊの混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を変換することで位相補正を行う（ステップＳ１７００（ｊ））。
図２４〜図２６を用いて、位相補正を行う方法の一例について説明する。図２４（ａ）には、ＦＦＴ分析部２４０２が求めた周波数信号が模式的に示されており、図２４（ｂ）には、図２４（ａ）から求めた周波数信号の位相が模式的に示されており、図２４（ｃ）には、図２４（ａ）から求めた周波数信号の大きさ（パワー）が模式的に示されている。図２４（ａ）、図２４（ｂ）及び図２４（ｃ）の横軸は時間軸である。図２４（ａ）の表示の方法は図１１と同様であるため説明を省略する。図２４（ａ）には、混合音２４０１（ｎ）（ｎ＝１〜Ｍ）の周波数信号の一部である混合音２４０１（ｎ）の周波数信号のみを表示している。図２４（ｂ）の縦軸は周波数信号の位相を表しており０〜２π（ラジアン）の間の値で示される。図２４（ｃ）の縦軸は周波数信号の大きさ（パワー）を表している。混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の位相ψｎ（ｔ）（ｎ＝１〜Ｎ）及び大きさ（パワー）Ｐｎ（ｔ）（ｎ＝１〜Ｎ）は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の実部を
ここで、図２４（ｂ）に示されている周波数信号の位相ψｎ（ｔ）（ｎ＝１〜Ｎ）をψ´ｎ（ｔ）＝ｍｏｄ２π（ψｎ（ｔ）−２πｆｔ）（ｆは分析周波数）（ｎ＝１〜Ｎ）の値に変換することで位相補正を行う。
初めに、基準の時刻を決定する。図２５（ａ）は、図２４（ｂ）と同じ内容のものであり、この例では、図２５（ａ）の黒丸印の時刻ｔ０を基準の時刻に決定している。
次に、位相を補正する周波数信号の複数の時刻を決定する。この例では、図２５（ａ）の５個の白丸印の時刻（ｔ１、ｔ２、ｔ３、ｔ４、ｔ５）を、位相を補正する周波数信号の時刻に決定している。
ここで、基準の時刻ｔ０における周波数信号の位相を
次に、図２６に、時刻ｔ２における周波数信号の位相を補正する方法を示す。図２６（ａ）と図２５（ａ）とは同じ内容のものである。また、図２６（ｂ）は、１／ｆ（ｆは分析周波数）の時間間隔で等角速度で０〜２π（ラジアン）まで規則的に変化する位相を表している。ここで、補正したあとの位相を
位相補正したあとの周波数信号の位相を図２５（ｂ）に×印で示す。図２５（ｂ）の表示の方法は図２５（ａ）と同様であるため説明を省略する。
次に、雑音特定部１５０５（ｊ）は、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する（ステップＳ１７０３（ｊ））。この例では、位相補正部１５０１（ｊ）が求めた補正された位相を用いて位相差を求める。
図２７には、位相補正部１５０１（ｊ）が求めた補正された位相の一例が示されている。表示の方法は図２５（ｂ）と同じであるため説明を省略する。横軸の時間軸は所定の方向に時間軸が調整されたものである。この例では、時刻ｔ０、時刻ｔ１、時刻ｔ２の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の補正された位相が示されている。ここではＮ＝３として説明を行う。
図２７の時刻ｔ０において、混合音２４０１（１）の位相ψ´１（ｔ０）は、混合音２４０１（２）の位相ψ´２（ｔ０）または混合音２４０１（３）の位相ψ´３（ｔ０）との位相差が第３のしきい値未満であるため、混合音２４０１（１）の位相ψ´１（ｔ０）（又は周波数信号）は抽出音の候補として残る。同様にして、混合音２４０１（２）の位相ψ´２（ｔ０）（周波数信号）と混合音２４０１（３）の位相ψ´３（ｔ０）（周波数信号）も抽出音の候補として残る。
図２７の時刻ｔ１において、混合音２４０１（３）の位相ψ´３（ｔ１）は、混合音２４０１（１）の位相ψ´２（ｔ１）および混合音２４０１（２）の位相ψ´２（ｔ１）の両方との位相差が第３のしきい値以上であるため、混合音２４０１（３）の位相ψ´３（ｔ１）（周波数信号）は雑音として特定される。また、混合音２４０１（１）の位相ψ´１（ｔ１）と混合音２４０１（２）の位相ψ´２（ｔ１）は、お互いに第３のしきい値未満であるため、混合音２４０１（１）の位相ψ´１（ｔ１）（周波数信号）と混合音２４０１（２）の位相ψ´２（ｔ１）（周波数信号）は抽出音の候補として残る。
図２７の時刻ｔ２において、混合音２４０１（１）の位相ψ´１（ｔ２）と混合音２４０１（２）の位相ψ´２（ｔ２）と混合音２４０１（３）の位相ψ´１（ｔ２）は、お互いに位相差が第３のしきい値以上であるため、混合音２４０１（１）の位相ψ´１（ｔ２）（周波数信号）と混合音２４０１（２）の位相ψ´２（ｔ２）（周波数信号）と混合音２４０１（３）の位相ψ´３（ｔ２）（周波数信号）は雑音として特定される。
これにより、位相距離を求める前に雑音の周波数信号を除くことができる。
なお、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、位相補正する前のＦＦＴ分析部２４０２が求めた周波数信号の位相を用いて位相差を求めてもよい。この場合は、図２７の位相ψ´（ｔ）を位相ψ（ｔ）に置き換えて、図２７に示した方法と同様な方法で処理を行えばよい。
次に、抽出音判定部１５０２（ｊ）は、時間軸調整部１０３により調整された時間軸上での所定の時間幅において、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、雑音特定部１５０５（ｊ）が特定した周波数信号を除いた周波数信号を用いて、分析の対象とする位相補正された周波数信号と、所定の時間幅に含まれる複数の位相補正された周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）との位相距離を求める。このとき、位相距離を求めるときに用いた周波数信号の数は第１のしきい値以上の数から構成されている。そして、位相距離が第２のしきい値以下になる分析の対象とする周波数信号を抽出音の周波数信号２４０８に判定する（ステップＳ１７０１（ｊ））。
初めに周波数信号選択部１６００（ｊ）は、位相補正部１５０１（ｊ）が求めた所定の時間幅における位相補正された周波数信号から雑音特定部１５０５（ｊ）が特定した周波数信号を除いた周波数信号の中から、位相距離判定部１６０１（ｊ）が位相距離の計算に用いる周波数信号を選択する（ステップＳ１８００（ｊ））。ここでは、所定の時間幅に含まれる雑音特定部１５０５（ｊ）が特定した周波数信号を除いた周波数信号の時刻を時刻ｔ０〜時刻ｔ５として、分析の対象とする周波数信号を、時刻をｔ０における混合音２４０１（ｎ´）の周波数信号とする。このとき、位相距離を求めるときに用いた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の数（ｔ０〜ｔ５の６個×Ｎ）は第１のしきい値以上の数から構成されている。このことは、位相距離を求めるために選択された周波数信号の数が少ない場合に、位相の時間変化の規則性を判定することが困難になるからである。ここでの所定の時間幅の時間長は、ＦＦＴ分析部２４０２の高速フーリエ変換処理で用いた窓関数の時間窓幅の２〜４倍の長さに設定することが好ましい。
次に、位相距離判定部１６０１（ｊ）は、周波数信号選択部１６００（ｊ）が選択した位相補正後の周波数信号を用いて位相距離を計算する（ステップＳ１８０１（ｊ））。この例では、位相距離Ｓは位相の差分誤差であり、
なお、位相の値はトーラス状に繋がっていること（０（ラジアン）と２π（ラジアン）は同じであること）を考慮して位相距離を求めてもよい。例えば、数２６に示した位相の差分誤差を用いて位相距離を計算する場合に、右辺の部分で、
この例では、周波数信号選択部１６００（ｊ）が、位相補正部１５０１（ｊ）が求めた位相補正された周波数信号から、位相距離判定部１６０１（ｊ）が位相距離の計算に用いる周波数信号を選択している。他の方法としては、位相補正部１５０１（ｊ）が位相補正する周波数信号を予め周波数信号選択部１６００（ｊ）が選択しておいて、位相距離判定部１６０１（ｊ）は、位相補正部１５０１（ｊ）により位相補正された周波数信号をそのまま用いて位相距離を求めるようにしてもよい。この場合は、位相距離を計算するために用いる周波数信号のみを位相補正するため処理量を削減できる。
次に、位相距離判定部１６０１（ｊ）は、位相距離が第２のしきい値以下である分析の対象とする周波数信号の各々を抽出音の周波数信号２４０８に判定する（ステップＳ１８０２（ｊ））。
最後に、音抽出部１５０３（ｊ）は、抽出音判定部１５０２（ｊ）が抽出音の周波数信号２４０８と判定した周波数信号を取り出すことで雑音を除去する。
ここで、雑音として除去される周波数信号の位相について考察を加える。この例では、位相距離を位相の差分誤差とする。また、第２のしきい値をπ（ラジアン）に設定する。
図２８は、位相距離を求める所定の時間幅における、混合音の周波数信号の位相補正された位相ψ´（ｔ）を模式的に示した図である。横軸は時間ｔであり縦軸は位相補正された位相ψ´（ｔ）である。黒丸印は分析の対象とする周波数信号の位相を示す。図２８（ａ）に示すように、位相距離を求めることは、分析の対象とする周波数信号の位相補正された位相を通る、時間軸に対して平行な傾きをもつ直線との位相距離を求めることと同じになる。図２８（ａ）では、この直線の近傍に位相距離を求める周波数信号の位相補正された位相が集まっているため、第１のしきい値以上の数の周波数信号との位相距離は第２のしきい値（π（ラジアン））以下になり抽出音の周波数信号に判定される。また、図２８（ｂ）のように、分析の対象とする周波数信号の位相補正された位相を通り、時間軸に平行な傾きをもつ直線の近傍に、位相距離を求める周波数信号がほとんど存在しない場合には、第１のしきい値以上の数の周波数信号との位相距離が第２のしきい値（π（ラジアン））より大きくなるため、抽出音の周波数信号として判定されることはなく雑音として除去される。
図２９は、混合音の位相を模式的に示した別の例である。横軸は時間軸であり縦軸は位相である。丸印で位相補正された混合音の周波数信号の位相が示されている。実線で囲まれた周波数信号同士は同じクラスタに属しており位相距離が第２のしきい値（π（ラジアン））以下になる周波数信号の集まりである。これらのクラスタは多変量解析を用いても求めることができる。同一のクラスタの中に第１のしきい値以上の数の周波数信号が存在するクラスタの周波数信号は除去されずに抽出され、第１のしきい値より少ない数の周波数信号しか存在しないクラスタの周波数信号は雑音として除去される。図２９（ａ）に示すように、所定の時間幅に一部分だけ雑音部分が含まれる場合に、その一部分の雑音のみを除去することができる。また、図２９（ｂ）に示すように、２種類の抽出音が存在する場合にも、所定の時間幅に対して４０％以上（ここでは、７個以上）の周波数信号間での位相距離が第２のしきい値（π（ラジアン））以下になる周波数信号を抽出することで２つの抽出音を抽出することができる。このとき、これらのクラスタ間の位相距離はπ（ラジアン）（第４のしきい値）以上であるため、異なる種類の抽出音として判定することもできる。
かかる構成によれば、マイクロホン間での混合音の位相差が第３のしきい値以上である雑音の周波数信号を除いてから抽出音の周波数信号を判定するため、第１のしきい値の判定を正確に行うことができて正確に抽出音の判定を行うことができる。例えば、風雑音のようにマイクロホンごとに独立に発生する雑音は、マイクロホン間で位相が異なるため第３のしきい値を用いることで取り除くことができる。また、所定の方向以外の方向に存在する音に対しても、所定の方向に時間軸が調整されたあとのマイクロホン間で位相差は大きくなるため第３のしきい値を用いることで取り除くことができる。
また、他の全ての前記混合音との周波数信号の位相差が第３のしきい値以上である前記混合音の周波数信号を取り除くことで、抽出音の可能性が残る周波数信号を取り除くことなく抽出音の周波数信号を判定することができる。これは、例えば、全てのマイクロホンで位相差が類似する周波数信号以外を全て取り除いてしまうと、いずれか１つのマイクロホンに風雑音のようにマイクロホンごとに独立に発生する雑音が入力された場合に、他のマイクロホンに抽出音が入力されていても全て除去されてしまうからである。
また、１／ｆ（ｆは分析周波数）の時間間隔よりも細かい時間間隔の周波数信号においてψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）の補正を行うことで、１／ｆ（ｆは分析周波数）の時間間隔よりも細かい時間間隔の周波数信号で、位相距離をψ´（ｔ）を用いた簡単な計算で求めることができる。このため、１／ｆの時間間隔が大きくなる低い周波数帯域における抽出音においても、短い時間領域ごとにψ´（ｔ）を用いた簡単な計算で判定することができる。
本発明の雑音除去装置を、例えば、音声出力装置に組み込めば、混合音から時間‐周波数領域ごとに音声の周波数信号を判定して逆周波数変換によりきれいな音声を出力することができる。また、本発明の雑音除去装置を、例えば、音源方向検知装置に組み込めば、雑音が除去されたあとの抽出音の周波数信号を抽出して正確な音源の方向を求めることができる。また、本発明の雑音除去装置を、例えば、音声認識装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに音声の周波数信号を抽出して正確に音声認識を行うことができる。また、本発明の雑音除去装置を、例えば、音識別装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに抽出音の周波数信号を抽出して正確に音識別を行うことができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにエンジン音の周波数信号を抽出したときに車両の接近を知らせることができる。また、本発明の雑音除去装置を、例えば、緊急車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにサイレン音の周波数信号を抽出したときに緊急車両の接近を知らせることができる。
また、本発明で抽出音（音色のある音）に判定されなかった雑音（音色のない音）の周波数信号を抽出することを考えると、本発明の雑音除去装置を、例えば、風音レベル判定装置に組み込めば、混合音から時間‐周波数領域ごとに風雑音の周波数信号を抽出してパワーの大きさを求めて出力することができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにタイヤ摩擦による走行音の周波数信号を抽出してパワーの大きさから車両の接近を検知することができる。
なお、周波数分析部として、離散フーリエ変換、コサイン変換、ウェーブレット変換、又は、バンドパスフィルタを用いてもよい。
なお、周波数分析部の窓関数として、ハミング窓、矩形窓、又は、ブラックマン窓などのいかなる窓関数を用いてもよい。
なお、雑音除去装置１５００はＦＦＴ分析部２４０２が求めた全て（Ｍ個）の周波数帯域に対して雑音の除去を行ったが、雑音を除去したい一部の周波数帯域を選択してから選択した周波数帯域において雑音の除去を行ってもよい。
なお、分析の対象とする周波数信号を定めずに、複数の周波数信号間の位相距離を求めて、第２のしきい値と比較することで、複数の周波数信号全体が抽出音の周波数信号であるか否かをまとめて判定することもできる。この場合は、時間区間の平均的な位相の時間変化を分析することになるため、雑音の位相が抽出音の位相とたまたま一致した場合にも安定して抽出音の周波数信号を判定することができる。
なお、位相補正後の位相を用いて、実施の形態１の変形例と同様にして、ヒストグラムを用いて抽出音の周波数信号を判定してもよい。この場合は、図３０のようなヒストグラムになる。表示の方法は図１８と同じなので説明を省略する。位相補正を行っているためヒストグラムのΔψ´の領域が時間軸に平行になり出現頻度を求めやすくなる。
なお、位相補正後の位相ψ´（ｔ）を用いて、
なお、時間軸調整部は所定の方向として複数の方向を設定して、各々の方向で抽出音の周波数信号を判定してもよい。
（実施の形態３）
次に、実施の形態３に係る車両検知装置について説明する。実施の形態３に係る車両検知装置は、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音検知フラグを出力して運転者に接近車両の存在を知らせるものである。実施の形態１と実施の形態２と異なる部分は、時間軸調部が所定の方向として複数の方向を設定して、各々の方向に対して抽出音の判定を行うことである。ここでは、位相距離を求める際に、時間‐周波数領域ごとの混合音に適切な分析周波数を事前に求めてから、求めた分析周波数に対して位相距離を求めてエンジン音の周波数信号を判定する方法について説明する。
次に、実施の形態３に係る車両検知装置について説明する。実施の形態３に係る車両検知装置は、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音検知フラグを出力して運転者に接近車両の存在を知らせるものである。実施の形態１と実施の形態２と異なる部分は、時間軸調部が所定の方向として複数の方向を設定して、各々の方向に対して抽出音の判定を行うことである。ここでは、位相距離を求める際に、時間‐周波数領域ごとの混合音に適切な分析周波数を事前に求めてから、求めた分析周波数に対して位相距離を求めてエンジン音の周波数信号を判定する方法について説明する。
図３１及び図３２は、本発明の実施の形態３における車両検知装置の構成を示すブロック図である。
図３１において、車両検知装置４１００は、マイクロホン４１０７（１）と、マイクロホン４１０７（２）と、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＤＦＴ分析部１１００（請求の範囲の周波数分析部）と、車両検知処理部４１０１において、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の雑音特定部）と、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）と、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の音検知部）と、提示部４１０６とを含む。
また、図３２において、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）は、位相距離判定部４２００（ｊ）（ｊ＝１〜Ｍ）から構成される。
マイクロホン４１０７（１）は混合音２４０１（１）を入力して、マイクロホン４１０７（２）は混合音２４０１（２）を入力する。この例では、マイクロホン４１０７（１）とマイクロホン４１０７（１）はそれぞれ自車両の左前と右前のバンパーに設置されている。これらの混合音の各々はバイクのエンジン音と風雑音とから構成されている。
ＤＦＴ分析部１１００は、混合音２４０１（ｎ）（ｎ＝１、２）を受付けて、離散フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を時刻ごとに求める処理部である。ここでは、所定の方向として複数の方向を設定する。以下では、ＤＦＴ分析部１１００から求められた周波数帯域の個数をＭとして、それらの周波数帯域を指定する番号を記号ｊ（ｊ＝１〜Ｍ）で表すこととする。この例では、バイクのエンジン音が存在する１０Ｈｚ〜１５０Ｈｚの周波数帯域を５Ｈｚ間隔ごとに分割して（Ｍ＝３０）周波数信号を求める。
雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、ＤＦＴ分析部１１００が求めた混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する。この例では、ＤＦＴ分析部１１００が求めた位相を用いて位相差を求める。この処理は、時間軸調整部１０３により所定の方向として設定された方向ごとに時間軸を調整して行う。
なお、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、実施の形態２のように、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）により補正されたあとの位相を用いて位相差を求めてもよい。
位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により所定の方向として設定された方向ごとに、ＤＦＴ分析部１１００が求めた周波数帯域ｊ（ｊ＝１〜Ｍ）の周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆ´ｔ）（ｆ´は周波数帯域の周波数）に位相を補正する処理部である。この例で実施の形態２と異なる部分は、ψ（ｔ）を分析周波数で補正するのではなく、周波数信号を求めた周波数帯域の周波数ｆ´で補正を行うところである。
抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）（位相距離判定部４２００（ｊ）（ｊ＝１〜Ｍ））は、時間軸調整部１０３により所定の方向として設定された方向ごとに、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）が補正した周波数信号の位相ψ´´（ｔ）を用いて、時間軸調整部１０３により調整された時間軸上での所定の時間幅における時刻の、混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を用いて、この周波数信号に適切な分析周波数を求めてから位相距離を求めて、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する処理部である。
次に、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）により、時間軸調整部１０３により所定の方向として設定されたいずれかの方向の中でいずれかの周波数帯域において、混合音２４０１（ｎ）（ｎ＝１、２）からエンジン音（抽出音）の周波数信号が存在すると判定されたときに、抽出音検知フラグ４１０５を作成して出力する。
最後に、提示部４１０６は、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）から抽出音検知フラグ４１０５が入力されたときに、運転者に接近車両の存在を知らせる。
これらの処理を、所定の時間幅の時刻を移動させながら行う。
次に、以上のように構成された車両検知装置４１００の動作について説明する。
以下では、ｊ番目の周波数帯域（周波数帯域の周波数はｆ´）について説明を行う。
図３３は、車両検知装置４１００の動作手順を示すフローチャートである。
初めに、ＤＦＴ分析部１１００は、混合音２４０１（ｎ）（ｎ＝１、２）を受付けて、離散フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を時刻ごとに求める。ここでは、所定の方向として複数の方向を設定する（ステップＳ４３００）。この例では、離散フーリエ変換の窓関数幅を２５ｍｓに設定してある。
図３４に、混合音２４０１（１）と混合音２４０１（２）のスペクトログラムの一例を示す。横軸は時間軸であり縦軸は周波数軸である。色の濃度は周波数信号のパワーの大きさを表しており、濃い色は周波数信号のパワーが大きいことを示している。ここでの表示には、周波数信号の位相成分の表示は省略されている。図３４（ａ）と図３４（ｂ）はそれぞれ混合音２４０１（１）と混合音２４０１（２）のスペクトログラムであり、バイクのエンジン音と風雑音とから構成されている。図３４（ａ）と図３４（ｂ）の領域Ｂを見ると、両方の混合音にエンジン音の周波数信号があらわれている。一方、図３４（ａ）と図３４（ｂ）の領域Ａを見ると、混合音２４０１（１）にはエンジン音があらわれているが、混合音２４０１（２）には風雑音の影響でエンジン音がうもれてしまっている。このようにマイクロホン間で混合音の状態が異なるのは、風雑音がマイクロホンの配置に依存して変化する雑音だからである。
次に、雑音特定部１５０５（ｊ）は、ＤＦＴ分析部１１００が求めた混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する（ステップＳ４３０１（ｊ））。この例では、ＤＦＴ分析部１１００が求めた位相を用いて位相差を求める。この処理は、時間軸調整部１０３により所定の方向として設定された方向ごとに時間軸を調整して行う。この例では、第３のしきい値を０．５１（ラジアン）に設定している。この処理は、実施の形態２に記載した方法と同様にして行う。
次に、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により所定の方向として設定された方向ごとに、ＤＦＴ分析部１１００が求めた周波数帯域ｊ（ｊ＝１〜Ｍ）の周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆ´ｔ）（ｆ´は周波数帯域の周波数）に位相を変換することで位相補正を行う（ステップＳ４３０２（ｊ））。この例で実施の形態２と異なる部分は、ψ（ｔ）を分析周波数ｆで補正するのではなく、周波数信号を求めた周波数帯域の周波数ｆ´で補正を行うところである。それ以外の条件は実施の形態２と同様であるため説明を省略する。
次に、抽出音判定部４１０３（ｊ）（位相距離判定部４２００（ｊ））は、時間軸調整部１０３により所定の方向として設定された方向ごとに、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）が補正した周波数信号の位相ψ´´（ｔ）を用いて、時間軸調整部１０３により調整された時間軸上での所定の時間幅における全ての時刻の、混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号（第１のしきい値は、所定の時間幅における時刻の周波数信号の５０％の数であり、第１のしきい値以上の数から構成されている）を用いて、分析周波数ｆを設定して、設定された分析周波数ｆを用いて位相距離を求める。そして、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する（ステップＳ４３０３（ｊ））。
図３４（ａ）および図３４（ｂ）における、時間軸調整部１０３により調整された時間軸上での時刻３．６秒の所定の時間幅（時間長は７５ｍｓに設定してある）の周波数１００Ｈｚの周波数帯域の時間‐周波数領域において適切な分析周波数ｆを設定する方法について説明する。
図３５に、図３４の混合音の、時間軸調整部１０３により調整された時間軸上での時刻３．６秒の所定の時間幅（７５ｍｓ）の周波数１００Ｈｚの周波数帯域の時間‐周波数領域における、周波数帯域の周波数ｆ´で補正された位相ψ´´ｎ（ｔ）（ｎ＝１、２）が示されている。横軸は時間軸であり縦軸は位相ψ´´（ｔ）（ψ´´１（ｔ）、ψ´´２（ｔ））である。この例では、周波数帯域の周波数（ｆ´＝１００Ｈｚ）で位相が補正されており、ψ´´ｎ（ｔ）＝ｍｏｄ２π（ψｎ（ｔ）−２π×１００×ｔ）（ｎ＝１、２）である。また、これらの補正された位相ψ´´ｎ（ｔ）（ｎ＝１、２）と、時刻と位相ψ´´（ｔ）の空間で定義される直線との距離（位相距離に対応する）が最小になる直線（直線Ａ）が示されている。
この直線は、線形回帰分析により求めることができる。具体的には、時刻ｔ（ｉ）（ｉ（ｉ＝１〜Ｋ）はｔを離散化したときのインデックス）を説明変数として、補正された位相ψ´´（ｔ（ｉ））を目的変数にする。そして、時刻３．６秒の所定の時間幅（７５ｍｓ）の周波数１００Ｈｚの周波数帯域の時間‐周波数領域における、時刻ごとの補正された位相ψ´´ｎ（ｔ（ｉ））（ｎ＝１、２）（ｉ＝１〜Ｋ）を２Ｋ個のデータとして、
は、補正された位相の平均であり、
ここで、図３６を用いて、図３５の直線Ａの傾きから分析周波数ｆを求めることができることを説明する。ここでは、直線Ａは、１／ｆ´´の時間間隔でψ´´（ｔ）が０〜２π（ラジアン）増加する傾きをもつ直線とする。すなわち、直線Ａの傾きを２πｆ´´とする。
図３６の直線Ａは、図３５の直線Ａと同じである。図３６の横軸は時間軸であり縦軸は位相である。図３６の、時間とψ（ｔ）とで定義される直線Ｂは、直線Ａが周波数ｆ´（周波数帯域の周波数）で位相補正される前の時間とψ（ｔ）とで定義される直線である。すなわち、直線Ｂは、直線Ａに対して時刻が１／ｆ´進むごとに２π（ラジアン）を足し算したものである。この直線Ｂは、この時間‐周波数領域に抽出音が存在した場合の抽出音の位相ψ（ｔ）とみなすことができて、１／ｆの時間間隔（ｆは分析周波数）で等角速度で０〜２π（ラジアン）まで変化する。この直線Ｂの傾き（２πｆ）に対応する周波数ｆが求めたい分析周波数ｆである。
この例では、分析周波数ｆよりも周波数帯域の周波数ｆ´の値が小さかったため、直線Ａは正の傾きをもっている。なお、分析周波数ｆと周波数帯域の周波数ｆ´の値とが一致する場合には直線Ａの傾きはゼロになり、分析周波数ｆよりも周波数帯域の周波数ｆ´の値が大きい場合には直線Ａの負の傾きをもつことになる。
図３６における直線Ａと直線Ｂとの関係から、
図３５の直線Ａは、補正された位相ψ´´（ｔ）が０〜２π（ラジアン）増加するまでの時間は０．０７５／０．５（＝１／ｆ´´）（秒）であるため、ｆ´´＝６．７（Ｈｚ）となり、分析周波数ｆは１０６．７Ｈｚ（１００Ｈｚ＋６．７Ｈｚ）になる。
次に、設定された分析周波数ｆを用いて位相距離（ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での距離）を求める。位相距離は、図３５に示された補正された位相ψ´´（ｔ）と直線Ａとの距離で求めることができる。このことは、
この例では、位相距離を、所定の時間幅における全ての時刻の位相補正された周波数信号の位相ψ´´（ｔ）と直線Ａとの差分誤差で求める。
なお、位相の値はトーラス状に繋がっていること（０（ラジアン）と２π（ラジアン）は同じであること）を考慮して位相距離を求めてもよい。
ここで他の見方をすると、直線Ａは位相距離が最小になるように求められているため、直線Ａの傾きに対応する周波数ｆ´´から求められる分析周波数ｆは、位相距離を最小にするものになり、この時間‐周波数領域において適した分析周波数ｆであったことがわかる。
次に、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する。この例では、第２のしきい値を０．３４（ラジアン）に設定している。また、この例では、所定の時間幅における周波数信号全体で１つの位相距離を求めて、時間区間ごとに抽出音の周波数信号の判定をまとめて行っている。
図３７に、時間軸調整部１０３が設定した複数の方向で、エンジン音の周波数信号を判定した結果の一例を示す。この結果は、図３４に示す混合音からエンジン音の周波数信号を判定した結果であり、時間軸調整部１０３が設定した複数の方向のいずれかの方向でエンジン音の周波数信号であると判定された時間‐周波数領域を黒い領域で表示している。横軸は時間軸であり縦軸は周波数である。図３４の領域Ａと領域Ｂと、図３７の領域Ａと領域Ｂは対応している。これより、図３７の領域Ａを見ると、混合音２４０１（ｎ）（ｎ＝１、２）の両方の周波数信号を合わせることで、混合音からエンジン音の周波数信号を精度よく判定できていることがわかる。
これらの処理を、全ての周波数帯域ｊ（ｊ＝１〜Ｍ）に対して行う。
次に、音検知部４１０４（ｊ）は、抽出音判定部４１０３（ｊ）により少なくとも１つの周波数帯域に、エンジン音の周波数信号が存在すると判定された時刻に、抽出音検知フラグ４１０５を作成して出力する（ステップＳ４３０４（ｊ））。この例では、バイクのエンジン音が存在する１０Ｈｚ〜１５０Ｈｚの周波数帯域における判定結果の全体を用いて、位相距離を求めた時間単位である所定の時間幅（７５ｍｓ）ごとに抽出音検知フラグ４１０５を作成して出力するか否かを決定する。
他の抽出音検知フラグ４１０５の作成方法としては、位相距離を求めた時間単位である所定の時間幅とは独立に設定された時刻ごとに、抽出音検知フラグ４１０５を作成して出力するか否かを決定する方法がある。例えば、所定の時間幅よりも長い時刻（例えば１秒）ごとに抽出音検知フラグ４１０５を作成して出力するか否かを決定した場合は、瞬時的に雑音の影響によりエンジン音の周波数信号を検出できなかった時刻が存在しても、安定して抽出音検知フラグ４１０５を作成して出力することができる。これにより、車両検知を正確に行うことができる。
最後に、提示部４１０６は、抽出音検知フラグ４１０５が入力されたときに、運転者に接近車両の存在を知らせる（ステップＳ４３０５）。
これらの処理を、所定の時間幅の時刻を移動させながら行う。
かかる構成によれば、マイクロホン間での混合音の位相差が第３のしきい値以上である雑音の周波数信号を除いてから抽出音の周波数信号を判定するため、第１のしきい値の判定を正確に行うことができて正確に抽出音の判定を行うことができる。例えば、風雑音のようにマイクロホンごとに独立に発生する雑音は、マイクロホン間で位相が異なるため第３のしきい値を用いることで取り除くことができる。また、所定の方向以外の方向に存在する音に対しても、所定の方向に時間軸が調整されたあとのマイクロホン間で位相差は大きくなるため第３のしきい値を用いることで取り除くことができる。
また、他の全ての前記混合音との周波数信号の位相差が第３のしきい値以上である前記混合音の周波数信号を取り除くことで、抽出音の可能性が残る周波数信号を取り除くことなく抽出音の周波数信号を判定することができる。これは、例えば、全てのマイクロホンで位相差が類似する周波数信号以外を全て取り除いてしまうと、いずれか１つのマイクロホンに風雑音のようにマイクロホンごとに独立に発生する雑音が入力された場合に、他のマイクロホンに抽出音が入力されていても全て除去されてしまうからである。
また、時間‐周波数領域ごとに、抽出音を判定するのに適切な分析周波数を事前に求めることができるため、多くの数の分析周波数に対して位相距離を求めてから抽出音を判定する必要がなくなる。このため、位相距離を求める処理量が大幅に削減できる。
また、分析周波数が詳細に求めるため、混合音から抽出音の周波数信号が判定されたときに抽出音の詳細な周波数を求めることができる。
また、雑音の影響で、１つのマイクロホンで集音した混合音からは抽出音が検出できなくても、他のマイクロホンで抽出音を検出できる可能性が広がるため、検知ミスを少なくすることができる。この例では、マイクロホンの位置に依存する風雑音の影響が少ないマイクロホンで集音した混合音を利用できるため、抽出音としてのエンジン音を正確に検出して、運転者に車両の接近を知らせることができる。また、この例では２本のマイクロホンを用いたが、３本以上のマイクロホンを用いて抽出音を判定してもよい。
また、複数の周波数信号間の位相距離をまとめて求めて、第２のしきい値と比較することで、複数の周波数信号全体が抽出音の周波数信号であるか否かをまとめて判定するため、雑音の位相が抽出音の位相とがたまたま一致した場合にも安定して抽出音の周波数信号を判定することができる。
なお、実施の形態３に係る車両検知装置において、実施の形態１または実施の形態２における抽出音判定部を用いてもよい。
なお、実施の形態１のように、雑音特定部を用いることなく車両検知を行ってもよい。
（実施の形態３の変形例）
次に、実施の形態３に示した車両検知装置の変形例について説明する。ここでは、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音の方向を出力して運転者に接近車両の方向を知らせるものである。実施の形態３と異なる部分は、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）が方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）に入れ替わっていることである。
次に、実施の形態３に示した車両検知装置の変形例について説明する。ここでは、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音の方向を出力して運転者に接近車両の方向を知らせるものである。実施の形態３と異なる部分は、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）が方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）に入れ替わっていることである。
図３８は、本発明の実施の形態３の変形例における車両検知装置の構成を示すブロック図である。
図３８において、車両検知装置５５００は、マイクロホン４１０７（１）と、マイクロホン４１０７（２）と、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＤＦＴ分析部１１００（請求の範囲の周波数分析部）と、車両検知処理部４１０１において、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の雑音特定部）と、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）と、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と、方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の方向検知部）と、提示部４１０６とを含む。
方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）において抽出音の周波数信号が判定された所定の方向のうち、位相距離が最小になる方向を抽出音の方向５５０２として提示部４１０６へ出力する。
次に、以上のように構成された車両検知装置５５００の動作について説明する。以下では、ｊ番目の周波数帯域（周波数帯域の周波数はｆ´）について説明を行う。
図３９は、車両検知装置５５００の動作手順を示すフローチャートである。
初めに、ＤＦＴ分析部１１００は、混合音２４０１（ｎ）（ｎ＝１、２）を受付けて、離散フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を時刻ごとに求める。ここでは、所定の方向として複数の方向を設定する（ステップＳ４３００）。この処理は実施の形態３と同様にして行う。
次に、雑音特定部１５０５（ｊ）は、ＤＦＴ分析部１１００が求めた混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する（ステップＳ４３０１（ｊ））。この処理は実施の形態３と同様にして行う。
次に、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により所定の方向として設定された方向ごとに、ＤＦＴ分析部１１００が求めた周波数帯域ｊ（ｊ＝１〜Ｍ）の周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆ´ｔ）（ｆ´は周波数帯域の周波数）に位相を変換することで位相補正を行う（ステップＳ４３０２（ｊ））。この処理は実施の形態３と同様にして行う。
次に、抽出音判定部４１０３（ｊ）（位相距離判定部４２００（ｊ））は、時間軸調整部１０３により所定の方向として設定された方向ごとに、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）が補正した周波数信号の位相ψ´´（ｔ）を用いて、時間軸調整部１０３により調整された時間軸上での所定の時間幅における全ての時刻の、混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号（第１のしきい値は、所定の時間幅における時刻の周波数信号の５０％の数であり、第１のしきい値以上の数から構成されている）を用いて、分析周波数ｆを設定して、設定された分析周波数ｆを用いて位相距離を求める。そして、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する（ステップＳ４３０３（ｊ））。この処理は実施の形態３と同様にして行う。
次に、方向検知部５５０１（ｊ）は、抽出音判定部４１０３（ｊ）において抽出音の周波数信号が判定された所定の方向のうち、位相距離が最小になる方向を抽出音の方向５５０２として提示部４１０６へ出力する（ステップＳ５６００（ｊ））。
ここでは、初めに、時間軸調整部１０３により所定の方向として設定された複数の方向のうち、抽出音の周波数信号が存在すると判定された方向を特定する。ここで、いずれの方向に対しても抽出音の周波数信号が存在しないと判定された場合は、抽出音が存在しないため抽出音の方向５５０２を出力しない。また、１つの方向に対してのみ抽出音の周波数信号が存在すると判定された場合は、この方向を抽出音の方向５５０２として出力する。また、複数の方向に対して抽出音の周波数信号が存在すると判定された場合は、これらの方向の中で、抽出音の周波数信号を判定したときの位相距離が最小になる方向を抽出音の方向５５０２として出力する。
なお、複数の方向に対して抽出音の周波数信号が存在すると判定された場合に、判定された全ての方向を抽出音の方向５５０２として出力してもよい。この場合には、複数の方向に存在する抽出音の各々の音源方向を出力することができる。特に、異なる種類の抽出音（例えば、Ａさんの音声とＢさんの音声）が異なる方向から入力された場合でも各々の抽出音の音源方向を出力することができる。
最後に、提示部４１０６は、抽出音の方向５５０２が入力されたときに、運転者に接近車両の方向として抽出音の方向５５０２を知らせる（ステップＳ５６０１）。
これらの処理を、所定の時間幅の時刻を移動させながら行う。
図４０に、接近車両の方向を検知した実験結果の一例を示す。実験の条件は実施の形態３と同じであり、混合音として、図３４に示した混合音２４０１（１）と混合音２４０１（２）とを用いている。この結果は、図３７に示した車両検知結果における車両の音源方向に対応する。
図４０（ａ）は、図３４（ａ）と同じものである。図４０（ｂ）、図４０（ｃ）、図４０（ｄ）は、各時間区間での１０Ｈｚ〜１５０Ｈｚで検知された方向（抽出音の方向５５０２）の頻度分布を示す。横軸は方向を示している。図４０（ｂ）は、０．０秒〜４．５秒の時間区間での方向の頻度分布を示しており、図４０（ｃ）は、４．５秒〜８．０秒の時間区間での方向の頻度分布を示しており、図４０（ｄ）は、８．０秒〜１１．０秒の時間区間での方向の頻度分布を示している。図４０（ｂ）、図４０（ｃ）、図４０（ｄ）より、接近車両が左側から接近（図４０（ｂ）を参照）して、前方を通過（図４０（ｃ）を参照）して、右側に通過（図４０（ｄ）を参照）したことを運転者に知らせることができることがわかる。例えば、方向の頻度分布の重心の方向を運転者に提示してもよい。
かかる構成によれば、位相距離が最小になる方向を抽出音の音源方向として出力するため、１つの方向から抽出音が入力された場合に抽出音の正確な音源方向を出力することができる。
次に、複数のマイクロホンの配置の一例について説明する。以下の説明では、車両に複数のマイクロホンを取り付ける場合について説明する。
図４１は、複数のマイクロホンの第１の配置例を示す図である。図４１は、模式的に示した自車両を上面図である。
図４１に示すように、自車両４０３の前方バンパーに２個のマイクロホン４０１と、後方バンパーに２個のマイクロホン４０２とが取り付けられている。検出車両は自車両４０３の前方に存在する場合を考える。また自車両４０３は前進している。
自車両４０３は前進しているため、マイクロホン４０１には風雑音が入りやすく、マイクロホン４０２には風雑音は入りにくい。また、検出車両の車両音は、マイクロホン４０１に対しては空気中を直接到達するため到達時間差の関係から方向を検知しやすく、マイクロホン４０２に対しては自車両４０３のボディの影響により到達時間差だけでは方向を検知したときに誤差を生じる。
このため、マイクロホン４０１だけでは検出車両のエンジン音を抽出する精度が悪くなり、マイクロホン４０２だけでは検出車両の方向検知の精度が悪くなり、マイクロホン４０１とマイクロホン４０２とを合わせて用いる必要がでてくる。
風雑音の影響が少ないマイクロホン４０２により集音された検出車両のエンジン音の位相を用いることで、マイクロホン４０１では部分的にしか検出できない検出車両のエンジン音を抽出することができる。また、検出車両のエンジン音が抽出できたときに方向検知の精度が高いマイクロホン４０１を用いることで、検出車両の方向を正確に求めることができる。
図４２および図４３は、複数のマイクロホンの第２の配置例を示す図である。図４２は、模式的に示した自車両の上面図であり、図４３は、模式的に示した自車両の側面図である。
図４２および図４３に示すように、自車両４０３の前方バンパーに２個のマイクロホン４０１と、タイヤが装着されている箇所（例えば泥除けの近く）に２個のマイクロホン４０４とが取り付けられている。検出車両は自車両４０３の前方に存在する場合を考える。また自車両４０３は前進している。
自車両４０３は前進しているため、マイクロホン４０１には風雑音が入りやすく、マイクロホン４０４には車体の陰に取り付けられているため風雑音は入りにくい。また、検出車両の車両音は、マイクロホン４０１に対しては空気中を直接到達するため到達時間差の関係から方向を検知しやすく、マイクロホン４０４に対しては自車両４０３のボディの影響により到達時間差だけでは方向を検知したときに誤差を生じる。
このため、マイクロホン４０１だけでは検出車両のエンジン音を抽出する精度が悪くなり、マイクロホン４０４だけでは検出車両の方向検知の精度が悪くなり、マイクロホン４０１とマイクロホン４０４とを合わせて用いる必要がでてくる。
風雑音の影響が少ないマイクロホン４０４により集音された検出車両のエンジン音の位相を用いることで、マイクロホン４０１では部分的にしか検出できない検出車両のエンジン音を抽出することができる。また、検出車両のエンジン音が抽出できたときに方向検知の精度が高いマイクロホン４０１を用いることで、検出車両の方向を正確に求めることができる。
図４４および図４５は、複数のマイクロホンの第３の配置例を示す図である。図４４は、模式的に示した自車両の上面図であり、図４５は、模式的に示した自車両の側面図である。
図４４および図４５に示すように、自車両４０３の前方バンパーに２個のマイクロホン４０１と、自車両４０３の天井に２個のマイクロホン４０５とが取り付けられている。検出車両は自車両の前方に存在する場合を考える。また自車両は前進している。
マイクロホン４０１には自車両のエンジン音が入りやすく、マイクロホン４０５にはエンジンルームから距離が離れているため自車両のエンジン音は入りにくい。一方、マイクロホン４０５はマイクロホン４０１と比べて風雑音が入りにくい。このとき、自車両のエンジン音と風雑音は異なる雑音であるため雑音が加わるタイミングは異なる。
風雑音の影響が少ないマイクロホン４０１と自車両のエンジン音の影響が少ないマイクロホン４０５とを合わせて位相判定することで、検出車両のエンジン音を正確に抽出することができる。これにより、検出車両の方向も正確に検知することができる。
上記実施の形態に示した雑音除去装置および車両検知装置は、コンピュータを構成するＣＰＵ上で、上記各装置を構成する各処理部の機能を果たすプログラムを実行することにより実現してもよい。その際、各処理部で処理されるデータは、コンピュータを構成するメモリやハードディスクに記憶される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明に係る音判定装置等は、時間‐周波数領域で混合音に含まれる抽出音の周波数信号を判定することができる。特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定することができる。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定する音判定装置を提供することを目的とする。
このため、本発明は、時間‐周波数領域ごとに判定された音声の周波数信号を入力して逆周波数変換により抽出音を出力する音声出力装置や、２以上のマイクロホンから入力された混合音の各々に対して、時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して抽出音の音源方向を出力する音源方向検知装置や、時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して音声認識や音識別を行う音識別装置や、時間‐周波数領域ごとに判定された風雑音の周波数信号を入力してパワーの大きさを出力する風音レベル判定装置や、時間‐周波数領域ごとに判定されたタイヤ摩擦による走行音の周波数信号を入力してパワーの大きさから車両を検知する車両検知装置や、時間‐周波数領域ごとに判定されたエンジン音を検知して車両の接近を知らせる車両検知装置や、時間‐周波数領域ごとに判定されたサイレン音の周波数信号を検知して緊急車両の接近を知らせる緊急車両検知装置等に適用できる。
１００、１５００ 雑音除去装置
１０１、１５０４ 雑音除去処理部
１０１（ｊ）（ｊ＝１〜Ｍ）、１５０２（ｊ）（ｊ＝１〜Ｍ）、４１０３（ｊ）（ｊ＝１〜Ｍ） 抽出音判定部
１０３ 時間軸調整部
２００（ｊ）（ｊ＝１〜Ｍ）、１６００（ｊ）（ｊ＝１〜Ｍ） 周波数信号選択部
２０１（ｊ）（ｊ＝１〜Ｍ）、１６０１（ｊ）（ｊ＝１〜Ｍ）、４２００（ｊ）（ｊ＝１〜Ｍ） 位相距離判定部
２０２（ｊ）（ｊ＝１〜Ｍ）、１５０３（ｊ）（ｊ＝１〜Ｍ） 音抽出部
１１００ ＤＦＴ分析部
１５０１（ｊ）（ｊ＝１〜Ｍ）、４１０２（ｊ）（ｊ＝１〜Ｍ） 位相補正部
１５０５（ｊ）（ｊ＝１〜Ｍ） 雑音特定部
２４０１（ｎ）（ｎ＝１〜Ｎ） 混合音
２４０２ ＦＦＴ分析部
２４０８ 抽出音の周波数信号
２５０１ 認識部
２５０２ ピッチ抽出部
２５０３ 判定部
２５０４ 周期範囲記憶部
４１００、５５００ 車両検知装置
４１０１ 車両検知処理部
４１０４（ｊ）（ｊ＝１〜Ｍ） 音検知部
４１０５ 抽出音検知フラグ
４１０６ 提示部
４１０７（ｎ）（ｎ＝１〜Ｎ） マイクロホン
５１００ 音声入力部
５１０１ 音声受付部
５１０２ 信号変換部
５１０３ 位相差分算出部
５１０４ 確率値特定部
５１０５ 抑制関数算出部
５１０６ 振幅算出部
５１０７ 信号補正部
５１０８ 信号復元部
１０１、１５０４ 雑音除去処理部
１０１（ｊ）（ｊ＝１〜Ｍ）、１５０２（ｊ）（ｊ＝１〜Ｍ）、４１０３（ｊ）（ｊ＝１〜Ｍ） 抽出音判定部
１０３ 時間軸調整部
２００（ｊ）（ｊ＝１〜Ｍ）、１６００（ｊ）（ｊ＝１〜Ｍ） 周波数信号選択部
２０１（ｊ）（ｊ＝１〜Ｍ）、１６０１（ｊ）（ｊ＝１〜Ｍ）、４２００（ｊ）（ｊ＝１〜Ｍ） 位相距離判定部
２０２（ｊ）（ｊ＝１〜Ｍ）、１５０３（ｊ）（ｊ＝１〜Ｍ） 音抽出部
１１００ ＤＦＴ分析部
１５０１（ｊ）（ｊ＝１〜Ｍ）、４１０２（ｊ）（ｊ＝１〜Ｍ） 位相補正部
１５０５（ｊ）（ｊ＝１〜Ｍ） 雑音特定部
２４０１（ｎ）（ｎ＝１〜Ｎ） 混合音
２４０２ ＦＦＴ分析部
２４０８ 抽出音の周波数信号
２５０１ 認識部
２５０２ ピッチ抽出部
２５０３ 判定部
２５０４ 周期範囲記憶部
４１００、５５００ 車両検知装置
４１０１ 車両検知処理部
４１０４（ｊ）（ｊ＝１〜Ｍ） 音検知部
４１０５ 抽出音検知フラグ
４１０６ 提示部
４１０７（ｎ）（ｎ＝１〜Ｎ） マイクロホン
５１００ 音声入力部
５１０１ 音声受付部
５１０２ 信号変換部
５１０３ 位相差分算出部
５１０４ 確率値特定部
５１０５ 抑制関数算出部
５１０６ 振幅算出部
５１０７ 信号補正部
５１０８ 信号復元部
本発明は、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定する音判定装置等に関し、特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定する音判定装置等に関する。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定する音判定装置に関する。
第１の従来技術では、入力音声信号（混合音）からピッチ周期の抽出を行い、ピッチ周期が抽出されない場合には雑音であると判定するものがあった（例えば、特許文献１参照）。第１の従来技術では、音声候補と判定された入力音声から音声を認識していた。
図１は、特許文献１に記載された第１の従来技術の構成を示すブロック図である。
この従来技術は、認識部２５０１と、ピッチ抽出部２５０２と、判定部２５０３と、周期範囲記憶部２５０４とを備える。
認識部２５０１は、入力音声信号（混合音）から音声部分（抽出音）と推定される信号区間の音声認識候補を出力する処理部である。ピッチ抽出部２５０２は、入力音声信号からピッチ周期を抽出する処理部である。判定部２５０３は、認識部２５０１で出力された信号区間に対する音声認識候補とピッチ抽出部２５０２で抽出された該区間の信号のピッチ抽出結果とから音声認識結果を出力する処理部である。周期範囲記憶部２５０４は、ピッチ抽出部２５０２によって抽出されるピッチ周期に対する周期範囲を記憶している記憶装置である。この従来技術では、ピッチ周期が予め設定されたピッチ周期に対する設定周期範囲内であれば、該認識処理区間の信号は音声候補であると判定し、ピッチ周期に対する周期の範囲外であれば雑音であると判定していた。
第２の従来技術では、第１〜第３の判定手段での判定結果に基づいて、人の声の入力の有無を最終的に判定している（例えば、特許文献２）。第１の判定手段では、入力信号（混合音）から調波構造をもつ信号成分を検出した場合に、人の声（抽出音）が入力されたと判定する。第２の判定手段では、入力信号の周波数重心が所定の周波数範囲内である場合に、人の声が入力されたと判定する。第３の判定手段では、ノイズレベル記憶手段に記憶された雑音レベルに対する入力信号のパワー比が所定のしきい値を超えた場合に、人の声が入力されたと判定する。
第３の従来技術では、複数方向に存在する音源からの音入力を受付けて、同じ周波数ごとに算出された位相成分の差分に基づいて、所定の方向に音源が存在する確率値を求める。また、この確率値に基づいて、所定の方向の音源以外の音源からの音入力を抑圧している（例えば、特許文献３）。
図２は、特許文献３に記載された第３の従来技術の構成を示すブロック図である。
この従来技術に係る指向性集音装置は、音声入力部５１００と、音声受付部５１０１と、信号変換部５１０２と、位相差分算出部５１０３と、確率値特定部５１０４と、抑制関数算出部５１０５と、振幅算出部５１０６と、信号補正部５１０７と、信号復元部５１０８とを備える。
音声受付部５１０１は、音源が複数混在する音入力を２本のマイクロホン（音声入力部５１００）から受付ける。信号変換部５１０２は、入力された音声についてスペクトルＩＮ１（ｆ）、ＩＮ２（ｆ）に変換する。ここでｆは周波数を示している。位相差分算出部５１０３は、スペクトルＩＮ１（ｆ）、ＩＮ２（ｆ）に基づいて位相スペクトルを算出して、位相スペクトル間の差分を周波数ごとに算出する。確率値特定部５１０４は、集音対象となる音声を発する音源が存在する方向に高い確率値を設定するように確率値を特定する。抑制関数算出部５１０５は、位相スペクトルの差分及び確率値に基づいて抑制関数ｇａｉｎ（ｆ）を周波数ごとに算出する。振幅算出部５１０６は、入力信号のスペクトルの振幅スペクトル｜ＩＮ１（ｆ）｜の代表値を算出する。信号補正部５１０７は、振幅算出部５１０６で算出された振幅スペクトル｜ＩＮ１（ｆ）｜に抑制関数算出部５１０５で算出された抑制関数ｇａｉｎ（ｆ）を乗算する。信号復元部５１０８は、信号補正部５１０７からの出力信号を時間軸上の信号に変換して出力する。
第４の従来技術では、オーディオ信号において、位相がランダムに変化する部分は雑音により支配されていると判断することにより、効率的にオーディオ信号の符号化を行う（例えば、特許文献４）。
しかしながら、第１の従来技術の構成では、ピッチ周期は時間区間ごとに抽出されるため、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定することができなかった。また、エンジン音（エンジンの回転数に応じてピッチ周期が変化する音）などのようにピッチ周期が変化する音を判定することはできなかった。
また、第２の従来技術の構成では、調波構造や周波数重心などのスペクトル形状により抽出音を判定しているため、大きな雑音が混合するとスペクトル形状が歪むため抽出音を判定することができなかった。特に、雑音によりスペクトル形状は失われているが、時間‐周波数領域ごとにみれば抽出音が部分的に存在する場合に、この部分の周波数信号を抽出音の周波数信号として判定することができなかった。
また、第３の従来技術の構成では、所定の方向に指向性を向けて集音することで雑音を除去しているため、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音のみを抽出することができなかった。
また、第４の従来技術の構成では、オーディオ信号の符号化を対象としているため、混合音から抽出音のみを抽出する技術に適用することが困難である。
本発明は、前記従来の課題を解決するもので、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定できる音判定装置等を提供することを目的とする。特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定する音判定装置等を提供することを目的とする。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定する音判定装置を提供することを目的とする。
本発明に係る音判定装置は、複数のマイクロホンからそれぞれ集音される複数の混合音を受付けて、所定の方向から到来する音に対して前記複数のマイクロホン間での到達時間差がゼロになるように前記複数の混合音の時間軸を調整する時間軸調整部と、前記時間軸調整部により調整された時間軸上で、所定の時間幅に含まれる前記複数の混合音の周波数信号を所定の時刻ごとに求める周波数分析部と、前記周波数分析部で求められた前記所定の時間幅に含まれる複数の時刻における前記複数の混合音の周波数信号において、第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が第２のしきい値以下である周波数信号の各々を、抽出音の周波数信号に判定する抽出音判定部とを備え、前記位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの、周波数信号の位相間の距離である。
この構成によると、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での距離（所定の時間幅のおける位相ψ´（ｔ）の時間形状を計る１つの指標）を用いることにより、抽出音と雑音とが同一の方向に存在する場合にも、時間‐周波数領域ごとに、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音との区別ができて、音色のある音（もしくは音色のない音）の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向に存在する抽出音の周波数信号の位相が複数の混合音同士で類似した値になるため、複数の混合音同士での位相距離も合わせることで、１つの混合音を用いるときよりも正確に抽出音の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向以外の方向に存在する音の周波数信号の位相は複数の混合音同士で異なる値になるため、所定の方向以外の方向に存在する音を除去することができる。
好ましくは、上述の音判定装置は、さらに、前記時間軸調整部により調整された時間軸上で、前記所定の時刻ごとに、前記周波数分析部が求めた複数の前記混合音の周波数信号の中から、他の全ての前記混合音の周波数信号との位相差が第３のしきい値以上である前記混合音の周波数信号を特定する雑音特定部を備え、前記抽出音判定部は、前記周波数分析部が求めた前記所定の時間幅に含まれる前記複数の時刻での前記複数の混合音の周波数信号から、前記雑音特定部が特定した周波数信号を除いた前記周波数信号において、前記第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が前記第２のしきい値以下である周波数信号の各々を、前記抽出音の周波数信号に判定する。
この構成によると、マイクロホン間での混合音の位相差が第３のしきい値以上である雑音の周波数信号を除いてから抽出音の周波数信号を判定するため、第１のしきい値を用いた判定を正確に行うことができて正確に抽出音の判定を行うことができる。例えば、風雑音のようにマイクロホンごとに独立に発生する雑音は、マイクロホン間で位相が異なるため第３のしきい値を用いることで取り除くことができる。また、所定の方向以外の方向に存在する音に対しても、所定の方向に時間軸が調整されたあとのマイクロホン間で位相差は大きくなるため第３のしきい値を用いることで取り除くことができる。
また、他の全ての前記混合音との周波数信号の位相差が第３のしきい値以上である前記混合音の周波数信号を取り除くことで、抽出音の可能性が残る周波数信号を取り除くことなく抽出音の周波数信号を判定することができる。これは、例えば、全てのマイクロホンで位相差が類似する周波数信号以外を全て取り除いてしまうと、いずれか１つのマイクロホンに風雑音のようにマイクロホンごとに独立に発生する雑音が入力された場合に、他のマイクロホンに抽出音が入力されていても全て除去されてしまうからである。
好ましくは、前記時間軸調整部は、前記所定の方向として複数の方向を設定して、前記設定された方向ごとに前記複数の混合音の時間軸を調整し、前記周波数分析部は、前記設定された方向ごとに調整された時間軸で、前記所定の時間幅に含まれる前記複数の混合音の周波数信号を求め、前記抽出音判定部は、前記設定された方向ごとに、前記方向に対応して調整された時間軸上での前記所定の時間幅に含まれる前記複数の混合音の周波数信号から前記抽出音の周波数信号を判定する。
この構成によると、複数の方向に対して、混合音から抽出音の周波数信号を判定することができる。このため、抽出音の方向がわからない場合でも抽出音の周波数信号を判定することができる。
本発明の他の局面に係る音検知装置は、上述の音判定装置と、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、抽出音検知フラグを作成して出力する音検知部とを備える。
この構成によると、時間‐周波数領域ごとに、抽出音を検出して利用者に知らせることができる。例えば、車両検知装置に組み込んだ場合には、抽出音としてエンジン音を検出して、運転者に車両の接近を知らせることができる。
本発明のさらに他の局面に係る音抽出装置は、上述の音判定装置と、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号であると判定された周波数信号を出力する音抽出部とを備える。
この構成によると、時間‐周波数領域ごとに判定された抽出音の周波数信号を利用できるため、例えば、音出力装置に組み込めば、雑音が除去されたあとのきれいな抽出音が再現できる。また、音源方向検知装置に組み込めば、雑音が除去されたあとの正確な音源方向を求めることができる。また、音識別装置に組み込めば、周囲に雑音が存在する場合でも正確に音識別を行うことができる。
本発明のさらに他の局面に係る方向検知装置は、上述の音判定装置と、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号が判定された前記所定の方向を前記抽出音の音源方向として出力する方向検知部とを備える。
この構成によると、抽出音の周波数信号が判定された方向を抽出音の音源方向に判定することで、複数の方向に抽出音が存在する場合でも抽出音の各々の音源方向を出力することができる。特に、異なる種類の抽出音（例えば、Ａさんの音声とＢさんの音声）が異なる方向から入力された場合でも各々の抽出音の音源方向を出力することができる。
好ましくは、前記方向検知部は、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号が判定された前記所定の方向のうち、前記位相距離が最小になる方向を前記抽出音の音源方向として出力する。
この構成によると、位相距離が最小になる方向を抽出音の音源方向として出力するため、１つの方向から抽出音が入力された場合に抽出音の正確な音源方向を出力することができる。
なお、本発明は、このような特徴的な処理部を備える音判定装置として実現することができるだけでなく、音判定装置に含まれる特徴的な処理部をステップとする音判定方法として実現したり、音判定方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本発明の音判定装置等によれば、時間‐周波数領域ごとに混合音に含まれる抽出音の周波数信号を判定することができる。特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定することができる。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定することができる。
例えば、時間‐周波数領域ごとに判定された音声の周波数信号を入力して逆周波数変換により抽出音を出力する音声出力装置や、方向ごとの混合音から時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して抽出音の音源方向を出力する音源方向検知装置や、時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して音声認識や音識別を行う音識別装置や、時間‐周波数領域ごとに判定されたエンジン音を検知して車両の接近を知らせる車両検知装置や、時間‐周波数領域ごとに判定されたサイレン音の周波数信号を検知して緊急車両の接近を知らせる緊急車両検知装置や、時間‐周波数領域ごとに判定されたエンジン音やサイレン音が存在する方向を運転者に知らせる車両検知装置等に適用できる。
本発明の特徴は、入力した混合音を周波数分析した後に、分析した周波数信号の位相の時間変化が、（１／ｆ）（ｆは分析周波数）で規則的に繰り返されるか否かにより、分析周波数ｆにおいて、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定することである。
図３Ａおよび図３Ｂは、本発明の特徴を説明する概念図である。図３Ａは、バイク音（エンジン音）を周波数ｆで周波数分析した結果を模式的に示した図である。図３Ｂは、暗騒音を周波数ｆで周波数分析した結果を模式的に示した図である。両図ともに横軸は時間軸であり縦軸は周波数軸である。図３Ａに示すように、周波数の時間変化などの影響により周波数信号の振幅（パワー）の大きさは変化するものの、周波数信号の位相の時間変化は、規則的に１／ｆの時間間隔（ｆは分析周波数）で等角速度で０〜２π（ラジアン）まで変化する。例えば、１００Ｈｚにおける周波数信号では位相は１０ｍｓ間隔の間に２π（ラジアン）回転して、２００Ｈｚにおける周波数信号では位相は５ｍｓ間隔の間に２π（ラジアン）回転する。一方、図３Ｂに示すように、暗騒音などの音色のない音における周波数信号の位相の時間変化は不規則になる。また、混合音が原因で歪んだ部分においても位相の時間変化は乱れて不規則になる。このように、周波数信号の位相の時間変化が規則的な時間‐周波数領域の周波数信号を判定することで、風雑音、雨音、暗騒音などの音色のない音と区別して、エンジン音、サイレン音、音声などの音色のある音（もしくは音色のない音）の周波数信号を判定することができる。
さらに、サイレン音のように機械的で正弦波に近い音と、バイク音（エンジン音）のように物理機構的な音とは、位相の時間変化の規則的な度合いが異なると考えられる。このため位相の時間変化の規則的な度合いを不等号で表すと、
また、本発明では、位相距離を用いているため、雑音と抽出音との周波数信号のパワーの大小に関係なく抽出音の周波数信号を判定することができる。例えば、ある時間‐周波数領域での雑音の周波数信号のパワーが大きい場合でも、位相の規則性を用いることで、この雑音よりもパワーが大きい時間‐周波数領域の抽出音の周波数信号を判定できることはもちろん、この雑音よりもパワーが小さい時間‐周波数領域の抽出音の周波数信号も判定することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図４は、本発明の実施の形態１における雑音除去装置の外観図である。雑音除去装置１００は、請求の範囲に記載の時間軸調整部と、周波数分析部と、抽出音判定部と、音抽出部とを備えるものであり、コンピュータを構成する１つの部品であるＣＰＵにより構成される。
図４は、本発明の実施の形態１における雑音除去装置の外観図である。雑音除去装置１００は、請求の範囲に記載の時間軸調整部と、周波数分析部と、抽出音判定部と、音抽出部とを備えるものであり、コンピュータを構成する１つの部品であるＣＰＵにより構成される。
図５及び図６は、本発明の実施の形態１における雑音除去装置の構成を示すブロック図である。
図５において、雑音除去装置１００は、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＦＦＴ分析部２４０２（請求の範囲の周波数分析部）と、雑音除去処理部１０１（請求の範囲の抽出音判定部と音抽出部とから構成される）とを含む。時間軸調整部１０３、ＦＦＴ分析部２４０２、および、雑音除去処理部１０１は、コンピュータ上で各処理部の機能を実現するためのプログラムを実行することにより実現される。
複数のマイクロホン４１０７（ｎ）（ｎ＝１〜Ｎ）は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を入力する。
このあとに、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）をＤＶＤ−ＲＯＭなどの記録媒体に蓄積して、記録媒体に蓄積された混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を用いて以下の処理を行ってもよい。
ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める。以下では、ＦＦＴ分析部２４０２で求められた周波数信号の周波数帯域の個数をＭとして、それらの周波数帯域を指定する番号を記号ｊ（ｊ＝１〜Ｍ）で表すこととする。
このとき、初めに、時間軸調整部１０３は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の時間軸を調整して、次に、ＦＦＴ分析部２４０２は、調整された時間軸上での所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を用いて周波数信号を求めてもよい。また、処理の順番を逆にして、初めに、ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を求めて、次に、時間軸調整部１０３は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の時間軸を調整して、調整された時間軸上での所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を選択してもよい。
雑音除去処理部１０１は、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と音抽出部２０２（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の音抽出部）とを含む。雑音除去処理部１０１は、ＦＦＴ分析部２４０２が求めた周波数信号に対して、周波数帯域ｊ（ｊ＝１〜Ｍ）ごとに、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）と音抽出部２０２（ｊ）（ｊ＝１〜Ｍ）とを用いて混合音から抽出音の周波数信号を取り出すことで雑音の除去を行う処理部である。
抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により調整された時間軸上での、所定の時間幅に含まれる１／ｆ（ｆは分析周波数）の時間間隔の時刻から選択される複数の時刻の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を用いて、分析の対象の周波数信号と、所定の時間幅に含まれる複数の周波数信号との位相距離を求める。このとき、位相距離を求めるときに用いた周波数信号の数は第１のしきい値以上の数から構成されている。また、位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの距離である。そして、位相距離が第２のしきい値以下になる分析の対象とする時刻の周波数信号を抽出音の周波数信号２４０８に判定する。
このとき、抽出音の周波数信号２４０８が、いずれの混合音２４０１（ｎ）（ｎ＝１〜Ｎ）から判定されたのかを特定することもできる。
最後に、音抽出部２０２（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）が判定した抽出音の周波数信号２４０８を取り出すことで混合音から雑音の除去を行う。
これらの処理を、所定の時間幅の時刻を移動させながら行うことにより、時間‐周波数領域ごとに抽出音の周波数信号２４０８を取り出すことができる。
図６に、抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）の構成を示すブロック図を示す。
抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部２００（ｊ）（ｊ＝１〜Ｍ）と、位相距離判定部２０１（ｊ）（ｊ＝１〜Ｍ）とから構成される。
周波数信号選択部２００（ｊ）（ｊ＝１〜Ｍ）は、位相距離を求める際に用いる周波数信号として、時間軸調整部１０３により調整された時間軸上での、所定の時間幅の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から第１のしきい値以上の数から構成される周波数信号を選択する処理部である。位相距離判定部２０１（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部２００（ｊ）（ｊ＝１〜Ｍ）が選択した混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の位相を用いて位相距離を計算して、位相距離が第２のしきい値以下になる周波数信号を抽出音の周波数信号２４０８に判定する処理部である。
次に、以上のように構成された雑音除去装置１００の動作について説明する。
以下では、ｊ番目の周波数帯域について説明を行う。ここでは、周波数帯域の中心周波数と分析周波数（位相距離を求めるψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）における周波数ｆであって、周波数ｆに抽出音が存在するか否かを判定することになる）とが一致する場合を例にして説明を行う。他の方法として、周波数帯域を含む複数の周波数を分析周波数として抽出音の判定を行ってもよい。この場合は、中心周波数の周辺の周波数に抽出音が存在するか否かを判定することができる。
図７及び図８は、雑音除去装置１００の動作手順を示すフローチャートである。
ここでは、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）として、音声Ａ（有声音）と音声Ｂ（有声音）と暗騒音との混合音を用いた場合を一例として説明を行う。この例では、音声Ａと音声Ｂとは異なる方向に音源があって、音声Ａの方向は既知であって、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）から音声Ｂと暗騒音とを除去して音声Ａ（抽出音）の周波数信号を抽出することを目的とする。
例えば、車内の複数の音声から運転者の音声だけを集音して音声コマンド入力を行うカーナビゲーションシステムの音声認識機能などに利用できる。
初めに、ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により音声Ａの方向（所定の方向）から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める。（ステップＳ３００）。この例では、高速フーリエ変換処理により複素空間上での周波数信号を求めている。
ここで、時間軸調整部１０３が、所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように時間軸を調整する方法について説明する。ここでは所定の方向をΘとする。
図９は、マイクロホン４１０７（ｎ）（ｎ＝１〜Ｎ）と所定の方向（Θ）から到達する音との関係の一例を示した図である。この例では、マイクロホンの本数を３本（Ｎ＝３）としている。ここで、マイクロホン４１０７（１）とマイクロホン４１０７（２）との距離をＬ２として、マイクロホン４１０７（１）とマイクロホン４１０７（３）との距離をＬ３とすると、マイクロホン４１０７（１）とマイクロホン４１０７（２）との到達時間差τ２と、マイクロホン４１０７（１）とマイクロホン４１０７（３）との到達時間差τ３は以下の式で求めることができる。
ここで、Ｃは音速である。
図１０に、所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように時間軸を調整した混合音の一例を示す。横軸は時間軸を示している。図１０（ａ）には、時間軸を調整する前の混合音が示されており、図１０（ｂ）には、時間軸が調整された後の混合音が示されている。図１０（ｂ）に示すように、混合音２４０１（１）を基準として、混合音２４０１（２）の時間軸をτ２の時刻だけ遅らせて、混合音２４０１（３）の時間軸をτ３の時刻だけ遅らせることで、所定の方向（Θ）から到達する音に対して時刻が揃うように時間軸を調整することができる。
次に、雑音除去処理部１０１は、ＦＦＴ分析部２４０２が求めた周波数信号に対して、周波数帯域ｊごとに、抽出音判定部１０１（ｊ）を用いて混合音から抽出音の周波数信号を時間‐周波数領域ごとに判定する（ステップＳ３０１（ｊ））。そして、音抽出部２０２（ｊ）を用いて抽出音判定部１０１（ｊ）が判定した抽出音の周波数信号を取り出すことで雑音の除去を行う（ステップＳ３０２（ｊ））。この後の説明はｊ番目の周波数帯域に関してのみ行う。この例では、ｊ番目の周波数帯域の中心周波数はｆである。
抽出音判定部１０１（ｊ）は、所定の時間幅における１／ｆの時間間隔の全ての時刻における周波数信号を用いて、分析の対象と周波数信号と、所定の時間幅に含まれる全ての周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）との位相距離を求める（ここでは、第１のしきい値として、所定の時間幅に含まれる１／ｆの時間間隔の周波数信号の数の３０％の値を用いている。）。そして、位相距離が第２のしきい値以下である分析の対象とする周波数信号を抽出音の周波数信号２４０８に判定する（ステップＳ３０１（ｊ））。最後に、音抽出部２０２（ｊ）は、抽出音判定部１０１（ｊ）が抽出音の周波数信号と判定した周波数信号を取り出すことで雑音を除去する（ステップＳ３０２（ｊ））。
図１１には、周波数ｆにおける混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号が模式的に示されている。水平軸は時間軸であり垂直平面の２軸は周波数信号の実部と虚部とを表している。ここでの時間軸は、所定の方向に時間軸が調整されたあとのものである。
初めに、周波数信号選択部２００（ｊ）は、第１のしきい値以上である、所定の時間幅における全ての１／ｆの時間間隔の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を選択する（ステップＳ４００（ｊ））。このことは、位相距離を求めるために選択された周波数信号の数が少ない場合には、位相の時間変化の規則性を判定することが困難になるからである。図１１には、１／ｆの時間間隔の時刻から選択された周波数信号の位置が白丸印で示されている。
ここで、図１２Ａと図１２Ｂとに、周波数信号の他の選択方法を示す。表示の方法は図１１と同じであるため説明を省略する。図１２Ａには、１／ｆの時間間隔の時刻から、１／ｆ×Ｎ（Ｎ＝２）の時間間隔の時刻の周波数信号を選択する一例が示されている。また、図１２Ｂには、１／ｆの時間間隔の時刻から、ランダムに選択した時刻の周波数信号を選択する一例が示されている。すなわち、周波数信号を選択する方法は、１／ｆの時間間隔の時刻から得られる周波数信号を選択するいかなる方法を用いてもよい。ただし、選択される周波数信号の数は第１のしきい値以上である必要がある。
ここで、周波数信号選択部２００（ｊ）は、位相距離判定部２０１（ｊ）が位相距離の計算に用いる周波数信号の時間範囲（所定の時間幅）も設定するが、時間範囲の設定方法の説明については、位相距離判定部２０１（ｊ）の説明と合わせて以下で行う。
次に、位相距離判定部２０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した全ての混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を用いて位相距離を計算する（ステップＳ４０１（ｊ））。ここでは、位相距離としてパワーで正規化された周波数信号同士の相関値の逆数を用いる。
図１３に、位相距離の求め方の一例を示す。図１３の表示の方法において、図１１と共通する部分の説明は省略する。図１３において、分析の対象とする周波数信号を黒丸印で示す。ここでの所定の時間幅の時間長は、ＦＦＴ分析部２４０２の高速フーリエ変換処理で用いた窓関数の時間窓幅の２〜４倍の長さに設定することが好ましい。
ここで、位相距離の計算方法を以下に説明する。この例では、１／ｆの時間間隔の周波数信号を用いて位相距離の計算を行う。以下では、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の実部を
ここで位相距離を求めるため、周波数信号のパワーの大きさで正規化された周波数信号を求める。周波数信号の実部をパワーで正規化した値を
位相距離Ｓを、
ここで、他の位相距離Ｓの算出方法を以下に示す。相関値の計算において、総和した周波数信号の数で正規化する方法である
なお、位相の値はトーラス状に繋がっていること（０（ラジアン）と２π（ラジアン）は同じであること）を考慮して位相距離を求めてもよい。例えば、数１１に示した位相の差分誤差を用いて位相距離を計算する場合に、右辺の部分で、
次に、位相距離判定部２０１（ｊ）は、位相距離が第２のしきい値以下である分析の対象とする周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）の各々を抽出音（音声Ａ）の周波数信号２４０８に判定する（ステップＳ４０２（ｊ））。
これらの処理を、時間軸方向に時間シフトを行いながら求めた全ての時刻の周波数信号を分析の対象とする周波数信号として行う。
最後に、音抽出部２０２（ｊ）は、抽出音判定部１０１（ｊ）が抽出音の周波数信号２４０８と判定した周波数信号を取り出すことで雑音を除去する。
ここで、雑音として除去される周波数信号の位相について考察を加える。ここでは、第２のしきい値をπ／２（ラジアン）に設定している。図１４は、位相距離を求める所定の時間幅における、混合音の周波数信号の位相を模式的に示したものである。横軸は時間であり縦軸は位相である。黒丸印は分析の対象とする周波数信号の位相を示す。ここでは１／ｆの時間間隔での周波数信号の位相が示されている。図１４（ａ）に示すように、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での位相の距離を求めることは、分析の対象とする周波数信号の位相ψ（ｔ）を通り、時刻ｔに対して２πｆの傾きをもつ直線（１／ｆの時間間隔では時間軸に水平な直線になる）とのψ（ｔ）での距離を求めることと同じになる。図１４（ａ）では、この直線の近傍に周波数信号の位相が集まっているため、第１のしきい値以上の数の周波数信号との位相距離は第２のしきい値以下になり抽出音の周波数信号に判定される。また、図１４（ｂ）のように、分析の対象とする周波数信号の位相を通り、時間に対して２πｆの傾きをもつ直線の近傍に、周波数信号がほとんど存在しない場合には、第１のしきい値以上の数の周波数信号との位相距離が第２のしきい値より大きくなるため、抽出音の周波数信号として判定されることはなく雑音として除去される。
このとき、所定の方向に存在する音声Ａの周波数信号については、音声Ａは音色をもつ音であるとともに、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）は音声Ａの方向に時間軸が調整されているため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）は類似した値をもつことになり、音声Ａの周波数信号が抽出される。
また、所定の方向に存在しない音声Ｂの周波数信号については、音声Ｂは音色をもつ音ではあるが、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）は音声Ｂの方向には時間軸が調整されていないため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）は分散した値をもつことになり、音声Ｂの周波数信号を除去することができる。
また、暗騒音の周波数信号については、暗騒音は音色をもたない音であるため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）は分散した値をもつことになり、暗騒音の周波数信号を除去することができる。
かかる構成によれば、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析する周波数）で表したときの位相の距離を用いることにより、抽出音と雑音とが同一の方向に存在する場合にも、時間‐周波数領域ごとに、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音との区別ができて、音色のある音（もしくは音色のない音）の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向に存在する抽出音の周波数信号の位相が複数の混合音同士で類似した値になるため、複数の混合音同士での位相距離も合わせることで、１つの混合音を用いるときよりも正確に抽出音の周波数信号を判定することができる。
また、所定の方向に対して時間軸が調整されたあとの混合音において、所定の方向以外の方向に存在する音の周波数信号の位相は複数の混合音同士で異なる値になるため、所定の方向以外の方向に存在する音を除去することができる。
また、１／ｆ（ｆは分析周波数）の時間間隔の周波数信号では、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）＝ψ（ｔ）となり、位相距離の計算をψ（ｔ）を用いた簡単な計算で行うことができる。
ここで、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での位相の距離について説明する。図３Ａを用いて説明したように音色のある音の周波数信号（周波数ｆの成分をもつとする）は、所定の時間幅において位相は規則的に等角速度かつ１／ｆの時間間隔の間に２π（ラジアン）回転する。
図１５（ａ）に、周波数分析を行うときに抽出音に畳み込むＤＦＴ（Discrete Fourier Transform）の波形を示す。実部はコサイン波形で虚部はマイナスのサイン波形である。ここでは、周波数ｆの信号について分析を行う。抽出音が周波数ｆの正弦波であるとき、周波数分析を行ったときの周波数信号の位相ψ（ｔ）の時間変化は、図１５（ｂ）に示すように反時計回りになる。このとき、横軸は実部であり縦軸は虚部である。反時計回りの位相ψ（ｔ）を正とすると、位相ψ（ｔ）は１／ｆの時間で２π（ラジアン）増加する。また、位相ψ（ｔ）は時刻ｔに対して２πｆの傾きで変化するとも言える。図１６を用いて、位相ψ（ｔ）の時間変化が反時計回りになる仕組みについて説明する。図１６（ａ）に、抽出音（周波数ｆの正弦波）を示す。ここでは抽出音の振幅の大きさ（パワーの大きさ）を１に正規化している。図１６（ｂ）に、周波数分析を行うときに抽出音に畳み込むＤＦＴの波形（周波数ｆ）を示す。実線は実部のコサイン波形を破線は虚部のマイナスのサイン波形を示している。図１６（ｃ）に、図１６（ａ）の抽出音と図１６（ｂ）のＤＦＴの波形を畳み込んだときの値の符号を示す。図１６（ｃ）より、時刻が（ｔ１〜ｔ２）のとき図１５（ｂ）の第１象限に、時刻が（ｔ２〜ｔ３）のとき図１５（ｂ）の第２象限に、時刻が（ｔ３〜ｔ４）のとき図１５（ｂ）の第３象限に、時刻が（ｔ４〜ｔ５）のとき図１５（ｂ）の第４象限に位相が変化することがわかる。このことから、位相ψ（ｔ）の時間変化が反時計回りになることがわかる。
ここで補足であるが、図１７（ａ）のように、横軸を虚部にして縦軸を実部にするという特殊なことをすると位相ψ（ｔ）の増減が反転して、位相ψ（ｔ）は時刻ｔに対して（−２πｆ）の傾きで変化することが起こるが、ここでは図１５（ｂ）の軸の取り方に補正されているとして説明を行う。また、図１７（ｂ）のように、周波数分析を行うときに畳み込む波形を、実部をコサイン波形に虚部をサイン波形にするという特殊なことをすると位相ψ（ｔ）の増減が反転して、位相ψ（ｔ）は時刻ｔに対して（−２πｆ）の傾きで変化することが起こるが、ここでは、図１５（ａ）の周波数分析の結果にあうように実部と虚部の符号が補正されていることを前提として説明を行う。
このことから、音色のある音の周波数信号の位相ψ（ｔ）は時刻ｔに対して２πｆの傾きで変化するため、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析する周波数）での位相の距離は小さくなる。
（実施の形態１の変形例）
次に、実施の形態１に示した雑音除去装置の変形例について説明する。
次に、実施の形態１に示した雑音除去装置の変形例について説明する。
変形例に係る雑音除去装置は、図５及び図６を参照して説明した実施の形態１に係る雑音除去装置と同様の構成を有する。ただし、雑音除去処理部１０１が実行する処理が異なる。
抽出音判定部１０１（ｊ）（請求の範囲の抽出音判定部）において、位相距離判定部２０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した１／ｆの時間間隔の時刻の周波数信号を用いて、位相のヒストグラムを作成して、ヒストグラムから、位相距離が第２のしきい値以下でありかつ出現頻度が第１のしきい値以上である周波数信号を判定して、抽出音の周波数信号２４０８に判定する。
最後に、音抽出部２０２（ｊ）（請求の範囲の音抽出部）は、位相距離判定部２０１（ｊ）が判定した抽出音の周波数信号２４０８を取り出すことで雑音を除去する。
次に、以上のように構成された雑音除去装置１００の動作について説明する。雑音除去装置１００の動作手順を示すフローチャートは、実施の形態１と同様であり、図７及び図８に示されている。
雑音除去処理部１０１は、ＦＦＴ分析部２４０２（請求の範囲の周波数分析部）が求めた周波数信号に対して、周波数帯域ｊ（ｊ＝１〜Ｍ）ごとに抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）を用いて抽出音の周波数信号を判定する（ステップＳ３０１（ｊ）（ｊ＝１〜Ｍ））。この後の説明は、ｊ番目の周波数帯域に関してのみ行う。この例では、ｊ番目の周波数帯域の中心周波数はｆである。
抽出音判定部１０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した１／ｆの時間間隔の時刻の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を用いて位相のヒストグラムを作成する。そして、位相距離が第２のしきい値以下でありかつ出現頻度が第１のしきい値以上である周波数信号を抽出音の周波数信号２４０８に判定する。（ステップＳ３０１（ｊ））。
位相距離判定部２０１（ｊ）は、周波数信号選択部２００（ｊ）が選択した周波数信号を用いて、上記周波数信号の位相のヒストグラムを作成して位相距離を判定する（ステップＳ４０１（ｊ））。以下、ヒストグラムを求める方法について説明する。
周波数信号選択部２００（ｊ）が選択した周波数信号を、数４、数５で表すことにする。ここで、以下の式を用いて周波数信号の位相を求める。
図１８に、周波数信号の位相のヒストグラムを作成する方法の一例を示す。ここでは、位相区間がΔψ（ｉ）（ｉ＝１〜４）で、位相が時間に対して２πｆ（ｆは分析周波数）の傾きで変化する帯領域ごとの、所定の時間幅における周波数信号の出現頻度を求めることでヒストグラムを作成する。図１８の斜線で示されている部分はΔψ（１）の領域である。ここでは位相を０〜２π（ラジアン）の間に制限して表現しているためにとびとびの領域になっている。ここで、Δψ（ｉ）（ｉ＝１〜４）ごとにそれらの領域に含まれる周波数信号の数をカウントすることでヒストグラムを作成することができる。
図１９に、周波数信号選択部２００（ｊ）が選択した周波数信号と、上記選択された位相のヒストグラムの一例を示す。ここでは、図１８のヒストグラムよりも細かいΔψ（ｉ）（ｉ＝１〜Ｌ）で分析している。ここでは、選択された周波数信号の一部である混合音２４０１（ｎ）の周波数信号のみを表示している。
図１９（ａ）に、選択された周波数信号を示す。図１９（ａ）の表示の方法は、図１１と同じであるので説明を省略する。この例では、選択された周波数信号の中にエンジン音Ａ（音色のある音）とエンジン音Ｂ（音色のある音）と暗騒音（音色のない音）との周波数信号が含まれている。
図１９（ｂ）に、周波数信号の位相のヒストグラムの一例を模式的に示す。エンジン音Ａの周波数信号の集まりは類似した位相（この例ではπ／２（ラジアン）の近傍）を持ち、エンジン音Ｂの周波数信号の集まりは類似した位相（この例ではπ（ラジアン）の近傍）を持つため、ヒストグラムのπ／２（ラジアン）の近傍とπ（ラジアン）の近傍に山が２つできている。また、暗騒音の周波数信号は特定の位相を持たないため、ヒストグラムでは山ができていない。
そこで、位相距離判定部２０１（ｊ）は、位相距離が第２のしきい値（π／４（ラジアン））以下であり、かつ出現頻度が第１のしきい値（所定の時間幅に含まれる１／ｆの時間間隔の全ての周波数信号の数の３０％）以上である周波数信号を、抽出音の周波数信号２４０８に判定する。この例では、π／２（ラジアン）の近傍の周波数信号とπ（ラジアン）近傍の周波数信号とが抽出音の周波数信号２４０８に判定される。このとき、π／２（ラジアン）近傍の周波数信号とπ（ラジアン）近傍の周波数信号との間の位相距離はπ／４（ラジアン）（第４のしきい値）以上になるため、これらの２つの山の周波数信号の集まりは異なる種類の抽出音として判定することができる。すなわち、エンジン音Ａとエンジン音Ｂとを区別して２つの抽出音の周波数信号として判定することができる。
最後に、音抽出部２０２（ｊ）は、位相距離判定部２０１（ｊ）が判定した、異なる種類の抽出音の周波数信号を各々取り出すことで雑音を除去することができる（ステップＳ４０２（ｊ））。
かかる構成によれば、抽出音判定部は、第１のしきい値以上の数から構成されかつ周波数信号間の位相の類似度が第２のしきい値以下である周波数信号の集まりを複数作成して、周波数信号の集まり同士の位相距離が第４のしきい値以上になる周波数信号の集まり同士を異なる種類の抽出音と判定することで、同じ時間‐周波数領域に複数の種類の抽出音がある場合にそれらを区別して判定することができる。例えば、複数の車両のエンジン音を区別して判定できるため、本実施の形態を車両検知装置に適用した場合には運転者に同じ方向に複数の異なる車両が存在していることを知らせることができて、運転者は安全に運転できる。また、複数の人の音声を区別して判定できるため、本実施の形態を音声抽出装置に適用した場合には複数の人の音声を分離して聞かせることができる。
本発明の雑音除去装置を、例えば、音声出力装置に組み込めば、混合音から時間‐周波数領域ごとに音声の周波数信号を判定して逆周波数変換によりきれいな音声を出力することができる。また、本発明の雑音除去装置を、例えば、音源方向検知装置に組み込めば、雑音が除去されたあとの抽出音の周波数信号を抽出して正確な音源の方向を求めることができる。また、本発明の雑音除去装置を、例えば、音声認識装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに音声の周波数信号を抽出して正確に音声認識を行うことができる。また、本発明の雑音除去装置を、例えば、音識別装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに抽出音の周波数信号を抽出して正確に音識別を行うことができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにエンジン音の周波数信号を抽出したときに車両の接近を知らせることができる。また、本発明の雑音除去装置を、例えば、緊急車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにサイレン音の周波数信号を抽出したときに緊急車両の接近を知らせることができる。
また、本発明で抽出音（音色のある音）に判定されなかった雑音（音色のない音）の周波数信号を抽出することを考えると、本発明の雑音除去装置を、例えば、風音レベル判定装置に組み込めば、混合音から時間‐周波数領域ごとに風雑音の周波数信号を抽出してパワーの大きさを求めて出力することができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにタイヤ摩擦による走行音の周波数信号を抽出してパワーの大きさから車両の接近を検知することができる。
なお、周波数分析部として、コサイン変換、ウェーブレット変換、又は、バンドパスフィルタを用いてもよい。
なお、周波数分析部の窓関数として、ハミング窓、矩形窓、又は、ブラックマン窓などのいかなる窓関数を用いてもよい。
なお、周波数分析部が求めた周波数信号の中心周波数ｆと、位相距離を求める分析周波数ｆ´は異なる値を用いてもよい。このとき、中心周波数ｆの周波数信号の中に周波数ｆ´における周波数信号が存在する場合に、その周波数信号は抽出音の周波数信号に判定される。また、その周波数信号の詳細な周波数はｆ´である。
なお、実施の形態１の抽出音判定部１０１（ｊ）（ｊ＝１〜Ｍ）において、１／ｆ（ｆは分析周波数）の時間間隔の時刻から、過去と未来の時刻に対して同じ時間区間Ｋ（時間幅９６ｍｓ）の中から周波数信号を選択したが、過去と未来の時刻に対して異なる時間区間の中から周波数信号を選択してもよい。
なお、実施の形態１において、位相距離を求めるときに分析の対象とする時刻の周波数信号を設定して、時刻ごとの周波数信号に対して抽出音の周波数信号であるか否かの判定を行ったが、複数の周波数信号間の位相距離をまとめて求めて第２のしきい値と比較することで、複数の周波数信号全体が抽出音の周波数信号であるか否かをまとめて判定することができる。この場合は、時間区間の平均的な位相の時間変化を分析することになるため、雑音の位相と抽出音の位相とがたまたま一致した場合にも安定して抽出音の周波数信号を判定することができる。
なお、時間軸調整部は所定の方向として複数の方向を設定して、各々の方向で抽出音の周波数信号を判定してもよい。
（実施の形態２）
次に、実施の形態２に係る雑音除去装置について説明する。実施の形態２に係る雑音除去装置は、実施の形態１に係る雑音除去装置と異なり、マイクロホン間での位相差により雑音を除去したあとに、位相距離を求めて抽出音の周波数信号を判定して雑音を除去する。また、混合音の時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を補正し、補正後の周波数信号の位相ψ´（ｔ）を用いて抽出音の周波数信号を判定して雑音を除去する。
次に、実施の形態２に係る雑音除去装置について説明する。実施の形態２に係る雑音除去装置は、実施の形態１に係る雑音除去装置と異なり、マイクロホン間での位相差により雑音を除去したあとに、位相距離を求めて抽出音の周波数信号を判定して雑音を除去する。また、混合音の時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を補正し、補正後の周波数信号の位相ψ´（ｔ）を用いて抽出音の周波数信号を判定して雑音を除去する。
図２０及び図２１は、本発明の実施の形態２における雑音除去装置の構成を示すブロック図である。
図２０において、雑音除去装置１５００は、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＦＦＴ分析部２４０２（請求の範囲の周波数分析部）と、雑音除去処理部１５０４において、位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）と、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の雑音特定部）と、抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と、音抽出部１５０３（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の音抽出部）とを含む。
ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める。以下では、ＦＦＴ分析部２４０２から求められた周波数帯域の個数をＭとして、それらの周波数帯域を指定する番号を記号ｊ（ｊ＝１〜Ｍ）で表すこととする。
位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）は、ＦＦＴ分析部２４０２が求めた周波数帯域ｊの周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を補正する処理部である。
雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する。この例では、位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）が求めた補正された位相を用いて位相差を求める。
なお、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、位相補正する前のＦＦＴ分析部２４０２が求めた周波数信号の位相を用いて位相差を求めてもよい。
抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により調整された時間軸上での所定の時間幅において、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号を用いて、分析の対象とする位相補正された周波数信号と、所定の時間幅に含まれる複数の位相補正された周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）との位相距離を求める。このとき、位相距離を求めるときに用いた周波数信号の数は第１のしきい値以上の数から構成されている。このとき位相距離はψ´（ｔ）を用いて計算する。そして、位相距離が第２のしきい値以下である分析の対象とする周波数信号を抽出音の周波数信号２４０８に判定する。
このとき、抽出音の周波数信号２４０８が、いずれの混合音２４０１（ｎ）（ｎ＝１〜Ｎ）から判定されたのかを特定することもできる。
最後に、音抽出部１５０３（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）が判定した抽出音の周波数信号２４０８を取り出すことで混合音から雑音の除去を行う。
これらの処理を、所定の時間幅の時刻を移動させながら行うことにより、時間‐周波数領域ごとに抽出音の周波数信号２４０８を取り出すことができる。
図２１に、抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）の構成を示すブロック図を示す。
抽出音判定部１５０２（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部１６００（ｊ）（ｊ＝１〜Ｍ）と、位相距離判定部１６０１（ｊ）（ｊ＝１〜Ｍ）とから構成される。
周波数信号選択部１６００（ｊ）（ｊ＝１〜Ｍ）は、所定の時間幅において、位相補正部１５０１（ｊ）（ｊ＝１〜Ｍ）が位相補正した周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号から、位相距離判定部１６０１（ｊ）（ｊ＝１〜Ｍ）が位相距離を計算するのに用いる周波数信号を選択する処理部である。位相距離判定部１６０１（ｊ）（ｊ＝１〜Ｍ）は、周波数信号選択部１６００（ｊ）（ｊ＝１〜Ｍ）が選択した周波数信号の補正された位相ψ´（ｔ）を用いて位相距離を計算して、位相距離が第２のしきい値以下になる周波数信号を抽出音の周波数信号２４０８に判定する処理部である。
次に、以上のように構成された雑音除去装置１５００の動作について説明する。
以下では、ｊ番目の周波数帯域について説明を行う。ここでは、周波数帯域の中心周波数と分析周波数（位相距離を求めるψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）における周波数ｆであって、周波数ｆに抽出音が存在するか否かを判定することになる）とが一致する場合を例にして説明を行う。他の方法として、周波数帯域を含む周辺の複数の周波数を分析周波数として抽出音の判定を行ってもよい。この場合は、中心周波数の周辺の周波数に抽出音が存在するか否かを判定することができる。ここでの処理は実施の形態１と同じである。
図２２及び図２３は、雑音除去装置１５００の動作手順を示すフローチャートである。
初めに、ＦＦＴ分析部２４０２は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）を受付けて、高速フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号を時刻ごとに求める（ステップＳ３００）。ここでは、実施の形態１と同様に周波数信号を求める。
次に、位相補正部１５０１（ｊ）は、ＦＦＴ分析部２４０２が求めた周波数帯域ｊの混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）に位相を変換することで位相補正を行う（ステップＳ１７００（ｊ））。
図２４〜図２６を用いて、位相補正を行う方法の一例について説明する。図２４（ａ）には、ＦＦＴ分析部２４０２が求めた周波数信号が模式的に示されており、図２４（ｂ）には、図２４（ａ）から求めた周波数信号の位相が模式的に示されており、図２４（ｃ）には、図２４（ａ）から求めた周波数信号の大きさ（パワー）が模式的に示されている。図２４（ａ）、図２４（ｂ）及び図２４（ｃ）の横軸は時間軸である。図２４（ａ）の表示の方法は図１１と同様であるため説明を省略する。図２４（ａ）には、混合音２４０１（ｎ）（ｎ＝１〜Ｍ）の周波数信号の一部である混合音２４０１（ｎ）の周波数信号のみを表示している。図２４（ｂ）の縦軸は周波数信号の位相を表しており０〜２π（ラジアン）の間の値で示される。図２４（ｃ）の縦軸は周波数信号の大きさ（パワー）を表している。混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の位相ψｎ（ｔ）（ｎ＝１〜Ｎ）及び大きさ（パワー）Ｐｎ（ｔ）（ｎ＝１〜Ｎ）は、混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の実部を
ここで、図２４（ｂ）に示されている周波数信号の位相ψｎ（ｔ）（ｎ＝１〜Ｎ）をψ´ｎ（ｔ）＝ｍｏｄ２π（ψｎ（ｔ）−２πｆｔ）（ｆは分析周波数）（ｎ＝１〜Ｎ）の値に変換することで位相補正を行う。
初めに、基準の時刻を決定する。図２５（ａ）は、図２４（ｂ）と同じ内容のものであり、この例では、図２５（ａ）の黒丸印の時刻ｔ０を基準の時刻に決定している。
次に、位相を補正する周波数信号の複数の時刻を決定する。この例では、図２５（ａ）の５個の白丸印の時刻（ｔ１、ｔ２、ｔ３、ｔ４、ｔ５）を、位相を補正する周波数信号の時刻に決定している。
ここで、基準の時刻ｔ０における周波数信号の位相を
次に、図２６に、時刻ｔ２における周波数信号の位相を補正する方法を示す。図２６（ａ）と図２５（ａ）とは同じ内容のものである。また、図２６（ｂ）は、１／ｆ（ｆは分析周波数）の時間間隔で等角速度で０〜２π（ラジアン）まで規則的に変化する位相を表している。ここで、補正したあとの位相を
位相補正したあとの周波数信号の位相を図２５（ｂ）に×印で示す。図２５（ｂ）の表示の方法は図２５（ａ）と同様であるため説明を省略する。
次に、雑音特定部１５０５（ｊ）は、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する（ステップＳ１７０３（ｊ））。この例では、位相補正部１５０１（ｊ）が求めた補正された位相を用いて位相差を求める。
図２７には、位相補正部１５０１（ｊ）が求めた補正された位相の一例が示されている。表示の方法は図２５（ｂ）と同じであるため説明を省略する。横軸の時間軸は所定の方向に時間軸が調整されたものである。この例では、時刻ｔ０、時刻ｔ１、時刻ｔ２の混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の補正された位相が示されている。ここではＮ＝３として説明を行う。
図２７の時刻ｔ０において、混合音２４０１（１）の位相ψ´１（ｔ０）は、混合音２４０１（２）の位相ψ´２（ｔ０）または混合音２４０１（３）の位相ψ´３（ｔ０）との位相差が第３のしきい値未満であるため、混合音２４０１（１）の位相ψ´１（ｔ０）（又は周波数信号）は抽出音の候補として残る。同様にして、混合音２４０１（２）の位相ψ´２（ｔ０）（周波数信号）と混合音２４０１（３）の位相ψ´３（ｔ０）（周波数信号）も抽出音の候補として残る。
図２７の時刻ｔ１において、混合音２４０１（３）の位相ψ´３（ｔ１）は、混合音２４０１（１）の位相ψ´２（ｔ１）および混合音２４０１（２）の位相ψ´２（ｔ１）の両方との位相差が第３のしきい値以上であるため、混合音２４０１（３）の位相ψ´３（ｔ１）（周波数信号）は雑音として特定される。また、混合音２４０１（１）の位相ψ´１（ｔ１）と混合音２４０１（２）の位相ψ´２（ｔ１）は、お互いに第３のしきい値未満であるため、混合音２４０１（１）の位相ψ´１（ｔ１）（周波数信号）と混合音２４０１（２）の位相ψ´２（ｔ１）（周波数信号）は抽出音の候補として残る。
図２７の時刻ｔ２において、混合音２４０１（１）の位相ψ´１（ｔ２）と混合音２４０１（２）の位相ψ´２（ｔ２）と混合音２４０１（３）の位相ψ´１（ｔ２）は、お互いに位相差が第３のしきい値以上であるため、混合音２４０１（１）の位相ψ´１（ｔ２）（周波数信号）と混合音２４０１（２）の位相ψ´２（ｔ２）（周波数信号）と混合音２４０１（３）の位相ψ´３（ｔ２）（周波数信号）は雑音として特定される。
これにより、位相距離を求める前に雑音の周波数信号を除くことができる。
なお、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、位相補正する前のＦＦＴ分析部２４０２が求めた周波数信号の位相を用いて位相差を求めてもよい。この場合は、図２７の位相ψ´（ｔ）を位相ψ（ｔ）に置き換えて、図２７に示した方法と同様な方法で処理を行えばよい。
次に、抽出音判定部１５０２（ｊ）は、時間軸調整部１０３により調整された時間軸上での所定の時間幅において、ＦＦＴ分析部２４０２が求めた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号から、雑音特定部１５０５（ｊ）が特定した周波数信号を除いた周波数信号を用いて、分析の対象とする位相補正された周波数信号と、所定の時間幅に含まれる複数の位相補正された周波数信号（混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号）との位相距離を求める。このとき、位相距離を求めるときに用いた周波数信号の数は第１のしきい値以上の数から構成されている。そして、位相距離が第２のしきい値以下になる分析の対象とする周波数信号を抽出音の周波数信号２４０８に判定する（ステップＳ１７０１（ｊ））。
初めに周波数信号選択部１６００（ｊ）は、位相補正部１５０１（ｊ）が求めた所定の時間幅における位相補正された周波数信号から雑音特定部１５０５（ｊ）が特定した周波数信号を除いた周波数信号の中から、位相距離判定部１６０１（ｊ）が位相距離の計算に用いる周波数信号を選択する（ステップＳ１８００（ｊ））。ここでは、所定の時間幅に含まれる雑音特定部１５０５（ｊ）が特定した周波数信号を除いた周波数信号の時刻を時刻ｔ０〜時刻ｔ５として、分析の対象とする周波数信号を、時刻をｔ０における混合音２４０１（ｎ´）の周波数信号とする。このとき、位相距離を求めるときに用いた混合音２４０１（ｎ）（ｎ＝１〜Ｎ）の周波数信号の数（ｔ０〜ｔ５の６個×Ｎ）は第１のしきい値以上の数から構成されている。このことは、位相距離を求めるために選択された周波数信号の数が少ない場合に、位相の時間変化の規則性を判定することが困難になるからである。ここでの所定の時間幅の時間長は、ＦＦＴ分析部２４０２の高速フーリエ変換処理で用いた窓関数の時間窓幅の２〜４倍の長さに設定することが好ましい。
次に、位相距離判定部１６０１（ｊ）は、周波数信号選択部１６００（ｊ）が選択した位相補正後の周波数信号を用いて位相距離を計算する（ステップＳ１８０１（ｊ））。この例では、位相距離Ｓは位相の差分誤差であり、
なお、位相の値はトーラス状に繋がっていること（０（ラジアン）と２π（ラジアン）は同じであること）を考慮して位相距離を求めてもよい。例えば、数２６に示した位相の差分誤差を用いて位相距離を計算する場合に、右辺の部分で、
この例では、周波数信号選択部１６００（ｊ）が、位相補正部１５０１（ｊ）が求めた位相補正された周波数信号から、位相距離判定部１６０１（ｊ）が位相距離の計算に用いる周波数信号を選択している。他の方法としては、位相補正部１５０１（ｊ）が位相補正する周波数信号を予め周波数信号選択部１６００（ｊ）が選択しておいて、位相距離判定部１６０１（ｊ）は、位相補正部１５０１（ｊ）により位相補正された周波数信号をそのまま用いて位相距離を求めるようにしてもよい。この場合は、位相距離を計算するために用いる周波数信号のみを位相補正するため処理量を削減できる。
次に、位相距離判定部１６０１（ｊ）は、位相距離が第２のしきい値以下である分析の対象とする周波数信号の各々を抽出音の周波数信号２４０８に判定する（ステップＳ１８０２（ｊ））。
最後に、音抽出部１５０３（ｊ）は、抽出音判定部１５０２（ｊ）が抽出音の周波数信号２４０８と判定した周波数信号を取り出すことで雑音を除去する。
ここで、雑音として除去される周波数信号の位相について考察を加える。この例では、位相距離を位相の差分誤差とする。また、第２のしきい値をπ（ラジアン）に設定する。
図２８は、位相距離を求める所定の時間幅における、混合音の周波数信号の位相補正された位相ψ´（ｔ）を模式的に示した図である。横軸は時間ｔであり縦軸は位相補正された位相ψ´（ｔ）である。黒丸印は分析の対象とする周波数信号の位相を示す。図２８（ａ）に示すように、位相距離を求めることは、分析の対象とする周波数信号の位相補正された位相を通る、時間軸に対して平行な傾きをもつ直線との位相距離を求めることと同じになる。図２８（ａ）では、この直線の近傍に位相距離を求める周波数信号の位相補正された位相が集まっているため、第１のしきい値以上の数の周波数信号との位相距離は第２のしきい値（π（ラジアン））以下になり抽出音の周波数信号に判定される。また、図２８（ｂ）のように、分析の対象とする周波数信号の位相補正された位相を通り、時間軸に平行な傾きをもつ直線の近傍に、位相距離を求める周波数信号がほとんど存在しない場合には、第１のしきい値以上の数の周波数信号との位相距離が第２のしきい値（π（ラジアン））より大きくなるため、抽出音の周波数信号として判定されることはなく雑音として除去される。
図２９は、混合音の位相を模式的に示した別の例である。横軸は時間軸であり縦軸は位相である。丸印で位相補正された混合音の周波数信号の位相が示されている。実線で囲まれた周波数信号同士は同じクラスタに属しており位相距離が第２のしきい値（π（ラジアン））以下になる周波数信号の集まりである。これらのクラスタは多変量解析を用いても求めることができる。同一のクラスタの中に第１のしきい値以上の数の周波数信号が存在するクラスタの周波数信号は除去されずに抽出され、第１のしきい値より少ない数の周波数信号しか存在しないクラスタの周波数信号は雑音として除去される。図２９（ａ）に示すように、所定の時間幅に一部分だけ雑音部分が含まれる場合に、その一部分の雑音のみを除去することができる。また、図２９（ｂ）に示すように、２種類の抽出音が存在する場合にも、所定の時間幅に対して４０％以上（ここでは、７個以上）の周波数信号間での位相距離が第２のしきい値（π（ラジアン））以下になる周波数信号を抽出することで２つの抽出音を抽出することができる。このとき、これらのクラスタ間の位相距離はπ（ラジアン）（第４のしきい値）以上であるため、異なる種類の抽出音として判定することもできる。
かかる構成によれば、マイクロホン間での混合音の位相差が第３のしきい値以上である雑音の周波数信号を除いてから抽出音の周波数信号を判定するため、第１のしきい値の判定を正確に行うことができて正確に抽出音の判定を行うことができる。例えば、風雑音のようにマイクロホンごとに独立に発生する雑音は、マイクロホン間で位相が異なるため第３のしきい値を用いることで取り除くことができる。また、所定の方向以外の方向に存在する音に対しても、所定の方向に時間軸が調整されたあとのマイクロホン間で位相差は大きくなるため第３のしきい値を用いることで取り除くことができる。
また、他の全ての前記混合音との周波数信号の位相差が第３のしきい値以上である前記混合音の周波数信号を取り除くことで、抽出音の可能性が残る周波数信号を取り除くことなく抽出音の周波数信号を判定することができる。これは、例えば、全てのマイクロホンで位相差が類似する周波数信号以外を全て取り除いてしまうと、いずれか１つのマイクロホンに風雑音のようにマイクロホンごとに独立に発生する雑音が入力された場合に、他のマイクロホンに抽出音が入力されていても全て除去されてしまうからである。
また、１／ｆ（ｆは分析周波数）の時間間隔よりも細かい時間間隔の周波数信号においてψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）の補正を行うことで、１／ｆ（ｆは分析周波数）の時間間隔よりも細かい時間間隔の周波数信号で、位相距離をψ´（ｔ）を用いた簡単な計算で求めることができる。このため、１／ｆの時間間隔が大きくなる低い周波数帯域における抽出音においても、短い時間領域ごとにψ´（ｔ）を用いた簡単な計算で判定することができる。
本発明の雑音除去装置を、例えば、音声出力装置に組み込めば、混合音から時間‐周波数領域ごとに音声の周波数信号を判定して逆周波数変換によりきれいな音声を出力することができる。また、本発明の雑音除去装置を、例えば、音源方向検知装置に組み込めば、雑音が除去されたあとの抽出音の周波数信号を抽出して正確な音源の方向を求めることができる。また、本発明の雑音除去装置を、例えば、音声認識装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに音声の周波数信号を抽出して正確に音声認識を行うことができる。また、本発明の雑音除去装置を、例えば、音識別装置に組み込めば、周囲に雑音が存在する場合でも混合音から時間‐周波数領域ごとに抽出音の周波数信号を抽出して正確に音識別を行うことができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにエンジン音の周波数信号を抽出したときに車両の接近を知らせることができる。また、本発明の雑音除去装置を、例えば、緊急車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにサイレン音の周波数信号を抽出したときに緊急車両の接近を知らせることができる。
また、本発明で抽出音（音色のある音）に判定されなかった雑音（音色のない音）の周波数信号を抽出することを考えると、本発明の雑音除去装置を、例えば、風音レベル判定装置に組み込めば、混合音から時間‐周波数領域ごとに風雑音の周波数信号を抽出してパワーの大きさを求めて出力することができる。また、本発明の雑音除去装置を、例えば、車両検知装置に組み込めば、混合音から時間‐周波数領域ごとにタイヤ摩擦による走行音の周波数信号を抽出してパワーの大きさから車両の接近を検知することができる。
なお、周波数分析部として、離散フーリエ変換、コサイン変換、ウェーブレット変換、又は、バンドパスフィルタを用いてもよい。
なお、周波数分析部の窓関数として、ハミング窓、矩形窓、又は、ブラックマン窓などのいかなる窓関数を用いてもよい。
なお、雑音除去装置１５００はＦＦＴ分析部２４０２が求めた全て（Ｍ個）の周波数帯域に対して雑音の除去を行ったが、雑音を除去したい一部の周波数帯域を選択してから選択した周波数帯域において雑音の除去を行ってもよい。
なお、分析の対象とする周波数信号を定めずに、複数の周波数信号間の位相距離を求めて、第２のしきい値と比較することで、複数の周波数信号全体が抽出音の周波数信号であるか否かをまとめて判定することもできる。この場合は、時間区間の平均的な位相の時間変化を分析することになるため、雑音の位相が抽出音の位相とたまたま一致した場合にも安定して抽出音の周波数信号を判定することができる。
なお、位相補正後の位相を用いて、実施の形態１の変形例と同様にして、ヒストグラムを用いて抽出音の周波数信号を判定してもよい。この場合は、図３０のようなヒストグラムになる。表示の方法は図１８と同じなので説明を省略する。位相補正を行っているためヒストグラムのΔψ´の領域が時間軸に平行になり出現頻度を求めやすくなる。
なお、位相補正後の位相ψ´（ｔ）を用いて、
なお、時間軸調整部は所定の方向として複数の方向を設定して、各々の方向で抽出音の周波数信号を判定してもよい。
（実施の形態３）
次に、実施の形態３に係る車両検知装置について説明する。実施の形態３に係る車両検知装置は、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音検知フラグを出力して運転者に接近車両の存在を知らせるものである。実施の形態１と実施の形態２と異なる部分は、時間軸調部が所定の方向として複数の方向を設定して、各々の方向に対して抽出音の判定を行うことである。ここでは、位相距離を求める際に、時間‐周波数領域ごとの混合音に適切な分析周波数を事前に求めてから、求めた分析周波数に対して位相距離を求めてエンジン音の周波数信号を判定する方法について説明する。
次に、実施の形態３に係る車両検知装置について説明する。実施の形態３に係る車両検知装置は、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音検知フラグを出力して運転者に接近車両の存在を知らせるものである。実施の形態１と実施の形態２と異なる部分は、時間軸調部が所定の方向として複数の方向を設定して、各々の方向に対して抽出音の判定を行うことである。ここでは、位相距離を求める際に、時間‐周波数領域ごとの混合音に適切な分析周波数を事前に求めてから、求めた分析周波数に対して位相距離を求めてエンジン音の周波数信号を判定する方法について説明する。
図３１及び図３２は、本発明の実施の形態３における車両検知装置の構成を示すブロック図である。
図３１において、車両検知装置４１００は、マイクロホン４１０７（１）と、マイクロホン４１０７（２）と、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＤＦＴ分析部１１００（請求の範囲の周波数分析部）と、車両検知処理部４１０１において、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の雑音特定部）と、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）と、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の音検知部）と、提示部４１０６とを含む。
また、図３２において、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）は、位相距離判定部４２００（ｊ）（ｊ＝１〜Ｍ）から構成される。
マイクロホン４１０７（１）は混合音２４０１（１）を入力して、マイクロホン４１０７（２）は混合音２４０１（２）を入力する。この例では、マイクロホン４１０７（１）とマイクロホン４１０７（１）はそれぞれ自車両の左前と右前のバンパーに設置されている。これらの混合音の各々はバイクのエンジン音と風雑音とから構成されている。
ＤＦＴ分析部１１００は、混合音２４０１（ｎ）（ｎ＝１、２）を受付けて、離散フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を時刻ごとに求める処理部である。ここでは、所定の方向として複数の方向を設定する。以下では、ＤＦＴ分析部１１００から求められた周波数帯域の個数をＭとして、それらの周波数帯域を指定する番号を記号ｊ（ｊ＝１〜Ｍ）で表すこととする。この例では、バイクのエンジン音が存在する１０Ｈｚ〜１５０Ｈｚの周波数帯域を５Ｈｚ間隔ごとに分割して（Ｍ＝３０）周波数信号を求める。
雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、ＤＦＴ分析部１１００が求めた混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する。この例では、ＤＦＴ分析部１１００が求めた位相を用いて位相差を求める。この処理は、時間軸調整部１０３により所定の方向として設定された方向ごとに時間軸を調整して行う。
なお、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）は、実施の形態２のように、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）により補正されたあとの位相を用いて位相差を求めてもよい。
位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により所定の方向として設定された方向ごとに、ＤＦＴ分析部１１００が求めた周波数帯域ｊ（ｊ＝１〜Ｍ）の周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆ´ｔ）（ｆ´は周波数帯域の周波数）に位相を補正する処理部である。この例で実施の形態２と異なる部分は、ψ（ｔ）を分析周波数で補正するのではなく、周波数信号を求めた周波数帯域の周波数ｆ´で補正を行うところである。
抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）（位相距離判定部４２００（ｊ）（ｊ＝１〜Ｍ））は、時間軸調整部１０３により所定の方向として設定された方向ごとに、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）が補正した周波数信号の位相ψ´´（ｔ）を用いて、時間軸調整部１０３により調整された時間軸上での所定の時間幅における時刻の、混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を用いて、この周波数信号に適切な分析周波数を求めてから位相距離を求めて、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する処理部である。
次に、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）により、時間軸調整部１０３により所定の方向として設定されたいずれかの方向の中でいずれかの周波数帯域において、混合音２４０１（ｎ）（ｎ＝１、２）からエンジン音（抽出音）の周波数信号が存在すると判定されたときに、抽出音検知フラグ４１０５を作成して出力する。
最後に、提示部４１０６は、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）から抽出音検知フラグ４１０５が入力されたときに、運転者に接近車両の存在を知らせる。
これらの処理を、所定の時間幅の時刻を移動させながら行う。
次に、以上のように構成された車両検知装置４１００の動作について説明する。
以下では、ｊ番目の周波数帯域（周波数帯域の周波数はｆ´）について説明を行う。
図３３は、車両検知装置４１００の動作手順を示すフローチャートである。
初めに、ＤＦＴ分析部１１００は、混合音２４０１（ｎ）（ｎ＝１、２）を受付けて、離散フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を時刻ごとに求める。ここでは、所定の方向として複数の方向を設定する（ステップＳ４３００）。この例では、離散フーリエ変換の窓関数幅を２５ｍｓに設定してある。
図３４に、混合音２４０１（１）と混合音２４０１（２）のスペクトログラムの一例を示す。横軸は時間軸であり縦軸は周波数軸である。色の濃度は周波数信号のパワーの大きさを表しており、濃い色は周波数信号のパワーが大きいことを示している。ここでの表示には、周波数信号の位相成分の表示は省略されている。図３４（ａ）と図３４（ｂ）はそれぞれ混合音２４０１（１）と混合音２４０１（２）のスペクトログラムであり、バイクのエンジン音と風雑音とから構成されている。図３４（ａ）と図３４（ｂ）の領域Ｂを見ると、両方の混合音にエンジン音の周波数信号があらわれている。一方、図３４（ａ）と図３４（ｂ）の領域Ａを見ると、混合音２４０１（１）にはエンジン音があらわれているが、混合音２４０１（２）には風雑音の影響でエンジン音がうもれてしまっている。このようにマイクロホン間で混合音の状態が異なるのは、風雑音がマイクロホンの配置に依存して変化する雑音だからである。
次に、雑音特定部１５０５（ｊ）は、ＤＦＴ分析部１１００が求めた混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する（ステップＳ４３０１（ｊ））。この例では、ＤＦＴ分析部１１００が求めた位相を用いて位相差を求める。この処理は、時間軸調整部１０３により所定の方向として設定された方向ごとに時間軸を調整して行う。この例では、第３のしきい値を０．５１（ラジアン）に設定している。この処理は、実施の形態２に記載した方法と同様にして行う。
次に、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により所定の方向として設定された方向ごとに、ＤＦＴ分析部１１００が求めた周波数帯域ｊ（ｊ＝１〜Ｍ）の周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆ´ｔ）（ｆ´は周波数帯域の周波数）に位相を変換することで位相補正を行う（ステップＳ４３０２（ｊ））。この例で実施の形態２と異なる部分は、ψ（ｔ）を分析周波数ｆで補正するのではなく、周波数信号を求めた周波数帯域の周波数ｆ´で補正を行うところである。それ以外の条件は実施の形態２と同様であるため説明を省略する。
次に、抽出音判定部４１０３（ｊ）（位相距離判定部４２００（ｊ））は、時間軸調整部１０３により所定の方向として設定された方向ごとに、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）が補正した周波数信号の位相ψ´´（ｔ）を用いて、時間軸調整部１０３により調整された時間軸上での所定の時間幅における全ての時刻の、混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号（第１のしきい値は、所定の時間幅における時刻の周波数信号の５０％の数であり、第１のしきい値以上の数から構成されている）を用いて、分析周波数ｆを設定して、設定された分析周波数ｆを用いて位相距離を求める。そして、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する（ステップＳ４３０３（ｊ））。
図３４（ａ）および図３４（ｂ）における、時間軸調整部１０３により調整された時間軸上での時刻３．６秒の所定の時間幅（時間長は７５ｍｓに設定してある）の周波数１００Ｈｚの周波数帯域の時間‐周波数領域において適切な分析周波数ｆを設定する方法について説明する。
図３５に、図３４の混合音の、時間軸調整部１０３により調整された時間軸上での時刻３．６秒の所定の時間幅（７５ｍｓ）の周波数１００Ｈｚの周波数帯域の時間‐周波数領域における、周波数帯域の周波数ｆ´で補正された位相ψ´´ｎ（ｔ）（ｎ＝１、２）が示されている。横軸は時間軸であり縦軸は位相ψ´´（ｔ）（ψ´´１（ｔ）、ψ´´２（ｔ））である。この例では、周波数帯域の周波数（ｆ´＝１００Ｈｚ）で位相が補正されており、ψ´´ｎ（ｔ）＝ｍｏｄ２π（ψｎ（ｔ）−２π×１００×ｔ）（ｎ＝１、２）である。また、これらの補正された位相ψ´´ｎ（ｔ）（ｎ＝１、２）と、時刻と位相ψ´´（ｔ）の空間で定義される直線との距離（位相距離に対応する）が最小になる直線（直線Ａ）が示されている。
この直線は、線形回帰分析により求めることができる。具体的には、時刻ｔ（ｉ）（ｉ（ｉ＝１〜Ｋ）はｔを離散化したときのインデックス）を説明変数として、補正された位相ψ´´（ｔ（ｉ））を目的変数にする。そして、時刻３．６秒の所定の時間幅（７５ｍｓ）の周波数１００Ｈｚの周波数帯域の時間‐周波数領域における、時刻ごとの補正された位相ψ´´ｎ（ｔ（ｉ））（ｎ＝１、２）（ｉ＝１〜Ｋ）を２Ｋ個のデータとして、
は、補正された位相の平均であり、
ここで、図３６を用いて、図３５の直線Ａの傾きから分析周波数ｆを求めることができることを説明する。ここでは、直線Ａは、１／ｆ´´の時間間隔でψ´´（ｔ）が０〜２π（ラジアン）増加する傾きをもつ直線とする。すなわち、直線Ａの傾きを２πｆ´´とする。
図３６の直線Ａは、図３５の直線Ａと同じである。図３６の横軸は時間軸であり縦軸は位相である。図３６の、時間とψ（ｔ）とで定義される直線Ｂは、直線Ａが周波数ｆ´（周波数帯域の周波数）で位相補正される前の時間とψ（ｔ）とで定義される直線である。すなわち、直線Ｂは、直線Ａに対して時刻が１／ｆ´進むごとに２π（ラジアン）を足し算したものである。この直線Ｂは、この時間‐周波数領域に抽出音が存在した場合の抽出音の位相ψ（ｔ）とみなすことができて、１／ｆの時間間隔（ｆは分析周波数）で等角速度で０〜２π（ラジアン）まで変化する。この直線Ｂの傾き（２πｆ）に対応する周波数ｆが求めたい分析周波数ｆである。
この例では、分析周波数ｆよりも周波数帯域の周波数ｆ´の値が小さかったため、直線Ａは正の傾きをもっている。なお、分析周波数ｆと周波数帯域の周波数ｆ´の値とが一致する場合には直線Ａの傾きはゼロになり、分析周波数ｆよりも周波数帯域の周波数ｆ´の値が大きい場合には直線Ａの負の傾きをもつことになる。
図３６における直線Ａと直線Ｂとの関係から、
図３５の直線Ａは、補正された位相ψ´´（ｔ）が０〜２π（ラジアン）増加するまでの時間は０．０７５／０．５（＝１／ｆ´´）（秒）であるため、ｆ´´＝６．７（Ｈｚ）となり、分析周波数ｆは１０６．７Ｈｚ（１００Ｈｚ＋６．７Ｈｚ）になる。
次に、設定された分析周波数ｆを用いて位相距離（ψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）での距離）を求める。位相距離は、図３５に示された補正された位相ψ´´（ｔ）と直線Ａとの距離で求めることができる。このことは、
この例では、位相距離を、所定の時間幅における全ての時刻の位相補正された周波数信号の位相ψ´´（ｔ）と直線Ａとの差分誤差で求める。
なお、位相の値はトーラス状に繋がっていること（０（ラジアン）と２π（ラジアン）は同じであること）を考慮して位相距離を求めてもよい。
ここで他の見方をすると、直線Ａは位相距離が最小になるように求められているため、直線Ａの傾きに対応する周波数ｆ´´から求められる分析周波数ｆは、位相距離を最小にするものになり、この時間‐周波数領域において適した分析周波数ｆであったことがわかる。
次に、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する。この例では、第２のしきい値を０．３４（ラジアン）に設定している。また、この例では、所定の時間幅における周波数信号全体で１つの位相距離を求めて、時間区間ごとに抽出音の周波数信号の判定をまとめて行っている。
図３７に、時間軸調整部１０３が設定した複数の方向で、エンジン音の周波数信号を判定した結果の一例を示す。この結果は、図３４に示す混合音からエンジン音の周波数信号を判定した結果であり、時間軸調整部１０３が設定した複数の方向のいずれかの方向でエンジン音の周波数信号であると判定された時間‐周波数領域を黒い領域で表示している。横軸は時間軸であり縦軸は周波数である。図３４の領域Ａと領域Ｂと、図３７の領域Ａと領域Ｂは対応している。これより、図３７の領域Ａを見ると、混合音２４０１（ｎ）（ｎ＝１、２）の両方の周波数信号を合わせることで、混合音からエンジン音の周波数信号を精度よく判定できていることがわかる。
これらの処理を、全ての周波数帯域ｊ（ｊ＝１〜Ｍ）に対して行う。
次に、音検知部４１０４（ｊ）は、抽出音判定部４１０３（ｊ）により少なくとも１つの周波数帯域に、エンジン音の周波数信号が存在すると判定された時刻に、抽出音検知フラグ４１０５を作成して出力する（ステップＳ４３０４（ｊ））。この例では、バイクのエンジン音が存在する１０Ｈｚ〜１５０Ｈｚの周波数帯域における判定結果の全体を用いて、位相距離を求めた時間単位である所定の時間幅（７５ｍｓ）ごとに抽出音検知フラグ４１０５を作成して出力するか否かを決定する。
他の抽出音検知フラグ４１０５の作成方法としては、位相距離を求めた時間単位である所定の時間幅とは独立に設定された時刻ごとに、抽出音検知フラグ４１０５を作成して出力するか否かを決定する方法がある。例えば、所定の時間幅よりも長い時刻（例えば１秒）ごとに抽出音検知フラグ４１０５を作成して出力するか否かを決定した場合は、瞬時的に雑音の影響によりエンジン音の周波数信号を検出できなかった時刻が存在しても、安定して抽出音検知フラグ４１０５を作成して出力することができる。これにより、車両検知を正確に行うことができる。
最後に、提示部４１０６は、抽出音検知フラグ４１０５が入力されたときに、運転者に接近車両の存在を知らせる（ステップＳ４３０５）。
これらの処理を、所定の時間幅の時刻を移動させながら行う。
かかる構成によれば、マイクロホン間での混合音の位相差が第３のしきい値以上である雑音の周波数信号を除いてから抽出音の周波数信号を判定するため、第１のしきい値の判定を正確に行うことができて正確に抽出音の判定を行うことができる。例えば、風雑音のようにマイクロホンごとに独立に発生する雑音は、マイクロホン間で位相が異なるため第３のしきい値を用いることで取り除くことができる。また、所定の方向以外の方向に存在する音に対しても、所定の方向に時間軸が調整されたあとのマイクロホン間で位相差は大きくなるため第３のしきい値を用いることで取り除くことができる。
また、他の全ての前記混合音との周波数信号の位相差が第３のしきい値以上である前記混合音の周波数信号を取り除くことで、抽出音の可能性が残る周波数信号を取り除くことなく抽出音の周波数信号を判定することができる。これは、例えば、全てのマイクロホンで位相差が類似する周波数信号以外を全て取り除いてしまうと、いずれか１つのマイクロホンに風雑音のようにマイクロホンごとに独立に発生する雑音が入力された場合に、他のマイクロホンに抽出音が入力されていても全て除去されてしまうからである。
また、時間‐周波数領域ごとに、抽出音を判定するのに適切な分析周波数を事前に求めることができるため、多くの数の分析周波数に対して位相距離を求めてから抽出音を判定する必要がなくなる。このため、位相距離を求める処理量が大幅に削減できる。
また、分析周波数が詳細に求めるため、混合音から抽出音の周波数信号が判定されたときに抽出音の詳細な周波数を求めることができる。
また、雑音の影響で、１つのマイクロホンで集音した混合音からは抽出音が検出できなくても、他のマイクロホンで抽出音を検出できる可能性が広がるため、検知ミスを少なくすることができる。この例では、マイクロホンの位置に依存する風雑音の影響が少ないマイクロホンで集音した混合音を利用できるため、抽出音としてのエンジン音を正確に検出して、運転者に車両の接近を知らせることができる。また、この例では２本のマイクロホンを用いたが、３本以上のマイクロホンを用いて抽出音を判定してもよい。
また、複数の周波数信号間の位相距離をまとめて求めて、第２のしきい値と比較することで、複数の周波数信号全体が抽出音の周波数信号であるか否かをまとめて判定するため、雑音の位相が抽出音の位相とがたまたま一致した場合にも安定して抽出音の周波数信号を判定することができる。
なお、実施の形態３に係る車両検知装置において、実施の形態１または実施の形態２における抽出音判定部を用いてもよい。
なお、実施の形態１のように、雑音特定部を用いることなく車両検知を行ってもよい。
（実施の形態３の変形例）
次に、実施の形態３に示した車両検知装置の変形例について説明する。ここでは、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音の方向を出力して運転者に接近車両の方向を知らせるものである。実施の形態３と異なる部分は、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）が方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）に入れ替わっていることである。
次に、実施の形態３に示した車両検知装置の変形例について説明する。ここでは、周辺にエンジン音（抽出音）の周波数信号があると判定されたときに、抽出音の方向を出力して運転者に接近車両の方向を知らせるものである。実施の形態３と異なる部分は、音検知部４１０４（ｊ）（ｊ＝１〜Ｍ）が方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）に入れ替わっていることである。
図３８は、本発明の実施の形態３の変形例における車両検知装置の構成を示すブロック図である。
図３８において、車両検知装置５５００は、マイクロホン４１０７（１）と、マイクロホン４１０７（２）と、時間軸調整部１０３（請求の範囲の時間軸調整部）と、ＤＦＴ分析部１１００（請求の範囲の周波数分析部）と、車両検知処理部４１０１において、雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の雑音特定部）と、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）と、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の抽出音判定部）と、方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）（請求の範囲の方向検知部）と、提示部４１０６とを含む。
方向検知部５５０１（ｊ）（ｊ＝１〜Ｍ）は、抽出音判定部４１０３（ｊ）（ｊ＝１〜Ｍ）において抽出音の周波数信号が判定された所定の方向のうち、位相距離が最小になる方向を抽出音の方向５５０２として提示部４１０６へ出力する。
次に、以上のように構成された車両検知装置５５００の動作について説明する。以下では、ｊ番目の周波数帯域（周波数帯域の周波数はｆ´）について説明を行う。
図３９は、車両検知装置５５００の動作手順を示すフローチャートである。
初めに、ＤＦＴ分析部１１００は、混合音２４０１（ｎ）（ｎ＝１、２）を受付けて、離散フーリエ変換処理を施すことで、時間軸調整部１０３により所定の方向から到達する音に対してマイクロホン間での到達時間差がゼロになるように調整された時間軸上での、所定の時間幅に含まれる混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号を時刻ごとに求める。ここでは、所定の方向として複数の方向を設定する（ステップＳ４３００）。この処理は実施の形態３と同様にして行う。
次に、雑音特定部１５０５（ｊ）は、ＤＦＴ分析部１１００が求めた混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号から、所定の方向に時間軸が調整されたあとの時刻ごとに、他の全ての混合音との周波数信号の位相差が第３のしきい値以上である混合音の周波数信号を特定する（ステップＳ４３０１（ｊ））。この処理は実施の形態３と同様にして行う。
次に、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）は、時間軸調整部１０３により所定の方向として設定された方向ごとに、ＤＦＴ分析部１１００が求めた周波数帯域ｊ（ｊ＝１〜Ｍ）の周波数信号から雑音特定部１５０５（ｊ）（ｊ＝１〜Ｍ）が特定した周波数信号を除いた周波数信号に対して、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、ψ´´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆ´ｔ）（ｆ´は周波数帯域の周波数）に位相を変換することで位相補正を行う（ステップＳ４３０２（ｊ））。この処理は実施の形態３と同様にして行う。
次に、抽出音判定部４１０３（ｊ）（位相距離判定部４２００（ｊ））は、時間軸調整部１０３により所定の方向として設定された方向ごとに、位相補正部４１０２（ｊ）（ｊ＝１〜Ｍ）が補正した周波数信号の位相ψ´´（ｔ）を用いて、時間軸調整部１０３により調整された時間軸上での所定の時間幅における全ての時刻の、混合音２４０１（ｎ）（ｎ＝１、２）の周波数信号（第１のしきい値は、所定の時間幅における時刻の周波数信号の５０％の数であり、第１のしきい値以上の数から構成されている）を用いて、分析周波数ｆを設定して、設定された分析周波数ｆを用いて位相距離を求める。そして、位相距離が第２のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する（ステップＳ４３０３（ｊ））。この処理は実施の形態３と同様にして行う。
次に、方向検知部５５０１（ｊ）は、抽出音判定部４１０３（ｊ）において抽出音の周波数信号が判定された所定の方向のうち、位相距離が最小になる方向を抽出音の方向５５０２として提示部４１０６へ出力する（ステップＳ５６００（ｊ））。
ここでは、初めに、時間軸調整部１０３により所定の方向として設定された複数の方向のうち、抽出音の周波数信号が存在すると判定された方向を特定する。ここで、いずれの方向に対しても抽出音の周波数信号が存在しないと判定された場合は、抽出音が存在しないため抽出音の方向５５０２を出力しない。また、１つの方向に対してのみ抽出音の周波数信号が存在すると判定された場合は、この方向を抽出音の方向５５０２として出力する。また、複数の方向に対して抽出音の周波数信号が存在すると判定された場合は、これらの方向の中で、抽出音の周波数信号を判定したときの位相距離が最小になる方向を抽出音の方向５５０２として出力する。
なお、複数の方向に対して抽出音の周波数信号が存在すると判定された場合に、判定された全ての方向を抽出音の方向５５０２として出力してもよい。この場合には、複数の方向に存在する抽出音の各々の音源方向を出力することができる。特に、異なる種類の抽出音（例えば、Ａさんの音声とＢさんの音声）が異なる方向から入力された場合でも各々の抽出音の音源方向を出力することができる。
最後に、提示部４１０６は、抽出音の方向５５０２が入力されたときに、運転者に接近車両の方向として抽出音の方向５５０２を知らせる（ステップＳ５６０１）。
これらの処理を、所定の時間幅の時刻を移動させながら行う。
図４０に、接近車両の方向を検知した実験結果の一例を示す。実験の条件は実施の形態３と同じであり、混合音として、図３４に示した混合音２４０１（１）と混合音２４０１（２）とを用いている。この結果は、図３７に示した車両検知結果における車両の音源方向に対応する。
図４０（ａ）は、図３４（ａ）と同じものである。図４０（ｂ）、図４０（ｃ）、図４０（ｄ）は、各時間区間での１０Ｈｚ〜１５０Ｈｚで検知された方向（抽出音の方向５５０２）の頻度分布を示す。横軸は方向を示している。図４０（ｂ）は、０．０秒〜４．５秒の時間区間での方向の頻度分布を示しており、図４０（ｃ）は、４．５秒〜８．０秒の時間区間での方向の頻度分布を示しており、図４０（ｄ）は、８．０秒〜１１．０秒の時間区間での方向の頻度分布を示している。図４０（ｂ）、図４０（ｃ）、図４０（ｄ）より、接近車両が左側から接近（図４０（ｂ）を参照）して、前方を通過（図４０（ｃ）を参照）して、右側に通過（図４０（ｄ）を参照）したことを運転者に知らせることができることがわかる。例えば、方向の頻度分布の重心の方向を運転者に提示してもよい。
かかる構成によれば、位相距離が最小になる方向を抽出音の音源方向として出力するため、１つの方向から抽出音が入力された場合に抽出音の正確な音源方向を出力することができる。
次に、複数のマイクロホンの配置の一例について説明する。以下の説明では、車両に複数のマイクロホンを取り付ける場合について説明する。
図４１は、複数のマイクロホンの第１の配置例を示す図である。図４１は、模式的に示した自車両を上面図である。
図４１に示すように、自車両４０３の前方バンパーに２個のマイクロホン４０１と、後方バンパーに２個のマイクロホン４０２とが取り付けられている。検出車両は自車両４０３の前方に存在する場合を考える。また自車両４０３は前進している。
自車両４０３は前進しているため、マイクロホン４０１には風雑音が入りやすく、マイクロホン４０２には風雑音は入りにくい。また、検出車両の車両音は、マイクロホン４０１に対しては空気中を直接到達するため到達時間差の関係から方向を検知しやすく、マイクロホン４０２に対しては自車両４０３のボディの影響により到達時間差だけでは方向を検知したときに誤差を生じる。
このため、マイクロホン４０１だけでは検出車両のエンジン音を抽出する精度が悪くなり、マイクロホン４０２だけでは検出車両の方向検知の精度が悪くなり、マイクロホン４０１とマイクロホン４０２とを合わせて用いる必要がでてくる。
風雑音の影響が少ないマイクロホン４０２により集音された検出車両のエンジン音の位相を用いることで、マイクロホン４０１では部分的にしか検出できない検出車両のエンジン音を抽出することができる。また、検出車両のエンジン音が抽出できたときに方向検知の精度が高いマイクロホン４０１を用いることで、検出車両の方向を正確に求めることができる。
図４２および図４３は、複数のマイクロホンの第２の配置例を示す図である。図４２は、模式的に示した自車両の上面図であり、図４３は、模式的に示した自車両の側面図である。
図４２および図４３に示すように、自車両４０３の前方バンパーに２個のマイクロホン４０１と、タイヤが装着されている箇所（例えば泥除けの近く）に２個のマイクロホン４０４とが取り付けられている。検出車両は自車両４０３の前方に存在する場合を考える。また自車両４０３は前進している。
自車両４０３は前進しているため、マイクロホン４０１には風雑音が入りやすく、マイクロホン４０４には車体の陰に取り付けられているため風雑音は入りにくい。また、検出車両の車両音は、マイクロホン４０１に対しては空気中を直接到達するため到達時間差の関係から方向を検知しやすく、マイクロホン４０４に対しては自車両４０３のボディの影響により到達時間差だけでは方向を検知したときに誤差を生じる。
このため、マイクロホン４０１だけでは検出車両のエンジン音を抽出する精度が悪くなり、マイクロホン４０４だけでは検出車両の方向検知の精度が悪くなり、マイクロホン４０１とマイクロホン４０４とを合わせて用いる必要がでてくる。
風雑音の影響が少ないマイクロホン４０４により集音された検出車両のエンジン音の位相を用いることで、マイクロホン４０１では部分的にしか検出できない検出車両のエンジン音を抽出することができる。また、検出車両のエンジン音が抽出できたときに方向検知の精度が高いマイクロホン４０１を用いることで、検出車両の方向を正確に求めることができる。
図４４および図４５は、複数のマイクロホンの第３の配置例を示す図である。図４４は、模式的に示した自車両の上面図であり、図４５は、模式的に示した自車両の側面図である。
図４４および図４５に示すように、自車両４０３の前方バンパーに２個のマイクロホン４０１と、自車両４０３の天井に２個のマイクロホン４０５とが取り付けられている。検出車両は自車両の前方に存在する場合を考える。また自車両は前進している。
マイクロホン４０１には自車両のエンジン音が入りやすく、マイクロホン４０５にはエンジンルームから距離が離れているため自車両のエンジン音は入りにくい。一方、マイクロホン４０５はマイクロホン４０１と比べて風雑音が入りにくい。このとき、自車両のエンジン音と風雑音は異なる雑音であるため雑音が加わるタイミングは異なる。
風雑音の影響が少ないマイクロホン４０１と自車両のエンジン音の影響が少ないマイクロホン４０５とを合わせて位相判定することで、検出車両のエンジン音を正確に抽出することができる。これにより、検出車両の方向も正確に検知することができる。
上記実施の形態に示した雑音除去装置および車両検知装置は、コンピュータを構成するＣＰＵ上で、上記各装置を構成する各処理部の機能を果たすプログラムを実行することにより実現してもよい。その際、各処理部で処理されるデータは、コンピュータを構成するメモリやハードディスクに記憶される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明に係る音判定装置等は、時間‐周波数領域で混合音に含まれる抽出音の周波数信号を判定することができる。特に、抽出音と雑音とが同一の方向に存在する場合に、抽出音と雑音とを区別して抽出音の周波数信号を判定することができる。また、エンジン音、サイレン音、音声などの音色のある音と、風雑音、雨音、暗騒音などの音色のない音とを区別して、音色のある音（もしくは音色のない音）の周波数信号を時間‐周波数領域ごと判定する音判定装置を提供することを目的とする。
このため、本発明は、時間‐周波数領域ごとに判定された音声の周波数信号を入力して逆周波数変換により抽出音を出力する音声出力装置や、２以上のマイクロホンから入力された混合音の各々に対して、時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して抽出音の音源方向を出力する音源方向検知装置や、時間‐周波数領域ごとに判定された抽出音の周波数信号を入力して音声認識や音識別を行う音識別装置や、時間‐周波数領域ごとに判定された風雑音の周波数信号を入力してパワーの大きさを出力する風音レベル判定装置や、時間‐周波数領域ごとに判定されたタイヤ摩擦による走行音の周波数信号を入力してパワーの大きさから車両を検知する車両検知装置や、時間‐周波数領域ごとに判定されたエンジン音を検知して車両の接近を知らせる車両検知装置や、時間‐周波数領域ごとに判定されたサイレン音の周波数信号を検知して緊急車両の接近を知らせる緊急車両検知装置等に適用できる。
１００、１５００ 雑音除去装置
１０１、１５０４ 雑音除去処理部
１０１（ｊ）（ｊ＝１〜Ｍ）、１５０２（ｊ）（ｊ＝１〜Ｍ）、４１０３（ｊ）（ｊ＝１〜Ｍ） 抽出音判定部
１０３ 時間軸調整部
２００（ｊ）（ｊ＝１〜Ｍ）、１６００（ｊ）（ｊ＝１〜Ｍ） 周波数信号選択部
２０１（ｊ）（ｊ＝１〜Ｍ）、１６０１（ｊ）（ｊ＝１〜Ｍ）、４２００（ｊ）（ｊ＝１〜Ｍ） 位相距離判定部
２０２（ｊ）（ｊ＝１〜Ｍ）、１５０３（ｊ）（ｊ＝１〜Ｍ） 音抽出部
１１００ ＤＦＴ分析部
１５０１（ｊ）（ｊ＝１〜Ｍ）、４１０２（ｊ）（ｊ＝１〜Ｍ） 位相補正部
１５０５（ｊ）（ｊ＝１〜Ｍ） 雑音特定部
２４０１（ｎ）（ｎ＝１〜Ｎ） 混合音
２４０２ ＦＦＴ分析部
２４０８ 抽出音の周波数信号
２５０１ 認識部
２５０２ ピッチ抽出部
２５０３ 判定部
２５０４ 周期範囲記憶部
４１００、５５００ 車両検知装置
４１０１ 車両検知処理部
４１０４（ｊ）（ｊ＝１〜Ｍ） 音検知部
４１０５ 抽出音検知フラグ
４１０６ 提示部
４１０７（ｎ）（ｎ＝１〜Ｎ） マイクロホン
５１００ 音声入力部
５１０１ 音声受付部
５１０２ 信号変換部
５１０３ 位相差分算出部
５１０４ 確率値特定部
５１０５ 抑制関数算出部
５１０６ 振幅算出部
５１０７ 信号補正部
５１０８ 信号復元部
１０１、１５０４ 雑音除去処理部
１０１（ｊ）（ｊ＝１〜Ｍ）、１５０２（ｊ）（ｊ＝１〜Ｍ）、４１０３（ｊ）（ｊ＝１〜Ｍ） 抽出音判定部
１０３ 時間軸調整部
２００（ｊ）（ｊ＝１〜Ｍ）、１６００（ｊ）（ｊ＝１〜Ｍ） 周波数信号選択部
２０１（ｊ）（ｊ＝１〜Ｍ）、１６０１（ｊ）（ｊ＝１〜Ｍ）、４２００（ｊ）（ｊ＝１〜Ｍ） 位相距離判定部
２０２（ｊ）（ｊ＝１〜Ｍ）、１５０３（ｊ）（ｊ＝１〜Ｍ） 音抽出部
１１００ ＤＦＴ分析部
１５０１（ｊ）（ｊ＝１〜Ｍ）、４１０２（ｊ）（ｊ＝１〜Ｍ） 位相補正部
１５０５（ｊ）（ｊ＝１〜Ｍ） 雑音特定部
２４０１（ｎ）（ｎ＝１〜Ｎ） 混合音
２４０２ ＦＦＴ分析部
２４０８ 抽出音の周波数信号
２５０１ 認識部
２５０２ ピッチ抽出部
２５０３ 判定部
２５０４ 周期範囲記憶部
４１００、５５００ 車両検知装置
４１０１ 車両検知処理部
４１０４（ｊ）（ｊ＝１〜Ｍ） 音検知部
４１０５ 抽出音検知フラグ
４１０６ 提示部
４１０７（ｎ）（ｎ＝１〜Ｎ） マイクロホン
５１００ 音声入力部
５１０１ 音声受付部
５１０２ 信号変換部
５１０３ 位相差分算出部
５１０４ 確率値特定部
５１０５ 抑制関数算出部
５１０６ 振幅算出部
５１０７ 信号補正部
５１０８ 信号復元部
Claims (9)
- 複数のマイクロホンからそれぞれ集音される複数の混合音を受付けて、所定の方向から到来する音に対して前記複数のマイクロホン間での到達時間差がゼロになるように前記複数の混合音の時間軸を調整する時間軸調整部と、
前記時間軸調整部により調整された時間軸上で、所定の時間幅に含まれる前記複数の混合音の周波数信号を所定の時刻ごとに求める周波数分析部と、
前記周波数分析部で求められた前記所定の時間幅に含まれる複数の時刻における前記複数の混合音の周波数信号において、第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が第２のしきい値以下である周波数信号の各々を、抽出音の周波数信号に判定する抽出音判定部とを備え、
前記位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの、周波数信号の位相間の距離である
音判定装置。 - さらに、前記時間軸調整部により調整された時間軸上で、前記所定の時刻ごとに、前記周波数分析部が求めた複数の前記混合音の周波数信号の中から、他の全ての前記混合音の周波数信号との位相差が第３のしきい値以上である前記混合音の周波数信号を特定する雑音特定部を備え、
前記抽出音判定部は、前記周波数分析部が求めた前記所定の時間幅に含まれる前記複数の時刻での前記複数の混合音の周波数信号から、前記雑音特定部が特定した周波数信号を除いた前記周波数信号において、前記第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が前記第２のしきい値以下である周波数信号の各々を、前記抽出音の周波数信号に判定する
請求項１に記載の音判定装置。 - 前記時間軸調整部は、前記所定の方向として複数の方向を設定して、前記設定された方向ごとに前記複数の混合音の時間軸を調整し、
前記周波数分析部は、前記設定された方向ごとに調整された時間軸で、前記所定の時間幅に含まれる前記複数の混合音の周波数信号を求め、
前記抽出音判定部は、前記設定された方向ごとに、前記方向に対応して調整された時間軸上での前記所定の時間幅に含まれる前記複数の混合音の周波数信号から前記抽出音の周波数信号を判定する
請求項１に記載の音判定装置。 - 請求項１に記載の音判定装置と、
前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、抽出音検知フラグを作成して出力する音検知部とを備える
音検知装置。 - 請求項１に記載の音判定装置と、
前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号であると判定された周波数信号を出力する音抽出部とを備える
音抽出装置。 - 請求項３に記載の音判定装置と、
前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号が判定された前記所定の方向を前記抽出音の音源方向として出力する方向検知部とを備える
方向検知装置。 - 前記方向検知部は、前記音判定装置において、前記混合音から前記抽出音の周波数信号が判定されたときに、前記抽出音の周波数信号が判定された前記所定の方向のうち、前記位相距離が最小になる方向を前記抽出音の音源方向として出力する
請求項６に記載の方向検知装置。 - コンピュータが、複数のマイクロホンからそれぞれ集音される複数の混合音を受付けて、所定の方向から到来する音に対して前記複数のマイクロホン間での到達時間差がゼロになるように前記複数の混合音の時間軸を調整する時間軸調整ステップと、
コンピュータが、前記時間軸調整ステップにより調整された時間軸上で、所定の時間幅に含まれる前記複数の混合音の周波数信号を所定の時刻ごとに求める周波数分析ステップと、
コンピュータが、前記周波数分析ステップにおいて求められた前記所定の時間幅に含まれる複数の時刻における前記複数の混合音の周波数信号において、第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が第２のしきい値以下である周波数信号の各々を、抽出音の周波数信号に判定する抽出音判定ステップとを含み、
前記位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの、周波数信号の位相間の距離である
音判定方法。 - 複数のマイクロホンからそれぞれ集音される複数の混合音を受付けて、所定の方向から到来する音に対して前記複数のマイクロホン間での到達時間差がゼロになるように前記複数の混合音の時間軸を調整する時間軸調整ステップと、
前記時間軸調整ステップにより調整された時間軸上で、所定の時間幅に含まれる前記複数の混合音の周波数信号を所定の時刻ごとに求める周波数分析ステップと、
前記周波数分析ステップにおいて求められた前記所定の時間幅に含まれる複数の時刻における前記複数の混合音の周波数信号において、第１のしきい値以上の数から構成されかつ周波数信号間の位相距離が第２のしきい値以下である周波数信号の各々を、抽出音の周波数信号に判定する抽出音判定ステップとをコンピュータに実行させ、
前記位相距離は、時刻ｔの周波数信号の位相をψ（ｔ）（ラジアン）とするときに、位相をψ´（ｔ）＝ｍｏｄ２π（ψ（ｔ）−２πｆｔ）（ｆは分析周波数）で表したときの、周波数信号の位相間の距離である
音判定プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008253106 | 2008-09-30 | ||
| JP2008253106 | 2008-09-30 | ||
| PCT/JP2009/004849 WO2010038385A1 (ja) | 2008-09-30 | 2009-09-25 | 音判定装置、音判定方法、及び、音判定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4545233B2 JP4545233B2 (ja) | 2010-09-15 |
| JPWO2010038385A1 true JPWO2010038385A1 (ja) | 2012-02-23 |
Family
ID=42073169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010510597A Expired - Fee Related JP4545233B2 (ja) | 2008-09-30 | 2009-09-25 | 音判定装置、音判定方法、及び、音判定プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20100208902A1 (ja) |
| JP (1) | JP4545233B2 (ja) |
| WO (1) | WO2010038385A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103069468A (zh) * | 2011-01-18 | 2013-04-24 | 松下电器产业株式会社 | 车辆方向确定装置、车辆方向确定方法及其程序 |
| EP2673956B1 (en) * | 2011-02-10 | 2019-04-24 | Dolby Laboratories Licensing Corporation | System and method for wind detection and suppression |
| JP5516455B2 (ja) * | 2011-02-23 | 2014-06-11 | トヨタ自動車株式会社 | 接近車両検出装置及び接近車両検出方法 |
| US8818800B2 (en) * | 2011-07-29 | 2014-08-26 | 2236008 Ontario Inc. | Off-axis audio suppressions in an automobile cabin |
| US10107893B2 (en) * | 2011-08-05 | 2018-10-23 | TrackThings LLC | Apparatus and method to automatically set a master-slave monitoring system |
| WO2013042201A1 (ja) * | 2011-09-20 | 2013-03-28 | トヨタ自動車株式会社 | 音源検出装置 |
| JP6085538B2 (ja) * | 2013-09-02 | 2017-02-22 | 本田技研工業株式会社 | 音響認識装置、音響認識方法、及び音響認識プログラム |
| CN105338148B (zh) * | 2014-07-18 | 2018-11-06 | 华为技术有限公司 | 一种根据频域能量对音频信号进行检测的方法和装置 |
| EP3260858A4 (en) * | 2015-02-16 | 2017-12-27 | Shimadzu Corporation | Noise level estimation method, measurement data processing device, and program for measurement data processing |
| JP6780644B2 (ja) * | 2015-06-30 | 2020-11-04 | 日本電気株式会社 | 信号処理装置、信号処理方法、および信号処理プログラム |
| CN105785123B (zh) * | 2016-03-22 | 2018-04-06 | 电子科技大学 | 一种基于apFFT相位差的雷达信号频率计算方法 |
| FR3064794B1 (fr) * | 2017-03-28 | 2019-11-01 | Continental Automotive France | Systeme et procede de transmission d’un message oral dans un vehicule |
| US11468904B2 (en) * | 2019-12-18 | 2022-10-11 | Audio Analytic Ltd | Computer apparatus and method implementing sound detection with an image capture system |
| US20230128993A1 (en) * | 2020-03-06 | 2023-04-27 | Cerence Operating Company | System and method for integrated emergency vehicle detection and localization |
| US11282382B1 (en) * | 2020-12-22 | 2022-03-22 | Waymo Llc | Phase lock loop siren detection |
| CN114627892A (zh) * | 2022-03-18 | 2022-06-14 | 厦门大学 | 一种基于深度学习的多声部音乐人声主旋律提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10313498A (ja) * | 1997-03-13 | 1998-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 回り込み音抑圧形収音方法、装置及び記録媒体 |
| JP3174777B2 (ja) * | 1999-01-28 | 2001-06-11 | 株式会社エイ・ティ・アール人間情報通信研究所 | 信号処理方法および装置 |
| JP2006267444A (ja) * | 2005-03-23 | 2006-10-05 | Toshiba Corp | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体 |
| JP2008185834A (ja) * | 2007-01-30 | 2008-08-14 | Fujitsu Ltd | 音響判定方法、音響判定装置及びコンピュータプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5699437A (en) * | 1995-08-29 | 1997-12-16 | United Technologies Corporation | Active noise control system using phased-array sensors |
| US6130949A (en) * | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
| DE69932786T2 (de) * | 1998-05-11 | 2007-08-16 | Koninklijke Philips Electronics N.V. | Tonhöhenerkennung |
| WO1999059139A2 (en) * | 1998-05-11 | 1999-11-18 | Koninklijke Philips Electronics N.V. | Speech coding based on determining a noise contribution from a phase change |
| US6675140B1 (en) * | 1999-01-28 | 2004-01-06 | Seiko Epson Corporation | Mellin-transform information extractor for vibration sources |
| JP4729927B2 (ja) * | 2005-01-11 | 2011-07-20 | ソニー株式会社 | 音声検出装置、自動撮像装置、および音声検出方法 |
| JP4912036B2 (ja) * | 2006-05-26 | 2012-04-04 | 富士通株式会社 | 指向性集音装置、指向性集音方法、及びコンピュータプログラム |
| KR20080036897A (ko) * | 2006-10-24 | 2008-04-29 | 삼성전자주식회사 | 음성 끝점을 검출하기 위한 장치 및 방법 |
-
2009
- 2009-09-25 JP JP2010510597A patent/JP4545233B2/ja not_active Expired - Fee Related
- 2009-09-25 WO PCT/JP2009/004849 patent/WO2010038385A1/ja active Application Filing
-
2010
- 2010-04-30 US US12/770,971 patent/US20100208902A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10313498A (ja) * | 1997-03-13 | 1998-11-24 | Nippon Telegr & Teleph Corp <Ntt> | 回り込み音抑圧形収音方法、装置及び記録媒体 |
| JP3174777B2 (ja) * | 1999-01-28 | 2001-06-11 | 株式会社エイ・ティ・アール人間情報通信研究所 | 信号処理方法および装置 |
| JP2006267444A (ja) * | 2005-03-23 | 2006-10-05 | Toshiba Corp | 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体 |
| JP2008185834A (ja) * | 2007-01-30 | 2008-08-14 | Fujitsu Ltd | 音響判定方法、音響判定装置及びコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4545233B2 (ja) | 2010-09-15 |
| WO2010038385A1 (ja) | 2010-04-08 |
| US20100208902A1 (en) | 2010-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4545233B2 (ja) | 音判定装置、音判定方法、及び、音判定プログラム | |
| JP4310371B2 (ja) | 音判定装置、音検知装置及び音判定方法 | |
| JP4547042B2 (ja) | 音判定装置、音検知装置及び音判定方法 | |
| JP4339929B2 (ja) | 音源方向検知装置 | |
| CN108305615B (zh) | 一种对象识别方法及其设备、存储介质、终端 | |
| JP4891464B2 (ja) | 音識別装置及び音識別方法 | |
| EP3203380B1 (en) | Multi-mode auxiliary data encoding in audio | |
| US8498863B2 (en) | Method and apparatus for audio source separation | |
| JP5048887B2 (ja) | 車両台数特定装置及び車両台数特定方法 | |
| US11847998B2 (en) | Methods and apparatus for harmonic source enhancement | |
| May et al. | Computational speech segregation based on an auditory-inspired modulation analysis | |
| EP3847642B1 (en) | Methods and apparatus to fingerprint an audio signal via normalization | |
| WO2011096155A1 (ja) | 回転数増減判定装置及び回転数増減判定方法 | |
| WO2021108186A1 (en) | Methods and apparatus to fingerprint an audio signal via exponential normalization | |
| Anemüller et al. | Detection of speech embedded in real acoustic background based on amplitude modulation spectrogram features. | |
| WO2020039598A1 (ja) | 信号処理装置、信号処理方法および信号処理プログラム | |
| Graf et al. | Low-Complexity Pitch Estimation Based on Phase Differences Between Low-Resolution Spectra. | |
| Maka | A comparative study of onset detection methods in the presence of background noise | |
| JP6478727B2 (ja) | 音声処理装置、音声処理方法およびプログラム | |
| JP5812393B2 (ja) | 音響信号処理装置、音響信号処理方法、及び音響信号処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100629 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |