JP4891464B2 - 音識別装置及び音識別方法 - Google Patents

音識別装置及び音識別方法 Download PDF

Info

Publication number
JP4891464B2
JP4891464B2 JP2011529400A JP2011529400A JP4891464B2 JP 4891464 B2 JP4891464 B2 JP 4891464B2 JP 2011529400 A JP2011529400 A JP 2011529400A JP 2011529400 A JP2011529400 A JP 2011529400A JP 4891464 B2 JP4891464 B2 JP 4891464B2
Authority
JP
Japan
Prior art keywords
phase
sound
frequency
signal
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011529400A
Other languages
English (en)
Other versions
JPWO2011096156A1 (ja
Inventor
元貴 吉岡
伸一 芳澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011529400A priority Critical patent/JP4891464B2/ja
Application granted granted Critical
Publication of JP4891464B2 publication Critical patent/JP4891464B2/ja
Publication of JPWO2011096156A1 publication Critical patent/JPWO2011096156A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、エンジン音や音声などの周期音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定する音識別装置に関する。
従来、音判別の技術として以下に示すような技術がある。
第1の従来技術として、車両音を検出することで自車両の周辺に存在する他車両を検知する技術がある(例えば、特許文献1参照)。特許文献1における従来技術では、まずスペクトルサブトラクション法(SS法)を用いて自車両のエンジン音や周囲雑音を除去する。次に雑音が除去された音声信号のパワーから他車両音を検知する。そして複数のマイク間における到達時間差をもとに他車両の存在する方位を検知している。
また、風雑音などの雑音の除去技術に関する第2の従来技術として、音声信号の位相の時間変化の違いに着目し、声などの周期音と風雑音などの非周期音とを判別する技術があった(例えば、特許文献2参照)。
実開平5−92767号公報 特許第4310371号公報
第1の従来技術では、スペクトルサブトラクション法(SS法)によって雑音を除去している。SS法とは、一定時間の音を周波数分析し、得られた周波数ごとのパワーを雑音として減算することで特定の時間の音を抽出する方法である。そのため、事前に雑音を推定する必要がある。定常的なパワーを有する音が周囲の騒音下にある場合は、雑音を推定することができるため、雑音を除去することが可能となる。しかしながら、風雑音など(非定常雑音)はパワーが時間的に変化するため、このような非定常雑音に対しては、SS法は頑強性が低く、風雑音と車両音とを精度良く判別して車両音を検知することはできない。
第2の従来技術は、エンジン音などの音は周期音(周波数はほぼ一定)であり、位相が時刻に対して一定の値になる性質を利用し、周期音を識別するものである。
車両が定常走行(同じ速度での走行)しており、エンジンの回転数が一定(エンジン音の周波数が時刻に対して一定の値になる)の場合は、周期音を識別することができる。
一方、車両の加速又は減速によりエンジンの回転数が変化する場合は、識別精度を向上させるために周波数の時間変化に対してさらに対策を行う必要がある。特に、自車両の死角位置に存在する車両(死角車両)を検知するアプリケーション等では、より安全に運転を支援するためにも、衝突すると大きな事故につながりやすい加速している車両を正確に検知することは重要な課題となる。
本発明は、従来の課題を解決するもので、エンジン音や音声などの周期音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定する音識別装置に関し、特にエンジン音や音声などのように周波数が時間とともに変化する周期音を正確に判定する音識別装置を提供することを目的とする。
上記目的を達成するために、本発明のある局面に係る音識別装置は、音響信号の周波数信号を分析する周波数分析手段と、所定の時間幅における前記周波数信号の位相の時間変化を近似する位相曲線を算出する位相曲線算出手段と、前記位相曲線と前記周波数信号の位相との誤差を算出する誤差算出手段と、前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別する音響信号識別手段とを備え、前記位相曲線は、位相の値を変数とする2次多項式で表される曲線であり、前記周波数信号の位相は、所定の基底波形を時間軸方向に移動させることなく固定して、前記所定の基底波形と前記音響信号とを畳み込み処理することにより算出される位相である
周波数が時間とともに変化する場合には位相も時間とともに変化する。このような位相の時間変化を位相曲線として表し、位相曲線との誤差に基づいて周期音の信号か否かを識別することにより、エンジン音や音声などの周期音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定することができる。特にエンジン音や音声などのように周波数が時間とともに変化する周期音を正確に判定することができる。また、音響信号の周波数の変化が1次方程式で表すことができる場合には、位相の変化は2次方程式で表すことができる。このため、位相曲線を2次多項式で表される曲線とすることにより、位相変化を精度良く表すことができる。
好ましくは、上記音識別装置は、さらに、所定数の前記位相との差が小さくなるように、前記所定数の前記位相とは異なる他の前記位相に±2π×m(ラジアン)(mは自然数)を加算することにより、他の前記位相を補正する位相補正手段を備え、前記位相曲線算出手段は、前記位相補正手段により補正された位相を用いて前記位相曲線を算出する
これにより、他の時刻の位相と大きく外れた位相を補正することができ、周期音の識別を精度良く行うことが可能となる。
また、上記音識別装置は、さらに、互いに異なる角度範囲ごとに、当該角度範囲内に収まるように前記位相に±2π×m(ラジアン)(mは自然数)を加算することにより、前記位相を補正する位相補正手段を備え、前記位相曲線算出手段は、前記位相補正手段により補正された位相を用いて、前記角度範囲ごとに、前記位相曲線を算出し、前記誤差算出手段は、前記角度範囲ごとに、前記誤差を算出し、前記位相補正手段は、さらに、前記誤差が最小となるときの角度範囲を選択し、前記音響信号識別手段は、選択された前記角度範囲における前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別してもよい。
これにより、他の時刻の位相と大きく外れた位相を補正することができ、周期音の識別を精度良く行うことが可能となる。
さらに好ましくは、前記周波数分析手段は、各々が音響信号の入力を受け付ける互いに離間して配置された複数のマイクロホンで受け付けられた複数の音響信号のそれぞれについて周波数信号を分析し、前記音識別装置は、さらに、前記音響信号識別手段により少なくとも1つのマイクロホンから入力された音響信号が周期音の信号として識別された場合に、前記複数のマイクロホンで受け付けられた複数の前記音響信号の到達時間差に基づいて、前記周期音の音源方向を検知する方向検知部を備える。
周期音が識別された場合に、音響信号の到達時間差をもとに車両の方向を検知している。このため、雑音の影響を受けずに車両の方向を正確に検知することができる。
音響信号の周波数の変化が1次方程式で表すことができる場合には、位相の変化は2次方程式で表すことができる。このため、位相曲線を2次多項式で表される曲線とすることにより、位相変化を精度良く表すことができる。
なお、本発明は、このような特徴的な手段を備える音識別装置として実現することができるだけでなく、音識別装置に含まれる特徴的な手段をステップとする音識別方法として実現したり、音識別方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本発明の音識別装置等によれば、エンジン音や音声などの周期音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定できる。特にエンジン音などのように周波数が時間とともに変化する周期音を正確に判定する音識別装置等を提供することができる。
図1は、本発明における位相を説明する図である。 図2は、本発明における位相を説明する図である。 図3は、エンジン音を説明する図である。 図4は、エンジン回転数が一定のときのエンジン音の位相を説明する図である。 図5は、エンジン回転数が増加して車両が加速するときのエンジン音の位相を説明する図である。 図6は、エンジン回転数が減少して車両が減速するときのエンジン音の位相を説明する図である。 図7は、本発明の実施の形態1における雑音除去装置の全体構成を示すブロック図である。 図8は、本発明の実施の形態1における雑音除去装置の抽出音判定部の構成を示すブロック図である。 図9は、本発明の実施の形態1における雑音除去装置の動作手順を示すフローチャートである。 図10は、本発明の実施の形態1における抽出音の周波数信号を判定する処理の動作手順を示すフローチャートである。 図11は、周波数分析を説明する図である。 図12は、エンジン音と風雑音を説明する図である。 図13は、位相の補正処理を説明する図である。 図14は、位相の補正処理を説明する図である。 図15は、位相曲線の算出処理を説明する図である。 図16は、位相距離の算出処理を説明する図である。 図17は、エンジン音の位相曲線を説明する図である。 図18は、位相曲線からの誤差を説明する図である。 図19は、エンジン音の抽出処理を説明する図である。 図20は、位相の補正処理を説明する図である。 図21は、位相の補正処理を説明する図である。 図22は、本発明の実施の形態2における車両検知装置の全体構成を示すブロック図である。 図23は、本発明の実施の形態2における車両検知装置の抽出音判定部の構成を示すブロック図である。 図24は、本発明の実施の形態2における車両検知装置の動作手順を示すフローチャートである。 図25は、本発明の実施の形態2における抽出音の周波数信号を判定する処理の動作手順を示すフローチャートである。
本発明の特徴は、エンジン音や音声などの周期音の周波数の時間変化の特徴に着目したことである。本願発明者らは、音の発生メカニズムや実際に集音した音声データを分析した。その結果、エンジン音や音声などの周期音の時間−周波数空間での周波数の時間変化が線形区分で近似できるという新たな知見を発見した。この知見により線形区分近似された音の位相の時間変化は曲線でモデル化できることを見出した。これにより、周波数が時間変化する場合においても正確に周期音を識別することができる。なお、本願発明における周期音とは、位相が一定の音又は位相の変化が連続的な音を示す。
ここで、図1を用いて本発明で用いる位相の定義を行う。図1(a)には、入力したエンジン音の例が模式的に示されている。横軸は時間を表しており、縦軸は振幅を表している。ここではエンジンの回転数が時刻に対して一定であり、エンジン音の周波数が変化しない場合の例が示されている。
また、図1(b)には、フーリエ変換を用いて周波数分析を行う場合の基底波形である周波数fの正弦波(ここではエンジン音の周波数と同じ値を所定の周波数fとしている)が示されている。横軸と縦軸は図1(a)と同じである。この基底波形と入力した混合音との畳み込み処理を行うことで周波数信号(位相)を求める。この例では、基底波形を時間軸方向に移動させずに固定し、入力したエンジン音と畳み込み処理を行うことで、時刻ごとの周波数信号(位相)を求めている。
この処理で求めた結果を図1(c)に示す。横軸は時間を表しており、縦軸は位相を表している。この例では、エンジンの回転数が時刻に対して一定であり、入力したエンジン音の周波数が時刻に対して一定である。このため、所定の周波数fでの位相は加速度的に増加又は減少はしていない。この例では回転数が一定であるエンジン音の周波数と同じ値を所定の周波数fとしたが、エンジン音の周波数よりも小さい値を所定の周波数fとした場合には位相は一次関数的に増加する。また、エンジン音の周波数よりも大きい値を所定の周波数fとした場合には、位相は一次関数的に減少する。いずれの場合も、所定の周波数fでの位相は、加速度的に増加又は減少はしていない。
なお、音声信号分野や高速フーリエ変換(FFT)などでは基底波形を時間軸方向にずらしながら畳み込みを行うのが一般的である。この基底波形を時間軸方向にずらしながら畳み込みを行う場合は後に位相を補正することで本発明で定義する位相へと変換することが可能である。以下、図を用いて説明する。
図2は位相を説明する図である。図2(a)には、入力したエンジン音の例が模式的に示されている。横軸は時間を表しており、縦軸は振幅を表している。
また、図2(b)には、フーリエ変換を用いて周波数分析を行う場合の基底波形である周波数fの正弦波(ここではエンジン音の周波数と同じ値を所定の周波数fとしている)が示されている。横軸と縦軸は図2(a)と同じである。この基底波形と入力した混合音との畳み込み処理を行うことで周波数信号(位相)を求める。この例では、基底波形を時間軸方向に移動させながら、入力したエンジン音と畳み込み処理を行うことで、時刻ごとの周波数信号(位相)を求めている。
この処理で求めた結果を図2(c)に示す。横軸は時間を表しており、縦軸は位相を表している。入力したエンジン音は周波数fであるため、周波数fでの位相のパターンは、1/fの時刻の周期で規則的に繰り返されることとなる。そこで算出された位相ψ(t)から規則的に繰り返される位相を補正(ψ´(t)=mod2π(ψ(t)−2πft)(fは分析周波数))すること図2(d)に示すような位相が得られる。つまり、位相補正を行うことにより、図1(c)に示す、本発明で定義される位相へと変換することが可能となる。
次に、エンジン回転数に伴うエンジン音の時刻に対する周波数の変化について説明する。
図3は、本実施の形態の特徴を説明する概念図である。
図3は自動車のエンジン音を後述するDFT分析部2402において分析したスペクトログラムである。縦軸は周波数を、横軸は時間をそれぞれ示しており、色の濃度は周波数信号のパワーの大きさを示している。濃い色(黒い色)はパワーが大きいことを示している。図3は、風などの雑音をなるべく除去したデータであり、色の濃い部分(黒っぽい部分)がおおむねエンジン音を示している。一般的にこのようにエンジン音は、時間とともに回転数が変化したデータであり、スペクトログラムから時間の経過と共に周波数が変化していることが分かる。
エンジンは、所定数のシリンダーがピストン運動を行うことで駆動系を回転させている。そして、車両から発せられるエンジン音は、このエンジンの回転に依存した音と、エンジンの回転には依存しない固定振動音や非周期音とからなる。特に車両の外部から検知できる主な音は、エンジンの回転に依存した周期音であり、本実施の形態では、このエンジンの回転に依存する周期音をエンジン音として抽出する。
図3の点線の円501、502及び503に示すように、エンジン音は、回転数が変化することで周波数が部分的に時刻に応じて変化している。ここで、周波数の変化に着目すると、周波数がランダムに変化したり、離散的に飛んだりすることはほとんどなく、所定の時間間隔でみると線形モデルで近似できることが分かる。したがって、エンジン音は下記の(式1)で示すような、
Figure 0004891464
の区分線形で近似できることがわかる。具体的には、所定の区間で見た場合、時刻tにおける周波数fは、初期値f0から時刻tに比例(比例係数A)して増減する線分で線形近似できると考えられる。例えば、加速時の車両では、一般的にエンジンの回転数がほぼ線形的に増加する。加速時の周波数変化を示す区間Bでは右肩上がりに周波数が増加していることが分かる。この区間ではエンジン回転数は増加しており車両は加速している。すなわち、このエンジン音の周波数は、傾きAがプラスの区分線形で近似できる。また、減速時の車両では、エンジンの回転数が線形的に減少する。減速時の周波数変化を示す区間Aでは右肩下がりに周波数が減少していることが分かる。よって、このエンジン音の周波数は、傾きAはマイナスの区分線形で近似できる。さらに、定常走行時の車両では、エンジンの回転数は変化しない。定常走行時の周波数変化を示す区間Cではほぼ一定の周波数で推移していることが分かる。この区間ではエンジン回転数は一定であり車両は定常走行している。すなわち、このエンジン音の周波数は、傾きAが0の区分線形で近似できる。
そして、周波数fを上記(式1)で表した場合、時刻tにおける位相ψは、
Figure 0004891464
と表すことができる。ここで、右辺の第3項のψ0は初期位相であり、第2項(2πf0t)は時刻tに比例して角周波数2πf0tだけ位相が進むことを示している。そして、第1項(πAt2)は、位相が二次曲線で近似できることを示している。
前述のように、エンジン音などの周期音では、位相の時間変化を曲線でモデル化できる。一方、風雑音などの非周期音では、位相の時間変化は周期性を有さずランダムであり、二次曲線で近似することができない。本願発明者らは、この位相の時間変化の違いに着目し、エンジン音などの周期音であって、かつ、エンジン音などのように音の周期が変化する音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定できることを見出した。特に、死角車両を検知するアプリケーション等では、加速時の車両を瞬時に検知することが可能となる。
ここで、エンジン回転数の増減とエンジン音の位相との関係について分析する。
図4(a)は、区間Cにおける、エンジン回転数が一定のときのエンジン音を模式的に示した図である。ここではエンジン音の周波数をfとする。図4(b)は基底波形を示す図である。ここでは基底波形の周波数をエンジン音の周波数fと同じ値にしている。図4(c)は、基底波形に対する位相を示す図である。エンジン回転数が一定であるエンジン音は図1(a)に示す正弦波のように一定の周期を有する。このため、図4(c)に示すように、所定の周波数fでの位相は、時間変化に対して加速度的に増加又は減少はしない。
なお、対象とする音が一定の周波数であり、基底波形の周波数が低い場合、位相は徐々に遅れることとなる。しかし、減少量は一定となるため、位相の形状は線形的に減少することとなる。一方、対象とする音が一定の周波数であり、基底波形の周波数が高い場合、位相は徐々に早くなる。しかし、その増加量は一定となるため、位相の形状は線形的に増加することとなる。
図5(a)は、区間Bにおける、エンジン回転数が増加して車両が加速するときのエンジン音を模式的に示した図である。このときエンジン音の周波数は時間とともに増加する。図5(b)は基底波形を示す図である。例えば、基底波形の周波数はfとする。図5(c)は、基底波形に対する位相を示す図である。エンジン音は正弦波のように周期性を有しつつ、徐々に周期が高くなる波形を有することから、図5(c)に示すように、基底波形に対する位相は、時間変化に対して加速度的に増加する。
図6(a)は、区間Aにおける、エンジン回転数が減少して車両が減速するときのエンジン音を模式的に示した図である。このときエンジン音の周波数は時間とともに減少する。図6(b)は基底波形を示す図である。例えば、基底波形の周波数はfとする。図6(c)は、基底波形に対する位相を示す図である。エンジン音は正弦波のように周期性を有しつつ、徐々に周期が低くなる波形を有することから、図6(c)に示すように、基底波形に対する位相は、時間変化に対して加速度的に減少する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
実施の形態1に係る雑音除去装置について説明する。
図7及び図8は、本発明の実施の形態1における雑音除去装置の構成を示すブロック図である。
図7において、雑音除去装置1500は、マイクロホン2400と、DFT分析部2402と、雑音除去処理部1504とを含む。DFT分析部2402は、請求の範囲に示す周波数分析手段に対応する。
マイクロホン2400は、外部からの混合音2401を集音する。この混合音は車両のエンジン音と風雑音とから構成されている。
DFT分析部2402は、入力された混合音2401に対してフーリエ変換処理を施し、混合音2401の周波数信号を複数の周波数帯域のそれぞれについて求める。
なお、DFT分析部2402が行うフーリエ変換処理の代わりに、高速フーリエ変換、離散コサイン変換、又はウェーブレット変換などの別の周波数変換方法による周波数変換を用いても良い。
DFT分析部2402により求められた周波数信号は、M個の周波数帯域を有する。このM個の周波数帯域を指定する番号を記号j(j=1〜M)で表す。
雑音除去処理部1504は、位相補正部1501(j)(j=1〜M)と、抽出音判定部1502(j)(j=1〜M)と、音抽出部1503(j)(j=1〜M)とを含む。つまり、位相補正部、抽出音判定部及び音抽出部は、周波数帯域ごとに設けられている。位相補正部1501(j)(j=1〜M)は、請求の範囲に示す位相補正手段に対応する。音抽出部1503(j)(j=1〜M)は、請求の範囲に示す音響信号識別手段に対応する。
位相補正部1501(j)(j=1〜M)は、M個の位相補正部から構成され、j番目の位相補正部1501(j)は、周波数帯域jについての処理を実行する。本明細書中において、同様の参照符号の記載を行う処理部についても、同様である。
位相補正部1501(j)(j=1〜M)は、DFT分析部2402が求めた周波数帯域jの周波数信号に対して、時刻tの周波数信号の位相をψ(t)(ラジアン)とするときに、ψ´(t)=mod2π(ψ(t)−2πft)(fは分析周波数)に位相を補正する。
抽出音判定部1502(j)(j=1〜M)は、所定の時間幅において、分析の対象とする時刻の位相補正された周波数信号から位相の時間変化を近似する位相曲線(近似曲線)を算出し、算出された位相曲線と分析対象とする時刻の位相との誤差を算出する。このとき位相距離(位相曲線と分析対象とする時刻の位相との誤差)は補正後の位相ψ´(t)を用いて計算する。
最後に、音抽出部1503(j)(j=1〜M)は、抽出音判定部1502(j)(j=1〜M)が計算した誤差(位相距離)をもとに、誤差が第2の閾値以下になる周波数信号を抽出音として抽出する。
これらの処理を、所定の時間幅を時間方向に移動させながら行うことにより、時間−周波数領域ごとに抽出音の周波数信号2408を取り出すことができる。
図8に、抽出音判定部1502(j)(j=1〜M)の構成を示すブロック図を示す。
抽出音判定部1502(j)(j=1〜M)は、周波数信号選択部1600(j)(j=1〜M)と、位相距離判定部1601(j)(j=1〜M)と、位相曲線算出部1602(j)(j=1〜M)とから構成される。位相曲線算出部1602(j)(j=1〜M)は、請求の範囲に示す誤差算出手段に対応する。
周波数信号選択部1600(j)(j=1〜M)は、所定の時間幅において、位相補正部1501(j)(j=1〜M)が位相補正した周波数信号の中から位相曲線の算出及び位相距離を計算するのに用いる周波数信号を選択する。
位相曲線算出部1602(j)(j=1〜M)は、周波数信号選択部1600(j)(j=1〜M)が選択した周波数信号の補正された位相ψ´(t)を用いて時間経過に伴い位相が変化する位相形状を二次曲線として計算する。そして、位相距離判定部1601(j)(j=1〜M)は、位相曲線算出部1602(j)(j=1〜M)が算出した位相曲線と分析対象とする時刻の補正後の位相との位相距離を判定する。
なお、本発明の必須の構成要件は、図7に示したDFT分析部2402と、音抽出部1503と、図8に示した位相距離判定部1601(j)と、位相曲線算出部1602(j)とである。DFT分析部2402が、図1(c)に示した本発明で定義する位相を直接導き出すことができるのであれば、位相補正部1501(j)は不要である。また、マイクロホン2400は、必須の構成要素ではない。
次に、以上のように構成された雑音除去装置1500の動作について説明する。
以下では、j番目の周波数帯域について説明を行うが、他の周波数帯域についても同様の処理が行われる。ここでは、周波数帯域の中心周波数と分析周波数とが一致する場合を例にして説明を行う。
分析周波数とは、位相距離を求めるψ´(t)=mod2π(ψ(t)−2πft)における周波数fである。雑音除去装置1500は、この周波数fに抽出音が存在するか否かを判定する。
他の方法として、周波数帯域を含む複数の周波数を分析周波数として抽出音の判定を行ってもよい。この場合は、中心周波数の周辺の周波数に抽出音が存在するか否かを判定することができる。
図9及び図10は、雑音除去装置1500の動作手順を示すフローチャートである。
マイクロホン2400は、外部からの混合音2401を集音し、集音した混合音を、DFT分析部2402に出力する(S200)。
DFT分析部2402は、混合音2401を受け付けて、混合音2401に対してフーリエ変換処理を施し、混合音2401の周波数信号を周波数帯域jごとに求める(ステップS300)。
次に、位相補正部1501(j)は、DFT分析部2402が求めた周波数信号に対して、周波数帯域jごとに、位相ψを、位相ψ´(t)=mod2π(ψ(t)−2πft)(fは分析周波数)に変換することで位相補正を行う(ステップS1700(j))。ここで、時刻tの周波数信号の位相をψ(t)(ラジアン)とする。
ここで、本発明において位相を用いる理由及び位相補正を行う方法例を説明する。
図3は、自動車のエンジン音をDFT分析部2402において分析したスペクトログラムである。縦軸は周波数、横軸は時間をそれぞれ示し、色の濃度は周波数信号のパワーの大きさを示している。濃い色はパワーが大きいことを示している。図3は、風などの雑音をなるべく除去したデータであり、色の濃い部分がおおむねエンジン音を示している。分析に使用したエンジン音は、時間とともに回転数が変化したデータであり、スペクトログラムから時間の経過と共に周波数が変化していることが分かる。
図11は、DFT分析におけるパワーと位相について説明する図である。図11(a)は、図3と同様に、自動車のエンジン音をDFT分析したスペクトログラムである。
図11(b)は時刻t1から所定の時間窓幅のハニング窓を用いて複素空間上に周波数信号601を表したものである。周波数f1、f2、f3等、各周波数のパワーと位相が算出される。周波数信号601の長さがパワーを示し、周波数信号601と実軸とのなす角が位相を示している。
そして、図11(a)にt1、t2、t3と示すように、時間シフトを行いながら各時刻における周波数信号を求めることとなる。なお、一般的に、スペクトログラムは各時刻における各周波数のパワーを示すのみであり、位相については省略されている。図3や図11(a)に示すスペクトログラムも同様に、DFT分析したパワーの大きさのみを表示したものである。
図11(c)に、図11(a)における所定の周波数(例えば周波数f4)での時間方向の位相の変動を示す。横軸は時間を示す。縦軸は周波数信号の位相を示しており、0〜2π(ラジアン)の間の値で示される。
図11(d)に、図11(a)における、所定の周波数(例えば周波数f4)のパワーの時間変動を示す。横軸は時間軸である。縦軸は、周波数信号の大きさ(パワー)を表している。
周波数信号の位相ψ(t)及び大きさ(パワー)P(t)は、周波数信号の実部をx(t)と表すこととして、周波数信号の虚部をy(t)と表すこととすると、
Figure 0004891464
及び
Figure 0004891464
である。ここで、記号tは周波数信号の時刻を表している。
図12を用いて、風などの雑音がある場合の自動車のエンジン音を説明する。図12(a)は、図3と同様、自動車のエンジン音をDFT分析部したスペクトログラムである。縦軸は周波数、横軸は時間をそれぞれ示しており、色の濃度は周波数信号のパワーの大きさを示している。しかし、図3と異なり、風などの雑音が含まれているため、エンジン音以外の周波数にも色の濃い部分(時刻t1、t2など)が存在し、エンジン音なのか風雑音なのかパワーのみではまったく分からない状態となっている。
図12(b)は、時刻t2におけるエンジン音部分のある周波数f4の所定時間のパワーの推移を示すグラフである。風雑音の影響でパワーが乱れていることが分かる。図12(c)は、時刻t3におけるエンジン音がない部分である周波数f4の所定時間のパワーの推移を示すグラフである。非定常のパワーが存在することが分かる。また、図12(b)及び図12(c)を比較しても、パワーのみでは風雑音なのか、エンジン音が存在するのかまったく区別がつかないことが分かる。
そこで、本発明では、エンジン音を抽出すべく、位相の時間変化を用いる。まず、エンジン音の位相特性について説明する。
エンジンは、所定数のシリンダーがピストン運動を行うことで駆動系を回転させている。そして、車両から発せられるエンジン音は、このエンジンの回転に依存した音と、エンジンの回転には依存しない固定振動音又は非周期音とからなる。特に、車両の外部から検知できる主な音は、エンジンの回転に依存した周期音である。本発明では、このエンジンの回転に依存する周期音をエンジン音として抽出する。
図3の点線の円501、502、503に示すように、エンジン音は、回転数が変化することで周波数が変化していることが分かる。ここで周波数の変化に着目すると、周波数がランダムに変化したり、離散的に飛んだりすることはほとんどなく、所定の時間間隔でみるとほぼ時刻に比例して周波数が変化していることが分かる。したがって、エンジン音は上記(式1)で示すような区分線形で近似できる。具体的には所定の時間区間で見た場合、時刻tにおける周波数fは、初期値f0から時刻tに比例(比例係数A)して増減する線分で線形近似できると考えられる。
そして、周波数fを上記(式1)で表した場合、時刻tにおける位相ψは、上記(式2)として表すことができる。
次に、位相の時間変化の近似処理を容易にするための位相補正処理について説明を行う。
図11(c)に示されている周波数信号の位相ψ(t)を位相ψ´(t)=mod2π(ψ(t)−2πft)(fは分析周波数)に変換することで位相補正を行う。
初めに、位相補正部1501(j)は、基準の時刻を決定する。図13(a)は、図11(c)と同じ内容のものであり、この例では、図13(a)の黒丸印の時刻t0を基準の時刻に決定している。
次に、位相補正部1501(j)は、位相を補正する周波数信号の複数の時刻を決定する。この例では、図13(a)の5個の白丸印の時刻(t1、t2、t3、t4、t5)を、位相を補正する周波数信号の時刻に決定している。
ここで、基準の時刻t0における周波数信号の位相を
Figure 0004891464
と表すこととして、位相を補正する5個の時刻における周波数信号の位相を
Figure 0004891464
と表すことにする。これらの補正する前の位相を図13(a)において×印で示してある。また、対応する時刻の周波数信号の大きさは
Figure 0004891464
で表すことができる。
次に、図14に、時刻t2における周波数信号の位相を補正する方法を示す。図14(a)と図13(a)とは、同じ内容である。また、図14(b)は、1/f(fは分析周波数)の時間間隔で、かつ等角速度で、0〜2π(ラジアン)まで規則的に変化する位相を実線で表している。ここで、補正したあとの位相を
Figure 0004891464
と表すことにする。図14(b)において、基準の時刻t0と時刻t2との位相を比較する。時刻t2の位相は、時刻t0の位相より
Figure 0004891464
だけ大きい。そこで、図14(a)において、基準の時刻t0の位相ψ(t0)との時間差に起因する位相のずれを補正するために、時刻t2の位相ψ(t2)からΔψを差し引いてψ´(t2)を求める。これが位相補正後の時刻t2の位相である。このとき、時刻t0の位相は基準の時刻における位相であるので位相補正後も同じ値となる。具体的には、位相補正後の位相を
Figure 0004891464
Figure 0004891464
により求める。
位相補正したあとの周波数信号の位相を図13(b)に×印で示す。図13(b)の表示の方法は図13(a)と同様であるため説明を省略する。
再度、図9を参照して、抽出音判定部1502(j)は、位相補正部1501(j)が求めた補正後の位相情報を用いて、位相の形状を算出する。そして分析の対象とする時刻の周波数信号と、分析の対象とする時刻とは異なる複数の時刻における周波数信号との位相距離(誤差)を求める(ステップS1701(j))。
図10は、抽出音の周波数信号を判定する処理(ステップS1701(j))の動作手順を示すフローチャートである。
初めに周波数信号選択部1600(j)は、位相補正部1501(j)が求めた所定の時間幅における位相補正された周波数信号から、位相曲線算出部1602(j)が位相の形状を計算する際に用いる周波数信号を選択する(ステップS1800(j))。ここでは、分析の対象とする時刻をt0として、時刻t0と時刻t1、t2、t3、t4、t5とにおける周波数信号の位相から位相の形状を算出する。このとき、位相曲線を求めるときに用いた周波数信号(時刻t0〜t5の6個の周波数信号)は所定の値以上の数から構成されている。このことは、位相距離を求めるために選択された周波数信号の数が少ない場合に、位相の時間変化の規則性を判定することが困難になるからである。ここでの所定の時間幅の時間長は、抽出音の位相の時間変化の性質に基づいて決定することとしてもよい。
次に、位相曲線算出部1602(j)は、位相曲線を算出する(ステップS1801(j))。位相曲線は例えば以下の二次多項式(式11)で近似して算出することとする。
Figure 0004891464
図15は位相曲線の算出処理を説明するための図である。図15に示すように、所定の数の点から二次曲線を算出することができる。本発明では二次曲線を重回帰曲線として算出する。具体的には、各時刻ti(i=0,1,2,3,4,5)おける補正後の位相をψ´(ti)とした場合、二次曲線Ψ(t)の各係数A2、A1、A0はそれぞれ、
Figure 0004891464
Figure 0004891464
Figure 0004891464
と表せる。なお、各係数は
Figure 0004891464
Figure 0004891464
Figure 0004891464
Figure 0004891464
Figure 0004891464
である。
再度、図10を参照して、位相距離判定部1601(j)は、位相曲線算出部1602(j)が算出した形状と分析対象とする時刻の補正後の位相との位相距離を計算する(ステップS1802(j))。この例では、位相距離(誤差)E0は位相の差分誤差であり、
Figure 0004891464
で求める。なお、分析対象とする点を除いて形状を算出し、算出した形状と分析対象とする点との位相の差を計算することとしてもよい。この計算方法によると、分析対象とする点に算出した形状から著しく外れるノイズが含まれる場合、より精度良く形状を近似することが可能となる。
なお、本例では分析対象である時刻t0に対し、時刻t1、t2、t3、t4、t5の位相から位相の形状を算出している。例えば時刻t2を分析対象とする場合(つまり時刻t0´とした場合)、あらたに時刻t1´、t2´、t3´、t4´、t5´の位相から位相曲線を算出して誤差を算出してもよいし、既に算出されたt0、t1、t2、t3、t4、t5による位相曲線から誤差を算出することとしてもよい。すなわち、すでに算出された位相曲線を用いた誤差は、
Figure 0004891464
となる。この方法によると、位相曲線の算出回数が減るため、計算量の削減の効果を奏する。さらに、分析対象を所定の区間とし、誤差の平均によって、分析対象区間中の全ての周波数信号が誤差か否かを区別することとしてもよい。例えば誤差の平均は以下の(式22)であらわすことができる。
Figure 0004891464
なお、分析対象とする区間は周囲の状況に応じて可変とすることも可能である。例えば、車両が急激に加速又は減速することが多い交差点付近では分析対象とする区間を短くし、加速又は減速が比較的少ない場合は分析対象とする区間を長くすることとしてもよい。
再度、図9を参照して、音抽出部1503(j)は、位相距離(誤差)が閾値以下である分析の対象とする周波数信号の各々を抽出音として抽出する(ステップS1702(j))。
図16は、位相距離を求める所定の時間幅(96ms)における、混合音の周波数信号の位相補正された位相ψ´(t)を模式的に示した図である。横軸は時間tを示し、縦軸は位相補正された位相ψ´(t)を示す。黒丸印は分析の対象とする周波数信号の位相を示し、白丸印は位相曲線を求めるのに用いられた周波数信号の位相を示す。太い破線1101は算出された位相曲線である。位相補正された各点をもとに位相曲線として二次曲線が算出されていることが分かる。細い破線1102は誤差の閾値(例えば20度とする)を示す。つまり、上側の破線1102は、破線1101を上に閾値分だけシフトさせたものであり、下側の破線1102は、破線1101を下に閾値分だけシフトさせたものである。分析の対象とする周波数信号の位相が2つの破線1102内に収まっていれば、その周波数信号は抽出音(周期音)の周波数信号であると判定され、2つの破線1102内に収まっていなければ、その周波数信号は雑音の周波数信号であると判定される。
図16(a)において、黒丸印で示される分析対象とされる周波数信号の位相は、位相の二次曲線との誤差が閾値未満である。このため、音抽出部1503(j)は、その周波数信号を抽出音の周波数信号として抽出する。図16(b)において、黒丸印で示される分析対象とされる周波数信号の位相のそれぞれは、位相の二次曲線との誤差が閾値以上である。このため、音抽出部1503(j)は、これらの周波数信号を抽出音の周波数信号として抽出せずに、雑音として除去する。
図17は、本実施の形態に示す手法によるエンジン音抽出処理を説明する図である。上記(式1)に示すようにエンジン音を区分線形で近似した場合、位相は上記(式11)に示すように二次曲線で近似できる。
図17(a)は、図5に示したのと同じスペクトログラムである。図17(b)〜図17(e)は、図17(a)に四角印で示す4つの領域における周波数信号を示すグラフである。4つの領域のそれぞれは、1つの周波数帯域を有する領域である。図17(b)〜図17(e)に示すグラフにおいて、横軸は時間を示し、縦軸は位相を示す。白い丸印は実際の分析された周波数信号を示し、太い破線は算出された近似曲線を示す。また、細い破線は、抽出音と雑音との閾値を示す。
図17(b)は、エンジンの回転数が下がっている、すなわち時間−周波数空間で周波数の時間変化が負の傾きの一次式で近似できるエンジン音部分の補正後の位相を示したグラフである。位相曲線は上に凸の形状をしていることが分かる。そして分析された各周波数信号はほぼ閾値以内に収まっていることが分かる。
図17(c)は、エンジンの回転数が上がっている、すなわち時間−周波数空間で周波数の時間変化が正の傾きの一次式で近似できるエンジン音部分の補正後の位相を示したグラフである。位相曲線は下に凸の形状をしていることが分かる。そして分析された各周波数信号はほぼ閾値以内に収まっていることが分かる。
図17(d)は、エンジンの回転数が一定、すなわち時間−周波数空間で周波数が変化しない二次の係数が0で近似できるエンジン音部分の補正後の位相を示したグラフである。位相曲線は二次の項が0となり、一次直線の形状をしていることが分かる。そして分析された各周波数信号はほぼ閾値以内に収まっていることが分かる。このことから、二次曲線による表現は周波数が変化しないエンジン音も含めて識別できることが分かる。
図17(e)は、風雑音部分の補正後の位相を示したグラフである。風雑音の周波数信号の位相は、ばらばらであるため、二次の近似曲線を算出したとしても、その曲線からの誤差が大きく、閾値以内である信号部分はほとんどないことが分かる。
このように、算出された曲線と曲線からの誤差をもとに風雑音とエンジン音を区別することができる。
図18は、位相曲線からの誤差を説明する図である。横軸はエンジン音、雨音、風雑音の各音響信号を示している。縦軸は、本手法による位相曲線からの誤差の平均及び分散を示している。つまり、縦軸における線分の幅がとり得る誤差の範囲を示し、ひし形が平均値を示している。例えば、エンジン音の場合、誤差の範囲は、1度から18度の間であり、誤差の平均は10度である。
分析条件は以下となる。8kHzでサンプリングされた各音声に対し、256点(32ms)で周波数分析を行い、768点(96ms)を区間として位相曲線の算出を行った。そして、位相曲線からの誤差の平均と分散を算出した。図18より、エンジン音は平均値が10度と位相曲線からの誤差が小さいのに対し、雨音は68度、風雑音は48度と位相の位相曲線との誤差が大きいことが分かる。このようにエンジン音のような周期音と、風雑音のような非周期音とは位相曲線からの誤差に大きな違いがあることが分かる。本例の場合、例えば閾値を20度等に設定し、閾値以下をエンジン音として適切に抽出できることとなる。
図19は音識別を説明する図である。各グラフの横軸は時間を示し、縦軸は周波数を示す。図19(a)は風雑音とエンジン音が混合した音を周波数分析したスペクトログラムである。色の濃さはパワーの大きさを表しており、色が濃いほどパワーが大きいことを示している。分析条件は以下となる。8kHzでサンプリングされた音声に対し、512点で周波数分析を行い、1536点を区間として位相曲線の算出を行った。そして位相曲線からの誤差の閾値を20度としてエンジン音の抽出を行った。
図19(b)は本実施の形態における手法で風雑音とエンジン音を識別したグラフである。黒い部分がエンジン音として抽出された部分である。図19(a)では風などの影響により雑音が混合されているため、いったいどの部分がエンジン音であるか抽出することは困難である。しかしながら、本実施の形態における方法でエンジン音を抽出した場合、適切にエンジン音が抽出できていることを示している。特にエンジンの回転数が急激に増加する部分や、減少する部分、定常音ともに抽出できていることが分かる。
なお、位相補正部1501(j)は、位相補正において以下に説明する位相補正の処理を、さらに行うこととしてもよい。以下に説明する位相補正を行う場合には、位相曲線の算出や位相曲線との誤差算出等の処理が付随して行われる。このため、位相補正部1501(j)は、抽出音判定部1502(j)での計算結果を随時参照しながら処理を行うものとする。
図20は、さらに実施される位相補正を説明する図である。図20のグラフはいずれもエンジン音の一部を周波数分析したグラフであり、横軸は時間を、縦軸は位相をそれぞれ示す。各白い丸印は位相補正部1501(i)で位相補正された周波数信号である。
図20(a)において、白い丸印で示される周波数信号の位相を用いて位相曲線を算出すると太い破線で示す曲線が算出される。細い破線は誤差閾値である。算出された位相曲線との誤差を算出すると、各周波数信号と曲線との誤差は大きく、閾値から大きく外れた点が多いことが分かる。ここで時刻t6、t7、t8、t9の周波数信号の位相に着目すると、他の時刻の位相と大きく外れていることが分かる。これは、位相が0〜2πの周期でトーラス状になっていることに起因する。そこで、トーラス状に起因する現象を考慮して位相曲線を算出することとしてもよい。これにより、他の時刻の位相と大きく外れた位相を補正することができ、音の識別を精度良く行うことが可能となる。
例えば、前、後、又は前後のN個の位相を用いて位相を補正することとしてもよい。図20(b)において、例えば、時刻t1からt5(例えば、N=5)の位相の平均を算出する。平均位相がψ=2π×10/360であったとする。次に時刻t6の位相がψ(6)=2π×170/360であったとする。しかし位相はトーラスになっているため、ψ(6)=(2π×170/360)±2πの可能性がある。なお、実際は±2π×m(mは自然数)の可能性があるが、ここではm=1の場合のみを考慮することとする。なお、周波数が大きく変化する場合、位相変化も大きくなるため、分析する音に応じて考慮するmを可変としてもよい。また、平均を算出するための位相の選択時刻は、時刻t1〜t5に限定されるものではなく、任意の時刻を用いることが可能である。
次に、時刻t6の位相ψ(6)を平均位相ψとの誤差が小さい値に補正する。図20(b)の場合、ψ(6)=(2π×170/360)−2πとなる。同様に時刻t7の位相を時刻t2〜t5の位相と時刻t6の補正後の位相とを用いて補正する。本例の場合ψ(7)=ψ(7)−2πと補正される。同様の処理を時刻t8、t9と行っていく。
図20(c)に補正後の位相を示す。時刻t6、t7、t8、t9の位相が補正されていることが分かる。この補正後の位相情報を用いて位相曲線を算出した場合、太い破線で示される曲線が算出される。図20(c)の場合、曲線とその閾値内に各周波数信号が含まれるため、エンジン音として適切に抽出されることとなる。
なお、位相の補正手法はこれに限ったものではない。例えば、まず位相曲線を算出し、算出された形状との誤差が大きい各点に±2πの位相補正を行うこととしてもよい。また、位相が取り得る角度範囲を補正することとしてもよい。以下、図を用いて説明する。
図21は位相の補正処理を説明する図である。図21のグラフはいずれも縦軸が位相、横軸が時間をそれぞれ示す。白い丸印は各時刻における周波数信号の位相を示す。図21(a)は0から2πを角度範囲とした場合の周波数信号の位相を示す。各位相を元に位相曲線が算出され黒い曲線で示している。図21(c)は曲線との誤差を元に位相を補正している。具体的には時刻t1の位相に+2πを加算する補正がされている。また時刻t8の位相に−2πを加算する補正がされている。
一方、図21(b)は−πからπを角度範囲とした場合の周波数信号の位相を示す。図21(a)と同様に、各位相を元に位相曲線が算出され黒い曲線で示している。図21(d)は曲線との誤差を元に位相を補正している。具体的には時刻t10の位相に−2πを加算する補正がされている。図21(c)の角度範囲の場合の曲線との誤差と、図21(d)の角度範囲の場合の曲線との誤差を比較した場合、図21(c)の角度範囲の場合の曲線との誤差が小さくなる。そこで図21(c)の角度範囲を用いた位相曲線を用いる。このように、角度範囲の制御を行い位相曲線を算出することとしてもよい。これにより、他の時刻の位相と大きく外れた位相を補正することができ、より音の識別を精度良く行うことが可能となる。
以上説明したように、本実施の形態によると、時間−周波数領域ごとにエンジン音や音声などの周期音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定できる。特にエンジン音などのように時間−周波数空間で周波数が時間とともに変化する周期音を正確に判定することができる。特に死角車両を検知するアプリケーション等において、衝突すると大きな事故につながりやすい加速している車両を正確に検知することができる。
(実施の形態2)
次に、実施の形態2に係る車両検知装置について説明する。実施の形態2に係る車両検知装置は、複数のマイクロホンから入力される各々の混合音から、エンジン音(抽出音)の周波数信号を判定し、音の到達時間差より車両の到達方向を算出し、運転者に接近車両の存在を知らせるものである。
図22及び図23は、本発明の実施の形態2における車両検知装置の構成を示すブロック図である。
図22において、車両検知装置4100は、マイクロホン4107(1)と、マイクロホン4107(2)と、DFT分析部1100と、車両検知処理部4101と、方向検知部4108とを含む。
車両検知処理部4101は、位相補正部4102(j)(j=1〜M)と、抽出音判定部4103(j)(j=1〜M)と、音抽出部4104(j)(j=1〜M)とを含む。
また、図23において、抽出音判定部4103(j)(j=1〜M)は、位相距離判定部4200(j)(j=1〜M)と、位相曲線算出部4201(j)(j=1〜M)と、周波数信号選択部4202(j)(j=1〜M)とを含む。
図22において、マイクロホン4107(1)は、外部からの混合音2401(1)を集音する。マイクロホン4107(2)は、外部からの混合音2401(2)を集音する。この例では、マイクロホン4107(1)とマイクロホン4107(2)はそれぞれ自車両の左前と右前のバンパーに設置されている。これらの混合音の各々は、例えば8kHzでサンプリングされた車両のエンジン音と風雑音とから構成されている。なお、サンプリング周波数は8kHzに限定されるものではない。
DFT分析部1100は、入力された混合音2401(1)と混合音2401(2)の各々に対して離散フーリエ変換処理を施し、混合音2401(1)と混合音(2)の周波数信号を求める。ここで、DFTの時間窓幅は256点(38ms)である。以下では、DFT分析部1100から求められた周波数帯域の個数をMとして、それらの周波数帯域を指定する番号を記号j(j=1〜M)で表すこととする。この例では、車両のエンジン音が存在する10Hz〜500Hzの周波数帯域を10Hz間隔ごとに分割して(M=50)、周波数信号を求める。
位相補正部4102(j)(j=1〜M)は、DFT分析部1100が求めた周波数帯域j(j=1〜M)の周波数信号に対して、時刻tの周波数信号の位相をψ(t)(ラジアン)とするときに、ψ´´(t)=mod2π(ψ(t)−2πf´t)(f´は周波数帯域の周波数)に位相を補正する。なお、この例は、ψ(t)を分析周波数で補正するのではなく、周波数信号を求めた周波数帯域の周波数f´で補正を行う。
抽出音判定部4103(j)(j=1〜M)は、所定の時間幅において、分析の対象とする時刻の位相補正された周波数信号から位相曲線を算出し、算出された位相曲線をもとに抽出音の判定を行う。このとき、位相距離を求めるときに用いた周波数信号の数は第1のしきい値以上の数から構成されている。ここでは所定の時間幅を96msとする。なお、このとき位相距離は補正後の位相ψ´´(t)を用いて計算する。抽出音判定部4103(j)(j=1〜M)が実施する処理は、実施の形態1に示した抽出音判定部1502(j)(j=1〜M)が実施する処理と同様である。このため、その詳細な説明は繰り返さない。
図23に、抽出音判定部4103(j)(j=1〜M)の構成を示すブロック図を示す。
抽出音判定部4103(j)(j=1〜M)は、位相距離判定部4200(j)(j=1〜M)と、位相曲線算出部4201(j)(j=1〜M)と、周波数信号選択部1600(j)(j=1〜M)とから構成される。
周波数信号選択部4202(j)(j=1〜M)は、所定の時間幅において、位相補正部4102(j)(j=1〜M)が位相補正した周波数信号の中から位相曲線の算出及び位相距離(誤差)を計算するのに用いる周波数信号を選択する。周波数信号選択部4202(j)(j=1〜M)が実施する処理は、実施の形態1に示した周波数信号選択部1600(j)(j=1〜M)が実施する処理と同様である。このため、その詳細な説明は繰り返さない。
位相曲線算出部4201(j)(j=1〜M)は、周波数信号の補正された位相ψ´´(t)を用いて時間経過に伴い位相が変化する位相形状を曲線として計算する。位相曲線算出部4201(j)(j=1〜M)が実施する処理は、実施の形態1に示した位相曲線算出部1602(j)(j=1〜M)が実施する処理と同様である。このため、その詳細な説明は繰り返さない。
そして位相距離判定部4200(j)(j=1〜M)は、位相曲線算出部4201(j)(j=1〜M)が算出した位相曲線との位相距離が第2のしきい値以下か否かを判定する。具体的には位相曲線を算出する区間を768点(96ms)として位相曲線を算出し、位相距離を算出する。位相距離判定部4200(j)(j=1〜M)による位相曲線の算出方法と位相距離(誤差)の算出方法とは、実施の形態1に示した位相距離判定部1601(j)(j=1〜M)のそれらと同様である。このため、その詳細な説明は繰り返さない。
次に、音抽出部4104(j)(j=1〜M)は、抽出音判定部4103(j)(j=1〜M)が判定した位相距離をもとにエンジン音を抽出する。具体的には、誤差の閾値を20度とし、閾値以下をエンジン音として抽出する。音抽出部4104(j)(j=1〜M)が実施する処理は、実施の形態1に示した音抽出部1503(j)(j=1〜M)が実施する処理と同様である。このため、その詳細な説明は繰り返さない。なお、音抽出部4104(j)(j=1〜M)は、さらに、エンジン音が抽出されたときに、抽出音検知フラグ4105を出力する。
再度、図22を参照して、方向検知部4108は、音抽出部4104(j)(j=1〜M)から抽出音検知フラグ4105が出力されたときに、音抽出部4104(j)(j=1〜M)で抽出されたエンジン音の時間−周波数領域に対し、車両の存在する方向を特定する。例えば、その領域におけるエンジン音の到達時間差をもとに車両の方向を検知する。例えばいずれか1つのマイクロホンにおいてエンジン音が抽出された場合、両マイクロホンを用いて車両の存在する方向を特定する。風雑音は両マイクロホンに対して均一ではなく、一方のマイクロホンにのみ風雑音が存在し、他方には存在しない場合もあるからである。なお、両マイクロホンにおいてエンジン音が抽出された場合にのみ、方向を特定することとしてもよい。
マイクロホン4107(1)及びマイクロホン4107(2)の間隔をd(m)とする。エンジン音が自車両に対して方角θ(ラジアン)から検出されるとする。マイク間での到達時間差をΔt(s)とし、音速をc(m/s)とすると、方向θ(ラジアン)は以下の(式23)で表すことができる。
Figure 0004891464
最後に、車両検知装置4100に接続された提示部4106は、方向検知部4108で検知された車両の方向を運転者に知らせる。例えば、提示部4106は、どちらの方向から車両が来ているのかをディスプレイに表示するようにしても良い。
車両検知装置4100及び提示部4106は、これらの処理を、所定の時間幅を時間方向に移動させながら行う。
次に、以上のように構成された車両検知装置4100の動作について説明する。
以下では、j番目の周波数帯域(周波数帯域の周波数はf´)について説明を行う。
図24及び図25は、車両検知装置4100の動作手順を示すフローチャートである。
初めに、マイクロホン4107(1)及び4107(2)は、外部からの混合音2401をそれぞれ集音し、集音した混合音を、DFT分析部2402に出力する(ステップS201)。
DFT分析部1100は、混合音2401(1)と混合音2401(2)を受け付けて、混合音2401(1)と混合音2401(2)のそれぞれに対して離散フーリエ変換処理を施し、混合音2401(1)と混合音2401(2)の周波数信号を求める(ステップS300)。
次に、位相補正部4102(j)は、DFT分析部1100が求めた周波数帯域j(周波数f´)の周波数信号に対して、時刻tの周波数信号の位相をψ(t)(ラジアン)とするときに、位相ψ(t)を位相ψ´´(t)=mod2π(ψ(t)−2πf´t)(f´は周波数帯域の周波数)に変換することで位相補正を行う(ステップS4300(j))。
次に、抽出音判定部4103(j)(位相距離判定部4200(j))は、混合音(混合音2401(1)、混合音2401(2))ごとに、所定の時間幅における第1のしきい値以上の数から構成されている位相補正された周波数信号(第1のしきい値は、所定の時間幅における時刻の周波数信号の80%の数である)の位相ψ´´(t)を用いて、分析周波数fを設定して、設定された分析周波数fを用いて位相距離を求める(ステップS4301(j))。
図25を用いて、ステップS4301(j)の処理について詳細に説明する。初めに周波数信号選択部4202(j)は、位相補正部4102(j)が求めた所定の時間幅における位相補正された周波数信号から、位相曲線算出部4201(j)が位相の形状の計算に用いる周波数信号を選択する(ステップS1800(j))。
そして、位相曲線算出部4201(j)が、位相曲線を算出する(ステップS1801(j))。
次に、位相距離判定部4200(j)は、位相曲線算出部4201(j)が算出した形状と分析対象とする時刻の補正後の位相との位相距離を計算する(ステップS1802(j))。
再度、図24を参照して、音抽出部4104(j)は、位相距離が第2のしきい値以下になる所定の時間幅における周波数信号をエンジン音の周波数信号に判定する(ステップS4302(j))。
方向検知部4108は、音抽出部4104(j)で抽出されたエンジン音の時間−周波数領域に対し、車両の存在する方向を特定し、提示部4106は、方向検知部4108で検知された車両の方向を運転者に知らせる(ステップS4303)。
以上説明したように、実施の形態2に係る車両検知装置によると、エンジン音が抽出された場合に、エンジン音の到達時間差をもとに車両の方向を検知している。このため、雑音の影響を受けずに車両の方向を正確に検知することができる。
以上、本発明の実施の形態に係る雑音除去装置及び車両検知装置について説明したが、本発明は、これらの実施の形態に限定されるものではない。
例えば、上述の実施の形態ではエンジン音の抽出を例に挙げて説明を行ったが、本発明が抽出対象とする音はエンジン音に限定されるものではなく、例えば、人間もしくは動物の音声又はモーター音などのように周期音であれば本発明を適用可能である。
また、音抽出部は、周波数信号ごとに周期音か雑音かを判断したが、所定の時間幅ごとにその時間幅に含まれる周波数信号が周期音か雑音かを判断するようにしても良い。例えば、図16を参照して、音抽出部は、所定の時間幅ごとに、その時間幅に含まれる周波数信号の位相に対する、位相曲線算出部が求めた二次曲線との誤差が閾値未満となる位相の割合が所定の割合以上となる場合に、その時間幅に含まれる周波数信号の全てが周期音と判断し、上記割合が所定の割合未満となる場合に、その時間幅に含まれる周波数信号の全てが雑音と判断しても良い。
また、上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAM又はハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしても良い。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしても良い。
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray Disc(登録商標))、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
本発明は、時間−周波数領域ごとにエンジン音などの周期音と、風雑音、雨音、暗騒音などの非周期音とを区別して、周期音(もしくは非周期音)の周波数信号を判定することができる音識別装置、判定した周期音から車両の方向を検知する車両検知装置等に適用できる。
1100、2402 DFT分析部
1500 雑音除去装置
1501(j)(j=1〜M)、4102(j)(j=1〜M) 位相補正部
1502(j)(j=1〜M)、4103(j)(j=1〜M) 抽出音判定部
1503(j)(j=1〜M)、4104(j)(j=1〜M) 音抽出部
1504 雑音除去処理部
1600(j)(j=1〜M)、4202(j)(j=1〜M) 周波数信号選択部
1601(j)(j=1〜M)、4200(j)(j=1〜M) 位相距離判定部
1602(j)(j=1〜M)、4201(j)(j=1〜M) 位相曲線算出部
2400、4107(1)、4107(2) マイクロホン
2401、2401(1)、2401(2) 混合音
2408 抽出音の周波数信号
4100 車両検知装置
4101 車両検知処理部
4106 提示部
4108 方向検知部

Claims (11)

  1. 音響信号の周波数信号を分析する周波数分析手段と、
    所定の時間幅における前記周波数信号の位相の時間変化を近似する位相曲線を算出する位相曲線算出手段と、
    前記位相曲線と前記周波数信号の位相との誤差を算出する誤差算出手段と、
    前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別する音響信号識別手段と
    を備え、
    前記位相曲線は、位相の値を変数とする2次多項式で表される曲線であり、
    前記周波数信号の位相は、所定の基底波形を時間軸方向に移動させることなく固定して、前記所定の基底波形と前記音響信号とを畳み込み処理することにより算出される位相である
    音識別装置。
  2. 音響信号の周波数信号を分析する周波数分析手段と、
    所定の時間幅における前記周波数信号の位相の時間変化を近似する位相曲線を算出する位相曲線算出手段と、
    前記位相曲線と前記周波数信号の位相との誤差を算出する誤差算出手段と、
    前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別する音響信号識別手段と
    を備え、
    前記位相曲線は、位相の値を変数とする2次多項式で表される曲線であり、
    前記周波数信号の位相は、所定の基底波形を時間軸方向にずらしながら、前記所定の基底波形と前記音響信号とを畳み込み処理することにより算出される位相をψ(t)とした場合に、ψ´(t)=mod2π(ψ(t)−2πft)(fは分析周波数)により算出されるψ´(t)である
    音識別装置。
  3. 前記音響信号識別手段は、前記誤差の算出に用いた前記周波数信号の位相に対応する音響信号を、前記誤差が所定の閾値以上の場合に非周期音の信号として識別し、前記誤差が前記所定の閾値未満の場合に周期音の信号として識別する
    請求項1または2に記載の音識別装置。
  4. 前記音響信号識別手段は、所定の時間幅に含まれる前記誤差の算出に用いた前記周波数信号の位相に対応する音響信号を、当該所定の時間幅に含まれる前記誤差の和又は平均値が所定の閾値以上の場合に非周期音の信号として識別し、前記誤差の和又は平均値が前記所定の閾値未満の場合に周期音の信号として識別する
    請求項1または2に記載の音識別装置。
  5. さらに、
    所定数の前記位相との差が小さくなるように、前記所定数の前記位相とは異なる他の前記位相に±2π×m(ラジアン)(mは自然数)を加算することにより、他の前記位相を補正する位相補正手段を備え
    前記位相曲線算出手段は、前記位相補正手段により補正された位相を用いて前記位相曲線を算出する
    請求項1または2に記載の音識別装置。
  6. さらに、
    互いに異なる角度範囲ごとに、当該角度範囲内に収まるように前記位相に±2π×m(ラジアン)(mは自然数)を加算することにより、前記位相を補正する位相補正手段を備え、
    前記位相曲線算出手段は、前記位相補正手段により補正された位相を用いて、前記角度範囲ごとに、前記位相曲線を算出し、
    前記誤差算出手段は、前記角度範囲ごとに、前記誤差を算出し、
    前記位相補正手段は、さらに、前記誤差が最小となるときの角度範囲を選択し、
    前記音響信号識別手段は、選択された前記角度範囲における前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別する
    請求項1または2に記載の音識別装置。
  7. 前記音響信号は、混合音の音響信号であり、
    前記音響信号識別手段は、前記誤差が所定の閾値未満の場合に、前記誤差の算出に用いた前記周波数信号の位相に対応する音響信号を、エンジン音の信号として識別する
    請求項1または2に記載の音識別装置。
  8. 前記周波数分析手段は、各々が音響信号の入力を受け付ける互いに離間して配置された複数のマイクロホンで受け付けられた複数の音響信号のそれぞれについて周波数信号を分析し、
    前記音識別装置は、さらに、
    前記音響信号識別手段により少なくとも1つのマイクロホンから入力された音響信号が周期音の信号として識別された場合に、前記複数のマイクロホンで受け付けられた複数の前記音響信号の到達時間差に基づいて、前記周期音の音源方向を検知する方向検知部を備える
    請求項1または2に記載の音識別装置。
  9. 前記誤差算出手段は、前記周波数信号の位相と、当該周波数信号の時刻と同時刻における前記位相曲線の値との差を、前記誤差として算出する
    請求項1または2に記載の音識別装置。
  10. 音響信号の周波数信号を分析するステップと、
    所定の時間幅における前記周波数信号の位相の時間変化を近似する位相曲線を算出するステップと、
    前記位相曲線と前記周波数信号の位相との誤差を算出するステップと、
    前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別するステップと
    を含み、
    前記位相曲線は、位相の値を変数とする2次多項式で表される曲線であり、
    前記周波数信号の位相は、所定の基底波形を時間軸方向に移動させることなく固定して、前記所定の基底波形と前記音響信号とを畳み込み処理することにより算出される位相である
    音識別方法。
  11. 音響信号の周波数信号を分析するステップと、
    所定の時間幅における前記周波数信号の位相の時間変化を近似する位相曲線を算出するステップと、
    前記位相曲線と前記周波数信号の位相との誤差を算出するステップと、
    前記誤差に基づいて、前記音響信号が周期音の信号か否かを識別するステップと
    をコンピュータに実行させるためのプログラムであって、
    前記位相曲線は、位相の値を変数とする2次多項式で表される曲線であり、
    前記周波数信号の位相は、所定の基底波形を時間軸方向に移動させることなく固定して、前記所定の基底波形と前記音響信号とを畳み込み処理することにより算出される位相である
    プログラム。
JP2011529400A 2010-02-08 2011-01-07 音識別装置及び音識別方法 Expired - Fee Related JP4891464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011529400A JP4891464B2 (ja) 2010-02-08 2011-01-07 音識別装置及び音識別方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010025930 2010-02-08
JP2010025930 2010-02-08
PCT/JP2011/000036 WO2011096156A1 (ja) 2010-02-08 2011-01-07 音識別装置及び音識別方法
JP2011529400A JP4891464B2 (ja) 2010-02-08 2011-01-07 音識別装置及び音識別方法

Publications (2)

Publication Number Publication Date
JP4891464B2 true JP4891464B2 (ja) 2012-03-07
JPWO2011096156A1 JPWO2011096156A1 (ja) 2013-06-10

Family

ID=44355177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011529400A Expired - Fee Related JP4891464B2 (ja) 2010-02-08 2011-01-07 音識別装置及び音識別方法

Country Status (4)

Country Link
US (1) US20120039478A1 (ja)
JP (1) JP4891464B2 (ja)
CN (1) CN102473410A (ja)
WO (1) WO2011096156A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014102938A1 (ja) * 2012-12-26 2017-01-12 トヨタ自動車株式会社 音検知装置及び音検知方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5920311B2 (ja) * 2013-10-24 2016-05-18 トヨタ自動車株式会社 風検出装置
CN104978515A (zh) * 2015-06-12 2015-10-14 郑州华信学院 一种计算机智能锁孔装置
CN105469484B (zh) * 2015-11-20 2018-09-14 宁波大业产品造型艺术设计有限公司 一种app智能家居锁
CN105430337A (zh) * 2015-11-23 2016-03-23 亳州师范高等专科学校 一种远程教学直播系统
CN105574966A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能手机门锁
CN105574496A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种人脸对讲识别系统
CN105575008A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能寄存柜
CN105567434A (zh) * 2015-12-31 2016-05-11 山东泰德新能源有限公司 一种高清洁生物柴油的生产装置及方法
CN105726130A (zh) * 2016-01-26 2016-07-06 高玮 一种医疗设备维保提示器
CN108826528A (zh) * 2016-03-17 2018-11-16 漳州龙文区汇洋远软件开发有限公司 一种空气净化器的空气净化方法
US9838737B2 (en) 2016-05-05 2017-12-05 Google Inc. Filtering wind noises in video content
US10728660B2 (en) * 2017-10-16 2020-07-28 Cirrus Logic, Inc. Methods and apparatus for transducer excursion prediction
US11915602B2 (en) * 2020-07-31 2024-02-27 North Carolina State University Drone detection, classification, tracking, and threat evaluation system employing field and remote identification (ID) information
CN113790911B (zh) * 2021-08-18 2023-05-16 中国长江电力股份有限公司 一种基于声音频谱统计学规律的异响检测方法
CN114088332B (zh) * 2021-11-24 2023-08-22 成都流体动力创新中心 一种用于旋转叶片声音信号提取的风洞背景噪声修正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022369A (ja) * 1999-07-07 2001-01-26 Japan Science & Technology Corp 音源情報の抽出方法
WO2009034686A1 (ja) * 2007-09-11 2009-03-19 Panasonic Corporation 音判定装置、音検知装置及び音判定方法
WO2009044509A1 (ja) * 2007-10-01 2009-04-09 Panasonic Corporation 音源方向検知装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0592767U (ja) * 1992-05-18 1993-12-17 株式会社豊田中央研究所 接近車両認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022369A (ja) * 1999-07-07 2001-01-26 Japan Science & Technology Corp 音源情報の抽出方法
WO2009034686A1 (ja) * 2007-09-11 2009-03-19 Panasonic Corporation 音判定装置、音検知装置及び音判定方法
WO2009044509A1 (ja) * 2007-10-01 2009-04-09 Panasonic Corporation 音源方向検知装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014102938A1 (ja) * 2012-12-26 2017-01-12 トヨタ自動車株式会社 音検知装置及び音検知方法

Also Published As

Publication number Publication date
CN102473410A (zh) 2012-05-23
JPWO2011096156A1 (ja) 2013-06-10
US20120039478A1 (en) 2012-02-16
WO2011096156A1 (ja) 2011-08-11

Similar Documents

Publication Publication Date Title
JP4891464B2 (ja) 音識別装置及び音識別方法
JP4310371B2 (ja) 音判定装置、音検知装置及び音判定方法
JP4547042B2 (ja) 音判定装置、音検知装置及び音判定方法
JP5048887B2 (ja) 車両台数特定装置及び車両台数特定方法
JP4545233B2 (ja) 音判定装置、音判定方法、及び、音判定プログラム
JP5079934B2 (ja) 車両方向特定装置、車両方向特定方法、及びそのプログラム
JP4860785B2 (ja) 回転数増減判定装置及び回転数増減判定方法
JP4435127B2 (ja) ハーモニックとサブハーモニックの比率を用いたピッチ検出方法およびピッチ検出装置
JP5039870B2 (ja) 車両方向特定装置、車両方向特定方法、及びそのプログラム
JP2011242343A (ja) 車両方向特定装置、車両方向特定方法、及びそのプログラム
US9733346B1 (en) Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
JP4444254B2 (ja) スペクトル自己相関値を用いたピッチ検出方法およびピッチ検出装置
US10618466B2 (en) Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
JP2012145461A (ja) 車両方向特定装置及び車両方向特定方法
WO2020065771A1 (ja) 音声感情認識装置および音声感情認識方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees