JP6984744B2 - 伝搬パス推定装置、伝搬パス推定方法及びプログラム - Google Patents

Description

本発明は、伝搬パス推定装置、伝搬パス推定方法及びプログラムに関する。

受信点で受信された音響信号が近傍でどの経路を伝わって受信されたかを推定する推定装置が知られている。非特許文献１に、受信点において受信された音響信号の、発信点の方向を推定する技術の例が記載されている。この文献記載の方法では、複数の音響センサを用いて、複数センサへの到来時間の差を用いて、該当信号の方向を推定する。

また、特許文献１に音源と受音側との間の系における音響伝達経路の正確な解析ができるという解析方法が開示されている。この音響伝達解析方法は、音源から受音側までの全ての音経路を識別する段階と、粒子速度ベクトルで表した各経路から前記受音側までの伝達関数を測定する段階と、各音経路の動作負荷を測定する段階と、を含む。さらに、この音響伝達解析方法は、前記経路の前記動作負荷に前記経路から前記受音側までの伝達関数を掛けて、前記受音側での前記粒子速度ベクトルへの前記経路の寄与を表わす段階と、前記計算した各経路の寄与から、粒子速度ベクトルで表した支配的音経路を決定する段階と、を含む。

特開２０１３−７９９５３号公報

Masanori Kato, Yuzo Senda and Reishi Kondo, "TDOA Estimation Based on Phase-Voting Cross Correlation and Circular Standard Deviation," AASP-P1, EUSIPCO 2017 (2017.08)

以下の分析は、本発明によって与えられたものである。伝達経路に依って受信点で得られる信号の周波数特性が大きく変わる場合がある。例えば、伝達経路の後段で録音を行う場合に、伝達経路に応じた周波数特性の補正を行うことで、音質の向上や不要音の除去を行なうことができると考えられる。また例えば、伝達経路の後段で検知を行う場合も同様に、伝達経路に応じた周波数特性の補正や検知方式の切り替えを行うことで、検知性能を向上することができると考えられる。

本発明の目的は、信号が伝達されてきた経路の推定技術の豊富化に貢献できる伝搬パス推定装置、伝搬パス推定方法及びプログラムを提供することにある。

第１の視点によれば、複数のセンサと、前記複数のセンサのセンサ出力信号から特徴量を計算する特徴量算出部と、該当特徴量に対応して伝搬パスを判断する伝搬パス判断部と、を有する伝搬パス推定装置が提供される。

第２の視点によれば、複数のセンサのセンサ出力信号から特徴量を計算するステップと、該当特徴量に対応して伝搬パスを判断するステップと、を含む、伝搬パス推定方法が提供される。本方法は、複数のセンサからの出力信号に基づいて伝搬パスを判断する伝搬パス推定装置という、特定の機械に結びつけられている。

第３の視点によれば、コンピュータに、複数のセンサのセンサ出力信号から特徴量を計算する処理と、該当特徴量に対応して伝搬パスを判断する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、信号が伝達されてきた経路を推定することが可能となる。

本発明の第１の実施形態の構成を示すブロック図である。 本発明の第１の実施形態において、空気中が伝搬経路となる音源との関係を表す図である。 本発明の第１の実施形態において、固体中が伝搬経路となる音源との関係を表す図である。 本発明の第１の実施形態において、空気中が伝搬経路となる音源から、センサ１に到達する音の経路を説明する図である。 本発明の第１の実施形態において、空気中が伝搬経路となる音源から、センサ２に到達する音の経路を説明する図である。 本発明の第１の実施形態において、固体中が伝搬経路となる音源から、センサ１に到達する音の経路を説明する図である。 本発明の第１の実施形態において、固体中が伝搬経路となる音源から、センサ２に到達する音の経路を説明する図である。 本発明の第１の実施形態において、別のセンサの配置方法の例を説明する図である。 本発明の第２の実施形態を実施するための形態を示すブロック図である。 本発明の第２の実施形態の動作を説明する図である。 本発明の伝搬パス推定装置を構成するコンピュータの構成を示す図である。

［第１の実施の形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。

図１は、本発明の第１の実施形態の構成を示すブロック図である。図１を参照すると、本発明の第１の実施形態の伝搬パス推定装置１００は、複数のセンサ１０１と１０２（以降、センサ１、センサ２とも記す）と、特徴量算出部２０１と、伝搬パス判断部２０２とを含む。

これらの手段はそれぞれ概略すると次のように動作する。複数のセンサ１０１と１０２は、一定の間隔をあけて固定され、それぞれ受信した信号の情報を得る。固定の方法の一例は、図２に示すように壁に沿ってセンサ１０１、１０２を配置するものである。本実施形態では、センサ１０１、１０２の出力はディジタル量の時系列信号として扱うことができるものとする。

特徴量算出部２０１は、センサ１０１、１０２で受信した信号から、一定時間周期ごとに、信号の到来、伝達に要した空間パスを表現する特徴量を算出する。

伝搬パス判断部２０２は、前記特徴量を用いて、センサ１０１、１０２に入力されている信号が、空気中を伝搬してきたものか、あるいは固体中を伝搬してきたものかを判定し、判断結果４０１を出力する。

次に、図１〜８を参照して、本実施形態の全体の動作について詳細に説明する。はじめに、本実施形態の伝搬パス推定装置が識別する対象とする２つの事象、空気中を伝搬する音と固体中を伝搬する音について、図２から図７を用いて説明する。空気中を伝搬してくる音とは、図２に示すように、音源３００とセンサ１０１およびセンサ１０２の間に空気が介在しているものである。この場合、図４に示すように、音源３００からセンサ１ １０１に到達する音響パスとしては直接音である音響パス１−１の他に、反射音である音響パス１−２、音響パス１−３、音響パス１−４など複数の音響パスが存在する。この場合、受信点となるセンサ１ではこれらの音響パスを通った音が混じった形で観測されることが通例である。同様に、図５に示すように、音源３００からセンサ２ １０２に到達する音響パスも、同様に観測される。

これに対して、固体を伝搬してくる音とは、図３に示すように固体、この場合は壁を例としているが、この固体に接して音源３００が存在する。この場合、図６に示すように、音源３００からセンサ１ １０１に到達する音響パスとしては直接音である音響パスだけが存在し、反射音は存在しない。同様に、図７に示すように、音源３００からセンサ２ １０２に到達する音響パスも、同様に観測される。

ここではセンサ１ １０１とセンサ２ １０２には、マイクロフォンを用いる。特徴量算出部２０１は、センサ１０１とセンサ１０２から入力される信号のクロススペクトルを逐次計算する。すなわち、センサ１０１の信号系列ｘ１（ｔ）とセンサ１０２の信号系列ｘ２（ｔ）について、それぞれのフーリエ変換をＸ１（ｆ），Ｘ２（ｆ）と置き、Ｘ２（ｆ）の複素共役をＸ２＊（ｆ）とすれば、ある時刻におけるクロススペクトルＷ（ｆ）は、Ｗ（ｆ）＝Ｘ１（ｆ） Ｘ２＊（ｆ）として計算することができる。

このクロススペクトルそのもの、あるいはクロススペクトルの形状を適切な形状のフィルタで切り出したものが、音源３００からセンサ１ １０１へのパスとセンサ２ １０２へのパスの伝搬関数の類似度の逆、すなわち差異を表す。

ここでクロススペクトルを計算する際にノルム正規化を行うことにより、音の大きさへの依存性を除去することも可能である。

この差異を逆フーリエ変換することで、複数のセンサ１０１、１０２の間の相互相関関数を得る。ここでは、この相互相関関数を特徴量として出力する。

次に、伝搬パス判断部２０２の動作について説明する。もしも特徴量算出部２０１が生成した相互相関関数が単一のピークを持つ場合は、複数のセンサ１０１、１０２の間に時間遅れの関係しか存在しないことは明らかである。この場合、反射波による影響は存在しないので、伝搬パス判断部２０２は固体中を伝搬してきた音であると判断し、判断結果４０１として出力する。

一方、特徴量算出部２０１が生成した相互相関関数が複数のピークを持つ場合は、複数のセンサ１０１、１０２の間に時間遅れ以外の関係が存在することから、反射波による影響が存在するので、伝搬パス判断部２０２は空気中を伝搬してきた音であると判断し、判断結果４０１として出力する。

ここではセンサ数を２であるとして説明したが、センサ数を３以上とし、それぞれの間で判断を行い、多数決または論理和あるいは論理積を取って判断を行っても良く、それによって推定精度を高めることが可能である。

また、受信した信号がある一定以上のパワーを持っている時だけ、伝搬パス判断部２０２が動作しても良い。それによってパワーの小さい信号ひいてはＳ／Ｎ比の小さい条件下で発生する誤りを低減することも可能となる。

なお、図２では複数のセンサを固体である壁３０１の表面に露出して固定して設置したが、図８に示すように壁３０１の裏側、あるいは壁３０１に埋め込んで設置しても同様である。この場合、センサを適切に動作させるためにそれぞれ空気穴５０１、５０２を空けると良い。

また、本実施形態では、複数のセンサ１０１、１０２にマイクロフォンを用いたが、本発明の適用範囲は、可聴域の音響信号に限定する必要はなく、超音波マイクロフォンや超低周波センサなどを用いても良い。

また、図３では音源３００は壁３０１に接しているとしたが、音源３００から空気中を伝搬してきた音が壁３０１を震わせ、その結果壁３０１を伝搬することも考えられる。例えば、集合住宅で隣家や階の異なる家の中で発する音（生活騒音）が聞こえる場合には次のようなケースがある。例えば、窓が全て開いている場合、当該生活騒音は、空気中を伝搬して届くが、窓を閉めていても集合住宅の躯体などの固体を伝搬して届く。上記空気と壁を経由する伝搬は、集合住宅の生活騒音の事例に相当し、それぞれで、周波数特性が異なることも容易に分かる。

ここでは典型的に伝搬経路を空気中と固体中としたが、空気中は反射の存在する典型的な経路であり、固体中は反射の無い典型的な経路である範囲で、他の媒質としてもかまわない。例えば、空気中は、窒素などの気体、水などの液体で代えることができる。また固体中は、十分に粘性の高いゲル状の物体などで代えることができる。

次に、本実施形態の効果について説明する。本実施形態によれば、複数のセンサを用いて信号の伝達するパスを推定するため、受信点だけの情報があれば伝搬パスの推定が可能であり、送信側あるいは伝達経路に関する情報は必要ではない。換言すると、本実施形態は、特別な空間内キャリブレーションを必要とせず通常の運用で範囲が計算できるため、設置コストを低減することができるという利点もある。

［第２の実施形態］
続いて、より判定精度を向上できる第２の実施形態について図面を参照して詳細に説明する。図９は、本発明の第２の実施形態の構成を示すブロック図である。図９を参照すると、本発明の第２の実施形態の伝搬パス推定装置１００Ａは、第１の実施形態の構成に加えて、蓄積部２０３、範囲決定部２０４及び判断モデル２０５を有する。その他の構成は第１の実施形態と同様であるので、以下、その相違点を中心に説明する。

蓄積部２０３は、特徴量算出部２０１が過去において算出した特徴量を一定期間蓄積する。蓄積部２０３における特徴量の蓄積期間は、例えば複数のセンサ１０１、１０２を設置して以来といった長期間のものでも良いが、典型的には例えば過去１日間の特徴量を蓄積するものでもよい。以下、本実施形態では、蓄積部２０３は、１フレームの長さを１秒間とし、重なりの無い１日分の８６４００フレームを蓄積するものとして説明する。

範囲決定部２０４は、蓄積部２０３が蓄積した全フレームの特徴量を、特徴量空間にマップする。図１０は、範囲決定部２０４による特徴量のマッピングの例を示す。図１０の例では、４４フレームのみを記載しているが、蓄積されたフレーム数が変わっても同様である。

ここで、図１０は、該当特徴量に幾つのフレームが該当するかを数値で表現した、２つの相互相関関数を変数とした２次元ヒストグラム（ヒートマップとも言う。）である。図１０の例では、３７フレームがほぼ同一の特徴量を持ち、残るフレームはそれぞれ異なる特徴量を持つ。ここで、多数のフレームが同一の特徴量を持つということは、特徴量の分散が小さく遅延項のみで構成されていることであるから、図１０で点線の円で示した範囲を、固体中を伝搬経路とする特徴量の範囲であると決定することができる。一方、その他の領域は特徴量の分散が大きいということであるから、それ以外の範囲を空気中を伝搬経路とする特徴量の範囲であると決定することができる。ここで多数のフレームである条件としては、予め定められた閾値Ｄを超えた点全てを取るという条件を採用することができる。もちろん、閾値Ｄを超えたという条件の代わりに最大値を取る特徴量としても良い。また範囲の円の半径εは、雑音により影響を受ける範囲を想定して小さな値を予め決めることができる。

判断モデル２０５は、このようにして得られた範囲の情報を判断モデルとして保存したものである。従って、上記した範囲決定部２０４は、判断モデル作成部と言い換えることもできる。

なお、上記した蓄積部２０３は、伝搬パス推定装置を構成するコンピュータの記憶装置を用いて構成することができる。同様に、判断モデル２０５も、伝搬パス推定装置を構成するコンピュータの記憶装置に保存させることができる。

伝搬パス判断部２０２は、特徴量算出部２０１が出力した特徴量の値を、前記判断モデル２０５に保存された範囲の情報と比較して、該当特徴量が空気中の伝搬経路であるか固体中の伝搬経路であるかを決定し、該当判断結果を判断出力４０１として出力する。

次に、本実施形態の効果について説明する。本実施形態では、過去の情報を用いて判断を行うことができるため、設置した環境に応じて最適な判定を行い、その精度を向上させることが可能である。なお、上記した実施形態では、過去１日間の特徴量を蓄積し、判断モデル２０５を作成するものとして説明したが、蓄積した特徴量をさまざまな観点で層別し、複数の判断モデルを作成してもよい。例えば、伝搬パス推定装置が設置される環境が時刻や季節によって環境が変わるというような場合には、当該時刻を含む時間帯、該当する季節に得られた特徴量を用いて判断モデルを作成し、その判断モデルを用いて判定を行うこともできる。

また、本発明の伝搬パス推定装置を組み込むことで、伝搬経路に応じた適切な処理を行い、聞き取りやすい録音を行う録音機を構成することが可能となる。また、本発明の伝搬パス推定装置を組み込むことで高い検知性能を持つ音響イベント検知器を構成することも可能となる。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示した装置構成、各要素の構成、データの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ及びＢの少なくともいずれかという意味で用いる。

また、上記した第１〜第２の実施形態に示した手順は、伝搬パス推定装置として機能するコンピュータ（図１１の９０００）に、伝搬パス推定装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１１のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１１のＣＰＵ９０１０にて、特徴量算出プログラムや伝搬パス判断プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。

即ち、上記した第１、第２の実施形態に示した伝搬パス推定装置の各部（処理手段、機能）は、伝搬パス推定装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による伝搬パス推定装置参照）
［第２の形態］
上記した伝搬パス推定装置は、
空中伝達パスは多重反射が有り、壁越し伝達パスは直接音のみが伝達することを利用して、前記伝搬パスが空気中か固体中かを求める構成を採ることができる。
［第３の形態］
上記した伝搬パス推定装置は、
前記伝搬パスの差異が遅延に相当する項だけからなることを利用して固体中の伝搬経路であると判断する構成を採ることができる。
［第４の形態］
上記した伝搬パス推定装置は、
前記伝搬パスの差異を蓄積し、前記伝搬パスが空気中か固体中かを識別する範囲を決定し、その範囲に基づいて前記伝搬パスが空気中か固体中かを判断する構成を採ることができる。
［第５の形態］
上記した伝搬パス推定装置は、さらに、
前記特徴量算出部により計算された特徴量を蓄積する蓄積部と、
前記蓄積した特徴量のうち、固体を伝搬パスとする範囲を定める判断モデルを作成する範囲決定部と、を備え、
前記伝搬パス判断部は、前記特徴量算出部により計算された特徴量と、前記判断モデルとを用いて伝搬パスを判断する構成を採ることができる。
［第６の形態］
上記した伝搬パス推定装置は、さらに、
前記複数のセンサとして、マイクロフォン、超音波マイクロフォン及び超低周波センサのうちのいずれか同種のもの２以上が接続される構成を採ることができる。
［第７の形態］
（上記第２の視点による伝搬パス推定方法参照）
［第８の形態］
（上記第３の視点によるプログラム参照）
なお、上記第７〜第８の形態は、第１の形態と同様に、第２〜第６の形態に展開することが可能である。

なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（又は削除）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１００、１００Ａ 伝搬パス推定装置
１０１、１０２ センサ
２０１ 特徴量算出部
２０２ 伝搬パス判断部
２０３ 蓄積部
２０４ 範囲決定部
２０５ 判断モデル
３００ 音源
３０１ 壁
４０１ 判断結果
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

Claims (10)

1. 音を検出する複数のセンサのセンサ出力信号から相互相関関数である特徴量を計算する特徴量算出部と、
   該当特徴量に対応して前記音が伝搬する媒質である伝搬パスを判断する伝搬パス判断部と、
   を含むことを特徴とする、伝搬パス推定装置。
2. 空中伝達パスは多重反射が有り、壁越し伝達パスは直接音のみが伝達することを利用して、前記伝搬パスが空気中か固体中かを求める、請求項１記載の伝搬パス推定装置。
3. 前記伝搬パスの差異が遅延に相当する項だけからなることを利用して固体中の伝搬経路であると判断する、請求項２記載の伝搬パス推定装置。
4. 前記特徴量を蓄積し、前記伝搬パスが空気中か固体中かを識別する範囲を決定し、その範囲に基づいて前記伝搬パスが空気中か固体中かを判断する、請求項２記載の伝搬パス推定装置。
5. さらに、
   前記特徴量算出部により計算された特徴量を蓄積する蓄積部と、
   前記蓄積した特徴量のうち、固体を伝搬パスとする範囲を定める判断モデルを作成する範囲決定部と、を備え、
   前記伝搬パス判断部は、前記特徴量算出部により計算された特徴量と、前記判断モデルとを用いて伝搬パスを判断する請求項１から４いずれか一に記載の伝搬パス推定装置。
6. さらに、前記複数のセンサとして、マイクロフォン、超音波マイクロフォン及び超低周波センサのうちのいずれか同種のもの２以上備える請求項１から５いずれか一に記載の伝搬パス推定装置。
7. 音を検出する複数のセンサのセンサ出力信号から相互相関関数である特徴量を計算するステップと、
   該当特徴量に対応して前記音が伝搬する媒質である伝搬パスを判断するステップと、
   を含む、伝搬パス推定方法。
8. 空中伝達パスは多重反射が有り、壁越し伝達パスは直接音のみが伝達することを利用して、前記伝搬パスが空気中か固体中かを求める、請求項７記載の伝搬パス推定方法。
9. 前記特徴量を蓄積し、前記伝搬パスが空気中か固体中かを識別する範囲を決定し、その範囲に基づいて前記伝搬パスが空気中か固体中かを判断する、請求項７記載の伝搬パス推定方法。
10. コンピュータに、
    音を検出する複数のセンサのセンサ出力信号から相互相関関数である特徴量を計算する処理と、
    該当特徴量に対応して前記音が伝搬する媒質である伝搬パスを判断する処理と、
    を実行させるプログラム。

Images