JP2023542645A - 累積時間ビューを用いた音響撮像のためのシステム及び方法 - Google Patents

Abstract

音響分析システムは、ターゲットシーンから音響信号を受け取り、かつ受け取られた音響信号に基づいて音響データを出力する音響センサアレイを含む。プロセッサが、音響センサアレイから、異なる時点におけるターゲットシーンを表す複数の音響データセットを受け取る。プロセッサは、各々がターゲットシーンから発せられた音響信号の場所である、複数の音響データセットによって表されるターゲットシーン内の１つ以上の場所を判定する。各音響信号に対して、プロセッサは、音響信号を間欠的な音響信号又は連続的な音響信号として分類し、複数の音響データセットに基づいて累積時間音響画像データを生成し、かつディスプレイ上に提示するための累積時間表示画像を生成する。累積時間表示画像内では、間欠的な音響信号として分類される音響信号が、連続的な音響信号として分類される音響信号から区別される。

Description

いくつかのエリア監視用途では、問題が、ある期間にわたってのみ明らかになるエリアを監視する必要がある場合がある。時々、これらの問題は、間欠的である場合があり、定期的なチェックで見逃される場合がある。

いくつかの場合には、音響撮像システムの視野内の異なる特徴が、異なる音響シグネチャを有し、このことが、視野の個々の部分を分析することを困難にし得る。例えば、ターゲットシーンの第１の部分は、正常に動作しているときでも典型的には大音量である第１の機器を含むことができる一方、ターゲットシーンの第２の部分は、通常は第１の機器よりもはるかに静穏であるが、誤動作している間は大音量になる第２の機器を含むことができる。誤動作を検出することは、第１の機器から発せられるより大きな音の存在が予想されることに起因して、困難であり得る。

例示的な音響撮像デバイスの正面図及び背面図を示す。 例示的な音響撮像デバイスの正面図及び背面図を示す。 音響分析システムの一実施例の構成要素を例示する機能ブロック図である。 音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 一フレームの可視光画像データ及び音響画像データの生成における視差誤差の概略説明図を示す。 一フレームの可視光画像データ及び音響画像データの生成における視差誤差の概略説明図を示す。 可視光画像と音響画像との視差補正を示す。 可視光画像と音響画像との視差補正を示す。 音響画像データと電磁画像データとを組み合わせて最終画像を生成するための例示的な方法を示すプロセスフロー図である。 受け取られた音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。 音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを判定するための例示的なルックアップテーブルを示す。 音響シーンにおける経時的な受け取られた画像データの周波数成分の例示的なプロットである。 音響信号を発する複数の場所を含む例示的なシーンを示す。 複数の予め定義された周波数範囲における複数の組み合わされた音響及び可視光画像データを示す。 組み合わされた可視光画像データ及び音響画像データを含む例示的な表示画像である。 組み合わされた可視光画像データ及び音響画像データを含む例示的な表示画像である。 音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。 音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。 ターゲット音響シーンにおける音の例示的な視覚化を示す。 ターゲット音響シーンにおける音の例示的な視覚化を示す。 ターゲット音響シーンにおける音の例示的な視覚化及び注釈を示す。

図１Ａ及び図１Ｂは、例示的な音響撮像デバイスの正面図及び背面図を示す。図１Ａは、音響センサアレイ１０４及び電磁撮像ツール１０６を支持するハウジング１０２を有する音響撮像デバイス１００の前面を示す。いくつかの実施形態では、音響センサアレイ１０４は、複数の音響センサ素子を含み、複数の音響センサ素子の各々は、音響シーンから発せられた音響信号を（例えば、受動的に）受け取り、かつ受け取られた音響信号に基づいて音響データを出力するように構成されている。電磁撮像ツール１０６は、ターゲットシーンから電磁放射を受け取り、かつ受け取られた電磁放射を表す電磁画像データを出力するように構成され得る。電磁撮像ツール１０６を、可視光、赤外線、紫外線などのような複数の波長範囲のうちの１つ以上の電磁放射を検出するように構成することができる。

例示される実施例では、音響撮像デバイス１００は、周囲光センサ１０８と、ＧＰＳなどの場所センサ１１６と、を含む。デバイス１００は、いくつかの実施形態では、レーザ距離計を含むレーザポインタ１１０を含む。デバイス１００は、シーンに向けて可視光放射を発するように構成され得るトーチ１１２と、シーンに向けて赤外線放射を発するように構成され得る赤外線照明器１１８と、を含む。いくつかの実施例では、デバイス１００は、任意の波長範囲にわたってシーンを照明するための照明器を含むことができる。デバイス１００は、カラー化された画像などの生成された画像をシーン上に投影するように構成され得る画像リプロジェクタなどのプロジェクタ１１４、及び／又は、例えば、シーンの深度プロファイルを判定するために、一連のドットをシーン上に投影するように構成されたドットプロジェクタを更に含む。

図１Ｂは、音響撮像デバイス１００の背面側を示す。示されるように、デバイスは、画像又は他のデータを提示することができるディスプレイ１２０を含む。いくつかの実施例では、ディスプレイ１２０は、タッチスクリーンディスプレイを含む。音響撮像デバイス１００は、ユーザに音声フィードバック信号を提供することができるスピーカと、音響撮像デバイス１００と外部デバイスとの間の無線通信を可能にすることができる無線インターフェース１２４と、を含む。デバイスは、ユーザが音響撮像デバイス１００とインターフェースすることを可能にするための１つ以上のボタン、ノブ、ダイヤル、スイッチ、又は他のインターフェース構成要素を含むことができる、制御部１２６を更に含む。いくつかの実施例では、制御部１２６とタッチスクリーンディスプレイとが組み合わさって、音響撮像デバイス１００のユーザインターフェースを提供する。

様々な実施形態では、音響撮像デバイスは、図１Ａ及び図１Ｂの実施形態に示されるあらゆる要素を含む必要はない。１つ以上の例示された構成要素を、音響撮像デバイスから除外することができる。いくつかの実施例では、図１Ａ及び図１Ｂの実施形態に示される１つ以上の構成要素を、音響撮像システムの一部として含めることができるが、ハウジング１０２とは別個に含めることができる。そのような構成要素は、有線又は無線通信技法を介して、例えば、無線インターフェース１２４を使用して、音響撮像システムの他の構成要素と通信することができる。

図２は、音響分析システム２００の一実施例の構成要素を例示する機能ブロック図である。図２の例示的な音響分析システム２００は、空気を介して伝わる音響信号を捕捉するために音響センサアレイ２０２内に配置されたマイクロフォン、ＭＥＭＳ、トランスデューサなどのような複数の音響センサを含むことができる。そのようなアレイは、一次元、二次元、又は三次元であり得る。様々な実施例では、音響センサアレイは、任意の好適なサイズ及び形状を定義することができる。いくつかの実施例では、音響センサアレイ２０２は、例えば、垂直列及び水平行に配置されたセンサ素子のアレイなどの格子パターンで配置された複数の音響センサを含む。様々な実施例では、音響センサアレイ２０２は、例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６などの垂直列×水平行のアレイを含むことができる。他の実施例が可能であり、様々なセンサアレイは、必ずしも列と同じ数の行を含む必要はない。いくつかの実施形態では、そのようなセンサを、例えば、プリント回路基板（printed circuit board、ＰＣＢ）基材などの基材上に位置付けることができる。

図２に示される構成では、音響センサアレイ２０２と通信するプロセッサ２１２は、複数の音響センサの各々から音響データを受け取ることができる。音響分析システム２００の例示的な動作中、プロセッサ２１２は、音響センサアレイ２０２と通信して、音響画像データを生成することができる。例えば、プロセッサ２１２を、音響センサアレイに配置された複数の音響センサの各々から受け取られたデータを分析し、かつ音響信号を音響信号源に「逆伝播」させることによって音響シーンを判定するように構成することができる。いくつかの実施形態では、プロセッサ２１２は、二次元シーンにわたる音響信号の様々なソース場所及び強度を識別することによって、音響画像データのデジタル「フレーム」を生成することができる。音響画像データのフレームを生成することによって、プロセッサ２１２は、実質的に所与の時点におけるターゲットシーンの音響画像を捕捉する。いくつかの実施例では、フレームは、音響画像を構成する複数のピクセルを含み、各ピクセルは、音響信号が逆伝播されたソースシーンの一部分を表す。

プロセッサ２１２を含む、音響分析システム２００内のプロセッサとして説明される構成要素は、単独又は任意の好適な組み合わせのいずれかで、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、プログラマブル論理回路などのような１つ以上のプロセッサとして実装されてもよい。プロセッサ２１２はまた、プロセッサ２１２によって実行されると、音響分析システム２００及びプロセッサ２１２に、本開示におけるそれらに帰属する機能を実行させるプログラム命令及び関連データを記憶するメモリを含み得る。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ－ＲＯＭ、ハード又はフロッピー磁気ディスク、ＥＥＰＲＯＭなどのような、任意の固定された又は取り外し可能な磁気、光学、又は電気媒体を含み得る。メモリはまた、メモリ更新又はメモリ容量の増加を提供するために使用され得る取り外し可能なメモリ部分を含んでもよい。取り外し可能なメモリはまた、音響画像データが別のコンピューティングデバイスに容易に転送されること、又は音響分析システム２００が別の用途で使用される前に取り外されることを可能にし得る。コンピュータ又は他の電子システムのいくつか又は全ての構成要素を単一チップに統合するシステムオンチップとして、プロセッサ２１２を実装することもできる。プロセッサ２１２（処理回路）は、処理されたデータをディスプレイ２１４又は他の出力／制御デバイス２１８に通信するように構成することができる。

いくつかの実施形態では、音響センサアレイ２０２内の音響センサは、音響画像を表すために、各音響センサによって空気を介して受け取られた音響信号に対応する一連の信号を生成する。各音響センサからの信号が、音響センサアレイ２０２を構成する行の全てを走査することによって得られるときに、音響画像データの「フレーム」が生成される。いくつかの実施例では、プロセッサ２１２は、音響画像データのビデオ表現（例えば、３０Ｈｚ、又は６０Ｈｚ）を生成するのに十分なレートで音響画像フレームを取得することができる。特定の回路とは独立して、音響分析システム２００は、表示され、記憶され、伝送され、又はユーザによって別様に利用され得る出力を提供するために、ターゲットシーンの音響プロファイルを表す音響データを操作するように構成されてもよい。

いくつかの実施形態では、音響画像データを生成するための受け取られた音響信号の「逆伝播」は、例えば、プロセッサを介して、音響センサアレイ２０２内の複数の音響センサにおいて受け取られた信号を分析することを含む。様々な実施例では、逆伝播を実行することは、ターゲットまでの距離、周波数、音強度（例えば、ｄＢレベル）、例えば、１つ以上のアレイ内の個々のセンサの間隔及び配置などを含むセンサアレイの寸法／構成を含む、１つ以上のパラメータの関数である。いくつかの実施形態では、そのようなパラメータを、システムに、例えば、メモリに、予めプログラムすることができる。例えば、音響センサアレイ２０２の特性を、内部メモリ又は特に音響センサアレイ２０２に関連付けられたメモリなどのメモリに記憶することができる。

ターゲットまでの距離などの他のパラメータを、多様な方法で受け取ることができる。例えば、いくつかの実施例では、音響分析システム２００は、プロセッサ２１２と通信する距離測定ツール２０４を含む。距離測定ツールを、距離測定ツール２０４からターゲットシーン内の特定の場所までの距離を表す距離情報を提供するように構成することができる。様々な距離測定ツールは、レーザ距離計、又は他の光学若しくは音声距離測定デバイスなどの、他の知られている距離測定デバイスを含むことができる。加えて又は代わりに、距離測定ツールを、ターゲットシーンの各部分が、関連付けられたターゲットまでの距離の値を有するように、三次元深度データを生成するように構成することができる。したがって、いくつかの実施例では、本明細書で使用される、ターゲットまでの距離の測定値は、ターゲットシーン内の各場所までの距離に対応し得る。そのような三次元深度データを、例えば、ターゲットシーンの異なるビューを有する複数の撮像ツールを介して、又は他の知られている距離走査ツールを介して生成することができる。概して、様々な実施形態では、距離測定ツールを使用して、レーザ距離測定、能動的な音波距離測定、受動的な超音波距離測定、ＬＩＤＡＲ距離測定、ＲＡＤＡＲ距離測定、ミリ波距離測定などを含むがこれらに限定されない、１つ以上の距離測定機能を実行することができる。

距離測定ツール２０４からの距離情報を、逆伝播計算において使用することができる。加えて又は代わりに、システム２００は、ユーザがターゲットまでの距離のパラメータを手動で入力し得るユーザインターフェース２１６を含むことができる。例えば、ユーザは、音響信号を生み出していると疑われる構成要素までの距離が既知であるか、又は距離測定ツール２０４を用いて測定することが困難である場合に、ターゲットまでの距離の値をシステム２００に入力し得る。

例示される実施形態では、音響分析システム２００は、ターゲットシーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、ターゲットシーンから電磁放射を受け取り、かつ受け取られた電磁放射を表す電磁画像データを生成するように構成することができる。いくつかの実施例では、電磁撮像ツール２０３を、赤外線放射、可視光放射、及び紫外線放射などの電磁スペクトル内の特定の波長範囲を表す電磁画像データを生成するように構成することができる。例えば、いくつかの実施形態では、電磁タイミングツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の波長範囲を表す画像データを生成するように構成された１つ以上のカメラモジュールを含むことができる。

可視光カメラモジュールは、一般に、周知である。例えば、様々な可視光カメラモジュールが、スマートフォン及び多数の他のデバイスに含まれる。いくつかの実施形態では、可視光カメラモジュール２０６は、ターゲットシーンから可視光エネルギーを受け取り、例えば、ディスプレイ２１４上に可視光画像の形態で表示され、かつ／又はメモリに記憶され得る可視光エネルギーデータの生成のために、可視光エネルギーを可視光センサ上に集束させるように構成され得る。可視光カメラモジュール２０６は、本明細書のモジュールに帰属する機能を実行するための任意の好適な構成要素を含むことができる。図２の実施例では、可視光カメラモジュール２０６は、可視光レンズアセンブリ２０８及び可視光センサ２１０を含むものとして例示されている。いくつかのそのような実施形態では、可視光レンズアセンブリ２０８は、ターゲットシーンによって発せられた可視光エネルギーを取り込み、かつ可視光エネルギーを可視光センサ２１０上に集束させる少なくとも１つのレンズを含む。可視光センサ２１０は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランシェフォトダイオードなどのような複数の可視光センサ素子を含むことができる。可視光センサ２１０は、変換されてディスプレイ２１４上に可視光画像として表示され得る電気信号を生成することによって、集束されたエネルギーに応答する。いくつかの実施例では、可視光モジュール２０６は、ユーザによって構成可能であり、多様な形式で、例えば、ディスプレイ２１４に、出力を提供することができる。可視光カメラモジュール２０６は、ばらつきがある照明若しくは他の動作条件又はユーザの好みに対する、補償機能を含み得る。可視光カメラモジュールは、多様な形式（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）のデータを含み得る画像データを含むデジタル出力を提供し得る。

いくつかの例示的な可視光カメラモジュール２０６の動作において、ターゲットシーンから受け取られた光エネルギーは、可視光レンズアセンブリ２０８を通過し、可視光センサ２１０上に集束され得る。光エネルギーが可視光センサ２１０の可視光センサ素子に入射すると、光検出器内の光子が放出され、検出電流に変換され得る。プロセッサ２１２は、この検出電流を処理して、ターゲットシーンの可視光画像を形成することができる。

音響分析システム２００の使用中、プロセッサ２１２は、可視光カメラモジュール２０６を、可視光画像を作成するために、捕捉されたターゲットシーンから可視光データを生成するように制御することができる。可視光データは、捕捉されたターゲットシーンの異なる部分に関連付けられた色、及び／又は捕捉されたターゲットシーンの異なる部分に関連付けられた光の大きさ、を示す光度データを含み得る。プロセッサ２１２は、音響分析システム２００の各可視光センサ素子の応答を１回測定することによって、可視光画像データの「フレーム」を生成することができる。可視光データのフレームを生成することによって、プロセッサ２１２は、所与の時点におけるターゲットシーンの可視光画像を捕捉する。プロセッサ２１２はまた、ターゲットシーンの動的可視光画像（例えば、ビデオ表現）を生成するために、音響分析システム２００の各可視光センサ素子の応答を繰り返し測定してもよい。いくつかの実施例では、可視光カメラモジュール２０６は、可視光カメラモジュール２０６を動作させることが可能な独自の専用プロセッサ又は他の回路（例えば、ＡＳＩＣ）を含み得る。いくつかのそのような実施形態では、専用プロセッサは、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２１２に提供するために、プロセッサ２１２と通信する。代替実施形態では、可視光カメラモジュール２０６のための専用プロセッサが、プロセッサ２１２に統合されてもよい。

可視光カメラモジュール２０６の各センサ素子をセンサピクセルとして機能させて、プロセッサ２１２は、各センサ素子の電気的応答を、例えば、ディスプレイ２１４上での視覚化及び／又はメモリへの記憶のために、処理され得る時分割多重化電気信号に変換することによって、ターゲットシーンからの可視光の二次元画像又はピクチャ表現を生成することができる。

プロセッサ２１２は、捕捉されたターゲットシーンの可視光画像の少なくとも一部分を表示するように、ディスプレイ２１４を制御し得る。いくつかの実施例では、プロセッサ２１２は、可視光カメラモジュール２０６の各センサ素子の電気的応答がディスプレイ２１４上の単一の画素に関連付けられるように、ディスプレイ２１４を制御する。他の実施例では、プロセッサ２１２は、ディスプレイ２１４上に表示されるピクセルが可視光カメラモジュール２０６内にあるセンサ素子よりも多いか又は少ないように、可視光画像の解像度を増加又は減少させ得る。プロセッサ２１２は、可視光画像全体（例えば、音響分析システム２００によって捕捉されたターゲットシーンの全ての部分）、又は可視光画像全体未満（例えば、音響分析システム２００によって捕捉されたターゲットシーン全体より少ない部分）を表示するように、ディスプレイ２１４を制御し得る。

いくつかの実施形態では、プロセッサ２１２は、音響分析システム２００によって捕捉された可視光画像の少なくとも一部分と、音響センサアレイ２０２を介して生成された音響画像の少なくとも一部分と、を同時に表示するように、ディスプレイ２１４を制御し得る。そのような同時表示は、オペレータが可視光画像内に表示された特徴を参照して、音響画像内に同時に表示された音響信号源を見るのに役立ち得るという点で有用であり得る。いくつかの場合には、プロセッサ２１２は、電磁（例えば、可視光）画像データ内の１つ以上の特徴を認識し、かつ１つ以上の認識された特徴に基づいて、音響画像データの少なくとも一部分を指定する（識別又は線引きする）ように構成されている。様々な実施例では、プロセッサ２１２は、可視光画像及び音響画像を並列配置で、画像のうちの一方が画像のうちの他方を取り囲むピクチャインピクチャ配置で、又は可視光及び音響画像が同時に表示される任意の他の好適な配置で表示するように、ディスプレイ２１４を制御し得る。

例えば、プロセッサ２１２は、可視光画像及び音響画像を組み合わされた配置で表示するように、ディスプレイ２１４を制御し得る。そのような配置では、ターゲットシーンの一部分を表す可視光画像内のピクセル又はピクセルのセットについて、ターゲットシーンの実質的に同じ部分を表す、音響画像内の対応するピクセル又はピクセルのセットが存在する。様々な実施形態では、音響画像及び可視光画像のサイズ及び／又は解像度は、同じである必要はない。したがって、音響画像又は可視光画像のうちの一方の中に、音響画像又は可視光画像のうちの他方の中の単一のピクセルに対応するピクセルのセット、又は異なるサイズのピクセルのセットが存在し得る。同様に、可視光画像又は音響画像のうちの一方には、他方の画像内のピクセルのセットに対応するピクセルが存在し得る。したがって、本明細書で使用される場合、対応することは、１対１のピクセル関係を必要としないが、一致しないサイズのピクセル又はピクセルのグループを含み得る。画像のうちの１つをアップサンプリング若しくはダウンサンプリングすること、又はピクセルを対応するピクセルのセットの平均値と組み合わせることなどの、画像の一致しないサイズの領域の様々な組み合わせ技法が実行され得る。他の実施例が知られており、本開示の範囲内にある。

したがって、対応するピクセルは、直接的な１対１の関係を有する必要はない。むしろ、いくつかの実施形態では、単一の音響ピクセルが、複数の対応する可視光ピクセルを有するか、又は可視光ピクセルが、複数の対応する音響ピクセルを有する。加えて又は代わりに、いくつかの実施形態では、全ての可視光ピクセルが、対応する音響ピクセルを有するわけではなく、逆もまた同様である。そのような実施形態は、例えば、先に論じたようなピクチャインピクチャタイプのディスプレイを示し得る。したがって、可視光ピクセルは、必ずしも、対応する音響ピクセルが有するのと同じピクセル座標を可視光画像内に有するものではない。したがって、本明細書で使用される場合、対応するピクセルは、概して、ターゲットシーンの実質的に同じ部分からの情報を含む任意の画像（例えば、可視光画像、音響画像、組み合わされた画像、表示画像など）からのピクセルを指す。そのようなピクセルは、画像間で１対１の関係を有する必要がなく、これらのピクセルのそれぞれの画像内で同様の座標位置を有する必要がない。

同様に、対応するピクセル（すなわち、ターゲットシーンの同じ部分を表すピクセル）を有する画像は、対応する画像と称され得る。したがって、いくつかのそのような配置では、対応する可視光画像及び音響画像は、対応するピクセルにおいて互いの上に重ね合わされ得る。オペレータは、ユーザインターフェース２１６とインタラクトして、ディスプレイ２１４上に表示される画像の一方又は両方の透明度又は不透明度を制御し得る。例えば、オペレータは、ユーザインターフェース２１６とインタラクトして、完全に透明であることと完全に不透明であることとの間で音響画像を調整することができ、また、完全に透明であることと完全に不透明であることとの間で可視光画像を調整することができる。そのような例示的な組み合わされた配置は、アルファブレンドされた配置と称されることがあり、オペレータがディスプレイ２１４を、音響のみの画像、可視光のみの画像、又は音響のみの画像と可視光のみの画像との両極端の間で２つの画像の任意のオーバーラップする組み合わせを表示することを可能にし得る。プロセッサ２１２はまた、シーン情報を、アラームデータなどのような他のデータと組み合わせてもよい。概して、可視光画像及び音響画像のアルファブレンドされた組み合わせは、１００パーセントの音響及び０パーセントの可視光から０パーセントの音響及び１００パーセントの可視光までのいずれかを含むことができる。いくつかの実施形態では、ブレンディングの量を、カメラのユーザによって調整することができる。したがって、いくつかの実施形態では、ブレンドされた画像を、１００パーセント可視光と１００パーセント音響との間で調整することができる。

加えて、いくつかの実施形態では、プロセッサ２１２は、ユーザインターフェース２１６及び／又は出力／制御デバイス２１８からのコマンドを解釈及び実行することができる。更に、入力信号を使用して、プロセッサ２１２で行われる可視光及び／又は音響画像データの処理を変更してもよい。

オペレータは、ユーザからの入力を受け取るためのボタン、キー、又は別の機構を含み得るユーザインターフェース２１６を介して、音響分析システム２００とインタラクトし得る。オペレータは、ディスプレイ２１４を介して音響分析システム２００から出力を受け取り得る。ディスプレイ２１４は、音響画像及び／又は可視光画像を任意の許容可能なパレット又はカラースキームで表示するように構成されてもよく、パレットは、例えば、ユーザ制御に応答してばらつく場合がある。いくつかの実施形態では、シーン内の異なる場所からの音響データのばらつきがある大きさを表すために、音響画像データをパレットで提示することができる。例えば、いくつかの実施例では、ディスプレイ２１４は、グレースケールなどの単色パレットで音響画像を表示するように構成されている。他の実施例では、ディスプレイ２１４は、例えば、アンバー、アイアンボウ、ブルーレッド、又は他の高コントラストカラースキームなどのカラーパレットで音響画像を表示するように構成されている。グレースケール表示とカラーパレット表示との組み合わせも考えられる。いくつかの実施例では、ディスプレイがそのような情報を表示するように構成されていることは、そのような画像データを生成及び提示するための処理能力を含み得る。他の実施例では、そのような情報を表示するように構成されていることは、プロセッサ２１２などの他の構成要素から画像データを受け取る能力を含み得る。例えば、プロセッサ２１２は、表示されるべき各ピクセルの値（例えば、ＲＧＢ値、グレースケール値、又は他の表示オプション）を生成し得る。ディスプレイ２１４は、そのような情報を受け取り、各ピクセルを視覚的な表示にマッピングし得る。

プロセッサ２１２は、音響画像の少なくとも一部分と、可視光画像の少なくとも一部分とを任意の好適な配置で同時に表示するように、ディスプレイ２１４を制御することができるが、ピクチャインピクチャ配置は、同じシーンの対応する可視画像を隣接アライメントで表示することによって、オペレータが音響画像を容易に集束させ、かつ／又は解釈するに役立ち得る。

電源（図示せず）は、音響分析システム２００の様々な構成要素に動作電力を供給する。様々な実施例では、電源は、充電式又は非充電式バッテリ及び発電回路、ＡＣ電源、誘導電力ピックアップ、光起電力電源、又は任意の他の適切な電力供給構成要素を含み得る。充電式バッテリ、及びデバイスを動作させるための電力を提供するように、かつ／又は充電式バッテリを充電するように構成された別の構成要素などの、電力供給構成要素の組み合わせも可能である。

音響分析システム２００の動作中、プロセッサ２１２は、メモリに記憶されたプログラム情報に関連付けられた命令を補助的に用いてターゲットシーンの可視光画像及び音響画像を生成するように、音響センサアレイ２０２及び可視光カメラモジュール２０６を制御する。プロセッサ２１２は、可視光画像、及び／又は音響分析システム２００によって生成された音響画像を表示するように、ディスプレイ２１４を更に制御する。

特記したように、いくつかの状況では、音響画像内のターゲットシーンの現実世界の（可視）特徴を識別及び判別することが困難であり得る。音響画像を可視光情報で補足することに加えて、いくつかの実施形態では、ターゲットシーン内の可視エッジを強調することが有用であり得る。いくつかの実施形態では、ターゲットシーンの可視光画像に対して、知られているエッジ検出方法を実行することができる。音響画像と可視光画像との対応関係のため、ターゲットシーンにおいて可視エッジを表すと判定された可視光画素は、音響画像においても可視エッジを表す音響画素に対応する。本明細書で使用される場合、「エッジ」は、オブジェクトの物理的境界を指す必要はないが、可視光画像内の任意の十分に鋭い勾配を指し得ることが理解されよう。実施例は、オブジェクトの物理的境界、オブジェクト内の色変化、シーンにわたる影などを含み得る。

可視光カメラモジュール２０６を含むものとして図２に関して概して説明されているが、いくつかの実施例では、音響分析システム２００の電磁撮像ツール２０３は、加えて又は代わりに、多様なスペクトルを表す画像データを生成することが可能な撮像ツールを含むことができる。例えば、様々な実施例では、電磁撮像ツール２０３は、赤外線画像データ、可視光画像データ、紫外線画像データ、若しくは任意の他の有用な波長、又はこれらの組み合わせを生成することが可能な１つ以上のツールを含むことができる。いくつかの実施形態では、音響撮像システムは、赤外線レンズアセンブリ及び赤外線センサアレイを有する赤外線カメラモジュールを含むことができる。例えば、本出願の譲受人に譲渡されており、参照により全体が本明細書に組み込まれる、２０１５年８月２７日に出願された、「ＥＤＧＥ ＥＮＨＡＮＣＥＭＥＮＴ ＦＯＲ ＴＨＥＲＭＡＬ－ＶＩＳＩＢＬＥ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥＳ ＡＮＤ ＣＡＭＥＲＡＳ」と題する、米国特許出願第１４／８３７，７５７号に説明されるものなどの赤外線カメラモジュールとインターフェースするための追加の構成要素を含めることができる。

いくつかの実施例では、２つ以上のデータストリームを表示のためにブレンドすることができる。例えば、可視光カメラモジュール２０６、音響センサアレイ２０２、及び赤外線カメラモジュール（図２には図示せず）を含む例示的なシステムを、可視光（visible light、ＶＬ）画像データ、赤外線（infrared、ＩＲ）画像データ、及び音響（Acoustic）画像データのブレンドを含む出力画像を生成するように構成することができる。例示的なブレンディングスキームでは、表示画像を、α×ＩＲ＋β×ＶＬ＋γ×Ａｃｏｕｓｔｉｃによって表すことができ、ここで、α＋β＋γ＝１である。概して、任意の数のデータストリームを表示のために組み合わせることができる。様々な実施形態では、α、β、及びγなどのブレンディング比率を、ユーザが設定することができる。加えて又は代わりに、設定された表示プログラムを、例えば、本出願の譲受人に譲渡されており、参照により全体が本明細書に組み込まれる、「ＶＩＳＩＢＬＥ ＬＩＧＨＴ ＡＮＤ ＩＲ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥ ＣＡＭＥＲＡ ＷＩＴＨ Ａ ＬＡＳＥＲ ＰＯＩＮＴＥＲ」と題する米国特許第７，５３８，３２６号に説明される、アラーム条件（例えば、１つ以上のデータストリーム中の１つ以上の値が所定の閾値を満たす）又は他の条件に基づいて、異なる画像データストリームを含むように構成することができる。

図２の実施例は、追加のセンサ２５０を更に含む。追加のセンサ２５０は、プロセッサに補助データを提供するように構成することができる。そのようなデータは、音響分析システム２００に関連付けられた１つ以上の環境パラメータ又は他のコンテキストパラメータに関する情報を含むことができる。例えば、いくつかの場合には、追加のセンサ２５０は、湿度センサ、温度センサ、位置センサ（例えば、ＧＰＳセンサ）、１つ以上の方位センサ、電流センサ、電圧センサ、又は他の適切なセンサを含むことができる。図２にはセンサ２５０が示されているが、概して、音響分析システムは、音響分析システムに関連付けられ、かつプロセッサと通信する任意の数の追加のセンサを含むことができる。

図２に関して説明された音響分析システム２００内の１つ以上の構成要素を、携帯型の（例えば、ハンドヘルド型の）音響分析ツールに含めることができる。例えば、いくつかの実施形態では、携帯型音響分析ツールは、音響分析ツール内の構成要素を収容するように構成されたハウジング２３０を含むことができる。いくつかの実施例では、システム２００の１つ以上の構成要素は、音響分析ツールのハウジング２３０の外部に位置することができる。例えば、いくつかの実施形態では、プロセッサ２１２、ディスプレイ２１４、ユーザインターフェース２１６、及び／又は出力制御デバイス２１８は、音響分析ツールのハウジングの外部に位置することができ、例えば、無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ－Ｆｉなど）を介して、様々な他のシステム構成要素と通信することができる。音響分析ツールの外部のそのような構成要素は、例えば、コンピュータ、スマートフォン、タブレット、ウェアラブルデバイスなどのような外部デバイスを介して提供することができる。加えて又は代わりに、音響分析ツールに対してマスタデバイス又はスレーブデバイスとして機能するように構成された他の試験及び測定ツール又はデータ取得ツールは、音響分析ツールの外部の音響分析システムの様々な構成要素を同様に提供することができる。外部デバイスは、有線接続及び／又は無線接続を介して携帯型音響分析ツールと通信することができ、外部デバイスを使用して、様々な処理ステップ、表示ステップ、及び／又はインターフェースステップを実行することができる。例えば、いくつかの実施形態では、１つ以上の追加のセンサ（例えば、追加のセンサ２５０）は、音響分析システム２００の１つ以上の構成要素の外部（例えば、ハウジング２３０の外側）に位置し、プロセッサ２１２と無線で通信することができる。

いくつかの実施形態では、そのような外部デバイスは、携帯型音響分析ツールに収容される構成要素として冗長機能性を提供することができる。例えば、いくつかの実施形態では、音響分析ツールは、音響画像データを表示するためのディスプレイを含むことができ、画像データを記憶及び／又は表示のために外部デバイスに通信するように更に構成することができる。同様に、いくつかの実施形態では、ユーザは、音響分析ツール自体で実行されることも可能である１つ以上の機能を実行するために、スマートフォン、タブレット、コンピュータなどで実行されるアプリケーション（「アプリ」）を介して音響分析ツールとインターフェースし得る。

図３Ａは、音響分析システム内の音響センサアレイの例示的な構成の概略図である。例示される実施例では、音響センサアレイ３０２は、複数の第１の音響センサ（白色で示される）及び複数の第２の音響センサ（陰影付き）を含む。第１の音響センサは、第１のアレイ３２０に配置されており、第２の音響センサは、第２のアレイ３２２に配置されている。いくつかの実施例では、第１のアレイ３２０及び第２のアレイ３２２を選択的に使用して、空気を介して音響信号を、例えば、受動的に、受け取り、対応する音響画像データを生成することができる。例えば、いくつかの構成では、特定の音響周波数に対する特定の音響センサアレイの感度は、音響センサ素子間の距離の関数である。

いくつかの構成では、より近接して互いに隔てて配置されたセンサ素子（例えば、第２のアレイ３２２）は、より遠くに隔てて配置されたセンサ素子（例えば、第１のアレイ３２０）よりも、より高周波数の音響信号（例えば、２０ｋＨｚ～１００ｋＨｚの超音波信号などの、２０ｋＨｚを超える周波数を有する音）をより良好に分解することができる。同様に、より遠くに隔てて配置されたセンサ素子（例えば、第１のアレイ３２０）は、より近接して隔てて配置されたセンサ素子（例えば、第２のアレイ３２２）よりも、より低周波数の音響信号（例えば、＜２０ｋＨｚ）を検出するのにより適し得る。超低周波数（＜２０Ｈｚ）、可聴周波数（およそ２０Ｈｚ～２０ｋＨｚ）、超音波周波数（２０ｋＨｚ～１００ｋＨｚ）などの様々な周波数範囲の音響信号を検出するために、互いに離間して配置されたセンサ素子を有する様々な音響センサアレイを提供することができる。いくつかの実施形態では、特定の周波数帯域の検出を最適化するために、部分アレイを使用することができる（例えば、アレイ３２０からの１つおきの音響センサ素子）。

加えて、いくつかの実施例では、いくつかの音響センサ素子は、低周波数又は高周波数などの異なる周波数特性を有する音響信号を検出するのにより適し得る。したがって、いくつかの実施形態では、より遠くに隔てて配置されたセンサ素子を有する第１のアレイ３２０などの、低周波数の音響信号を検出するように構成されたアレイは、低周波数の音響信号を検出するのにより適した第１の音響センサ素子を含み得る。同様に、第２のアレイ３２２などの、より高周波数の音響信号を検出するように構成されたアレイは、高周波数の音響信号を検出するのにより適した第２の音響センサ素子を含み得る。したがって、いくつかの実施例では、音響センサ素子の第１のアレイ３２０及び第２のアレイ３２２は、異なるタイプの音響センサ素子を含み得る。代わりに、いくつかの実施形態では、第１のアレイ３２０及び第２のアレイ３２２は、同じタイプの音響センサ素子を含むことができる。

したがって、例示的な一実施形態では、音響センサアレイ３０２は、第１のアレイ３２０及び第２のアレイ３２２などの複数の音響センサ素子アレイを含むことができる。いくつかの実施形態では、アレイを、個々に又は組み合わせて使用することができる。例えば、いくつかの実施例では、ユーザは、音響撮像手順を実行するために、第１のアレイ３２０を使用すること、第２のアレイ３２２を使用すること、又は第１のアレイ３２０及び第２のアレイ３２２の両方を同時に使用することを選択し得る。いくつかの実施例では、ユーザは、どのアレイがユーザインターフェースを介して使用されるべきかを選択し得る。加えて又は代わりに、いくつかの実施形態では、音響分析システムは、受け取られた音響信号、又は予想される周波数範囲などのような他の入力データの分析に基づいて、使用するアレイを自動的に選択してもよい。図３Ａに示される構成は、概して、ほぼ矩形格子に配置された２つのアレイ（第１のアレイ３２０及び第２のアレイ３２２）を含むが、複数の音響センサ素子を、任意の形状の任意の数の離散的なアレイにグループ化することができることが理解されよう。更に、いくつかの実施形態では、１つ以上の音響センサ素子を、動作のために選択され得る複数の別異のアレイに含めることができる。本明細書の他の箇所で説明されるように、様々な実施形態では、音響信号を逆伝播してシーンからの音響画像データを確立するためのプロセスは、音響センサ素子の配置に基づいて実行される。したがって、音響センサの配置は、音響画像生成技法を実行するために、プロセッサによって既知であるか、又は別様にアクセス可能であり得る。

図３Ａの音響分析システムは、音響センサアレイ３０２内に位置付けられた距離測定ツール３０４及びカメラモジュール３０６を更に含む。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表すことができ、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含むことができる。加えて、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプ又は異なるタイプの１つ以上の追加のカメラモジュールを含むことができる。例示される実施例では、距離測定ツール３０４及びカメラモジュール３０６は、第１のアレイ３２０及び第２のアレイ３２２中の音響センサ素子の格子内に位置付けられている。第１のアレイ３２０及び第２のアレイ３２２内の格子サイト間に配設されているように示されているが、いくつかの実施形態では、１つ以上の構成要素（例えば、カメラモジュール３０６及び／又は距離測定ツール３０４を、第１のアレイ３２０及び／又は第２のアレイ３２２中の対応する１つ以上の格子サイトに位置付けることができる。いくつかのそのような実施形態では、構成要素を、典型的には格子配置に従ってそのような場所にあるであろう音響センサ素子の代わりに、格子サイトに位置付けることができる。

本明細書の他の箇所で説明されるように、音響センサアレイは、ターゲットシーン又はターゲットシーンの近くに位置する音響源から発せられた音響信号を、空気を介して受け取るための、多様な構成のいずれかに配置される音響センサ素子を含むことができる。図３Ｂ及び図３Ｃは、例示的な音響センサアレイ構成を例示する概略図である。図３Ｂは、ほぼ正方格子状に均等に離間して配置された複数の音響センサ素子を含む音響センサアレイ３９０を示す。距離測定ツール３１４及びカメラアレイ３１６は、音響センサアレイ３９０内に位置付けられている。例示される実施例では、音響センサアレイ３９０中の音響センサ素子は、同じタイプのセンサであるが、いくつかの実施形態では、アレイ３９０において異なるタイプの音響センサ素子を使用することができる。

図３Ｃは、複数の音響センサアレイを示す。音響センサアレイ３９２、３９４、及び３９６は各々、異なる形状のアレイに配置された複数の音響センサ素子を含む。図３Ｃの実施例では、音響センサアレイ３９２、３９４、及び３９６を、様々なサイズのセンサアレイを作成するために、別個に又は任意の組み合わせで一緒に使用することができる。例示される実施形態では、アレイ３９６のセンサ素子は、アレイ３９２のセンサ素子よりも互いに近接して隔てて配置されている。いくつかの実施例では、アレイ３９６は、より高周波数の音響信号を感知するように設計されている一方、アレイ３９２は、より低周波数の音響信号を感知するように設計されている。

様々な実施形態では、アレイ３９２、３９４、及び３９６は、同じ又は異なるタイプの音響センサ素子を含むことができる。例えば、音響センサアレイ３９２は、音響センサアレイ３９６のセンサ素子の周波数動作範囲よりも低い周波数動作範囲を有するセンサ素子を含むことができる。

本明細書の他の箇所で説明されるように、いくつかの実施例では、異なる音響センサアレイ（例えば、３９２、３９４、３９６）を、様々な動作モード（例えば、撮像される種々の所望の周波数スペクトル）中に選択的にターンオフ及びターンオンすることができる。加えて又は代わりに、様々な音響センサ素子（例えば、１つ以上のセンサアレイ中の音響センサ素子のいくつか又は全て）を、所望のシステム動作に従って有効化又は無効化することができる。例えば、いくつかの音響撮像プロセスでは、多数のセンサ素子（例えば、センサアレイ３９６中などの高密度に配置されたセンサ素子）からのデータは、音響画像データ解像度を限界近くまで改善するが、各センサ素子で受け取られたデータから音響画像データを抽出するために必要とされる処理を犠牲にする。すなわち、いくつかの実施例では、多数の入力信号（例えば、多数の音響センサ素子からの）を処理するために必要な処理要求（例えば、コスト、処理時間、電力消費などにおける）の増加は、追加のデータストリームによって提供された任意の追加の信号分解能に対しては負の相当分になる。したがって、いくつかの実施形態では、所望の音響撮像動作に応じて１つ以上の音響センサ素子からのデータを無効にするか又は無視することは価値があり得る。

図３Ａ及び図３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、及び３９６内に位置付けられた距離測定ツール３１４及びカメラアレイ３１６を含む。いくつかの実施例では、追加のカメラアレイ（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を撮像するために使用される）などの追加の構成要素が、音響センサアレイ３９２、３９４、及び３９６内に同様に位置付けられ得る。図３Ａ～図３Ｃでは、１つ以上の音響センサアレイ内に位置付けられているものとして示されているが、距離測定ツール及び／又は１つ以上の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサなど）は、音響センサアレイの外側に位置することができることが理解されよう。いくつかのそのような実施例では、音響センサアレイの外側に位置する距離測定ツール及び／又は１つ以上の撮像ツールを、音響撮像ツールによって、例えば、音響センサアレイを収容するハウジングによって支持することができるか、又は音響撮像ツールのハウジングの外部に位置させることができる。

図３Ａ～図３Ｃは、例示的な音響センサアレイ構成を提供するが、他の音響センサアレイ構成が使用されてもよい。音響センサアレイ構成は、グリッド状パターンに、同心円に、ひまわりアレイに、規則的な円形アレイになどで配置された音響センサなど、多様な形状及びパターンを含み得る。図３Ｄは、音響センサ３９５が順序付けられた円形アレイ構成に配置されている例示的な実施形態を提供する。図３Ｄに示されるような順序付けられた円形アレイは、音響センサ間に均一な距離を有するのではなく、音響センサ間に様々な距離を提供し得る。そのような確認は、音響センサアレイが、音響センサアレイの様々な部分を使用することによって、より広い範囲の周波数を見分けるのに役立ち得る。例えば、音響センサが互いに近接するほど、音響センサは、より高い周波数をより良好に検出し得る。同様に、音響センサが互いから遠ざかるほど、音響センサは、より低い周波数をより良好に検出し得る。したがって、より近いものもあればより遠いものもある、多様な音響センサ間距離を有することは、より広い範囲の周波数に対してより良好な検出を提供するのに役立ち得る。更に、図３Ｄの順序付けられた円形アレイは、アレイの異なる部分についての音の場所に対する到着時間の差を提供し、したがって、音響センサアレイに焦点を合わせること、及び／又は音響信号が発せられている場所を判定することに役立ち得る。加えて、順序付けられた円形アレイは、存在し得る空間エイリアシング及びサイドローブを解決するのに役立ち得る。

いくつかの実施例では、音響センサアレイとカメラモジュールなどの撮像ツールとの全般的な位置ずれは、音響センサアレイ及び撮像ツールによって生成された対応する画像データの位置ずれにつながる可能性がある。図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差誤差の概略説明図を示す。概して、視差誤差は、垂直、水平、又はその両方であり得る。例示される実施形態では、音響センサアレイ４２０及び撮像ツールは、可視光カメラモジュール４０６を含む。可視光画像フレーム４４０は、可視光カメラモジュール４０６の視野４４１に従って捕捉されているように示されている一方、音響画像フレーム４５０は、音響センサアレイ４２０の視野４５１に従って捕捉されているように示されている。

示されるように、可視光画像フレーム４４０及び音響撮像フレーム４５０は、互いに位置整合していない。いくつかの実施形態では、プロセッサ（例えば、図２のプロセッサ２１２）は、可視光画像データと音響画像データとを位置整合させるために、可視光画像フレーム４４０及び音響画像フレーム４５０の一方又は両方を操作するように構成されている。そのような操作は、一方の画像フレームを他方に対してシフトさせることを含むことができる。画像フレームを互いに対してシフトさせる量を、例えば、可視光カメラモジュール４０６及び／又は音響センサアレイ４２０からのターゲット距離を含む、多様な要因に基づいて判定することができる。そのような距離データを、例えば、距離測定ツール４０４を使用して、又はユーザインターフェース（例えば、２１６）を介して距離の値を受け取ることによって、判定することができる。

図４Ｂは、図４Ａと同様の概略説明図であるが、シーンの可視光画像を含む。図４Ｂの実施例では、可視光画像４４２は、複数の電力線及び支持塔のシーンを示す。音響画像４５２は、複数の場所４５４、４５６、４５８を含み、これらの場所は、そのような場所から到来する高振幅音響データを示す。示されるように、可視光画像４４２及び音響画像４５２は、両方とも同時に表示される。しかしながら、両方の画像の観察は、可視光画像４４２内のいかなる特定の構造とも一致しないように見える、場所４５８における少なくとも１つの音響画像極大値を示す。したがって、両方の画像を観察する者は、音響画像４５２と可視光画像４４２との間に位置ずれ（例えば、視差誤差）があると結論付けることができる。

図５Ａ及び図５Ｂは、可視光画像と音響画像との視差補正を示す。図５Ａは、図４Ｂと同様に、可視光画像５４２及び音響画像５５２を示す。音響画像５５２は、場所５５４、５５６、及び５５８に極大値を含む。見て分かるように、場所５５４及び５５８における最大値は、可視光画像内のいかなる構造とも一致しないように見える。図５Ｂの実施例では、可視光画像５４２と音響画像５５２とが、互いに位置合わせされている。音響画像内の場所５５４、５５６、及び５５８における極大値は、ここでは、可視光画像５４２内の様々な場所と一致しているように見える。

使用中、オペレータは、図５Ｂの表現を見て（例えば、ディスプレイ２１４を介して）、受け取られた音響信号のソースである可能性が高い可視シーン５４２内のおよその場所を判定し得る。そのような信号を、シーン内の様々な構成要素の音響シグネチャに関する情報を判定するために更に処理することができる。様々な実施形態では、周波数成分、周期性、振幅などのような音響パラメータを、音響画像内の様々な場所に関して分析することができる。そのようなパラメータを様々なシステム構成要素に関連付けることができるように可視光データ上にオーバーレイされる場合、音響画像データは、可視光画像内のオブジェクトの様々な特性（例えば、性能特性）を分析するために使用され得る。

図５Ａ及び図５Ｂに示されるように、場所５５４、５５６、及び５５８は、円形勾配を示す。本明細書の他の箇所で説明されるように、音響画像データを、音響画像データの各ピクセルが、対応する場所における音響強度に基づいてカラー化されるパレット化スキームに従って視覚的に表すことができる。したがって、図５Ａ及び図５Ｂの例示的な表現では、場所５５４、５５６、５５８の円形勾配は、概して、逆伝播された受け取られた音響信号に基づく撮像面における音響強度の勾配を表す。

図４Ａ、図４Ｂ、図５Ａ、及び図５Ｂの例示的な図は、音響画像データ及び可視光画像データに関して説明されているが、そのようなプロセスを、多様な電磁画像データを用いて同様に実行することができることが理解されよう。例えば、本明細書の他の箇所で説明されるように、様々な実施形態では、様々なそのようなプロセスを、音響画像データと、可視光画像データ、赤外線画像データ、紫外線画像データなどのうちの１つ以上と、の組み合わせを使用して実行することができる。

本明細書の他の箇所で説明されるように、いくつかの実施形態では、音響画像を形成するための音響信号の逆伝播は、ターゲットまでの距離の値に基づくことができる。すなわち、いくつかの実施例では、逆伝播計算は、距離に基づくことができ、音響センサアレイからその距離に位置する二次元音響シーンを判定することを含むことができる。二次元の撮像面を仮定すると、この面内の音源から発する球面音波は、図５Ａ及び図５Ｂに示されるように、強度が半径方向に減衰した状態で、概して、断面が円形に見えることになる。

いくつかのそのような実施例では、逆伝播計算で使用されるターゲットまでの距離に位置しないデータを表す音響シーンの部分は、シーン内の１つ以上の音の場所の不正確さなどの、音響画像データ中の誤差をもたらすこととなる。そのような誤差は、音響画像が他の画像データ（例えば、可視光画像データ、赤外線画像データ、又は紫外線画像データなどの電磁画像データ）と同時に表示される（例えば、ブレンドされる、組み合わされるなど）場合、音響画像データと他の画像データとの間の視差誤差につながる可能性がある。したがって、いくつかの実施形態では、視差誤差を補正するためのいくつかの技法（例えば、図５Ａ及び図５Ｂに示される）は、音響画像データを生成するための逆伝播計算において使用されるターゲットまでの距離の値を調整することを含む。

いくつかの場合では、システムは、第１のターゲットまでの距離の値を使用して逆伝播プロセスを実行し、かつ音響画像データと別のデータストリームとを位置整合させることができない、図５Ａに示されるような表示画像を表示するように構成することができる。その後、音響分析システムは、逆伝播に使用されるターゲットまでの距離の値を調整し、再び逆伝播を実行し、かつ新しい音響画像データで表示画像を更新することができる。このプロセスは、ユーザがディスプレイ上で、結果として生じる表示画像を観察しながら、音響分析システムが複数のターゲットまでの距離の値を循環することを伴って、繰り返すことができる。ターゲットまでの距離の値が変化するにつれて、ユーザは、図５Ａに示される表示画像から図５Ｂに示される表示画像への漸進的な遷移を観察し得る。いくつかのそのような場合では、ユーザは、音響画像データが電磁画像データなどの別のデータストリームと的確に位置合わせされて見えるときを視覚的に観察することができる。ユーザは、音響画像データが的確に位置合わせされて見えることを音響分析システムに信号伝達して、最新の逆伝播を実行するために使用されたターゲットまでの距離の値がほぼ正しいことをシステムに示すことができ、その距離の値を正しいターゲットまでの距離としてメモリに保存することができる。同様に、ユーザは、音響画像データが的確に位置合わせされることをユーザが観察するまで、更新された逆伝播プロセスにおいて新しい距離の値を使用して表示画像が更新される際に、ターゲットまでの距離の値を手動で調整し得る。ユーザは、現在のターゲットまでの距離として、現在のターゲットまでの距離を音響分析システムに保存することを選定し得る。

いくつかの実施例では、視差誤差を補正することは、ターゲットまでの距離のデータに基づいて、他の画像データ（例えば、電磁画像データ）に対する音響画像データの位置を所定量だけ所定方向に調整することを含むことができる。いくつかの実施形態では、そのような調整は、識別されたターゲットまでの距離に音響信号を逆伝播することによる音響画像データの生成とは無関係である。

いくつかの実施形態では、音響画像データを生成し、かつ音響画像データと他の画像データとの間の視差誤差を低減するために使用されることに加えて、ターゲットまでの距離の値を、他の判定に使用することができる。例えば、いくつかの実施例では、参照により組み込まれる米国特許第７，５３８，３２６号に説明されるように、プロセッサ（例えば、プロセッサ２１２）は、赤外線画像などの画像に焦点を合わせるために、又はユーザが焦点を合わせるのを支援するために、ターゲットまでの距離の値を使用することができる。そこで説明されるように、これを同様に使用して、可視光画像データと赤外線画像データとの間の視差誤差を補正することができる。したがって、いくつかの実施例では、距離の値を使用して、音響画像データを、赤外線画像データ及び可視光画像データなどの電磁撮像データと位置合わせすることができる。

本明細書の他の箇所で説明されるように、いくつかの実施例では、距離測定ツール（例えば、距離測定ツール２０４）は、音響画像データを生成及び位置合わせするためにプロセッサ（例えば、プロセッサ２１２）によって使用され得る距離情報を提供するように構成されている。いくつかの実施形態では、距離測定ツールは、距離が測定される場所におけるターゲットシーン上に光を発するように構成されたレーザ距離計を含む。いくつかのそのような実施例では、レーザ距離計は、ユーザが物理的シーン内のレーザスポットを見て、距離計がシーンの所望の部分までの距離を測定していることを確かめ得るように、可視スペクトルの光を発することができる。加えて又は代わりに、レーザ距離計は、１つ以上の撮像構成要素（例えば、カメラモジュール）が感知するスペクトルの光を発するように構成されている。したがって、分析ツールを介して（例えば、ディスプレイ２１４を介して）ターゲットシーンを見ているユーザは、シーン内のレーザスポットを観察して、レーザがターゲットシーン内の正しい場所までの距離を測定していることを確かめ得る。いくつかの実施例では、プロセッサ（例えば、２１２）を、現在の距離の値に基づいて（例えば、レーザ距離計と音響センサアレイとの間の既知の距離ベースの視差関係に基づいて）、レーザスポットが音響シーン内に位置するであろう場所を表す基準マークを表示画像内に生成するように構成することができる。基準マーク場所を、実際のレーザマークの場所と比較することができ（例えば、ディスプレイ上でグラフィカルに、かつ／又はターゲットシーン内で物理的に）、シーンを、基準マークとレーザとが一致するまで調整することができる。そのようなプロセスを、参照によって組み込まれる米国特許第７，５３８，３２６号に説明される赤外線位置合わせ及び合焦技法と同様に実行することができる。

図６は、音響画像データと電磁画像データとを組み合わせて最終画像を生成するための例示的な方法を示すプロセスフロー図である。この方法は、音響センサアレイを介して音響信号を受け取るステップ（６８０）と、距離情報を受け取るステップ（６８２）と、を含む。距離情報を、例えば、手動入力を介して、又は観察された位置合わせに基づいて距離が判定される距離調整プロセスの結果としてなど、距離測定デバイス及び／又はユーザインターフェースを介して受け取ることができる。

この方法は、受け取られた音響信号を逆伝播して、音響シーンを表す音響画像データを判定すること（６８４）を更に含む。本明細書の他の箇所で説明されるように、逆伝播することは、音響センサアレイ中の複数のセンサ素子において受け取られた複数の音響信号を、受け取られた距離情報と組み合わせて分析して、受け取られた音響信号のソースパターンを判定することを含むことができる。

図６の方法は、電磁画像データを捕捉するステップ（６８６）と、音響画像データを電磁画像データと位置合わせするステップ（６８８）と、を更に含む。いくつかの実施形態では、音響画像データを電磁画像データと位置合わせすることは、音響画像データを生成するための逆伝播ステップ（６８４）の一部として行われる。他の実施例では、音響画像データを電磁画像データと位置合わせすることは、音響画像データの生成とは別個に行われる。

図６の方法は、表示画像を生成するために、音響画像データを電磁画像データと組み合わせるステップ（６９０）を含む。本明細書の他の箇所で説明されるように、電磁画像データと音響画像データとを組み合わせることは、電磁画像データと音響画像データとをアルファブレンディングすることを含むことができる。画像データを組み合わせることは、ピクチャインピクチャモードで、又はある特定の条件（例えば、アラーム条件）が充足される場所などで、一方の画像データセットを他方の上にオーバーレイすることを含むことができる。表示画像を、例えば、音響センサアレイを支持するハウジングによって支持されるディスプレイを介して、かつ／又は外部デバイス（例えば、スマートフォン、タブレット、コンピュータなど）のディスプレイなどのセンサアレイとは別個のディスプレイを介して、ユーザに提示することができる。

加えて又は代わりに、表示画像を、将来の閲覧のためにローカル（例えば、オンボード）メモリ及び／又はリモートメモリに保存することができる。いくつかの実施形態では、保存された表示画像は、ブレンディング比率、逆伝播距離、又は画像を生成するために使用される他のパラメータなどの、表示画像特性の将来の調整を可能にするメタデータを含むことができる。いくつかの実施例では、生の音響信号データ及び／又は電磁画像データを、後続の処理又は分析のために表示画像とともに保存することができる。

音響画像データと電磁画像データとを組み合わせて最終画像を生成するための方法として示されているが、図６の方法を使用して、音響画像データを、可視光画像データ、赤外線画像データ、紫外線画像データなどのような電磁スペクトルの任意の部分にわたる画像データの１つ以上のセットと組み合わせることができることが理解されよう。いくつかのそのような実施例では、可視光画像データ及び赤外線画像データなどの画像データの複数のセットを両方とも音響画像データと組み合わせて、図６に関して説明される方法と同様の方法を介して表示画像を生成することができる。

いくつかの実施例では、センサアレイを介して音響信号を受け取ること（６８０）は、音響信号を受け取る音響センサアレイを選択するステップを含むことができる。例えば、図３Ａ～図３Ｃに関して説明されるように、音響分析システムは、ばらつきがある周波数の音響信号を分析するのに適している場合がある、複数の音響センサアレイを含むことができる。加えて又は代わりに、いくつかの実施例では、異なる音響センサアレイが、異なる距離から伝播する音響信号を分析するのに有用であり得る。いくつかの実施形態では、異なるアレイを互いに入れ子にすることができる。加えて又は代わりに、部分アレイを選択的に使用して、音響画像信号を受け取ることができる。

例えば、図３Ａは、第１のアレイ３２０と、第１のアレイ内に入れ子にされた第２のアレイ３２２と、を示す。例示的な実施形態では、第１のアレイ３２０は、音響信号を受け取り、かつ第１の周波数範囲の周波数の音響画像データを生成するように構成された（例えば、隔てて配置された）センサアレイを含むことができる。第２のアレイ３２２は、例えば、第２の周波数範囲の周波数の音響画像データを生成するために、単独で、又は第１のアレイ３２０の全て若しくは一部と組み合わせて使用されるように構成された第２のセンサアレイを含むことができる。

同様に、図３Ｃは、第１のアレイ３９２と、第１のアレイ３９２内に少なくとも部分的に入れ子にされた第２のアレイ３９４と、第１のアレイ３９２及び第２のアレイ３９４内に少なくとも部分的に入れ子にされた第３のアレイ３９６と、を示す。いくつかの実施形態では、第１のアレイ３９２は、音響信号を受け取り、かつ第１の周波数範囲の周波数の音響画像データを生成するように構成することができる。第２のアレイ３９４は、音響信号を受け取り、かつ第２の周波数範囲の周波数の音響画像データを生成するために、第１のアレイ３９２の全て又は一部とともに使用することができる。第３のアレイ３９６は、音響信号を受け取り、かつ第３の周波数範囲の周波数の音響画像データを生成するために、単独で、第２のアレイ３９４の全て若しくは一部とともに、かつ／又は第１のアレイ３９２の全て若しくは一部とともに使用することができる。

いくつかの実施形態では、入れ子状アレイ構成において、１つのアレイからの音響センサ素子が、概して、第１のアレイ３９２の素子間にある第３のアレイ３９６の素子などの、音響センサ素子間に位置付けられ得る。いくつかのそのような実施例では、入れ子状アレイ（例えば、第３のアレイ３９６）中の音響センサ素子は、この入れ子状アレイが入れ子にされるアレイ（例えば、第１のアレイ３９２）中の音響センサ素子と同じ平面内に、この音響センサ素子の前に、又はこの音響センサ素子の後ろに位置付けられ得る。

様々な実装形態では、より高周波数の音響信号を感知するために使用されるアレイは、概して、個々のセンサ間のより短い距離を必要とする。したがって、図３Ｃに関して、例えば、第３のアレイ３９６は、より高周波数の音響信号を伴う音響撮像プロセスを実行するのにより適し得る。他のセンサアレイ（例えば、第１のアレイ３９２）は、より低周波数の信号を伴う音響撮像プロセスを実行するのに十分であり得、アレイ３９６と比較したときに、より少数の音響センサ素子からの信号を処理する計算要求を低減するために使用され得る。したがって、いくつかの実施例では、高周波数センサアレイは、低周波数センサアレイ内に入れ子にされ得る。本明細書の他の箇所で説明されるように、そのようなアレイは、概して、個別に（例えば、アクティブなアレイ間の切り替えを介して）又は一括して動作され得る。

分析のために予想される／所望の周波数スペクトルに基づいて適切なセンサアレイを選択することに加えて又は代えて、いくつかの実施例では、異なるセンサアレイが、ターゲットシーンまでの異なる距離において音響撮像プロセスを実行するのにより適し得る。例えば、いくつかの実施形態では、音響センサアレイとターゲットシーンとの間の距離が小さい場合、音響センサアレイ中の外側のセンサ素子は、より中心に位置するセンサ素子よりも、ターゲットシーンから著しく有用でない音響情報を受け取り得る。

一方、音響センサアレイとターゲットシーンとの間の距離が大きい場合、近接して隔てて配置された音響センサ素子は、別個に有用な情報を提供しない場合がある。すなわち、第１及び第２の音響センサ素子が互いに近接し、かつターゲットシーンが概して遠く離れている場合、第２の音響センサ素子は、第１の音響センサ素子とは有意に異なる情報を何ら提供しない場合がある。したがって、そのような第１及び第２のセンサ素子からのデータストリームは、冗長であり、分析のために処理時間及びリソースを不必要に消費し得る。

本明細書の他の箇所で説明されるように、どのセンサアレイが音響撮像を実行するのに最も適し得るかに影響を与えることに加えて、ターゲットまでの距離を、受け取られた音響信号から音響画像データを判定するために逆伝播を実行する際に使用することもできる。しかしながら、逆伝播アルゴリズムへの入力値であることに加えて、ターゲットまでの距離は、使用するための適切な逆伝播アルゴリズムを選択するために使用されてもよい。例えば、いくつかの実施例では、遠距離において、球面伝播する音波は、音響センサアレイのサイズと比較して実質的に平面であると近似され得る。したがって、いくつかの実施形態では、ターゲットまでの距離が大きい場合、受け取られた音響信号の逆伝播は、音響ビームフォーミング計算を含むことができる。ただし、音波源により近接している場合、音波の平面近似は、適切でない場合がある。したがって、近接場音響ホログラフィなどの異なる逆伝播アルゴリズムが使用されてもよい。

説明されるように、アクティブなセンサアレイを判定すること、逆伝播アルゴリズムを判定すること、逆伝播アルゴリズムを実行すること、及び／又は結果として生じる音響画像を電磁画像データ（例えば、可視光、赤外線など）と位置合わせすることなどの、音響撮像プロセスの様々な方法で、ターゲットまでの距離のメトリックを使用することができる。図７は、受け取られた音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。

図７のプロセスは、例えば、距離測定デバイスからの距離情報、又はユーザインターフェースを介するなどして入力された距離情報を受け取ること（７８０）を含む。この方法は、受け取られた距離情報に基づいて音響撮像を実行するための１つ以上の音響センサアレイを選択するステップ（７８２）を更に含む。説明されるように、様々な実施例では、選択されたアレイは、単一のアレイ、複数のアレイの組み合わせ、又は１つ以上のアレイの部分を含むことができる。

図７の方法は、受け取られた距離情報に基づいて音響撮像を実行するための処理スキームを選択するステップ（７８４）を更に含む。いくつかの実施例では、処理スキームを選択することは、音響信号から音響画像データを生成するための逆伝播アルゴリズムを選択することを含むことができる。

音響撮像を実行するための音響センサアレイ（７８２）及び処理スキーム（７８４）を選択した後、この方法は、選択された音響センサアレイ（７８６）を介して音響信号を受け取るステップを含む。次いで、受け取られた音響信号を、距離及び選択された処理スキームを使用して逆伝播して、音響画像データを判定する（７８８）。

様々な実施形態では、図７のステップを、ユーザ、音響分析システム（例えば、プロセッサ２１２を介して）、又はそれらの組み合わせによって実行することができる。例えば、いくつかの実施形態では、プロセッサを、距離測定ツール及び／又はユーザ入力を介して距離情報（７８０）を受け取るように構成することができる。いくつかの実施例では、ユーザは、例えば、オブジェクトまでの距離が既知であり、かつ／又は距離測定ツールを介して分析することが困難である場合（例えば、小さいオブジェクトサイズ及び／又は大きいターゲットまでの距離など）、測定された距離を上書きするための値を入力して、距離情報として使用することができる。プロセッサを、例えば、ルックアップテーブル又は他のデータベースを使用して、受け取られた距離情報に基づいて、音響撮像を実行するための適切な音響センサアレイを自動的に選択するように更に構成することができる。いくつかの実施形態では、音響センサアレイを選択することは、所望の音響センサアレイを達成するために、１つ以上の音響センサ素子を有効化及び／又は無効化することを含む。

同様に、いくつかの実施例では、プロセッサを、受け取られた距離情報に基づいて音響撮像を実行するための処理スキーム（例えば、逆伝播アルゴリズム）を自動的に選択するように構成することができる。いくつかのそのような実施例では、このことは、メモリに記憶された複数の既知の処理スキームから１つを選択することを含むことができる。加えて又は代わりに、処理スキームを選択することは、所望の処理スキームに到達するために単一のアルゴリズムの部分を調整することになり得る。例えば、いくつかの実施形態では、単一の逆伝播アルゴリズムは、複数の項及び変数（例えば、距離情報に基づく）を含み得る。いくつかのそのような実施例では、処理スキームを選択すること（７８４）は、１つ以上の項の係数を調整すること（例えば、様々な係数を０又は１に設定することなど）などの、単一のアルゴリズムにおいて１つ以上の値を定義することを含むことができる。

したがって、いくつかの実施形態では、音響撮像システムは、受け取られた距離データに基づいて、選択された音響センサアレイ及び／又は処理スキーム（例えば、逆伝播アルゴリズム）を提案及び／又は自動的に実装することによって、音響撮像プロセスのいくつかのステップを自動化することができる。このことは、音響撮像プロセスを高速化、改善、及び単純化し、音響撮像プロセスを実行するための音響撮像エキスパートの要件を排除することができる。したがって、様々な実施例では、音響撮像システムは、そのようなパラメータを自動的に実装し、そのようなパラメータが実装されようとしていることをユーザに通知し、そのようなパラメータを実装する許可をユーザに求め、ユーザによる手動入力のためにそのようなパラメータを提案するなどを行うことができる。

そのようなパラメータ（例えば、処理スキーム、センサアレイ）の自動選択及び／又は提案は、他の形態の画像データ、処理速度、及び音響画像データの分析に関して、音響画像データのローカライゼーションを最適化するために有用であり得る。例えば、本明細書の他の箇所で説明されるように、正確な逆伝播判定（例えば、的確なアルゴリズム及び／又は正確な距離メトリックを使用する）は、音響画像データと他の（例えば、可視光、赤外線などのような電磁）画像データとの間の視差誤差を低減することができる。加えて、音響分析システムによって自動的に選択又は提案され得るような的確なアルゴリズム及び／又はセンサアレイを利用することは、熱画像データの精度を最適化することができ、受け取られた音響データの分析を可能にする。

説明されるように、いくつかの実施例では、音響分析システムを、受け取られた距離情報に基づいて、音響撮像プロセスを実行するためのアルゴリズム及び／又はセンサアレイを自動的に選択するように構成することができる。いくつかのそのような実施形態では、システムは、音響画像データを判定するために複数の逆伝播アルゴリズム及び音響センサアレイのうちのどれを使用すべきかを判定するための、例えば、メモリに記憶された、ルックアップテーブルを含む。図８は、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを判定するための例示的なルックアップテーブルを示す。

例示される実施例では、図８のルックアップテーブルは、Ｎ個の列を含み、各々は、異なるアレイ：アレイ１、アレイ２、．．．、アレイＮを表す。様々な実施例では、各アレイは、配置された音響センサ素子の固有のセットを含む。異なるアレイは、格子になるように配置されたセンサ素子（例えば、図３Ｃのアレイ３９２及びアレイ３９６）を含み得る。ルックアップテーブル内のアレイはまた、１つ以上のそのような格子からのセンサ素子の組み合わせを含むことができる。概して、いくつかの実施形態では、アレイであるアレイ１、アレイ２、．．．、アレイＮの各々は、音響センサ素子の固有の組み合わせに対応する。そのような組み合わせのうちのいくつかは、特定の格子に配置されたセンサ素子のセット全体を含むことができるか、又は特定の格子に配置されたセンサ素子のサブセットを含むことができる。音響センサ素子の多様な組み合わせのいずれかが、ルックアップテーブル内のセンサアレイとして使用するための可能な選択肢である。

図８のルックアップテーブルは、Ｍ個の行を更に含み、各々は、異なるアルゴリズム：アルゴリズム１、アルゴリズム２、．．．、アルゴリズムＭを表す。いくつかの実施例では、異なるアルゴリズムは、受け取られた音響信号の逆伝播分析を実行するための異なるプロセスを含み得る。本明細書の他の箇所で説明されるように、いくつかの実施例では、いくつかの異なるアルゴリズムは、互いに類似し得るが、逆伝播結果を修正するための異なる係数及び／又は項を有する。

図８の例示的なルックアップテーブルは、Ｍ×Ｎ個のエントリを含む。いくつかの実施形態では、そのようなルックアップテーブルを利用する音響分析システムは、受け取られた距離情報を分析し、かつ距離情報をＭ×Ｎ個のビンのうちの１つに分類するように構成されており、各ビンは、図８のルックアップテーブル内のエントリに対応する。そのような実施例では、音響分析システムが距離情報を受け取ると、システムは、距離情報が存在するビンに対応するルックアップテーブル内のエントリ（ｉ，ｊ）を見つけ、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを判定することができる。例えば、受け取られた距離情報がエントリ（ｉ，ｊ）に関連付けられたビンに対応する場合、音響分析システムは、音響撮像プロセスのためにアルゴリズムｉ及びアレイｊを自動的に利用するか、又は使用することを提案することができる。

様々なそのような実施例では、距離情報ビンは、例えば、第１のビンが１フィート以内の距離に対応し、第２のビンが１～２フィートの距離に対応するなど、均一にサイズ設定された距離範囲に対応し得る。他の実施例では、ビンは、均一にサイズ設定された距離スパンに対応する必要はない。加えて、いくつかの実施形態では、Ｍ×Ｎ個より少ないビンを使用することができる。例えば、いくつかの実施形態では、特定のアレイ（例えば、アレイｙ）とともに使用されることがないアルゴリズム（例えば、アルゴリズムｘ）があり得る。したがって、そのような実施例では、Ｍ×Ｎルックアップテーブル内のエントリ（ｘ，ｙ）に対応する、対応する距離情報ビンはないことになる。

いくつかの実施形態では、ターゲットシーン内の最も一般的な距離又は距離範囲を識別するために、ポピュレートされた距離ビンに対する統計分析を使用することができる。いくつかのそのような実施形態では、最大数の対応する場所（例えば、音響信号を伴う最大数の場所）を有する距離ビンを、図７のプロセスにおける距離情報として使用することができる。すなわち、いくつかの実施形態では、利用される音響センサアレイ及び／又は処理スキームは、ターゲットシーン内の様々なオブジェクトの距離分布の統計分析に基づいて実装及び／又は推奨され得る。このことは、シーンの音響撮像に使用されるセンサアレイ及び／又は処理スキームが、音響シーン内の最大数の場所に適切である尤度を増加させることができる。

加えて又は代わりに、距離情報以外のパラメータを使用して、音響画像データを生成する際に使用する適切なセンサアレイ及び／又は処理スキームを選択することができる。本明細書の他の箇所で説明されるように、様々なセンサアレイを、ある特定の周波数及び／又は周波数帯域を感知するように構成することができる。いくつかの実施例では、異なる音響信号周波数成分に従って、同様の異なる逆伝播計算を使用することができる。したがって、いくつかの実施例では、１つ以上のパラメータを使用して、処理スキーム及び／又は音響センサアレイを判定することができる。

いくつかの実施形態では、音響分析システムを使用して、受け取られた音響信号処理／分析の様々なパラメータを最初に分析することができる。図７に戻って参照すると、音響画像データを生成するための方法は、音響信号を受け取った（７８６）後に、受け取られた信号の周波数成分を分析するステップ（７９０）を含むことができる。いくつかのそのような実施例では、音響センサアレイ及び／又は処理スキームが選択されている（例えば、それぞれ、ステップ７８２及び／又は７８４を介して）場合、この方法は、例えば、分析された周波数成分に基づいて、選択されたアレイを更新するステップ及び／又は選択された処理スキームを更新するステップ（７９２）を含むことができる。

センサアレイ及び／又は処理スキームを更新した後、この方法は、更新されたパラメータを使用して様々なアクションを実行することができる。例えば、選択されたセンサアレイが、分析された周波数成分（７９０）に基づいて更新される（７９２）場合には、新しい音響信号を、（新しく）選択された音響センサアレイ（７８６）から受け取ることができ、次いで、逆伝播して、音響画像データ（７８８）を判定することができる。代わりに、処理スキームが７９２において更新される場合、すでに捕捉された音響信号を、更新された処理スキームに従って逆伝播して、更新された音響画像データを判定することができる。処理スキーム及びセンサアレイの両方が更新される場合、新しい音響信号を、更新されたセンサアレイを使用して受け取ることができ、更新された処理スキームに従って逆伝播することができる。

いくつかの実施形態では、音響分析システムは、受け取られた音響信号の周波数成分を分析する（７９０）ことなく、周波数情報を受け取る（７７８）ことができる。例えば、いくつかの実施例では、音響分析システムは、将来の音響分析の所望の又は予想される周波数範囲に関する情報を受け取ることができる。いくつかのそのような実施例では、所望の又は予想される周波数情報を使用して、周波数情報に最もよく適合する１つ以上のセンサアレイ及び／又は処理スキームを選択することができる。いくつかのそのような実施例では、音響センサアレイを選択するステップ（７８２）及び／又は処理スキームを選択するステップ（７８４）は、受け取られた距離情報に加えて又は代えて、受け取られた周波数情報に基づき得る。

いくつかの実施例では、受け取られた音響信号（例えば、音響センサ素子を介して受け取られる）は、例えば、音響分析システムのプロセッサ（例えば、２１０）を介して分析することができる。そのような分析を使用して、周波数、強度、周期性、見かけの近接度（例えば、受け取られた音響信号に基づいて推定される距離）、測定された近接度、又はそれらの任意の組み合わせなどの、音響信号の１つ以上の特性を判定することができる。いくつかの実施例では、音響画像データをフィルタ処理して、例えば、特定の周波数成分、周期性などを有する音響信号を表す音響画像データのみを示すことができる。いくつかの実施例では、任意の数のそのようなフィルタを同時に適用することができる。

本明細書の他の箇所で説明されるように、いくつかの実施形態では、音響画像データの一連のフレームを、音響ビデオデータと同様に、経時的に捕捉することができる。加えて又は代わりに、音響画像データが繰り返し生成されない場合でも、いくつかの実施例では、音響信号が繰り返しサンプリング及び分析される。したがって、繰り返される音響画像データ生成（例えば、ビデオ）の有無にかかわらず、周波数などの音響データのパラメータを経時的に監視することができる。

図９Ａは、音響シーンにおける経時的な受け取られた画像データの周波数成分の例示的なプロットである。示されるように、図９Ａのプロットによって表される音響シーンは、概して、周波数１、周波数２、周波数３、及び周波数４とラベル付けされた、経時的な４つの持続する周波数を含む。ターゲットシーンの周波数成分などの周波数データを、例えば、高速フーリエ変換（Fast Fourier Transform、ＦＦＴ）又は周波数分析の他の知られている方法を使用して、受け取られた音響信号を処理することによって判定することができる。

図９Ｂは、音響信号を発する複数の場所を含む例示的なシーンを示す。例示される画像において、音響画像データは、可視光画像データと組み合わされており、場所９１０、９２０、９３０、及び９４０に存在する音響信号を示す。いくつかの実施形態では、音響分析システムは、任意の検出された周波数範囲の音響画像データを表示するように構成されている。例えば、例示的な実施形態では、場所９１０は、周波数１を含む音響画像データを含み、場所９２０は、周波数２を含む音響画像データを含み、場所９３０は、周波数３を含む音響画像データを含み、場所９４０は、周波数４を含む音響画像データを含む。

いくつかのそのような実施例では、周波数範囲を表す音響画像データを表示することは、選択可能な動作モードである。同様に、いくつかの実施形態では、音響分析システムは、所定の周波数帯域内の周波数のみを表す音響画像データを表示するように構成されている。いくつかのそのような実施例では、所定の周波数範囲を表す音響画像データを表示することは、音響画像データを生成する元となる音響信号を受け取るための１つ以上の音響センサアレイを選択することを含む。そのようなアレイを、選択的な周波数範囲を受け取るように構成することができる。同様に、いくつかの実施例では、１つ以上のフィルタを用いて、音響画像データを生成するために使用される周波数成分を制限することができる。加えて又は代わりに、いくつかの実施形態では、広範囲の周波数を表す情報を含む音響画像データを、音響画像データが所定の条件を充足する（例えば、所定の周波数範囲内に入る）場合にのみ、分析し、ディスプレイ上に示すことができる。

図９Ｃは、複数の予め定義された周波数範囲における複数の組み合わされた音響及び可視光画像データを示す。第１の画像は、周波数１の周波数成分を含む第１の場所９１０における音響画像データを含む。第２の画像は、周波数２の周波数成分を含む第２の場所９２０における音響画像データを含む。第３の画像は、周波数３の周波数成分を含む第３の場所９３０における音響画像データを含む。第４の画像は、周波数４の周波数成分を含む第４の場所９４０における音響画像データを含む。

例示的な実施形態では、ユーザは、選択された周波数範囲以外の周波数成分を表す音響画像データをフィルタ処理するために、周波数１、周波数２、周波数３、又は周波数４を含む範囲などの様々な周波数範囲を選択し得る。したがって、そのような実施例では、所望の周波数範囲がユーザによって選択された結果として、第１の画像、第２の画像、第３の画像、又は第４の画像のいずれかが表示され得る。

加えて又は代わりに、いくつかの実施例では、音響分析システムは、各々が異なる周波数成分を有する複数の表示画像間を循環し得る。例えば、図９Ｃに関して、例示的な実施形態では、音響分析システムは、図９Ｃの矢印によって示されるような順序で、第１の画像、第２の画像、第３の画像、及び第４の画像を表示し得る。

いくつかの実施例では、表示画像は、画像内のどの場所が、ある特定の周波数成分を表す音響画像データを含むかをユーザが観察し得るように、画像内に表示されている周波数成分を表すテキスト又は他の表示を含むことができる。例えば、図９Ｃに関して、各画像は、音響画像データにおいて表される周波数のテキスト表現を示し得る。図９Ｂに関して、複数の周波数範囲を示す画像は、音響画像データを含む各場所における周波数成分の指示を含み得る。いくつかのそのような実施例では、ユーザは、画像内の場所を、例えば、音響シーン内のその場所に存在する周波数成分を見るためのユーザインターフェースを介して、選択し得る。例えば、ユーザは、第１の場所９１０を選択することができ、音響分析システムは、第１の場所の周波数成分（例えば、周波数１）を提示することができる。したがって、様々な実施例では、ユーザは、シーン内のどこがある特定の周波数成分に対応するかを見ること、及び／又はどのような周波数成分が様々な場所に存在するかを見ることなどによって音響シーンの周波数成分を分析するために、音響分析システムを使用することができる。

例示的な音響撮像動作中、周波数によって音響画像データをフィルタ処理することは、例えば、背景又は他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順において、ユーザは、産業環境におけるフロアノイズなどの背景音を排除することを望む場合がある。いくつかのそのような事例では、背景ノイズは、大部分が低周波数ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）よりも大きい音響信号を表す音響画像データを示すことを選定し得る。別の実施例では、ユーザは、概して伝送線（例えば、図５Ａ及び図５Ｂに示される）からのコロナ放電などのある特定の範囲内で音響信号を発する、特定のオブジェクトを分析することを望む場合がある。そのような実施例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電では１１ｋＨｚ～１４ｋＨｚ）を選択し得る。

いくつかの実施例では、音響分析システムを使用して、受け取られた音響信号の強度に関連付けられた情報を分析及び／又は提示することができる。例えば、いくつかの実施形態では、受け取られた音響信号を逆伝播することは、音響シーン内の複数の場所における音響強度値を判定することを含むことができる。いくつかの実施例では、上述した周波数と同様に、音響信号の強度が１つ以上の所定の要件を満たす場合、音響画像データのみが表示画像に含まれる。

様々なそのような実施形態では、表示画像は、所定の閾値（例えば、１５ｄＢ）を上回る音響信号、所定の閾値（例えば、１００ｄＢ）を下回る音響信号、又は所定の強度範囲内（例えば、１５ｄＢ～４０ｄＢ）の音響信号を表す音響画像データを含むことができる。いくつかの実施形態では、閾値は、平均音響強度からの標準偏差を上回るか又は下回るなどの、音響シーンの統計分析に基づくことができる。

周波数情報に関して上述したのと同様に、いくつかの実施形態では、音響画像データを、１つ以上の強度要件を充足する音響信号を表すように制限することは、所定の条件を充足する受け取られた信号のみが音響画像データを生成するために使用されるように、受け取られた音響信号をフィルタ処理することを含むことができる。他の実施例では、音響画像データをフィルタ処理して、どの音響画像データが表示されるかを調整する。

加えて又は代わりに、いくつかの実施形態では、音響シーン内の場所における音響強度を経時的に監視することができる（例えば、ビデオ音響画像表現と併せて、又は必ずしも表示画像の更新を伴わない背景分析を介して）。いくつかのそのような実施例では、音響画像データを表示するための所定の要件は、画像内の場所における音響強度の変化の量又は変化率を含むことができる。

図１０Ａ及び図１０Ｂは、組み合わされた可視光画像データ及び音響画像データを含む例示的な表示画像である。図１０Ａは、複数の場所１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０に示される音響画像データを含む表示画像を示す。いくつかの実施例では、強度値をパレット化することができ、例えば、音響強度値は、所定のパレット化スキームに基づいて色を割り当てられる。例示的な実施形態では、強度値を、強度範囲（例えば、１０ｄＢ～２０ｄＢ、２０ｄＢ～３０ｄＢなど）に従って分類することができる。各強度範囲を、パレット化スキームに従って特定の色に関連付けることができる。音響画像データは、複数のピクセルを含むことができ、各ピクセルは、音響画像データのピクセルによって表される強度が入る強度範囲に関連付けられた色でカラー化される。色によって判別することに加えて又は代えて、異なる強度を、透明度（例えば、音響画像データが他の画像データ上にオーバーレイされる画像オーバーレイにおける）などのような他の特性に従って区別することができる。

音響強度の変化率などの、追加のパラメータもまた、パレット化されてもよい。強度と同様に、音響強度のばらつきがある変化率を、音響強度の異なる変化率及び／又は変化量を呈するシーンの部分が異なる色で表示されるようにパレット化することができる。

例示される実施例では、音響画像データは、異なる音響信号強度を表す音響画像データが異なる色及び／又は陰影で示されるように、強度パレットに従ってパレット化される。例えば、場所１０１０及び１０３０における音響画像データは、第１の強度のパレット化された表現を示し、場所１０４０、１０６０、及び１０８０は、第２の強度のパレット化された表現を示し、場所１０２０、１０５０、１０７０、及び１０９０は、第３の強度のパレット化された表現を示す。図１０Ａの例示的な表示に示されるように、音響画像データのパレット化された表示を示す各場所は、中心から外側に延びる色勾配を有する円形パターンを示す。これは、信号が音響信号源から伝播する際の音響強度の減衰に起因し得る。

図１０Ａの実施例では、音響画像データは、表示画像を生成するために可視光画像データと組み合わされ、表示画像は、例えば、ディスプレイを介してユーザに提示され得る。ユーザは、可視シーン内のどの場所が音響信号を生成しているか、及びそのような信号の強度を見るために、図１０Ａの表示画像を見ることができる。したがって、ユーザは、どの場所が音を生成しているかを迅速かつ容易に観察し、シーン内の様々な場所から到来する音の強度を比較し得る。

本明細書の他の箇所で周波数に関して説明したのと同様に、いくつかの実施形態では、対応する音響信号が所定の強度条件を満たす場合にのみ、音響画像データが提示され得る。図１０Ｂは、図１０Ａの表示画像に類似し、可視光画像データと、所定の閾値を上回る音響信号を表す音響画像と、を含む例示的な表示画像を示す。示されるように、音響画像データを含む図１０Ａの場所１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうち、場所１０２０、１０５０、１０７０、及び１０９０のみが、所定の条件を満たす音響信号を表す音響画像データを含む。

例示的なシナリオでは、図１０Ａは、場所１０１０～９９０の各々においてノイズフロア閾値を上回る全ての音響画像データを含み得る一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢよりも大きい強度を有する音響画像データのみを示す。これは、ユーザが、環境内（例えば、図１０Ａ及び図１０Ｂのターゲットシーン内の）のどの音源が、ある特定の音（例えば、シーン内の最も大音量の音）に寄与しているかを識別するのに役立ち得る。

本明細書の他の箇所で説明されるように、強度閾値（例えば、４０ｄＢ）と直接比較されることに加えて又は代えて、いくつかのそのような実施例では、音響画像データを表示するための所定の要件は、画像内の場所における音響強度の変化量又は変化率を含むことができる。いくつかのそのような実施例では、音響画像データは、所与の場所における音響強度の変化率又は変化量が所定の条件を充足する（例えば、閾値よりも大きい、閾値よりも小さい、所定の範囲内にあるなど）場合にのみ提示され得る。いくつかの実施形態では、音響強度の変化量又は変化率を、強度音響画像データとして、又は強度音響画像データと併せて、パレット化及び表示することができる。例えば、例示的な実施形態では、どの場所に音響画像データを含めるかを判定するための閾値として変化率が使用される場合、音響画像データは、表示のためのパレット化された強度変化率メトリックを含むことができる。

いくつかの実施例では、ユーザは、表示される音響画像データの強度要件（例えば、最小値、最大値、範囲、変化率、変化量など）を手動で設定し得る。本明細書の他の箇所で論じられるように、強度要件のみを満たす音響画像データを含むことは、音響画像データ生成中に（例えば、受け取られた音響信号をフィルタ処理することを介して）達成することができ、かつ／又は設定された要件を満たさない音響信号を表す生成された音響画像データを表示しないことによって実行することができる。いくつかのそのような実施例では、強度値に従って表示画像をフィルタ処理することは、音響画像データ及び可視光画像データが捕捉されて、メモリに記憶された後に実行することができる。すなわち、メモリに記憶されたデータを使用して、予め定義された強度条件などを満たす音響画像データのみを示すような、任意の数のフィルタ処理パラメータを含む表示画像を生成することができる。

いくつかの実施例では、音響画像内の強度の下限を設定すること（例えば、所定の強度を上回る音響信号を表す音響画像データのみを表示すること）は、音響画像データからの望ましくない背景音若しくは周囲音及び／又は音反射が含まれることを排除することができる。他の事例では、音響画像内の強度の上限を設定すること（例えば、所定の強度を下回る音響信号を表す音響画像データのみを表示すること）は、通常は大音量の音によってマスクされる音響信号を観察するために、音響画像データに予想される大音量の音が含まれることを排除することができる。

いくつかの表示機能が可能である。例えば、図９Ｃに関して論じられる周波数分析／表示と同様に、いくつかの実施例では、音響分析システムは、各々が異なる強度要件を充足する音響画像データを示す複数の表示画像を循環することができる。同様に、いくつかの実施例では、ユーザは、所与の範囲内の音響強度を有する音響画像データ内の場所を見るために、一連の音響強度範囲をスクロールし得る。

音響データを分析するために使用され得る別のパラメータは、音響信号の周期性値である。図１１Ａ及び図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。図１１Ａのプロットに示されるように、音響データは、第１の周期性を有する周波数Ｘの信号と、第２の周期性を有する周波数Ｙの信号と、第３の周期性を有する周波数Ｚの信号と、を含む。例示される実施例では、異なる周波数を有する音響信号はまた、音響信号中に異なる周期性を含み得る。

いくつかのそのような実施例では、音響信号を、周波数成分に加えて又は代えて、周期性に基づいてフィルタ処理することができる。例えば、いくつかの実施例では、音響シーン内の複数の音響信号源が、特定の周波数の音響信号を生成し得る。ユーザが、音響撮像のために１つのそのような音源を分離することを望む場合、ユーザは、音響データに関連付けられた周期性に基づいて、最終表示画像に音響画像データを含めるか、又は最終表示画像から音響画像データを除外するかを選定し得る。

図１１Ｂは、音響信号の周波数対時間のプロットを示す。示されるように、周波数は、経時的にほぼ直線的に増加する。ただし、示されるように、信号は、経時的にほぼ一定の周期性を含む。したがって、そのような信号は、選択された表示パラメータに応じて、音響画像に現れる場合もあれば、現れない場合もある。例えば、信号は、いくつかの時点では、表示されるための周波数基準を充足し得るが、他の時点では、表示される周波数範囲外にあり得る。ただし、ユーザは、周波数成分にかかわらず、信号の周期性に基づいて、そのような信号を音響画像データに含めるか、又は音響画像データから除外するかを選定することができる。

いくつかの実施例では、特定の周期性の音響信号を抽出することは、ターゲットシーンの特定の部分（例えば、典型的には、ある特定の周期性で動作する特定の一機器又は特定のタイプの機器）を分析する際に有用であり得る。例えば、対象となるオブジェクトが、ある特定の周期性で（例えば、毎秒１回）動作する場合、これとは異なる周期性を有する信号を除外することにより、対象となるオブジェクトの音響分析を改善することができる。例えば、図１１Ｂを参照すると、対象となるオブジェクトが周期性４で動作する場合、周期性４を有する信号を分析のために分離することは、対象となるオブジェクトの分析の改善をもたらし得る。例えば、対象となるオブジェクトは、図１１Ｂに示されるような、周期性４を有するが、周波数が増加する音を発し得る。このことは、オブジェクトの特性が変化している場合があり（例えば、トルク又は負荷の増加など）、検査されるべきであることを暗示し得る。

例示的な音響撮像プロセスでは、背景ノイズ（例えば、産業環境におけるフロアノイズ、屋外環境における風など）は、概して周期的ではないが、シーン内の対象となる、ある特定のオブジェクトは、周期的な音響信号を発する（例えば、規則的な間隔で動作する機械）。したがって、ユーザは、背景信号を除去して、対象となる音響データをより明確に提示するために、音響画像から非周期的な音響信号を除外することを選定し得る。他の実施例では、ユーザは、一定トーン源を見つけようとしている場合があり、そのため、一定トーンの閲覧を不明瞭にし得る周期信号を音響画像データから除外することを選定し得る。概して、ユーザは、ある特定の周期性を上回るか、ある特定の周期性を下回るか、又は所望の周期性範囲内にある音響信号を音響画像データに含めることを選定し得る。様々な実施例では、周期性を、周期信号間の時間の長さ又は周期信号の発生頻度のいずれかによって識別することができる。図１１Ｂに示される周波数と同様に、所与の周期性（例えば、その周期性で動作する、対象となるオブジェクトに起因する）における強度の分析を同様に使用して、オブジェクトからの音響信号が経時的にどのように変化するかを追跡することができる。概して、いくつかの実施形態では、周期性を使用して、周波数、強度などのような多様なパラメータの変化率分析を実行することができる。

いくつかの実施形態では、シーン内の様々な場所が、音響画像データが捕捉される際に連続的／進行中である音響信号を発し得る。そのような実施形態では、音響分析システム（例えば、音響撮像デバイス１００、音響分析システム２００）は、本明細書に説明されるような、連続的な又は進行中の音響信号を捕捉し、音響画像データを介して音響信号をユーザに提示し得る。図１２は、連続的な音響信号を発する２つの場所である場所１２２０及び１２２５を含む例示的なターゲットシーン１２１０を提供する。例示される実施例では、音響画像データは、電磁画像データと組み合わされており、場所１２２０及び１２２５に存在する音響信号を示す。

ただし、いくつかの場合には、ターゲットシーン（例えば、ターゲットシーン１２１０）内のいくつかの場所は、間欠的であり、かつ定期的に音響分析システムによって捕捉されない場合がある、音響信号を発し得る。したがって、そのような信号は、ユーザがシーンを検査する所与の時間にユーザに対して表示される音響画像データに表されない場合がある。このことは、音響信号が検査時に存在しなかったことから、音響撮像を介して別様に検出可能である問題を表す音響信号などの、対象となる音響信号を検出し損ねることにつながり得る。

いくつかの実施形態では、捕捉された全ての音響信号（例えば、連続的である音響信号及び間欠的である音響信号）を、連続的な音響信号として、又は間欠的な音響信号として分類するなどして、分類することができる。そのような実施形態は、信号がもはや存在しないか、又は現在存在しない（例えば、間欠的な音響信号）場合でも、検出された音響信号を追跡するように構成されたシステムを含み得る。更に、システムは、音響信号のうちの１つ以上が検査時に存在しない場合でも、間欠的な音響信号を示す情報を含む音響画像を生成してもよい。そのような実施形態は、ユーザに追加のデータを提供し、かつ例えば、検査の瞬間に存在しないことに起因して、検出されなくなる、対象となる音響信号の数を低減し得る。

図１３は、音響分析システムが間欠的な音響信号に関する情報を捕捉及び表示するように構成されている、例示的な実施形態を提供する。示されるように、加えて、ターゲットシーン１２１０は、間欠的な音響信号を発する場所１３３０及び１３３５を含む。間欠的な音響信号は、不規則に作られた、まれに作られた、及び／又は発せられた後に関心が生じた、音響信号を含み得る。例えば、場所１３３５などにおいて、モータ内にクランキングノイズ又はバンギングノイズが存在する場合、ノイズが一時的に停止した後、並びに／又はノイズ及び／若しくは動作の休止中であっても、ノイズの視覚化を提供することが有益であり得る。例示的なシナリオでは、場所１３３５から発せられた音響信号は、音響ターゲットシーンがユーザによって観察されていなかった期間（例えば、一晩中、昼休みにわたって、ユーザが別様に注意をそらされていた間など）、及び別様に見逃されたであろう期間中に、発生した可能性がある。加えて又は代わりに、間欠的な音響信号は、機器（例えば、モータ又は他の機械）の始動又は停止などの音響パラメータの突然の変化を有する音響信号を含んでもよい。

本明細書の他の箇所で言及されるように、いくつかの実施形態では、捕捉された全ての音響信号（例えば、場所１２２０、１２２５、１３３０、１３３５から発せられている音響信号）を、信号が連続的であるか、又は間欠的であるかに従って、自動的に分類することができる。いくつかの実施形態では、音響信号は、音響信号の周期性、及び／又は音響信号がターゲットシーン内に存在する／存在しない時間の比率に基づいて、自動的に分類され得る。例えば、音響信号（例えば、場所１２２０及び１２２５から発せられている音響信号）が、捕捉された音響画像データ（例えば、音響画像フレーム）の全て又は大部分に存在している場合、そのような音響信号は、連続的な音響信号として、自動的に分類され得る。同様に、少しずつ、間欠的に、かつ／又は不規則に発生する音響信号は、間欠的な音（例えば、場所１３３０及び１３３５から発せられている音響信号）として、自動的に分類され得る。音響信号はまた、ユーザインターフェースを介してユーザなどによって、手動で分類されてもよい。いくつかの実施形態では、ユーザインターフェースは、音響センサアレイ上又は音響センサアレイの近くなどの音響分析システムのハウジング内に含まれ得る。加えて又は代わりに、ユーザインターフェースは、中央サーバ室に、別個のスマートデバイス（例えば、コンピュータ、電話、タブレット）上になどのような、音響分析システムのハウジングの外部に位置してもよい。

本明細書で論じられるように、音響分析システムは、音響データなどを記憶するための、メモリを含み得るか、又は外部メモリに接続され得る。このことは、音響データ又は音響画像データが生成された元となる音響信号を分類する（例えば、音響信号を間欠的な音響信号、連続的な音響信号などとして分類する）ための期間にわたって音響データ又は音響画像データを記憶することを含み得る。いくつかの実施形態では、捕捉の時間、場所、ターゲットシーンに関する情報などのような、データが、音響データ／音響画像データとともに記憶され得る（例えば、メタデータとして）。加えて又は代わりに、そのようなデータは、音響データ内の音響信号の更なる識別情報を含んでもよい。例えば、データは、音響信号が受け取られている間に特定の場所又はターゲットシーン内で発生したイベント（例えば、モータの始動／停止、パイプを通る流量など）のログを含んでもよい。更なる実施例では、イベントのログ内に含まれる様々なイベントは、音響データ内に表される音響信号に関連付けられ得る。いくつかの実施形態では、本明細書で論じられるように、補助データは、追加のセンサ（例えば、電磁センサ、電流センサ、電圧センサ、温度センサ、湿度センサ、場所データ、気象データなど）からのデータなどの音響データとともに捕捉され、かつ／又は受け取られ得る。そのような実施例では、補助データ又は補助データのサブセットは、イベントのログとともに記憶されてもよいし、又はイベントのログをレビューするときなどに、分析中に使用されてもよい。

いくつかの状況では、音響信号を、音響信号の分類（例えば、連続的な音響信号、間欠的な音響信号など）に基づいて区別することが有利であり得る。図１３に示されるように、様々な連続的な音響信号（例えば、場所１２２０及び１２２５から発している音響信号）は、より明るい色調で示されるのに対して、様々な間欠的な音響信号（例えば、場所１３３０及び１３３５から発せられている音響信号）は、より暗い色調で示される。異なる色、陰影、透明度、形状、サイズ、記号などを使用するなどのように、様々な他の区別特性を使用して、連続的な音響信号と間欠的な音響信号とを視覚的に判別し得る。加えて又は代わりに、音響信号は、本明細書で説明されるフィルタシステムと同様の音響信号の分類によってフィルタ処理されてもよい。例えば、特定のタイプ（例えば、連続的、間欠的）として分類された音響信号は、ディスプレイ上に表示されてもよく、及び／又は特定のタイプとして分類された音響信号は、省略され（例えば、表示されなく）てもよい。例えば、いくつかの実施例では、ユーザは、従来のリアルタイム表示モード（その時間に存在しない場合、間欠的な音が欠落し得る）と、その時間に存在しない場合でも間欠的な音が可視であり得る累積時間ビューと、を切り替えることができる。

同様に、特定の分類（例えば、連続的、間欠的）の音響信号などの特定の音響信号が、拡大又は強調され得る。いくつかの実施形態では、音響信号を、他の音響信号を除外しながらこれらの音響信号を提示することによって、又は他の音響信号を、これらの他の音響信号がユーザの気をあまり散らさないように表示することによって、強調することができる（例えば、よりくすんだ色を使用するなどの異なるパレット化スキームを使用して、そのような信号の視覚化をより透明にして、そのような信号を示すより小さいインジケータを使用してなど）。例えば、場所１３３５から発せられた音響信号は、場所１２２５から発せられた音響信号と同様のいくつかの属性（例えば、同様の強度及び／又は周波数）を有し得る。ただし、場所１３３５から発せられた音響信号は、間欠的な音響信号として分類されることから、場所１３３５における音響信号を表す音響画像データは、連続的な音響信号と比較して区別する方法で提示され得る。例えば、間欠的な音響信号は、連続的な音響信号と比較した場合に視覚的な優先度を提供するようにパレット化されてもよい（例えば、より大きく示される、異なるカラーパレットで、より鮮やかな色を含む、対応する電磁画像との異なるレベルのブレンディングなど）。

加えて又は代わりに、間欠的な音響信号は、音響信号が持続する時間に基づいて、互いに区別されてもよい。例えば、間欠的な音響信号は、間欠的な音響信号が存在する時間及び／又は間欠的な音響信号が存在する時間の割合に基づいて、互いに区別されてもよい。例えば、より頻繁に又はより長く存在する（例えば、所与の時間内で）間欠的な音響信号は、より鮮やかな色でパレット化されてもよく、より大きく示されてもよく、異なるレベルで対応する電磁画像とブレンドされてもよい、などである。

音響信号は、分類タイプ（例えば、連続的、間欠的）を使用して、及び１つ以上の他の音響パラメータ（例えば、強度、周波数、周期性、見かけの近接度、測定された近接度、音圧、粒子速度、粒子変位、音パワー、音エネルギー、音エネルギー密度、音曝露、ピッチ、振幅、輝度、高調波、任意のそのようなパラメータの変化率、基本周波数、基本周波数の高調波など）によってフィルタ処理され得る。更に、ユーザは、ＡＮＤ、ＯＲ、ＸＯＲなどのような任意の適切な論理組み合わせを使用して、要件を組み合わせてもよい。例えば、ユーザは、間欠的な音響信号と所定の閾値を上回る強度を有することとのＡＮＤとして分類された音響信号のみを表示することを望む場合がある。加えて又は代わりに、音響分析システムを、図９Ｃの周波数に関して示され、かつ本明細書の他の箇所で説明されるような複数の分類を循環するように構成することができる。概して、循環は、特定の分類（例えば、連続的、間欠的）であるターゲットシーン内の場所から発せられた音響信号を表す音響画像データを示すことのみを含み得る。そのように様々な表示を循環することは、ユーザが異なる音響信号どうしで情報を視覚的に区別するのに役立ち得る。

いくつかの実施形態では、他のセンサ（例えば、電磁センサ、電流センサ、電圧センサ、温度センサ、湿度センサ、場所データ、気象データなど）からの補助データを使用して、音響信号の検出及び診断を強化し得る。本明細書で説明されるように、音響画像データとブレンドされ、かつ／又は音響画像データとともにオーバーレイされるような補助データが、音響画像データと同時に表示され得る。例えば、補助データが電磁画像データを含む実施形態では、電磁画像データは、本明細書で説明される技法を使用するなどして、音響画像データとブレンドされ得る。加えて又は代わりに、湿度データ、場所データ、電圧／電流データなどのような他のデータが、ディスプレイ上にオーバーレイされ、かつ／又は別様に音響画像データとともに表示されてもよい。更に、他のセンサからのデータの変動を、検出された音響信号（例えば、音響シグネチャ）の変動と組み合わせて使用して、シーン内の発生又は条件を診断し得る。

いくつかの場合には、音響分析システムは、ターゲットシーンからの赤外線放射及び／又は温度情報を検出するための赤外線カメラモジュールを含み得る。赤外線放射データ及び／又は温度データの変動を、検出された音響信号と併せて使用して、音響データ単独から利用可能であるよりも良好な診断を提供し得る。いくつかの実施形態では、温度の上昇は、特定の場所から発している音響信号に相関し得る。例えば、一回転機器の異常な温度は、シャフト、軸受、又は巻線の問題を意味し得る。そのような異常な熱シグネチャは、音響信号分析とともに、問題が存在するかどうかを判定し、かつ／又は問題を更に識別することに役立ち得る。同様に、いくつかの場合には、音響分析システムは、ターゲットシーンからの可視光スペクトル内の電磁放射を検出する可視光カメラモジュールを含み得る。可視光画像データの変動は、より良い診断を提供するために、検出された音響信号と併せて使用され得る。例えば、音響信号は、既知の機器群などのような、ターゲットシーン内の特定のオブジェクトに関連付けられ得る。したがって、可視光画像データを使用して、元の音響シグネチャを潜在的に遮蔽又は修正し得るオブジェクトの検出に基づいて音響信号の分析を調整し得る（例えば、一機器の音響信号特性が存在するが、そのような機器が電磁画像データ内で遮蔽される場合）。例えば、システムを、分析の目的で、遮蔽エリアからの音響画像データを排除又は修正するように構成することができる。

音響分析システムは、ターゲットシーン内の対象となる場所及び／又は非対象の場所を判定するように構成され得る。対象となる場所は、対象となる音響信号を発しているオブジェクト及び／又はエリアなどの、ターゲットシーン内に含まれる１つ以上のオブジェクト及び／又はエリアを含み得る。いくつかの実施例では、音響分析システムは、ユーザインターフェースなどを介して、ターゲットシーン内の対象となる場所に関する情報をユーザから受け取り得る。いくつかの実施形態では、ユーザは、ディスプレイの様々な部分を強調表示することによって（例えば、マウス、キーパッド、タッチスクリーンを介したスタイラス／指などを介して）、対象となる場所をマークし得る。いくつかの実施形態では、ユーザは、対象となる場所を判定するために様々な幾何学的形状を提供すること、自由形式方法を使用することなどができる。いくつかの実施例では、電磁撮像センサ（例えば、赤外線カメラモジュール、可視光カメラモジュールなど）のような他のセンサからの情報を使用して、ターゲットシーン内の、対象となる場所又は非対象の場所を判定することができる。例えば、いくつかの実施形態では、ユーザは、シーン内の１つ以上の対象となる場所を、シーンの電磁画像データを参照しながら、ディスプレイ上の１つ以上のそのような場所を選択することによって、識別し得る。シーンの部分を識別する様々な実施例が、本出願の譲受人に譲渡され、かつ参照により組み込まれる米国特許第９，２３２，１４２号に説明されている。いくつかの実施例では、ユーザは、例えば、視野全体又は画像データのスパン全体を対象となる場所として選択することを含めて、任意のサイズの対象となる場所を選択し得る。いくつかの場合には、ユーザ又はシステムは、視野全体よりも小さい対象となる場所を定義することができる。

対象となる場所で発せられた音響信号は、非対象の場所で発せられた音響信号から区別され得る。いくつかの実施形態では、対象となる場所の音響信号は、非対象の場所とは異なるように（例えば、異なる色、不透明度、サイズ）パレット化され得る。更なる実施例では、音響分析システムは、ユーザに対象となる場所の音響画像データを提示し、かつ非対象の場所の音響画像データを提示しないように構成され得る。例えば、場所１２２０、１２２５、１３３０、及び１３３５は、ターゲットシーン内の対象となる場所とみなされ得る。場所１２２５及び１３３５は、モータを含むことができ、場所１２２０及び１３３０は、配管及び／又は電気機器を含むことができる。そのような場所における異常は有害であり得ることから、そのような場所に何らかの異常が存在するか否かを判定する（例えば、提示された音響シグネチャを介して）ことは、ユーザにとって重要であり得る。対照的に、例示される実施例では、場所１３５８は、通気孔を含む。いくつかの実施形態では、場所１３５８の通気口から発するノイズ（例えば、加熱／冷却のターンオンからのガタガタ音、通気口の下流／上流からのエコー）は、ユーザにとって関心がなく、したがって、ユーザに提示される音響画像データから除外され得る。

説明されるように、いくつかの実施形態では、場所は、ユーザインターフェースを使用して音響ターゲットシーン内に含まれる場所をユーザが指定することなど、ユーザからの入力に基づいて対象となるものとみなされ得る。加えて又は代わりに、場所は、１つ以上のアラーム条件が満たされるかどうかに基づいて、対象となるものとみなされてもよい。

アラーム条件は、例えば、音響パラメータの様々な閾値を含み得る。例えば、アラーム条件は、予め定義された強度レベルを上回る及び／又は予め定義された強度レベルを下回る強度を有する任意の音響信号がアラーム条件を充足するように、強度（例えば、ｄＢ）閾値を含み得る。加えて又は代わりに、強度、周波数、周期性、見かけの近接度、測定された近接度、推定された距離、音圧、粒子速度、粒子変位、音パワー、音エネルギー、音エネルギー密度、音曝露、ピッチ、振幅、輝度、高調波、任意のそのようなパラメータの変化率などのような様々な音響パラメータが、アラーム条件内に含まれてもよい。

いくつかの実施形態では、アラーム条件は、ヒステリシス成分を含むことができる。例えば、いくつかの実施形態では、アラーム条件は、音響パラメータ（例えば、所与の周波数範囲の強度）が所与の時間枠内に所定の回数だけ閾値（例えば、ｄＢ単位）を満たす場合に充足される。例示的な実施形態では、音響分析システムは、所定の周波数範囲内の音響強度が、１日に１０回を超えて所定の強度閾値を満たす場合に、アラーム条件を検出することができる。他の数及び期間が可能である。いくつかの実施形態では、そのような数及び期間を、ユーザが選択することができる。いくつかの実施例では、複数のそのようなアラーム条件を同時に使用することができる。例えば、アラーム条件は、音響強度が第１の閾値を第１の所定の回数満たす場合だけでなく、音響強度が第２の閾値を第２の所定の回数満たす場合にも充足され得る。例えば、アラーム条件が１日に１０回を超えて所定の強度閾値を満たすことに加えて、強度が第２のより高い所定の強度閾値を１日に５回満たす場合に、アラーム条件を検出することもできる。

いくつかの実施例では、１つ以上のアラーム条件を、ターゲットシーン内の対象となる場所に適用することができる。例えば、いくつかの実施形態では、対象となる場所を、（例えば、ユーザインターフェースからの入力を介して）定義することができ、１つ以上のアラーム条件をこの対象となる場所に適用することができる。いくつかのそのような実施例では、そのようなアラーム条件は、対象となる場所の外側の場所でのアラーム条件ではないが、他の場所が、関連付けられたアラーム条件を同様に含むことができる。

いくつかの実施形態では、１つ以上のアラーム条件を、ユーザインターフェースを介して受け取ることができる。例えば、ユーザは、１つ以上の対応する音響パラメータに関連付けられた１つ以上の閾値条件を設定して、１つ以上のアラーム条件を定義することができる。加えて又は代わりに、いくつかの実施例では、音響分析システムを、経時的にターゲットシーンから情報（例えば、音響信号）をサンプリングして、１つ以上のアラーム条件を確立するように構成することができる。例えば、システムは、ターゲットシーンから情報をサンプリングして、ターゲットシーン内の典型的な動作（例えば、典型的な音響強度値）を確立することができる。そのような典型的な値を使用して、１つ以上のアラーム条件を確立することができる。いくつかの実施例では、ユーザは、ターゲットシーンをサンプリングして、１つ以上のアラーム条件を確立するように、システムに命令することができる。

いくつかの実施例では、アラーム条件は、音響信号が所定の強度を上回る一方、所定の周期性を下回る、ある特定の時刻（例えば、午後８時～午前６時）の間に所定の強度を下回るなどのような、満たされるべき複数の閾値又は他の条件を含み得る。いくつかの実施例では、アラーム条件は、相互依存し得る。例えば、例示的な実施形態では、閾値強度は、周波数とともに増加し、かつ／又は距離とともに減少し得る。加えて又は代わりに、アラーム条件は、ある特定の期間、期間内のある特定の回数、又はある特定の時間の割合などにわたって１つ以上の閾値を満たすことを含んでもよい。

いくつかの実施例では、１つ以上の閾値又は条件が、アラームの重大度を判定することができる。例えば、いくつかの実施形態では、閾値強度（例えば、ｄＢレベル）を上回って登録された任意の音響信号は、アラーム条件を充足することができるが、発せられた音響信号の場所、周波数、音響シグネチャ、他のセンサからの補助データなどのような様々な他のパラメータが、アラームの重大度を判定し得る。いくつかの実施形態では、アラームは、本明細書で論じられるように、ユーザに提示されるときに、重大度によって区別され得る。

更に、アラーム条件は、パターン検出、音響シグネチャからの逸脱、既知の音響シグネチャ（例えば、既知の問題のある音響シグネチャ）の存在、機械学習アルゴリズムなどに基づき得る。例えば、様々な機器群（例えば、モータ又は他の機械）は、始動中、停止中などのような様々なイベント中に音響信号を発し得る。そのような実施例では、音響分析システムは、様々なイベントを識別することができ、そのようなイベントの、通常の音響信号からの逸脱は、アラーム条件であり得る。

いくつかの実施形態では、アラーム条件は、音響センサアレイ以外のセンサからの補助データなどの追加データに関連付けられた１つ以上の閾値を含み得る。いくつかのそのような可能なセンサが、本明細書で論じられる。いくつかの実施形態では、音響データと補助データとの間の既知の関係が、アラーム条件を判定するときに使用され得る。例えば、ワイヤ内のコロナ放電に関連付けられたアラーム閾値は、ある期間中に検出されたコロナ放電の数に基づき得る。いくつかのそのような実施例では、閾値を満たすために必要とされる検出されたコロナ放電の数は、追加の要因に依存し得る。例えば、いくつかの実施形態では、アラーム条件を充足する検出された放電の数は、周囲環境における湿度及び／又は温度、放電に関連付けられた電圧及び／又は電流などに基づき得る。いくつかのそのような実施例では、湿度が高いとき、ある特定の数のコロナ放電事象が正常であるか又は予想され得るが、湿度がより低いとき、同じ数の検出されたコロナ放電事象が、誤動作している機器を示し得る。したがって、マルチモーダルアラーム条件を使用することは、システムが予想される条件と予想されない条件とを区別するのに役立ち得る。マルチモーダルアラーム条件の他の実施例は、例えば、時刻及び／又は年に基づくアラーム条件を含む。例えば、いくつかの場合には、音響分析システムは、（例えば、毎日、平日毎日など）１日の中の第１の期間と、第１の期間外の時間の第２のアラーム条件とを用いてプログラムされ得る。概して、任意の数のアラームプロファイルを、対応する期間にわたって適用することができる。

加えて又は代わりに、いくつかの実施例では、アラーム重大度を、１つ以上の追加のセンサからの補助データに基づいて調整することができる。例えば、コロナ放電の実施例に関して、湿度を使用して、アラーム条件の重大度を判定することができる。例示的な実施形態では、湿度の増加は、アラームの重大度を減少させてもよく、かつ／又は湿度の減少は、アラームの重大度を増加させてもよい。

いくつかの実施例では、最近閾値を使用して、本明細書の他の箇所で論じられるような間欠的な信号に基づいてアラーム条件を生成することができる。例えば、本明細書で説明されるように、いくつかの実施例では、音響分析システムは、リアルタイムでは存在しないが、前の時間に検出された間欠的な音響信号を示す音響画像データを有する表示画像を生成及び表示することができる。いくつかの実施形態では、そのような間欠的な信号は、例えば、所定の範囲の時間内に発生したアラーム条件を充足することができる。そのような音響信号が音響画像データを生成又は閲覧するときに存在しない場合でも、例えば、アラーム条件を充足する信号としてそのような音響信号を表す音響画像データを含むように、システムを構成することができる。同様に、そのようなタイミング（例えば、最近）閾値を、マルチモーダルアラームにおけるパラメータとして使用することができる。例えば、いくつかの実施形態では、音響信号が最近閾値内（例えば、過去１日以内、過去１時間以内など）の閾値強度を充足した場合にアラーム条件を検出するように、システムを構成することができる。

いくつかの実施例では、アラーム条件は、ターゲットシーン内の場所にわたってばらつく場合がある。アラーム条件の場所を、特定のターゲットシーンに対して、ターゲットシーンの部分に対して、一般化し、ターゲットシーン内の特定のエリア／オブジェクトに結び付けるなどすることができる。

いくつかの実施形態では、アラーム条件を、本明細書で論じられるユーザインターフェースなどを介して、ユーザによって指定することができる。加えて又は代わりに、１つ以上のアラーム条件を、音響分析システムによって指定することができる。同様に、ユーザ及び／又は音響分析システムは、１つ以上のアラーム条件が適用される１つ以上の場所を指定し得る。例示的な実施形態では、ユーザは、シーン内のオブジェクト（例えば、モータ、ガスケット、ファン、パイプなど）を識別し、そのような各オブジェクトに関連付けられた場所に対応するアラーム条件を提供し得る。同様に、いくつかの実施形態では、音響分析システムは、シーン内の様々なオブジェクト／エリアを識別し、それに応じてアラーム条件を適用し得る。加えて又は代わりに、いくつかの実施例では、ユーザは、様々なオブジェクトの所定のアラーム条件のリストから１つ以上のアラーム条件を選択してもよい。

音響分析システムは、アラーム条件が満たされたときにユーザに通知するように構成することができる。いくつかの実施形態では、１つ以上のアラーム条件を充足する音響信号は、対象となる音響信号とみなされ、ディスプレイを介してユーザに対して表示され得る。そのような実施形態では、音響分析システムは、対象となる音響信号（例えば、１つ以上のアラーム条件を満たした音響シグネチャ）を表示し、かつ他の音（例えば、１つ以上のアラーム条件を満たさなかった音響シグネチャ）を表示しないように構成され得る。加えて又は代わりに、対象となる音響信号は、アラーム条件を充足しない音響信号を表す音響画像データと区別する方法で表示画像内に提示されてもよい。

いくつかの実施形態では、音響分析システムは、対象となる音響信号を互いに区別し得る。例えば、１つ以上のアラーム条件は、ユーザにとって対象となる音響信号であり得る音響信号に対応し得る第１の重大度レベルに対応し得る。１つ以上の他のアラーム条件は、問題があり得る音響信号に対応する第２の重大度レベル、及び／又は非常に問題があり、かつ即時の注意を必要とし得る音響信号に対応する第３の重大度レベルに対応し得る。いくつかのそのような実施例では、様々な重大度レベルでアラーム条件を満たす音響信号は、異なるアラーム条件又は重大度レベルを満たす音響信号から区別する方法で提示され得る。

いくつかの実施形態では、音響分析システムは、音響信号が１つ以上のアラーム条件を満たすときなど、アラーム条件が満たされたときにユーザに通知するように構成することができる。通知は、ディスプレイ上の通知、トーン、及び／又は振動などの視覚的、聴覚的、及び／又は触覚的通知を含み得る。いくつかの実施形態では、アラーム条件を充足する音響信号を表す音響画像データは、アラーム条件を充足しない音響信号を表す音響画像データと区別する方法で表示画像上に提示され得る。様々な実施例では、アラーム条件を充足する音響信号を区別することは、異なるパレット化、不透明度、色の強度、周期的な点滅などを提供することを含むことができる。加えて又は代わりに、いくつかの実施例では、アラーム条件を充足する音響信号は、ディスプレイ上の音響画像データを介して表され得るのに対して、アラーム条件を充足しない音響信号は、ディスプレイ上に表されない。本明細書で論じられるように、いくつかの実施形態では、ユーザは、音響分析システムと統合されたユーザインターフェース、ディスプレイなどを介して通知を受け取ることができる。加えて又は代わりに、動作管理システム、コンピュータ化された保守管理システム、スマートデバイス（例えば、タブレット、電話、ウェアラブル、コンピュータなど）などを介して、中央局などの遠隔の場所に送られる通知などの他の通知機構が使用されてもよい。

いくつかの実施形態では、アラーム条件の場所は、アラーム条件のための音響画像の部分上又はこの部分の近くなど、ディスプレイにラベル付けされ得る。加えて又は代わりに、アラーム条件を満たす音響信号は、ディスプレイ、ユーザインターフェース上などにラベル付けされてもよい。図１４は、アラーム情報を示す例示的な音響画像を示す。図１４の実施例に示されるように、ラベル１４３０及び１４３５は各々、対象となる場所から発している音響信号の様々な属性を表す指示を含む。様々な実施例では、同様のそのようなラベルは、タイトル／簡単な説明（例えば、パイプガスケット、モータ１）、音響パラメータの１つ以上の値（例えば、ｄＢレベル、周波数など）、音響パラメータの履歴最小／最大値、１つ以上のアラーム条件（例えば、最小値、最大値など）、及びアラーム条件が充足された１回以上の回数などのアラーム履歴、などの情報を含むことができる。エリア／オブジェクトが複数のアラーム条件を含む実施形態では、ラベルは、そのような複数のアラーム条件を含み得る。加えて又は代わりに、ユーザは、ユーザインターフェースなどを介して、各アラーム条件を切り替えることが可能であってもよい。同様に、いくつかの実施形態では、音響分析システムは、ラベルを順次にユーザに提供しながら複数のそのようなラベルを循環するように構成することができる。

本明細書で特記されるように、いくつかの場合には、アラーム条件を、ターゲットシーン内の対象となる場所に適用することができる。例えば、いくつかの実施形態では、音響分析システムは、アラーム条件がそのアラーム条件に関連付けられた、対象となる場所内で検出される場合にのみ、ユーザにアラーム条件を通知するように構成されている。

本明細書で説明される構成要素の様々な機能性を組み合わせることができる。いくつかの実施形態では、本出願で説明される特徴を、以下の出願で説明される特徴と組み合わせることができ、これらの各々は、２０１９年７月２４日に出願されており、本出願の譲受人に譲渡されており、参照により本明細書に組み込まれる：
ＷＩＰＯ公開第ＷＯ２０２０／０２３６２２号を有する、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＪＥＣＴＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＡＣＯＵＳＴＩＣ ＤＡＴＡ」と題するＰＣＴ特許出願、
ＷＩＰＯ公開第ＷＯ２０２０／０２３６３３号を有する、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＴＡＧＧＩＮＧ ＡＮＤ ＬＩＮＫＩＮＧ ＡＣＯＵＳＴＩＣ ＩＭＡＧＥＳ」と題するＰＣＴ特許出願、
ＷＩＰＯ公開第ＷＯ２０２０／０２３６３１号を有する「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＴＡＣＨＡＢＬＥ ＡＮＤ ＡＴＴＡＣＨＡＢＬＥ ＡＣＯＵＳＴＩＣ ＩＭＡＧＩＮＧ ＳＥＮＳＯＲＳ」と題するＰＣＴ特許出願、
ＷＩＰＯ公開第ＷＯ２０２０／０２３６２７号を有する「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＮＡＬＹＺＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＡＣＯＵＳＴＩＣ ＤＡＴＡ」と題するＰＣＴ特許出願、及び
ＷＩＰＯ公開第ＷＯ２０２０／０２３６２９号を有する「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＲＥＰＲＥＳＥＮＴＩＮＧ ＡＣＯＵＳＴＩＣ ＳＩＧＮＡＴＵＲＥＳ ＦＲＯＭ Ａ ＴＡＲＧＥＴ ＳＣＥＮＥ」と題するＰＣＴ特許出願。

加えて又は代わりに、本開示の特徴を、本明細書と同時に出願され、本出願の譲受人に譲渡された、各々が参照により本明細書に組み込まれる、以下の特許出願のうちのいずれか１つ以上で説明される特徴と組み合わせて使用することができる：
「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＰＡＮＯＲＡＭＩＣ ＡＮＤ／ＯＲ ＳＥＧＭＥＮＴＥＤ ＡＣＯＵＳＴＩＣ ＩＭＡＧＥＳ」と題する、２０２０年９月１１日に出願された米国特許出願第６３／０７７，４４１号、及び
「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＰＡＮＯＲＡＭＩＣ ＡＮＤ／ＯＲ ＳＥＧＭＥＮＴＥＤ ＡＣＯＵＳＴＩＣ ＩＭＡＧＥＳ」と題する、２０２０年９月１１日に出願された米国特許出願第６３／０７７，４４９号。

様々な実施形態が説明されてきた。そのような実施例は、非限定的であり、本発明の範囲を何ら規定又は限定するものではない。

例えば、本明細書で説明される音響分析システムの様々な実施形態は、以下の特徴、複数の音響センサ素子を備える音響センサアレイであって、複数の音響センサ素子の各々が、ターゲットシーンから音響信号を受け取り、かつ受け取られた音響信号に基づいて音響データを出力するように構成されている、音響センサアレイと、ディスプレイと、音響センサアレイ及びディスプレイと通信するプロセッサとのいずれかを個別に又は任意の組み合わせで含むことができ、プロセッサは、音響センサアレイから、各々が異なる時点におけるターゲットシーンを表す複数の音響データセットを受け取り、複数の音響データセットによって表されるターゲットシーン内の１つ以上の場所であって、１つ以上の場所の各々が、ターゲットシーンから発せられた音響信号の場所である、１つ以上の場所を判定し、音響信号の各々について、音響信号を間欠的な音響信号又は連続的な音響信号として分類し、複数の音響データセットに基づいて、累積時間音響画像データを生成し、累積時間音響画像データを含む累積時間表示画像であって、間欠的な音響信号として分類された音響信号が、連続的な音響信号として分類された音響信号から区別される、累積時間表示画像を生成し、かつ累積時間表示画像をディスプレイ上に提示するように構成されている。

いくつかの場合では、プロセッサは、間欠的な音響信号として分類された音響信号の各々について、間欠的な音響信号が存在する複数の音響データセットの各々における間欠的な音響信号の音響パラメータのうちの１つ以上を平均処理することによって、正規化された間欠的な音響信号を計算するように更に構成されている。音響パラメータのうちの１つ以上の平均処理は、音響信号の強度レベルを平均処理することを含み得る。

音響分析システムは、個別に又は任意の組み合わせで、ハウジングを更に備えてもよく、ハウジングが、音響センサアレイ及びプロセッサを収容するように構成されており、ハウジングが、ディスプレイを更に備え、ディスプレイが、ハウジングの外部にあり、プロセッサが、音響信号の各々について、音響信号の周期性を判定するように更に構成されており、音響信号を間欠的な音響信号又は連続的な音響信号として分類することが、音響信号の判定された周期性に基づく。

音響分析システムは、音響信号の各々について、プロセッサが音響信号を分析して、複数の音響データセット内に音響信号が存在する時間と音響信号が存在しない時間との比率を判定するように更に構成されてもよく、音響信号を間欠的な音響信号又は連続的な音響信号として分類することが、複数の音響データセット内に音響信号が存在する時間と音響信号が存在しない時間との比率に基づく。いくつかの場合には、プロセッサは、イベントのログを受け取るように更に構成されており、イベントのログは、音響画像のセットが捕捉された時間中にターゲットシーンにおいて発生したイベントを含み、イベントのログ内の１つ以上のイベントを音響データのセット内の音響信号と関連付ける。イベントのログは、１つ以上の追加のセンサからのデータを更に含んでもよい。いくつかの場合には、音響分析システムのプロセッサは、音響センサアレイから受け取られた音響データに基づいて、リアルタイム音響画像データを生成し、リアルタイム音響画像データを含むリアルタイム表示画像を生成し、かつ累積時間表示画像とリアルタイム表示画像との間でディスプレイ上の提示を切り替えるように構成されてもよい。音響分析システムは、ユーザインターフェースを更に備えてもよく、プロセッサは、ユーザインターフェースから受け取られたコマンドに応答して、累積時間表示画像とリアルタイム表示画像との間でディスプレイ上の提示を切り替えるように構成されている。

様々な実施形態では、音響画像を生成する方法は、各々が異なる時点におけるターゲットシーンを表す複数の音響データセットを受け取ることと、ターゲットシーン内から発せられた音響信号を含むターゲット内の１つ以上の場所を判定することと、音響信号を間欠的な音響信号又は連続的な音響信号として分類することと、複数の音響データセットに基づいて、累積時間音響画像データを生成することと、累積時間音響画像データを含む累積時間表示画像を生成することと、を含むことができ、間欠的な音響信号として分類される音響信号が、連続的な音響信号として分類される音響信号から区別して提示される。

追加の特徴には、以下のことが個別に又は任意の組み合わせで含まれ、累積時間音響画像データを生成することは、間欠的な音響信号として分類される音響信号の各々について、複数の音響データセットにわたって間欠的な音響信号の音響パラメータのうちの１つ以上を平均処理することによって、正規化された間欠的な音響信号を計算すること、ターゲットシーン内の１つ以上の対象となる場所を判定することを更に含み、累積時間表示画像を生成することは、１つ以上の対象となる場所を、対象となる場所とみなされない場所から視覚的に区別することを含み、ターゲットシーンからの電磁放射を表す電磁画像データを受け取し、かつ受け取られた電磁画像データに基づいて、１つ以上の対象となる場所を判定することと、１つ以上の音響信号の各々について、音響信号の周期性を判定することと、を更に含み、音響信号を間欠的な音響信号又は連続的な音響信号として分類することは、音響信号の周期性に基づく。

様々な実施形態は、複数の音響データセット内に音響信号が存在しない時間に対する各音響信号が存在する時間の比率を判定することであって、音響信号を間欠的な音響信号又は連続的な音響信号として分類することが、複数の音響データセット内に音響信号が存在しない時間に対する音響信号が存在する時間の比率に基づく、判定することと、各々が音響パラメータの閾値を含む１つ以上のアラーム条件を判定することと、受け取られた音響信号を１つ以上のアラーム条件と比較することと、受け取られた音響信号がアラーム条件を充足する場合に、通知を提供することと、を更に含むことができ、表示画像を生成することは、ターゲットシーン内の場所の１つ以上のラベルを作成することを更に含み、１つ以上のラベルの各々は、タイトル、場所の簡単な説明、音響パラメータの１つ以上の現在値、場所の１つ以上のアラーム条件、及び／又はアラーム履歴に関する情報を含み、複数の音響画像データセットのうちの最新の音響画像データセットに基づいて、リアルタイム表示画像を生成することと、リアルタイム表示画像と累積時間表示画像とを切り替えることと、を更に含む。

上述した様々な実施形態を組み合わせて、また更なる実施形態を提供することができる。本明細書で言及され、かつ／又は出願データシートに列挙される、米国及び外国特許、特許出願公開、非特許刊行物の全ては、それらの全体が参照により本明細書に組み込まれる。実施形態の態様を改変し、必要な場合には、様々な特許、明細書及び刊行物の概念を使用して、更なる実施形態を提供することができる。

上で詳述した説明を考慮して、これらの変更及び他の変更を実施形態に行うことができる。概して、以下の特許請求の範囲において、使用される用語は、特許請求の範囲を、明細書及び特許請求の範囲に開示される具体的な実施形態に限定するものと解釈すべきではなく、このような特許請求の範囲によって権利が与えられる均等物の全範囲に沿った全ての可能な実施形態を含むと解釈すべきである。したがって、特許請求の範囲は、本明細書の開示によって制限されるものではない。

Claims (18)

1. 音響分析システムであって、
   ターゲットシーンから１つ以上の音響信号を受け取り、かつ前記１つ以上の音響信号に基づいて音響データを出力するように構成された音響センサアレイと、
   前記音響センサアレイと通信するプロセッサと、を備え、前記プロセッサが、
   前記音響センサアレイから、各々が異なる時点における前記ターゲットシーンを表す複数の音響データセットを受け取り、
   前記複数の音響データセットによって表される前記ターゲットシーン内の１つ以上の場所であって、前記１つ以上の場所の各々が、前記ターゲットシーンから発せられた音響信号の場所である、１つ以上の場所を判定し、
   各音響信号について、前記音響信号を間欠的な音響信号又は連続的な音響信号として分類し、
   前記複数の音響データセットに基づいて、累積時間音響画像データを生成し、かつ
   ディスプレイ上に提示するための累積時間表示画像であって、前記累積時間音響画像データを含む、累積時間表示画像を生成するように構成されており、
   前記累積時間表示画像内で、間欠的な音響信号として分類された音響信号が、連続的な音響信号として分類される音響信号から区別される、音響分析システム。
2. 間欠的な音響信号として分類された前記音響信号の各々について、前記プロセッサが、前記間欠的な音響信号が存在する前記複数の音響データセットの各々における前記間欠的な音響信号の音響パラメータのうちの１つ以上を平均処理することによって、正規化された間欠的な音響信号を計算するように更に構成されている、請求項１に記載の音響分析システム。
3. 前記音響パラメータのうちの１つ以上を平均処理することが、前記音響信号の強度レベルを平均処理することを含む、請求項２に記載の音響分析システム。
4. 前記音響信号の各々について、前記プロセッサが、
   前記音響信号の周期性を判定し、かつ
   前記音響信号の前記周期性に基づいて、前記音響信号を間欠的な音響信号又は連続的な音響信号として分類するように更に構成されている、請求項１～３のいずれか一項に記載の音響分析システム。
5. 前記音響信号の各々について、前記プロセッサが、
   前記音響信号を分析して、前記複数の音響データセット内に前記音響信号が存在する時間と前記音響信号が存在しない時間との比率を判定し、かつ
   前記音響信号を、前記複数の音響データセット内に前記音響信号が存在する時間と前記音響信号が存在しない時間との前記比率に基づく間欠的な音響信号又は連続的な音響信号として分類するように更に構成されている、請求項１～４のいずれか一項に記載の音響分析システム。
6. 前記プロセッサが、
   前記音響データセットが捕捉された時間中に前記ターゲットシーンにおいて発生したイベントを含むイベントのログを受け取り、かつ
   前記イベントのログ内の１つ以上のイベントを前記音響データセット内の音響信号と関連付けるように更に構成されている、請求項１～５のいずれか一項に記載の音響分析システム。
7. 前記イベントのログが、前記音響分析システムと関連付けられた１つ以上の環境パラメータ又はコンテキストパラメータに関連する１つ以上の追加のセンサからのデータを含む、請求項６に記載の音響分析システム。
8. 前記プロセッサが、
   前記音響センサアレイから受け取った音響データに基づいて、リアルタイム音響画像データを生成し、
   前記リアルタイム音響画像データを含むリアルタイム表示画像を生成し、かつ
   前記累積時間表示画像と前記リアルタイム表示画像との間で前記ディスプレイ上の提示を切り替えるように更に構成されている、請求項１～７のいずれか一項に記載の音響分析システム。
9. ユーザインターフェースを更に備え、前記プロセッサが、前記ユーザインターフェースから受け取ったコマンドに応答して、前記累積時間表示画像及び前記リアルタイム表示画像との間で前記ディスプレイ上の提示を切り替えるように構成されている、請求項８に記載の音響分析システム。
10. 音響画像を生成する方法であって、
    各々が異なる時点におけるターゲットシーンを表す複数の音響データセットを受け取ることと、
    音響信号が発せられた前記ターゲットシーン内の１つ以上の場所を判定することと、
    前記音響信号を間欠的な音響信号又は連続的な音響信号として分類することと、
    前記複数の音響データセットに基づいて、累積時間音響画像データを生成することと、
    前記累積時間音響画像データを含む累積時間表示画像を生成することと、を含み、
    間欠的な音響信号として分類された音響信号が、連続的な音響信号として分類された音響信号から区別する方法で、前記累積時間表示画像内に提示される、方法。
11. 累積時間音響画像データを生成することが、
    間欠的な音響信号として分類された前記音響信号の各々について、複数の音響データセットにわたって前記間欠的な音響信号の音響パラメータのうちの１つ以上を平均処理することによって、正規化された間欠的な音響信号を計算することを含む、請求項１０に記載の方法。
12. 前記ターゲットシーン内の１つ以上の対象となる場所を判定することを更に含み、前記累積時間表示画像を生成することが、前記１つ以上の対象となる場所を、対象となる場所ではない場所から視覚的に区別することを含む、請求項１０又は１１に記載の方法。
13. 前記ターゲットシーンからの電磁放射を表す電磁画像データを受け取ることと、
    前記電磁画像データに基づいて、前記ターゲットシーン内の前記１つ以上の対象となる場所を判定することと、を更に含む、請求項１２に記載の方法。
14. 前記音響信号の各々について、前記音響信号の周期性を判定することを更に含み、音響信号を間欠的な音響信号又は連続的な音響信号として分類することが、前記音響信号の前記周期性に基づく、請求項１０～１３のいずれか一項に記載の方法。
15. 前記複数の音響データセット内に各音響信号が存在する時間と前記音響信号が存在しない時間との比率を判定することを更に含み、音響信号を間欠的な音響信号又は連続的な音響信号として分類することが、前記複数の音響データセット内に前記音響信号が存在する時間と前記音響信号が存在しない時間との前記比率に基づく、請求項１０～１４のいずれか一項に記載の方法。
16. 各々が音響パラメータの閾値を含む１つ以上のアラーム条件を判定することと、
    前記音響信号を前記１つ以上のアラーム条件における閾値と比較することと、
    音響信号が前記１つ以上のアラーム条件のうちのアラーム条件を充足する場合に、通知を提供することと、を更に含む、請求項１０～１５のいずれか一項に記載の方法。
17. 前記累積時間表示画像を生成することが、前記ターゲットシーン内の場所の１つ以上のラベルであって、前記１つ以上のラベルの各々が、タイトル、前記場所の簡単な説明、音響パラメータの１つ以上の現在値、前記場所の１つ以上のアラーム条件、及び／又はアラーム履歴に関する情報を含む、１つ以上のラベルを作成することと、ディスプレイ上に提示するために、前記累積時間表示画像に前記１つ以上のラベルを含めることと、を含む、請求項１６に記載の方法。
18. 前記複数の音響画像データセットのうちの最新の音響画像データセットに基づいて、リアルタイム表示画像を生成することと、
    前記リアルタイム表示画像と前記累積時間表示画像との間でディスプレイ内の提示を切り替えることと、を更に含む、請求項１０～１７のいずれか一項に記載の方法。
    

Images