JP6815461B2 - 音響波の到来方向を計算し、ビームフォーミング機能を促進するように構成された装置 - Google Patents

Description

本開示は、音響波の到来方向を計算し、ビームフォーミング機能を促進するように構成された装置に関する。

スマートマニュファクチャリングなどの産業用ＩｏＴ分野では、生産性を向上させる目的で、エグゼクティブレベルおよび／または製造現場レベルでの後続の行動を決定し、製品とサービスの価値を高めるための方法を決定し、資産に対する収益を増やすためのＩｏＴアプローチが関連技術で提案されている。

例えば、関連技術のＩｏＴアプローチは、製造現場の視覚化予測／予防保守動的スケジューリング、製品ライフサイクル管理（ＰＬＭ）コラボレーション、およびエンドツーエンド（Ｅ２Ｅ）バリューチェーンコラボレーションを利用しようと試みる。

特開２０１８−５９９３２号公報

生産性の改善は、産業用ＩｏＴ分野の一般的な未達成の目標である。工場の製造現場で生産性の向上を確認するために、全体的なセンシングアプローチだけでなく、特定のセンシングアプローチでも、さまざまなタイプの検証が行われている。全体的センシングは、非接触型または非局所型のセンサ（カメラ、超音波センサ、音響センサなど）を検出に使用するタイプのセンシングである。一方、特定センシングは、接触型または局所型のセンサ（温度／湿度センサ、振動センサ、近接センサなど）が使用されるタイプのセンシングである。２種類のセンシング方法は相互に補完的である。

産業工場の製造現場は非常に広い可能性がある。したがって、最初のステップでは、異常な状況、機械、および人間を検出するために全体的なセンシング方法が有効である場合があり、その後、特定のセンシング方法により、本質的な因果関係を詳細に調査できる。このセンシングプロセス（ドリルダウンプロセス）は、生産のダウンタイムを削減するための重要な情報を提供し、生産性の向上につながる。

全体的センシングの関連技術のアプローチは、カメラを使用した監視システムを含み、これは、生産ライン障害監視、オペレータフローライン分析、製品品質チェックなどの応用例を容易にする。しかしながら、関連技術のアプローチにおけるカメラ画像情報は、通常、そのような応用例には不十分である。

本開示の態様は、音響波の到来方向（ＤＯＡ）を計算し、ビームフォーミング機能を促進するように構成された装置を含む。前記装置は、音響波信号を検出するように構成された音響センサアレイと、３次元磁力計と、電波信号を送受信するように構成されたアンテナと、音響波信号を送信するように構成された音響スピーカと、プロセッサと、を含む。プロセッサは、前記音響スピーカからの音響波信号と前記アンテナからの電波信号を同時に送信し、前記音響センサアレイからの別の音響波信号と、前記アンテナからの別の電波信号を検出し、前記検出された別の音波信号および前記検出された別の電波信号に関する情報、および前記３次元磁力計からの測定値を、ゲートウェイに送信する、ように構成されている。

本開示の態様は、音響波の到来方向（ＤＯＡ）を計算し、ビームフォーミング機能を促進するように構成された装置を含む。前記装置は、音響波信号検出手段と、３次元磁力計手段と、電波信号送受信手段と、音響波信号送信手段と、前記音響波信号送信手段からの音響波信号と前記電波信号送信手段からの電波信号とを同時に送信する手段と、検出された別の音響波信号および検出された別の電波信号に関する情報、および前記３次元磁力計手段からの測定値を送信するための手段と、を含む。

本開示の態様はさらにシステムを含み、前記システムは、音波の到来方向（ＤＯＡ）を計算し、ビームフォーミング機能を促進するように構成された複数の装置と、前記複数の装置と情報を通信するように構成されたサーバと、を含む。前記サーバは、プロセッサを含むことができる。前記プロセッサは、前記複数の装置にコマンドを送信して音響波信号と電波信号を同時にブロードキャストさせ、前記複数の装置のそれぞれから、検出された音響波信号および検出された電波信号に関する情報、および３次元磁力計測定値を受信するように構成される。前記情報が、前記複数の装置のそれぞれが、前記複数の装置のうちの別の１つとの少なくとも１つの音響接続を有することを示すとき、前記プロセッサは、前記複数の装置それぞれの位置を決定する。

本開示の態様はさらに方法を含みは、前記方法は、複数の装置にコマンドを送信して音響波信号と電波信号を同時にブロードキャストさせ、前記複数の装置のそれぞれから、検出された音響波信号および検出された電波信号に関する情報、および３次元磁力計測定値を受信し、前記情報が、前記複数の装置のそれぞれが前記複数の装置のうちの別の１つとの少なくとも１つの音響接続を有することを示すとき、前記複数の装置のそれぞれの位置を決定する、ことを含む。

本開示の態様はさらに計算機プログラムを含み、前記計算機プログラムは、複数の装置にコマンドを送信して音響波信号と電波信号を同時にブロードキャストさせ、前記複数の装置のそれぞれから、検出された音響波信号および検出された電波信号に関する情報、および３次元磁力計測定値を受信し、前記情報が、前記複数の装置のそれぞれが前記複数の装置のうちの別の１つとの少なくとも１つの音響接続を有することを示すとき、前記複数の装置のそれぞれの位置を決定する、指示を含む。計算機プログラムは、非過渡的な計算機可読媒体に保存され、１つまたは複数のハードウェアプロセッサによって実行されることができる。

本開示の態様はさらにシステムを含み、前記システムは、複数の装置にコマンドを送信して音響波信号および電波信号を同時にブロードキャストさせるための手段と、前記複数の装置のそれぞれからの、検出された音響波信号および検出された電波信号に関する情報、および３次元磁力計測定値を受信する手段と、前記情報が、前記複数の装置のそれぞれが前記複数の装置のうちの別の１つとの少なくとも１つの音響接続を有することを示すとき、前記複数の装置の各々の位置を決定する手段と、を含む。

本開示の態様はさらに方法を含み、前記方法は、本明細書に記載のシステム、本明細書に記載の方法、および資産の位置情報を使用して、本明細書に記載のように音響装置にビームフォーミング機能を設定し、前記資産の位置情報をビームフォーミングの方向に変換し、ＡＩまたは機械学習技術を使用して、資産の音響状態の監視を容易にする、ことを含む。

例示的な実装形態による、産業用ＩｏＴセンシングシステムの例示的なシステムアーキテクチャを示す。 例示的な実装形態による、音響センサを用いた全体的な検知の例示的な応用を示している。 例示的な実装形態による、音響センサを用いた全体的な検知の例示的な応用を示している。 例示的な実装形態による、現場におけるセンサ装置の例示的な要素図を示している。 例示的な実装形態による、センサ装置の例示的な動作フローチャートを示す。 例示的な実装形態による、センサデ装置から収集された距離ベクトルの例を示している。 例示的な実装形態による、センサデ装置から収集された距離ベクトルの例を示している。 例示的な実装形態による、音響ヒートマップを生成するための位置情報を取得するためのセンサ装置の例示的な配置手順を示している。 図７の展開手順に基づくセンサ装置、ゲートウェイ、およびサーバ間の通信手順の例を示す。 いくつかの例示的な実装での使用に適した例示的な計算装置を備えた例示的なコンピューティング環境を示す。 例示的な実装形態による、資産の状態監視を容易にするために、現場で任意の配置でセンサデバイスが配置されると想定される応用例を示している。 例示的な実装形態による、資産の位置情報のためにカメラを使用する場合の図１０と同一の応用例を示す。 図１１で説明した応用の例示的な実装による、産業用ＩｏＴセンシングシステムのシステムアーキテクチャの例を示している。 例示的な実装による資産画像対応テーブルの例を示している。 図１３に記載された応用の例示的な実装によるグラフィカルユーザインタフェース（ＧＵＩ）の例を示す。

以下の詳細な説明は、本出願の図面および実施例のさらなる詳細を提供する。図面間の冗長要素の参照番号および説明は、明確にするために省略されている。説明全体で使用される用語は例として提供されており、限定することを意図したものではない。例えば、「自動」という用語の使用は、完全自動、または、本願の応用の実装を実施する当業者の所望の実装に応じて実装の特定の側面に対するユーザまたは管理者の制御を伴う半自動実装を含み得る。選択は、ユーザがユーザインタフェースまたは他の入力手段を介して実行するか、目的のアルゴリズムを使用して実装できる。本明細書で説明する例示的な実装は、単独でまたは組み合わせて利用することができ、例示的な実装の機能は、所望の実装による任意の手段を通じて実装することができる。

本開示では、カメラデータを補完するために、マイクなどの音響センサが利用される。実装例では、カメラピクセルとカメラデータを補完する音響センサデータとの対応関係を決定して、現場を詳細に調査する。生産性を高めるための要件を満たすために、本明細書で開示される全体的なセンシング方法およびシステムは、カメラデータと音響データのセンサデータの融合を提供する。さらに、カメラと音響センサのデータを重ね合わせるために、実装例では音響センサのヒートマップを自動的に取り込む。

本開示は、一般に、全体的センシングシシステムに関する。本明細書で説明する実装例では、カメラと音響センサのデータが統合され、ＩｏＴエリアの全体的センシングシステムの音響センサヒートマップを取り込むシステムと方法が提案される。特に、本明細書で説明される例示的な実装は、屋内使用事例のための自動ヒートマップ生成を促進することができる。

ヒートマップは、センサ位置情報を組み込む。センサの数が少ない場合、手動記録、モバイル装置などのユーザ機器（ＵＥ）でのビーコンサポート、モバイル装置ディスプレイに表示される作業現場の図面をタップして位置／センサ識別子（ＩＤ）を登録するなどの方法が機能し得る。ただし、センサの数が過度に多くなると（例えば、１００を超えると）、かかる方法は、発生するコストが高すぎる可能性があるため機能しない可能性がある。したがって、ここで説明する実装例は、例えば、全地球測位衛星（ＧＰＳ）システムが利用できない屋内でのユースケースで（例えば、コストが高すぎる、信頼性が低いなど）、音響ヒートマップを取り込み、ヒートマップをカメラデータにオーバーレイするコストを改善する。

以下に説明する実装例では、システムおよび方法は、手動操作を減らして単一の音響センサで音響ヒートマップを取り込み、音響センサアレイで作業現場を詳細に調査し、ヒートマップ情報をカメラデータにオーバーレイするように構成される。

図１は、例示的な実装形態による、フィールドサイト１００（例えば、作業現場）およびサーバサイト１０１（例えば、制御／管理センタ）の両方における産業用ＩｏＴセンシングシステムの例示的なシステムアーキテクチャを示している。この例では、フィールドサイト１００にセンサ装置１〜１０およびＩｏＴゲートウェイ（ＧＷ）１０２−１、１０２−２、１０２−３があり、センサ装置１〜１０およびＧＷ１０２−１、１０２−２、１０２−３は、無線または有線の通信リンクを介して接続される。サーバサイト１０１は、サーバ１０３、データレイク１０４、通信スイッチ１０５、およびブラウジング装置１０６（例えば、パーソナルコンピュータ）を含むことができる。例示的実装形態では、センサ装置１〜１０は、各ローカル位置から音響信号と画像を取得するための音響センサとカメラを含むことができる。音響データ、カメラ画像、およびその他のセンサ情報（センサＩＤ、補助的センサデータなど）は、フィールドサイト１００にあるＧＷ１０２−１、１０２−２、１０２−３のいずれかに転送され、センサ装置１〜１０へのネットワーク接続を容易にする。音響センサデータとカメラ画像は、各センサ内に構成されたメイン計算ユニットで処理できる。転送されたデータ、画像、およびその他の情報は、データレイク１０４に格納され、アプリケーションに従って処理される。例えば、あるアプリケーションは、音響センサのデータとカメラの画像をオーバーレイすることができる。ブラウジング装置１０６は、データレイク１０４でアプリケーションを実行し、カメラデータ１０８およびセンサデータ１０９で視覚化画像１０７を生成することができる。

本明細書で説明する例示的な実装形態では、視覚化画像１０７は、音響ヒートマップ図面を提供して、ＧＰＳシステムとは独立した新規のセンサ装置の使用を通じて手動コストおよびリソースを削減することを含む。本明細書で説明する例示的な実装形態は、新規のセンサ装置を使用してセンサの位置情報を取得する新規の方法を使用して、関連技術のアプローチよりも生産性が向上した音響ヒートマップの提供をより容易に促進する。

図２および図３は、例示的な実装形態による、音響センサを用いた全体的なセンシングの例示的な応用を示している。図２および３は、ドリルダウン分析アプローチの例を示している。デフォルトの動作モードでは、図２の音響ヒートマップ１０７−１に示すように、異常なイベントまたは機械を大まかに検索するのに十分な大まかなヒートマップを単一の音響センサから取得できる。異常（例えば、温度、湿度、振動などが事前設定された閾値を超える）が検出されると、図３の音響ヒートマップ１０７−２に示されるように、センサに装備された音響センサアレイでより詳細な調査を行うことができる。図２の音響ヒートマップ１０７−１の解像度は、図３の音響ヒートマップ１０７−２のそれよりも小さい。後者は、音響センサアレイのビームフォーミング機能に由来する。ここで説明する例示的実装形態に示すように、センサ装置は、音響波の到来方向（ＤＯＡ）を計算し、空間選択性を達成するために特定の方向に焦点を合わせた音響センサアレイを利用してビームフォーミング機能を促進するように構成できる。

図４は、例示的な実装形態による、フィールドサイトにおけるセンサ装置の例示的な要素図を示している。具体的には、図４は、図１における、センサ装置１の例示的な構成およびセンサ装置２との例示的な相互作用を示す。例示的な実装形態において、センサ装置１は、音響センサアレイ４００（例えば、図４に示されるように８つのセンサで構成されるアレイ）、センサの姿勢を検出するように構成される３次元磁力計／加速度計４０１、１つ以上のハードウェアプロセッサから構成されるメイン計算／制御ユニット（ＭＣＵ）４０２、単一の音響センサ／スピーカシステム４０３、および電波アンテナ４０４を含む。センサ装置１は、サーバまたは計算装置からのコマンドに従って音響センサ／スピーカシステム４０３および電波アンテナ４０４を同時に利用することで、音響波信号４２０および電波信号４１０を生成および送信する。

ＭＣＵ４０２は、ゲートウェイから受信したコマンドに応答して、音響センサ／スピーカシステム４０３からの音響波信号とアンテナ４０４からの電波信号を同時に送信するように構成されることができる。そのようなコマンドは、図５及び７を参照して説明するように、サーバからゲートウェイに送信され、センサ装置１に中継される。アンテナ４０４は、ゲートウェイ１０２−１、１０２−２、１０２−３のうちの１つを介してサーバ１０３と通信するためにも使用することができ、サーバ１０３とセンサ装置との間の無線通信のためのネットワークインターフェース（Ｉ／Ｆ）として機能することができる。所望の実装に応じて、センサ装置は、有線接続によってゲートウェイ１０２−１、１０２−２、１０２−３に直接接続することもできる。図４に示されていないが、カメラ画像を生成するために、カメラをセンサ装置に含めることもできる。

図４において、センサ装置１はセンサ装置２に送信しており、センサ装置２は、音響センサアレイおよび音響センサ／スピーカシステムを介して音響波信号４２０を受信し、アンテナを介して電波信号４１０を受信するように構成されている。音響波信号と電波信号の送受信から、センサ装置間の距離４３０は、音響波信号と電波信号間の到達時間差に基づいて次の式で導出できる。
距離＝（音響波と電波との間の到着時間差）×空気中の音速

例示的な実装形態において、センサ装置２の音響センサアレイ（センサ装置１で同様に構成される）は、音響波信号を検出し、目的の実装に従ってＭＣＵに実装された到来方向（ＤＯＡ）技術を使用することにより、検出された音響波の方向を導出する。距離方程式とＤＯＡ制御技術により、ＭＣＵは、音響波信号と電波信号を送信した別の装置までの距離と方向（距離ベクトル）を決定できる。

このようなプロセスは、センサ装置１が音響波信号および電波信号を送信したことで、センサ装置２からセンサ装置１までの相対距離ベクトルを提供する。距離ベクトルに加えて、センサ装置２は、その３次元磁力計と加速度計を使用して、自身の姿勢を測定する。加速度計は、センサの傾きを測定するために使用される。３次元磁力計は、センサの向きを測定するために使用される。３次元磁力計と加速度計から得られた傾きと向きの値により、すべてのセンサから抽出されたすべての相対距離ベクトルの座標系は、サーバ１０３でのデータ処理として基準の共通の形式及びフレームで維持できる。センサ装置が他のセンサ装置への距離ベクトルを抽出すると、センサ装置は、その距離ベクトルを傾き値及び向き値とともにＧＷに送信できる。

図５は、例示的な実装形態による、センサ装置の例示的な動作フローチャートを示す。フロー図は、センサ装置のＭＣＵによって実行できる。５００において、センサ装置の電源が投入されると、センサ装置は、５０１において、無線または有線通信プロトコルでＧＷへの接続を試みる。

ＧＷに接続した後、センサ装置は、そのセンサＩＤを、ＧＷを介してサーバ１０３に送信する。センサＩＤはサーバ１０３によって収集され、センサ装置の位置検出手順を管理するために使用される。例示的実装形態では、センサ装置は、５０２において、センサデータ（音響ＲＡＷデータ、前処理済みデータ、要約データなど）の送信を継続する。平行しておよび／または同時に、センサ装置は、５０３において、音響センサ４０３、音響センサアレイ４００及び電波アンテナ４０４を使用することによる音響信号および電波信号の受信を待つ。音響信号または電波信号が受信されない場合（Ｎｏ）、センサ装置は、５０７において、動作状態を変更して、サーバ１０３からのコマンドをチェックする。そうでなければ（Ｙｅｓ）、センサ装置が音響信号および電波信号を受信した場合、センサ装置は、５０５において、ＭＣＵ４０２を介して音響および電波信号を送信したセンサ装置までの距離と方向を決定し、５０６において、距離、方向、傾き、向きのデータ（例えば、３次元磁力計／加速度計４０１から導出される）の情報を、ＧＷへ送信する。

続いて、５０７で、センサ装置はその動作状態を変更して、サーバ１０３からのコマンドをチェックする。５０８においてコマンドを受信しない場合（Ｎｏ）、センサ装置はその動作モードを変更し、５０２及び５０３でフローを実行してセンサデータを送信する。それ以外の場合、センサ装置が５０８でサーバ１０３からコマンドを受信した場合（Ｙｅｓ）、センサ装置は、５０９において、音響スピーカと電波アンテナを使用して音響信号と電波信号を同時に生成およびブロードキャストし、５０２においてセンサデータを再度送信し続ける。

図６Ａおよび６Ｂは、実施例による、センサ装置から収集された距離ベクトルの例を示している。図６Ａには、音響接続が示されており、これはセンサ装置が配置されている位置に依存する。図６Ａの例では、センサ装置１、３、４、５、６、７、８、および１０にわたって１０の音響接続が確立され、図６Ｂに詳細に示すように、相対距離ベクトルがサーバ１０３に収集される。図６Ｂにおいて、各センサ装置間の距離ベクトルは、デカルト座標系のベクトル成分を表す（ｘ、ｙ、ｚ）形式で実装されている。しかしながら、所望の実装に従って他のフォーマットも利用することができ、本開示は上記形式に限定されない。図６Ｂに示すように、Ｎ／Ａは、２つの対応するセンサ装置が相互音響接続を持たないことを示す。センサ装置が他のすべてのセンサ装置と比較してＮ／Ａエントリを有している場合、他のセンサ装置との音響接続を有していない。したがって、サーバ１０３は、図６Ｂの距離ベクトルテーブルを参照することにより、他の装置との音響接続を持たない装置を特定することができる。

図７は、例示的な実装形態による、音響ヒートマップを生成するための位置情報を取得するための、センサ装置の例示的な配置手順を示している。７００において、ユーザの好みに応じてセンサ装置をフィールドサイトに配置する。そのとき、音響通信距離のガイドライン（例えば、スペクトルが広がる超音波を含む例では最大約２０から３０メートル）を参照し、センサ装置を順番に電源投入する（例えば、ブロードキャストされた電源投入コマンドに応答して、センサＩＤに従う）。

７０１において、すべてのセンサ装置がＧＷに接続し、図５のフローに関して説明したように、それらのセンサＩＤをサーバ１０３に提供する。このジャンクションで、サーバ１０３は、配置されたセンサＩＤのリストを有し、７０２において、まだブロードキャストしていない各センサ装置に音響／電波を同時にブロードキャストさせる制御コマンドを送信する。コマンドを受信する各センサ装置は、図５に関して説明したように、７０３において、同時に音響信号と電波信号をブロードキャストする。

７０４において、その音響センサ、音響センサアレイ、および電波アンテナ（例えば、図４に示す）を使用して波形信号の両方を受信するセンサ装置は、ＭＣＵを介して距離および方向を計算し、図５で説明したように、距離、方向、傾き／向き、およびセンサＩＤ情報をサーバ１０３に送信する。７０５において、サーバは、短時間（例えば、２または３秒間）一時停止する。この一時停止は、時分割多重伝搬を提供し得る音響波信号によって引き起こされる通信干渉を防ぐために利用される。フローのステップ７００〜７０５は、７０６で決定されるようにすべてのセンサ装置が音響波と電波を同時にブロードキャストするまで、繰り返される。すべてのセンサ装置は、まだブロードキャストしていない場合（Ｎｏ）、フローは７０２に進み、そうでなければ（Ｙｅｓ）フローは７０７に進む。

すべてのセンサのブロードキャストが検出されると、サーバ１０３は、図６Ｂに示すように距離ベクトルテーブルを決定する。距離ベクトルテーブルを使用して、サーバ１０３は、７０７において、他の装置と音響接続していないセンサ装置を識別できる。他の装置と音響接続していないセンサ装置が少なくとも１つある場合（Ｎｏ）、フローは７１０に進み、サーバ１０３は、ブラウジング装置１０６に、どのセンサ装置が他の装置と音響的に接続しておらず、したがって再配置する必要があるかを示す。ユーザは、センサ装置を再配置し（例えば、センサ装置を、別のセンサ装置に接続可能な範囲内の新しい場所または向きに動かす）、再配置が完了したことを、ブラウジング装置１０６を介して、サーバ１０３に示す。これにより、７０２においてフローを繰り返すことができる。

すべてのセンサ装置が他のセンサ装置と少なくとも１つの接続を有する場合（Ｙｅｓ）、サーバ１０３は、７０８において、各センサ装置から収集された距離、方向、傾き、および向きの情報を使用して、各センサ装置の相対位置を計算する。次に、サーバ１０３は、７０９において、１つのセンサ装置の特定の位置（例えば、直接測定による（ｘ、ｙ、ｚ）形式など）の提供（例えば、ブラウジング装置１０６によって、センサ装置の１つからのデータによって、等）に基づいて、すべてのセンサ装置の絶対位置を導出する。

図８は、図７の配置手順に基づく、センサ装置、ＧＷ、およびサーバ間の通信の手順の例を示す。具体的には、図８は、各システム要素が図７からその手順を開始する方法およびタイミングに関して、システム全体の例示的な反復を時間順に示している。

図９は、図１に示すように、サーバ１０３および／またはブラウジング装置１０６の機能を促進するなど、いくつかの例示的な実装での使用に適した例示的な計算機を備えた例示的なコンピューティング環境を示す。

コンピューティング環境９００内の計算装置９０５は、１つ以上の処理ユニット、コア、またはプロセッサ９１０、メモリ９１５（例えば、ＲＡＭ、ＲＯＭなど）、内部記憶装置９２０（例えば、磁気、光学、ソリッドステートストレージ、および／または有機メモリ）、および／またはＩ／Ｏインタフェース９２５を含み、これらのいずれも情報を通信するための通信機構またはバス９３０に結合されるか、計算装置９０５に埋め込まれている。Ｉ／Ｏインタフェース９２５も、必要な実装に応じて、カメラから画像を受信したり、プロジェクタやディスプレイに画像を提供したりするように構成されている。

計算装置９０５は、入力／ユーザインタフェース９３５および出力装置／インタフェース９４０に通信可能に結合することができる。入力／ユーザインタフェース９３５および出力装置／インタフェース９４０のいずれか一方または両方は、有線または無線インタフェースであり、取り外し可能であり得る。入力／ユーザインタフェース９３５には、入力を提供するために使用できる物理的または仮想的な装置、コンポーネント、センサ、またはインタフェースが含まれる（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソルコントロール、マイク、カメラ、点字、モーションセンサ、光学式リーダなど）。出力装置／インタフェース９４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含み得る。いくつかの例示的な実装では、入力／ユーザインタフェース９３５および出力装置／インタフェース９４０は、計算装置９０５に埋め込むか、または物理的に結合することができる。他の例示的な実装では、他の計算機は、計算装置９０５に対して、入力／ユーザインタフェース９３５および出力装置／インタフェース９４０として機能するか、または機能を提供することができる。

計算装置９０５の例には、可搬性の高い装置（例えば、スマートフォン、車両および他の機械内の装置、人間および動物によって運ばれる装置など）、モバイル装置（例えば、タブレット、ノートブックコンピュータ、ラップトップコンピュータ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、モバイル向けに設計されていない装置（デスクトップコンピュータ、他の計算機、情報キオスク、１つ以上のプロセッサが埋め込まれた、または結合されたテレビ、ラジオなど）が含まれ得るが、これらに限定されない。

計算装置９０５は、（例えば、Ｉ／Ｏインタフェース９２５を介して）外部ストレージ９４５およびネットワーク９５０に通信可能に結合され、同一または異なる構成を有する計算装置を含む、任意の数のネットワーク化されたコンポーネント、装置、およびシステムと通信することができる。計算装置９０５または任意の接続された計算装置は、サーバ、クライアント、シンサーバ、一般機械、専用機械、または別の名称の装置のサービスを提供する、またはそれらのいずれかと見なすことができる。

Ｉ／Ｏインタフェース９２５は、コンピューティング環境９００の少なくともすべての接続コンポーネント、装置、およびネットワークと情報をやり取りするため、任意の通信またはＩ／Ｏプロトコルまたは標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコル、等）を使用する有線および／または無線インタフェースを含むことができるが、これらに限定されない。ネットワーク９５０は、任意のネットワークまたはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話ネットワーク、携帯電話ネットワーク、衛星ネットワークなど）でありえる。

計算装置９０５は、一過性媒体および非一過性媒体を含む計算機使用可能または計算機可読媒体を、使用する、および／または、使用して通信することができる。一過性媒体には、伝送媒体（金属ケーブル、光ファイバなど）、信号、搬送波などが含まれる。非一過性媒体には、磁気媒体（ディスクやテープなど）、光学媒体（ＣＤＲＯＭ、デジタルビデオディスク、ブルーレイディスクなど）、ソリッドステート媒体（ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ等）、およびその他の不揮発性ストレージまたはメモリが含まれる。

計算装置９０５を使用して、いくつかの例示的なコンピューティング環境における技術、方法、アプリケーション、プロセス、または計算機実行可能命令を実装することができる。計算機で実行可能な命令は、一過性媒体から取得し、非一過性媒体に格納できる。実行可能命令は、１つまたは複数の任意のプログラミング言語、スクリプト、およびマシン言語（Ｃ、Ｃ ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）から生成できる。

プロセッサ９１０は、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で、ネイティブ環境または仮想環境で実行することができる。ＯＳおよび他のアプリケーション（図示せず）と共に、１つ以上のアプリケーションを展開することができ、それらは、論理ユニット９６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット９６５、入力ユニット９７０、出力ユニット９７５、およびと互いに通信する異なるユニットのためのユニット間通信機構９９５を含む。説明されたユニットおよび要素は、設計、機能、構成、または実装が異なる可能性があり、提供された説明に限定されない。

いくつかの例示的な実装形態では、情報または実行命令がＡＰＩユニット９６５によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット９６０、入力ユニット９７０、出力ユニット９７５）に通信され得る。いくつかの例では、論理ユニット９６０は、いくつかの上記例示的な実装形態において、ユニット間の情報フローを制御し、ＡＰＩユニット９６５、入力ユニット９７０、および出力ユニット９７５によって提供されるサービスを指示するように構成されてもよい。例えば、１つまたは複数のプロセスまたは実装のフローは、論理ユニット９６０単独またはＡＰＩユニット９６５と連動して制御され得る。入力ユニット９７０は、例示的な実装形態で説明される計算のための入力を取得するように構成され得る。ユニット９７５は、例示的な実装形態で説明される計算に基づいて出力を提供するように構成され得る。

例示的な実装形態では、プロセッサ９１０は、図７および図８に示されるようなフロー図を実行するように構成されることができ、図４、５、および７に関連して説明したように、複数の装置にコマンドを送信して、音響波信号および電波信号を同時にブロードキャストするように構成されることができ、図７に関して説明したように、複数の装置のそれぞれから、検出された音響波信号および検出された電波信号に関する情報、および３次元磁力計測定値を受信するように構成されることができ、そして、複数の装置の別の１つとの少なくとも１つの音響接続を有する複数の装置のそれぞれを示す情報のために、図６Ｂおよび７に関して説明したように、複数の装置のそれぞれの位置を決定するように構成されることができる。

例示的な実装形態では、すべての装置が、音響波信号および電波信号をブロードキャストするコマンドを受信したわけではない場合がある。プロセッサ９１０は、所望の実装に応じて、どの装置が検出された音響波信号および電波信号に関する情報を送信しなかったか、および／または、発行されたコマンドに対する確認応答を受信しなかったことを特定することに基づいて、そのような状況を判断するように構成されることができる。したがって、プロセッサ９１０は、コマンドに応答して音響波信号と電波信号を同時にブロードキャストしない複数の装置のうちの装置について、図７において説明したように、複数の装置のそれら装置にコマンドを再送信するように構成されることができる。

例示的な実装形態では、センサ装置は、図６Ａに示されるように、他のセンサ装置に音響的に接続することができない場所に配置される可能性がある。したがって、プロセッサ９１０は、図６Ｂの距離ベクトルテーブルからそのような状況を検出することができ、さらに、図７で説明したように、再配置のために、複数の装置の別の１つと少なくとも１つの音響接続も持たない複数の装置の１または複数を示すように構成されることができる。

例示的な実装形態では、図２および図３に示されるような音響ヒートマップは、プロセッサ９１０によって複数の装置のそれぞれの決定された位置に基づいて生成することができる。プロセッサ９１０は、図６Ｂの距離ベクトルテーブルを参照し、センサ装置間のベクトル数に基づいて、または目的の実装に応じた他の方法で、ヒートマップを生成することができる。

例示的な実装形態では、図７に示されるように、プロセッサ９１０は、３次元磁力計測定値、ならびに、検出された音響波信号および検出された電波信号に関する情報からの距離情報および方向情報に基づいて、複数の装置のそれぞれの相対位置を計算し、さらに、相対位置の計算に基づいて複数の装置の絶対位置の導出することによって、複数の装置のそれぞれの位置を決定するように構成されることができる。

例示的な実装形態では、図７に示されるように、プロセッサ９１０は、設定に基づいてコマンドの送信前に一時停止するように構成されることができる。この設定は、事前設定（２〜３秒など）することも、任意の実装で計算することも可能である。

メモリ９１５は、センサ装置から受信した情報を管理するように構成されることができ、例えば、センサ装置間の距離および方向、三次元磁力計および加速度計からの傾きおよび向き、ならびに所望の実装に応じて、音響信号と電波信号に関するデータを管理できる。そのような情報から、メモリ９１５は、図６Ａおよび６Ｂに示されるようにセンサ装置間の音響接続に関する情報、ならびに、図２および３に示される音響ヒートマップを格納するように構成されることができる。所望の実装に応じて、そのような情報はデータレイク１０４に保存することもできる。

例示的な応用において、図１０に示すように、センサ装置は、工場の現場に任意のレイアウトで配置され、現場全体をカバーすると想定する。この応用では、製造現場での資産（処理機械など）の位置は、目的の実装に応じて、例えば、センサ装置に設置されたカメラ、無線通信、超音波の利用、直接測定、製造現場の図面の利用などによって知られている。資産の位置は、センサ装置の視点からの相対的な位置に変換され、センサ装置が音響視界でビームを向ける方向を特定します。その結果、センサ装置の音響センサアレイは、ユーザが調査したい資産に焦点を合わせることができるようになる。したがって、このアプローチは、機械状態の分類（監視）、機械診断、非常に低いノイズの音響データを使用した最先端の人工知能（ＡＩ）／機械学習技術を使用した口述認識など、さまざまな分析を容易にします。

例示的な実施形態では、図１１、１２、および１３に示すように、センサ装置に設置されたビデオカメラ１２０３を上記の方法で使用することができる。図１１は、機械Ａ、Ｂ、Ｃ、およびＤなどの資産の割り当てを伴う製造現場の全体図の例を示す。さらに、音響アレイおよび中央カメラ１２０３を有するセンサ装置が示され、その配置位置は任意であってよい。図１１では、説明を簡単にするために、センサ装置はグリッド状で配置されている。

ユーザが調査したい資産の位置を識別するためにカメラ１２０３を使用する際には、２つの変換が必要である。１．「資産のピクセル位置」から「音響マイクアレイのビーム方向」（一部のフォーマット例として、センサのキャリブレーションテーブルまたは数学的定式化が可能）。２．「資産画像」から「資産のピクセル位置」。１つ目は、資産にマイクアレイのビームを直接向けることであり、カメラとマイクアレイ間の方向のキャリブレーションが必要となる。他方、「資産画像対応テーブル」１３００が事前に準備されると、一般的な画像認識技術が、資産画像のピクセル位置への変換の設定を容易にすることができる。

図１２において、上記応用を容易にするシステム図の例が示されており、カメラ１２０３はセンサ装置の中心に設置され、「資産画像対応テーブル」１３００はデータレイク１０４内にある（グラフィカルユーザインタフェース（ＧＵＩ）１４００も示されている）。

図１３は、図１１のカメラ画像１１００に示すようにカメラ画像を資産ＩＤ（またはラベルや名前など）に変換する「資産−画像対応テーブル」１３００の一例を示す。

例示的な実装形態において、図１４に示すように、ＧＵＩ１４００は、ユーザがフィルタフィールドを使用して調査することを望む資産をユーザが示し、全体の製造現場図が示される資産選択フィールドを使用して資産の正確な位置をユーザ選択することをサポートする。図１４に示す資産状態監視用のＧＵＩでは、ユーザが調査したい資産を指定すると、ＧＵＩの下部のテーブルに、分析／処理結果が表示される。

例示的な実装形態では、図１２で説明したようにシステムを使用し、図５、７、８において説明したようにアルゴリズムを使用し、そして、システムが管理する資産の位置情報を使用して、図４および１２で説明したように、装置上でビームフォーミング機能を設定すること含む応用がある。この応用にはさらに、資産の位置情報をビームフォーミング方向に変換し、ＡＩまたは機械学習技術を使用して、資産の音響状態の監視を容易にすることも含まれる。

そのような装置に、図１２に示すように、ビデオカメラもインストールされている場合、この応用は、図１３に示すような事前に準備された資産画像とユーザが資産を識別できる資産ＩＤとの対応を示す資産画像対応テーブルのデータレイクにおける管理と、画像認識技術を使用して、事前に準備された資産画像をビデオカメラにおける資産のピクセル位置に変換することと、資産のピクセル位置を音響マイクアレイのビーム方向に変換することと、を含むことがある。

そのような例示的な実装は、合成ビデオカメラ映像の選択フィールド、フィルタフィールド、および資産の分析結果を示すテーブルフィールドを資産のために示し、映像への入力（クリックやタップなど）およびフィルタフィールドへの入力（チェックボックスなど）を介した資産または資産のグループの選択およびフィルタ機能を提供するＧＵＩをさらに含む。

詳細な説明のいくつかの部分は、計算機内の動作のアルゴリズムおよび記号表現に関して提示されている。これらのアルゴリズム記述および記号表現は、データ処理技術の当業者が、その革新の本質を他の当業者に伝えるために使用する手段である。アルゴリズムは、目的の最終状態または結果に至る一連の定義済みステップである。例示的実装形態において、実行されるステップは、具体的な結果を得るために具体的な量の物理的操作を必要とする。

議論から明らかなように、特に明記しない限り、説明全体を通して、「処理」、「計算」、「演算」、「決定」、「表示」などの用語を利用する議論は、計算機システムまたは他の情報処理装置の行為および処理を含むことができる。そのような情報処理装置は、計算機システムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、また、そのデータを、計算機システムのメモリ、レジスタ、もしくは他の情報記憶装置、または、伝送装置もしくは表示装置内の物理量として同様に表される他のデータに変換する。

例示的な実装形態は、本明細書の動作を実行するための装置にも関係し得る。この装置は、必要な目的のために特別に構築されてもよいし、１つ以上の計算機プログラムによって選択的に起動または再構成される１つ以上の汎用計算機を含んでもよい。そのような計算機プログラムは、計算機可読記憶媒体または計算機可読信号媒体などの計算機可読媒体に格納されてもよい。計算機可読記憶媒体は、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、ソリッドステート装置およびドライブなどの有形媒体、またはその他の適切な有形または非一過性の電子情報を格納するための媒体を含み得る。計算機可読信号媒体には、搬送波などの媒体が含まれる場合がある。本明細書で提示されるアルゴリズムおよび表示は、特定の計算機または他の装置に本質的に関連するものではない。計算機プログラムには、目的の実装の操作を実行する命令を含む純粋なソフトウェア実装を含めることができる。

様々な汎用システムが、本明細書の例に従ってプログラムおよびモジュールとともに使用され得るか、または、より特殊な装置を構築して所望の方法ステップを実行することの利便性が高いことが判明し得る。さらに、例示的実装形態は、特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語を使用して、本明細書で説明する例示的な実装形態の教示を実装できることが理解されよう。プログラミング言語の命令は、１つまたは複数の処理装置、例えば中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラによって実行されてもよい。

当技術分野で知られているように、上記の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。例示的な実装のさまざまな側面は、回路および論理装置（ハードウェア）を使用して実装でき、他の側面は、プロセッサによって実行されると、プロセッサに本願の実装形態を実施する方法を実行させる、機械可読媒体（ソフトウェア）に格納された命令を使用して実装できる。さらに、本出願のいくつかの例示的な実装形態は、ハードウェアのみで実行されてもよいが、他の例示的な実装形態は、ソフトウェアのみで実行されてもよい。さらに、説明されているさまざまな機能は、単一のユニットで実行することも、さまざまな方法で多数のコンポーネントに分散させることもできる。ソフトウェアによって実行される場合、これらの方法は、計算機可読媒体に格納された命令に基づいて、汎用計算機などのプロセッサによって実行され得る。必要に応じて、命令は圧縮および／または暗号化された形式で媒体に保存できる。

さらに、本願の他の実装形態は、本願の教示の仕様および実施を考慮することにより、当業者には明らかであろう。説明した例示的な実装形態の様々な態様および／または構成要素は、単独でまたは任意の組み合わせで使用され得る。本明細書および例示的な実装形態は、単なる例と見なされることが意図されており、本出願の真の範囲および精神は、添付の特許請求の範囲によって示される。

Claims (20)

1. 音響波の到来方向を計算し、ビームフォーミング機能を促進するように構成された装置であって、
   音響波信号を検出するように構成された音響センサアレイと、
   ３次元磁力計と、
   電波信号を送受信するように構成されたアンテナと、
   音響波信号を送信するように構成された音響スピーカと、
   プロセッサと、を含み、
   前記プロセッサは、
   前記音響スピーカからの音響波信号と前記アンテナからの電波信号を同時に送信し、
   別の装置から同時に送信された、前記音響センサアレイからの前記送信された音響波信号とは別の音響波信号と、前記アンテナからの前記送信された電波信号とは別の電波信号と、を検出し、
   前記検出された別の音響波信号と前記検出された別の電波信号に関する情報、および３次元磁力計からの測定値を、ゲートウェイに送信する、装置。
2. 請求項１に記載の装置であって、
   前記音響センサアレイからの前記別の音響波信号および前記アンテナからの前記別の電波信号の検出を行う、装置。
3. 請求項１に記載の装置であって、
   前記３次元磁力計からの測定値が前記装置の向きの測定値を含み、
   前記プロセッサが前記装置の傾きの測定値を前記ゲートウェイに送信する、装置。
4. 請求項１に記載の装置であって、
   前記プロセッサは、前記音響センサアレイからの前記別の音響波信号と前記アンテナからの前記別の電波信号とを検出するため、
   前記別の音響波信号と前記別の電波信号を送信した別の装置までの距離と方向を決定し、
   前記検出された別の音響波信号および前記検出された別の電波信号に関する情報として、前記決定された距離および前記決定された方向を送信する、装置。
5. 請求項１に記載の装置であって、
   前記プロセッサは、前記ゲートウェイから受信したコマンドに応答して、前記音響スピーカからの前記音響波信号と前記アンテナからの前記電波信号とを同時に送信する、装置。
6. 請求項１に記載の装置であって、
   前記装置の電源が投入されると、前記プロセッサは
   前記ゲートウェイに接続し、
   前記装置の識別子を前記ゲートウェイに送信する、装置。
7. システムであって、
   音響波信号と電波信号とを送受信し、音響波の到来方向を計算する、複数の装置と、
   前記複数の装置と通信するサーバと、を含み、
   前記サーバは、
   前記複数の装置に、音響波信号と電波信号を同時にブロードキャストするコマンドを送信し、
   前記複数の装置のそれぞれから、別の装置から同時にブロードキャストされて検出された音響波信号および電波信号に関する情報、ならびに、３次元磁力計測定値を受信し、
   前記情報が、前記複数の装置のそれぞれが、前記複数の装置における前記別の装置と少なくとも１つの音響接続を有することを示すとき、前記複数の装置のそれぞれの位置を決定する、システム。
8. 請求項７に記載のシステムであって、
   前記コマンドに応答して前記音響波信号と前記電波信号とを同時にブロードキャストしない装置に対して、前記サーバは、前記コマンドを再送信する、システム。
9. 請求項７に記載のシステムであって、
   前記情報が、前記複数の装置のうちの１または複数の装置が、前記複数の装置における別の装置との少なくとも１つの音響接続を持たないことを示すとき、前記サーバは、前記１または複数の装置を再配置の対象として示す、システム。
10. 請求項７に記載のシステムであって、
    前記サーバは、前記複数の装置それぞれの前記決定された位置に基づいて、音響ヒートマップを生成する、システム。
11. 請求項７に記載のシステムであって、
    前記サーバは、
    前記３次元磁力計測定値と、前記検出された音響波信号および検出された電波信号に関する情報から得られる距離情報および方向情報と、に基づき前記複数の装置それぞれの相対位置を計算し、
    前記相対位置に基づいて、前記複数の装置の絶対位置を導出し、
    前記絶対位置を前記複数の装置の位置と決定する、システム。
12. 請求項７に記載のシステムであって、
    前記サーバは、設定に基づいて、前記コマンドの送信前に一時停止する、システム。
13. サーバが、複数の装置に、音響波信号と電波信号を同時にブロードキャストするコマンドを送信し、
    前記サーバが、前記複数の装置のそれぞれから、別の装置から同時にブロードキャストされて検出された音響波信号および電波信号に関する情報、ならびに、３次元磁力計測定値を受信し、
    前記情報が、前記複数の装置のそれぞれが、前記複数の装置における別の装置と少なくとも１つの音響接続を有することを示すとき、前記サーバが、前記複数の装置のそれぞれの位置を決定する、方法。
14. 請求項１３に記載の方法であって、
    前記サーバが、前記コマンドに応答して前記音響波信号と前記電波信号とを同時にブロードキャストしない装置に対して、前記コマンドを再送信する、方法。
15. 請求項１３に記載の方法であって、
    前記情報が、前記複数の装置のうちの１または複数の装置が、前記複数の装置における別の装置との少なくとも１つの音響接続を持たないことを示すとき、前記サーバが、前記１または複数の装置を再配置の対象として示す、方法。
16. 請求項１３に記載の方法であって、
    前記サーバが、前記複数の装置それぞれの前記決定された位置に基づいて、音響ヒートマップを生成する、方法。
17. 請求項１３に記載の方法であって、
    前記サーバが、
    前記３次元磁力計測定値と、前記検出された音響波信号および検出された電波信号に関する情報から得られる距離情報および方向情報と、に基づき前記複数の装置それぞれの相対位置を計算し、
    前記相対位置に基づいて、前記複数の装置の絶対位置を導出し、
    前記絶対位置を前記複数の装置の位置と決定する、方法。
18. 請求項１３に記載の方法であって、
    前記サーバが、設定に基づいて、前記コマンドの送信前に一時停止する、方法。
19. 請求項１３に記載の方法であって、
    前記サーバが、
    前記複数の装置に、音響波信号と電波信号を同時にブロードキャストするコマンドを送信し、前記複数の装置のそれぞれから、検出された音響波信号および検出された電波信号に関する情報、ならびに、３次元磁力計測定値を受信したことから、前記複数の装置それぞれにおけるビームフォーミング機能を設定し、
    資産の位置情報を設定し、
    前記資産の位置情報をビームフォーミングの方向に変換し、
    人工知能または機械学習の方法の少なくとも１つを使用して、前記資産の音響状態の監視を補助する、方法。
20. 請求項１９に記載の方法であって、
    前記複数の装置のそれぞれは、ビデオカメラと音響マイクアレイとを含み、
    前記方法は、前記サーバが、
    事前に準備された資産画像とユーザが資産を識別できる資産ＩＤとの対応を示す資産画像対応テーブルをデータレイクにおいて管理し、
    画像認識技術を使用して、前記事前に準備された資産画像を前記ビデオカメラにおける資産のピクセル位置に変換し、
    前記資産のピクセル位置を前記音響マイクアレイのビーム方向に変換し、
    グラフィカルユーザインタフェースを提供し、
    前記グラフィカルユーザインタフェースは、
    合成ビデオカメラ映像を提供するための選択フィールド、フィルタフィールド、および資産の分析結果を示すテーブルフィールドを各資産のために示し、
    前記合成ビデオカメラ映像および前記フィルタフィールドでの入力を介して、前記資産または資産のグループの選択およびフィルタ機能を提供する、方法。