JP2024052635A - 加速度計データを使用した深層学習に基づく音予測のためのシステム及び方法 - Google Patents

Abstract

【課題】加速度計データを使用した深層学習に基づく音予測のためのシステム及び方法に関する。
【解決手段】１つ又は複数のセンサと通信するプロセッサを備えるシステムにおいて、プロセッサは、アクチュエータ若しくは電気駆動部であるランタイムデバイスからの１つ又は複数のリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報を含むデータを受信し、トレーニングされた機械学習モデルと、トレーニングされた機械学習モデルへの入力としてのデータとを利用し、ランタイムデバイスから放出されて推定される音に関連付けられる音予測を出力するようにプログラミングされている。
【選択図】図２

Description

本開示は、電気駆動機械を備えた装置に関連付けられた機械学習ネットワークを含む機械学習ネットワークに関する。

背景技術
ノイズ、振動及びハーシュネス（ＮＶＨ）についての電気機械システムの分析は、製品開発及び製造品質管理の重要な要である。ＮＶＨ能力の乏しさは、製品を用いた作業中のユーザの疲労を増大させ、時間の経過とともに製品の付加的な劣化（損耗）を引き起こし、顧客の購入決定に悪影響を与える可能性がある。ＮＶＨ特性には、加速度計データのみを使用して測定できるものもあるが、動作中に生成される音記録を必要とするものもある。ただし、信頼性の高い加速度計データは、製品のケースに加速度計を取り付けることによって比較的容易に記録することができるが、特定の用途においては、高品質の音記録を製造することがより困難になる可能性がある。このことは、高い信号対雑音比の記録を製造するために背景雑音が高すぎる場合がある組立工場で新規に製造されたＥＤ（電気駆動部）の生産ライン終了（ＥＯＬ）テストにおいては特に重要となる。さらに、プラントの稼働に伴うコストやスケジュール上の制約に起因して、専用の記録環境を持つことが現実的ではない場合もある。音信号を取得する代替的なアプローチは、利用可能な振動データに基づいて音を推定するソフト（仮想）センサの作成によって提供することができよう。

現在の仮想的感知の取り組みの大半は、典型的には、物理に基づくモデルに依存しているが、これらのモデルは、開発が面倒で、設計された狭い範囲のシステム以外での使用に適合化させることが困難であり、学習できるセンサと明示的に実装されたセンサとの間の関係性の複雑さにおいて限界がある。新規の深層学習に基づく方法も、音の分離、騒々しい音声強調など、様々な仮想的感知用途のために開発されてきたものである。これらのデータ駆動手法は、汎用性のものであり、複雑なデータ関係を学習することができる。しかしながら、そのような手法はまだ、ＥＤにおける音の仮想的感知のために開発されてきたものではない。

概要
第１の実施形態によれば、コンピュータ実装された方法は、テストデバイスに関連付けられた第１の複数のセンサから電流情報、電圧情報、振動情報及び音情報を受信するステップと、電流情報、電圧情報、振動情報及び音情報を利用してトレーニングデータセットを生成するステップと、機械学習モデルの収束閾値がトレーニングデータセットによって満たされたことに応じて、トレーニングデータセットを機械学習モデルに入力するステップと、トルク予測を出力するように構成されたトレーニングされた機械学習モデルを出力するステップと、ランタイムデバイスに関連付けられた第２の複数のセンサからリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの組合せを受信するステップと、トレーニングされた機械学習モデルと、トレーニングされた機械学習モデルへの入力としてリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの組合せとに基づいて、ランタイムデバイスに関連付けられたトルク予測を出力するステップと、を含む。

第２の実施形態によれば、コンピュータ実装された方法は、テストデバイスに関連付けられた複数のセンサから電流情報、電圧情報、振動情報及び音情報を受信するステップと、電流情報、電圧情報、振動情報及び音情報を利用してトレーニングデータセットを生成するステップと、機械学習モデルの収束閾値がトレーニングデータセットによって満たされたことに応じて、機械学習モデルに供給されるトレーニングデータセットを入力するステップと、トルク予測を出力するように構成されたトレーニングされた機械学習モデルを出力するステップと、トレーニングされた機械学習モデルと、トレーニングされた機械学習モデルへの入力として少なくともリアルタイム電流情報及びリアルタイム電圧情報の組合せとに基づいて、ランタイムデバイスからリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの組合せを受信するステップと、動作中にランタイムデバイスに関連付けられて予測されるトルクを示すトルク予測を出力するステップと、を含む。

第３の実施形態によれば、システムは、１つ又は複数のセンサと通信するプロセッサを含み、プロセッサは、アクチュエータ若しくは電気駆動部であるランタイムデバイスからの１つ又は複数のリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報を含むデータを受信し、トレーニングされた機械学習モデルと、トレーニングされた機械学習モデルへの入力としてのデータとを利用し、ランタイムデバイスから放出されて推定される音に関連付けられる音予測を出力するようにプログラミングされている。

ニューラルネットワークをトレーニングするためのシステム１００を示した図である。 データに注釈を付けるためのシステムを実装するためのデータ注釈システム２００を示した図である。 機械学習モデルをトレーニングするために音情報を利用する実施形態のフローチャートを開示した図である。 直接予測を利用するフローチャートを開示した図である。 間接予測を利用するフローチャートを開示した図である。 コンピュータ制御された機械１０と制御システム１２との間の対話を示した概略図である。 部分的に自律的な車両又は部分的に自律的なロボットであり得る車両を制御するように構成された制御システムを示した概略図である。 生産ラインの一部などの製造システムの、パンチカッタ、カッタ又はガンドリルなどの製造機械を制御するように構成された制御システムを示した概略図である。 少なくとも部分的に自律的なモードを有する電動ドリル又はドライバーなどの電動工具を制御するように構成された制御システムを示した概略図である。 自動化されたパーソナルアシスタントを制御するように構成された制御システムを示した概略図である。 １つのシナリオにおける仮想感知モデルのフローチャートの例を開示した図である。 トルク予測又は音予測を含み得る予測を出力するために、様々なセンサデータに関連する生産ライン終了テストを監視するシステムのフローチャートを開示した図である。 予測分析モデルに関連付けられたフローチャートを開示した図である。

詳細な説明
本明細書には本開示の実施形態が記載されている。しかしながら、開示されている実施形態は単なる例であり、他の実施形態は様々な代替的形態をとることが可能なことを理解すべきである。図面は必ずしも縮尺通りではなく、いくつかの特徴は、特定のコンポーネントの詳細を示すために、誇張又は最小化されている場合がある。それゆえ、本明細書に開示された特定の構造的及び機能的詳細は、限定として解釈されるべきではなく、単に、実施形態を様々に採用する態様を当業者に教示するための代表的な基礎として解釈されるべきである。当業者であれば理解するように、図面の任意の１つに示されそれを参照して説明される様々な特徴は、１つ又は複数の他の図面に示されている特徴と組み合わせて、明示的に図示又は説明されていない実施形態を生み出すことができる。図示された特徴の組合せは、典型的な用途のための代表的な実施形態を提供する。しかしながら、本開示の教示と一致する特徴の様々な組合せ及び修正を特定の用途又は実装のために望むこともできよう。

本システム及び本方法は、振動（加速度計）データを使用して動作中に電気機械システム（ＥＭ）によって生成される音を推定するための新規の深層学習に基づく仮想感知方法を提案する。高忠実度のマイクデータは、所望の用途に依存して、生の時系列、スペクトログラム、又は、次数スペクトログラム（周波数がＥＭシステムの回転速度の倍数として定義されるスペクトログラム）のいずれかとして予測することができる。この方法は、純粋にデータ駆動型であるものとしてよいため、様々なＥＭシステムや特定のタスクに容易に適用されるものとしてよい。

このアプローチにおいては、音再構成エラー及び人の知覚スコアエラーの両方をエンドツーエンド方式で最小限に抑制するために音予測モデルをトレーニングすることができ、これは、直接的なアプローチに比べてモデル性能を向上させることができる。提案されたアプローチは、様々なセンサ信号間の関係性を学習するＵ－Ｎｅｔやトランスフォーマなどの既存の深層機械学習アーキテクチャに依存している。これらのモデルは、自然言語処理、コンピュータービジョン、音声処理、信号処理などを含む幅広い様々なタスクに適用できる。

仮想感知は、ソース信号にはターゲット信号に関する情報が含まれているという前提、すなわち、ソース信号とターゲット信号との間の相互情報は、次式のように、
Ｉ（Ｓ，Ｔ）＝Ｈ（Ｔ）－Ｈ（Ｔ｜Ｓ）＝Ｄ_ＫＬ（ｐ（Ｓ，Ｔ）｜｜ｐ（Ｓ）＊ｐ（Ｔ））＞０
正であるという前提に依存している。ここで、Ｈ（Ｔ）は、ターゲット信号のエントロピー、Ｈ（Ｔ｜Ｓ）は、ソース信号を条件としたターゲット信号のエントロピー、Ｄ_ＫＬ（ｐ（Ｓ，Ｔ）｜｜ｐ（Ｓ）＊ｐ（Ｔ））は、結合分布と周辺信号分布の積との間のカルバックライブラー発散である。Ｉ（Ｓ，Ｔ）＞０であるならば、ソース信号を観察することによって、予想されるターゲット信号を推定することができる。モータギアシステムによって生成される音は、モータ及びギア振動から派生するため、振動データは、音や人間の音知覚推定に使用することが可能な有用情報を担っている。ただし、加速度計と音信号との間の関係性は複雑で環境に依存する可能性もあるため、そのような関係性を見出すことは些細なことではない。ここでは、予想されるターゲット信号を推定するために、次式
Ｅ（Ｔ│Ｓ）＝ｆ（Ｓ）
に従ってディープニューラルネットワークの表現力の利点が取り込まれ、ここで、ｆは、利用可能なトレーニングデータに基づきニューラルネットワークによって学習された伝達関数である。

ほとんどの電気モータは、モータシャフトに加えられるトルクの形態の力を生成するために、モータの磁場とワイヤ巻線内の電流との間の相互作用を通じて動作する。モータトルク及び速度は、所望のトルク又は速度を達成するためにモータに適当な電流を提供する電子制御ユニット（ＥＣＵ）によって制御されるものとしてよい。３相ＡＣモータの例においては、理想的なモータの生成トルクは、次式のように、
τ＝｛Ｉ_ａ（ｔ）＊Ｕ_ｉ，ａ（ｔ）＋Ｉ_ｂ（ｔ）＊Ｕ_ｉ，ｂ（ｔ）＋Ｉ_ｃ（ｔ）＊Ｕ_ｉ，ｃ（ｔ）｝＊１／（２πｎ（ｔ））＋τ_ｃｏｇｇ（φｔ），
計算することができる。ここで、Ｉは、入力電流、Ｕ_ｉは、モータ内部の誘起電圧、ｎ（ｔ）は、モータ速度、τ_ｃｏｇｇ（φｔ）は、ローターコンポーネントとステータコンポーネントとの間の磁気相互作用によって引き起こされるコギングトルクである。しかしながら、負荷に依存する純粋な誘起電圧を測定することは、負荷の下でのモータ動作中には実行できないため、上記の式を介してトルクを計算することはできない。さらに、実際のモータのトルクは、様々な機械的及び電磁的なパワーロスが存在するため、理想的なモータのトルクとは異なる。これらのすべては、付加的なパラメータに依存し、またこれらのすべては、結果として生じるトルクを予測するために正確に測定すべき必要がある。ニューラルネットワークを使用することにより、システムは、測定された電圧及び電流とモータトルクとの間の非線形的でかつ高度な伝達関数を学習することによって、これらのすべての困難を回避できる場合がある。

図１は、ニューラルネットワークをトレーニングするためのシステム１００を示す。システム１００は、ニューラルネットワーク用のトレーニングデータ１９２にアクセスするための入力インタフェースを含み得る。例えば、図１に示すように、入力インタフェースは、データストレージ１９０からトレーニングデータ１９２にアクセスすることができるデータストレージインタフェース１８０によって構成することができる。例えば、データストレージインタフェース１８０は、メモリインタフェース、又は、例えばハードディスク若しくはＳＳＤインタフェースなどの永続的ストレージインタフェースであるものとしてもよいが、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ、Ｗｉ－Ｆｉインタフェース、イーサネット又は光ファイバーインタフェースなどのパーソナル、ローカル又はワイドエリアネットワークインタフェースであるものとしてもよい。データストレージ１９０は、ハードドライブ又はＳＳＤなどのシステム１００の内部データストレージであるものとしてもよいが、例えばネットワークアクセス可能なデータストレージなどの外部データストレージであるものとしてもよい。

いくつかの実施形態においては、データストレージ１９０は、トレーニングされていないバージョンのニューラルネットワークのデータ表現１９４をさらに含み得るものであり、このデータ表現１９４は、システム１００によりデータストレージ１９０からアクセスされるものとしてよい。しかしながら、トレーニングデータ１９２及びトレーニングされていないニューラルネットワークのデータ表現１９４は、それぞれ例えばデータストレージインタフェース１８０の異なるサブシステムを介して異なるデータストレージからアクセスされるものとしてもよいことが理解されよう。各サブシステムは、データストレージインタフェース１８０について上述したようなタイプであるものとしてよい。他の実施形態においては、トレーニングされていないニューラルネットワークのデータ表現１９４は、ニューラルネットワークについての設計パラメータに基づいてシステム１００により内部的に生成されるものとしてよく、それゆえデータストレージ１９０に明示的に格納されなくてよい。システム１００は、システム１００の動作中に、トレーニングされるニューラルネットワークの層のスタックの代わりに反復関数を提供するように構成されるものとしてよいプロセッササブシステム１６０をさらに含み得る。一実施形態においては、置換される層のスタックのそれぞれの層は、相互に共有される重みを有し得るものであり、先行する層、又は、層のスタックの最初の層の出力については、初期アクティブ化及び層のスタックの入力の一部を入力として受け取ることができる。システムは、複数の層を含むこともあり得る。プロセッササブシステム１６０は、トレーニングデータ１９２を使用してニューラルネットワークを反復的にトレーニングするようにさらに構成されるものとしてよい。ここでは、プロセッササブシステム１６０によるトレーニングの反復は、順方向伝播部分と逆方向伝播部分とを含み得る。プロセッササブシステム１６０は、実行され得る順方向伝播部分を定義する他の動作の中でも、反復関数が固定点に収束する反復関数の平衡点を決定することであって、この平衡点を決定することには、反復関数からその入力を引いた根の解を見出す数値的な根探索アルゴリズムを使用することが含まれる、ことと、当該平衡点をニューラルネットワーク内の層のスタックの出力の代わりに提供することとによって、順方向伝播部分を実行するように構成されるものとしてよい。システム１００は、トレーニングされたニューラルネットワークのデータ表現１９６を出力するための出力インタフェースをさらに含み得るものであり、このデータは、トレーニングされたモデルデータ１９６と称され得る。例えば、図１にも示されているように、出力インタフェースは、データストレージインタフェース１８０によって構成されるものとしてよく、これらの実施形態においては、前述のインタフェースは入力／出力（「ＩＯ」）インタフェースであり、このインタフェースを介して、トレーニングされたモデルデータ１９６がデータストレージ１９０に格納されるものとしてよい。例えば、「トレーニングされていない」ニューラルネットワークを定義するデータ表現１９４は、トレーニング中又はトレーニング後に少なくとも部分的にトレーニングされたニューラルネットワークのデータ表現１９６によって置き換えられるものとしてもよく、ここでは、重みなどのニューラルネットワークのパラメータ、ハイパーパラメータ、及び、ニューラルネットワークの他のタイプのパラメータは、トレーニングデータ１９２上のトレーニングを反映するように適合化されるものとしてよい。これは、図１でもデータストレージ１９０上の同一のデータレコードを参照する参照番号１９４，１９６によって示されている。他の実施形態においては、データ表現１９６は、「トレーニングされていない」ニューラルネットワークを定義するデータ表現１９４とは別個に格納されるものとしてもよい。いくつかの実施形態においては、出力インタフェースは、データストレージインタフェース１８０とは別個であるものとしてもよいが、一般に、データストレージインタフェース１８０について上述したようなタイプであるものとしてもよい。

図２は、データに注釈を付けるためのシステムを実装するデータ注釈システム２００を示す。このデータ注釈システム２００は、少なくとも１つのコンピューティングシステム２０２を含み得る。このコンピューティングシステム２０２は、メモリユニット２０８に動作可能に接続される少なくとも１つのプロセッサ２０４を含み得る。このプロセッサ２０４は、中央処理ユニット（ＣＰＵ）２０６の機能性を実装する１つ又は複数の集積回路を含み得る。ＣＰＵ２０６は、ｘ８６、ＡＲＭ、Ｐｏｗｅｒ、又は、ＭＩＰＳ命令セットファミリーのうちの１つなどの命令セットを実装する市販の処理ユニットであるものとしてよい。動作中に、ＣＰＵ２０６は、メモリユニット２０８から取得される格納されたプログラム命令を実行することができる。格納されたプログラム命令は、本明細書に記載の動作を実行するためにＣＰＵ２０６の動作を制御するソフトウェアを含み得る。いくつかの例においては、プロセッサ２０４は、ＣＰＵ２０６、メモリユニット２０８、ネットワークインタフェース及び入出力インタフェースの機能性を単一の統合デバイスに統合したシステムオンチップ（ＳｏＣ）であるものとしてよい。コンピューティングシステム２０２は、動作の様々な態様を管理するためのオペレーティングシステムを実装することができる。

メモリユニット２０８は、命令及びデータを格納するための揮発性メモリ及び不揮発性メモリを含み得る。不揮発性メモリには、ＮＡＮＤフラッシュメモリなどのソリッドステートメモリ、磁気的及び光学的ストレージ媒体、又は、コンピューティングシステム２０２が非活動化された時若しくは電力を落とされた時にデータを保持する任意の他の適当なデータストレージデバイスが含まれ得る。揮発性メモリには、プログラム命令とデータとを格納する静的及び動的ランダムアクセスメモリ（ＲＡＭ）が含まれ得る。例えば、メモリユニット２０８は、機械学習モデル２１０又はアルゴリズム、機械学習モデル２１０用のトレーニングデータセット２１２、生のソースデータセット２１６を格納することができる。

コンピューティングシステム２０２は、外部のシステム及びデバイスとの通信を提供するように構成されたネットワークインタフェースデバイス２２２を含み得る。例えば、ネットワークインタフェースデバイス２２２は、電気電子学会（ＩＥＥＥ）８０２．１１規格ファミリーによって定義される有線及び／又は無線イーサネットインタフェースを含み得る。ネットワークインタフェースデバイス２２２は、セルラーネットワーク（例えば、３Ｇ、４Ｇ、５Ｇ）と通信するためのセルラー通信インタフェースを含み得る。ネットワークインタフェースデバイス２２２は、外部ネットワーク２２４又はクラウドに通信インタフェースを提供するようにさらに構成されるものとしてもよい。

外部ネットワーク２２４は、ワールドワイドウェブ又はインターネットと称される場合がある。外部ネットワーク２２４は、コンピューティングデバイス間の標準通信プロトコルを確立することができる。外部ネットワーク２２４は、コンピューティングデバイスとネットワークとの間の情報及びデータ交換を容易にさせることができる。１つ又は複数のサーバ２３０が外部ネットワーク２２４と通信するものとしてもよい。

コンピューティングシステム２０２は、デジタル及び／又はアナログの入力及び出力を提供するように構成され得る入力／出力（Ｉ／Ｏ）インタフェース２２０を含み得る。このＩ／Ｏインタフェース２２０は、外部デバイスと通信するための付加的なシリアルインタフェース（例えば、ユニバーサルシリアルバス（ＵＳＢ）インタフェース）を含み得る。

コンピューティングシステム２０２は、システム２００が制御入力を受信できるようにする任意のデバイスを含み得るヒューマンマシンインタフェース（ＨＭＩ）デバイス２１８を含み得る。入力デバイスの例には、キーボード、マウス、タッチスクリーン、音声入力デバイス、及び、他の同様のデバイスなどのヒューマンインタフェース入力が含まれ得る。コンピューティングシステム２０２は、表示装置２３２を含み得る。コンピューティングシステム２０２は、グラフィックス及びテキスト情報を表示装置２３２に出力するためのハードウェア及びソフトウェアを含み得る。表示装置２３２は、電子表示スクリーン、プロジェクタ、プリンタ、又は、ユーザ若しくはオペレータに情報を表示するため他の適当なデバイスを含み得る。コンピューティングシステム２０２は、ネットワークインタフェースデバイス２２２を介してリモートＨＭＩ及びリモート表示装置との対話を可能にするようにさらに構成されるものとしてよい。

システム２００は、１つ又は複数のコンピューティングシステムを使用して実装されるものとしてよい。この例は、記載された特徴のすべてを実装する単一のコンピューティングシステム２０２を示しているが、様々な特徴及び機能が、相互に通信する複数のコンピューティングユニットによって分離され実装されるものとしてよいことが意図されている。選択される特定のシステムアーキテクチャは、様々な要因に依存し得る。

システム２００は、生のソースデータセット２１６を分析するように構成された機械学習アルゴリズム２１０を実装することができる。この生のソースデータセット２１６は、機械学習システムのための入力データセットを表し得る生の又は処理されていないセンサデータを含み得る。生のソースデータセット２１６は、ビデオ、ビデオセグメント、画像、テキストに基づく情報、及び、生又は部分的に処理されたセンサデータ（例えば対象のレーダマップ）を含み得る。いくつかの例においては、機械学習アルゴリズム２１０は、予め定められた機能を実行するように設計されたニューラルネットワークアルゴリズムであるものとしてよい。例えば、ニューラルネットワークアルゴリズムは、ビデオ画像内の歩行者を識別するための自動車用途向けに構成されるものとしてよい。

コンピュータシステム２００は、機械学習アルゴリズム２１０用のトレーニングデータセット２１２を格納することができる。このトレーニングデータセット２１２は、機械学習アルゴリズム２１０をトレーニングするために先に構築されたデータのセットを表すことができる。トレーニングデータセット２１２は、ニューラルネットワークアルゴリズムに関連付けられた重み係数を学習するための機械学習アルゴリズム２１０によって使用されるものとしてよい。トレーニングデータセット２１２は、機械学習アルゴリズム２１０が学習プロセスを介して複製することを試みる対応する成果又は結果を有するソースデータのセットを含み得る。この例においては、トレーニングデータセット２１２は、歩行者を伴うソースビデオ及び歩行者を伴わないソースビデオ並びに対応する存在及び位置情報を含み得る。ソースビデオは、歩行者が識別される様々なシナリオを含み得る。

機械学習アルゴリズム２１０は、入力としてトレーニングデータセット２１２を使用する学習モードで動作させられるものとしてよい。この機械学習アルゴリズム２１０は、トレーニングデータセット２１２からのデータを使用して複数の反復にわたって実行されるものとしてよい。各反復を用いることにより、機械学習アルゴリズム２１０は、達成された結果に基づいて内部重み付け係数を更新することができる。例えば、機械学習アルゴリズム２１０は、出力結果（例えば、注釈）をトレーニングデータセット２１２に含まれる結果と比較することができる。トレーニングデータセット２１２には予想される結果が含まれるため、機械学習アルゴリズム２１０は、許容可能な性能である時を決定することができる。機械学習アルゴリズム２１０が予め定められた性能レベル（例えば、トレーニングデータセット２１２に関連付けられた結果と１００％一致するレベル）に達した後、機械学習アルゴリズム２１０は、トレーニングデータセット２１２にないデータを使用して実行されるものとしてよい。トレーニングされた機械学習アルゴリズム２１０は、注釈付きデータを生成する新しいデータセットに適用されるものとしてよい。

機械学習アルゴリズム２１０は、生のソースデータ２１６内の特定の特徴を識別するように構成されるものとしてよい。この生のソースデータ２１６は、注釈結果が望まれる複数のインスタンス又は入力データセットを含み得る。例えば、機械学習アルゴリズム２１０は、ビデオ画像内の歩行者の存在を識別し、その発生に注釈を付けるように構成するものとしてよい。機械学習アルゴリズム２１０は、生のソースデータ２１６を処理して特定の特徴の存在を識別するようにプログラミングされるものとしてよい。機械学習アルゴリズム２１０は、生のソースデータ２１６内の特徴を、予め定められた特徴（例えば歩行者）として識別するように構成されるものとしてよい。生のソースデータ２１６は、様々なソースから得られるものとしてよい。例えば、生のソースデータ２１６は、機械学習システムによって収集された実際の入力データであるものとしてよい。生のソースデータ２１６は、システムをテストするために機械的に生成されたものであってもよい。一例として、生のソースデータ２１６は、カメラからの生のビデオ画像を含み得る。

この例においては、機械学習アルゴリズム２１０は、生のソースデータ２１６を処理し、画像の表現の表示を出力することができる。この出力は、画像の拡張された表現も含み得る。機械学習アルゴリズム２１０は、生成された各出力について信頼レベル又は係数を生成することができる。例えば、予め定められた高信頼閾値を超える信頼値は、機械学習アルゴリズム２１０が、識別された特徴が特定の特徴に対応することを確信していることを示すことができる。低信頼閾値よりも小さい信頼値は、機械学習アルゴリズム２１０が、特定の特徴が存在していることについていくつかの不確実性を有することを示し得る。

可変周波数ドライブ（ＶＦＤ）又は可変速度ドライブ（ＶＳＤ）と称される。ＤＣモータ駆動部は、所望の速度で動作するようにモータに電圧を供給するＤＣ電気モータの速度制御システムであるものとしてよい。ＤＣ駆動部は、アナログのＤＣ駆動部とデジタルのＤＣ駆動部とに分類されるものとしてもよい。

電気駆動部３０１は、音を発する１つ又は複数のセンサを含み得る。電気駆動部３０１は、プロセッサ、コントローラ、又は、電子制御ユニット３０３を含み得る。例えば、センサは、加速度計３０５を含み得る。音３０７は、電気駆動部（ＥＤ）から発せられ、マイク３１３によって採集されるものとしてよい。データをトレーニングするために、音は、実験室の設定で発せられ、利用されるものとしてよい。したがって、トレーニングデータは実験室設定から利用されるものとしてよい。実験室は、音を採集するためのマイク３１３を備えた騒音のない環境を含み得る。トレーニングデータ３１１を用いることにより、マイクデータからの人の知覚スコアがスコア予測ネットワークを利用して推定されるものとしてよい。

音情報３０７は、一態様においては、スコア３１５を導出するために人により手動で決定された情報３０９であるものとしてよい。例えば、人は、電気装置の様々な設定に関連付けられた音情報を聞き、それに知覚スコアを割り当てることができる。知覚スコアは、他の実施形態においては自動的にプログラミングされるものとしてもよい。例えば、システムは、音知覚スコア３１９を割り当てるために、音の様々な特性（例えば、デシベルレベル、音の周波数、特徴のない音の蔓延など）を利用することができる。両方を利用するハイブリッドなアプローチが利用されるものとしてもよい。ただし、スコアは、他のテストからの音をトレーニングするために利用される場合がある機械学習モデルに供給されるものとしてよい。

機械学習ネットワークは、ＥＤから発せられる音を識別するために機械学習ネットワークをトレーニングするためのトレーニングデータを利用することができる。このトレーニングデータは、少なくともそこで利用される加速度計データを含み得る。この加速度計データは、ｘ軸、ｙ軸、ｚ軸情報を含む複数の軸情報を含み得る。機械学習モデルは、直接法又は間接法を利用してモデルをトレーニングすることができる。これらの直接法及び間接法については、以下の図４Ａ及び図４Ｂにおいてそれぞれより詳細に説明する。いくつかの実施形態においては、両方法の組合せが機械学習モデルのトレーニングのために利用されるものとしてよい。

次いで、本システムは、次に生産ライン終了テスト環境において動作することができる。ＥＯＬ環境は騒々しいため、音情報が得られない可能性がある。システムは、ＥＯＬ環境内でのリアルタイム振動（例えば加速度計）データを利用することができる。したがって、所定の環境内で音情報が得られない場合でさえも、トレーニングされた機械学習モデルは、デバイスの様々なコンポーネントの音に関する知覚スコアを識別するためにデバイスからの振動データを中継することができる。次いで、本システムは、振動データを利用して、ＥＯＬデバイスに関連付けられた知覚スコアを出力することができる。この知覚スコアに基づいて、本システムは、決定を行うことができる。

上述の方法によれば、審査試験を利用して人の知覚スコアを評価する必要性がなくなる。さらに、通常のモデルと比較して、必要になるデータが少なくて済む。

図４Ａは、直接的予測４０１を利用するフローチャートを開示する。この直接的予測方法４０１は、機械学習モデルをトレーニングするために利用されるものとしてよい。この機械学習モデルは、収束閾値に基づいてトレーニングされるものとしてよい。機械学習モデルネットワークは、スコア予測エラーを最小限に抑制することによって、加速度計データ４０３から直接的に人の知覚スコア４０７を出力又は予測するようにトレーニングされるものとしてよい。加速度計データ４０３は、生産ライン終了テスト又は任意の他のタイプの環境から取得され、ニューラルネットワーク４０５に供給されるものとしてよい。したがって、所定のスコア予測エラーの閾値に達すると、本システムは、トレーニングされたモデルを出力することができる。このトレーニングされたモデルは、生産ライン終了環境設定又は任意の他のタイプの環境設定に展開されるものとしてよい。

図４Ｂは、間接的予測４５０を利用するフローチャートを開示する。この間接的方法は、１つ又は複数のニューラルネットワーク４５３，４５７を含み得る。ニューラルネットワーク４５３は、加速度計データから測定された音を予測するようにトレーニングされるものとしてよい。別のニューラルネットワーク４５７は、音情報／データから人の知覚スコア４６１を予測するようにトレーニングされるものとしてよい。第２のニューラルネットワーク４５７は、音に関連付けられた投影４５９を出力することができる。この投影４５９は、知覚スコア４６１を識別するために利用されるものとしてよい。予測される音４６１は、スコア予測ネットワークに送信されるものとしてよい。このスコア予測ネットワークは、サンプルから人の知覚スコアを生成することができる。人の知覚スコア４６１は、音が心地よいか、不快か、高いピッチか、低いピッチかどうかなど、音４５５の様々な特性を反映し得る。音予測ネットワークのトレーニング中に、スコア予測ネットワークの重みはフリーズさせるものとしてもよく、音予測ネットワークの重みは、音予測エラーとスコア予測エラーとの加重和を最小化するようにトレーニングされるものとしてよい。収束閾値に近づき又は収束閾値に到達すると、本システムは、トレーニングされたネットワークを出力し、このトレーニングされたネットワークを展開することができる。

図５は、コンピュータ制御された機械１０と制御システム１２との間の対話の概略図を示す。コンピュータ制御された機械１０は、スコア予測ネットワークを含むネットワークなど上述したようなニューラルネットワークを含み得る。コンピュータ制御された機械１０は、アクチュエータ１４及びセンサ１６を含む。アクチュエータ１４は、１つ又は複数のアクチュエータを含み得るものであり、センサ１６は、１つ又は複数のセンサを含み得るものである。センサ１６は、コンピュータ制御された機械１０の状態を感知するように構成されている。センサ１６は、感知された状態をセンサ信号１８に符号化し、このセンサ信号１８を制御システム１２に伝送するように構成されるものとしてよい。センサ１６の非限定的な例には、ビデオ、レーダ、ＬｉＤＡＲ、超音波、及び、モーションセンサが含まれる。一実施形態においては、センサ１６は、コンピュータ制御された機械１０に近接する環境の光学的画像を感知するように構成された光学的センサである。

制御システム１２は、コンピュータ制御された機械１０からセンサ信号１８を受信するように構成されている。以下に説明するように、制御システム１２は、センサ信号に依存してアクチュエータ制御コマンド２０を計算し、このアクチュエータ制御コマンド２０をコンピュータ制御された機械１０のアクチュエータ１４に伝送するようにさらに構成されるものとしてよい。

図５に示されているように、制御システム１２は受信ユニット２２を含む。受信ユニット２２は、センサ１６からセンサ信号１８を受信し、このセンサ信号１８を入力信号ｘに変換するように構成されるものとしてよい。代替的な実施形態においては、センサ信号１８は、受信ユニット２２なしで入力信号ｘとして直接的に受信される。各入力信号ｘは、各センサ信号１８の一部であるものとしてもよい。受信ユニット２２は、各センサ信号１８を処理して各入力信号ｘを生成するように構成されるものとしてよい。入力信号ｘは、センサ１６によって記録された画像に対応するデータを含み得る。

制御システム１２は、分類器２４を含む。この分類器２４は、上述したニューラルネットワークなどの機械学習（ＭＬ）アルゴリズムを使用して、入力信号ｘを１つ又は複数のラベルに分類するように構成されるものとしてよい。入力信号ｘには音情報が含まれ得る。分類器２４は、上述したもの（例えば、パラメータθ）などのパラメータによってパラメータ化されるように構成されている。パラメータθは、不揮発性ストレージ２６に格納され、不揮発性ストレージ２６によって提供されるものとしてよい。分類器２４は、入力信号ｘから出力信号ｙを決定するように構成されている。各出力信号ｙには、各入力信号ｘに１つ又は複数のラベルを割り当てる情報が含まれている。分類器２４は、出力信号ｙを変換ユニット２８に伝送することができる。変換ユニット２８は、出力信号ｙをアクチュエータ制御コマンド２０に変換するように構成されている。制御システム１２は、アクチュエータ制御コマンド２０をアクチュエータ１４に伝送するように構成されており、アクチュエータ１４は、アクチュエータ制御コマンド２０に応じてコンピュータ制御された機械１０を動作させるように構成されている。他の実施形態においては、アクチュエータ１４は、直接的に出力信号ｙに基づいてコンピュータ制御された機械１０を動作させるように構成されている。

アクチュエータ１４によってアクチュエータ制御コマンド２０が受信されると、アクチュエータ１４は、関連するアクチュエータ制御コマンド２０に対応する動作を実行するように構成されている。アクチュエータ１４は、アクチュエータ制御コマンド２０を、アクチュエータ１４の制御のために利用される第２のアクチュエータ制御コマンドに変換するように構成された制御ロジックを含み得る。１つ又は複数の実施形態においては、アクチュエータ制御コマンド２０は、アクチュエータの代わりに又はアクチュエータに加えて、ディスプレイを制御するために利用されるものとしてよい。

他の実施形態においては、制御システム１２は、センサ１６を含むコンピュータ制御された機械１０の代わりに、又は、センサ１６を含むコンピュータ制御された機械１０に加えて、センサ１６を含む。制御システム１２は、アクチュエータ１４を含むコンピュータ制御された機械１０の代わりに、又は、アクチュエータ１４を含むコンピュータ制御された機械１０に加えて、アクチュエータ１４を含むこともあり得る。

図５に示されているように、制御システム１２は、プロセッサ３０及びメモリ３２も含む。プロセッサ３０は、１つ又は複数のプロセッサを含み得る。メモリ３２は、１つ又は複数のメモリデバイスを含み得る。１つ又は複数の実施形態の分類器２４（例えば、ＭＬアルゴリズム）は、不揮発性ストレージ２６、プロセッサ３０及びメモリ３２を含む制御システム１２によって実装されるものとしてよい。

不揮発性ストレージ２６は、ハードドライブ、光学的ドライブ、テープドライブ、不揮発性ソリッドステートデバイス、クラウドストレージ、又は、情報を永続的に格納し得る任意の他のデバイスなどの１つ又は複数の永続的データストレージデバイスを含み得る。プロセッサ３０は、高性能コア、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブルロジックデバイス、ステートマシン、論理回路、アナログ回路、デジタル回路、又は、メモリ３２内に常駐するコンピュータ実行可能命令に基づいて信号（アナログ又はデジタル）を操作する任意の他のデバイスを含む高性能コンピューティング（ＨＰＣ）システムから選択される１つ又は複数のデバイスを含み得る。メモリ３２は、単一のメモリデバイス、又は、ランダムアクセスメモリ（ＲＡＭ）、揮発性メモリ、不揮発性メモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリ、キャッシュメモリ、若しくは、情報を格納し得る任意の他のデバイスを含むがこれらに限定されるものではない複数のメモリデバイスを含み得る。

プロセッサ３０は、不揮発性ストレージ２６に常駐し、１つ又は複数の実施形態の１つ又は複数のＭＬアルゴリズム及び／又は方法論を具体化するコンピュータ実行可能命令をメモリ３２に読み込んで実行するように構成されるものとしてよい。不揮発性ストレージ２６は、１つ又は複数のオペレーティングシステムとアプリケーションとを含み得る。不揮発性ストレージ２６は、Ｊａｖａ、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｆｏｒｔｒａｎ、Ｐａｓｃａｌ、ＪａｖａＳｃｒｉｐｔ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＰＬ／ＳＱＬを含むがこれらに限定されるものではない単独の又は組合せにおける様々なプログラミング言語及び／又は技術を使用して作成されたコンピュータプログラムからコンパイル及び／又は解釈されたものを格納することができる。

プロセッサ３０によって実行されると、不揮発性ストレージ２６のコンピュータ実行可能命令は、制御システム１２に、本明細書に開示されるＭＬアルゴリズム及び／又は方法論の１つ又は複数を実装させることができる。不揮発性ストレージ２６は、本明細書に記載される１つ又は複数の実施形態の機能、特徴及びプロセスを支援するＭＬデータ（データパラメータを含む）を含むこともあり得る。

本明細書に記載されるアルゴリズム及び／又は方法論を具体化するプログラムコードは、様々な異なる形態のプログラム製品として個別に又は一括して配布することができる。プログラムコードは、プロセッサに１つ又は複数の実施形態の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読ストレージ媒体を使用して配布されるものとしてよい。本質的に非一時的なコンピュータ可読ストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は、他のデータなどの情報を格納するための任意の方法若しくは技術により実装された揮発性及び不揮発性で、着脱可能及び着脱不可能な有形媒体を含み得る。コンピュータ可読ストレージ媒体は、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のソリッドステートメモリ技術、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、又は、他の光学的ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、又は、所望の情報を記憶するために使用し得る、コンピュータ読み取り可能な任意の他の媒体をさらに含み得る。コンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からコンピュータ、他のタイプのプログラマブルデータ処理装置若しくは他のデバイスにダウンロードされるものとしてもよいし、又は、ネットワークを介して外部コンピュータ若しくは外部ストレージデバイスにダウンロードされるものとしてもよい。

コンピュータ可読媒体に格納されたコンピュータ可読プログラム命令は、コンピュータ、他のタイプのプログラマブルデータ処理装置、又は、他のデバイスが特定の方式により機能するように指示するために使用されるものとしてよい。それにより、コンピュータ可読媒体に格納された命令は、フローチャート又は図で規定された機能、行為、及び／又は、動作を実装する命令を含む製造品を生成する。所定の代替的実施形態においては、フローチャート及び図において規定された機能、行為、及び／又は、動作は、１つ又は複数の実施形態と一致して、並べ替えられ、逐次的に処理され、及び／又は、同時に処理されるものとしてよい。さらに、フローチャート及び／又は図のいずれも、１つ又は複数の実施形態と一致して図示されたものよりも多い又は少ないノード又はブロックを含み得る。プロセス、方法、又は、アルゴリズムは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ステートマシン、コントローラ、又は、他のハードウェアコンポーネント若しくはデバイス、又は、ハードウェア、ソフトウェア及びファームウェアコンポーネントの組合せなどの適当なハードウェアコンポーネントを使用して全体的に又は部分的に実現することができる。

図６は、車両５０を制御するように構成された制御システム１２の概略図を示す。この車両５０は、少なくとも部分的に自律的な車両又は少なくとも部分的に自律的なロボットであるものとしてよい。図５に示されているように、車両５０は、アクチュエータ１４及びセンサ１６を含む。センサ１６は、１つ又は複数のビデオセンサ、レーダセンサ、超音波センサ、ＬｉＤＡＲセンサ、及び／又は、位置センサ（例えば、ＧＰＳ）を含み得る。１つ又は複数の特定のセンサのうちの１つ又は複数は、車両５０に統合されるものとしてよい。上記で特定された１つ又は複数の特定のセンサに対して代替的又は付加的にセンサ１６は、実行時にアクチュエータ１４の状態を特定するように構成されたソフトウェアモジュールを含み得る。ソフトウェアモジュールの非限定的な一例には、気象近くの車両５０又は他の場所の現在又は未来の状態を特定するように構成された気象情報ソフトウェアモジュールが含まれる。

車両５０の制御システム１２の分類器２４は、入力信号ｘに依存して車両５０の近くの対象を検出するように構成されるものとしてよい。そのような実施形態においては、出力信号ｙは、車両５０に対する対象の近傍を特徴付ける情報を含み得る。アクチュエータ制御コマンド２０は、この情報に従って決定されるものとしてよい。アクチュエータ制御コマンド２０は、検出された対象との衝突を回避するために使用されるものとしてもよい。

車両５０が少なくとも部分的に自律的な車両である実施形態においては、アクチュエータ１４は、車両５０のブレーキ、推進システム、エンジン、ドライブトレイン又は操舵部において具現化されるものとしてよい。アクチュエータ制御コマンド２０は、車両５０が検出された対象との衝突を回避するようにアクチュエータ１４が制御されるように決定されるものとしてもよい。検出された対象は、分類器２４が、歩行者や樹木などの可能性が最も高いとみなすことに従って分類されるものとしてもよい。アクチュエータ制御コマンド２０は、分類に依存して決定されるものとしてよい。制御システム１２は、攻撃的な問題と同様に照明条件が悪い間又は車両環境の天候条件が悪い間など敵対的な条件についてのネットワークのトレーニングを支援するためにロバストファイアを利用することができる。

車両５０が少なくとも部分的に自律的なロボットである他の実施形態においては、車両５０は、飛行、水泳、ダイビング及びステッピングなどの１つ又は複数の機能を実行するように構成された移動型ロボットであるものとしてよい。この移動型ロボットは、少なくとも部分的に自律的な芝刈り機又は少なくとも部分的に自律的な掃除ロボットであるものとしてもよい。そのような実施形態においては、アクチュエータ制御コマンド２０は、移動型ロボットが識別した対象との衝突を回避することができるように、移動型ロボットの電気駆動部、推進ユニット、操舵ユニット、及び／又は、ブレーキユニットが制御され得るように決定されるものとしてよい。

他の実施形態においては、車両５０は、園芸ロボットの形態の少なくとも部分的に自律的なロボットである。そのような実施形態においては、車両５０は、車両５０のすぐ近くの環境における植物の状態を特定するために、センサ１６として光学的センサを使用することができる。アクチュエータ１４は、化学薬品を噴霧するように構成されたノズルであるものとしてもよい。車両５０は、電気駆動部に基づいて動作及び移動することができる。植物の識別された種及び／又は識別された状態に依存して、アクチュエータ制御コマンド２０は、アクチュエータ１４に、適当な量の適当な化学薬品を植物に噴霧させるように決定されるものとしてよい。

車両５０は、家庭用電化製品の形態の少なくとも部分的に自律的なロボットであるものとしてよい。家庭用電化製品の非限定的な例には、洗濯機、コンロ、オーブン、電子レンジ、又は、食器洗浄機が含まれる。そのような車両５０においては、センサ１６は、家庭用電化製品による処理を受ける対象の状態を検出するように構成された光学的センサであるものとしてよい。例えば、家庭用電化製品が洗濯機である場合、センサ１６は洗濯機内の洗濯物の状態を検出することができる。アクチュエータ制御コマンド２０は、洗濯物の検出された材質に基づいて決定されるものとしてよい。

図７は、生産ラインの一部などの製造システム１０２の、パンチカッタ、カッタ又はガンドリルなどのシステム１００（例えば、製造機械）を制御するように構成された制御システム１２の概略図を示す。この制御システム１２は、システム１００（例えば、製造機械）を制御するように構成されたアクチュエータ１４を制御するように構成されていてよい。

システム１００（例えば、製造機械）のセンサ１６は、製造された製品１０４の１つ又は複数の特性を捕捉するように構成された光学的センサであるものとしてもよく、又は、センサは、加速度計であるものとしてもよい。分類器２４は、１つ又は複数の捕捉された特性から製造された製品１０４の状態を特定するように構成されるものとしてよい。アクチュエータ１４は、製造された製品１０４の後続の製造ステップのために製造された製品１０４の特定された状態に依存してシステム１００（例えば、製造機械）を制御するように構成されるものとしてよい。アクチュエータ１４は、製造された製品１０４の特定された状態に依存してシステム１００（例えば、製造機械）の後続の製造された製品１０６へのシステム１００（例えば、製造機械）の機能を制御するように構成されるものとしてよい。制御システム１２は、生産ラインに関連付けられた部品に伴う機械的故障など、アクチュエータ又は電気駆動部によって利用されるノイズに関連付けられた敵対的な条件についての機械学習ネットワークのトレーニングを支援するためにシステムを利用することができる。

図８は、少なくとも部分的に自律的なモードを有する電動ドリル又はドライバーなどの電動工具１５０を制御するように構成された制御システム１２の概略図を示す。この制御システム１２は、電動工具１５０を制御するように構成されたアクチュエータ１４を制御するように構成されるものとしてよい。アクチュエータは、モータ又は電気ドライブトレインによって駆動されるものとしてよい。アクチュエータもモータや電気駆動部と同様に音を発する場合がある。

電動工具１５０のセンサ１６は、作業面１５２及び／又は作業面１５２に締め込まれる締結具１５４の１つ又は複数の特性を捕捉するように構成された光学的センサであるものとしてもよい。分類器２４は、工具の動作に関連付けられた音を分類するために利用されるものとしてよい。付加的に、分類器２４は、１つ又は複数の捕捉された特性から作業面１５２に対する作業面１５２及び／又は締結具１５４の状態を特定するように構成されるものとしてよい。この状態は、締結具１５４が作業面１５２と面一であることであってよい。代替的にこの状態は、作業面１５２の硬さであるものとしてもよい。アクチュエータ１４は、電動工具１５０の駆動機能が、作業面１５２に対して特定された締結具１５４の状態に依存して、又は、１つ又は複数の捕捉された作業面１５２の特性に依存して調整されるように電動工具１５０を制御するように構成されるものとしてよい。例えば、アクチュエータ１４は、締結具１５４の状態が作業面１５２に対して面一である場合に、駆動機能を中止することができる。他の非限定的な例として、アクチュエータ１４は、作業面１５２の硬さに依存して付加的なトルクを適用することも、又は、より少ないトルクを適用することも可能である。制御システム１２は、照明条件が悪い間又は気象条件が悪い間など敵対的な条件についての機械学習ネットワークのトレーニングを支援するためにロバストファイアを利用することができる。したがって、制御システム１２は、電動工具１５０の環境条件を識別できる場合がある。

図９は、自動化されたパーソナルアシスタント９００を制御するように構成された制御システム１２の概略図を示す。この制御システム１２は、自動化されたパーソナルアシスタント９００を制御するように構成されたアクチュエータ１４を制御するように構成されるものとしてよい。自動化されたパーソナルアシスタント９００は、洗濯機、コンロ、オーブン、電子レンジ、食器洗浄機など家庭用電化製品を制御するように構成されるものとしてよい。センサ１６は、光学的センサ及び／又はマイクなどの音響的センサであるものとしてもよい。光学的センサは、ユーザ９０２のジェスチャ９０４のビデオ画像を受信するように構成されるものとしてよい。音響的センサは、ユーザ９０２の音声コマンドを受信するように構成されるものとしてよい。

自動化されたパーソナルアシスタント９００の制御システム１２は、システム１２を制御するように構成されたアクチュエータ制御コマンド２０を決定するように構成されるものとしてよい。制御システム１２は、センサ１６のセンサ信号１８に従ってアクチュエータ制御コマンド２０を決定するように構成されるものとしてよい。自動化されたパーソナルアシスタント９００は、センサ信号１８を制御システム１２に伝送するように構成されている。制御システム１２の分類器２４は、ジェスチャ認識アルゴリズムを実行して、ユーザ９０２によって行われたジェスチャ９０４を識別し、アクチュエータ制御コマンド２０を決定し、このアクチュエータ制御コマンド２０をアクチュエータ１４に伝送するように構成されるものとしてよい。アクチュエータは、電気ドライブトレイン機械によって駆動されるものとしてよい。分類器２４は、アクチュエータを活動化させるドライブトレインに応じて音を出し、取得した音情報をユーザ９０２による受信に適した形態で出力するように構成されるものとしてよい。制御システム１２は、アクチュエータの故障や他のコンポーネントの故障などの音に基づいて敵対的な条件についての機械学習ネットワークのトレーニングを支援するために分類器を利用することができる。したがって、制御システム１２は、そのようなシナリオにおける損害を軽減できる場合がある。

図１０は、１つのシナリオにおける仮想感知モデルフローチャートの例を開示する。本システムは、最初に、実験室環境又は騒音のない若しくは比較的騒音の少ない（例えば、騒音が電子装置１００３から発せられる音の影響を受けない）環境において初期化されるものとしてよい。例えば、環境は、背景雑音又は背景音を軽減する無響室や実験室などであるものとしてよい。本システムは、電子装置１００３を含み得る。この電子装置は、モータ、アクチュエータ、電気駆動部、推進システム、又は、トルク１００９を発する同様のコンポーネントを含み得る。この装置１００３は、情報及びデータを処理するために利用されるＥＣＵ１００１と通信するものとしてよい。電子装置１００３は、加速度計１００５、又は、装置のアクチュエータ若しくは電気駆動部から発せられる加速度計データなどの振動情報を発する別のセンサを含み得る。トルク１００９は、装置の駆動部又は任意の他のコンポーネントによって発せられるものとしてよい。マイクは、装置から発せられる音１００７を採集することができる。マイクは、実験室環境に設置されるものとしてもよいし、又は、装置１００３に関連付けられるものとしてもよい。

音（例えば、音情報）は、トレーニングデータセット１０１１を生成する振動データと対であるものとしてもよい。振動データは、ｘ軸、ｙ軸及びｚ軸情報を含む加速度計データを含み得る。結合データは、機械学習モデル１０１３に供給されるトレーニングデータセットを生成するために対であるものとしてよい。機械学習モデル１０１３は、トレーニングされたモデルであるものとしてもよいし、又は、トレーニングされていないモデルであるものとしてもよい。したがって、トレーニングされていないモデルである場合、音予測エラーを低減することによって収束閾値が満たされるまで、トレーニングデータ１０１１を利用してトレーニングされたモデルを開発する開始時点からスタートするものとしてもよい。トレーニングされていないモデルが利用される限り、収束閾値が満たされ、エラーが最小限に抑制された場合に、トレーニングされたモデルの作成のためにトレーニングデータセットを利用することができる。モデルが既にトレーニングされている又は部分的にトレーニングされている場合、トレーニングデータは、音予測の改善のために利用されるものとしてよい。

次に、電子装置１０１５は、工場設定又は生産ライン終了環境などの異なる環境で利用されるものとしてよい。電気装置１０１５は、特に、装置を動作させるために又はセンサ読み取り値を監視するために利用される１つ又は複数のＥＣＵ１０１９を含み得る。電気装置１０１５は、電気駆動部、アクチュエータ又は同様のコンポーネントから発せられる振動情報／データ、又は、他のタイプの情報／データを含む加速度計１０１７などのセンサを含み得る。例えば、ＥＯＬ設定における振動データは、リアルタイム振動情報であるものとしてよい。環境によっては、取得された音情報の正確な使用が許容されない場合があり、したがって、予測される音の取得が振動データのみで十分な場合もある。特に、そのような環境においては、マイクが欠落するか、背景雑音に基づいてマイクの使用が困難になる場合がある。

リアルタイム振動情報１０２１は、トレーニングされた機械学習モデル１０１３に送信されるものとしてよい。１つのシナリオにおいては、振動データは加速度計データであるものとしてよい。リアルタイム振動情報１０２１は、ｘ軸、ｙ軸及びｚ軸情報を含む加速度計データを含み得る。リアルタイムデータは、時系列、スペクトログラム、又は、次数スペクトログラムのいずれかの形態で機械学習モデル１０１３に送信されるものとしてよい。モデルに供給される入力の形態は、モデルの出力（例えば、音予測１０２３）と同様であるものとしてよく、したがって、入力タイプが出力タイプを決定することができる。例えば、スペクトログラムがモデルの入力として利用される場合、同一次元のスペクトログラムが予測される。したがって、モデルは、対応する音１０２３を予測するために振動情報を利用することができる。音予測１０２３は、装置のモータ、電気駆動部、アクチュエータ、又は、任意の他のコンポーネントの動作を与える装置から発せられるであろう音を示すことができる。１つの実施形態においては、これは、任意の他のデータが存在せず、振動データのみを利用して達成されるものとしてよい。

図１１は、トルク予測又は音予測を含み得る予測を出力するために、様々なセンサデータに関連する生産ライン終了テストを監視するシステムのチャートを開示する。このシステムは、機械学習モデル１１１５を含み得る。この機械学習モデル１１１５は、ディープニューラルネットワークであるものとしてよい。ディープニューラルネットワーク（Ｕ－Ｎｅｔ又はトランスフォーマ）は、電気駆動部に取り付けられたセンサから一連のセンサ信号を受信する。電気装置１１０７は、プロセッサ又はＥＣＵ１１０１、モータ、アクチュエータ、電気駆動部、推進システムなどを含む任意のタイプの装置であるものとしてよい。この電気装置１１０７は、コンポーネントにトルク１１１１を出力するコンポーネントを含み得る。センサは、トルクの読み取り値を確立するためにこのコンポーネントに接続されるものとしてよい。電気装置１１０７は、実験室の設定など所定の環境における様々な特性の読み取り値を取得するために利用されるセンサを含み得る。これらのセンサは、速度センサ、加速度計１１０９、電圧センサ（例えば、入力電圧センサ）１１０３、電流センサ（例えば、入力電流センサ）１１０５、トルクセンサなどの任意のタイプのセンサであるものとしてよい。信号は、時系列、スペクトログラム、次数スペクトログラムなどの形態を有し得る。モデルは、（入力に含まれていない場合）トルク、音、加速度計データのデータなど、ターゲットセンサ信号を予測するために信号間の変換を実行する。ターゲット信号は、入力と同様の形式により予測される。例えば、入力がスペクトログラムの形態である場合、同一次元のスペクトログラムが予測されるものとしてよい。予測が行われると、ＮＶＨ分析、共鳴検出、人による音の知覚分析、障害検出など、ターゲットセンサデータが使用されるのと同様の方法により適当な分析アプローチにおいて使用することができる。

テスト環境においては、電流情報、電圧情報、音情報及びトルク情報が、トレーニングデータ１１１３の生成のために収集されるものとしてよい。トレーニングデータ１１１３は、トレーニングされた機械学習モデルに送信されるものとしてよい。１つのシナリオにおいては、振動情報は加速度計データであるものとしてよい。リアルタイムの振動情報は、ｘ軸、ｙ軸及びｚ軸情報を含む加速度計データを含み得る。リアルタイム情報／データは、時系列、スペクトログラム、又は、次数スペクトログラムのいずれかの形態で機械学習モデルに送信されるものとしてよい。モデルに供給される入力の形態は、モデルの出力と同様であるものとしてよい。例えば、スペクトログラムがモデルの入力として利用される場合、同一次元のスペクトログラムが予測される。したがって、モデルは、電気装置に関連付けられた対応する音又はトルクを予測するためにセンサからの様々な入力読み取り値の組合せを利用することができる。

次に、電子装置１１２１は、工場環境又は生産ライン終了テスト環境などの異なる環境で利用されるものとしてよい。電気装置１１２１は、電流センサ１１１９からの電流（例えば、入力電流）読み取り値、電圧センサ１１１８からの電圧（例えば、入力電圧）、及び、振動センサ１１２０（例えば、加速度計）からの振動情報、又は、電気駆動部、アクチュエータ若しくは同様のコンポーネントから発せられる他のタイプのデータ含むセンサを含み得る。例えば、ＥＯＬ設定における振動情報は、リアルタイム振動データであるものとしてもよい。環境によっては、取得された音情報の正確な使用が許容されない場合があり、したがって、予測１１２５の取得が振動情報のみで十分な場合もある。予測１１２５は、予測される音、予測されるトルク、又は、予測される加速度計データ（入力に含まれていない場合）を含み得る。したがって、モデル１１１５は、様々なセンサから収集された入力１１２３の組合せに基づいて予測される信号１１２５を出力することができる。例えば、モデル１１１５は、予測１１２５を出力するために入力１１２３としてリアルタイム電流情報及びリアルタイム電圧情報のみを利用することができる。予測１１２５は、機械に関連付けられた値が与えられた電気装置１１２１上で動作するコンポーネントに関連付けられた予想される音予測であるものとしてよい。予測１１２５はまた、機械に関連付けられた値が与えられた電気装置１１２１上で動作するコンポーネントに関連付けられた予想されるトルク予測であるものとしてもよい。

予測１１２５は、予測を生成するために利用可能な任意のデータセットを利用することができる。したがって、所定のセンサが故障している場合又は利用可能でない場合、この読み取り値は、予測の生成のために必要ではない場合もある。モデルは、予測を出力するために任意の利用可能なデータ又は情報を取り入れることができる。さらに、所定の読み取り値は、他よりもさらに有益な場合がある。例えば、電圧読み取り値が、任意の同時の読み取り値を必要としない場合であっても、電流読み取り値は、他の情報（例えば、電圧情報又は振動情報）を予測の生成のために必要とする場合がある。他の例においては、電圧読み取り値と振動読み取り値のみで十分な場合がある。他の例においては、電流読み取り値は、予測の展開又は予測の向上を支援する二次的情報であるものとしてもよい。

図１２は、予測分析モデルに関連付けられたフローチャートを開示する。このシステムは、機械学習モデル１２１７を含み得る。この機械学習モデル１２１７は、ディープニューラルネットワークであるものとしてよい。ディープニューラルネットワーク（Ｕ－Ｎｅｔ又はトランスフォーマ）は、電気駆動部１２０１に通信／接続されているセンサから一組のセンサ信号を受信する。電気装置１２０１は、プロセッサ又はＥＣＵ１２０３、モータ、アクチュエータ、電気駆動部、推進システムなどを含む任意のタイプの装置であるものとしてよい。この電気装置１２０３は、コンポーネントにトルク１２１３を出力するコンポーネントを含み得る。センサは、トルクの読み取り値を確立するためにこのコンポーネントに接続されるものとしてよい。電気装置１２０１は、実験室の設定など所定の環境における様々な特性の読み取り値を取得するために利用されるセンサを含み得る。これらのセンサは、速度センサ、加速度計１２０９、電圧センサ（例えば、入力電圧センサ）１２０５、電流センサ（例えば、入力電流センサ）１２０７、トルクセンサなどの任意のタイプのセンサであるものとしてよい。

マイクは、電気装置１２０１からの音１２１１を拾うために利用されるものとしてよい。電気装置１２０１のプロセッサ又はＥＣＵ（例えば、電子制御ユニット）１２０３は、動作中の装置の入力電圧１２０５及び電流１２０７を読み取るセンサに接続され、それらと通信されるものとしてよい。さらに、振動データ１２０９が、１つ又は複数のセンサから収集されるものとしてもよい。振動情報１２０９は、３つの軸間の加速度計信号を含み得る。例えば、ｘ軸の加速度計情報、ｙ軸の加速度計情報、及び、ｚ軸の加速度計情報が利用されるものとしてよい。

提案された方法は、複数のコンポーネントから製造された製品など複雑な物理的システムの分析中に使用するためのものであってよい。相互間で調査すべき必要性のある量的関係が選択されるものとしてよい。例えば、自動車におけるウインドリフターを動作させる電気モータの振動又は車室内の音が所定の例であるものとしてよい。第２に、選択された量は、適当な設定により、すなわち、測定された量間の仮説の関係が決定され得る方法により測定される。上記の例においては、同一の車両内において加速度計とマイクとの両方のデータを同一の時点で記録することを意味する。機械学習モデル１２１７には、トレーニングデータ１２１５が供給され、それが利用されるものとしてもよい。トレーニングデータ１２１５は、電圧信号、電流信号、加速度計信号、トルク信号、マイク信号などを含み得る。機械学習モデル１２１７は、他のもの、例えば、入力として加速度計の時系列を取り入れ、音の時系列を予測する信号間モデルを使用して量の１つを予測するようにトレーニングされたニューラルネットワークであるものとしてもよい。

そして最後に、ネットワークの性能は、関係性の存在及び／又は欠落並びにその特性を特定するために分析されるものとしてよい。したがって、予測分析１２２１は、ネットワーク及び関連する予測を格付けするために利用されるものとしてよい。例えば、予測エラーは、時間領域においてモータ振動と車室内の音との間の相互情報を推定し、周波数領域においてどの音の周波数がモータ振動から生じるかを特定するために分析することができる。後者については、周波数情報を得るために予測される信号と記録される信号との両方にフーリエ変換が適用されるものとしてよく、エラーは結果として得られるフーリエ係数間で計算されるものとしてよい。予測分析１２２１は、ヒートマップ、スコア、又は、他のタイプの出力の形態であるものとしてもよい。予測分析は、１つの例示的な実施形態においては、そのソース情報又は入力情報を与えられた予測精度を分析することができる。例えば、予測分析は、電圧及び電流の入力のみが与えられた振動情報（例えば加速度計データ）を予測する性能を示すことができる。

本明細書に開示されるプロセス、方法、又は、アルゴリズムは、任意の既存のプログラマブル電子制御ユニット又は専用の電子制御ユニットを含み得る、処理デバイス、コントローラ又はコンピュータに配信可能であり、それらによって実装可能であり得る。同様に、プロセス、方法、又は、アルゴリズムは、ＲＯＭデバイスなどの書込み不可能なストレージ媒体に永続的に格納される情報や、フロッピーディスク、磁気テープ、ＣＤ、ＲＡＭデバイス、及び、他の磁気的及び光学的媒体などの書込み可能なストレージ媒体に変更可能に格納される情報を含むがこれらに限定されるものではない多くの形態において、コントローラ又はコンピュータによって実行可能なデータ及び命令として格納することができる。プロセス、方法、又は、アルゴリズムは、ソフトウェアにより実行可能な対象に実装することも可能である。代替的に、プロセス、方法、又は、アルゴリズムは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ステートマシン、コントローラ、又は、他のハードウェアコンポーネント若しくはデバイス、又は、ハードウェア、ソフトウェア、ファームウェアコンポーネントの組合せなどの適当なハードウェアコンポーネントを使用して全体又は一部を具現化することも可能である。

例示的な実施形態が上記で説明されているが、これらの実施形態は、特許請求の範囲に含まれるすべての可能な形態の説明を意図したものではない。明細書において使用される用語は、限定ではなく説明のための用語であり、本開示の精神及び範囲から逸脱することなく様々な変更を行うことが可能であることは理解されよう。先に説明したように、様々な実施形態の特徴は、明示的に説明又は図示されていない場合がある本発明のさらなる実施形態を形成するために組み合わせることができる。様々な実施形態は、１つ又は複数の所望の特性に関して利点を提供するものとして又は他の実施形態若しくは従来技術の実装よりも好ましいものとして説明することができようが、当業者であれば、特定の用途及び実装に依存する所望の全体的なシステム属性を達成するために、１つ又は複数の特徴又は特性が妥協され得ることを認識する。これらの属性には、コスト、強度、耐久性、ライフサイクルコスト、市場性、外観、パッケージング、サイズ、保守性、重量、製造可能性、組立の容易さなどが含まれ得るが、これらに限定されるものではない。このように、任意の実施形態が、１つ又は複数の特性に関して、他の実施形態又は先行技術の実装よりも望ましくないものとして記載されている限りにおいて、これらの実施形態は、本開示の範囲外ではなく、特定の用途にとっては望ましい可能性がある。

Claims (20)

1. テストデバイスに関連付けられた第１の複数のセンサから電流情報、電圧情報、振動情報及び音情報を受信するステップと、
   前記電流情報、前記電圧情報、前記振動情報及び前記音情報を利用してトレーニングデータセットを生成するステップと、
   機械学習モデルの収束閾値が前記トレーニングデータセットによって満たされたことに応じて、前記トレーニングデータセットを機械学習モデルに入力するステップと、
   トルク予測を出力するように構成されたトレーニングされた機械学習モデルを出力するステップと、
   ランタイムデバイスに関連付けられた第２の複数のセンサからリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの組合せを受信するステップと、
   （ｉ）前記トレーニングされた機械学習モデルと、（ｉｉ）前記トレーニングされた機械学習モデルへの入力としてリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの前記組合せとに基づいて、前記ランタイムデバイスに関連付けられたトルク予測を出力するステップと、
   を含む、コンピュータ実装された方法。
2. 前記トレーニングされた機械学習モデルは、前記入力としてリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの組合せを利用して音予測を出力するように構成され、前記音予測は、前記ランタイムデバイスの動作に関連付けられた知覚音に関連付けられる、請求項１に記載のコンピュータ実装された方法。
3. 前記組合せには、少なくともリアルタイム電圧情報が含まれる、請求項１に記載のコンピュータ実装された方法。
4. 前記トレーニングされた機械学習モデルは、ディープニューラルネットワークである、請求項１に記載のコンピュータ実装された方法。
5. 前記ディープニューラルネットワークは、Ｕ－Ｎｅｔ又はトランスフォーマーネットワークである、請求項４に記載のコンピュータ実装された方法。
6. 前記組合せには、前記トルク予測を出力するためのリアルタイム電流情報及びリアルタイム電圧情報の両方が含まれる、請求項１に記載のコンピュータ実装された方法。
7. 前記組合せには、前記ランタイムデバイスの動作に関連付けられた知覚音に関連付けられる音予測を出力するためのリアルタイム電流情報及びリアルタイム電圧情報の両方が含まれる、請求項６に記載のコンピュータ実装された方法。
8. 前記リアルタイム電流情報は、入力電流読み取り値であり、前記リアルタイム電圧情報は、入力電圧読み取り値である、請求項１に記載のコンピュータ実装された方法。
9. 前記トルク予測は、時系列、スペクトログラム、又は、次数スペクトログラムデータのいずれかの形態である、請求項１に記載のコンピュータ実装された方法。
10. テストデバイスに関連付けられた複数のセンサから電流情報、電圧情報、振動情報及び音情報を受信するステップと、
    前記電流情報、前記電圧情報、前記振動情報及び前記音情報を利用してトレーニングデータセットを生成するステップと、
    機械学習モデルの収束閾値が前記トレーニングデータセットによって満たされたことに応じて、前記機械学習モデルに供給される前記トレーニングデータセットを入力するステップと、
    トルク予測を出力するように構成されたトレーニングされた機械学習モデルを出力するステップと、
    （ｉ）前記トレーニングされた機械学習モデルと、（ｉｉ）前記トレーニングされた機械学習モデルへの入力として少なくともリアルタイム電流情報及びリアルタイム電圧情報の前記組合せとに基づいて、ランタイムデバイスからリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報のいずれかの組合せを受信するステップと、
    動作中に前記ランタイムデバイスに関連付けられて予測されるトルクを示すトルク予測を出力するステップと、
    を含む、コンピュータ実装された方法。
11. 前記トレーニングされた機械学習モデルと、前記トレーニングされた機械学習モデルへの入力として少なくともリアルタイム電流情報及びリアルタイム電圧情報の前記組合せとを利用するステップと、
    前記ランタイムデバイスに関連付けられて予測される音を示す音予測を出力するステップと、
    を含む、請求項１０に記載のコンピュータ実装された方法。
12. 前記組合せは、前記トルク予測を出力するために前記リアルタイム振動情報を利用することを含む、請求項１０に記載のコンピュータ実装された方法。
13. 前記組合せは、前記リアルタイム振動情報を含まない、請求項１０に記載のコンピュータ実装された方法。
14. 前記機械学習モデルは、Ｕ－Ｎｅｔネットワーク又はトランスフォーマーネットワークであるディープニューラルネットワークである、請求項１０に記載のコンピュータ実装された方法。
15. 前記組合せは、前記ランタイムデバイスに関連付けられて予測される音を示す音予測を出力するために前記リアルタイム電流情報、リアルタイム電圧情報、前記リアルタイム振動情報を利用することを含む、請求項１０に記載のコンピュータ実装された方法。
16. １つ又は複数のセンサと通信するプロセッサを備えるシステムであって、
    前記プロセッサは、
    アクチュエータ若しくは電気駆動部であるランタイムデバイスからの１つ又は複数のリアルタイム電流情報、リアルタイム電圧情報又はリアルタイム振動情報を含むデータを受信し、
    トレーニングされた機械学習モデルと、前記トレーニングされた機械学習モデルへの入力としてのデータとを利用し、前記ランタイムデバイスから放出された推定される音に関連付けられる音予測を出力する
    ようにプログラミングされている、システム。
17. 前記プロセッサは、前記トレーニングされた機械学習モデルと、前記トレーニングされた機械学習モデルへの入力としての前記組合せとを利用して、前記ランタイムデバイスに関連付けられたトルク予測を出力するようにさらにプログラミングされている、請求項１６に記載のシステム。
18. 前記組合せは、リアルタイム電流情報及びリアルタイム電圧情報を含む、請求項１６に記載のシステム。
19. 前記組合せは、リアルタイム電流情報を含まない、請求項１６に記載のシステム。
20. 前記組合せは、リアルタイム電流情報、及び、リアルタイム電圧情報又はリアルタイム振動情報のいずれかを含む、請求項１６に記載のシステム。

Images