JP6842466B2 - コンピュータシステム、ニューラルネットワークシステム、方法、コンピュータ実行可能プログラム及び車両 - Google Patents

コンピュータシステム、ニューラルネットワークシステム、方法、コンピュータ実行可能プログラム及び車両 Download PDF

Info

Publication number
JP6842466B2
JP6842466B2 JP2018536523A JP2018536523A JP6842466B2 JP 6842466 B2 JP6842466 B2 JP 6842466B2 JP 2018536523 A JP2018536523 A JP 2018536523A JP 2018536523 A JP2018536523 A JP 2018536523A JP 6842466 B2 JP6842466 B2 JP 6842466B2
Authority
JP
Japan
Prior art keywords
time
neural network
series data
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018536523A
Other languages
English (en)
Other versions
JP2019502212A5 (ja
JP2019502212A (ja
Inventor
ビー ジャスティン クレイトン
ビー ジャスティン クレイトン
大輔 岡野原
大輔 岡野原
将平 比戸
将平 比戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Preferred Networks Inc
Original Assignee
Preferred Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Preferred Networks Inc filed Critical Preferred Networks Inc
Publication of JP2019502212A publication Critical patent/JP2019502212A/ja
Publication of JP2019502212A5 publication Critical patent/JP2019502212A5/ja
Application granted granted Critical
Publication of JP6842466B2 publication Critical patent/JP6842466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Description

本発明は、時系列データ適合およびセンサ融合のシステム、方法、および装置に関する。
時系列とは、通常、時間間隔にわたって行われる連続測定から構成されるデータポイントの順番である。時系列データは、多種多様な用途で使用され、しばしば、時系列に関する意味のある情報を抽出し、かつ／または将来のイベントもしくは時系列値を予測するために分析される。たとえば、時系列データは機械学習技法を使用して分析されてもよい。様々なタイプの機械学習方法が存在する（たとえば、線形回帰モデル、ナイーブベイズ分類器）。機械学習は、通常、データの量、種類、および速度が高く、かつ／またはリアルタイムデータ処理が必要な場合がある「ビッグデータ」問題に対処するために使用される。時系列データを収集することができる多くの異なるドメインまたはモダリティ、多くのタイプの時系列データ、および時系列データが収集または生成され得る多くの異なるソースが存在する。通常、時系列分析または機械学習の特定の方法の場合、いくつかの特性またはイベントの検出または予測などの所望の結果を生成するために、１つまたは複数の特定のタイプの時系列データが入力される。
本開示は、時系列データ適合およびセンサ融合のための新しく革新的なシステム、方法、および装置を提供する。例示的な実施形態では、システムは、変分推論マシン、隠れ状態を含むシーケンシャルデータ予測マシン、および機械学習モデルを含む。シーケンシャルデータ予測マシンは、隠れ状態の第１のバージョンをエクスポートする。変分推論マシンは、時系列データおよび隠れ状態の第１のバージョンを入力として受け取り、時間依存性導入潜在分布を出力する。シーケンシャルデータ予測マシンは、隠れ状態の第１のバージョンを取得し、時系列データおよび時間依存性導入潜在分布を入力として受け取り、時系列データ、時間依存性導入潜在分布、および隠れ状態の第１のバージョンに基づいて、隠れ状態を更新して隠れ状態の第２のバージョンを生成する。時間依存性導入潜在分布は機械学習モデルに入力され、機械学習モデルは時間依存性導入潜在分布に基づいて結果を出力する。
例示的な実施形態では、システムは、マルチモーダル変分推論マシン、および隠れ状態を含むマルチモーダルシーケンシャルデータ予測マシンを含む。マルチモーダルシーケンシャルデータ予測マシンは、隠れ状態の第１のバージョンをエクスポートする。マルチモーダル変分推論マシンは、第１および第２の時間依存性導入潜在分布ならびに隠れ状態の第１のバージョンを入力として受け取り、マルチモーダル時間依存性導入潜在分布を出力する。マルチモーダルシーケンシャルデータ予測マシンは、隠れ状態の第１のバージョンを取得し、第１および第２の時間依存性導入潜在分布ならびにマルチモーダル時間依存性導入潜在分布を入力として受け取り、第１および第２の時間依存性導入潜在分布、マルチモーダル時間依存性導入潜在分布、ならびに隠れ状態の第１のバージョンに基づいて、隠れ状態を更新して隠れ状態の第２のバージョンを生成する。
開示された方法および装置のさらなる特徴および利点は、以下の詳細説明および図面に記載され、それらから明らかになるであろう。
本開示の例示的な実施形態による、エッジデバイスの一例のブロック図である。 本開示の例示的な実施形態による、時系列データ適合を示す高レベルフロー図である。 本開示の例示的な実施形態による、変分推論マシンの高レベルブロック図である。 本開示の例示的な実施形態による、変分生成マシンの高レベルブロック図である。 本開示の例示的な実施形態による、変分推論マシンを訓練するための例示的なプロセスを示す高レベルブロック図である。 本開示の例示的な実施形態による、シーケンシャルデータ予測マシンの高レベルブロック図である。 本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、時系列データ適合の例示的なプロセスを示すフローチャートである。 本開示の例示的な実施形態による、時系列データ適合モジュールの高レベルブロック図である。 本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、変分推論マシンの高レベルブロック図である。 本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。 本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。 本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。 本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。 本開示の例示的な実施形態による、時系列データ適合モジュールの高レベルブロック図である。 本開示の例示的な実施形態による、３次センサ融合を含む時系列データ適合を示すフロー図である。 本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。
図１は、本開示の例示的な実施形態による、エッジデバイス１００の一例のブロック図である。例示的な実施形態では、エッジデバイス１００は、高度運転者支援システムまたは自律車両であってもよい。別の例示的な実施形態では、エッジデバイス１００は家庭健康監視デバイスであってもよい。他の例示的な実施形態では、エッジデバイス１００は、熱ビデオカメラまたは超音波検出器であってもよい。例示的なエッジデバイス１００は、センサ融合を含む場合がある、データ収集を実行すること、機械学習を実行すること、および時系列データ適合を実行することが可能なデバイスである。通常、エッジデバイス１００は、他のデバイスとの通信を実行することも可能である。例示的な実施形態では、エッジデバイス１００は、中央サーバ、中間サーバ、データリポジトリ、ゲートウェイ、ルータなどを含む、データ接続デバイスの大規模分散ネットワークのエッジまたは最外層にある。エッジデバイス１００には、記録デバイス（たとえば、デジタルカメラ、ビデオカメラ、オーディオレコーダ）、都市管理デバイス（たとえば、駐車センサ、交通センサ、水質デバイス）、車両（たとえば、自動車、トラック、航空機）、身体センサ（たとえば、活動センサ、バイタルサインセンサ、歩数計）、環境センサ（たとえば、気象センサ、汚染センサ、大気質センサ）、ウェアラブルコンピューティングデバイス（たとえば、スマートウォッチ、眼鏡、衣服）、パーソナルコンピューティングデバイス（たとえば、携帯電話、タブレット、ラップトップ）、ホームデバイス（たとえば、家電製品、サーモスタット、照明システム、セキュリティシステム）、広告デバイス（たとえば、ビルボード、情報キオスク）などを含む、多種多様なデバイスが含まれてもよい。エッジデバイス１００は、通信モジュール１０２と、データ収集デバイス１０４と、メモリ１０６と、機械学習モジュール１０８と、時系列データ適合モジュール１１０と、調整モジュール１１２とを含んでもよい。
通信モジュール１０２は、同じタイプ（たとえば、複数の熱ビデオカメラ）もしくは異なるタイプ（たとえば、熱ビデオカメラおよび超音波検出器）の他のエッジデバイス１００、ならびに／またはサーバデバイスなどを含む他のデバイスと通信するように構成される。たとえば、下記でさらに詳細に記載されるように、通信モジュール１０２は、インターネットもしくは任意の適切なワイドエリアネットワーク、ローカルエリアネットワーク、ゲートウェイ、または他の通信チャネルもしくはネットワークを含む、１つまたは複数のネットワークまたは通信チャネルを介して他のデバイスと通信するように構成されてもよい。たとえば、通信モジュール１０２は、セルラーネットワーク（たとえば、４Ｇ、３Ｇ、ＧＳＭ（登録商標））、ワイヤレスローカルエリアネットワーク（たとえば、Ｗｉ−Ｆｉ）、衛星（たとえば、ＶＳＡＴ）、または任意の適切な形態のワイヤレス通信（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＮＦＣ、ＩｒＤＡ、Ｌｉ−Ｆｉ）によって採用された複数のプロトコルを介するワイヤレス通信向けに構成されてもよい。また、たとえば、通信モジュール１０２は、別のエッジデバイス１００への有線接続（たとえば、イーサネット（登録商標）、ＤＳＬ、ＵＳＢ、ＲＳ−２３２、同軸ケーブル）向けに構成されてもよい。さらに、通信モジュール１０２は、たとえば、タッチスクリーンディスプレイを用いて実装され得るグラフィカルユーザインターフェースを介して、ユーザと通信することができる。ユーザは、特定のタスクを実行するようにエッジデバイス１００に要求し、かつ／またはエッジデバイス１００から情報を受け取ることができてもよい。したがって、通信モジュール１０２は、１つまたは複数の通信プロトコルを使用する１つまたは複数の通信インタフェースを介して通信するように構成されたハードウェアおよび／またはソフトウェアを含んでもよい。例示的な実施形態では、通信モジュール１０２は、エッジデバイス１００内、または命令に基づいてアクション（たとえば、緊急是正処置）を取ることができる他のデバイス内の様々なアクチュエータまたはハードウェア構成要素に、メッセージまたは命令を送信することができる。たとえば、１つまたは複数のエッジデバイス１００および１つまたは複数の異なるサーバ（たとえば、中央サーバ）と通信する中間サーバは、エッジデバイス１００からメッセージまたは命令を受信することができる。
データ収集デバイス１０４は、センサ、検出器、または実世界の特性（たとえば、距離、超音波レベル、速度、加速度、ショッピングカート内のアイテム、手の動き、形状、温度、角度、音声認識、単語認識、トルク、スリップレベル）を表すデータのリアルタイム収集に適した任意のデバイスであってもよい。データ収集デバイス１０４は、周期的に（たとえば、ミリ秒、秒、分ごとに）連続的なデータストリームを受け取るか、またはデータを収集することができ、それは、概して収集されるデータのタイプおよびデータストリームの変動性に依存してもよい。データタイプＸの時系列は、本明細書ではｘと呼ばれてもよく、ここで、ｘ＝＜ｘ１，ｘ２，ｘ３，…ｘｉ＞である。データ収集デバイス１０４には、通常、ある特定のタイプのデータを収集するように具体的に構成された特定のハードウェアおよび／または物理構造（たとえば、画像センサ、レーダーセンサ、ライダーセンサ、超音波センサ、加速度計、ジャイロスコープセンサ、温度計、血液酸素センサ、パルスオキシメトリセンサ、ｐＨセンサ、肺活量計、呼吸センサ、煙センサ、高度計、ホール効果センサ、速度計、光検出器、ボロメータ、流量センサ、歪みゲージ、トルクセンサ、タコメータ、傾斜計、マイクロフォン、磁力計、電圧計、電流計、オーム計、化学センサ、圧力センサ、レインセンサ、湿度計、ヒューミスタ、風速計、地震計、ガイガーカウンタなど）が含まれる。例示的な実施形態では、１つのエッジデバイス１００は、様々なタイプのデータを収集する複数の様々なデータ収集デバイス１０４を含んでもよい。データ収集デバイス１０４は、収集されたデータをメモリ１０６に供給する。例示的な実施形態では、メモリ１０６は、ビデオ画像データなどの大量のデータを受け取り、記憶するための専用メモリ（たとえば、ＶＲＡＭ）であってもよい。したがって、メモリ１０６は、たとえば、エッジデバイス１００の高スループットおよび低遅延の仕様を満たすために、タスク固有の専用ハードウェアを有してもよい。メモリ１０６は、バッファ、シフトレジスタなどの様々な階層のメモリを含んでもよい。メモリ１０６は、収集されたデータを一時的に記憶するように構成されてもよく、機械学習モジュール１０８および／または時系列データ適合モジュール１１０にとって収集されたデータがもはや必要でなくなると、上書きされてもよい。
機械学習モジュール１０８は、１つまたは複数のデータ収集デバイス１０４によって収集され、メモリ１０６に記憶された時系列データを使用して、機械学習モデルを実行することができる。機械学習モジュール１０８は、収集された時系列データを入力として受け取り、かつ／または収集された時系列データを表す適合データ（たとえば、センサ融合データ）を入力として受け取ることができ、適合データもメモリ１０６に記憶されてもよい。機械学習モジュール１０８は、予想、予測、分類、クラスタリング、異常検出、および／または認識を行うために収集および／または適合されたデータを使用して機械学習モデルを実行し、それは次いで結果として出力される。機械学習モデルは、結果を繰り返し更新することができる。たとえば、機械学習モデルは、メモリに記憶されたすべての利用可能な収集データを使用して、または収集された時系列データを表す適合データを使用して連続的に実行することができ、連続結果または周期結果を生成することができる。たとえば、収集されたデータのボリュームおよび速度が比較的低い（疎および／または低速の）場合、機械学習モデルは周期的にしか実行することができず、各結果が出力された後に一定期間休止してもよいが、新しいデータは収集される。各機械学習モデルは、所定のタスク（たとえば、潜在的な衝突の検出、慢性閉塞性肺疾患（ＣＯＰＤ）リスクの分類、故障したスチームトラップの検出、アイテムの予測、レジ犯罪の盗難の認識、警戒（ＢＯＬＯ）警報に対する疑いの認識、コーナリング速度の分類）に関する。たとえば、車両エッジデバイス１００用の機械学習モデルの場合、所定のタスクは、衝突回避措置がいつ実施される必要があるかを検出することであり得る。車両エッジデバイス１００は、車両（たとえば、自律車両または無人車両）に搭載されてもよく、複数の様々な時系列（たとえば、ライダー、ビデオ、レーダー、超音波、および速度または速力）を同時に検出することができる。検出された複数の様々な時系列のうちの１つまたは複数を使用して、機械学習モジュール１０８は実行され、特定の条件下で衝突の発生が差し迫っているという検出を出力することができる。検出は、車両の操縦および／または制動などの衝突回避作動をトリガすることができる。ライダーデータ、ビデオデータ、レーダーデータ、および超音波データを使用して、車両の周辺に関する情報を提供すると、差し迫った衝突の最適な検出がもたらされ得るが、適切なライダーデータ収集デバイス１０４は、比較的高価（たとえば、単価８，０００ドル）である。したがって、多くの場合、収集されたデータのコストと品質との間のトレードオフが存在し、それに応じて、ライダーは、いくつかの車両でのデータ収集デバイス１０４としての使用に利用できない可能性がある。
機械学習モデルは、その入力として様々な時系列のうちの１つを個別に使用することができ、かつ／または機械学習モデルは、時系列データのマルチモーダル入力である様々な時系列のうちの２つ以上をその入力として使用することができる。機械学習モデルは、１つもしくは複数のセンサからの時系列データ、および／または１つもしくは複数のセンサからの時系列データを表す適合データを含む場合がある、１つまたは複数の特定のタイプのデータを使用して、所定のタイプの入力に対して訓練される。機械学習モデルに対する所定のタイプの入力は、センサからの時系列、様々なセンサからの複数の時系列、センサからの時系列の分散表現、または様々なセンサからの複数の時系列の分散表現であってもよい。分散表現は、通常、次元が減少するが、一般に最も重要な情報を保存する時系列データのバージョンであり、場合によっては、ほとんど無損失であり得る。機械学習モデルは、その入力として正しいタイプのデータが受け取られることを必要とする。たとえば、超音波センサデータおよびライダーセンサデータが両方とも同じ現象に関する情報を提供している（または根底にある現象と相関している）場合でも、超音波データの時系列を受け取るように訓練された機械学習モデルは、ライダーセンサデータの時系列を適切に使用することができず、その逆も同様である。しかしながら、機械学習モデルは、各々が超音波およびライダーなどの様々なドメインまたはモダリティからの様々なタイプのデータから作成された結合データタイプを、その入力として使用するように訓練されてもよい。下記でさらに詳細に説明されるように、結合データタイプはセンサ融合を実行することからもたらされてもよい。その入力としてセンサ融合結合データタイプを受け取る機械学習モデルは、データの様々なモダリティ間の相乗効果から利益を得ることができ、機械学習モデルが、非結合センサデータタイプを受け取る機械学習モデルよりも良好な結果を提供することが可能になる。しかしながら、その入力としてセンサ融合結合データタイプを受け取るように訓練された機械学習モデルは、正しいタイプの入力を必要とする。したがって、機械学習モジュール１０８は、必要なセンサ融合結合データタイプを作成するためにデータを提供する１つまたは複数のセンサが欠落している状況を説明するために、様々な異なる機械学習モデルを含んでもよい。
例示的な実施形態では、３つのセンサＡ、Ｂ、およびＣが使用されて、その入力として時系列ＡＢＣを受け取るように訓練された機械学習モデルにおいて使用され、それぞれの個別の時系列を受け取るように訓練された機械学習モデルにおいて、個別の時系列Ａ、Ｂ、またはＣのいずれか１つと比較して、より正確な結果（たとえば、差し迫った衝突の検出）を提供する融合時系列ＡＢＣを作成する。しかしながら、センサＡ、Ｂ、またはＣのいずれかが一時的に利用できない場合、その入力として時系列ＡＢＣを受け取るように訓練された機械学習モデルは、使用することができない（または準最適で不適切な結果をもたらす）。したがって、たとえば、センサＡ、Ｂ、および／またはＣが断続的に利用できなくなったときに直ちに切り替えるために、時系列ＡＢまたは時系列ＡＣまたは時系列ＢＣを使用するように訓練された機械学習モデルが利用可能である必要があり得る。この例では、機械学習モデルがフォールトトレラントではないので、１つまたは複数のセンサが利用できない可能性を考慮して訓練されなければならない７つの異なるモデル（ＡＢＣ、ＡＢ、ＡＣ、ＢＣ、Ａ、Ｂ、およびＣ）が存在してもよい。上述されたようにオンザフライで機械学習モデルの間を切り替えることは、いくつかの状況では適切であり得るが、異なるタイプのセンサの数が多くなると、断続的に欠落しているデータがかなり問題になる可能性がある。具体的には、訓練される必要がある機械学習モデルの数は、異なるタイプのセンサの数の増加が比較的少なくても、大幅に増加する可能性がある。たとえば、センサＡ、Ｂ、およびＣにもう１つのセンサＤを追加すると、このシステムで訓練される必要がある機械学習モデルの数が８増加し、１０センサを有するシステムは、１，０２３個の機械学習モデルを必要とするかもしれない。センサの数が増加するにつれて、必要な機械学習モデルの数は指数関数的に増加する。断続的に利用できないデータの問題に対処するために、数十または数百のセンサを使用して融合時系列を作成する場合、組合せ的爆発が発生し、特にリアルタイム分析（たとえば、衝突回避）において実行するために、センサデータが断続的に利用できないときに必要な訓練された機械学習モデルを切り替えることが困難または不可能になる。たとえば、３００個のセンサを有するシステムの場合、３００個のセンサのうち１５０個の９．３７×１０８８の組合せが存在する。その上、センサのあらゆる組合わせに対して新しい機械学習モデルを必要とするシステムは、リアルタイムデータ分析のための実際的な適合性を欠いている。
時系列データ適合モジュール１１０は、機械学習モジュール１０８に提供され得る１つまたは複数の分散表現に、時系列データを適合させるように構成される。時系列データ適合モジュール１１０は、１次適合、２次適合、および／または高次適合もしくは混合適合を実行することができる。１次適合は、時系列データの分散表現への適合を含む。２次適合は、分散表現の融合された分散表現への適合を含む。高次適合（たとえば、３次）は、グローバルデータ表現などの融合された分散表現の適合を含む。混合適合には、時系列と分散表現を融合することなどの、様々なレベルのデータを適合させることが含まれる。時系列データ適合モジュール１１０は、有利なことに、システム内の耐故障性を向上させ、センサの必要コストを低減し、センサの故障または使用不能による影響を低減し、送信および記憶されるデータ量を減らし、処理時間およびデータ転送の速度を増大させ、結果の確度、精度、および一貫性を向上させるために、高密度で、情報量が多く、かつ堅牢な分散表現を機械学習モジュールに提供することができる。本明細書に記載される時系列データ適合モジュール１１０は、断続的および／または永続的の両方でセンサデータが利用できないときに、リアルタイムデータ分析中に結果を改善するのに特に有利であり得る。例示的な実施形態では、時系列データ適合モジュール１１０は、下記でさらに詳細に記載されるように、センサ融合を実行する。
調整モジュール１１２は、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、および時系列データ適合モジュール１１０のプロセスを調整することができる。エッジデバイス１００は、中央処理装置を有してもよく、様々な特定のタスクに専用の１つまたは複数の追加プロセッサを有してもよい。各エッジデバイス１００は、１つまたは複数のプロセッサ、メモリ、バスなどを使用することができる。また、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、時系列データ適合モジュール１１０、および調整モジュール１１２の各々は、１つまたは複数のプロセッサ、メモリ、バスなどを使用することができる。プロセッサ、メモリ、および任意の他の構成要素は、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、時系列データ適合モジュール１１０、および調整モジュール１１２のうちの１つまたは複数によって共有されてもよい。例示的な実施形態では、通信モジュール１０２、データ収集デバイス１０４、メモリ１０６、機械学習モジュール１０８、時系列データ適合モジュール１１０、および調整モジュール１１２の各々は、互いのモジュールまたは構成要素とは別個のいくつかの専用のハードウェアおよびソフトウェアを使用する。
図２は、本開示の例示的な実施形態による、時系列データ適合を示す高レベルフロー図である。複数のデータ収集デバイス１０４ａ、１０４ｂ、１０４ｃは、時系列データ適合モジュール１１０に時系列データを供給する。たとえば、データ収集デバイス１０４ａはライダーセンサであってもよく、データ収集デバイス１０４ｂはレーダーセンサであってもよく、データ収集デバイス１０４ｃは超音波センサであってもよい。時系列データ適合モジュール１１０は、変分推論マシン２０２と、シーケンシャルデータ予測マシン２０４とを含む。図２には１対のみの変分推論マシン２０２およびシーケンシャルデータ予測マシン２０４が示されているが、時系列データ適合モジュール１１０は、様々なタイプおよび構成の複数の変分推論マシン２０２およびシーケンシャルデータ予測マシン２０４を含んでもよく、下記でより詳細に説明されるように、変分推論マシン２０２およびシーケンシャルデータ予測マシン２０４は、様々な異なるタイプの入力データを処理することができる。たとえば、時系列データ適合モジュール１１０は、シングルモーダル時系列データ、マルチモーダル時系列データ、シングルモーダル分散表現、および／またはマルチモーダル分散表現を入力として受け取ることができる。下記でさらに説明されるように、変分推論マシン２０２は、シングルモーダル変分推論マシンまたはマルチモーダル変分推論マシンであってもよく、同様に、シーケンシャルデータ予測マシン２０４は、シングルモーダルシーケンシャルデータ予測マシンまたはマルチモーダルシーケンシャルデータ予測マシンであってもよい。様々なドメインまたはモダリティ（たとえば、ライダー、画像、レーダー、温度、超音波）のセンサからのシングルモーダルデータを使用してマルチモーダルデータを作成することは、センサ融合と呼ばれる場合がある。センサ融合を介して、センサの様々なモダリティからの時系列データは、機械学習分析などにおいて信頼性が高く、正確で、かつ／または迅速な認識結果を生成するのにより適した、より堅牢で情報量が多いデータタイプを形成するために融合されてもよい。２つの異なるタイプのデータが両方とも同じ現象に関する情報を提供するとき、または根底にある現象と相関があるとき、これらのタイプのデータは機械学習に重要な相乗効果を提供することができ、センサ融合に特に適している場合がある。したがって、時系列データ適合モジュール１１０は、データ収集デバイス１０４ａ、１０４ｂ、１０４ｃからの時系列データを、機械学習モデル２０６への入力として使用され得る１つまたは複数の分散表現に適合させる。例示的な実施形態では、時系列データ適合モジュール１１０は、データ収集デバイス１０４ａ、１０４ｂ、１０４ｃの各々についての分散表現を出力する。別の例示的な実施形態では、時系列データ適合モジュール１１０は、融合された分散表現を出力する。
時系列データ適合モジュール１１０は、特定のシステムごとに必要とされるように、シングルモーダルおよび／またはマルチモーダルであり得る、複数の変分推論マシン２０２およびシーケンシャルデータ予測マシン２０４を含んでもよいので、図２に示された時系列データ適合モジュール１１０は非限定的な例に過ぎないことを諒解されたい。同様に、機械学習モジュール１０８は、多くの異なる機械学習モデル２０６を含んでもよい。場合によっては、エッジデバイス１００は、１つまたは複数の特定のタイプの時系列データを収集し、収集された時系列データを分散表現として適合させ、分散表現を使用して機械学習モジュール１０８を実行するという１つの目的のみを有する。たとえば、そのようなエッジデバイス１００は、（たとえば、ＡＳＩＣを使用して）特定のデータ収集、データ適合、および機械学習タスクを実行するようにハードコーディングされてもよい。しかしながら、いくつかのエッジデバイス１００は、異なる時間にまたは同時に様々な異なるタスクを処理するように要求され、必要に応じて新しいタスクを処理するように構成可能であり得るなどの多目的マシンであってもよい。これらのエッジデバイス１００は、通常、多くの異なる変分推論マシン２０２、シーケンシャルデータ予測マシン２０４、および機械学習モデル２０６を有してもよく、変分推論マシン２０２、シーケンシャルデータ予測マシン２０４、および機械学習モデル２０６を追加および／または更新することができる構成可能なソフトウェアモジュールを含んでもよい。
図３は、本開示の例示的な実施形態による、変分推論マシン２０２の高レベルブロック図である。変分推論マシン２０２は、入力層３０２と、複数の隠れ層３０４と、出力層３０６とを含む。例示的な実施形態では、入力層３０２は８つのノードを有し、８タプルである入力変数ｘを受け取り、８タプルの各要素は属性を表す。各ノードは、各時間間隔で８タプルの１つの要素の値を受け取る。たとえば、入力変数ｘは、データ収集デバイス１０４（たとえば、超音波センサ）から出力された時系列データ値であってもよい。入力層３０２で受け取られたデータは、変分推論マシン２０２の隠れ層３０４に供給される。隠れ層３０４は、ニューラルネットワークなどの形態で提供されてもよい。隠れ層３０４は、入力層３０２に入力されたデータを出力層３０６から出力される潜在分布ｚとして符号化するように構造化されてもよい。潜在分布は、変分推論マシンの入力変数の確率分散表現を提供する１つまたは複数の分布を含む。確率分散表現は、離散値によって定義される潜在変数とは対照的に、確率分布によって定義される潜在変数の集合である。図３に示されたように、出力層は６つのノードを有し、潜在分布ｚは３つの分布の集合を含み、各分布は、（たとえば、ガウス分布の場合）平均μｚ（ｘ）および標準偏差σｚ（ｘ）によって定義されてもよい。図３に示された特定のノード構造は非限定的な例に過ぎず、たとえば、変分推論マシンは、任意の適切な数のノードを有する入力層、任意の適切な数の隠れ層を含んでもよく、各隠れ層は、任意の適切な数のノードおよびノード間の任意の適切な接続構造、ならびに出力層内の任意の適切な数のノードを有してもよいことを諒解されたい。
図４は、本開示の例示的な実施形態による、変分生成マシン４００の高レベルブロック図である。変分生成マシン４００は、入力層４０２と、複数の隠れ層４０４と、出力層４０６とを含む。例示的な実施形態では、入力層４０２は、変分推論マシン２０２から出力された潜在分布ｚを受け取って、変分推論マシンに入力されたデータ（たとえば、入力変数ｘ）を再生する。たとえば、入力層４０２は６つのノードを有し、各時間間隔で３つの分布を含む潜在分布ｚを入力として受け取り、各分布は平均μｚ（ｘ）および標準偏差σｚ（ｘ）によって定義されてもよい。たとえば、潜在分布ｚは、一連の時間間隔にわたって、データ収集デバイス１０４（たとえば、超音波センサ）から出力されたデータ値の一連の分散表現であってもよい。入力層４０２で受け取られたデータは、変分生成マシン４００の隠れ層４０４に供給される。隠れ層４０４は、ニューラルネットワークなどの形態で提供されてもよい。隠れ層４０４は、変分推論マシンの出力層３０６から出力された、入力層４０２に入力された潜在分布ｚを復号するように構造化されてもよい。潜在分布ｚを隠れ層４０４で復号することは、入力変数ｘを、ｘに近似する生成変数ｘ＾として復元または回復する。出力層４０６は、８つのノードを含み、下記で説明されるように、変分推論マシン２０２を訓練するために使用され得る生成変数ｘ＾を提供することができる。図４に示された特定のノード構造は非限定的な例に過ぎず、たとえば、変分生成マシンは、任意の適切な数のノードを有する入力層、任意の適切な数の隠れ層を含んでもよく、各隠れ層は、任意の適切な数のノードおよびノード間の任意の適切な接続構造、ならびに出力層内の任意の適切な数のノードを有してもよいことを諒解されたい。
図５は、本開示の例示的な実施形態による、変分推論マシン２０２を訓練するための例示的なプロセス５００を示す高レベルブロック図である。例示的な実施形態では、変分推論マシン２０２および変分生成マシン４００を訓練するために、変分オートエンコーダが使用される。たとえば、変分推論マシン２０２と変分生成マシン４００の両方は、変分下限を最大化するために確率的勾配上昇を伴う逆伝播を使用するオートエンコーダとして、同時に訓練されてもよい。たとえば、逆伝播訓練は、たとえば、下記でより詳細に記載されるような対数尤度技法を使用して、隠れ層における順方向伝搬、逆方向伝搬、および重みの更新を繰り返し含んでもよい。データタイプＸに対する変分推論マシン２０２は、時系列の集合｛ｘ１，ｘ２，…ｘｎ｝、データタイプＸのすべてを使用して訓練されてもよく、その結果、一度訓練されると、変分推論マシン２０２は入力変数ｘを最適に符号化する。十分な訓練データが必要とされることを諒解されたい。たとえば、訓練データは、十分な時系列の集合、適切な時系列の長さ（たとえば、十分な時間間隔のデータ）、および十分に豊富な時系列（たとえば、過度に疎でないデータセット）を必要とする場合がある。訓練データの質および量は、変分推論マシンの確度、一貫性、堅牢性、および適合性を決定づけることができる。
変分オートエンコーダは、入力層、複数のノードを含む少なくとも１つの隠れ層、および出力層を含む変分推論マシン２０２と、入力層、複数のノードを含む少なくとも１つの隠れ層、および出力層を含む変分生成マシン４００とを含む。通常、隠れ層との間（たとえば、隠れ層間）の接続は、非線形接続を含む。入力変数ｘと潜在分布ｚとの間のマッピングは非線形なので、真の事後分布の推論は困難である。したがって、変分推論マシン２０２は、真の事後分布を近似するように訓練され得る変分近似を使用するものとして記載されてもよく、推論確率は、隠れ層３０４におけるニューラルネットワークとしてパラメータ化され実装されてもよい。変分推論マシン２０２を訓練することは、たとえば、対数尤度技法を使用する変分近似の変分下限の導出を含む。たとえば、２つの異なる確率分布（たとえば、事前のＱおよび事後のＰ）の間の差を測定するカルバックライブラー発散（ＫＬ発散）を使用する対数尤度技法は、訓練データのオーバーフィットを回避するために変分近似の複雑さにペナルティを課す正規化項として働くＫＬ発散項に等しい変分下限、およびｘとｘ＾の間の誤差の尺度である負の復元誤差を有する。訓練中、目標は最大の最大対数尤度を与える変分下限を最大化することである。変分下限を最大化するために、ＫＬ発散項は最小化され、負の復元誤差は逆伝播を介して最大化される。生成変数ｘ＾が入力変数ｘとの最小の差しかもたない場合、潜在分布ｚは、一般に、入力変数ｘの情報が豊富で高密度の確率分散表現であり、それは、有利なことに、（たとえば、センサ故障の間）永続的および／または断続的に利用できないデータに対して堅牢であり得る。したがって、潜在分布ｚは、機械学習モデル２０６のための最適な入力であり得る。
例示的な実施形態では、訓練は確率的マスクを使用することを含んでもよい。たとえば、確率的マスクは、訓練中に入力データの値をランダムにゼロアウトするために使用することができ、その結果、訓練された変分推論マシン２０２は、値がないか、または入力層３０２内のノードの数よりも値が少ない入力変数ｘをより良く扱うことができる。確率的マスクは、ランダムに設定されてもよく、時系列用のデータが利用できなくなる経験的確率に従って設定されてもよい、バイナリ変数（たとえば、０および１）から構成されてもよい。
例示的な実施形態では、潜在分布ｚは、変分下限を最大化することができる任意の適切なタイプの確率分布を使用することができる。潜在分布ｚは、たとえば、入力データ内の様々な基礎となる特徴に関連して、複数の様々なタイプの確率分布を使用することができる。通常、特徴はガウス分布によって最も良く表され得るが、例示的な実施形態では、時間ベースの特徴はポアソン分布によって表されてもよく、かつ／または空間ベースの特徴はレイリー分布によって表されてもよい。
図６は、本開示の例示的な実施形態による、シーケンシャルデータ予測マシン２０４の高レベルブロック図である。シーケンシャルデータ予測マシン２０４は、入力層６０２と、特徴抽出器６０４と、複数の隠れ層６０６と、出力層６０８とを含み、出力層６０８は、シーケンシャルデータ予測マシン２０４に入力されたデータに基づいてシーケンシャルデータ予測値を出力することができる。例示的な実施形態では、入力層６０２は８つのノードを有し、８タプルである入力変数ｘを受け取るので、各ノードは各時間間隔で８タプルの１つの要素の値を受け取る。たとえば、入力変数ｘは、データ収集デバイス１０４（たとえば、超音波センサ）から出力された時系列データ値であってもよい。入力層６０２において受け取られたデータは、１つまたは複数の層に複数のノードを含んでもよい特徴抽出器６０４に供給される。特徴抽出器６０４は、ニューラルネットワークなどとして構造化されてもよい。特徴抽出器６０４の出力は、シーケンシャルデータ予測マシン２０４の隠れ層６０６に供給される。例示的な実施形態では、シーケンシャルデータ予測マシン２０４はいかなる特徴抽出器６０４も含まないが、通常、特徴抽出器６０４は、シーケンシャルデータ予測マシン２０４の確度を改善することができる。たとえば、特徴抽出器６０４は、入力変数ｘ内のノイズを除去し、かつ／または所望の特徴を強調することができ、それは、概して信号対ノイズ比を改善する傾向があってもよい。隠れ層６０６は、たとえば、異なる層のノード間の重み付けされたリンクを有するニューラルネットワークなどの形態で提供されてもよい。隠れ層６０６は、シーケンシャルデータの予想または予測を実行する。たとえば、隠れ層６０６は、入力変数ｘの直近の将来の値を予測するように構造化されてもよい。隠れ層６０６は常に隠れ状態ｈを維持し、隠れ状態は新しい入力データが受け取られると繰り返し更新される。たとえば、隠れ状態ｈは、各々が８ノードを有する４つの隠れ層に基づいて、３２ノードの値によって定義されてもよい。各時間間隔において、隠れ状態ｈｔ−１は隠れ状態ｈｔに更新される。隠れ層６０６内のノードの出力は、出力層６０８に供給される。たとえば、出力層６０８は、次の時間間隔で、すなわち時刻ｔ＋１において、入力変数ｘに対して予測入力ｘｔ＋１の予測を出力することができる。出力層６０８は、予測入力ｘｔ＋１の８タプルを供給する８個のノードを有してもよい。したがって、各時間間隔において、シーケンシャルデータ予測マシン２０４は、隠れ状態ｈｔ−１を使用して次の入力変数を予測するように構造化される。
図６に示された特定のノード構造は非限定的な例に過ぎず、たとえば、シーケンシャルデータ予測マシン２０４は、任意の適切な数のノードを有する入力層６０２、任意の適切な特徴抽出器６０４または０個の特徴抽出器６０４、任意の適切な数の隠れ層６０６を含んでもよく、各隠れ層は、任意の適切な数のノードおよびノード間の任意の適切な接続構造、ならびに出力層６０８内の任意の適切な数のノードを有してもよいことを諒解されたい。シーケンシャルデータ予測マシン２０４は、任意の適切な構造（たとえば、反復ニューラルネットワーク（ＲＮＮ）、長短期メモリ（ＬＳＴＭ）ネットワーク、反復多層パーセプトロン（ＲＭＬＰ）、２次ＲＮＮ、隠れマルコフモデル（ＨＭＭ））を実装することができる。たとえば、シーケンシャルデータ予測マシン２０４は、通常、複数のノードを含むＲＮＮであってもよく、各ノードは、１つまたは複数の隠れ層内でそれぞれ構造化されてもよい。例示的な実施形態では、ＲＮＮ隠れ層は完全に接続されてもよい。特徴抽出器ノードは、隠れ状態の一部または部分集合であってもよいし、隠れ状態とは別個であってもよい。
図７は、本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。例示的な時系列データ適合モジュール１１０は、変分推論マシン２０２と、ＲＮＮ２０４として明示されたシーケンシャルデータ予測マシンとを含む。図７は、０ｍｓｅｃから始まり、時間間隔が３０ｍｓｅｃの反復プロセスを示す。たとえば、超音波センサ時系列データｘｔは、フロー図の左側から０ｍｓｅｃおよび３０ｍｓｅｃにおける信号ｘｔの入力によって示されるように、３０ｍｓｅｃごとに受け取られてもよい。図７の入力は左側から受け取られるように示され、出力は右側から出力される。点線は次の時間間隔の開始を示す。時間間隔は、たとえば、データ収集デバイス１０４（たとえば、超音波センサ、ビデオ画像センサ、ライダーセンサ）のサンプリング時間、ならびに／または変分推論マシン２０２、シーケンシャルデータ予測マシン２０４、および／もしくは機械学習モデル２０６の処理時間によって規定されてもよい。
図７に示されたように、時系列データｘｔおよび隠れ状態ｈｔ−１は０ｍｓｅｃにおいて受け取られ、これらは両方とも、５ｍｓｅｃにおいて潜在分布ｚｔを出力する変分推論マシン２０２の入力層に入力される。隠れ状態は、下記でさらに詳細に説明されるように、入力変数ｘｔと並行してｎタプル変数ｈｔ−１として変分推論マシン２０２に入力されてもよい。潜在分布ｚｔは、時刻ｔ−１以前から時間依存性を維持する隠れ状態ｈｔ−１からの時間依存性情報を導入される。時間依存性導入潜在分布ｚｔは、機械学習モジュール１０８内の機械学習モデル２０６に供給されてもよい。例示的な実施形態では、変分推論マシン２０２から出力されると直ちに、時間依存性導入潜在分布ｚｔは、機械学習モデル２０６に直接供給される。タイムクリティカルなリアルタイムシステムでは、可能な限り迅速に時系列データｘｔを表す時間依存性導入潜在分布ｚｔを供給することが重要であり得る。別の例示的な実施形態では、時間依存性導入潜在分布ｚｔは、機械学習モデル２０６に入力される前の形態にさらに適合または変換される。
ＲＮＮ２０４は、時間依存性導入潜在分布ｚｔおよびリアルタイムデータｘｔを入力として受け取るが、現在の時間依存性導入潜在分布ｚｔは、０ｍｓｅｃにおいてまだ生成されていない。したがって、ＲＮＮ２０４は、たとえば、時系列データｘｔが取得された後の５ｍｓｅｃにおいて、変分推論マシン２０２から出力される時間依存性導入潜在分布ｚｔを待つことができる。次いで、時間依存性導入潜在分布ｚｔおよびリアルタイムデータｘｔは両方とも、ＲＮＮ２０４の入力層に並行して入力され、ＲＮＮ２０４は、前の時間間隔から取得された隠れ状態ｈｔ−１を、たとえば１０ｍｓｅｃにおいてｈｔに更新する。更新された隠れ状態ｈｔが生成されると、それはＲＮＮ２０４からエクスポートされ、次の時間間隔（たとえば３０ｍｓｅｃ）における入力として変分推論マシン２０２に供給されてもよい。データが隠れ層６０６からエクスポートされることは、ＲＮＮ２０４の右側の出力層６０８から出力されるのとは対照的に、図７に示されたようにＲＮＮ２０４の下部からエクスポートされる隠れ状態ｈｔによって示される。同様に、隠れ層６０６が隠れ状態ｈｔの現在のバージョンを取得することは、入力層６０２においてＲＮＮ２０４の左側に入力されるのとは対照的に、ＲＮＮ２０４の上部に供給される隠れ状態ｈｔによって示される。
図７に示されたプロセスは、リアルタイムデータｘが収集されている間に（たとえば、車両がオンになっている間に）繰り返し行われてもよい。各時間間隔において、時系列データｘｔは、時間コンテキストを提供せず、時間依存性を含まない時間内の単一の時間的瞬間を表すことができる。各時間間隔において、時間依存性導入潜在分布ｚｔは、（たとえば５ｍｓｅｃ、３５ｍｓｅｃ、６５ｍｓｅｃにおいて）変分推論マシン２０２から出力され、かつ／または機械学習モデル２０６に直接的もしくは間接的に供給されてもよい。たとえば、センサ誤差に起因して、または通信チャネル遅延に起因して、時系列データｘｔが一時的に利用できないときでも、更新された時間依存性導入潜在分布ｚｔは、機械学習モデル２０６への入力のために変分推論マシン２０２からまだ出力されてもよく、なぜなら、隠れ状態ｈｔ−１内で維持される時間依存性は、時間依存性導入潜在分布ｚｔが必要に応じて更新されることを可能にするからである。したがって、図７の構造は、１つまたは複数の時間間隔の間に断続的に欠落している時系列データｘに対して堅牢である。時間依存性導入潜在分布ｚｔは、検知されているシステムの時間依存性がシステムによって維持されている限り（たとえば３００ミリ秒、１秒、２秒、３秒）、機械学習モデル２０６に時系列データｘの正確な分散表現を供給し続けることができる。図示された３０ｍｓｅｃの時間間隔は例示に過ぎず、データ収集デバイス１０４、システムスループット、システム要件などに基づいて調整されてもよいことを諒解されたい。
図８は、本開示の例示的な実施形態による、時系列データ適合用の例示的なプロセスを示すフローチャートである。プロセス８００は、図８に示されたフローチャートを参照して記載されているが、プロセス８００に関連付けられた動作を実行する多くの他の方法が使用されてもよいことを諒解されたい。たとえば、いくつかのブロックの順序が変更されてもよく、あるブロックが他のブロックと組み合わされてもよく、あるブロックが繰り返し実行または反復されてもよく、記載されたブロックのいくつかはオプションである。
例示的なプロセス８００は、シーケンシャルデータ予測マシンの複数の隠れ層から、時間依存性情報を含む隠れ状態の第１のバージョンをエクスポートすること（ブロック８０２）から始まってもよい。例示的な実施形態では、シーケンシャルデータ予測マシン２０４は、たとえば、図７に示されたように、反復ニューラルネットワーク（ＲＮＮ）である。隠れ状態は、隠れ状態で維持される時間依存性を介した初期の時系列データに加えて、時間ｔ−１における超音波センサからの時系列データに基づいた、前の時間間隔からのｈｔ−１であってもよい。隠れ状態の第１のバージョンは、ＲＮＮの隠れ状態内のそれぞれのノードごとの値を含んでもよい。例示的な実施形態では、ＲＮＮは、隠れ状態の５６個のノードを有する（たとえば、完全に接続された）１４個の入力ノードおよび４つの隠れ層を有してもよい。例示的な実施形態では、特徴抽出器からの値は隠れ状態の第１のバージョンに含まれない。通常、ＲＮＮは出力層からの値のみを出力し、隠れ層からの値を出力しない。具体的には、ＲＮＮは、通常、時間間隔または連続間隔にわたって隠れ状態を内部的に維持しながら出力値を生成するために、隠れ層のノード内の値のみを使用して隠れ状態を内部的に維持する。したがって、本明細書に記載されたように、出力層から値を出力するのとは対照的に、隠れ層内の情報はＲＮＮからエクスポートされる。例示的な実施形態では、隠れ状態の第１のバージョンは、たとえば、いくつかの隠れ層が時間依存性情報を供給する必要がない場合、隠れ層の部分集合からの値を含んでもよい。したがって、隠れ状態の第１のバージョンは、有意な時間依存性を含まない可能性がある特定のノードが欠落している部分隠れ状態であってもよい。
例示的なプロセス８００は、続いて、変分推論マシンの入力層において、少なくとも第１のセンサからの第１の時間間隔の時系列データおよび隠れ状態の第１のバージョンを受け取ることができる（ブロック８０４）。たとえば、時系列データは、時刻ｔにおける超音波センサデータｘｔであり、隠れ状態ｈｔ−１の第１のバージョンは、時刻ｔ−１におけるＲＮＮのすべてのノードのすべての値である。したがって、隠れ状態の第１のバージョンは、前の時間間隔（ｔ−１）で生成され、変分推論マシンの入力層に入力されたときの隠れ状態の現在のバージョンである。例示的な実施形態では、変分推論マシンの入力層は、時系列データｘｔ（たとえば、超音波センサデータ）として８タプルを受け取り、隠れ状態ｈｔ−１の第１のバージョンとして５６タプルを受け取ることができる。例示的な実施形態では、１つまたは複数の特徴抽出器は、時系列データおよび／または隠れ状態の第１のバージョンの特徴または条件を抽出するように実装されてもよい。
例示的なプロセス８００は、続いて、変分推論マシンの出力層により、第１の時間間隔の時系列データおよび隠れ状態の第１のバージョンに基づいて生成された時間依存性導入潜在分布を出力することができる（ブロック８０６ ）。たとえば、時系列データｘｔは、時刻ｔからの静的超音波レベルのみを含み、ＲＮＮの隠れ状態ｈｔ−１からの時間依存性は、変分推論マシンの隠れ層によって時系列データｘｔに導入されて、時間依存性導入潜在分布ｚｔを形成する。例示的な実施形態では、時間依存性導入潜在分布ｚｔは、各々が平均および標準偏差によって定義される分布の集合であってもよい。分布の集合は、第１の時間間隔で時系列データに導入された、隠れ状態ｈｔ−１からの時間依存性情報を含む。時間依存性導入潜在分布の出力は、たとえば、更新された時系列データｘｔが受け取られた後、各時間間隔で繰り返し行われてもよい。出力された時間依存性導入潜在分布ｚｔは、下記でより詳細に説明されるように、機械学習モデルによって直接使用されてもよく、時系列データ適合モジュール１１０内でさらに処理されてもよい。また、例示的な実施形態では、時間依存性導入潜在分布ｚは、変分推論マシンを検証するために使用され得るｘ＾を出力するために、変分生成マシンに入力されてもよい。
例示的なプロセス８００は、続いて、複数の隠れ層により、隠れ状態の第１のバージョンを取得することができる（ブロック８０８）。たとえば、時間ｔにおいて、ＲＮＮの隠れ層は、時刻ｔ−１からの隠れ状態の第１のバージョンを取得し、それにより、隠れ層が隠れ状態内で時間間隔（たとえば、ｔ−１００からｔまで）にわたって、考慮されている現在の時間間隔を超えて時間依存性を維持することが可能になる。たとえば、３０ｍｓｅｃの時間間隔では、例示的なシステムにおける典型的な時間依存性は、おおよそ３秒または約１００の時間間隔の間持続することができる。隠れ状態内で維持される時間依存性は、線形および／または非線形であってもよい。隠れ状態は、時系列内に存在する特徴に応じて、任意の数の時間間隔の間、時間依存性を維持することができる。言い換えれば、隠れ状態は時系列の時間構造または時間コンテキストを含んでもよい。
例示的なプロセス８００はまた、シーケンシャルデータ予測マシンの入力層において、第１の時間間隔の時系列データおよび変分推論マシンからの時間依存性導入潜在分布を受け取ること（ブロック８１０）を含む。たとえば、ＲＮＮの入力層は、時系列データｘｔ（たとえば、超音波センサデータ）として８タプルを受け取り、時間依存性導入潜在分布ｚｔとして６タプルを受け取ることができる。例示的な実施形態では、１つまたは複数の特徴抽出器は、時系列データおよび／または時間依存性導入潜在分布の特徴または条件を抽出するように実装されてもよい。
例示的なプロセス８００は、続いて、第１の時間間隔の時系列データ、時間依存性導入潜在分布、および隠れ状態の第１のバージョンに基づいて、複数の隠れ層における隠れ状態を更新して隠れ状態の第２のバージョンを生成することができる（ブロック８１２）。たとえば、ＲＮＮは、入力された時系列データｘｔ（たとえば、超音波センサデータの８タプル）、入力された時間依存性導入潜在分布ｚｔ（たとえば、６タプル）、および隠れ状態ｈｔ−１の隠れ層（たとえば、４つの隠れ層）内の５６ノードの５６個の値を使用して、更新されて隠れ状態ｈｔをもたらす。更新された隠れ状態ｈｔは、時間依存性を継続して維持し、ＲＮＮの構造に応じて時間依存性を更新する。隠れ状態の更新は、たとえば、更新された時系列データｘｔが受け取られた後、かつ時間依存性導入潜在分布ｚｔが更新された後、各時間間隔で繰り返し行われて、時間全体を通して時間依存性を維持することができる。例示的な実施形態では、ＲＮＮの出力層は、入力データおよび隠れ状態に基づいて結果を供給することもできる。その結果は、隠れ状態におけるＲＮＮ時間依存性を検証するために使用され得る、次の時間間隔（たとえば、ｘｔ＋１）における時系列データの予測を含んでもよい。
例示的なプロセス８００はまた、機械学習モデルに時間依存性導入潜在分布を入力すること（ブロック８１４）を含んでもよい。たとえば、変分推論マシンから出力される時間依存性導入潜在分布ｚｔは、超音波センサ時系列データを使用して、衝突が差し迫っているかどうかを検出する衝突回避機械学習モデルに入力される。例示的な実施形態では、機械学習モデルは、予測モデル（たとえば、自己回帰積分移動平均）または検出もしくは分類モデル（たとえば、サポートベクトルマシン、ランダムフォレスト）である。例示的な実施形態では、時間依存性導入潜在分布ｚｔは、変分推論マシンから出力されると直ちに機械学習モデルに入力される。
例示的なプロセス８００は、続いて、時間依存性導入潜在分布に基づいて、第１の時間間隔の結果を機械学習モデルから出力する（ブロック８１６）。たとえば、機械学習モデルは、衝突が差し迫っていることを示す結果を出力することができ、その結果、車両の制動または操縦、運転者向けの車両のユーザインタフェースの警告および／または警報の作動などのアクションを１つまたは複数のアクチュエータに取らせる命令が送信される。その結果、是正措置または予防措置が自動的に、かつ／またはユーザの介入によって行われることが可能になってもよい。機械学習モデルからの結果の出力は、各時間間隔で（たとえば、３０ｍｓｅｃごとに）繰り返し行われて、任意の必要なまたは望ましい作動を継続的に提供することができる。
図９は、本開示の例示的な実施形態による、センサ融合を実行するように構成された時系列データ適合モジュール１１０の高レベルブロック図を示す。複数のシーケンシャルデータ予測マシンペア（ＶＩＭ−ＳＤＦＭペア）９０２、９０４、９０６は、各々がそれぞれ、変分推論マシン２０２およびシーケンシャルデータ予測マシン２０４を含む。たとえば、ＶＩＭ−ＳＤＦＭペア９０２は、ライダーセンサ時系列データｘ１ｔを受け取り、時間依存性導入潜在分布ｚ１ｔを出力することができ、ＶＩＭ−ＳＤＦＭペア９０４は、レーダーセンサ時系列データｘ２ｔを受け取り、時間依存性導入潜在分布ｚ２ｔを出力することができ、ＶＩＭ−ＳＤＦＭペア９０６は、超音波センサ時系列データｘ３ｔを受け取り、時間依存性導入潜在分布ｚ３ｔを出力することができる。センサ融合マシン９０８は、マルチモーダル変分推論マシン９１０およびマルチモーダルシーケンシャルデータ予測マシン９１２を含む。センサ融合マシン９０８は、様々なデータタイプのデータを融合して、機械学習分析などにおいて信頼性が高く、正確で、精細な、かつ／または迅速な認識結果を生成するのにより適した、より堅牢で情報量が多いデータタイプを形成する。センサ融合マシン９０８は、永続的および／または断続的に利用できないデータに対して堅牢なマルチモーダル時間依存性導入潜在分布を提供するのに特に有利であり得る。
マルチモーダルセンサ融合を使用するシステムは、様々な実世界の特性、たとえば、移動する車両の速度、他の物体までの距離、道路の等級、路面の傾斜、タイヤ空気圧、ブレーキパッドの摩耗、雨の検出などを測定および／または検出する複数の様々なセンサを含む。これらの要素のすべては、車の停止などの物理的な作動に基づく実世界の結果に影響を及ぼす可能性があるが、各々のモダリティは互いに異なり独立していてもよい。明らかに、速度は、車が停止するのにどれだけ掛かるかにおいて重要な役割をもつが、これらのモダリティの各々は、車が所定の距離（たとえば、７５フィート）内で停止できるかどうかに影響を及ぼす可能性がある。さらに、これらのモダリティの各々は、（たとえば、別の車両に追突する前に）車がある所定の距離内で停止することができるかどうかを判定するために使用され得る情報に寄与する１つまたは複数のセンサを有してもよい。センサ融合マシン９０８を使用して様々なタイプのデータを融合することは、断続的に欠落しているデータ（干渉による短時間のセンサの誤動作、ノイズ、または直射日光などの状態）と、永続的に欠落しているデータ（たとえば、センサが破損している、または車両に設置されていない）の両方を含む、利用できないセンサデータに対して特に堅牢であり得る、情報量が多いマルチモーダル時間依存性導入潜在分布を提供することができる。例示的な実施形態では、センサ融合マシン９０８は、エッジデバイス１００と通信してするサーバ上に設けられてもよい。
図１０は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。この例示的な実施形態では、センサ融合マシン９０８は、マルチモーダル変分推論マシン（ＭＭＶＩＭ）９１０およびマルチモーダル反復ニューラルネットワーク（ＭＭＲＮＮ）９１２を含み、これらの両方は、入力として複数のモダリティデータ（すなわち、複数の異なるドメインからのデータ）を受け取って、マルチモーダルセンサ融合出力を供給する。
センサ融合マシン９０８は、たとえば、ＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６から時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、およびｚ３ｔを受け取ることができる。たとえば、時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔ、およびマルチモーダル隠れ状態Ｈｔ−１の第１のバージョンは、ＭＭＶＩＭ９１０の入力層に並行して入力されてもよい。たとえば、時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔの各々は６タプルであってもよく、マルチモーダル隠れ状態Ｈｔ−１は９６タプルであってもよい。したがって、ＭＭＶＩＭ９１０の入力層は１１４個の入力ノードを含んでもよい。任意の変分推論マシン２０２、９１０への入力層は、並行して入力される様々なタイプのデータ（たとえば、Ｈｔ−１、ｚ１ｔ、ｚ２ｔ、およびｚ３ｔ）ごとの副層を含んでもよい。ＭＭＶＩＭ９１０の出力層は、マルチモーダル時間依存性導入潜在分布Ｚｔを出力する。マルチモーダル時間依存性導入潜在分布Ｚｔは、６タプル（たとえば、潜在分布の３つの集合）であってもよい。本明細書に記載されたように、大文字を使用して変数を参照することは、具体的に、マルチモーダル変数（たとえば、マルチモーダル時間依存性導入潜在分布Ｚおよびマルチモーダル隠れ状態Ｈ）を指定する。マルチモーダル時間依存性導入潜在分布Ｚｔは、機械学習モデル２０６（たとえば、衝突回避モデル）への入力として提供されてもよい。時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔのいずれかを生成するために使用されるセンサ（たとえば、超音波、レーダー、ライダー、ビデオ）のいずれかが断続的に利用できなくなった場合、マルチモーダル時間依存性導入潜在分布Ｚｔは、有利なことに、マルチモーダル隠れ状態Ｈｔ−１において維持されるマルチモーダル時間依存性に基づいて、利用できないセンサデータに対して堅牢であってもよい。
ＭＭＲＮＮ９１２の入力層は、ＭＭＲＮＮ９１２の入力層に並行して入力されるマルチモーダル時間依存性導入潜在分布Ｚｔおよび時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔを受け取り、ＭＭＲＮＮ９１２は、前の時間間隔から取得されたマルチモーダル隠れ状態Ｈｔ−１をＨｔに更新する。ＭＭＲＮＮ９１２の入力層は、２４個のノードを含んでもよい（たとえば、Ｚｔ、ｚ１ｔ、ｚ２ｔ、ｚ３ｔの各々は６タプルである）。次いで、更新されたマルチモーダル隠れ状態Ｈｔは、次の時間間隔でＭＭＶＩＭ９１０の入力層にエクスポートされ、プロセスは、続いて、マルチモーダル隠れ状態Ｈおよびマルチモーダル時間依存性導入潜在分布Ｚを繰り返し更新することができ、マルチモーダル時間依存性導入潜在分布Ｚは各時間間隔の間に機械学習モデルに供給される。例示的な実施形態では、１つまたは複数の特徴抽出器は、ＭＭＲＮＮ９１２および／またはＭＭＶＩＭ９１０の入力のいずれかの特徴または条件を抽出するように実装されてもよい。
マルチモーダル時間依存性導入潜在分布Ｚは、ＭＭＶＩＭ９１０に入力される各々の時間依存性導入潜在分布ｚよりも必ずしも次元が小さいとは限らず、通常、（たとえば、３００個の時系列のための）多数の時間依存性導入潜在分布ｚを融合するシステムの場合は大きくてもよい。しかしながら、通常、マルチモーダル時間依存性導入潜在分布Ｚは、一緒に結合されたすべての構成要素の時間依存性導入潜在分布ｚの累積次元よりも小さいはずである。
例示的な実施形態では、時系列データ適合モジュール１１０および／または機械学習モジュール１０８は、サーバ（たとえば、中間サーバ）またはエッジデバイス１００ではない他のコンピューティングデバイスに設けられてもよい。たとえば、中間サーバは、ネットワークを介して複数のエッジデバイス１００と通信することができ、各エッジデバイスは、１つもしくは複数の時間依存性導入潜在分布または１つもしくは複数の収集された時系列を供給する。例示的な実施形態では、時系列データ適合モジュール１１０および／または機械学習モジュール１０８は、クラウドコンピューティング環境内に設けられてもよく、クラウド内に存在してもよい。
図１１は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。センサ融合マシン９０８は、たとえば、データ収集デバイス１０４ａ、１０４ｂ、１０４ｃから時系列データｘ１ｔ、ｘ２ｔ、およびｘ３ｔを受け取ることができる。たとえば、時系列データｘ１ｔ、ｘ２ｔ、ｘ３ｔ、およびマルチモーダル隠れ状態Ｈｔ−１の第１のバージョンは、ＭＭＶＩＭ９１０の入力層に並行して入力されてもよい。たとえば、時系列データｘ１ｔ、ｘ２ｔ、およびｘ３ｔの各々は８タプルであってもよく、マルチモーダル隠れ状態Ｈｔ−１は１２０タプルであってもよい。したがって、ＭＭＶＩＭ９１０の入力層は、１４４個の入力ノードを含んでもよい。ＭＭＶＩＭ９１０の出力層は、マルチモーダル時間依存性導入潜在分布Ｚｔを出力する。マルチモーダル時間依存性導入潜在分布Ｚｔは、６タプル（たとえば、潜在分布の３つの集合）であってもよい。マルチモーダル時間依存性導入潜在分布Ｚｔは、機械学習モデル２０６（たとえば、ＣＯＰＤリスク評価モデル）への入力として供給されてもよい。時系列データｘ１ｔ、ｘ２ｔ、ｘ３ｔのいずれかを生成するために使用されるセンサ（たとえば、血液酸素センサ、血液ｐＨセンサ、酸素代謝センサ、パルスオキシメトリセンサ、肺活量計、ピーク流量検出器、呼吸センサ、煙センサ）のいずれかが利用できなくなった場合、マルチモーダル時間依存性導入潜在分布Ｚｔは、有利なことに、マルチモーダル隠れ状態Ｈｔ−１において維持されるマルチモーダル時間依存性に基づいて、利用できないセンサデータに対して堅牢であってもよい。
ＭＭＲＮＮ９１２の入力層は、ＭＭＲＮＮ９１２の入力層に並行して入力されるマルチモーダル時間依存性導入潜在分布Ｚｔおよび時系列データｘ１ｔ、ｘ２ｔ、ｘ３ｔを受け取る。ＭＭＲＮＮ９１２は、前の時間間隔から取得されたマルチモーダル隠れ状態Ｈｔ−１をＨｔに更新する。ＭＭＲＮＮ９１２の入力層は、３０個のノード（たとえば、Ｚｔが６タプルであり、ｘ１ｔ、ｘ２ｔ、ｘ３ｔの各々が８タプルである）を含んでもよく、マルチモーダル隠れ状態Ｈは、（たとえば、４つの隠れ層が存在する）１２０個のノードを含んでもよい。次いで、更新されたマルチモーダル隠れ状態Ｈｔは、次の時間間隔でＭＭＶＩＭ９１０の入力層にエクスポートされ、プロセスは、続いて、マルチモーダル隠れ状態Ｈおよびマルチモーダル時間依存性導入潜在分布Ｚを繰り返し更新することができ、マルチモーダル時間依存性導入潜在分布Ｚは各時間間隔の間に機械学習モデル２０６に供給される。
例示的な実施形態では、様々な時系列データは、たとえば、様々なセンサの様々なサンプル時間に基づいて、様々な異なる時間間隔で受け取られる。様々なサンプル時間は規則的であっても不規則であってもよい。下記の表に示されるように、各センサからの時系列データｘ１、ｘ２、ｘ３は、各時間間隔で受け取られない場合がある。たとえば、ｘ１の時系列値はあらゆる時間間隔で受け取られてもよく、ｘ２の時系列値は１つおきの時間間隔（たとえば、ｔ０、ｔ２、ｔ４、ｔ６）で受け取られてもよく、ｘ３の時系列値は２つおきの時間間隔（たとえば、ｔ０、ｔ３、ｔ６）で受け取られてもよい。
Figure 0006842466
したがって、上記で示されたように、多くの時間間隔は、１つまたは複数の利用できない時系列（たとえば、ｘ２またはｘ３）を含むことになる。しかしながら、マルチモーダル時間依存性導入潜在分布Ｚは、マルチモーダル隠れ状態Ｈ内で維持される時間依存性に基づいて、この欠落しているセンサ入力データに対して堅牢になる。また、場合によっては、複数の様々な時系列が不規則であるとき、データ値は非同期であってもよい。たとえば、様々なデータ収集デバイス１０４は、様々な外部イベントによってトリガされて測定を行うことができ、欠落しているデータ値が利用不可として扱われる非同期時系列をもたらす。非同期時系列では、場合によっては、時系列データのほとんどまたはすべては、日常的に利用できなくなる。例示的な実施形態では、非同期時系列データは時間間隔開始時間に整列されてもよく、それは非同期入力値を外挿することを含んでもよい、
図１１に示されたように構造化されたセンサ融合マシン９０８は、有利なことに、データの異なるモダリティ間の低レベル相互作用を保持することができる。たとえば、比較的少ない数の異なる時系列モダリティが存在する場合、および／または、１つもしくは複数の時系列が適切な時間依存性導入潜在分布ｚを生成するのに疎かつ不十分である場合、生の時系列データｘ１、ｘ２、ｘ３などのセンサ融合は最も有用であり得る。
上述されたように、センサ融合マシン９０８によって提供されるマルチモーダルセンサ融合に特に有利であり得る、確率的マスクが訓練に使用されてもよい。たとえば、３つの時系列を有するシステムでは、確率的マスクは、３つのバイナリ変数、ｂ１、ｂ２、ｂ３から構成されてもよい。確率的マスクが入力データ（たとえば、時系列データ）に追加されると、入力は次の形式：
（ｂ１ｘ１，ｂ２ｘ２，ｂ３ｘ３，ｂ１，ｂ２，ｂ３）
を取り、ここで、ｂ１、ｂ２、ｂ３は値０または１を取る。ｂ１、ｂ２、ｂ３の値はランダムに設定されてもよく、それらは、訓練データセットに対応する時系列が存在しない経験的確率に従って設定されてもよい。
ｘ１、ｘ２、ｘ３の値がバイナリである場合、０および１のような標準コーディングではなく、−１および１としてコーディングされてもよい。ｘ１、ｘ２、ｘ３の値が０を含む範囲で連続した値である場合、その範囲がもはや０を含まないように値が調整されてもよい。どちらの場合も、これにより、０が欠損値として使用されることが可能になる。第２の層内のノードＳ１の活性化値ｙは、
ｙＳ１＝ｗ１ｂ１ｘ１＋ｗ２ｂ２ｘ２＋ｗ３ｂ３ｘ３＋ｗ４（１−ｂ１）＋ｗ５（１−ｂ２）＋ｗ６（１−ｂ３）＋β
であり、ここで、ｗｎは入力ノードｎとノードＳ１との間の接続の重みであり、βは標準バイアス項である。項ｗ４（１−ｂ１）、ｗ５（１−ｂ２）、およびｗ６（１−ｂ３）はオフセット項である。多くの場合、異なる入力時系列は異なるスケールを有し、ニューラルネットワークなどを訓練する前に、これらのデータを正規化することが可能ではない場合がある。オフセット項は、入力値が欠落しているときでも、同じスケールで活性化値ｙを保持するように機能する。
ｘ１の欠損値に対して訓練するために、たとえば、ｂ１は０に設定される。逆伝搬内の順方向パスの場合、ｗ１ｂ１ｘ１の０の値が次の層の活性化に寄与しないので、特別な技法は必要ではない。しかしながら、逆方向パスの場合、ｘ１を受け取った入力ノードに誤差が伝搬されるべきではない。このノードは一時フラグを用いてマークされてもよく、一時フラグは、逆方向パスの間にこのノードが切断されるべきであることを通知する。上述されたような確率的マスク訓練は、有利なことに、最終出力に対する（たとえば、センサの故障中の）０の影響を最小化することができる。たとえば、訓練された変分推論マシンが展開された場合、すべての欠損値に値０が使用されてもよい。また、確率的マスキングは、たとえば、図１０に関連して上述されたように、または下記で説明される様々な構造に記載されるように、任意のセンサ融合システムにおける時系列データおよび／または時間依存性導入潜在分布を用いた訓練に同様に使用されてもよい。
例示的な実施形態では、１つまたは複数の特徴抽出器は、ＭＭＲＮＮ９１２および／またはＭＭＶＩＭ９１０の入力のいずれかの特徴または条件を抽出するように実装されてもよい。図１２は、ＭＭＶＩＭ９１０などの変分推論マシン内に設けられた特徴抽出器の例示的な構造を示す。図１２は、本開示の例示的な実施形態による、変分推論マシン１２００の高レベルブロック図である。変分推論マシン１２００の入力層３０２は、副層１２０２および１２０４を含んでもよい。副層１２０２で受け取られた入力は特徴抽出器１２０６に供給され、次いで、特徴抽出器１２０６は隠れ層１２１０に出力を供給する。同様に、副層１２０４で受け取られた入力は特徴抽出器１２０８に供給され、次いで、特徴抽出器１２０８は隠れ層１２１０に出力を供給し、隠れ層１２１０は出力層３０６から時間依存性導入潜在分布ｚを出力する。図６に関して上述されたように、特徴抽出器は、ニューラルネットワークなどとして構造化され得る１つまたは複数の層に複数のノードを含めることができる。多くの場合、特徴抽出器１２０６および１２０８を使用することにより、隠れ層１２１０がより迅速に、より効率的に、かつ／またはより正確に動作することが可能になり得る。特徴抽出器１２０６、１２０８は、任意の変分推論マシンまたはシーケンシャルデータ予測マシン内で使用されてもよい。
副層１２０２および１２０４の各々は１つまたは複数のノードを含んでもよく、第３のタイプ、第４のタイプなどの追加のデータタイプのために、さらなる副層を提供することもできる。たとえば、副層１２０２は、隠れ状態データ（たとえば、ｈｔ−１、Ｈｔ−１、ｈ２ｔ−１、ｈ３ｔ−１）を受け取り、副層１２０４は、時系列データおよび／または潜在分布データを受け取る。副層１２０４に入力される時系列データは、単一のモダリティのデータ（たとえば、図７の入力変数ｘ）、または複数のモダリティのデータ（たとえば、図１１の入力変数ｘ１、ｘ２、ｘ３）であってもよい。副層１２０４に入力される潜在分布データは、時間依存性導入潜在分布ｚ１、ｚ２、ｚ３またはマルチモーダル時間依存性導入潜在分布Ｚなどの、１つまたは複数のモダリティのデータを含んでもよい。したがって、特徴抽出器１２０６および１２０８は、シングルモーダルまたはマルチモーダルであってもよい例示的な実施形態では、各々の特定のタイプのデータ（たとえば、入力変数ｘ１、ｘ２、ｘ３の各々）は、それ自体の特徴抽出器１２０８を有する。たとえば、複数の異なる変分推論マシンは、共通のデータタイプ（たとえば、超音波データ）を使用することができるので、異なる変分推論マシンで共通の特徴抽出器１２０８が使用されてもよい。例示的な実施形態では、特徴抽出器１２０６および１２０８の一方または両方は、隠れ層３０４から除外されてもよい。たとえば、特徴抽出器１２０６は不要であってもよいので、副層１２０２で受け取られた隠れ状態ｈの入力は、隠れ層１２１０に直接供給されてもよい。たとえば、特徴抽出器１２０８は、たとえば、図１０に記載されたように、時間依存性導入潜在分布ｚ１、ｚ２、ｚ３の入力のために除外されてもよい。
図１３は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。図示されたＶＩＭ−ＳＤＦＭペア９０２は、変分推論マシン２０２およびＲＮＮ２０４を含む。たとえば、図１３に示されたように、時系列データｘｔおよび隠れ状態ｈｔ−１は０ｍｓｅｃで受け取られてもよい。また、時間間隔の開始時に、マルチモーダル隠れ状態Ｈｔ−１は、たとえば、図１４に示されるように、ＭＭＲＮＮ９１２から受け取られてもよい。時系列データｘｔ、隠れ状態ｈｔ−１、およびマルチモーダル隠れ状態Ｈｔ−１は、各々、５ｍｓｅｃで潜在分布ｚｔを出力する変分推論マシン２０２の入力層に並行して入力される。潜在分布ｚｔは、隠れ状態ｈｔ−１からのイントラモーダル時間依存性情報、ならびにマルチモーダル隠れ状態Ｈｔ−１からのインターモーダル時間依存性情報を導入される。時間依存性導入潜在分布ｚｔは、たとえば、図１４に示されるように、ＭＭＶＩＭ９１０およびＭＭＲＮＮ９１２に供給されてもよい。例示的な実施形態では、変分推論マシン２０２から出力されると直ちに、時間依存性導入潜在分布ｚｔはＭＭＶＩＭ９１０に供給されて、マルチモーダル時間依存性導入潜在分布Ｚｔがリアルタイムでの機械学習モデル２０６における使用のためにできるだけ迅速に生成されることを可能にする。ＲＮＮ２０４は、５ｍｓｅｃで、時間依存性導入潜在分布ｚｔおよびリアルタイムデータｘｔを入力として受け取る。また、ＲＮＮ２０４は、ＭＭＲＮＮ９１２からマルチモーダル隠れ状態Ｈｔ−１を入力として受け取る。次いで、ＲＮＮ２０４は、前の時間間隔から取得された隠れ状態ｈｔ−１をｈｔに更新する。更新された隠れ状態ｈｔが生成されると、それは、たとえば１０ｍｓｅｃでＲＮＮ２０４からエクスポートされてもよい。次いで、エクスポートされた隠れ状態ｈｔは、次の時間間隔（たとえば３０ｍｓｅｃ）における入力として変分推論マシン２０２に供給される。図１３に示されたプロセスは、ＶＩＭ−ＳＤＦＭペア９０２が各時間間隔で時間依存性導入潜在分布（たとえば、ｚ１）を出力することで、繰り返し行われてもよい。また、図１３に示されたプロセスは、同様にそれぞれの時間依存性導入潜在分布（たとえば、ｚ２およびｚ３）を出力する、他のＶＩＭ−ＳＤＦＭペア９０４および９０６と同時に行われてもよい。
図１４は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。図示されたセンサ融合マシン９０８は、たとえば、図１３を参照して示されたたように、ＶＩＭ−ＳＤＦＭペア９０２、９０４、および９０６から、３つの時間依存性導入潜在分布ｚ１、ｚ２、ｚ３を受け取る。時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔおよびマルチモーダル隠れ状態Ｈｔ−１の第１のバージョンは、ＭＭＶＩＭ９１０の入力層に並行して入力されてもよい。たとえば、時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔは、それぞれ６タプル、８タプル、および１２タプルを含んでもよく、マルチモーダル隠れ状態Ｈｔ−１は２１６タプルであってもよい。したがって、ＭＭＶＩＭ９１０の入力層は、２４２個の入力ノードを含んでもよい。ＭＭＶＩＭ９１０の出力層は、マルチモーダル時間依存性導入潜在分布Ｚｔを出力する。マルチモーダル時間依存性導入潜在分布Ｚｔは、１０タプル（たとえば、潜在分布の５つの集合）であってもよい。マルチモーダル時間依存性導入潜在分布Ｚｔは、機械学習モデル２０６（たとえば、衝突回避モデル）への入力として提供されてもよい。
ＭＭＲＮＮ９１２の入力層は、ＭＭＲＮＮ９１２の入力層に並行して入力されるマルチモーダル時間依存性導入潜在分布Ｚｔおよび時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔを受け取り、ＭＭＲＮＮ９１２は３６個の入力ノードを含んでもよい。ＭＭＲＮＮ９１２は、前の時間間隔から取得されたマルチモーダル隠れ状態Ｈｔ−１をＨｔに更新し、Ｈｔは６つの隠れ層および合計２１６個のノードを含んでもよい。次いで、更新されたマルチモーダル隠れ状態Ｈｔは、次の時間間隔で、ＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６の各々における変分推論マシン２０２およびＲＮＮ２０４のそれぞれの入力層、ならびにＭＭＶＩＭ９１０の入力層にエクスポートされる。マルチモーダル隠れ状態ＨをＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６にエクスポートすることは、有利なことに、ＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６の各々における変分推論マシン２０２およびＲＮＮ２０４にインターモーダル時間依存性を提供する。マルチモーダル隠れ状態Ｈのインターモーダル時間依存性をＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６に提供することにより、時間依存性導入潜在分布ｚ１ｔ、ｚ２ｔ、ｚ３ｔおよび隠れ状態ｈ１ｔ、ｈ２ｔ、ｈ３ｔの確度における改善が可能になり、それにより、マルチモーダル時間依存性導入潜在分布Ｚｔおよびマルチモーダル隠れ状態Ｈｔの確度がさらに改善される。
図１４に示されたプロセスは、マルチモーダル隠れ状態Ｈおよびマルチモーダル時間依存性導入潜在分布Ｚを繰り返し更新することができ、それらは、各時間間隔の間に機械学習モデル２０６に供給されてもよい。例示的な実施形態では、１つまたは複数の特徴抽出器は、ＭＭＲＮＮ９１２および／またはＭＭＶＩＭ９１０の入力のいずれかの特徴または条件を抽出するように実装されてもよい。図１４で提供された時間スケールはセンサ融合マシン９０８の時間間隔を基準にし、それは、図１３の時間スケールに対して（たとえば、５ｍｓｅｃ）遅延され得ることを諒解されたい。
それぞれのＲＮＮ２０４の隠れ状態ｈ１、ｈ２、ｈ３は、各々個別に比較的有益であり得るので、図１３および図１４に示された構造は、時系列データｘ１、ｘ２、ｘ３が疎でない場合に特に有利であり得る。さらに、マルチモーダル隠れ状態Ｈは、ＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６の各々にインターモーダル時間依存性を通知するので、システムは、イントラモーダル時間依存性のみが利用可能であった場合よりも、断続的に利用できないデータに対してより堅牢であってもよい。しかしながら、例示的な実施形態では、時系列データｘ１がかなりの時間期間の間利用できない場合、隠れ状態ｈ１の時間依存性情報がもはや正確ではない場合があり、時間依存性導入潜在分布ｚ１は、センサ融合マシン９０８に出力されない可能性がある。上述されたように、センサ融合マシン９０８は、利用できないデータ（たとえば、利用できない時間依存性導入潜在分布ｚ１）に対する堅牢性を改善するために、確率的マスキングを使用して訓練されていてもよい。例示的な実施形態では、ＶＩＭ−ＳＤＦＭペア９０２は、時間依存性導入潜在分布ｚ１の出力が停止される前に、時系列データｘ１が利用できない時間間隔の特定の数のしきい値を有してもよい。しきい値は、時系列データｘ１の安定性に依存してもよい。たとえば、時間間隔の間に比較的小さな変化が一般的に見られる安定した時系列の場合、しきい値は１０個の時間間隔で設定されてもよい。一方、単一の時間間隔内に大きな変化がしばしば見られる不規則な時系列の場合、しきい値は１に設定されてもよいので、単一の時間間隔値が利用できない場合、時間依存性導入潜在分布ｚ１は、その時間間隔で出力されない。この場合、誤った時間依存性導入潜在分布ｚ１は、センサ融合マシン９０８が時間依存性導入潜在分布ｚ１を受け取らない場合よりも、結果として得られるマルチモーダル時間依存性導入潜在分布Ｚに対してより多くの損害をもたらす可能性がある。
図１５は、本開示の例示的な実施形態による、センサ融合を含む時系列データ適合を示すフロー図である。図示されたＶＩＭ−ＳＤＦＭペア９０２は、変分推論マシン２０２およびＲＮＮ２０４を含む。たとえば、図１５に示されたように、時系列データｘ１ｔおよび隠れ状態ｈ１ｔ−１は０ｍｓｅｃで受け取られてもよい。また、隠れ状態ｈ２ｔ−１およびｈ３ｔ−１は、時間間隔の開始時にＶＩＭ−ＳＤＦＭペア９０４および９０６内のＲＮＮ２０４から受け取られてもよい。ＶＩＭ−ＳＤＦＭペア９０４および９０６の各々は、すべての３つのＶＩＭ−ＳＤＦＭペア９０２、９０４および９０６がそれらそれぞれの隠れ状態ｈ１、ｈ２、およびｈ３を互いに提供しているように、図１５に示されたＶＩＭ−ＳＤＦＭペア９０２と同様に構造化されてもよい。
図１５に示されたように、時系列データｘ１ｔならびに隠れ状態ｈ１ｔ−１、ｈ２ｔ−１、およびｈ３ｔ−１は、各々、５ｍｓｅｃで潜在分布ｚ１ｔを出力する変分推論マシン２０２の入力層に並行して入力される。潜在分布ｚ１ｔは、隠れ状態ｈ１ｔ−１からのイントラモーダル時間依存性情報、ならびに隠れ状態ｈ２ｔ−１およびｈ３ｔ−１からのインターモーダル時間依存性情報を導入される。時間依存性導入潜在分布ｚ１ｔは、たとえば、図１０に示されたように、ＭＭＶＩＭ９１０およびＭＭＲＮＮ９１２に供給されてもよい。例示的な実施形態では、変分推論マシン２０２から出力されると直ちに、時間依存性導入潜在分布ｚ１ｔはＭＭＶＩＭ９１０に供給されて、マルチモーダル時間依存性導入潜在分布Ｚｔがリアルタイムでの機械学習モデル２０６における使用のためにできるだけ迅速に生成されることを可能にする。次いで、ＲＮＮ２０４は、５ｍｓｅｃで、時間依存性導入潜在分布ｚ１ｔ、時系列データｘ１ｔ、ならびに隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を入力として受け取る。次いで、ＲＮＮ２０４は、前の時間間隔から取得された隠れ状態ｈ１ｔ−１をｈ１ｔに更新する。更新された隠れ状態ｈ１ｔが生成されると、それは、たとえば１０ｍｓｅｃでＲＮＮ２０４からエクスポートされてもよい。次いで、エクスポートされた隠れ状態ｈ１ｔは、ＶＩＭ−ＳＤＦＭペア９０４および９０６の各々の変分推論マシン２０２およびＲＮＮ２０４のそれぞれの入力層に、かつ次の時間間隔（たとえば３０ｍｓｅｃ）における入力として変分推論マシン２０２に供給される。図１５に示されたプロセスは、ＶＩＭ−ＳＤＦＭペア９０２が各時間間隔で時間依存性導入潜在分布（たとえば、ｚ１）を出力することで、繰り返し行われてもよい。また、図１５に示されたプロセスは、同様にそれぞれの時間依存性導入潜在分布（たとえば、ｚ２およびｚ３）を出力する、他のＶＩＭ−ＳＤＦＭペア９０４および９０６と同時に行われてもよい。
図１５に示された構造は、時系列データｘ１、ｘ２、ｘ３が疎である場合に特に有利であってもよく、その場合、時系列データ（たとえば、ｘ１）の各個別のタイプは、それぞれの隠れ状態（たとえば、ｈ１）ごとに十分有益でない場合がある。したがって、他の時系列データの隠れ状態（たとえば、ｈ２およびｈ３）を変分推論マシン２０２およびＲＮＮ２０４に組み込むことにより、異なるタイプの時系列データの間のインターモーダル時間依存性に基づいて、改善された隠れ状態（たとえば、ｈ１）および改善された時間依存性導入潜在分布（たとえば、ｚ１）がもたらされてもよい。さらに、この構造は、断続的に利用できないデータに対して特に堅牢なセンサ融合システムを提供することができる。
図１６Ａ〜図１６Ｄは、本開示の例示的な実施形態による、利用できないデータとのセンサ融合を含む時系列データ適合を示すブロック図である。図１６Ａに示されたように、図１５を参照して上述されたシステムが図示されている。たとえば、３つのタイプのセンサは３つのタイプの時系列を提供する（たとえば、ＴＳ１はライダーであり、ＴＳ２はレーダーであり、ＴＳ３は超音波である）。図１６Ａに示されたように、ＴＳ１はｘ１ｔを出力しており、ｘ１ｔはＶＩＭ−ＳＤＦＭペア９０２によって受け取られ、ＶＩＭ−ＳＤＦＭペア９０２はその隠れ状態ｈ１ｔ−１をＶＩＭ−ＳＤＦＭペア９０４および９０６の両方にエクスポートし、隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を受け取り、時間依存性導入潜在分布ｚ１ｔを出力する。
図１６Ｂに示されたように、時系列データｘ１ｔは、点線によって示されたように欠落しているか、または利用できない。この例示的な実施形態では、時間依存性導入潜在分布ｚ１ｔはＶＩＭ−ＳＤＦＭペア９０２からセンサ融合マシン９０８に出力されないが、隠れ状態ｈ１ｔ−１は依然として他のＶＩＭ−ＳＤＦＭペア９０４および９０６にエクスポートされ、ＶＩＭ−ＳＤＦＭペア９０４および９０６は、それぞれ、それらの隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を依然としてＶＩＭ−ＳＤＦＭペア９０２にエクスポートする。したがって、隠れ状態ｈ１は、イントラモーダル時間依存性とインターモーダル時間依存性の両方を使用して維持されてもよい。隠れ状態ｈ２およびｈ３からのインターモーダル時間依存性は、異なるタイプの時系列データ間の根底にある現象または相関関係に関する情報を提供することができるので、隠れ状態ｈ１は、より長い時間期間の間、断続的に欠落するセンサデータに対して堅牢なままであってもよい。また、他の隠れ状態ｈ２およびｈ３は、隠れ状態ｈ１からのインターモーダル時間依存性を引き続き使用することができる。この例示的な実施形態では、センサ融合マシン９０８は、利用できない時間依存性導入潜在分布（たとえば、ｚ１ｔ）に対して堅牢であるように、確率的マスキングを使用して訓練された。システムは、有利なことに、隠れ状態ｈ１ｔ−１を依然としてエクスポートしながら、時間依存性導入潜在分布ｚ１ｔを出力しなくてもよく、それは、時系列データｘ１が短時間（たとえば、５回の時間間隔）の間だけ欠落しているときに最適な結果を提供する。時間期間がどれだけ長いか短いと良い結果をもたらすかは、時系列のタイプの安定性に依存する。たとえば、上記の表１では、いくつかのセンサは、様々な間隔（たとえば、１０ｍｓｅｃ、２０ｍｓｅｃ、３０ｍｓｅｃ）でデータを収集することができる。したがって、ＶＩＭ−ＳＤＦＭペア９０２、９０４、９０６のうちの１つまたは複数が、上記の表１に示されたように、１つ、２つ、またはそれ以上の時間間隔の間利用できないデータを有することは日常的であり得る。同様に、いくつかのセンサは、環境条件に起因して一時的に利用できない場合がある。たとえば、ライダーセンサは、データを利用できなくする可能性がある直射日光が当たる領域を検知していてもよい。センサが断続的なデータを提供する場合がある様々な理由がある。たとえば、エッジデバイス１００は、電力を失う（たとえば、プラグが抜かれた、かつ／またはバッテリーが死ぬ）場合があり、干渉（たとえば、山、雨）のために接続が制限されるかまたは接続されていない領域に移動する場合があり、ユーザによってオフにされる場合がある。また、特定のデータ収集デバイス１０４は、破損するなどの様々な理由のために機能しなくなる場合がある。
図１６Ｃに示されたように、時系列データｘ１ｔおよび時間依存性導入潜在分布ｚ１ｔが利用できない。また、図１６Ｃでは、隠れ状態ｈ１ｔ−１が、ＶＩＭ−ＳＤＦＭペア９０２からＶＩＭ−ＳＤＦＭペア９０４および９０６にエクスポートされない。たとえば、ＴＳ１が時系列データｘ１を供給してから、しきい値の時間期間が経過している。ＶＩＭ−ＳＤＦＭペア９０２が、しきい値の時間量またはしきい値の数の時間間隔が経過したと判断すると、隠れ状態ｈ１ｔ−１は、十分に正確でない可能性があり、ＶＩＭ−ＳＤＦＭペア９０４および９０６にもはやエクスポートされない。隠れ状態ｈ２ｔ−１およびｈ３ｔ−１は、将来のある時点で時系列データｘ１が受け取られるまで、隠れ状態ｈ１ｔ−１を可能な限り維持することを助けるために、依然としてＶＩＭ−ＳＤＦＭペア９０２で受け取られてもよい。たとえば、時系列データｘ１が、隠れ状態ｈ１ｔ−１のエクスポートを停止した後わずかな時間間隔だけ利用可能になる場合、隠れ状態ｈ１は、隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を引き続き受け取ることに部分的に起因して、依然として比較的正確なはずである。しかしながら、ある時点において、図１６Ｄに示されたように、隠れ状態ｈ２ｔ−１およびｈ３ｔ−１をＶＩＭ−ＳＤＦＭペア９０２に供給することは、もはや有用ではないかもしれない。
図１６Ｄに示されたように、ＶＩＭ−ＳＤＦＭペア９０２はｘ１ｔを受け取らず、時間依存性導入潜在分布ｚ１ｔを出力せず、隠れ状態ｈ１ｔ−１をエクスポートせず、隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を受け取らない。例示的な実施形態では、第２のしきい値は、図１６Ｄに示されたように、ＶＩＭ−ＳＤＦＭペア９０２が他の隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を供給される必要がないと判断するために使用されてもよい。たとえば、ＶＩＭ−ＳＤＦＭペア９０４および９０６は、隠れ状態ｈ１ｔ−１がある時間期間またはある数の時間間隔（たとえば、５、２０、５０、１００）の間受け取られていないと判断し、それに応じて、隠れ状態ｈ２ｔ−１およびｈ３ｔ−１を、それぞれＶＩＭ−ＳＤＦＭペア９０２にエクスポートすることを停止してもよい。したがって、図１６Ｄは、かなりの時間期間の間、オフにされているか、壊れているか、接続が失われている（たとえば、ネットワーク接続が失敗した）か、または何らかの環境干渉に遭遇しているセンサを有するシステムを示すことができる。また、場合によっては、特定のタイプのセンサは、システムが利用するには高価すぎるかもしれない。たとえば、衝突回避のための機械学習モデル２０６は、マルチモーダル時間依存性導入潜在分布を入力として使用するように訓練されてもよく、ここで、ライダーは使用されるデータのモダリティである。しかしながら、ライダーのコストが比較的高いことを考えると、このセンサはローエンドの車両では法外な費用がかかる可能性がある。したがって、そのような車両では、システムは図１６Ｄに示されたように機能することができる。有利なことに、センサ融合マシン９０８は、ライダーセンサがある車両とない車両において同じであってもよい。同様に、マルチモーダル時間依存性導入潜在分布Ｚｔを受け取る機械学習モデル２０６（たとえば、衝突回避）は、ライダーセンサがある車両とない車両において同じであってもよい。したがって、本開示のシステムは、有利なことに、センサ適合性を可能にし、断続的に利用できないデータおよび／または永続的に利用できないデータを考慮する。
図１７は、本開示の例示的な実施形態による、時系列データ適合モジュールの高レベルブロック図である。例示的な実施形態では、センサ融合マシン９０８（たとえば、図１０、１１、１４、１６）の出力は、３次センサ融合マシン１７００などの、さらなるセンサ融合用の時系列データ適合モジュール１１０内の高次センサ融合マシンへの入力として供給されてもよい。たとえば、３次センサ融合マシン１７００は、複数の時間依存性導入潜在分布ｚ１、ｚ２、ｚ３の入力を受け取るセンサ融合マシン９０８と同様に、第１のマルチモーダル時間依存性導入潜在分布Ｚ１ｔおよび第２のマルチモーダル時間依存性導入潜在分布Ｚ２ｔを入力として受け取ることができる。また、例示的な実施形態では、３次センサ融合マシンは、センサ融合マシン９０８ａからのマルチモーダル時間依存性導入潜在分布Ｚを、ＶＩＭ−ＳＤＦＭペア９０６からのシングルモーダル時間依存性導入潜在分布ｚと融合させることなどの、混合適合を実行することができる。
その上、本システムは、有利なことに、急速に成長しており、無数の異なるタイプのデータを収集する数十億のデバイスをすでに含む、モノのインターネット（ＩｏＴ）の一部であるエッジデバイス１００を使用することができる。ＩｏＴが進化し続けるにつれて、多くの異なるドメイン内のより多くのエッジデバイス１００から、より多くのタイプの時系列データが利用可能になる。ＩｏＴのこの進化により、通常利用可能な有用なタイプのセンサデータが過剰である、データタイプ過負荷の問題が引き起こされ、それは、有利なことに、本開示のセンサ融合の方法によって対処される。たとえば、様々な異なるタイプのビデオカメラ（たとえば、熱ビデオ、赤外線ビデオ、紫外線ビデオ、暗視ビデオ、セキュリティカメラ、ウェブカメラ）のいずれも、非画像時系列データを検知するセンサからの時系列データと融合された豊富な時系列データを提供することができる。さらに、上記の例示的な実施形態は、概して、センサ融合を介して一緒に融合された３つのデータタイプを含むが、任意の数の異なるデータタイプ（たとえば、２、１０、３０、１００、３００、５００）は、時間依存性導入潜在分布Ｚを作成するために上記と同じ方式で融合されてもよい。
上述された例は例示に過ぎず、時系列データの適合は任意のタイプのデータに関連してもよく、関連付けられた機械学習モデル２０６は、任意の適切な所定のタスクに関連してもよいことを諒解されたい。データ収集デバイス１０４は、周辺環境からの実世界の時系列データを検知または検出して、それが任意の所定のタスクに関連する情報を提供する場合、時系列データを提供することができる。例示的な実施形態では、機械学習モデル２０６は、車両の目標コーナリング速度を決定することを対象とすることができる。たとえば、車両は、予測された衝突に基づく自動制動、運転者に対する警告または警報などの、自動運転機能を含んでもよい。例示的な実施形態では、車両は、近づきつつあるコーナー（たとえば、道路のカーブまたはターン）を分析するためのビデオカメラなどのデータ収集デバイス１０４を含むエッジデバイス１００であってもよい。データ収集デバイス１０４は、曲がりの鋭さ、道路の傾斜、および道路のそり、現在の速度または速力、スリップ角、タイヤ舗装摩擦、自動車の重量、重量の分布、水分レベル、温度などを特定するために使用される時系列データのデータストリームを提供することができる 機械学習モデル２０６は、近づきつつあるコーナーごとに目標速度を出力することができ、目標速度は、ブレーキをかけたり、危険な状態をユーザに警告したりするために自動車によって使用されてもよい。収集されたビデオデータは、上述されたように、２次マルチモーダルセンサ融合を含む１つまたは複数のデータ適合プロセスを受けることができる。目標コーナリング速度のためのこの例示的な機械学習モデル２０６は、上述された衝突回避機械学習モデル２０６とかなり重複してもよい。そのような場合、異なる機械学習モデル２０６のための複数の異なるセンサ融合において、全く同じ生の時系列データが使用されてもよい。
衝突回避および目標コーナリング速度の決定などのタスクに関して上述された機械学習モデル２０６は、収集される多様な異なるタイプのデータを含んでもよい。このデータの大部分は、車両のメンテナンスなどの他の所定のタスクに関連してもよい。例示的な実施形態では、車両駆動制御機械学習モデル２０６のための３次マルチモーダル時間依存性導入潜在分布を生成するために、３次センサ融合が使用される。たとえば、３つの２次センサ融合マシン９０８は、３次センサ融合マシンへの入力として使用されてもよい。
図１８は、本開示の例示的な実施形態による、３次センサ融合を含む時系列データ適合を示すフロー図である。たとえば、車両に含まれるシステムは、３つの２次センサ融合マシン９０８を含んでもよい。図１８に示されたように、システムは、車両状況センサ融合マシン９０８ａと、運転者状況センサ融合マシン９０８ｂと、場面状況センサ融合マシン９０８ｃとを含む。車両状況センサ融合マシン９０８ａへの入力は、車両動作の状況を監視する様々なセンサからの時系列データ（たとえば、速度、エンジン温度、時間圧力、オイル粘度）に基づいてもよい、シングルモーダル時間依存性導入潜在分布ｖ１、ｖ２、ｖ３を含んでもよい。運転者状況センサ融合マシン９０８ｂへの入力は、車両の運転者の状況を監視する様々なセンサからの時系列データ（たとえば、注意レベル、眠気、視線方向）に基づいてもよい、シングルモーダル時間依存性導入潜在分布ｄ１、ｄ２、ｄ３を含んでもよい。場面状況センサ融合マシン９０８ｃへの入力は、車両または車両の周辺の場面の状況を監視する様々なセンサからの時系列データ（たとえば、他の車両、歩行者、車線、信号機、雨、雪、霧、道路氷の検出）に基づいてもよい、シングルモーダル時間依存性導入潜在分布ｓ１、ｓ２、ｓ３を含んでもよい。センサ融合マシン９０８ａ、９０８ｂ、９０８ｃの各々に入力されるものとして、３タイプのデータ（たとえば、ｖ１、ｖ２、ｖ３）のみが示されているが、より多くのタイプのデータが入力として通常使用されてもよいことを諒解されたい。
車両状況センサ融合マシン９０８ａは、予防保守機械学習モデル２０６ａに直接入力されるマルチモーダル時間依存性導入潜在分布Ｖを出力する。また、マルチモーダル時間依存性導入潜在分布Ｖは、３次センサ融合マシン１７００に直接入力される。加えて、３次センサ融合マシン１７００は、運転者状況センサ融合マシン９０８ｂから出力されるマルチモーダル時間依存性導入潜在分布Ｄ、および運転者状況センサ融合マシン９０８ｃから出力されるマルチモーダル時間依存性導入潜在分布Ｓを受け取る。３次センサ融合マシン１７００は、図１０、図１４、図１５、および／または図１６に関して上述されたのと同様の方式で動作することができる。次いで、３次センサ融合マシン１７００は、マルチモーダル時間依存性導入潜在分布ＶＤＳを出力することができ、これは自動運転機械学習モデル２０６ｂに入力される。たとえば、図１８に示されたような階層的センサ融合は、入力として任意の数および／またはタイプの情報（生の時系列データ、分散表現、潜在変数、潜在分布、およびマルチモーダルデータ）を含んでもよい。
図１９は、本開示の例示的な実施形態による、時系列データ適合を示すフロー図である。上述された例は、概して、時系列データ適合モジュール１１０が、現在の時間間隔の間に時間依存性導入潜在分布をシーケンシャルデータ予測マシンに出力する変分推論マシンによる時系列データ適合を実行することを参照し、シーケンシャルデータ予測マシンは、変分推論マシンの後の現在の時間間隔のデータに対して動作する。しかしながら、この構造は例示に過ぎない。たとえば、図１９は、変分推論マシン２０２より前にＲＮＮ２０４が現在の時間間隔データ（たとえば、ｘｔ）に対して動作するようにシステムが構造化されている、代替の例示的な実施形態を示す。ＲＮＮ２０４は、前の時間間隔からの時間依存性導入潜在分布ｚｔ−１および時系列データｘｔを受け取って、隠れ状態ｈｔを更新することができる。次いで、更新された隠れ状態ｈｔは、隠れ状態ｈｔおよび時系列データｘｔを入力として受け取る変分推論マシン２０２にエクスポートされてもよい。次いで、変分推論マシン２０２は、機械学習モデル２０６に送られ得る時間依存性導入潜在分布ｚｔを出力することができる。このプロセスは、上述されたのと同様の方式で繰り返し実行されてもよい。図１９に示された構造は、上述された技法のいずれかを使用してシングルモーダルまたはマルチモーダルの時系列データ適合に使用されてもよい。
特定のタイプのマシンおよび／または産業機器は、コストがかかる故障時間および／または修理を被る可能性がある障害を回避または遅延させるために、機器が適切に動作し、必要に応じてメンテナンスを受けることを保証するために、監視を必要とする場合がある。製造施設では、機器の重要部品の故障が莫大な金銭的損失を引き起こし、かつ／または従業員に安全上のリスクをもたらす可能性があることを諒解されたい。回転構成部品の振動を検出する加速度計は、機器に伴う潜在的な問題の早期検出を実現し、障害が発生する前に設備オペレータが機器の部品の修理またはシャットダウンの予防措置を講じることを可能にする。振動時系列データは、一般に、回転構成部品の近くに永続的に取り付けられた加速度計から収集される。しばしば、単一の回転構成部品は、複数の加速度計で監視されてもよい。たとえば、一般的な技法は、各々が垂直（Ｘ）軸、接線（Ｙ）軸、および半径方向（Ｚ）軸に沿って振動を測定する３つの加速度計を用いて、回転構成部品を監視することを含む。その複雑さおよびサイズに応じて、１台の機械が数百または数千の監視される回転構成部品を有する場合がある。
振動時系列データは、機械学習モデルによって検出され得る、問題のある傾向または異常を示すことができる。たとえば、動力伝達装置内の歯車メッシュ周波数の機械学習分析は、金属粒子をギアボックスに取り込む、歯車の歯の間に詰まった小さな砂または汚れ粒子を検出することができる。例示的な実施形態では、振動時系列データは、ファンなどの回転機器における不均衡状態の識別、および／または回転機器の軸受における欠陥の検出に使用される。また、たとえば、回転機器が支持構造の固有振動数に近づく周波数で回転しているかどうかを判定するために、周波数分析が使用されてもよい。多種多様なタスク用のモデルは、振動時系列データに対してすでに訓練されているので、振動時系列データは、一般に、予防保守に非常に有用である。しかしながら、振動時系列データの収集は、多数の永続的に取り付けられた加速度計を必要とし、これらは、機械および出荷時設定に応じて実際的ではない可能性がある。したがって、永続的に利用できないデータおよび断続的に利用できないデータに対して堅牢であり得る本開示のセンサ融合方法は、有利なことに、マシン保守予測システムにおいて使用されてもよい。その上、上記のセンサ融合方法に記載されたようにデータタイプを融合すると、利用可能なデータからの情報抽出の改善が可能になってもよく、それにより、車両、スチームトラップ、および製造機器を含む多種多様な機器のための予防保守の改善、機器故障時間の短縮、修理費用の低減、安全性の向上などがもたらされてもよい。
いくつかの以前から存在する機械学習方法（たとえば、産業予防保守用）は、たとえば、均一環境内、または特定のエッジデバイス１００内のいくつかの特定のタイプの時系列データを処理するのに概して有用であった。しかしながら、特に、ＩｏＴなどの異機種環境では、分析用に収集され得る利用可能なデータタイプおよびソースの変分性は、既存の方法を使用して適切に処理することができないと認識されている。たとえば、特定のタイプのデータおよび／または特定のデータソースごとに、正確な機械学習モデルを訓練することは実際的ではない。最も技術的に高度なコンピュータハードウェア、ソフトウェア、およびネットワーク機能であっても、絶えず拡大するデータのドメインまたはモダリティ、データのタイプ、および通常遭遇する異機種環境の特定のデータソースを処理することには適していないので、より良好かつより高速なコンピュータおよび／またはネットワーキングハードウェアでこの問題に対処しようと試みることは、不十分であることが分かる。言い換えれば、既存の技法は、時系列データを提供する多種多様な異なるデータタイプおよびソースを有する異機種環境において、特に断続的にデータが利用できないとき、および／または所望のデータタイプが永続的に利用できないとき、機械学習を処理するには概して不十分である。一方、本明細書で提案された機械学習などのための時系列データの収集および処理は、以前から存在する方法およびシステムを使用しては可能でなかった異なる技術的アプローチを取る。したがって、機械学習デバイスは、特に、ＩｏＴなどの異機種環境内でエッジデバイス１００を使用するとき、本明細書に記載された方法およびシステムを使用することによって改善される。たとえば、車両、製造機器、スチームトラップ、または様々な他の機器に関連する衝突回避、自動運転、ＣＯＰＤリスク評価、および予防保守の技術は、特に、センサデータが予期せずまたは断続的に利用できない場合があるとき、本開示の時系列データ適合によって、大きく改善されてもよい。
さらに、本開示のセンサ融合方法およびシステムは、有利なことに、多種多様なシステムが、センサ融合の相乗効果を介して、任意の所与の時点で利用可能であり得るあらゆるセンサデータをその最大限の可能性まで使用することを可能にすることができる。融合センサデータは、観察されている状況または現象のより強固な理解を提供する様々な感覚情報を統合するので、センサ融合マシンは、センサ融合マシンに入力される生の時系列データの表現力において、多大な相乗効果を提供する。したがって、本開示のセンサ融合は、断続的および／または永続的に利用できないデータおよびデータ内の異常値に対して特に堅牢である。その上、センサ融合マシンが訓練され、対応する機械学習モデルがセンサ融合データ（たとえば、マルチモーダル時間依存性導入潜在分布Ｚ）に基づいて訓練されると、センサ融合マシンおよび機械学習モデルは、１つまたは複数の異なるタイプの時系列データが利用できない（たとえば、ライダーなし、ビデオなし、もしくはレーダーなし、および／または超音波なしの）多数の様々なセンサ構成に適合する能力に基づいて、（たとえば、衝突回避センサが異なる多くの製造元またはモデルの車両において）広く利用可能であってもよい。
また、様々な時系列モダリティに基づいて時間依存性導入潜在分布を出力するように訓練された機械学習モデルが、１つまたは複数のモダリティが利用できない状況で展開されるとき、機械学習モデルは、通常、展開中に利用可能なモダリティのみに対して訓練されていた場合よりも正確である。訓練中に、基礎となる関連付けおよび関係は、現在利用できないモダリティを含む、すべてのモダリティの統合を通して形成され、それらは、現在利用できないモダリティでの訓練なしでは学習されないはずである。したがって、たとえば、大部分の車両が高価なライダーセンサを含まない場合でも、ライダー時系列データを使用するようにセンサ融合マシンおよび機械学習モデルを訓練することは、通常、ライダーセンサをもたない車両に利益を与えるべきである。様々なセンサからの様々な個別のタイプの時系列データの分析から知ることができないか、または扱いにくい情報は、有利なことに、センサ融合の相乗効果を介して生成されてもよい。
同様に、ＣＯＰＤリスク評価機械学習モデルの場合、動脈血ガス（ＡＢＧ）分析データが入力として利用できない可能性がある。一般に、ＡＢＧは、酸素代謝、血液ｐＨレベル、および酸素の血中レベルを測定することにより、患者の肺機能を測定する。ＡＢＧは、現在、病状悪化の進行度および重症度を評価する最良の方法であるが、それは健康管理施設で実施される不快で高価な処置であるため、継続中の監視には実用的でない。したがって、ＣＯＰＤリスク評価機械学習モデル用の訓練データは、院内試験および非病院在宅監視デバイス（たとえば、呼吸数、パルスオキシメータ、家庭用肺活量計、ピーク流量計）および環境監視デバイス（たとえば、塵埃レベル、煙レベル、大気汚染）から収集された時系列データを含む。したがって、ＣＯＰＤリスク評価機械学習モデルは、ＡＢＧ院内時系列データが通常利用できないという現実に基づいて、定期的な家庭衛生監視に関するより良い結果を提供するように、時系列データの包括的な集合に対して訓練される。
その上、本開示のセンサ融合マシンは、上述されたようにイントラモーダルおよびインターモーダルの時間依存性の使用を介して相乗効果を創出し、それにより、有利なことに、適合可能かつフォールトトレラントなシステムにおいてより正確な結果が提供される。したがって、時系列データ適合モジュールおよび／またはセンサ融合マシンに入力されるデータが利用できないときでも、時系列データ適合モジュールおよび／またはセンサ融合マシンの出力に基づく機械学習モデルにより、有用な結果が依然として提供されてもよい。
本明細書に記載された、開示された方法および手順のすべては、１つまたは複数のコンピュータプログラム、モジュール、または構成要素を使用して実装できることを諒解されたい。これらのモジュールまたは構成要素は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、磁気ディスクもしくは光ディスク、光学メモリ、または他の記憶媒体などの揮発性メモリまたは不揮発性メモリを含む、任意の従来のコンピュータ可読媒体または機械可読媒体上の一連のコンピュータ命令として提供されてもよい。命令は、ソフトウェアもしくはファームウェアとして提供されてもよく、かつ／またはＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、もしくは任意の他の同様のデバイスなどのハードウェア構成要素の全体または一部に実装されてもよい。命令は、一連のコンピュータ命令を実行すると、開示された方法および手順のすべてまたは一部を実行するか、またはその実行を容易にする、１つまたは複数のプロセッサによって実行されるように構成されてもよい。以下の請求項において使用されるように、「手段」および／または「ステップ」という用語は、米国特許法第１１２条（ｆ）の下のミーンズプラスファンクション処理を起動するために使用されてもよく、用語「手段」または「ステップ」が請求項に列挙されていない限り、ミーンズプラスファンクション処理は起動されるものではない。
本明細書に記載された例示的な実施形態に対する様々な変更および修正が当業者には明らかであることを理解されたい。そのような変更および修正は、本主題の趣旨および範囲から逸脱することなく、かつ意図された利点を損なうことなく、行うことができる。したがって、そのような変更および修正は、添付の特許請求の範囲によって包含されることが意図される。

Claims (36)

  1. 第１情報を出力する第１ニューラルネットワークと、
    時間依存性情報を含む第２情報を出力する第２ニューラルネットワークと、
    を備えるコンピュータシステムであって、
    前記第１ニューラルネットワークは、時系列データと、前記第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、に基づいて、前記第１情報を出力し、
    前記第２ニューラルネットワークは、当該第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、前記第１ニューラルネットワークから出力された前記第１情報と前記時系列データと、に基づいて、前記第２情報の第２バージョンを出力する、
    ように構成されたコンピュータシステム。
  2. 前記第２ニューラルネットワークは、前記時系列データと、当該第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、前記第１ニューラルネットワークから出力された前記第１情報と前記時系列データと、に基づいて、前記第２情報の第２バージョンを出力するように構成された、
    請求項１に記載のコンピュータシステム。
  3. 前記第１情報は前記時系列データに対応する潜在変数を含む、
    請求項１又は２に記載のコンピュータシステム。
  4. 前記第１情報は前記時系列データに対応する潜在分布を含む、
    請求項１乃至３のいずれか１項に記載のコンピュータシステム。
  5. 前記第１ニューラルネットワークと前記第２ニューラルネットワークとは、前記第１情報の出力と前記第２情報の出力とを交互に繰り返し実行する、
    請求項１乃至４のいずれか１項に記載のコンピュータシステム。
  6. 前記第１ニューラルネットワークから出力された前記第１情報に基づいて所定のタスクを実行する、
    請求項１乃至５のいずれか１項に記載のコンピュータシステム。
  7. 前記所定のタスクとは、予想、予測、分類、クラスタリング、異常検出、認識、のうちの少なくとも１つである、
    請求項６に記載のコンピュータシステム。
  8. 前記第１ニューラルネットワークは、変分推論マシンを含む、
    請求項１乃至７のいずれか１項に記載のコンピュータシステム。
  9. 前記第２ニューラルネットワークは、シーケンシャルデータ予測マシンを含む、
    請求項１乃至８のいずれか１項に記載のコンピュータシステム。
  10. 前記第２ニューラルネットワークは、入力層、隠れ層、出力層を有し、
    前記隠れ層は、前記第２情報を出力する、
    請求項１乃至９のいずれか１項に記載のコンピュータシステム。
  11. 前記時系列データは、所定時間間隔で取得される時系列データである、
    請求項１乃至１０のいずれか１項に記載のコンピュータシステム。
  12. 前記時系列データは、画像データ、音声データ、加速度データ、バイナリデータ、の少なくとも１つを含む、
    請求項１１に記載のコンピュータシステム。
  13. 前記時系列データは、センサによって取得された時系列データである、
    請求項１乃至１２のいずれか１項に記載のコンピュータシステム。
  14. 前記時系列データは、複数のセンサそれぞれによって取得された時系列データである、
    請求項１３に記載のコンピュータシステム。
  15. 前記コンピュータシステムは、エッジデバイスに実装される、
    請求項１乃至１４のいずれか１項に記載のコンピュータシステム。
  16. 前記第２情報の第２バージョンは、当該第２情報の第１バージョンに対応する時刻の次の時刻に対応する前記第２情報のバージョンである、
    請求項１乃至１５のいずれか１項に記載のコンピュータシステム。
  17. 前記時系列データは、訓練データではなく、
    前記第１情報は、時系列データである、
    請求項１乃至１６のいずれか１項に記載のコンピュータシステム。
  18. 時系列データが入力されると当該時系列データに対応する分散表現を出力するニューラルネットワークシステムであって、
    前記ニューラルネットワークシステムは第１ニューラルネットワークと第２ニューラルネットワークとを有し、
    前記第１ニューラルネットワークは、対象時刻における前記時系列データと、前記第２ニューラルネットワークから出力されるデータと、に少なくとも基づいて、当該対象時刻における前記分散表現を出力し、
    前記第２ニューラルネットワークは、当該第２ニューラルネットワークの所定ノードのデータを、前記対象時刻より前の時刻における前記時系列データに依存したデータに更新し、当該所定ノードのデータを前記第１ニューラルネットワークに出力する、
    ように構成されるニューラルネットワークシステム。
  19. 前記第２ニューラルネットワークは、前記第１ニューラルネットワークに入力される前記時系列データおよび前記第１ニューラルネットワークから出力される前記分散表現の少なくとも一方が入力され、当該入力、および、前記第２ニューラルネットワーク内の一部
    のノードのデータに基づいて、前記所定ノードのデータを更新する、
    請求項１８に記載のニューラルネットワークシステム。
  20. 前記第２ニューラルネットワークは、前記対象時刻における前記時系列データの次の時刻における前記時系列データを予測する、
    請求項１８又は１９に記載のニューラルネットワークシステム。
  21. 前記ニューラルネットワークシステムは、所定タスクに関する機械学習モデルを有し、
    前記機械学習モデルは、前記第１ニューラルネットワークから出力された前記分散表現に基づいて前記所定タスクの処理を実行する、
    請求項１８乃至２０のいずれか１項に記載のニューラルネットワークシステム。
  22. 前記分散表現は、確率分布を表現する分散表現である、
    請求項１８乃至２１のいずれか１項に記載のニューラルネットワークシステム。
  23. 前記ニューラルネットワークシステムから出力された前記分散表現は、対応する前記時系列データを出力したシステムの異常を測るために処理される、
    請求項１８乃至２２のいずれか１項に記載のニューラルネットワークシステム。
  24. 前記時系列データは、訓練データではなく、
    前記分散表現は、時系列データである、
    請求項１８乃至２３のいずれか１項に記載のニューラルネットワークシステム。
  25. 前記時系列データは、複数のセンサそれぞれによって取得された時系列データであり、
    前記分散表現は、前記複数のセンサそれぞれによって取得された時系列データが融合された分散表現である、
    請求項１８乃至２４のいずれか１項に記載のニューラルネットワークシステム。
  26. 所定のタスクを実行するために時系列データが入力され、当該時系列データに対応する潜在分布の時系列データを少なくとも出力するニューラルネットワークシステムであって、
    前記ニューラルネットワークシステムは、
    入力済の時系列データに依存して更新される隠れ状態を有し、
    前記時系列データの対象時刻におけるデータと、当該対象時刻の前の時刻に対応する前記隠れ状態と、に基づいて、当該時系列データの当該対象時刻に対応する前記潜在分布を出力する、
    ニューラルネットワークシステム。
  27. 前記対象時刻における前記隠れ状態を、当該対象時刻より前の過去の前記時系列データに依存したデータに更新する、
    請求項２６に記載のニューラルネットワークシステム。
  28. 前記対象時刻に対応する前記隠れ状態を、当該対象時刻における前記時系列データと、当該対象時刻に対応する前記潜在分布と、当該対象時刻より前の時刻に対応する前記隠れ状態と、に基づいて更新する、
    請求項２６又は２７に記載のニューラルネットワークシステム。
  29. 前記時系列データは、異なるセンサから取得される複数の時系列データである、
    請求項２６乃至２８のいずれか１項に記載のニューラルネットワークシステム。
  30. 前記潜在分布の時系列データは、前記複数の時系列データが融合した潜在分布の時系列データである、
    請求項２９に記載のニューラルネットワークシステム。
  31. 前記時系列データに対応して出力された前記潜在分布の時系列データは、前記所定のタスク用の機械学習モデルに入力され、
    前記所定のタスクは、予想、予測、分類、クラスタリング、異常検出、認識、のうちの少なくとも１つである、
    請求項２６乃至３０のいずれか１項に記載のニューラルネットワークシステム。
  32. 前記時系列データは、前記ニューラルネットワークシステムの訓練データではない、
    請求項２６乃至３１のいずれか１項に記載のニューラルネットワークシステム。
  33. 第１情報を出力する第１ニューラルネットワークと、
    時間依存性情報を含む第２情報を出力する第２ニューラルネットワークと、
    を備えるコンピュータシステムによって実行される方法であって、
    前記第１ニューラルネットワークによって、時系列データと、前記第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、に基づいて、前記第１情報を出力し、
    前記第２ニューラルネットワークによって、当該第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、前記第１ニューラルネットワークから出力された前記第１情報と前記時系列データと、に基づいて、前記第２情報の第２バージョンを出力する、
    前記コンピュータシステムによって実行される方法。
  34. 第１情報を出力する第１ニューラルネットワークと、
    時間依存性情報を含む第２情報を出力する第２ニューラルネットワークと、
    を用いて実行されるコンピュータ実行可能プログラムであって、
    前記第１ニューラルネットワークによって、時系列データと、前記第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、に基づいて、前記第１情報を出力し、
    前記第２ニューラルネットワークは、当該第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、前記第１ニューラルネットワークから出力された前記第１情報と前記時系列データと、に基づいて、前記第２情報の第２バージョンを出力する、
    ようにコンピュータを機能させるコンピュータ実行可能プログラム。
  35. 第１情報を出力する第１ニューラルネットワークと、
    時間依存性情報を含む第２情報を出力する第２ニューラルネットワークと、
    を有するシステムが搭載される車両であって、
    前記第１ニューラルネットワークは、時系列データと、前記第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、に基づいて、前記第１情報を出力するように構成され、
    前記第２ニューラルネットワークは、当該第２ニューラルネットワークから出力された前記第２情報の第１バージョンと、前記第１ニューラルネットワークから出力された前記第１情報と前記時系列データと、に基づいて、前記第２情報の第２バージョンを出力するように構成される、車両。
  36. 前記システムは、所定タスクに関する機械学習モデルを有し、
    前記機械学習モデルは、前記第１ニューラルネットワークから出力された前記第１情報に基づいて前記所定タスクの処理を実行するように構成される、
    請求項３５に記載の車両。
JP2018536523A 2016-01-14 2017-01-13 コンピュータシステム、ニューラルネットワークシステム、方法、コンピュータ実行可能プログラム及び車両 Active JP6842466B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/995,688 2016-01-14
US14/995,688 US10410113B2 (en) 2016-01-14 2016-01-14 Time series data adaptation and sensor fusion systems, methods, and apparatus
PCT/JP2017/001033 WO2017122784A1 (en) 2016-01-14 2017-01-13 Time series data adaptation and sensor fusion systems, methods, and apparatus

Publications (3)

Publication Number Publication Date
JP2019502212A JP2019502212A (ja) 2019-01-24
JP2019502212A5 JP2019502212A5 (ja) 2020-02-06
JP6842466B2 true JP6842466B2 (ja) 2021-03-17

Family

ID=59311253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018536523A Active JP6842466B2 (ja) 2016-01-14 2017-01-13 コンピュータシステム、ニューラルネットワークシステム、方法、コンピュータ実行可能プログラム及び車両

Country Status (3)

Country Link
US (1) US10410113B2 (ja)
JP (1) JP6842466B2 (ja)
WO (1) WO2017122784A1 (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891558B2 (en) * 2015-01-21 2021-01-12 Anodot Ltd. Creation of metric relationship graph based on windowed time series data for anomaly detection
US10204147B2 (en) * 2016-04-05 2019-02-12 Fractal Industries, Inc. System for capture, analysis and storage of time series data from sensors with heterogeneous report interval profiles
US10410113B2 (en) * 2016-01-14 2019-09-10 Preferred Networks, Inc. Time series data adaptation and sensor fusion systems, methods, and apparatus
CN108604317A (zh) * 2016-03-14 2018-09-28 欧姆龙株式会社 可扩展性持有装置
US20180284741A1 (en) 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection for a chemical production process
US11327475B2 (en) 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US10983507B2 (en) 2016-05-09 2021-04-20 Strong Force Iot Portfolio 2016, Llc Method for data collection and frequency analysis with self-organization functionality
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US10303166B2 (en) 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
GB2551172B (en) * 2016-06-08 2019-02-20 Sts Defence Ltd Predicting temperature rise event
US11237546B2 (en) 2016-06-15 2022-02-01 Strong Force loT Portfolio 2016, LLC Method and system of modifying a data collection trajectory for vehicles
US10536351B2 (en) 2016-07-29 2020-01-14 Splunk Inc. Analytics for edge devices
US11087236B2 (en) 2016-07-29 2021-08-10 Splunk Inc. Transmitting machine learning models to edge devices for edge analytics
US10460255B2 (en) * 2016-07-29 2019-10-29 Splunk Inc. Machine learning in edge analytics
US10929674B2 (en) * 2016-08-29 2021-02-23 Nec Corporation Dual stage attention based recurrent neural network for time series prediction
JP2018072968A (ja) * 2016-10-26 2018-05-10 セイコーエプソン株式会社 データ処理装置およびデータ処理方法
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
US10481943B2 (en) * 2016-12-30 2019-11-19 Winmore, Inc. System and method for state machine management
US11432778B2 (en) * 2017-01-24 2022-09-06 General Electric Company Methods and systems for patient monitoring
CN110383299B (zh) * 2017-02-06 2023-11-17 渊慧科技有限公司 记忆增强的生成时间模型
US11640617B2 (en) * 2017-03-21 2023-05-02 Adobe Inc. Metric forecasting employing a similarity determination in a digital medium environment
JP6828807B2 (ja) * 2017-03-28 2021-02-10 日本電気株式会社 データ解析装置、データ解析方法およびデータ解析プログラム
US10339421B2 (en) * 2017-03-30 2019-07-02 Toyota Motor Engineering & Manufacturing North America, Inc. RGB-D scene labeling with multimodal recurrent neural networks
WO2018224670A1 (en) 2017-06-09 2018-12-13 British Telecommunications Public Limited Company Anomaly detection in computer networks
US11509671B2 (en) * 2017-06-09 2022-11-22 British Telecommunications Public Limited Company Anomaly detection in computer networks
US11035227B2 (en) 2017-07-14 2021-06-15 The Board Of Regents Of The University Of Oklahoma Generating spectral responses of materials
US11403531B2 (en) * 2017-07-19 2022-08-02 Disney Enterprises, Inc. Factorized variational autoencoders
CN209085657U (zh) 2017-08-02 2019-07-09 强力物联网投资组合2016有限公司 用于与化工生产工艺有关的或工业环境的数据收集系统
US11442445B2 (en) 2017-08-02 2022-09-13 Strong Force Iot Portfolio 2016, Llc Data collection systems and methods with alternate routing of input channels
CN111133453A (zh) * 2017-08-04 2020-05-08 诺基亚技术有限公司 人工神经网络
CN107349489B (zh) * 2017-08-04 2020-12-01 佛山科学技术学院 一种基于神经网络的输液滴速确定方法及系统
CN109521725A (zh) * 2017-09-20 2019-03-26 西门子公司 检测异常数据的方法、装置和设备以及机器可读介质
JP6967936B2 (ja) * 2017-10-16 2021-11-17 株式会社ブリヂストン タイヤの使用履歴データからの異常データ検出方法とその装置
US10592368B2 (en) 2017-10-26 2020-03-17 International Business Machines Corporation Missing values imputation of sequential data
GB2567850B (en) * 2017-10-26 2020-11-04 Gb Gas Holdings Ltd Determining operating state from complex sensor data
CA3082656A1 (en) * 2017-11-13 2019-05-16 Bios Health Ltd Neural interface
US11157782B2 (en) * 2017-11-16 2021-10-26 International Business Machines Corporation Anomaly detection in multidimensional time series data
WO2019104228A1 (en) * 2017-11-21 2019-05-31 Google Llc Low-power ambient computing system with machine learning
US11120127B2 (en) 2017-12-27 2021-09-14 Nec Corporation Reconstruction-based anomaly detection
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
EP3701351A4 (en) * 2018-01-30 2021-01-27 D5Ai Llc SELF-ORGANIZING PARTIALLY ORGANIZED NETWORKS
US11537870B1 (en) * 2018-02-07 2022-12-27 Perceive Corporation Training sparse networks with discrete weight values
US11131713B2 (en) * 2018-02-21 2021-09-28 Nec Corporation Deep learning approach for battery aging model
US11080127B1 (en) * 2018-02-28 2021-08-03 Arizona Public Service Company Methods and apparatus for detection of process parameter anomalies
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
DE102018205248A1 (de) 2018-04-09 2019-10-10 Bayerische Motoren Werke Aktiengesellschaft Fusionssystem zur Fusion von Umfeldinformation für ein Kraftfahrzeug
US10771488B2 (en) 2018-04-10 2020-09-08 Cisco Technology, Inc. Spatio-temporal anomaly detection in computer networks using graph convolutional recurrent neural networks (GCRNNs)
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
US10831631B2 (en) * 2018-06-28 2020-11-10 International Business Machines Corporation Continuous time alignment of a collection of independent sensors
US11169514B2 (en) * 2018-08-27 2021-11-09 Nec Corporation Unsupervised anomaly detection, diagnosis, and correction in multivariate time series data
KR102461631B1 (ko) * 2018-09-12 2022-10-31 삼성에스디에스 주식회사 데이터의 결측치 보정 방법 및 장치
US11874328B2 (en) * 2018-10-22 2024-01-16 Btech Inc. Detecting battery changeout
GB2613298B (en) * 2018-10-30 2023-12-20 Motional Ad Llc Redundancy in autonomous vehicles
CN111126556B (zh) * 2018-10-31 2023-07-25 百度在线网络技术（北京）有限公司 人工神经网络模型的训练方法和装置
CN113287072A (zh) * 2018-11-09 2021-08-20 奥格瑞系统有限公司 非平稳机器性能的自动分析
US11880769B2 (en) * 2018-11-14 2024-01-23 Advanced Micro Devices, Inc. Using multiple functional blocks for training neural networks
KR102174608B1 (ko) * 2018-11-27 2020-11-05 공주대학교 산학협력단 기계 학습 기반의 채무불이행 예측 장치 및 방법
SG11202105647UA (en) * 2018-11-29 2021-06-29 January Inc Systems, methods, and devices for biophysical modeling and response prediction
US11664108B2 (en) 2018-11-29 2023-05-30 January, Inc. Systems, methods, and devices for biophysical modeling and response prediction
KR102592830B1 (ko) 2018-12-05 2023-10-23 현대자동차주식회사 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors
JP7163977B2 (ja) * 2019-01-28 2022-11-01 日本電信電話株式会社 推定装置、学習装置、それらの方法、およびプログラム
EP3917813A4 (en) 2019-01-29 2022-10-26 Aclima Inc. SENSOR AND DATA PLATFORMS FOR VEHICLE ENVIRONMENTAL QUALITY MANAGEMENT
US11126179B2 (en) * 2019-02-21 2021-09-21 Zoox, Inc. Motion prediction based on appearance
EP3928102A4 (en) * 2019-02-22 2022-12-14 Stratuscent Inc. SYSTEMS AND METHODS OF LEARNING ACROSS MULTIPLE CHEMICAL SENSING UNITS USING RECIPROCAL LATENTED REPRESENTATION
JP7308476B2 (ja) * 2019-02-28 2023-07-14 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、情報処理方法、および情報処理プログラム
WO2020186509A1 (en) 2019-03-21 2020-09-24 Hangzhou Fabu Technology Co. Ltd A scalable data fusion architecture and related products
DE102019203953A1 (de) * 2019-03-22 2020-09-24 Zf Friedrichshafen Ag Verfahren und Vorrichtung zur Ermittlung eines trainierten Entscheidungsnetzwerks
WO2020202316A1 (ja) * 2019-03-29 2020-10-08 三菱電機株式会社 モデル予測制御装置、モデル予測制御プログラム、モデル予測制御システムおよびモデル予測制御方法
US11531879B1 (en) 2019-04-25 2022-12-20 Perceive Corporation Iterative transfer of machine-trained network inputs from validation set to training set
US11610154B1 (en) 2019-04-25 2023-03-21 Perceive Corporation Preventing overfitting of hyperparameters during training of network
US11900238B1 (en) 2019-04-25 2024-02-13 Perceive Corporation Removing nodes from machine-trained network based on introduction of probabilistic noise during training
US11176493B2 (en) 2019-04-29 2021-11-16 Google Llc Virtualizing external memory as local to a machine learning accelerator
CN110175425B (zh) * 2019-05-31 2023-02-21 重庆大学 一种基于mmalstm的齿轮剩余寿命的预测方法
EP3968247A4 (en) * 2019-06-21 2022-12-21 Siemens Aktiengesellschaft METHOD AND DEVICE FOR ELECTRIC LOAD DATA PREDICTION AND INFORMATION HOLDER
US11169506B2 (en) * 2019-06-26 2021-11-09 Cisco Technology, Inc. Predictive data capture with adaptive control
US11125386B2 (en) * 2019-07-15 2021-09-21 Consolidated Edison Company Of New York, Inc. Sensor for steam trap and method of operation
US11222287B2 (en) 2019-07-25 2022-01-11 International Business Machines Corporation Machine learning for failure event identification and prediction
US11966840B2 (en) * 2019-08-15 2024-04-23 Noodle Analytics, Inc. Deep probabilistic decision machines
JP2021033400A (ja) * 2019-08-16 2021-03-01 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ データ処理方法、プログラム、データ処理装置
JP7371856B2 (ja) * 2019-08-27 2023-10-31 Ｊｒ東日本コンサルタンツ株式会社 移動体動線検出システム
DE112019007681T5 (de) * 2019-09-02 2022-06-09 Mitsubishi Electric Corporation Automatische Fahrsteuerungsvorrichtung und automatisches Fahrsteuerungsverfahren
US11294756B1 (en) * 2019-09-19 2022-04-05 Amazon Technologies, Inc. Anomaly detection in a network
JP7163894B2 (ja) * 2019-09-26 2022-11-01 いすゞ自動車株式会社 モデル作成装置及びモデル作成方法
JP7230755B2 (ja) * 2019-09-26 2023-03-01 いすゞ自動車株式会社 モデル作成装置及びモデル作成方法
JP7102080B2 (ja) * 2019-09-27 2022-07-19 Kddi株式会社 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法
US11235784B2 (en) * 2019-10-11 2022-02-01 Augmented Radar Imaging, Inc. Selective control transition based on situational awareness
CN110766140A (zh) * 2019-10-22 2020-02-07 电子科技大学 一种基于XGBoost与LSTM的多传感器实时威胁等级分类方法
US11657290B2 (en) * 2019-10-28 2023-05-23 Robert Bosch Gmbh System and method with a robust deep generative model
US10832554B1 (en) 2019-11-13 2020-11-10 International Business Machines Corporation Sensor vectors based on activations of sensors with attributes
US11915123B2 (en) * 2019-11-14 2024-02-27 International Business Machines Corporation Fusing multimodal data using recurrent neural networks
CN110909826A (zh) * 2019-12-10 2020-03-24 新奥数能科技有限公司 一种能源设备的诊断监测方法、装置及电子设备
JP7212609B2 (ja) * 2019-12-18 2023-01-25 Kddi株式会社 予測プログラム、学習装置、予測装置、及び予測方法
US11891087B2 (en) * 2019-12-20 2024-02-06 Uatc, Llc Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
US11556855B2 (en) 2020-03-31 2023-01-17 Sap Se Variational autoencoding for anomaly detection
US11681914B2 (en) 2020-05-08 2023-06-20 International Business Machines Corporation Determining multivariate time series data dependencies
US11710352B1 (en) * 2020-05-21 2023-07-25 Zoox, Inc. Machine-learned model training for pedestrian attribute and gesture detection
KR102333271B1 (ko) * 2020-06-10 2021-11-30 경상국립대학교산학협력단 인공 신경망 모델 내 은닉단위의 상관성을 이용한 은닉단위 개수 선정방법 및 이를 이용한 수문기후변수 예측방법
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112164153A (zh) * 2020-09-22 2021-01-01 厦门德威智联科技有限公司 一种ai边缘计算故障诊断器
CN112580702B (zh) * 2020-12-10 2024-01-23 深圳技术大学 多传感器协同感知方法及装置
CN112633584B (zh) * 2020-12-29 2022-06-21 中国地质大学（武汉） 基于改进的LSTM-seq2seq模型的河流突发水污染事故水质预测方法
CN112986941B (zh) * 2021-02-08 2022-03-04 天津大学 一种雷达目标微动特征提取方法
US11867806B2 (en) * 2021-06-04 2024-01-09 Robert Bosch Gmbh Synthetic aperture acoustic imaging with deep generative model
WO2022266928A1 (zh) * 2021-06-24 2022-12-29 中山大学 代谢特征谱推断方法、系统、计算机设备及存储介质
CN113554105B (zh) * 2021-07-28 2023-04-18 桂林电子科技大学 一种基于时空融合的物联网缺失数据补全方法
US20230083161A1 (en) * 2021-09-16 2023-03-16 Accenture Global Solutions Limited Systems and methods for low latency analytics and control of devices via edge nodes and next generation networks
US20230107337A1 (en) * 2021-10-04 2023-04-06 Falkonry Inc. Managing machine operations using encoded multi-scale time series data
CN114282724A (zh) * 2021-12-24 2022-04-05 中山职业技术学院 水产养殖水体水质预测系统和方法
WO2023149236A1 (ja) * 2022-02-04 2023-08-10 国立大学法人大阪大学 学習装置、予測装置、学習方法、予測方法、学習プログラム及び予測プログラム
CN117793579A (zh) * 2024-02-23 2024-03-29 西安拓米网络科技有限公司 基于物联网的计量设备远程监测管理方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973440A (ja) 1995-09-06 1997-03-18 Fujitsu Ltd コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法
JP5142135B2 (ja) * 2007-11-13 2013-02-13 インターナショナル・ビジネス・マシーンズ・コーポレーション データを分類する技術
CN102341802B (zh) * 2009-06-30 2014-05-28 国际商业机器公司 图的相似度计算系统和方法
TWI515522B (zh) * 2010-12-28 2016-01-01 萬國商業機器公司 測定系統情況的方法、電腦程式及電腦
JP5901140B2 (ja) * 2011-05-17 2016-04-06 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ システムの高い可用性のためにセンサデータを補間する方法、コンピュータプログラム、システム。
DE112012003110T5 (de) * 2011-07-25 2014-04-10 International Business Machines Corp. Verfahren, Programmprodukt und System zur Datenidentifizierung
US20130116991A1 (en) * 2011-11-08 2013-05-09 International Business Machines Corporation Time series data analysis method, system and computer program
JP5911101B2 (ja) * 2012-08-30 2016-04-27 日本電信電話株式会社 音響信号解析装置、方法、及びプログラム
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
JP5816771B1 (ja) * 2015-06-08 2015-11-18 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置ユニット
US10460251B2 (en) * 2015-06-19 2019-10-29 Preferred Networks Inc. Cross-domain time series data conversion apparatus, methods, and systems
DE102016008987B4 (de) * 2015-07-31 2021-09-16 Fanuc Corporation Maschinenlernverfahren und Maschinenlernvorrichtung zum Lernen von Fehlerbedingungen, und Fehlervorhersagevorrichtung und Fehlervorhersagesystem, das die Maschinenlernvorrichtung einschließt
US10410113B2 (en) * 2016-01-14 2019-09-10 Preferred Networks, Inc. Time series data adaptation and sensor fusion systems, methods, and apparatus

Also Published As

Publication number Publication date
US10410113B2 (en) 2019-09-10
WO2017122784A1 (en) 2017-07-20
JP2019502212A (ja) 2019-01-24
US20170206464A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
JP6842466B2 (ja) コンピュータシステム、ニューラルネットワークシステム、方法、コンピュータ実行可能プログラム及び車両
JP6942833B2 (ja) クロスドメイン時系列データ変換装置、方法、およびシステム
Ata et al. Modelling smart road traffic congestion control system using machine learning techniques
US11868684B2 (en) Digital platform using cyber-physical twin structures providing an evolving digital representation of a risk-related real world asset for quantifying risk measurements, and method thereof
US20220139092A1 (en) Model generating apparatus, method and program, and prediction apparatus
US20210125076A1 (en) System for predicting aggressive driving
US20210129852A1 (en) Configuration of a Vehicle Based on Collected User Data
US20180068206A1 (en) Object recognition and classification using multiple sensor modalities
WO2020184084A1 (ja) 学習装置、推定装置、データ生成装置、学習方法、及び学習プログラム
US20200134639A1 (en) Homogeneous model of hetergeneous product lifecycle data
JP2018027776A (ja) 運転者行動予測モデルの個人適合
JP2018028906A (ja) ディープ（双方向）再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム
US20140195214A1 (en) Automatic driver modeling for integration of human-controlled vehicles into an autonomous vehicle network
CN111936947A (zh) 基于众包对象数据映射确定自主车辆状态
Lu et al. Graph-based structural change detection for rotating machinery monitoring
US10431023B1 (en) Systems and methods to test an autonomous vehicle
Liu et al. Information fusion for national airspace system prognostics: A NASA ULI project
JP7453209B2 (ja) 不注意運転予測システム
CN113761728B (zh) 基于车联网平台的机场电动特种车辆故障预警方法
Suman et al. Early detection of mechanical malfunctions in vehicles using sound signal processing
WO2021182000A1 (ja) パラメータ調整装置、推論装置、パラメータ調整方法、及びパラメータ調整プログラム
US20230359705A1 (en) Automatic link prediction for points in commercial and industrial environments
WO2024064286A1 (en) Microweather classification
Lee et al. Quantum Embedding Framework of Industrial Data for Quantum Deep Learning
Ahn et al. Decision-Making Tool for Road Preventive Maintenance Using Vehicle Vibration Data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210219

R150 Certificate of patent or registration of utility model

Ref document number: 6842466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250