JP2023524657A - 多変量時系列データの依存関係の決定システム、方法 - Google Patents

Abstract

多変量時系列データ分析に関するシステムおよび方法であって、コンピュータ実行可能コンポーネントを格納するメモリを備え、メモリに動作可能に結合され、メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサを備える。前記コンピュータ実行可能コンポーネントは、不確実性の尺度によって制御される注意機構を使用して多変量時系列データ間の依存関係を発見する機械学習モデルを生成する、時系列分析コンポーネントを含む。

Description

本発明は、多変量時系列データから依存関係を決定することに関連しており、より詳細には、深層学習ニューラル・ネットワークを使用して信頼性値と共に多変量時系列データの依存関係を決定することに関連している。

深層学習ニューラル・ネットワークは、ニューラル機械翻訳、画像分類、および字幕生成などの、複数の機械学習問題のためのベンチマーク・モデルになっている。しかし、時系列分析における深層学習ニューラル・ネットワークの使用は依然として困難であり、これまでは、時系列データを予測する従来の作業に重点を置いていた。多くの実用的な時系列アプリケーションの場合、信頼性と共に多変量時系列データ間の依存関係を発見することは、観察されるデータの背後にある相互関係があるイベント／因果関係を示すイベントあるいはその両方を説明し、時系列変動に対するより多くの洞察を提供するのに役立つことができ、したがって、より良い決定を行うことにおいてユーザを支援することができる。そのようなアプリケーションは、例えば、クラウド・サービス管理、財政投資、および医療安全性を含むことができる。

深層学習の過去の成功は、非線形データ変換の複数のステップを適用することによって複雑で有益な特徴を生成する能力だけでなく、学習作業に関連する入力特徴に対して大きい注意係数を生成することによってメモリ・アクセス機構として機能することができる注意機構（Attention mechanism）の採用にも起因する。しかし、注意機構は、学習プロセスが、通常は、トレーニング段階の間に使用可能な注意（Attention）に関する明示的なグランド・トゥルースのない、教師なしであるため、大量の不安定性に関連付けられる可能性がある。さらに、時系列データは、非常にノイズが多く、変動しやすく、時間的に変化する可能性があり、したがって、従来のニューラル・ネットワークを使用して時系列データをモデル化することは、依存関係および予測された値に対する過剰な信頼性につながるだけでなく、データの不確実性を評価することにおける精度の欠如を引き起こす可能性がある。

以下に、本発明の１つまたは複数の実施形態の基本的理解を可能にするための概要を示す。この概要は、主要な要素または重要な要素を特定するよう意図されておらず、特定の実施形態の範囲または特許請求の範囲を正確に説明するよう意図されていない。この概要の唯一の目的は、後で提示されるより詳細な説明のための前置きとして、概念を簡略化された形態で提示することである。本明細書に記載された１つまたは複数の実施形態では、確実性値と共に多変量時系列データ内の依存関係を決定できるシステム、コンピュータ実装方法、装置、またはコンピュータ・プログラム製品、あるいはその組み合わせが説明される。

本発明の１つの態様によれば、システムが提供される。このシステムは、コンピュータ実行可能コンポーネントを格納するメモリを備える。このシステムは、メモリに動作可能に結合され、メモリに格納されたコンピュータ実行可能コンポーネントを実行する、プロセッサも備える。コンピュータ実行可能コンポーネントは、不確実性の尺度に基づいて注意機構を使用して多変量時系列データ間の依存関係を発見する機械学習モデルを生成する、時系列分析コンポーネントを含む。そのようなシステムの利点は、主に教師なし機械学習トレーニングに基づいて非常に正確な予測を可能にすることであることができる。

一部の例では、システムは、構成された一連の多変量時系列データにわたってデータの異なるサンプリング・レートを一致させることによって多変量時系列データをエンコードすることができるエンコーダ・コンポーネントをさらに備えることができる。エンコーディングは、多変量時系列データを拡張可能かつ並列化可能にすることができる。このシステムは、機械学習モデルの注意ネットワーク層を使用して、不確実性の尺度に基づいて、エンコードされた多変量時系列データ間で注意を正則化することができる注意デコーダ・コンポーネントを備えることもできる。そのようなシステムの利点は、長いデータ・シーケンスにもかかわらず、データを拡張可能かつ並列化可能にすることができる方法での多変量時系列データのエンコーディングであることができる。

別の態様によれば、コンピュータ実装方法が提供される。コンピュータ実装方法は、プロセッサに動作可能に結合されたシステムによって、不確実性の尺度に基づいて注意機構を使用して多変量時系列データ間の依存関係を発見する機械学習モデルを生成することを含む。そのようなコンピュータ実装方法の利点は、変動しやすい注意またはランダムな注意を学習することから離れて深層ニューラル・ネットワークを正則化することができる、注意機構の移植であることができる。

一部の例では、コンピュータ実装方法は、システムによって、機械学習モデルの注意ネットワーク層を使用して、不確実性の尺度に基づいて、エンコードされた多変量時系列データ間で注意を正則化することをさらに含むことができる。コンピュータ実装方法は、システムによって、注意ネットワーク層で実行されるモンテカルロ・サンプリングを介して、依存関係に関する不確実性定量化を生成することを含むこともできる。多変量時系列データは、測定可能な特性を特徴付けることができる。さらに、コンピュータ実装方法は、システムによって、発見された依存関係および不確実性定量化に基づいて、測定可能な特性の値を予測することを含むことができる。そのようなコンピュータ実装方法の利点は、観察可能なシステムの動作状態を特徴付ける複数の変数間の相関関係または因果関係あるいはその両方に対する洞察であることができる。

別の態様によれば、多変量時系列データを分析するためのコンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、プログラム命令が具現化されているコンピュータ可読ストレージ媒体を備える。プログラム命令は、プロセッサによって実行可能であり、プロセッサに、プロセッサによって、不確実性の尺度に基づいて注意機構を使用して多変量時系列データ間の依存関係を発見する機械学習モデルを生成することを実行させる。そのようなコンピュータ・プログラム製品の利点は、データ内の注意パターンの検索空間を絞り込む際の機械学習モデルの収束率の活用であることができる。

一部の例では、プログラム命令は、プロセッサに、プロセッサによって、構成された一連の多変量時系列データにわたって異なるデータ・サンプリング・レートを一致させることによって、多変量時系列データをエンコードすることをさらに実行させることができ、エンコーディングは、多変量時系列データを拡張可能かつ並列化可能にする。さらに、プログラム命令は、プロセッサに、プロセッサによって、機械学習モデルの注意ネットワーク層を使用して不確実性の尺度に基づいてエンコードされた多変量時系列データ間で注意を正則化することをさらに実行させることができる。さらに、プログラム命令は、プロセッサに、プロセッサによって、不確実性の尺度が定義されたしきい値より小さくなる結果をもたらすエンコードされた多変量時系列データの注意構成にペナルティを科すことをさらに実行させることができる。そのようなコンピュータ・プログラム製品の利点は、ニューラル・ネットワーク・モデルのニューラル・ウェイトすべてにわたって確率分布を学習するためのベイズ理論の使用であることができる。

本特許ファイルまたは出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を含む本特許または特許出願公開のコピーは、要求および必要な料金の支払いに応じて、米国特許局によって提供される。

本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データ内の依存関係を発見することができる例示的な非限定的システムのブロック図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、データを拡張可能かつ並列化可能にするために、多変量時系列データをエンコードすることができる例示的な非限定的システムのブロック図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、機械学習モデルの１つまたは複数の注意ネットワーク層にわたって、エンコードされた多変量時系列データを集約および分散することができる例示的な非限定的システムのブロック図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列デーから依存関係を発見すること、または依存関係に関連付けられた確実性の量を定量化すること、あるいはその両方を実行することができる例示的な非限定的システムのブロック図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データから依存関係を発見するために１つまたは複数の機械学習モデルによって実装されることができる例示的な非限定的学習目的関数を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データ間の１つまたは複数の依存関係を発見するために１つまたは複数の自律的コンピュータ・システムによって実施されることができる例示的な非限定的方法のフロー図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データ内の依存関係を発見すること、時系列データを予測すること、または不確実性の関連量を定量化すること、あるいはその組み合わせにおいて１つまたは複数の機械学習技術の有効性を示すことができる例示的な非限定的グラフを示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データ内の依存関係を発見することができる１つまたは複数のシステムの有効性を示すことができる例示的な非限定的チャートおよびグラフを示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データ内の依存関係を発見することを容易にするができる例示的な非限定的コンピュータ実装方法のフロー図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って、多変量時系列データ内の依存関係を発見することを容易にするができる例示的な非限定的コンピュータ実装方法のフロー図を示す図である。 本明細書に記載された１つまたは複数の実施形態に従ってクラウド・コンピューティング環境を示す図である。 本明細書に記載された１つまたは複数の実施形態に従って抽象モデル・レイヤを示す図である。 本明細書に記載された１つまたは複数の実施形態を容易にすることができる例示的な非限定的動作環境を示すブロック図である。

以下の詳細な説明は、例にすぎず、実施形態、または実施形態の適用もしくは使用、あるいはその両方を制限するよう意図されていない。さらに、先行する「背景技術」または「発明の概要」のセクション、あるいは「発明を実施するための形態」のセクションで提示された、いずれかの明示されたか、または暗示された情報によって制約されるという意図はない。

ここで、図面を参照して１つまたは複数の実施形態が説明され、図面全体を通じて、類似する参照番号が、類似する要素を参照するために使用されている。以下の説明では、説明の目的で、１つまたは複数の実施形態を十分に理解できるように、多数の特定の詳細が示されている。しかし、これらの特定の詳細がなくても、さまざまな事例において、１つまたは複数の実施形態が実践されるということは明らかである。

時系列データ分析の他の実装に伴う問題を前提として、本開示は、安定した信頼できる時系列間の依存関係を発見することを学習できる深層ニューラル・ネットワーク・モデルを採用することによって、生成された出力に関連付けられた信頼性値を提供しながら、これらの問題のうちの１つまたは複数に対する解を生成するように実装されることができる。本明細書に記載された１つまたは複数の実施形態は、有利に、１つまたは複数のシャノン・エントロピーに基づくペナルティを実装する１つまたは複数の注意機構を採用することができ、モデルが時系列データ内の注意パターンの検索空間を絞り込む際に、機械学習モデルの収束率を活用することができる。さらに、点推定手法を採用する従来の深層学習モデルとは異なり、本明細書に記載されたさまざまな実施形態は、１つまたは複数の確率分布によって特徴付けられることができる重みを含む無数の深層学習モデルの集合を学習することができる。

本発明のさまざまな実施形態は、効率的、効果的、かつ自律的な時系列データ分析を（例えば、直接的な人間による誘導なしで）容易にする、コンピュータ処理システム、コンピュータ実装方法、装置、またはコンピュータ・プログラム製品、あるいはその組み合わせを対象にすることができる。例えば、本明細書に記載された１つまたは複数の実施形態では、１つまたは複数の時系列データの依存関係（例えば、相互依存関係）を発見すること、発見された依存関係に関する信頼性値を生成すること、および依存関係または関連信頼性値あるいはその両方に基づいて未来の時系列データを予測することができる。例えば、本明細書に記載された１つまたは複数の実施形態は、１つまたは複数の注意機構を採用することができる深層学習ニューラル・ネットワークを考慮することができ、注意機構は、トレーニング・プロセスの間に注意係数から直接計算される不確実性の尺度（例えば、シャノン・エントロピー）に基づいて学習目的関数にペナルティを科す。それによって、さまざまな実施形態は、変動しやすい注意またはランダムな注意を学習することから離れて深層ニューラル・ネットワークを正則化することができる。

コンピュータ処理システム、コンピュータ実装方法、装置、またはコンピュータ・プログラム製品、あるいはその組み合わせは、本質的に高度に技術的であり、抽象的ではなく、人間による一連の精神的活動として実行できない問題（例えば、多変量時系列の依存関係の教師なしでの発見）を解決するための、ハードウェアまたはソフトウェアあるいはその両方を採用する。例えば、１人または複数人は、本明細書に記載されたさまざまな実施形態によって達成される効率で、膨大な量の時系列データ内の相互依存関係を発見することができない。例えば、人は、数十個、数百個、または数千個もの時間枠を含んでいる可能性がある時系列データ内の複数の変数にわたって、微細パターン認識を容易に検出すること、または分析すること、あるいはその両方を行うことができない。さらに、本明細書に記載されたさまざまな実施形態は、人間の能力によって再現されることができないレベルのデータ機密性を可能にすることができる機械学習技術を採用することができる。

また、本明細書に記載された１つまたは複数の実施形態は、観察されるデータまたは時系列変動あるいはその両方の背後にある相互関係があるイベント／因果関係を示すイベントあるいはその両方について詳細に説明するために、発見された時系列データの依存関係に関連付けられた信頼性値を生成することによって、従来の時系列データ分析を上回る技術的改良を構成することができる。さらに、本明細書に記載されたさまざまな実施形態は、深層学習ニューラル・ネットワークがニューラル・ウェイトすべてにわたって確率分布を学習し、それによって、モデルの信頼性の表記を強化することができるようにするベイズ理論を利用することによって、従来の時系列分析を上回る技術的改良を示すことができる。

さらに、本明細書に記載された１つまたは複数の実施形態は、１つまたは複数の機械的システムもしくはコンピュータ・システム、または機械的機能もしくはコンピュータ機能、あるいはその組み合わせの操作または維持あるいはその両方に対する洞察を提供することによって、実用的応用を有することができる。例えば、本明細書に記載されたさまざまな実施形態は、観察された経験に基づいて、ある変数に対する別の変数の操作からの影響が予測されることができるように、変数間の相関関係または因果関係あるいはその両方を特徴付けることができる、時系列データの依存関係を発見することができる。本明細書に記載された１つまたは複数の実施形態は、高く不安定な不確実性の尺度（例えば、シャノン・エントロピー値）をもたらす注意構成にペナルティを科す注意機構を採用するために、深層学習ニューラル・ネットワークの１つまたは複数の注意ネットワーク層を制御することができる。それによって、１つまたは複数の実施形態は、データ内の注意パターンの検索空間を絞り込みながら、機械学習モデルの収束率を活用することができる。

本明細書において使用されるとき、「機械学習」という用語は、学習されたか、または改良されたか、あるいはその両方である知識の明示的なプログラミングなしで、経験（例えば、トレーニング・データ）から自動的または自律的あるいはその両方で学習するため、または改良するため、あるいはその両方のための、人工知能技術の適用のことを指すことができる。例えば、機械学習作業は、１つまたは複数のアルゴリズムを利用して、分類、回帰、またはクラスタ化、あるいはその組み合わせなどの作業を実行するための教師あり学習または教師なし学習あるいはその両方を促進することができる。機械学習作業の実行は、１つまたは複数のモデル構成設定に従って、１つまたは複数のデータセットに対してトレーニングされた、１つまたは複数の人工知能モデルによって容易にされることができる。

本明細書において使用されるとき、「機械学習モデル」という用語は、１つまたは複数の機械学習作業を容易にするために使用されることができるコンピュータ・モデルのことを指すことができ、このコンピュータ・モデルは、抽象的なニューロンに類似することができる複数の相互接続された処理ユニットをシミュレートすることができる。本明細書に記載されたさまざまな実施形態では、機械学習モデルは、１つまたは複数のニューラル・ネットワーク・モデルの形態で採用されることができる。例えば、処理ユニットは、変化する接続強度（例えば、従来技術において一般に「重み」と呼ばれることができる）によって接続された複数の層（例えば、１つまたは複数の入力層、１つまたは複数の隠れ層、または１つまたは複数の出力層、あるいはその組み合わせ）に配置されることができる。ニューラル・ネットワーク・モデルは、トレーニングを通じて学習することができ、トレーニングでは、既知の結果を含むデータがコンピュータ・モデルに入力されること、このデータに関する出力が既知の結果と比較されること、またはこの比較に基づいて、既知の結果を再現するようにコンピュータ・モデルの重みが自律的に調整されること、あるいはその組み合わせが実行される。本明細書において使用されるとき、「トレーニング・データ」という用語は、１つまたは複数のニューラル・ネットワーク・モデルをトレーニングするために使用されるデータまたはデータ・セットあるいはその両方のことを指すことができる。ニューラル・ネットワーク・モデルがトレーニングするにつれて（例えば、より多くのトレーニング・データを利用するにつれて）、コンピュータ・モデルはますます正確になることができ、したがってトレーニングされたニューラル・ネットワーク・モデルは、１つまたは複数の機械学習作業を容易にするためのトレーニング・データからの知識の学習に基づいて、未知の結果を含むデータを正確に分析することができる。例示的なニューラル・ネットワーク・モデルは、パーセプトロン（Ｐ：perceptron）、フィードフォワード（ＦＦ：feed forward）、動径基底ネットワーク（ＲＢＦ：radial basis network）、深層フィードフォワード（ＤＦＦ：deepfeed forward）、回帰型ニューラル・ネットワーク（ＲＮＮ：recurrent neuralnetwork）、長短期記憶（ＬＳＴＭ：long/short term memory）、ゲート付き回帰型ユニット（ＧＲＵ：gated recurrent unit）、オート・エンコーダ（ＡＥ：autoencoder）、変分ＡＥ（ＶＡＥ：variational AE）、ノイズ除去ＡＥ（ＤＡＥ：denoising AE）、スパースＡＥ（ＳＡＥ：sparse AE）、マルコフ連鎖（ＭＣ：markov chain）、ホップフィールド・ネットワーク（ＨＮ：Hopfieldnetwork）、ボルツマン・マシン（ＢＭ：Boltzmann machine）、ディープ・ビリーフ・ネットワーク（ＤＢＮ：deep belief network）、深層畳み込みネットワーク（ＤＣＮ：deepconvolutional network）、逆畳み込みネットワーク（ＤＮ：deconvolutionalnetwork）、深層畳み込みインバース・グラフィックス・ネットワーク（ＤＣＩＧＮ：deepconvolutional inverse graphics network）、敵対的生成ネットワーク（ＧＡＮ：generative adversarial network）液体状態マシン（ＬＳＭ：liquidstate machine）、エクストリーム・ラーニング・マシン（ＥＬＭ：extreme learningmachine）、エコー状態ネットワーク（ＥＳＮ：echo state network）、深層残差ネットワーク（ＤＲＮ：deep residual network）、コホーネン・ネットワーク（ＫＮ：kohonennetwork）、サポート・ベクター・マシン（ＳＶＭ：support vector machine）、またはニューラル・チューリング・マシン（ＮＴＭ：neural turing machine）、あるいはその組み合わせを含むことができるが、これらに限定されない。

図１は、多変量時系列データ内の依存関係を発見することができる例示的な非限定的システム１００のブロック図を示している。本明細書に記載の他の実施形態で使用している同様の要素の繰り返しの説明は、簡潔さのために省略する。本発明のさまざまな実施形態におけるシステム（例えば、システム１００など）、装置、またはプロセスの態様は、１つまたは複数のマシン内で具現化された（例えば、１つまたは複数のマシンに関連付けられた１つまたは複数のコンピュータ可読媒体内で具現化された）１つまたは複数の機械実行可能コンポーネントを構成することができる。そのようなコンポーネントは、１つまたは複数のマシン（例えば、コンピュータ、コンピューティング・デバイス、仮想マシンなど）によって実行された場合に、マシンに、説明された動作を実行させることができる。

図１に示されているように、システム１００は、１つまたは複数のサーバ１０２、１つまたは複数のネットワーク１０４、入力デバイス１０６、または観察可能なシステム１０８、あるいはその組み合わせを備えることができる。サーバ１０２は、時系列分析コンポーネント１１０を備えることができる。時系列分析コンポーネント１１０は、通信コンポーネント１１２をさらに備えることができる。また、サーバ１０２は、少なくとも１つのメモリ１１６を備えるか、またはその他の方法で少なくとも１つのメモリ１１６に関連付けられ得る。サーバ１０２は、時系列分析コンポーネント１１０および関連するコンポーネント、メモリ１１６、またはプロセッサ１２０、あるいはその組み合わせなどの、ただしこれらに限定されない、種々のコンポーネントに結合することができる、システム・バス１１８をさらに備えることができる。図１ではサーバ１０２が示されているが、他の実施形態では、さまざまな種類の複数のデバイスが、図１に示されている特徴に関連付けられるか、または図１に示されている特徴を備えることができる。さらに、サーバ１０２は、１つまたは複数のクラウド・コンピューティング環境と通信することができる。

１つまたは複数のネットワーク１０４は、セルラー・ネットワーク、広域ネットワーク（ＷＡＮ：wide area network）（例えば、インターネット）またはローカル・エリア・ネットワーク（ＬＡＮ：local area network）を含むが、これらに限定されない、有線ネットワークおよび無線ネットワークを含むことができる。例えば、サーバ１０２は、例えばセルラー方式、ＷＡＮ、ワイヤレス・フィディリティ（Ｗｉ－Ｆｉ：wireless fidelity）、Ｗｉ－Ｍａｘ、ＷＬＡＮ、またはＢｌｕｅｔｏｏｔｈ技術、あるいはその組み合わせなどを含むが、これらに限定されない、実質的に任意の望ましい有線技術または無線技術を使用して、１つまたは複数の入力デバイス１０６および／または観察可能なシステム１０８と（およびその逆方向に）通信することができる。さらに、示されている実施形態では、時系列分析コンポーネント１１０を１つまたは複数のサーバ１０２上に設けることができるが、システム１００のアーキテクチャがそのように限られないということが理解されるべきである。例えば、時系列分析コンポーネント１１０または時系列分析コンポーネント１１０の１つまたは複数のコンポーネントは、別のサーバ・デバイス、クライアント・デバイスなどの別のコンピュータ・デバイスに存在することができる。

１つまたは複数の入力デバイス１０６は、パーソナル・コンピュータ、デスクトップ・コンピュータ、ラップトップ・コンピュータ、携帯電話（例えば、スマートフォン）、（例えば、プロセッサを備えている）コンピュータ化されたタブレット、スマート・ウォッチ、キーボード、タッチ・スクリーン、またはマウス、あるいはその組み合わせなどを含むことができるが、これらに限定されない、１つまたは複数のコンピュータ化されたデバイスを含むことができる。１つまたは複数の入力デバイス１０６は、本明細書に記載されたさまざまな実施形態の１つまたは複数のモデル設定、しきい値、または選択、あるいはその組み合わせをシステム１００に入力するために採用されることができ、それによって、（例えば、直接接続を介して、または１つまたは複数のネットワーク１０４を介して、あるいはその両方によって）前述のデータをサーバ１０２と共有する。例えば、１つまたは複数の入力デバイス１０６は、（例えば、直接接続を介して、または１つまたは複数のネットワーク１０４を介して、あるいはその両方によって）データを通信コンポーネント１１２に送信することができる。さらに、１つまたは複数の入力デバイス１０６は、システム１００によって生成された１つまたは複数の出力をユーザに提示できる１つまたは複数のディスプレイを備えることができる。例えば、１つまたは複数のディスプレイは、陰極管ディスプレイ（ＣＲＴ：cathode tube display）、発光ダイオード・ディスプレイ（ＬＥＤ：light-emittingdiode display）、電界発光ディスプレイ（ＥＬＤ：electroluminescentdisplay）、プラズマ・ディスプレイ・パネル（ＰＤＰ：plasma display panel）、液晶ディスプレイ（ＬＣＤ：liquid crystal display）、または有機発光ダイオード・ディスプレイ（ＯＬＥＤ：organic light-emitting diode display）、あるいはその組み合わせなどを含むことができるが、これらに限定されない。

さまざまな実施形態では、１つまたは複数の入力デバイス１０６または１つまたは複数のネットワーク１０４あるいはその両方が、１つまたは複数の設定またはコマンドあるいはその両方をシステム１００に入力するために採用されることができる。例えば、本明細書に記載されたさまざまな実施形態では、１つまたは複数の入力デバイス１０６が、サーバ１０２または関連するコンポーネントあるいはその両方を動作させるか、または操作するか、あるいはその両方を実行するために採用されることができる。さらに、１つまたは複数の入力デバイス１０６は、サーバ１０２または関連するコンポーネントあるいはその両方によって生成された１つまたは複数の出力（例えば、表示、データ、または視覚化、あるいはその組み合わせなど）を表示するために採用されることができる。さらに、１つまたは複数の実施形態では、１つまたは複数の入力デバイス１０６が、クラウド・コンピューティング環境内に含まれるか、またはクラウド・コンピューティング環境に動作可能に結合されるか、あるいはその両方であることができる。

１つまたは複数の実施形態では、１つまたは複数の観察可能なシステム１０８は、時系列分析コンポーネント１１０による観察対象である１つまたは複数の機械的システムまたはコンピュータ・システムあるいはその両方であることができる。追加的に、１つまたは複数の観察可能なシステム１０８は、１つまたは複数のデータ収集コンポーネント１２２を備えることができる。１つまたは複数のデータ収集コンポーネント１２２は、１つまたは複数の機械的システムまたはコンピュータ・システムあるいはその両方に関する多変量時系列データを測定すること、検出すること、収集すること、または集約すること、あるいはその組み合わせを実行することができる。例えば、多変量時系列データは、１つまたは複数の機械的システムまたはコンピュータ・システムあるいはその両方の１つまたは複数の測定可能な特性を特徴付ける１つまたは複数のパラメータ値を含むことができる。さまざまな実施形態では、１つまたは複数のデータ収集コンポーネント１２２は、１つまたは複数のセンサを含むことができる。例示的なセンサは、圧力センサ、振動センサ、温度センサ、マイクロホン、気圧計、加速度計、圧電センサ、またはモーション・センサ、あるいはその組み合わせなどを含むことができるが、これらに限定されない。例えば、１つまたは複数のセンサによって、１つまたは複数の測定可能な特性が検出されるか、または測定されるか、あるいはその両方であることができる。別の例では、１つまたは複数の測定可能な特性は、データのトランザクション、管理、または変更、あるいはその組み合わせなどに関するものであることができる。１つまたは複数のデータ収集コンポーネント１２２は、時系列データを生成すること、集約すること、収集すること、または（例えば、直接的な電気接続または１つまたは複数のネットワーク１０４あるいはその両方を介して）時系列分析コンポーネント１１０と共有すること、あるいはその組み合わせを実行することができる。

通信コンポーネント１１２は、１つまたは複数の入力デバイス１０６によって入力された１つまたは複数の設定または選択あるいはその両方を受信し、これらの設定または選択あるいはその両方を時系列分析コンポーネント１１０の関連コンポーネントと共有することができる。さらに、通信コンポーネント１１２は、１つまたは複数の観察可能なシステム１０８（例えば、データ収集コンポーネント１２２）によって収集された多変量時系列データを受信し、この多変量時系列データを時系列分析コンポーネント１１０の関連コンポーネントと共有することができる。さまざまな実施形態では、通信１１２は、直接的な電気接続または１つまたは複数のネットワーク１０４あるいはその両方を介して、１つまたは複数の入力デバイス１０６または観察可能なシステム１０８（例えば、データ収集コンポーネント１２２）あるいはその両方と通信することができる。

さまざまな実施形態では、時系列分析コンポーネント１１０は、１つまたは複数のベイズ推定を採用する深層学習ニューラル・ネットワークを使用して、１つまたは複数のデータ収集コンポーネント１２２によって使用可能にされた時系列データを分析し、さまざまな時系列間の依存関係を発見することができる。Ｄ個の変数（例えば、成分の時系列）から成る多変量時系列データ（ＭＴＳ：multivariate time series data）は、本明細書では、次の方程式１に従って示されることができる。

ここで、「ｘ」は、特定の時点でのＭＴＳの測定結果を表すことができ、「Ｎ」は、ＭＴＳ内のそれまでの時点の総数を表すことができ、「ｔ」は、各タイムスタンプを表すことができる。したがって、各ｘ_ｔ∈Ｒ^Ｄは、タイムスタンプｔでのＭＴＳのＤ個の測定結果を含む。さらに、ｄ番目の成分の系列

（ｄ＝１．．．．Ｄ）は、過去の値に依存することができるだけでなく、未来の値を決定することができるＭＴＳ内の他の時系列との何らかの依存関係も有する。したがって、

であり、ωによってパラメータ化されたｆ^ωは、ニューラル・ネットワークなどの近似関数であることができ、ｍは正の整数である。さらに、さまざまな実施形態は、ＭＴＳ内の変数のサブセットのみが

の値に影響を与え、時系列分析コンポーネント１１０が、安定性および信頼性と共に、そのような影響の依存関係を発見することができるということを仮定することができる。

図２は、本明細書に記載された１つまたは複数の実施形態に従って、エンコーダ・コンポーネント２０２をさらに備えている例示的な非限定的システム１００の図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。さまざまな実施形態では、エンコーダ・コンポーネント２０２は、構成された一連の多変量時系列データにわたって異なるデータ・サンプリング・レートを一致させることによって、多変量時系列データをエンコードすることができ、それによって、データを拡張可能かつ並列化可能にする。

１つまたは複数の実施形態では、エンコーダ・コンポーネント２０２は、時系列分析コンポーネント１１０によって採用された深層学習ニューラル・ネットワーク・モデルのさまざまなエンコーディング・ネットワークによって、タイムスタンプｔでの多変量時系列データの中間特徴ベクトルを学習することができる。例えば、中間特徴ベクトルは、時点ｔで、Ｄ個の入力時系列に関して、

によって示されることができる。したがって、ω_Ｅをエンコーダ・ネットワークのパラメータとして、

である（例えば、「Ｅ」はエンコーダ・ネットワークを示すことができる）。従来のＲＮＮ（例えば、ＬＳＴＭまたはＧＲＵ）を介して中間特徴ベクトルを学習することは、並列化コンピューティングを妨げる可能性があり、多変量時系列データにおいて長いシーケンスを扱う場合、非効率的になる可能性がある。

エンコーダ・コンポーネント２０２は、回帰接続を取り除くことによって効率を高めることができるトランスフォーマー・ネットワーク手法に基づいて、時系列分析コンポーネント１１０によって採用された深層学習ニューラル・ネットワーク・モデルのさまざまなエンコーディング・ネットワークを構築することができる。例えば、エンコーダ・コンポーネント２０２は、マルチヘッド注意構造（multi-head attention structure）を採用することができる。エンコーダ・コンポーネント２０２は、成分のｉ番目の時系列ごとに、（例えば、

によって示された）深層学習ニューラル・ネットワーク・モデルの各エンコーダ・ネットワークをトレーニングすることができる。タイムスタンプｔで、ｉ番目の時系列から

への入力は、シーケンス

であることができ、このシーケンスは、時系列シーケンスの入力順序に関する情報を組み込むことができる位置決めエンコーディング・ベクトル（positioning encoding vector）に十分に整列されることができる。１つまたは複数の実施形態では、エンコーダ・コンポーネント２０２は、シヌソイド関数を位置エンコーディング作業に使用することができる。

は、非線形変換および自己注意の複数の層を介して、タイムスタンプｔでｉ番目の時系列に関して表された特徴エンコーディング・ベクトル（feature encoding vector）

を出力することができる。

図３は、本明細書に記載された１つまたは複数の実施形態に従って、集約コンポーネント３０２をさらに備えている例示的な非限定的システム１００の図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。さまざまな実施形態では、集約コンポーネント３０２は、エンコーディング・コンポーネント２０２によって生成された特徴エンコーディング・ベクトルを集約することができる。例えば、集約コンポーネント３０２は、時系列分析コンポーネント１１０によって採用された深層学習ニューラル・ネットワーク・モデルの１つまたは複数のさらなる層へのその後の分散に備えて、１つまたは複数のエンコーディング・コンポーネント２０２またはエンコーディング・ネットワークあるいはその両方によって生成された複数のエンコーディング・ベクトルを集約することができる。

図４は、本明細書に記載された１つまたは複数の実施形態に従って、注意デコーダ・コンポーネント４０２または予測コンポーネント４０４あるいはその両方をさらに備えている例示的な非限定的システム１００の図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。さまざまな実施形態では、注意デコーダ・コンポーネント４０２は、時系列分析コンポーネント１１０によって採用された深層学習ニューラル・ネットワーク・モデルの１つまたは複数の注意ネットワーク層を使用して、１つまたは複数の不確実性の尺度（例えば、シャノン・エントロピー値）に基づいて、エンコードされた多変量時系列データ間で注意を正則化することができる。例えば、注意デコーダ・コンポーネント４０２によって発達させられた１つまたは複数の注意ネットワーク層は、定義されたしきい値（例えば、高く不安定なシャノン・エントロピー値）より大きい不確実性の尺度（例えば、シャノン・エントロピー値）をもたらすエンコードされた多変量時系列データの注意構成にペナルティを科すことができる。さらに、注意デコーダ・コンポーネント４０２は、機械学習モデルの注意ネットワーク層で実行されるモンテカルロ・サンプリングによって、１つまたは複数の発見された依存関係に関する１つまたは複数の不確実性定量化をさらに生成することができる。

１つまたは複数の実施形態では、注意デコーダ・コンポーネント４０２は、出力のｄ番目の時系列ごとに

に関連付けられた変数

のセットを学習するために、１つまたは複数の注意機構を多変量時系列の文脈に適応させることができる。モデルのアーキテクチャに応じて、

は、スカラーまたは

と同じ次元のベクトルであることができる。それによって、注意デコーダ・コンポーネント４０２は、文脈ベクトルを構築することができ、文脈ベクトルの内容は、次の方程式２に従って、ｄ番目の時系列内の次の値を予測するためにデコードされることができる。

ここで、「

」は、

がベクトルである場合は要素ごとの積であることができ、またはデコーダ・ネットワークの乗算であることができる（例えば、「Ｄ」がデコーダ・ネットワークを示すことができる）。

例えば、

を条件として、

が非負値である。そのため、

は、それに応じて

に対する注意の重みとして解釈されることができる。

の値が大きいということは、より多くの関連情報が

において検出されるということを意味することができる。したがって、ｄ番目の時系列は、時点ｔでｉ番目の時系列に依存する可能性がある。

を学習することを目指して、注意デコーダ・コンポーネント４０２は、加法的形態

を採用することができる。

１つまたは複数の実施形態では、注意デコーダ・コンポーネント４０２は、ベイズ推定によって注意ネットワークを制御するパラメータの事後分布を学習することができる。例えば、この分布は、注意における不確実性を表すことができ、時系列の依存関係を発見することにおいて信頼性値を推定するために、注意デコーダ・コンポーネント４０２によって分析されることができる。例えば、ニューラル・ネットワーク・パラメータは、ω_Ａによって示されることができ（例えば、下付き文字Ａはモデル内の注意を表すことができる）、（例えば、

を予測するために採用された）時系列の注意セット

を学習することを考慮することができる。事前分布は、Ｐｒ（ω_Ａ）によって示されることができる。観察されるデータから学習された特徴ベクトル

を前提として、注意デコーダ・コンポーネント４０２は、次の方程式３に従って、ベイズ定理を用いることによって、パラメータω_Ａの空間すべてにわたって事後分布をモデル化するように、ニューラル・ネットワークをトレーニングすることができる。

ここで、ｘ_ｔ－１は、時間ｔでのＤ個すべての時系列からのトレーニング・シーケンス｛ｘ_ｔ－１，．．．．，ｘ_ｔ－ｍ｝の形態であることができる。さらに、注意デコーダ・コンポーネント４０２は、ｔが進むにつれて、方程式３を定期的に更新すること、または変換すること、あるいはその両方を実行することができる。したがって、ｔがトレーニング・セット内の最新のタイムスタンプである場合、

は、事後分布の最新の状態を特徴付けると見なされることができる。本明細書に記載されたさまざまな実施形態では、確率がＰｒ（ω_Ａ｜ｈ_ｔ）として示されることができる。

ネットワーク・パラメータすべてにわたって事後分布を決定した注意デコーダ・コンポーネント４０２は、次の方程式４に従って、注意変数

のセットすべてにわたって期待値をさらに決定することができる。

ここで

は、（例えば、加法的形態を実装する）注意層を示すことができる。

ω_Ａに関わる多数の連続変数を前提として、方程式３～４の積分を直接計算することは、従来のベイズ理論によって解決困難である可能性がある。しかし、注意デコーダ・コンポーネント４０２は、変分推論技術を近似に利用することによって、そのような計算を可能にすることができる。例えば、注意デコーダ・コンポーネント４０２は、グランド・トゥルースの事後分布Ｐｒ（ω_Ａ｜ｈ_ｔ）を近似するために、θによってパラメータ化された一群の分布Ｑ_θ（ω_Ａ）を変分事後分布として選択することができる。Ｑ_θ（ω_Ａ）は、既知の関数の形態を有することができ、注意デコーダ・コンポーネント４０２は、次の方程式５に従って真の分布Ｐｒ（ω_Ａ｜ｈ_ｔ）へのカルバック・ライブラー（ＫＬ：Kullback-Leibler）距離が最小限に抑えられることができるように、パラメータθを算出することができる。

ＫＬ距離は、相対エントロピーと呼ばれることができ、２つのデータ分布間の距離を定量化するための効果的ツールであることができる。ＫＬ距離は、２つの分布が同一である場合、ゼロになることができる。しかし、この尺度は対称ではなく、注意デコーダ・コンポーネント４０２は、事後分布に従って機械学習モデルが絞り込まれるように、機械学習モデルにＱ_Ａ（ω_Ａ）を強制的に学習させるために、逆ＫＬの形態を採用することができる（例えば、Ｐｒ（ω_Ａ｜ｈ_ｔ）がゼロであるときに常に、Ｑ_θ（ω_Ａ）がゼロになることができる）。

学習された変分分布Ｑ_θ（ω_Ａ）を前提として、注意デコーダ・コンポーネント４０２は、モンテカルロ・サンプリングによって方程式４を効果的に近似することができる。特に、

は、

の出力からの加重平均に起因して、Ｄ次元ベクトルであることができる。注意の重みは、ニューラル・ネットワーク・モデルのソフトマックス層を通過した後に、Ｄ個の入力時系列から発見された情報の量に対応する離散分布を形成することができ、Ｄ個の入力時系列は、タイムスタンプｔでの出力で

を予測することにおいて、予測コンポーネント４０４によってさらに採用されることができる。さまざまな実施形態では、予測コンポーネント４０４は、注意デコーダ・コンポーネント４０２によって容易にされた１つまたは複数の発見された依存関係または不確実性定量化あるいはその両方に基づいて、多変量時系列データによって特徴付けられた測定可能な特性の１つまたは複数の値を予測することができる。

注意デコーダ・コンポーネント４０２によって発達させられた注意ネットワークは、

の一部がゼロに近い場合に、結果における不安定性を防ぐために、小さいエントロピー値を有する注意ベクトルを優先することができる。小さいエントロピー値は、注意の大部分を少数の入力時系列に配置するようにニューラル・ネットワークに促すこともでき、最大のエントロピーは、注意の重みをすべての入力時系列に同じように配置することと同等であることができ、したがって、他の時系列に対するｄ番目の時系列の依存関係を明確に明らかにしない。注意デコーダ・コンポーネント４０２は、次の方程式６に従って、変分事後分布の学習プロセスを正則化することができる。

ここで、２番目の項は、タイムスタンプｔで計算されたエントロピーであることができ、Ｑ_θ（ω_Ａ）は、図５に示されたＰｒ（ω_Ａ｜ｈ_ｔ）の近似として採用されることができる。方程式６の項は、両方とも適切なデータ分布に対して定義されたエントロピーであることができ、それによって、単位を比較可能にする。変分推論の枠組みに従って、注意デコーダ・コンポーネント４０２は、次の方程式７に従って方程式６の１番目の項をさらに分解することができる。

データが証明しているように、

であるため、この項は最適化されるパラメータθから独立しており、省略されることができる。それによって、時系列分析コンポーネント１１０によって採用された機械学習モデルの学習目的関数は、次の方程式８によって特徴付けられることができる。

事前の選択がない場合、Ｑ_θ（ω_Ａ）の一般的な選択は正規分布であることができる。さらに、注意デコーダ・コンポーネント４０２は、損失関数を微分可能にすることによって、確率的勾配降下法を採用することができる。すべての期待値の項が、最適化中のパラメータを含むＱ_θ（ω_Ａ）であるため、再パラメータ化勾配が逆伝搬に適用されることができる。例えば、注意デコーダ・コンポーネント４０２は、最初に

をパラメータのない分布Ｎ（０，Ｉ）からサンプリングし、次に、勾配が定義された確定関数を使用して変換することができる。

Ｐｒ（ｈ_ｔ｜ω_Ａ）を十分に近似する最適なＱ_θ ^＊（ω_Ａ）が存在する場合、予測コンポーネント４０４は、次の方程式９に従って、タイムスタンプｔでのＤ個の時系列

からの入力シーケンスを前提として、次の値

を予測することができる。

方程式９の１行目から２行目まで、注意デコーダ・コンポーネント４０２は、

を介する

を前提として、ｈ_ｔが確定的であり、

を介するω_Ａを前提として、ａ_ｔが確定的あるという事実を採用し、Ｐｒ（ａ_ｔ｜ω_Ａ，ｈ_ｔ）が明白であるということを導き出すことができる。

推論の場合、実際には、（例えば、本明細書に記載された再パラメータ化技術によって）Ｑ_θ（ω_Ａ）からのＫ回のω_Ａの最初のサンプリングが採用されることができる。サンプリングされたω_Ａごとに、

に従って、注意ベクトルが計算されることができる。条件付き分布

を計算するために、特徴ベクトルｈ_ｔと共に注意ベクトルが入力されることができ、この条件付き分布は、Ｋ個のニューラル・ネットワークの集合および分布からのそれらのニューラル・ネットワークの出力値と同等であることができる。さらに、注意デコーダ・コンポーネント４０２は、注意の重みおよび出力予測値の両方に対して、信頼性値を計算することができる。例えば、Ｋの値が大きいほど、近似値に割り当てられる信頼性が高くなる。

図５は、本明細書に記載された１つまたは複数の実施形態に従って、１つまたは複数の注意デコーダ・コンポーネント４０２または予測コンポーネント４０４あるいはその両方によって採用されることができる例示的な非限定的学習目的関数５００の図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。図５は、複数の処理ユニット５０２間の相互接続が破線によって描かれたニューラル・ネットワークに関して、学習目的関数５００を示すことができる。

本明細書において説明され、図５に示されているように、注意デコーダ・コンポーネント４０２は、変分事後分布を学習するために、多層パーセプトロン（ＭＬＰ：multilayer perceptron）ニューラル・ネットワークを採用することができる。混合モデルθ（例えば、ガウス・モデル）によって、機械学習モデルの境界に関するパラメータが（例えば、エンコーダ・コンポーネント２０２によって）エンコードされることができる。ω_Ａの値は、変分事後分布Ｑ_θ（ω_Ａ）からサンプリングされることができるか、または対応する隠れベクトルｈ_１，ｈ_２，．．．ｈ_ｍに関する注意情報ａ_１，ａ_２，．．．ａ_ｍをデコードするために注意デコーダ・コンポーネント４０２によって採用されることができるか、あるいはその両方である。事前分布Ｐｒ_Φ（ω_Ａ）は、パラメータ化され、調整可能であることができる（例えば、混合モデルも含む）。

ＫＬ（Ｑ_θ（ω_Ａ）｜｜Ｐｒ_Φ（ω_Ａ））は、変分事後分布と事前分布の間の相違を示すことができ、本明細書に記載されたさまざまな実施形態に従って、注意デコーダ・コンポーネント４０２によって、全体的な学習目的関数５００にさらに追加されることができる。さらに、注意の重み全体に対してエントロピーを計算するために、注意デコーダ・コンポーネント４０２によって、Ｈ（ａ）の項が採用されることができる。例えば、注意情報ａ_１，ａ_２，．．．ａ_Ｄの重みは、サンプリングされたｗとｈ_１，ｈ_２，．．．ｈ_Ｄの値の間の整列に適用されるソフトマックス層になることができる。本明細書においてさまざまな実施形態で説明され、図５に示されているように、注意デコーダ・コンポーネント４０２は、Ｈ（ａ）を全体的な損失関数にさらに追加することができ、Ｈ（ａ）は、機械学習モデルにペナルティを科し、均一な注意を生成することができる正則化項として機能することができる。図５にも示されているように、ｓ_ｋは、ｈ_１，ｈ_２，．．．ｈ_Ｄから集約された文脈ベクトルの重みを示すことができ、ｋ番目の最終的な出力への入力として機能することができ、系列ｋ内の次の値としてデコードされている。さらに、事後分布からの１回限りのモンテカルロ・サンプリングのω_Ａから計算された各ベクトルが、確率的注意として出力されることができる。さまざまな実施形態では、結果として得られた出力が、（例えば、通信コンポーネント１１２または１つまたは複数のネットワーク１０４あるいはその両方を介して）１つまたは複数の入力デバイス１０６と共有されることができる。

図６は、本明細書に記載された１つまたは複数の実施形態に従って、システム１００による多変量時系列データの分析を容易にすることができる例示的な非限定的方法６００のフロー図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。

６０２で、方法６００は、入力多変量時系列（ＭＴＳ）データに基づいて（例えば、時系列分析コンポーネント１１０によって）ニューラル・ネットワーク・コンポーネントを定義することと、（例えば、時系列分析コンポーネント１１０によって）データの各時系列（ＴＳ：time series）成分を各コンポーネントに分散することとを含むことができる。例えば、本明細書に記載されたさまざまな実施形態に従って、ＭＴＳデータが、１つまたは複数のデータ収集コンポーネント１２２によって入力されることができる。６０４で、方法６００は、分散されたＴＳの各々について（例えば、エンコーダ・コンポーネント２０２によって）エンコーディングを生成することを含むことができる。例えば、ステップ６０４は、説明されたさまざまな実施形態に従って、分散されたＴＳの各々について１つまたは複数の中間特徴ベクトルをエンコードすることを含むことができる。６０６で、収束を確認するために、６０４でのエンコーディングが分析されることができる。エンコーディングが収束を達成した場合、方法６００が６０８に進むことができ、エンコーディングが収束しなかった場合、収束が達成されるまで方法６００が６０４を繰り返すことができる。

６０８で、方法６００は、（例えば、集約コンポーネント３０２によって）エンコードされたデータを集約し、その後、エンコードされたデータを１つまたは複数の注意デコーダに分散することを含むことができる。６１０で、方法６００は、エンコードされたベクトルを分析するために、（例えば、注意デコーダ・コンポーネント４０２または予測コンポーネント４０４あるいはその両方によって）１つまたは複数の注意機構を実装することを含むことができる。図６に示されているように、各ＴＳに関して、注意機構の実装が（例えば同時に、または連続的に）複数回実施されることができる。例えば、方程式１～９または図５に示された学習目的関数あるいはその両方などの、本明細書に記載されたさまざまな特徴に従って、１つまたは複数の注意機構が実装されることができる。

６１２で、６１０で注意機構から生じた注意値が、これらの値が小さい不確実性の尺度（例えば、シャノン・エントロピー値）および高い予測精度に関連付けられているかどうかを判定するために、評価されることができる。不確実性の尺度（例えば、シャノン・エントロピー値）が許容できると見なされるほど十分に小さいかどうかを評価するために、定義された（例えば、１つまたは複数の入力デバイス１０６を介して設定された）エントロピーしきい値が採用されることができる。さらに、関連信頼性値が期待される高い予測精度に対応するかどうかを評価するために、定義された（例えば、１つまたは複数の入力デバイスを介して設定された）信頼性しきい値が採用されることができる。エントロピー値が高すぎる（例えば、定義されたエントロピーしきい値より大きい）ということが判明したか、または予測精度が低すぎる（例えば、定義された信頼性しきい値より低い）ということが判明したか、あるいはその両方である場合、方法６００はステップ６１０を繰り返すことができる。エントロピー値が十分に小さい（例えば、定義されたエントロピーしきい値未満である）ということが判明したか、または予測精度が十分に高い（例えば、定義された信頼性しきい値より高い）ということが判明したか、あるいはその両方である場合、方法６００はステップ６１４に進むことができる。６１４で、方法６００は、（例えば、時系列分析コンポーネント１１０、通信コンポーネント１１２、ネットワーク１０４、または入力デバイス１０６、あるいはその組み合わせによって）ＭＴＳの他のＴＳに関する各ＴＳの相互依存関係を、確実性値または予測値あるいはその両方と共に、報告することを含むことができる。

図７～８は、本明細書に記載された１つまたは複数の実施形態に従って、システム１００の有効性を示すことができる例示的な非限定的グラフおよびチャートの図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。例えば、図７は、時系列分析コンポーネント１１０によって生成されることができる予測値、不確実性値、または依存関係値、あるいはその組み合わせを示している。図７に示された時系列は、１つまたは複数のデータ収集コンポーネント１２２の１つまたは複数の温度センサによって測定された温度データに関するものであることができる。図７に示されているように、グラフ７０１は、後で測定された時系列値に対してマッピングされた時系列予測を示しており、グラフ７０４は、時系列分析コンポーネント１１０によって決定された予測または依存関係あるいはその両方に関連付けられた不確実性値を示しており、グラフ７０６は、時系列分析コンポーネント１１０によって発見された多変量時系列データ内の依存関係を示している。グラフ７０１に関して、線７０２は予測されたＭＴＳデータを表すことができ、線７０３は測定されたＭＴＳデータを表すことができ、線７０２および７０３は、かなり重複している（例えば、それによって予測の高い精度を示している）。グラフ７０６に示されているように、１つまたは複数の観察可能なシステム１０８は、温度、実際の圧力、第１のシリコン制御整流器（ＳＣＲ：silicon controlled rectifier）電圧（例えば、「内部のＳＣＲ電圧」）、第２のＳＣＲ電圧（例えば、「外部のＳＣＲ電圧」）、またはＳＣＲ電力（例えば、「ＳＣＲ電力ＳＰ」）、あるいはその組み合わせを含む、複数の測定可能な特性によって特徴付けられることができる。複数の測定可能な特性は、データ収集コンポーネント１２２の１つまたは複数のセンサによって確認され、多変量時系列データによって特徴付けられることができる。さらに、測定可能な特性間の依存関係は、グラフ７０６で報告されているように、それらの依存関係が時系列分析コンポーネント１１０によって発見されることができるため、観察されるシステム内に存在する可能性がある。

チャート８００およびグラフ８０２は、システム１００の有効性を示すために使用された合成データに関するものである。合成多変量時系列データは、依存関係の既知のグランド・トゥルースを含んでおり、時系列分析コンポーネント１１０によって生成された依存関係予測を検証するために使用されることができる。チャート８００およびグラフ８０２に示された結果は、時系列分析コンポーネント１１０による１０個の時系列成分の分析に関するものである。図８に示されているように、注意デコーダ・コンポーネント４０２によって採用された注意機構に組み込まれたエントロピー正則化は、発見される依存関係または生成される予測あるいはその両方の精度を高めることができる。

図９は、本明細書に記載された１つまたは複数の実施形態に従って、システム１００による時系列データ分析を容易にすることができる例示的な非限定的コンピュータ実装方法９００のフロー図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。

９０２で、コンピュータ実装方法９００は、プロセッサ１２０に動作可能に結合されたシステム１００によって、（例えば、通信コンポーネント１１２を介して）１つまたは複数の観察可能なシステム１０８に関する多変量時系列データを受信することを含むことができる。例えば、多変量時系列データは、１つまたは複数の観察可能なシステム１０８を特徴付けることができる１つまたは複数の測定可能な特性を含むことができる。例えば、本明細書に記載されたさまざまな実施形態に従って、多変量時系列データは、１つまたは複数のデータ収集コンポーネント１２２によって収集されるか、測定されるか、検出されるか、または生成されるか、あるいはその組み合わせが実行されることができる。

９０４で、コンピュータ実装方法９００は、システム１００によって、１つまたは複数の不確実性の尺度（例えば、シャノン・エントロピー値）に基づいて、１つまたは複数の注意機構を使用して、多変量時系列データ間の１つまたは複数の依存関係を発見することができる１つまたは複数の機械学習モデル（例えば、ニューラル・ネットワーク・モデル）を（例えば、時系列分析コンポーネント１１０によって）生成することを含むことができる。例えば、方程式１～９または図５に示された学習目的関数あるいはその両方を含む、本明細書に記載されたさまざまな実施形態に従って、１つまたは複数の注意機構が実装されることができる。

図１０は、本明細書に記載された１つまたは複数の実施形態に従って、システム１００による時系列データ分析を容易にすることができる例示的な非限定的コンピュータ実装方法１０００のフロー図を示している。本明細書に記載された他の実施形態で採用されている類似する要素の説明の繰り返しは、簡潔にするために省略されている。

１００２で、コンピュータ実装方法１０００は、プロセッサ１２０に動作可能に結合されたシステム１００によって、（例えば、通信コンポーネント１１２を介して）１つまたは複数の観察可能なシステム１０８に関する多変量時系列データを受信することを含むことができる。例えば、多変量時系列データは、１つまたは複数の観察可能なシステム１０８を特徴付けることができる１つまたは複数の測定可能な特性を含むことができる。例えば、本明細書に記載されたさまざまな実施形態に従って、多変量時系列データは、１つまたは複数のデータ収集コンポーネント１２２によって収集されるか、測定されるか、検出されるか、または生成されるか、あるいはその組み合わせが実行されることができる。

１００４で、コンピュータ実装方法１０００は、システム１００によって、構成された一連の多変量時系列データにわたって異なるデータ・サンプリング・レートを一致させることによって、（例えば、エンコーダ・コンポーネント２０２によって）多変量時系列データをエンコードすることを含むことができ、１００４でのエンコーディングは、多変量時系列データを拡張可能かつ並列化可能にすることができる。１００６で、コンピュータ実装方法１０００は、システム１００によって、多変量時系列データ間の１つまたは複数の依存関係を発見するために、機械学習モデル（例えば、ニューラル・ネットワーク・モデル）の１つまたは複数の注意ネットワーク層を使用して、不確実性の尺度（例えば、シャノン・エントロピー値）に基づいて、エンコードされた多変量時系列データ間で（例えば、注意デコーダ・コンポーネント４０２によって）注意を正則化することを含むことができる。

１００８で、コンピュータ実装方法１０００は、システム１００によって、定義されたしきい値より大きい不確実性の尺度（例えば、シャノン・エントロピー値）をもたらすエンコードされた多変量時系列データの注意構成に（例えば、注意デコーダ・コンポーネント４０２によって）ペナルティを科すことを含むことができる（例えば、それによって、不安定さおよび低い予測精度に関連付けられることができる高いエントロピー値の結果にペナルティを科す）。１０１０で、コンピュータ実装方法１０００は、システム１００によって、注意ネットワーク層で実行されるモンテカルロ・サンプリングを介して、（例えば、注意デコーダ・コンポーネント４０２によって）依存関係に関する１つまたは複数の不確実性定量化を生成することを含むことができる。

本開示にはクラウド・コンピューティングに関する詳細な説明が含まれているが、本明細書において示された内容の実装は、クラウド・コンピューティング環境に限定されないと理解されるべきである。本発明の実施形態は、現在既知であるか、または今後開発される任意のその他の種類のコンピューティング環境と組み合わせて実装できる。

クラウド・コンピューティングは、構成可能な計算リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス提供モデルであり、管理上の手間またはサービス・プロバイダとのやりとりを最小限に抑えて、これらのリソースを迅速にプロビジョニングおよび解放することができる。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つのデプロイメント・モデルを含むことができる。

特徴は、次のとおりである。

オンデマンドのセルフ・サービス：クラウドの利用者は、サーバの時間およびネットワーク・ストレージなどの計算能力を一方的に、サービス・プロバイダとの人間的なやりとりを必要とせず、必要に応じて自動的にプロビジョニングすることができる。

幅広いネットワーク・アクセス：クラウドの能力は、ネットワークを経由して利用可能であり、標準的なメカニズムを使用してアクセスできるため、異種のシン・クライアントまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による利用を促進する。

リソース・プール：プロバイダの計算リソースは、プールされ、マルチテナント・モデルを使用して複数の利用者に提供される。さまざまな物理的および仮想的リソースが、要求に従って動的に割り当ておよび再割り当てされる。場所に依存しないという感覚があり、利用者は通常、提供されるリソースの正確な場所に関して管理することも知ることもないが、さらに高い抽象レベルでは、場所（例えば、国、州、またはデータセンター）を指定できる場合がある。

迅速な順応性：クラウドの能力は、迅速かつ柔軟に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトし、迅速に解放されて素早くスケールインすることができる。プロビジョニングに使用できる能力は、利用者には、多くの場合、任意の量をいつでも無制限に購入できるように見える。

測定されるサービス：クラウド・システムは、計測機能を活用することによって、サービスの種類（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザのアカウント）に適した抽象レベルで、リソースの使用を自動的に制御および最適化する。リソースの使用状況は監視、制御、および報告することができ、利用されるサービスのプロバイダと利用者の両方に透明性が提供される。

サービス・モデルは、次のとおりである。

ＳａａＳ（Software as a Service）：利用者に提供される能力は、クラウド・インフラストラクチャ上で稼働しているプロバイダのアプリケーションの利用である。それらのアプリケーションは、Ｗｅｂブラウザ（例えば、Ｗｅｂベースの電子メール）などのシン・クライアント・インターフェイスを介して、種々のクライアント・デバイスからアクセスできる。利用者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能を含む基盤になるクラウド・インフラストラクチャを、限定的なユーザ固有のアプリケーション構成設定を行う可能性を除き、管理することも制御することもない。

ＰａａＳ（Platform as a Service）：利用者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、利用者が作成または取得したアプリケーションをクラウド・インフラストラクチャにデプロイすることである。利用者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、デプロイされたアプリケーション、および場合によってはアプリケーション・ホスティング環境の構成を制御することができる。

ＩａａＳ（Infrastructure as a Service）：利用者に提供される能力は、処理、ストレージ、ネットワーク、およびその他の基本的な計算リソースのプロビジョニングであり、利用者は、オペレーティング・システムおよびアプリケーションを含むことができる任意のソフトウェアをデプロイして実行できる。利用者は、基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、オペレーティング・システム、ストレージ、およびデプロイされたアプリケーションを制御することができ、場合によっては、選択されたネットワーク・コンポーネント（例えば、ホスト・ファイアウォール）を限定的に制御できる。

デプロイメント・モデルは、次のとおりである。

プライベート・クラウド：このクラウド・インフラストラクチャは、組織のためにのみ運用される。この組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。

コミュニティ・クラウド：このクラウド・インフラストラクチャは、複数の組織によって共有され、関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項）を共有している特定のコミュニティをサポートする。これらの組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。

パブリック・クラウド：このクラウド・インフラストラクチャは、一般ユーザまたは大規模な業界団体が使用できるようになっており、クラウド・サービスを販売する組織によって所有される。

ハイブリッド・クラウド：このクラウド・インフラストラクチャは、データとアプリケーションの移植を可能にする標準化された技術または独自の技術（例えば、クラウド間の負荷バランスを調整するためのクラウド・バースト）によって固有の実体を残したまま互いに結合された２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合である。

クラウド・コンピューティング環境は、ステートレス、疎結合、モジュール性、および意味的相互運用性に重点を置いたサービス指向の環境である。クラウド・コンピューティングの中心になるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

ここで図１１を参照すると、例示的なクラウド・コンピューティング環境１１００が示されている。図示されているように、クラウド・コンピューティング環境１１００は、クラウドの利用者によって使用されるローカル・コンピューティング・デバイス（例えば、パーソナル・デジタル・アシスタント（ＰＤＡ：personal digital assistant）または携帯電話１１０４、デスクトップ・コンピュータ１１０６、ラップトップ・コンピュータ１１０８、または自動車コンピュータ・システム１１１０、あるいはその組み合わせなど）が通信できる１つまたは複数のクラウド・コンピューティング・ノード１１０２を含んでいる。ノード１１０２は、互いに通信し得る。ノード１１０２は、１つまたは複数のネットワーク内で、本明細書において前述されたプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、またはハイブリッド・クラウド、あるいはこれらの組み合わせなどに、物理的または仮想的にグループ化されてよい（図示されていない）。これによって、クラウド・コンピューティング環境１１００は、クラウドの利用者がローカル・コンピューティング・デバイス上でリソースを維持する必要のないインフラストラクチャ、プラットフォーム、またはＳａａＳ、あるいはその組み合わせを提供できる。図１１に示されたコンピューティング・デバイス１１０４～１１１０の種類は、例示のみが意図されており、コンピューティング・ノード１１０２およびクラウド・コンピューティング環境１１００は、任意の種類のネットワークまたはネットワーク・アドレス可能な接続（例えば、Ｗｅｂブラウザを使用した接続）あるいはその両方を経由して任意の種類のコンピュータ制御デバイスと通信することができると理解される。

ここで図１２を参照すると、クラウド・コンピューティング環境１１００（図１１）によって提供される機能的抽象レイヤのセットが示されている。本明細書に記載の他の実施形態で使用している同様の要素の繰り返しの説明は、簡潔さのために省略する。図１２に示されたコンポーネント、レイヤ、および機能は、例示のみが意図されており、本発明の実施形態がこれらに限定されないということが、あらかじめ理解されるべきである。図示されているように、次のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェア・レイヤ１２０２は、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例としては、メインフレーム１２０４、ＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャベースのサーバ１２０６、サーバ１２０８、ブレード・サーバ１２１０、ストレージ・デバイス１２１２、ならびにネットワークおよびネットワーク・コンポーネント１２１４が挙げられる。一部の実施形態では、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア１２１３およびデータベース・ソフトウェア１２１８を含む。

仮想化レイヤ１２２０は、仮想サーバ１２２２、仮想ストレージ１２２４、仮想プライベート・ネットワークを含む仮想ネットワーク１２２６、仮想アプリケーションおよびオペレーティング・システム１２２８、ならびに仮想クライアント１２３０などの仮想的実体を提供できる抽象レイヤを備える。

一例を挙げると、管理レイヤ１２３２は、以下で説明される機能を提供することができる。リソース・プロビジョニング１２３４は、クラウド・コンピューティング環境内でタスクを実行するために利用される計算リソースおよびその他のリソースの動的調達を行う。計測および価格設定１２３６は、クラウド・コンピューティング環境内でリソースが利用された際のコスト追跡、およびそれらのリソースの利用に対する請求書の作成と送付を行う。一例を挙げると、それらのリソースは、アプリケーション・ソフトウェア・ライセンスを含んでよい。セキュリティは、クラウドの利用者およびタスクのＩＤ検証を行うとともに、データおよびその他のリソースの保護を行う。ユーザ・ポータル１２３８は、クラウド・コンピューティング環境へのアクセスを利用者およびシステム管理者に提供する。サービス・レベル管理１２４０は、必要なサービス・レベルを満たすように、クラウドの計算リソースの割り当てと管理を行う。サービス水準合意（ＳＬＡ：Service Level Agreement）計画および実行１２４２は、今後の要求が予想されるクラウドの計算リソースの事前準備および調達を、ＳＬＡに従って行う。

ワークロード・レイヤ１２４４は、クラウド・コンピューティング環境で利用できる機能の例を示している。このレイヤから提供されるワークロードおよび機能の例としては、マッピングおよびナビゲーション１２４６、ソフトウェア開発およびライフサイクル管理１２４８、仮想クラスルーム教育の配信１２５０、データ解析処理１２５２、トランザクション処理１２５４、および多変量時系列分析１２５６が挙げられる。本発明のさまざまな実施形態は、図１１および１２を参照して説明されたクラウド・コンピューティング環境を利用して、多変量時系列データを収集するか、または本明細書に記載された１つまたは複数の注意機構を（例えば、機械学習モデルを介して）採用するか、あるいはその両方を行うことができる。

本発明は、任意の可能な統合の技術的詳細レベルで、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を含むコンピュータ可読ストレージ媒体を含んでよい。コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・フロッピー（Ｒ）・ディスク、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-onlymemory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasableprogrammable read-only memoryまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：static random access memory）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波またはその他の自由に伝搬する電磁波、導波管またはその他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、あるいは、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）または広域ネットワーク（ＷＡＮ：wide areanetwork）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル・ロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をカスタマイズするためのコンピュータ可読プログラム命令を実行し得る。

本発明の態様は、本明細書において、本発明の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装されるということが理解されるであろう。

これらのコンピュータ可読プログラム命令は、コンピュータまたはその他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作の態様を実施する命令を含む製品を含むような特定の方法で、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組み合わせに機能するように指示できるものであってもよい。

コンピュータ可読プログラム命令は、コンピュータ上、その他のプログラム可能な装置上、またはその他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックに指定される機能／動作を実施するように、コンピュータ、その他のプログラム可能なデータ処理装置、またはその他のデバイスに読み込まれてもよく、それによって、一連の動作可能なステップを、コンピュータ上、その他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成するその他のデバイス上で実行させる。

図内のフローチャートおよびブロック図は、本発明のさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生し得る。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行されてよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、規定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装されるということにも注意する。

本明細書に記載されたさまざまな実施形態のその他の背景を提供するために、図１３および以下の説明は、本明細書に記載されたさまざまな実施形態が実装される適切なコンピューティング環境１３００の概要を示すよう意図されている。実施形態は、１つまたは複数のコンピュータ上で実行されることができるコンピュータ実行可能命令の一般的状況において上で説明されたが、当業者は、実施形態が、他のプログラム・モジュールと組み合わせて、またはハードウェアとソフトウェアの組み合わせとして、あるいはその両方で実装されることもできるということを認識するであろう。

通常、プログラム・モジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。さらに、当業者は、本発明の方法が、シングルプロセッサ・コンピュータ・システムまたはマルチプロセッサ・コンピュータ・システム、ミニコンピュータ、メインフレーム・コンピュータ、モノのインターネット（ＩｏＴ：Internet of Things）デバイス、分散コンピューティング・システムだけでなく、パーソナル・コンピュータ、ハンドヘルド・コンピューティング・デバイス、マイクロプロセッサベースのコンシューマ・エレクトロニクスまたはプログラマブル・コンシューマ・エレクトロニクスなどを含む、他のコンピュータ・システム構成を使用して実践されることができ、これらの各々が１つまたは複数の関連するデバイスに動作可能に結合されるということを理解するであろう。

本明細書において示された実施形態は、通信ネットワークを介してリンクされたリモート処理デバイスによって特定のタスクが実行される、分散コンピューティング環境内で実践されることもできる。分散コンピューティング環境において、プログラム・モジュールは、ローカルおよびリモートの両方のメモリ・ストレージ・デバイスに配置され得る。例えば、１つまたは複数の実施形態では、コンピュータ実行可能コンポーネントは、１つまたは複数の分散されたメモリ・ユニットを含むことができるか、または１つまたは複数の分散されたメモリ・ユニットから成ることができる、メモリから実行されることができる。本明細書において使用されるとき、「メモリ」および「メモリ・ユニット」という用語は交換可能である。さらに、本明細書に記載された１つまたは複数の実施形態は、コンピュータ実行可能コンポーネントのコードを、分散された方法で、例えば、１つまたは複数の分散されたメモリ・ユニットからのコードを実行するように結合しているか、または協調して動作している複数のプロセッサで、実行することができる。本明細書において使用されるとき、「メモリ」という用語は、１つの位置での単一のメモリまたはメモリ・ユニット、あるいは１つまたは複数の位置での複数のメモリまたはメモリ・ユニットを包含することができる。

コンピューティング・デバイスは、通常、コンピュータ可読ストレージ媒体、機械可読ストレージ媒体、または通信媒体、あるいはその組み合わせを含むことができる、さまざまな媒体を含み、本明細書では、次のように２つの用語が互いに異なって使用される。コンピュータ可読記憶媒体または機械可読ストレージ媒体は、コンピュータによってアクセスされることができる任意の使用可能なストレージ媒体であることができ、揮発性媒体および不揮発性媒体、取り外し可能な媒体および取り外し不可能な媒体を両方とも含む。例として、コンピュータ可読ストレージ媒体または機械可読ストレージ媒体は、コンピュータ可読命令または機械可読命令、プログラム・モジュール、構造化データまたは非構造化データなどの情報の格納のための任意の方法または技術に関連して実装されることができるが、これらに限定されない。

コンピュータ可読ストレージ媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：electrically erasable programmable read only memory）、フラッシュ・メモリまたはその他のメモリ技術、コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、ブルーレイ・ディスク（ＢＤ：Blu-ray disc）またはその他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたはその他の磁気ストレージ・デバイス、半導体ドライブまたはその他の半導体ストレージ・デバイス、あるいは望ましい情報を格納するために使用されるその他の有形の媒体もしくは非一過性の媒体またはその両方を含むことができるが、これらに限定されない。これに関して、本明細書における「有形」または「非一過性」という用語は、ストレージ、メモリ、またはコンピュータ可読媒体に適用されるとき、それ自体が伝搬する一過性の信号のみを修飾語句として除外し、それ自体が単に伝搬する一過性の信号ではないすべての標準的なストレージ、メモリ、またはコンピュータ可読媒体に対する権利を放棄しないと理解されるべきである。

コンピュータ可読ストレージ媒体は、媒体によって格納された情報に関するさまざまな動作のために、例えばアクセス要求、クエリ、またはその他のデータ検索プロトコルを介して、１つまたは複数のローカル・コンピューティング・デバイスまたはリモート・コンピューティング・デバイスによってアクセスされることができる。

通信媒体は、通常、コンピュータ可読命令、データ構造、プログラム・モジュール、あるいはその他の構造化データまたは非構造化データを、変調データ信号（例えば、搬送波またはその他の搬送機構）などのデータ信号で具現化し、任意の情報配信または輸送媒体を含む。「変調データ信号」という用語は、１つまたは複数の信号内の情報をエンコードするような方法で設定または変更される特性のうちの１つまたは複数を有する信号のことを指す。例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音響、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体を含むが、これらに限定されない。

図１３を再び参照すると、本明細書に記載された態様のさまざまな実施形態を実装するための例示的な環境１３００がコンピュータ１３０２を含んでおり、コンピュータ１３０２は、処理ユニット１３０４、システム・メモリ１３０６、およびシステム・バス１３０８を含んでいる。システム・バス１３０８は、システム・メモリ１３０６を含むが、これに限定されないシステム・コンポーネントを、処理ユニット１３０４に結合する。処理ユニット１３０４は、さまざまな市販されているプロセッサのいずれかであることができる。デュアル・マイクロプロセッサおよびその他のマルチプロセッサ・アーキテクチャが、処理ユニット１３０４として採用されることもできる。

システム・バス１３０８は、種々の市販されているバス・アーキテクチャのいずれかを使用するメモリ・バス（メモリ・コントローラを含むか、または含まない）、ペリフェラル・バス、およびローカル・バスにさらに相互接続することができる複数の種類のバス構造のいずれかであることができる。システム・メモリ１３０６は、ＲＯＭ１３１０およびＲＡＭ１３１２を含んでいる。基本入出力システム（ＢＩＯＳ：basic input/output system）は、ＲＯＭ、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasable programmable read only memory）、ＥＥＰＲＯＭなどの、不揮発性メモリに格納されることができ、ＢＩＯＳは、起動などの間にコンピュータ１３０２内の要素間で情報を転送するのに役立つ基本的なルーチンを含む。ＲＡＭ１３１２は、データをキャッシュするためのスタティックＲＡＭなどの高速なＲＡＭを含むこともできる。

コンピュータ１３０２は、内部ハード・ディスク・ドライブ（ＨＤＤ：hard diskdrive）１３１４（例えば、ＥＩＤＥ、ＳＡＴＡ）、１つまたは複数の外部ストレージ・デバイス１３１６（例えば、磁気フロッピー（Ｒ）・ディスク・ドライブ（ＦＤＤ：magnetic floppy disk drive）、メモリ・スティックまたはフラッシュ・ドライブ・リーダ、メモリ・カード・リーダなど）、および光ディスク・ドライブ１３２０（例えば、ＣＤ－ＲＯＭディスク、ＤＶＤ、ＢＤなどに対して読み取りまたは書き込みを行うことができるドライブ）をさらに含む。内部ＨＤＤ１３１４がコンピュータ１３０２内にあるように示されているが、内部ＨＤＤ１３１４は、外部の適切な筐体（図示されていない）内で使用するように構成されることもできる。さらに、環境１３００内に示されていないが、ＨＤＤ１３１４に加えて、またはＨＤＤ１３１４の代わりに、半導体ドライブ（ＳＳＤ：solid state drive）が使用されることができる。ＨＤＤ１３１４、外部ストレージ・デバイス１３１６、および光ディスク・ドライブ１３２０は、ＨＤＤインターフェイス１３２４、外部ストレージ・インターフェイス１３２６、および光学ドライブ・インターフェイス１３２８によって、システム・バス１３０８にそれぞれ接続されることができる。外部ドライブの実装のためのインターフェイス１３２４は、ユニバーサル・シリアル・バス（ＵＳＢ：Universal Serial Bus）インターフェイス技術、および電気電子技術者協会（ＩＥＥＥ：Institute of Electrical and Electronics Engineers）１３９４インターフェイス技術のうちの少なくとも１つまたは両方を含むことができる。その他の外部ドライブ接続技術が、本明細書に記載された実施形態の企図に含まれる。

ドライブおよびそれらに関連するコンピュータ可読ストレージ媒体は、データ、データ構造、コンピュータ実行可能命令などの不揮発性ストレージを提供する。コンピュータ１３０２のドライブおよびストレージ媒体は、適切なデジタル形式での任意のデータの格納に対応する。上記のコンピュータ可読ストレージ媒体の説明は各種のストレージ・デバイスに言及しているが、コンピュータによって読み取ることができる他の種類のストレージ媒体が、現在存在しているか、または将来開発されるかに関わらず、例示的な動作環境内で使用されることもできるということ、およびさらに、任意のそのようなストレージ媒体が、本明細書に記載された方法を実行するためのコンピュータ実行可能命令を含むことができるということが、当業者によって理解されるべきである。

オペレーティング・システム１３３０、１つまたは複数のアプリケーション・プログラム１３３２、その他のプログラム・モジュール１３３４、およびプログラム・データ１３３６を含む複数のプログラム・モジュールが、ドライブおよびＲＡＭ１３１２に格納されることができる。オペレーティング・システム、アプリケーション、モジュール、またはデータ、あるいはその組み合わせのすべてまたは一部が、ＲＡＭ１３１２にキャッシュされることもできる。本明細書に記載されたシステムおよび方法は、種々の市販されているオペレーティング・システムまたはオペレーティング・システムの組み合わせを利用して実装されることができる。

コンピュータ１３０２は、任意選択的に、エミュレーション技術を含むことができる。例えば、ハイパーバイザ（図示されていない）またはその他の媒介が、オペレーティング・システム１３３０のハードウェア環境をエミュレートすることができ、エミュレートされるハードウェアは、任意選択的に、図１３に示されているハードウェアと異なることができる。そのような実施形態では、オペレーティング・システム１３３０が、コンピュータ１３０２でホストされた複数の仮想マシン（ＶＭ：virtual machine）のうちの１つのＶＭを含むことができる。さらに、オペレーティング・システム１３３０は、Ｊａｖａ（Ｒ）実行時環境または．ＮＥＴフレームワークなどの実行時環境をアプリケーション１３３２に提供することができる。実行時環境は、アプリケーション１３３２が実行時環境を含む任意のオペレーティング・システム上で実行されることを可能にする、一貫性のある実行環境である。同様に、オペレーティング・システム１３３０はコンテナをサポートすることができ、アプリケーション１３３２はコンテナの形態であることができ、コンテナは、例えばアプリケーション用のコード、ランタイム、システム・ツール、システム・ライブラリ、および設定を含む、軽量なスタンドアロンの実行可能なソフトウェアのパッケージである。

さらに、コンピュータ１３０２は、信頼できる処理モジュール（ＴＰＭ：trustedprocessing module）などのセキュリティ・モジュールを使用して有効化されることができる。例えば、ＴＰＭを使用すると、ブート・コンポーネントは、時間的に次のブート・コンポーネントをハッシュし、保護された値とのハッシュ結果の一致を待機してから、次のブート・コンポーネントを読み込む。このプロセスは、コンピュータ１３０２のコード実行スタック内の任意の層で行われることができ、例えば、アプリケーション実行レベルで、またはオペレーティング・システム（ＯＳ：operating system）カーネル・レベルで適用され、それによって、コード実行の任意のレベルでセキュリティを有効化する。

ユーザは、１つまたは複数の有線／無線入力デバイス（例えば、キーボード１３３８、タッチ・スクリーン１３４０、およびマウス１３４２などのポインティング・デバイス）を介して、コマンドおよび情報をコンピュータ１３０２に入力することができる。その他の入力デバイス（図示されていない）は、マイクロホン、赤外線（ＩＲ：infrared）遠隔制御、無線周波（ＲＦ：radio frequency）遠隔制御、またはその他の遠隔制御、ジョイスティック、仮想現実コントローラまたは仮想現実ヘッドセットあるいはその両方、ゲーム・パッド、タッチペン、画像入力デバイス（例えば、カメラ）、ジェスチャー・センサ入力デバイス、視覚移動センサ（vision movement sensor）入力デバイス、感情または顔検出デバイス、生体測定入力デバイス（例えば、指紋または虹彩スキャナ）など含むことができる。これらおよびその他の入力デバイスは、多くの場合、システム・バス１３０８に結合されることができる入力デバイス・インターフェイス１３４４を介して処理ユニット１３０４に接続されるが、パラレル・ポート、ＩＥＥＥ１３９４シリアル・ポート、ゲーム・ポート、ＵＳＢポート、ＩＲインターフェイス、ＢＬＵＥＴＯＯＴＨ（Ｒ）インターフェイスなどの、その他のインターフェイスによって接続されることができる。

モニタ１３４６またはその他の種類のディスプレイ・デバイスが、ビデオ・アダプタ１３４８などのインターフェイスを介してシステム・バス１３０８に接続されることもできる。モニタ１３４６に加えて、コンピュータは通常、スピーカ、プリンタなどの、その他の周辺出力機器（図示されていない）を含む。

コンピュータ１３０２は、有線通信または無線通信あるいはその両方を介するリモート・コンピュータ１３５０などの１つまたは複数のリモート・コンピュータへの論理接続を使用して、ネットワーク環境内で動作することができる。リモート・コンピュータ１３５０は、ワークステーション、サーバ・コンピュータ、ルータ、パーソナル・コンピュータ、ポータブル・コンピュータ、マイクロプロセッサベースのエンターテインメント機器、ピア・デバイス、またはその他の一般的なネットワーク・ノードであることができ、通常は、コンピュータ１３０２に関連して説明された要素のうちの多くまたはすべてを含むが、簡潔にするために、メモリ／ストレージ・デバイス１３５２のみが示されている。図に示されている論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）１３５４またはさらに大きいネットワーク（例えば、広域ネットワーク（ＷＡＮ）１３５６）あるいはその両方との有線接続／無線接続を含む。そのようなＬＡＮおよびＷＡＮネットワーク環境は、事務所および会社において一般的であり、イントラネットなどの企業全体のコンピュータ・ネットワークを容易にし、それらはすべて、グローバル通信ネットワーク（例えば、インターネット）に接続することができる。

コンピュータ１３０２は、ＬＡＮネットワーク環境内で使用された場合、有線または無線あるいはその両方の通信ネットワーク・インターフェイスまたはアダプタ１３５８を介して、ローカル・ネットワーク１３５４に接続されることができる。アダプタ１３５８は、ＬＡＮ１３５４との有線通信または無線通信を容易にすることができ、ＬＡＮ１３５４は、無線モードでアダプタ１３５８と通信するために配置された無線アクセスポイント（ＡＰ：access point）を含むこともできる。

コンピュータ１３０２は、ＷＡＮネットワーク環境内で使用された場合、モデム１３６０を含むことができ、またはインターネットを経由するなどのＷＡＮ１３５６を経由して通信を確立するためのその他の手段によって、ＷＡＮ１３５６上の通信サーバに接続されることができる。内部または外部に存在する有線デバイスまたは無線デバイスであることができるモデム１３６０は、入力デバイス・インターフェイス１３４４を介してシステム・バス１３０８に接続されることができる。ネットワーク環境内で、コンピュータ１３０２またはその一部に関連して示されたプログラム・モジュールは、リモート・メモリ／ストレージ・デバイス１３５２に格納されることができる。示されているネットワーク接続が例であり、コンピュータ間の通信リンクを確立するその他の手段が使用されるということが、理解されるであろう。

コンピュータ１３０２は、ＬＡＮネットワーク環境内またはＷＡＮネットワーク環境内のいずれかで使用された場合、前述したような外部ストレージ・デバイス１３１６に加えて、または外部ストレージ・デバイス１３１６の代わりに、クラウド・ストレージ・システムまたはその他のネットワークベースのストレージ・システムにアクセスすることができる。一般に、コンピュータ１３０２とクラウド・ストレージ・システムの間の接続は、例えば、それぞれアダプタ１３５８またはモデム１３６０によって、ＬＡＮ１３５４またはＷＡＮ１３５６を経由して確立されることができる。コンピュータ１３０２を関連するクラウド・ストレージ・システムに接続するときに、外部ストレージ・インターフェイス１３２６は、アダプタ１３５８またはモデム１３６０あるいはその両方を用いて、他の種類の外部ストレージと同様に、クラウド・ストレージ・システムによって提供されたストレージを管理することができる。例えば、外部ストレージ・インターフェイス１３２６は、クラウド・ストレージ・ソースがコンピュータ１３０２に物理的に接続されているかのように、クラウド・ストレージ・ソースへのアクセスを提供するように構成されることができる。

コンピュータ１３０２は、無線通信において動作可能に配置された任意の無線デバイスまたは実体（例えば、プリンタ、スキャナ、デスクトップ・コンピュータまたはポータブル・コンピュータあるはその両方、ポータブル・データ・アシスタント、通信衛星、無線で検出可能なタグに関連付けられた機器のいずれかの部品または位置（例えば、キオスク、新聞売店、商品棚など）、および電話）と通信するよう機能することができる。この通信は、ワイヤレス・フィディリティ（Ｗｉ－Ｆｉ）およびＢＬＵＥＴＯＯＴＨ（Ｒ）無線技術を含むことができる。したがって、この通信は、従来のネットワークと同様に事前に定義された構造であるか、または単に、少なくとも２つのデバイス間のアドホック通信であることができる。

前述した内容は、システム、コンピュータ・プログラム製品、およびコンピュータ実装方法の単なる例を含んでいる。当然ながら、本開示を説明する目的で、コンポーネント、製品、またはコンピュータ実装方法、あるいはその組み合わせの考えられるすべての組み合わせについて説明することは不可能であるが、当業者は、本開示の多くのその他の組み合わせおよび並べ替えが可能であるということを認識できる。さらに、「含む」、「有する」、「所有する」などの用語が、発明を実施するための形態、特許請求の範囲、付録、および図面において使用される範囲では、それらの用語は、「備えている」が特許請求における暫定的な用語として使用されるときに解釈されるような、用語「備えている」と同様の方法で、包含的であるよう意図されている。さまざまな実施形態の説明は、例示の目的で提示されているが、網羅的であることは意図されておらず、開示された実施形態に限られない。記載された実施形態の範囲と精神を逸脱することなく多くの変更および変形が可能であることは、当業者にとって明らかであろう。本明細書で使用された用語は、実施形態の原理、実際の適用、または市場で見られる技術を超える技術的改良を最も適切に説明するため、または他の当業者が本明細書で開示された実施形態を理解できるようにするために選択されている。

Claims (20)

1. コンピュータ実行可能コンポーネントを格納するメモリと、
   前記メモリに動作可能に結合され、前記メモリに格納された前記コンピュータ実行可能コンポーネントを実行するプロセッサとを備えているシステムであって、前記コンピュータ実行可能コンポーネントが、
   不確実性の尺度に基づいて注意機構を使用して多変量時系列データ間の依存関係を発見する機械学習モデルを生成する時系列分析コンポーネントを含む、システム。
2. 構成された一連の前記多変量時系列データにわたってデータの異なるサンプリング・レートを一致させることによって前記多変量時系列データをエンコードするエンコーダ・コンポーネントをさらに備え、エンコーディングが、前記多変量時系列データを拡張可能かつ並列化可能にする、請求項１に記載のシステム。
3. 前記機械学習モデルの注意ネットワーク層を使用して、前記不確実性の尺度に基づいて、前記エンコードされた多変量時系列データ間で注意を正則化する注意デコーダ・コンポーネントをさらに備える、請求項２に記載のシステム。
4. 前記注意ネットワーク層が、前記不確実性の尺度が定義されたしきい値より小さくなる結果をもたらす前記エンコードされた多変量時系列データの注意構成にペナルティを科す、請求項３に記載のシステム。
5. 前記注意デコーダ・コンポーネントが、ベイズ推定によって前記注意ネットワーク層を制御するパラメータの事後分布をさらに決定する、請求項３に記載のシステム。
6. 前記注意デコーダ・コンポーネントが、前記注意ネットワーク層で実行されるモンテカルロ・サンプリングを介して、前記依存関係に関する不確実性定量化をさらに生成する、請求項３に記載のシステム。
7. 前記多変量時系列データが、測定可能な特性を特徴付け、前記システムが、
   前記発見された依存関係および前記不確実性定量化に基づいて、前記測定可能な特性の値を予測する予測コンポーネントをさらに備える、請求項６に記載のシステム。
8. プロセッサに動作可能に結合されたシステムによって、不確実性の尺度に基づいて注意機構を使用して多変量時系列データ間の依存関係を発見する機械学習モデルを生成することを含む、コンピュータ実装方法。
9. 前記システムによって、構成された一連の前記多変量時系列データにわたって異なるデータ・サンプリング・レートを一致させることによって前記多変量時系列データをエンコードすることをさらに含み、前記エンコーディングが、前記多変量時系列データを拡張可能かつ並列化可能にする、請求項８に記載のコンピュータ実装方法。
10. 前記システムによって、前記機械学習モデルの注意ネットワーク層を使用して、前記不確実性の尺度に基づいて、前記エンコードされた多変量時系列データ間で注意を正則化することをさらに含む、請求項９に記載のコンピュータ実装方法。
11. 前記システムによって、前記不確実性の尺度が定義されたしきい値より小さくなる結果をもたらす前記エンコードされた多変量時系列データの注意構成にペナルティを科すことをさらに含む、請求項１０に記載のコンピュータ実装方法。
12. 前記システムによって、ベイズ推定によって前記注意ネットワーク層を制御するパラメータの事後分布を決定することをさらに含む、請求項１０に記載のコンピュータ実装方法。
13. 前記システムによって、前記注意ネットワーク層で実行されるモンテカルロ・サンプリングを介して、前記依存関係に関する不確実性定量化を生成することをさらに含む、請求項１０に記載のコンピュータ実装方法。
14. 前記多変量時系列データが、測定可能な特性を特徴付け、前記コンピュータ実装方法が、
    前記システムによって、前記発見された依存関係および前記不確実性定量化に基づいて、前記測定可能な特性の値を予測することをさらに含む、請求項１３に記載のコンピュータ実装方法。
15. 多変量時系列データを分析するためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、プログラム命令が具現化されているコンピュータ可読ストレージ媒体を備え、前記プログラム命令が、プロセッサによって実行可能であり、前記プロセッサに、
    前記プロセッサによって、不確実性の尺度に基づいて注意機構を使用して前記多変量時系列データ間の依存関係を発見する機械学習モデルを生成することを実行させる、コンピュータ・プログラム製品。
16. 前記プログラム命令が、前記プロセッサに、
    前記プロセッサによって、構成された一連の前記多変量時系列データにわたって異なるデータ・サンプリング・レートを一致させることによって、前記多変量時系列データをエンコードすることをさらに実行させ、エンコーディングが、前記多変量時系列データを拡張可能かつ並列化可能にする、請求項１５に記載のコンピュータ・プログラム製品。
17. 前記プログラム命令が、前記プロセッサに、
    前記プロセッサによって、前記機械学習モデルの注意ネットワーク層を使用して、シャノン・エントロピー値に基づいて、前記エンコードされた多変量時系列データ間で注意を正則化することをさらに実行させる、請求項１６に記載のコンピュータ・プログラム製品。
18. 前記プログラム命令が、前記プロセッサに、
    前記プロセッサによって、前記不確実性の尺度が定義されたしきい値より大きくなる結果をもたらす前記エンコードされた多変量時系列データの注意構成にペナルティを科すことをさらに実行させる、請求項１７に記載のコンピュータ・プログラム製品。
19. 前記プログラム命令が、前記プロセッサに、
    前記プロセッサによって、ベイズ推定によって前記注意ネットワーク層を制御するパラメータの事後分布を決定することをさらに実行させる、請求項１８に記載のコンピュータ・プログラム製品。
20. 前記プログラム命令が、前記プロセッサに、
    前記プロセッサによって、前記注意ネットワーク層で実行されるモンテカルロ・サンプリングを介して、前記依存関係に関する不確実性定量化を生成することをさらに実行させる、請求項１９に記載のコンピュータ・プログラム製品。

Images