JP7828696B2 - コンピュータプログラム、コンピュータ実装方法、装置（気候データのモデリングのための機械学習の使用） - Google Patents

Description

気候の変化、および、例えば、ハリケーンまたは荒天などの破壊的な気候関連事象は、小売、金融および公共事業の空間におけるものを含む多数の用途に影響を与える可能性がある。気候の傾向を理解し、気候活動を正確に予測することは、公共および民間の企業活動を効果的に予報することにとって重要である。

本発明の実施形態は、気候データをモデリングするために機械学習を使用する技術を提供する。

気候の傾向を理解し、気候活動を正確に予測することは、公共および民間の企業活動を効果的に予報することにとって重要である。

１つの例示的な実施形態において、コンピュータ実装方法は、複数の空間成分と複数の時間成分とを含む気候データを受信する段階と、気候データの一部をマスキングする段階とを備える。機械学習モデルは訓練され、訓練は気候データのマスキングされた部分に少なくとも部分的に基づく。気候データのベクトル表現は機械学習モデルを介して生成される。

さらなる例示的な実施形態は、プロセッサによって実行される際に、プロセッサに上記コンピュータ実装方法を実行させる実行可能なプログラムコードをその内部に具現化した非一時的コンピュータ可読を備えるコンピュータプログラム製品の形態で提供される。またさらに、例示的な実施形態は、上記コンピュータ実装方法を実行するように構成されているプロセッサおよびメモリを有する装置またはシステムを備える。

本明細書に記載された実施形態のこれらおよび他の特徴および利点は、添付の図面および以下の詳細な記載からより明らかになるであろう。

例示的な実施形態に係る、気候データをモデリングするためのシステムを示す図である。 例示的な実施形態に係る、気候データについての機械学習モデルの訓練のブロック図を示す図である。

例示的な実施形態に係る、気候データのモデリングに関連付けられた時空間位置埋め込みのブロック図を示す図である。

例示的な実施形態に係る、気候データのモデリングに関連して使用される気候トークンの一例を示す図である。

例示的な実施形態に係る、気候データのモデリングおよびタスク固有の微調整の動作フローを示す図である。

例示的な実施形態に係る、温度のヒストグラムを示す図である。

例示的な実施形態に係る、気温予報のヒストグラムを示す図である。

例示的な実施形態に係る、気候データモデリングプロセスフローを示す図である。

例示的な実施形態に係る、例示的な情報処理システムを示す図である。

例示的な実施形態に係るクラウドコンピューティング環境を示す図である。

例示的な実施形態に従う抽象化モデル層を示す図である。

例示的な実施形態は、例示的な情報処理システムおよび関連付けられたコンピュータ、サーバ、記憶装置並びに他のプロセッシングデバイスを参照して、本明細書に説明される。しかしながら、実施形態は、示された特定の例示的なシステムおよびデバイス構成での使用に限定されないことが理解される。したがって、本明細書において使用されるとき、「情報処理システム」という用語は、一例として、クラウドコンピューティングとストレージシステムとを有する処理システム、および物理的、仮想的、若しくはその組み合わせの処理リソースの様々な組み合わせを有する他の種類の処理システムである広範な処理システムを包含するように、広義に解釈されることが意図されている。

上記の背景部分で言及したように、気候の傾向を理解し、気候活動を正確に予測することは、企業活動を効果的に予報することに対して重要である。例えば、一部の小売業者は、彼らの需要予報における気象の影響を認識しており、例えば、洪水、干ばつ、ハリケーンおよび荒天などの気象に関連する危険への対処計画を実施するために、短期の気象予報に依存している可能性がある。しかしながら、中長期季節性気象データをユースケース機械学習モデルにエンコードすることは課題である。例えば、異なる地理的エリアおよび一時変数に基づく中長期気象データに関連付けられた不確実性により、気候事象を予測する機械学習モデルの生成および訓練、並びに、例えば、需要供給チェーンの予報などの下流ユースケースでの予測の使用における複雑性が生じる。

本実施形態は、有利には、領域、地域、若しくは時間枠、またはその組み合わせにわたる気候を意識した（ｃｌｉｍａｔｅ－ａｗａｒｅ）予報ユースケースを効率的に解決するために、時空間気候データをベクトル表現にエンコードする技術を提供する。エンコーディングは、気候データツーベクトル（「ｃｌｉｍａｔｅ２ｖｅｃ」）機械学習モデルを事前訓練するための、気候マスキング技術と次期気候予報モデルとを使用して実行される。本実施形態は、さらに、例えば、サプライチェーン内の小売ノードにおける需要予測およびリードタイム予報を含むが必ずしもこれに限定されない気候を意識した予報など、様々な下流アプリケーションを実施するためにｃｌｉｍａｔｅ２ｖｅｃモデルを微調整するための技術を提供する。

図１は、例示的な実施形態に係る、気候データをモデリングするためのシステム１００を示す図である。図１において直線若しくは矢印またはその組み合わせによって示されるように、システム１００の構成要素は互いに、例えば、ワイヤ、直接電気接触接続、若しくはその組み合わせなどの物理的な接続、及び／または、例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、セルラネットワーク、アドホックネットワーク（例えば、無線アドホックネットワーク（ＷＡＮＥＴ））、衛星ネットワーク若しくはインターネットを含むが、これらに限定されない他のネットワーク若しくはその組み合わせなどの無線接続を介して動作的に接続される。例えば、ネットワークは、特徴再構成エンジン１１０を、気候を意識した予報エンジン１２０およびその構成要素に動作的にリンクさせることができる。

システム１００は、トランスフォーマ事前訓練層１１１と、マスク気候予報層１１２と、不確実性表現層１１３と、次期気候予報予測層１１４と、時空間位置埋め込み層１１５とを有する特徴再構成エンジン１１０を備える。

図１に示されるように、気象予報データ１０２と極端事象データ１０４とを含む気候予報データは特徴再構成エンジン１１０に入力される。気象予報データ１０２は、例えば、１つまたは複数の期間（例えば、時間、日、週、月、季節、１０年単位など）にわたって、１つまたは複数の地理的地域（例えば、市、州、県、国、大陸またはその他の地域グループ（例えば、沿岸部および内陸部、半球など））に結び付けられた、温度、湿度、風速および風向、降水量（例えば、雪、雨など）、気圧並びに他の気象関連の特徴情報を含む。気象予報データ１０２は、不確実性要素をさらに含む。例えば、予報は、温度、湿度、若しくは降水量、またはその組み合わせなどの項目について、特定の不確実性範囲内の予測を含んでよいが、必ずしもこれらの項目に限定されるものではない。不確実性は、中期から長期の気候変動性に関連付けられてよい。極端事象データ１０４は、１つまたは複数の期間および１つまたは複数の地理的地域に結び付けられた、例えば、ハリケーン、荒天、トルネード、熱波、寒波、台風、または他の極端な気象事象を含むが必ずしもこれに限定されない極端な事象の予報を含む。また、特徴再構成エンジン１１０に入力されるデータは、例えば、異なる地理的地域について、１時間ごと、日ごと、週ごと、月ごと、季節ごとまたは１０年ごとベースの、例えば、温度、湿度、風速および風向、降水量、気圧並びに他の気象関連特徴の繰り返し測定による気象観測の集合を含む時系列データ形式の過去の気象観測データを含む過去の気象データ１０６を含んでいる。また、いくつかの実施形態において、将来の時系列データは、過去の時系列データとともに特徴再構成エンジン１１０に入力されてよい。

特徴再構成エンジン１１０に入力される気候予報データ１０２、１０４および過去の気象データ１０６（本明細書において「気候データ」とまとめて称されてよい）は、地理空間的特徴および時空間的特徴を含む。本明細書において使用されるとき、「地理空間的」という用語は、例えば地理的位置を指すものとして広義に解釈される。本明細書において使用されるとき、「時空間的」という用語は、例えば、空間（例えば、位置）および時間の両方に存在することを指すものとして広義に解釈される。例えば、本実施形態は、地理（米国、インド、アフリカなど）および期間（例えば、２０００年から２０２１年まで）にわたって気候データをモデリングする。入力された気候データ１０２、１０４、１０６に関連付けられたいくつかの気候帯は、熱帯、乾燥、温帯、大陸、極地、沿岸、内陸、都市、田舎、海抜高度、農業、非農業、森林、住宅、商業のうちの１つまたは複数の指標を使用して定義されてよい。

非限定的な例において、入力された気候データ１０２、１０４若しくは１０６またはその組み合わせは、異なる地理および期間にわたる地理空間的、気候データシーケンスＳ＝｛Ｓ_１，Ｓ_２，...，Ｓ_ｎ｝のセットを含んでよい。各シーケンスＳ_ｉは気候の時系列データを捕捉する。例えば、Ｓ_ｉ＝｛Ｃ_ｔ１ ^ｉ，Ｃ_ｔ２ ^ｉ，...，Ｃ_ｔｋ ^ｉ｝とする。セットＳは、位置および期間にわたる時空間データを含む。したがって、気候データ１０２、１０４若しくは１０６またはその組み合わせは、複数の空間成分と、複数の時間成分とを含む。

図１を参照すると、マスク気候予報層１１２、次期気候予報予測層１１４、および時空間位置埋め込み層１１５は、トランスフォーマ事前訓練層１１１によって、トランスフォーマベースのニューラルネットワーク機械学習モデルの複数のトランスフォーマを事前訓練するために使用される。本明細書において使用されるとき、「トランスフォーマ」は、入力データの一部の重要性を示差的に重み付けする深層学習モデルを指すものとして広義に解釈される。リカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と同様に、トランスフォーマは順次入力データを管理する。しかしながら、トランスフォーマは必ずしもデータを順番に処理するわけではなく、入力シーケンスにおける任意の位置に対してコンテキストを提供するメカニズムを利用している。コンテキストを識別することによって、トランスフォーマはデータシーケンスの先頭を、データシーケンスの最後より先に処理する必要がないため、ＲＮＮよりも多くの並列化を可能にして訓練時間を短縮することができる。本実施形態によって使用され得るトランスフォーマベースのニューラルネットワーク機械学習モデルの非限定的な例は、両方向からのコンテキストを使用し、トランスフォーマのエンコーダ部分を使用して各トークンに対する表現を学習するトランスフォーマからの双方向エンコーダ表現（ＢＥＲＴ：Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）モデルである。

マスク気候予報層１１２は、気象予報データ１０２、極端事象データ１０４、または過去の気象データ１０６をマスキングしながら、ある時間枠について様々な地域に対する気候予測性を予め判断するための気候学データを使用する、気象予報データ１０２、極端事象データ１０４または過去の気象データ１０６に対するマスキング戦略を実施する。マスク気候予報層１１２は、どの程度の気象予報データ１０２、極端事象データ１０４または過去の気象データ１０６をマスキングするか（例えば、割合）、どの部分をマスキングするか、を判断する。マスキング戦略は、気象予報データ１０２、極端事象データ１０４、または過去の気象データ１０６の粒度（例えば、毎日、毎週、毎時など）に基づいて変化する。図２における気候データの機械学習モデルの訓練のブロック図２１１を参照すると、１つまたは複数の実施形態において、マスキングされた気候モデルは、第１のタイムスタンプＴａに対する入力された気象予報データ１０２、極端事象データ１０４、または過去の気象データ１０６の部分（「タイムスタンプＴａに対する気候データ」）および第２のタイムスタンプＴｂに対する入力された気象予報データ１０２または極端事象データ１０４の部分（「タイムスタンプＴｂに対する気候データ」）をマスキングして、それらのコンテキスト（例えば、周囲の気候データ）を使用してマスキングされた部分を予測しようと試みる。図２で述べたように、入力された気象予報データ１０２、極端事象データ１０４、または過去の気象データ１０６は、ラベルのない気候データのペアを含む。また、入力された気候データを日数に基づいた時系列で示したが、本実施形態はこれに限定されず、他の粒度（例えば、時間、週、月など）を使用することができる。

マスキングに加えて、トランスフォーマ事前訓練層１１１は、複数のトランスフォーマの事前訓練に関連して、ラベルのない気候データに対して次期気候予報予測技術を使用する。例えば、気象予報データ１０２、極端事象データ１０４、または過去の気象データ１０６からの気候データ点の様々なペアが、気候学および過去の気象データ１０６に基づいて生成される。例えば、所与のペアでは、所与の期間（例えば１週間）の前半の気候属性に、所与の期間（例えば１週間）の後半の気候属性が続く。次期気候予報予測層１１４は、期間の後半の気候属性を予測する。次期気候予報予測は、気候予報の関係を理解することができるモデルを訓練するために、次期気候予報をコーパスからのランダムな気候予報に置き換える。例えば、一部の時間で次期気候予報は元の次期気候予報であり、一部の時間で元の次期気候予報をコーパスからのランダムな気候予報に置き換える。所与の気候データシーケンスに対して、トランスフォーマ事前訓練層１１１は、マスキングされた気候データを予測し、気候データシーケンス順序（例えば、正しいシーケンスまたはシーケンスの順序を変更する必要があるかどうか）を判断し、次のタイムスタンプについての気候データを予測し（例えば、Ｋ個のタイムスタンプについての気候データが与えられ、次のタイムスタンプの気候データを予測し）ようと試みる。

図２を参照すると、トランスフォーマベースのニューラルネットワークの事前訓練に関連して、２つの異なるタイムスタンプＴａおよびＴｂについての気候データは同時に管理される。例えば、気候データのペアは、ペアの各部分の間に分離［ＳＥＰ］がある状態で機械学習モデルに入力される。入力の第１のトークンは［ＣＬＳ］として表され、これは、事前訓練（「Ｃ」）の後、集約シーケンス表現に使用でき、分類に採用することができる。図２における「Ｅ」は、入力埋め込みを指す。［ＳＥＰ］トークン前の第１のシーケンスは、異なる粒度での気候データの任意の連続したスパンであることができる。さらに、時空間位置埋め込み層１１５に関連してより詳細に説明されるように、トークンは、あるトークンが気候データのペアの第１の部分に属するか、または第２の部分に属するかを示す学習された埋め込みを有する。

図３に関連してより詳細に説明されるように、入力埋め込みは、例えば、位置埋め込みベクトル、季節性埋め込みベクトルおよび気候属性埋め込みベクトルを含む複数の埋め込みベクトルに基づく。

トランスフォーマベースのニューラルネットワークの事前訓練は教師なしであり、訓練データは、気候予報データ１０２、１０４若しくは過去の気象データ１０６またはその組み合わせを含む。マスク気候予報（図２において、マスク気候法「マスクＣＭ２０９－１および２０９－２」）および次期気候予報予測（図２において、次期気候予測「ＮＣＰ２０８」）は、訓練に使用する教師なしの方法である。１つまたは複数の実施形態において、入力された気候データが与えられると、マスク気候予報層１１２は、入力された予報のいくつかの部分をランダムにマスキングし、そのコンテキストを使用してマスキングされた気候トークンを予測する。

次期気候予報予測タスクにおいて、２つのタイムスタンプ（例えば、タイムスタンプＴａ、Ｔｂ）に対する気候予報データが与えられると、次期気候予報予測層１１４は、第２のタイムスタンプ（例えば、タイムスタンプＴｂ）に対する気候予報データが第１のタイムスタンプ（例えば、タイムスタンプＴａ）に対する気候予報データに従っているか否かを予測する。訓練の際に、一定割合の時間で、第２のタイムスタンプの気候予報データは第１のタイムスタンプの気候予報データに正しく追従するが、残りの割合の時間で、第２のタイムスタンプの気候予報データはコーパスからのランダム予報である。マスク気候予報と次期気候予報予測タスクとは組み合わされ、トランスフォーマベースのニューラルネットワークモデルは組み合わせた損失関数１３０（図１を参照）で訓練される。損失関数１３０は、例えば、三重項損失関数、クロスエントロピ損失関数、再構成コスト損失関数、若しくはデータ損失関数、またはその組み合わせを含む。この訓練は、自己回帰モデルに依存し、自己回帰モデルが、次のタイムステップの値を予測するために、先行タイムステップの観測値を回帰アルゴリズムの入力として使用する時系列モデルである。

図２および図３を参照すると、時空間位置埋め込み３１５の一例では、入力埋め込み「Ｅ」２０５は、例えば、１つまたは複数の位置埋め込みベクトル（ＰＯＳ_１）３１６、１つまたは複数の季節性埋め込みベクトル（ＳＥＡ_１）３１７、および１つまたは複数の気候属性（ＣＡ_１）埋め込みベクトル３１８を含む複数の埋め込みベクトルに基づく。図２および３における「ＴＣ」は、気候トークン２０３および３０３を指す。図４を参照すると、気候トークン４０３と、気候トークン４０３のうちの特定の１つ（ＴＣ_１）の表現４００とが描かれている。本実施形態に従って、時間および空間情報は、各気候トークンに関連付けられている。気候トークン（ＴＣ_１，ＴＣ_２，ＴＣ_３，...，ＴＣ_Ｎ）は、異なる時間的および空間的粒度を使用して気候データを表すことができる。気候トークンＴＣは、過去の観測された気候データ、予報、ヒンドキャスト、またはそれらの組み合わせを含むことができる。１つまたは複数の実施形態において、季節性予報の確率的な性質から、一連の派生特徴（例えば、ヒストグラム、範囲、分位点など）が構築される。例えば、図６Ａおよび図６Ｂは、入力に関連付けられる不確実性を含む、ヒストグラム６０１および６０２を使用する温度予報表現を示す図である。例えば、上述のように、気象予報データ１０２は、温度、湿度若しくは降水量、またはその組み合わせなどの項目について、特定の不確実性範囲内の予測を含んでよいが、必ずしもこれらの項目に限定されるものではない。ヒストグラム６０１および６０２に示すように、温度（例えば、１０℃～１１℃，１１℃～１２℃，...，１９℃～２０℃）は、異なる確率に関連付けられている。不確実性表現層１１３は、気候変動および破壊的事象のパラメータに対する不確実性スコアを生成する不確実性認識モデルを有する。

図６Ａにおけるヒストグラム６０１は、複数のアンサンブルモデルによる気温予報の分布の一例を示している。各気候変数についての各アンサンブルは、気候モデルの初期条件を変化させて複数回のシミュレーションを行うことで作成され、予測は不確実である。例えば、欧州中距離気象予報センタ（ＥＣＭＷＦ）の季節性スケール予報には、６ヶ月先までの気候属性ごとに５０個のアンサンブルが入っており、毎月更新される。図６Ｂにおけるヒストグラム６０２は、ヒストグラムベースのアプローチを使用して複数のアンサンブルを分析しながら、温度変動の不確実性を表現する一例を示している。示されたパーセンテージ値はアンサンブル予報の一致度を表す。パーセンテージ値は、アンサンブル全体であまり一致しないため、不確実性が高いことを示している。このようにして、特徴再構成エンジン１１０の機械学習モデルを訓練しながら、気候予報の不確実性もエンコードすることができる。

図４に戻って参照すると、例えば最小、最大、平均などの関係性制約と、例えば毎時、毎日などの階層性制約とが気候トークン（ＴＣ）に組み込まれることがある。例えば、気候トークンＴＣ_１の表現４００において、気候トークンＴＣ_１は、異なる時間における最低温度並びに最高温度若しくは湿度またはその組み合わせ、毎日の降水量値、平均風速、および大気汚染データ、交通データおよび最低温度、降水量並びに極端な事象のＰＤＦを含む。マスク気候予報層１１２は、周囲の左右の気候トークン情報を利用して、マスキングされた気候トークンの潜在表現を学習する。特徴再構成エンジン１１０は、気候属性の予測可能性（例えば、温度と比較して降水量に対して低い）、および上述の関係性制約並びに階層性制約を考慮した代理損失関数１３０を最小化することによって、気候トークンを予測しようと試みる。

図２および図３に戻って参照すると、時空間位置埋め込み層１１５は、トランスフォーマベースのニューラルネットワーク機械学習モデルを学習しながら、埋め込み空間における時空間的特徴を含む異なる種類の埋め込みを捕捉する。位置埋め込み３１６は、２つの異なる種類の位置特性を捕捉する可能性がある：（ｉ）位置固有、若しくは（ｉｉ）データ固有、またはその組み合わせである。位置固有の埋め込みは、グローバルポジショニングシステム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）位置、都市、地域、州、データの解像度など、気候属性の位置を捕捉するが、必ずしもこれらに限定されるものではない。データ固有の埋め込みは、気候帯、農業地域対非農業地域、都市対田舎地域、住宅地対商業地など、データ固有の特徴を捕捉するが、必ずしもこれらに限定されるものではない。１つまたは複数の実施形態において、位置埋め込みは、座標系の関数である。

季節性埋め込み３１７は、気候データにおける時間的傾向固有の特徴に対応する。季節性埋め込みは、事前訓練状態にある間に気候表現を学習しながら、気候地理空間データの時間的傾向変化を学習することを容易にする。季節性埋め込みは、日中、毎週、季節、毎年など、複数の異なる粒度で指定することができるが、必ずしもこれらに限定されるものではない。気候属性埋め込み３１８は、地理空間的気候属性の潜在表現を捕捉する。１つまたは複数の実施形態において、タイムスタンプの埋め込みは、外生要因埋め込み、位置埋め込みおよび時間的埋込みの加算である。ＣＬＳ埋め込み３１９は、特定の期間（例えば、日、週、月など）に対する気候属性埋め込みを生成するために、すべての気候トークン（ＴＣ）にわたる全体のベクトル表現の学習を指す。図２において、Ｔ_ｉおよびＴ_ｉ'（２０７）は、タイムスタンプＴａおよびＴｂの気候データのペアのトークンｉの最終的な非表示表現を指す。

図１に戻って参照すると、気候を意識した予報エンジン１２０は、サプライチェーンにおける小売ノードでの需要予測およびリードタイム予報などの様々な下流アプリケーションの実施に関連して、特定の気候を意識した予報を行うために、訓練済みのトランスフォーマベースのニューラルネットワーク機械学習モデルの微調整を行うが、必ずしもこれらに限定されるものではない。１つまたは複数の実施形態において、同じ事前訓練済のパラメータは、入力層および出力層がどのように使用されるかに対応して修正された状態で、複数の下流タスクに使用される。トランスフォーマベースのニューラルネットワーク機械学習モデルは事前訓練済のパラメータで初期化され、気候を意識した予報エンジン１２０は望ましい下流タスクのためのパラメータを微調整する。例えば、入力では、気候データのペアの２つの部分は、タスクに応じて異なってよい。例えば、粒度、位置、気象データの種類（例えば、温度、降水量、極端な事象など）、一時的データなどは、所与の下流タスクに対応して変化することができる。出力では、トークン表現は、トークンレベルのタスクのための出力層に使用される。

特徴再構成エンジン１１０は、訓練済の機械学習モデルを使用して、気候を意識した予報エンジン１２０が異なるドメイン、地域若しくは時間枠、またはその組み合わせにわたる気候を意識した予報ユースケースを効率的に解決できるように、複雑な時空間気候データをベクトル表現にエンコードする。

本明細書に説明されたように、ｃｌｉｍａｔｅ２ｖｅｃモデルは、所与の位置のための気候データ（上述のＳ_ｉ）の時系列、事前訓練済のトランスフォーマベースの気候モデルが与えられると、複数の地理的位置における気候データのｄ次元ベクトル表現が推定されるように、時空間位置エンコーディングと気候マスキング戦略とを使用する。気候を意識した予報エンジン１２０に関連して、ｃｌｉｍａｔｅ２ｖｅｃモデルは、下流タスクを解決するための別のモデルを学習するために使用できる事前訓練済みの気候埋め込みを生成する。

有利に、ｃｌｉｍａｔｅ２ｖｅｃモデルは、ラベル付けのデータセットを明示的に必要とせず、気候データの時空間的関係を潜在空間にエンコードすることができる。本実施形態は、下流タスクへの依存性を取り除き、気候データを使用して潜在表現をゼロから訓練することなく、下流タスクの解決に気候埋め込みを使用し、微調整を行うことができる。

図５における動作フロー５００を参照すると、気候予報データ５０１は、特徴再構成エンジン１１０と同じまたは同様である特徴再構成エンジン５１０に入力される。特徴再構成エンジン５１０による気候予報データ５０１の分析後、特徴再構成エンジン５１０から出力された事前訓練済みの機械学習モデルおよびパラメータは、気候を意識した予報エンジン１２０と同じまたは同様である気候を意識した予報エンジン５２０によって使用されて、タスク固有の微調整を行う。気候を意識した予報エンジン５２０からの出力は、フィードフォワードネットワーク（ＦＦＮ）５８０、および逆正規化および差分化層５５１および５５２に提供される。時系列ウィンドウデータ５４５は差分化層５５０に提供され、その出力は正規化層５６０および逆差分化層５５２に提供される。正規化層５６０からの出力は、ＦＦＮ５８０および逆正規化層５５１に提供される。逆差分化層５５２からの出力は予測５９０を含む。図５における動作フロー５００から理解できるように、第１段階の一部として、気候データのコンパクトな表現は、下流の予測タスクとは独立で特徴再構成エンジン５１０で学習される。第２段階において、気候を意識した予報エンジン５２０は、（第１段階の一部として学習された）事前訓練済のトランスフォーマベースの機械学習モデルを使用することによって気候埋め込み（例えば、ｃｌｉｍａｔｅ２ｖｅｃ）を使用することによって下流タスクを解決し、下流問題の解決に使用される予測値５９０（例えば、小売需要、ピーク負荷など）をもたらす。

差分化および正規化層５５０および５６０は、例えば、過去の製品需要（例えば、売上）のような時系列特徴を効率的に表し、時系列間での転送を可能にするために使用される。差分化層５５０は時系列ウィンドウ内の相対的な傾向を捕捉するが、正規化層は、各データポイントをウィンドウ正規化し、各入力ウィンドウが複数の入力にわたって同等のスケールとなるよう変換することに役立つ。

差分化層５５０に関連して、時間ウィンドウｗ＝（ｘ１，...，ｘｎ）に対して、差分化されたウィンドウｗ＿ｄｉｆｆは、ｗ＿ｄｉｆｆ＝（ｘ２－ｘ２，...，ｘｉ－ｘ（ｉ－１），...，ｘｎ－ｘ（ｎ－１））として定義される。ｘ１を保存することで手順を反転させることができる。

正規化層５６０に関連して、時間ウィンドウｗ＝（ｘ１，...，ｘｎ）に対して、μｗはその経験的平均を指す（σｗはベッセルの補正なしの、その経験的標準偏差を指す）。正規化ウィンドウノルムは、ｗ＿ｎｏｒｍ＝（（ｘ１－μｗ）／σｗ，...，（ｘｉ－μｗ）／σｗ，...，（ｘｎ－μｗ）／σｗ）と定義される。μｗおよびσｗを伝送することで正規化を反転させることができる。

一実施形態に従って、特徴再構成エンジン５１０は、気候マスキング技術を使用して事前訓練済のトランスフォーマベースのモデルを使用して、時空間気候特徴を効率的にエンコードするために使用される。１つまたは複数の実施形態において、特徴再構成エンジン５１０は、地球全体の気候データの汎用コーパスを使用して事前に訓練され、例えば、小売需要予測、再生可能エネルギー予測などの下流タスクのために、トランスフォーマモデルの最後の数層の重みを更新することによって微調整を必要とする場合がある。

ＦＦＮ５８０は、下流タスクを解決するための特徴再構成エンジンを使用して生成されたウィンドウ正規化時系列特徴とコンパクトな気候特徴とを連結して訓練される。

本明細書に記載された上記および他の特徴を考慮すると、図７は、気候を意識した予報ユースケースを効率的に解決するために、時空間気候データをベクトル表現にエンコードする気候データモデリング方法論７００を示す。

段階７０２において、複数の空間成分と複数の時間成分とを含む気候データは受信される。複数の空間成分は複数の地理的位置を含み、複数の時間成分は複数の期間を含む。複数の空間成分および複数の時間成分は異なる粒度を含む。気候データは１つまたは複数の気候属性をさらに含む。

段階７０４において、気候データのある部分はマスキングされる。気候データのマスキングされた部分の潜在表現は、気候データの１つまたは複数の隣接するマスキングされていない部分を利用することによって学習される。気候データのマスキングされた部分の潜在表現を学習する際に、１つまたは複数の制約を考慮する損失関数は最小化される。

段階７０６において、機械学習モデルは訓練され、訓練は気候データのマスキングされた部分に少なくとも部分的に基づく。機械学習モデルはトランスフォーマベースのニューラルネットワークを含む。

段階７０８において、気候データのベクトル表現は、機械学習モデルを介して生成される。ベクトル表現は、複数の地理的位置で気候データの１つまたは複数のｄ次元ベクトル表現を含み、ここで、ｄは整数である。

方法において、気候データの位置特性を捕捉するために、機械学習モデルの訓練に関連して位置埋め込みは実行される。位置埋め込みは、位置固有の埋め込み手順を有し、位置特性は、気候データに関連付けられた１つまたは複数の位置の位置情報を含む。また、位置埋め込みは、データ固有の埋め込みを含み得、位置特性は気候データに関連付けられた１つまたは複数の気候帯についての気候帯情報を含む。

方法において、気候データの時間的傾向特性を捕捉するために、機械学習モデルの訓練に関連して季節性埋め込みは実行される。また、気候属性埋め込みは、気候データの１つまたは複数の潜在空間表現を捕捉するために、機械学習モデルの訓練に関連して実行されてよい。

本実施形態に従って、１つまたは複数の企業固有の予測タスクを実行するために、機械学習モデルは微調整される。複数の時間成分は複数のタイムスタンプを有し、機械学習モデルは、複数のタイムスタンプの最後のタイムスタンプに続くタイムスタンプに関連付けられた気候の予測に使用される。

図１～図７に描かれた技術はまた、本明細書に記載されたように、システムを提供することを含み得、システムは、別個のソフトウェアモジュールを含み、別個のソフトウェアモジュールのそれぞれは、有形コンピュータ可読記録可能な記憶媒体上に具現化される。例えば、モジュールの全部（またはその任意のサブセット）は、同じ媒体上にあることができ、またはそれぞれ異なる媒体上にあることができる。モジュールは、図に示された、若しくは本明細書に記載された、またはその組み合わせである、構成要素のいずれかまたは全部を含むことができる。本発明の一実施形態において、モジュールは、例えば、ハードウェアプロセッサ上で実行することができる。次に、方法段階は、上述したように、システムの別個のソフトウェアモジュールを使用して実行され、ハードウェアプロセッサ上で実行され得る。さらに、コンピュータプログラム製品は、別個のソフトウェアモジュールを有するシステムのプロビジョニングを含む、本明細書に記載された少なくとも１つの方法段階の実行のために実施されるように適合されたコードを有する有形コンピュータ可読記録可能な記憶媒体を含むことができる。

さらに、図１～図７に描かれた技術は、データ処理システム内のコンピュータ可読記憶媒体に格納され、コンピュータ使用可能プログラムコードが遠隔データ処理システムからネットワークを介してダウンロードされたコンピュータ使用可能プログラムコードを含むことができるコンピュータプログラム製品を介して実施することができる。また、本発明の一実施形態において、コンピュータプログラム製品は、サーバデータ処理システムにおいてコンピュータ可読記憶媒体に格納されるコンピュータ使用可能プログラムコードを含むことができ、コンピュータ使用可能プログラムコードは、遠隔システムとのコンピュータ可読記憶媒体での使用のためにネットワークを介して遠隔データ処理システムへダウンロードされる。

本発明の一実施形態またはその要素は、メモリと、メモリに結合され、例示的な方法段階を実行するように構成された少なくとも１つのプロセッサとを含む装置の形態で実施することができる。

さらに、本発明の一実施形態は、コンピュータまたはワークステーション上で実行されるソフトウェアを利用することができる。図８を参照すると、そのような実装は、例えば、プロセッサ８０２、メモリ８０４、および、例えば、ディスプレイ８０６並びにキーボード８０８によって形成された入力／出力インタフェースを採用することができる。本明細書において使用されるとき、「プロセッサ」という用語は、例えば、マルチコアＣＰＵ、ＧＰＵ、ＦＰＧＡ、もしくは１つまたは複数のＡＳＩＣ、またはその組み合わせなどの他の形態の処理回路を含むものなど、任意の処理デバイスを含むことを意図している。さらには、用語「プロセッサ」は、２つ以上の個別のプロセッサを指す場合がある。「メモリ」という用語は、例えば、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリメモリ）、固定記憶装置（例えば、ハードディスク）、取り外し可能な記憶装置（例えば、ディスケット）、フラッシュメモリなどのプロセッサ（例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣなど）に関連するメモリを含むことを意図するものである。また、本明細書において使用されるとき、「入力／出力インタフェース」という語句には、例えば、処理ユニットにデータを入力するメカニズム（例えば、マウス）、および処理ユニットに関連付けられた結果を提供するメカニズム（例えば、プリンタ）などが含まれることを意図している。プロセッサ８０２、メモリ８０４、ディスプレイ８０６およびキーボード８０８などの入力／出力インタフェースは、データ処理ユニット８１２の一部として、例えばバス８１０を介して相互接続することができる。例えば、バス８１０を介した適切な相互接続は、コンピュータネットワークとインタフェースするために提供され得るネットワークカードなどのネットワークインタフェース８１４、および媒体８１８とインタフェースするために提供され得るディスケットまたはＣＤ－ＲＯＭドライブなどの媒体インタフェース８１６に提供されることもできる。

したがって、本明細書に記載されたような本発明の実施形態の方法論を実行するための命令またはコードを含むコンピュータソフトウェアは、関連メモリデバイス（例えば、ＲＯＭ、固定メモリまたは取り外し可能メモリ）に格納され、利用する準備ができたときに、一部または全部を（例えば、ＲＡＭに）ロードしてＣＰＵによって実行され得る。そのようなソフトウェアとしては、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれる可能性あるが、それに限定されない。

プログラムコードを記憶する若しくは実行する、またはその両方に好適なデータ処理システムは、直接的にまたは間接的にシステムバス８１０を介してメモリ要素８０４に結合される少なくとも１つのプロセッサ８０２を含む。メモリ要素には、プログラムコードの実際の実装時に採用されるローカルメモリ、バルクストレージ、および実装時にバルクストレージからコードを取得する回数を減らすために少なくとも一部のプログラムコードの一時的な格納を提供するキャッシュメモリを含むことができる。

入力／出力またはＩ／Ｏデバイス（キーボード８０８、ディスプレイ８０６、ポインティングデバイスなどを含むが、これらに限定されない）は、直接（バス８１０経由など）または介在するＩ／Ｏコントローラ（明確化のため省略）を介してシステムに結合されることができる。

ネットワークインタフェース８１４などのネットワークアダプタも、データ処理システムが、介在するプライベートネットワークまたはパブリックネットワークを通じて他のデータ処理システムまたはリモートプリンタまたは記憶装置に結合されることを可能にするために、システムに結合されることができる。モデム、ケーブルモデム、イーサネット（登録商標）カードは単に、現在利用可能なネットワークアダプタの種類のほんの一部である。

特許請求の範囲を含め、本明細書において使用されるとき、「サーバ」には、サーバプログラムを実行中の物理的なデータ処理システム（例えば、図８に示されるようなシステム８１２）が含まれる。そのような物理的なサーバは、ディスプレイおよびキーボードを含んでもよいし、含んでいなくてもよいことを理解されたい。

本発明は、任意の可能な技術詳細レベルでの統合におけるシステム、方法、若しくはコンピュータプログラム製品、またはその組み合わせになり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含んでよい。

コンピュータ可読記憶媒体は、命令実行デバイスにより使用されるように命令を保持および記憶することができる有形デバイスであってよい。コンピュータ可読記憶媒体は、限定することはないが、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、または前述したものの任意の好適な組み合わせでよい。コンピュータ可読記憶媒体のより具体的な例に関する完全に網羅されていないリストには、以下のものが含まれる。すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラム可能なリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、パンチカードまたは溝の中にあって記録された命令を有する隆起構造体等の機械的にエンコードされたデバイス、および前述したものの任意の好適な組み合わせである。コンピュータ可読記憶媒体は、本明細書において使用されるとき、電波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを通して伝送される電気信号などの一時的な信号それ自体とは解釈されるべきではない。

本明細書に説明されるコンピュータ可読プログラム命令が、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、若しくは無線ネットワーク、またはその組み合わせ）を介して外部コンピュータ若しくは外部記憶装置にダウンロードされてよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、若しくはエッジサーバ、またはその組み合わせを含んでよい。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために転送する。

本発明の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データであってもよく、Ｓｍａｌｌｔａｌｋ（登録商標）またはＣ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述したソースコードまたはオブジェクトコードであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行されてもよいし、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行されてもよいし、部分的にユーザのコンピュータ上で、かつ、部分的にリモートコンピュータ上で実行されてもよいし、リモートコンピュータ若しくはサーバ上で完全に実行されてもよい。後者のシナリオでは、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよいし、その接続が、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに対して行われてもよい。いくつかの実施形態において、例えば、プログラム可能なロジック回路、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、またはプログラム可能なロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して、電子回路をパーソナライズしてよい。

本発明の態様が、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図若しくはブロック図またはその組み合わせを参照して、本明細書に説明されている。フローチャート図若しくはブロック図、またはその両方の各ブロック、並びに、フローチャート図若しくはブロック図、またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装することができることが理解されよう。

これらのコンピュータ可読プログラム命令を、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置に提供して機械を作ることができ、その結果、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を介して実行される命令が、フローチャート若しくはブロック図の、またはその両方のブロックで指定された機能／動作を実装するための手段を作成する。また、これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶されてよく、当該命令は、コンピュータ、プログラム可能なデータ処理装置若しくは他のデバイス、またはその組み合わせに対し、特定の方式で機能するよう命令することができ、それにより、命令を記憶したコンピュータ可読記憶媒体は、フローチャート若しくはブロック図、またはその両方の単数または複数のブロックで指定された機能／動作の態様を実装する命令を含む製品を含むようになる。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の動作段階を実行させて、コンピュータ実装プロセスを生み出し得て、その結果、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令が、フローチャート若しくはブロック図またはその両方のブロックで指定された機能／動作を実装する。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点で、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能な命令を含む命令のモジュール、セグメント、またはある部分を表し得る。いくつかの代替実装形態では、ブロック内で示された機能が、図で示された順序以外で発生することもある。例えば、連続して示される２つのブロックは、実際には、１つの段階として実現されても、部分的にまたは全体的に時間重複する方法で同時に、実質的に同時に実行されてもよいし、または、ブロックは、場合によっては、関与している機能に依存して逆の順序で実行されてもよい。ブロック図若しくはフローチャート図またはその両方の各ブロック、並びに、ブロック図若しくはフローチャート図またはその両方のブロックの組み合わせが、指定された機能または動作を実行するか、または特殊用途ハードウェアとコンピュータ命令との組み合わせを実行する、特殊用途ハードウェアベースのシステムにより実装され得ることにも留意されたい。

本明細書に記載された方法のいずれもが、コンピュータ可読記憶媒体上に具現化された別個のソフトウェアモジュールを含むシステムを提供する追加の段階を含み得ることに留意されたい。モジュールは、例えば、本明細書に詳述した構成要素のいずれかまたはすべてを含み得る。次に、方法段階は、上述したように、システムの別個のソフトウェアモジュール若しくはサブモジュールまたはその組み合わせを使用して実行され、ハードウェアプロセッサ８０２上に実行されることができる。さらに、コンピュータプログラム製品は、別個のソフトウェアモジュールを有するシステムのプロビジョニングを含む、本明細書に記載された少なくとも１つの方法段階の実行のために実施されるように適合されたコードを有するコンピュータ可読記憶媒体を含むことができる。

任意の場合において、本明細書に示された構成要素は、例えば、特定用途向け集積回路（ＡＳＩＣ）、機能回路、関連メモリを有する適切にプログラムされたデジタルコンピュータなど、ハードウェア、ソフトウェア、またはそれらの組み合わせの様々な形態で実装され得ることが理解されるべきである。本明細書で提供される本発明の教示を考慮すると、関連技術の通常のスキルを有するものは、本発明の構成要素の他の実装を企図することができるであろう。

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載される教示の実装はクラウドコンピューティング環境に限定されるものではないことを理解されたい。むしろ、本発明の実施形態は、現在知られているまたは将来開発される任意の他の種類のコンピューティング環境と組み合わせて実装することが可能である。

クラウドコンピューティングは、管理の労力またはサービスのプロバイダとの相互作用を最小限に抑えながら迅速に提供およびリリースできる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、およびサービス）の共有プールに対する便利なオンデマンドネットワークアクセスを可能にするための、サービス提供モデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルを含み得る。

特性は以下のとおりである。

オンデマンドセルフサービス：クラウド利用者は、サービスプロバイダとの人的やり取りを必要とすることなく、必要に応じて自動的に、サーバ時間およびネットワークストレージなどのコンピューティング能力を一方的に提供することができる。

幅広いネットワークアクセス：様々な能力は、ネットワークを通じて利用可能であり、且つ標準メカニズムでアクセスできるので、異なる種類のシンクライアントプラットフォームまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による利用が促進される。

リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数の利用者にサービスを提供するようにプールされており、異なる物理リソースおよび仮想リソースが需要に従って動的に割り当てられ、また再割り当てされる。利用者は一般に、提供されるリソースの正確な位置に対して制御または知識を有さないという点で位置の独立性という意味合いがあるが、より高い抽象化レベル（例えば、国、州、またはデータセンタ）では位置を特定できる場合がある。

速やかな拡張性：様々な能力を速やかに且つ伸縮自在に、場合によっては自動的に提供し、即座にスケールアウトすることも、速やかに解消して即座にスケールインすることもできる。利用者にとって、多くの場合、プロビジョニングに利用可能な能力は無制限に見え、任意の時間に任意の量で購入することができる。

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、およびアクティブユーザアカウント）に対して適切な或る抽象化レベルでのメータリング能力を利用して、リソース使用を自動的に制御して最適化する。リソース使用量は、監視され、制御され、また報告されるので、利用されるサービスのプロバイダおよび利用者の両方に透明性を提供することができる。

サービスモデルは以下のとおりである。

サービスとしてのソフトウェア（ＳａａＳ）：利用者に提供される能力は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用することである。アプリケーションは、ウェブブラウザ（例えばウェブベースの電子メール）などのシンクライアントインタフェースを通じて様々なクライアントデバイスからアクセス可能である。利用者は、ネットワーク、サーバ、オペレーティングシステム、ストレージ、または個々のアプリケーション機能さえも含む基礎となるクラウドインフラストラクチャを管理することも、制御することもないが、限定的なユーザ固有のアプリケーション構成設定は例外となる場合がある。

サービスとしてのプラットフォーム（ＰａａＳ）：利用者に提供される能力は、プロバイダによりサポートされるプログラミング言語およびツールを使用して作成される、利用者が作成したまたは取得したアプリケーションをクラウドインフラストラクチャ上に展開することである。利用者は、ネットワーク、サーバ、オペレーティングシステム、またはストレージを含む基礎となるクラウドインフラストラクチャを管理することも、制御することもないが、展開したアプリケーション、および場合によってはアプリケーションをホストする環境設定に対する制御権を有する。

サービスとしてのインフラストラクチャ（ＩａａＳ）：利用者に提供される能力は、処理、ストレージ、ネットワーク、および他の基礎的なコンピューティングリソースを提供することであり、利用者は、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを展開して実行することができる。利用者は、基礎となるクラウドインフラストラクチャを管理または制御しないが、オペレーティングシステム、ストレージ、展開したアプリケーション、および、場合によっては、選択したネットワーキング構成要素（例えばホストファイアウォール）の限定的な制御に対する制御を有する。

展開モデルは以下のとおりである。

プライベートクラウド：クラウドインフラストラクチャは、一組織のためだけに運用される。プライベートクラウドは、その組織または第三者によって管理されてよく、オンプレミスまたはオフプレミスで存在してよい。

コミュニティクラウド：クラウドインフラストラクチャは、いくつかの組織によって共有され、関心（例えば、ミッション、セキュリティ要件、ポリシ、およびコンプライアンス考慮事項）を共有する特定のコミュニティをサポートする。コミュニティクラウドは、それらの組織または第三者によって管理されてよく、オンプレミスまたはオフプレミスで存在してよい。

パブリッククラウド：クラウドインフラストラクチャは、一般大衆または大規模な業界団体に利用可能になり、クラウドサービスを販売する組織により所有されている。

ハイブリッドクラウド：クラウドインフラストラクチャは、独自のエンティティのままであるが、データおよびアプリケーションポータビリティ（例えば、クラウド間の負荷バランスを取るためのクラウドバースティング）を可能にする標準化されたまたは独自技術によって結び付けられた２またはそれより多くのクラウド（プライベート、コミュニティ、またはパブリック）の複合である。

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性、およびセマンティック相互運用性を重視したサービス指向型である。クラウドコンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャがある。

ここで図９を参照すると、例示的なクラウドコンピューティング環境９５０が示されている。示されるように、クラウドコンピューティング環境９５０は、クラウド利用者によって使用されるローカルコンピューティングデバイス、例えば、パーソナルデジタルアシスタント（ＰＤＡ）またはセルラ電話９５４Ａ、デスクトップコンピュータ９５４Ｂ、ラップトップコンピュータ９５４Ｃ若しくは自動車コンピュータシステム９５４Ｎまたはその組み合わせなどが通信し得る１つまたは複数のクラウドコンピューティングノード９１０を含む。ノード９１０は、互いに通信し得る。それらは、本明細書の上記で説明されたようなプライベートクラウド、コミュニティクラウド、パブリッククラウド、若しくはハイブリッドクラウド、またはこれらの組み合わせなどの、１つまたは複数のネットワーク内で物理的にまたは仮想的にグループ化されてよい（図示せず）。これにより、クラウドコンピューティング環境９５０は、サービスとしてインフラストラクチャ、プラットフォーム、若しくはソフトウェア、またはその組み合わせを提供することが可能になり、こうしたもののために、クラウド利用者がローカルコンピューティングデバイス上にリソースを保持する必要はない。図９に図示されるコンピューティングデバイス９５４Ａ－Ｎの種類は、専ら例示的なものを意図し、コンピューティングノード９１０およびクラウドコンピューティング環境９５０は、任意の種類のネットワーク若しくはネットワークアドレス指定可能な接続（例えば、ウェブブラウザを使用して）またはその両方を通して、任意の種類のコンピュータ化されたデバイスと通信可能であることを理解されたい。

ここで、図１０を参照すると、クラウドコンピューティング環境９５０（図９）によって提供される機能抽象化層のセットが示される。図１０に示された構成要素、層、および機能が、例示のみを意図するものであり、本発明の実施形態がそれに限定されることはないことを、前もって理解されるべきである。示されているように、以下の層および対応する機能が設けられている。

ハードウェアおよびソフトウェア層１０６０は、ハードウェアおよびソフトウェア構成要素を含む。ハードウェア構成要素の例は、メインフレーム１０６１と、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ，縮小命令セットコンピュータ）アーキテクチャベースサーバ１０６２と、サーバ１０６３と、ブレードサーバ１０６４と、記憶装置１０６５と、ネットワークおよびネットワーキング構成要素１０６６とを含む。いくつかの実施形態において、ソフトウェア構成要素には、ネットワークアプリケーションサーバソフトウェア１０６７およびデータベースソフトウェア１０６８が含まれている。

仮想化層１０７０は、抽象化層を提供し、ここから、以下の例の仮想エンティティ、すなわち、仮想サーバ１０７１、仮想ストレージ１０７２、仮想プライベートネットワークを含む仮想ネットワーク１０７３、仮想アプリケーションおよびオペレーティングシステム１０７４、並びに仮想クライアント１０７５が提供され得る。
一例では、管理層１０８０は、以下に説明する機能を提供し得る。リソースプロビジョニング１０８１は、コンピューティングリソース、および、クラウドコンピューティング環境内でタスクを実行するために利用される他のリソースの動的な調達を提供する。メータリングおよび価格設定１０８２は、リソースがクラウドコンピューティング環境内で用いられる際のコスト追跡およびこれらのリソースの消費に対する課金または請求書作成を提供する。

一例では、これらのリソースは、アプリケーションソフトウェアライセンスを含み得る。セキュリティでは、クラウド利用者およびタスクの同一性確認、並びにデータおよび他のリソースの保護を行う。ユーザポータル１０８３は、利用者およびシステム管理者に対し、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理１０８４は、要求されるサービスレベルが満たされるように、クラウドコンピューティングリソース割り当ておよび管理を提供する。サービスレベルアグリーメント（ＳＬＡ）計画および履行１０８５は、ＳＬＡに従い将来の要件が予期されるクラウドコンピューティングリソースに対する事前取り決めおよび調達を提供する。

ワークロード層１０９０は、クラウドコンピューティング環境が利用され得る機能性の例を提供する。この層から提供され得るワークロードおよび機能の例には、本発明の１つまたは複数の実施形態に従って、マッピングおよびナビゲーション１０９１、ソフトウェア開発およびライフサイクル管理１０９２、仮想教室教育の提供１０９３、データ分析処理１０９４、トランザクション処理１０９５、および気候データモデリングおよび予報１０９６が含まれる。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明を限定することを意図するものではない。本明細書において使用されるとき、コンテキストが明確にそうではないと指示しない限り、単数形「１つの（ａ）」、「１つの（ａｎ）」および「その（ｔｈｅ）」は複数形を同様に含むように意図されている。「含む（ｃｏｍｐｒｉｓｅｓ）」若しくは「含む（ｃｏｍｐｒｉｓｉｎｇ）」またはその両方の用語は、本明細書で使用される場合、明示された特徴、段階、動作、要素若しくはコンポーネントまたはその組み合わせの存在を指定するが、他の特徴、段階、要素、コンポーネント若しくはそのグループまたはその組み合わせの存在または追加を除外するわけではないことをさらに理解されたい。

本発明の少なくとも１つの実施形態は、例えば、気候を意識した予報に関連して使用される時空間的な不確実性認識気候ベクトル表現を学習するためのフレームワーク（例えば、１つまたは複数のフレームワーク構成のセット）などの有益な効果を提供し得る。従来技術とは異なり、本実施形態は、入力された地理空間気候データの時空間変動を捕捉するために、複数の面からのコンテキスト的気候データに基づいて、深層双方向トランスフォーマモデルの事前訓練を行うことを提供する。

本実施形態は、有利には、深層学習のためのアテンション機構を可能にする。例えば、本実施形態は、マスキングされた気候モデルを使用して、深層トランスフォーマベースの双方向表現の事前訓練を可能にする。さらに、本実施形態は、ｃｌｉｍａｔｅ２ｖｅｃモデルの事前訓練のために、地理空間データ特性（例えば、位置およびデータ固有の特徴）を効率的に捕捉するための時空間位置埋め込みを利用する。

さらなる利点として、本実施形態は、気候を意識した需要予測、気候を意識したエネルギー予測、および他の企業関連タスクなど（必ずしもこれらに限定されない）の大規模な下流タスクの気候を意識したユースケースへのアプリケーションのためにｃｌｉｍａｔｅ２ｖｅｃモデルを微調整している。この微調整は、ｃｌｉｍａｔｅ２ｖｅｃモデルの最後のいくつかの出力層を、タスク固有の気候を意識した予報ユースケース用に再訓練することで行われる。

１つまたは複数の実施形態において、時空間気候予報の出力は、中長期季節性気候予報と過去の観測結果をエンコードされた表現を学習することにより、ニューラルネットワークを使用して表現および変換される。気候学（例えば、気候および時間の経過による変化の研究）は、モデル訓練に関連して、あるタイムスタンプ（例えば、時間、日、週など）の気候予報をマスキングして、本来の気候予報を予測するために使用される。時空間位置エンコーディングにより、複雑な時空間的気候変動および異なる地理空間的データ（例えば、大気汚染および交通データ）の特性を容易に捕捉することができる。

また、機械学習モデルは、季節性予報に関連付けられた不確実性情報（平均、分散、標準偏差、四分位分布など）を効率的に捕捉するために、階層性制約を施行することが有利に働く。

本発明の様々な実施形態の説明は、例示の目的で提示されるが、網羅的であることとも、開示される実施形態に限定されることも意図されていない。記載されている実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が当業者には明らかとなるであろう。本明細書において使用される専門用語は、実施形態の原理、市場で見られる技術の実用的な応用若しくはそれに対する技術的改善を最も良好に説明し、または、本明細書において開示される実施形態を他の当業者が理解することを可能にするように選択されている。

Claims (20)

1. プログラム命令を備えるコンピュータプログラムであって、前記プログラム命令は、１つまたは複数のプロセッサに
   複数の空間成分と複数の時間成分とを含む気候データを受信する手順と、
   前記気候データの一部をマスキングする手順と、
   機械学習モデルを訓練する手順であって、前記訓練は、前記気候データの前記マスキングされた部分に少なくとも部分的に基づく、手順と、
   前記機械学習モデルを介して、前記気候データのベクトル表現を生成する手順と
   を実行させるように、前記１つまたは複数のプロセッサによって実行可能である、コンピュータプログラム。
2. 前記複数の空間成分は複数の地理的位置を含み、前記複数の時間成分は複数の期間を含む、請求項１に記載のコンピュータプログラム。
3. 前記ベクトル表現は、前記複数の地理的位置における前記気候データの１つまたは複数のｄ次元ベクトル表現を含む、請求項２に記載のコンピュータプログラム。
4. 前記機械学習モデルは、トランスフォーマベースのニューラルネットワークを含む、請求項１に記載のコンピュータプログラム。
5. 前記プログラム命令は、前記気候データの位置特性を捕捉するために、前記１つまたは複数のプロセッサに、前記機械学習モデルの前記訓練に関連して位置埋め込み手順をさらに実行させる、請求項１に記載のコンピュータプログラム。
6. 前記位置埋め込み手順は、位置固有の埋め込み手順を有し、前記位置特性は、前記気候データに関連付けられた１つまたは複数の位置の位置情報を含む、請求項５に記載のコンピュータプログラム。
7. 前記位置埋め込み手順は、データ固有の埋め込み手順を含み、前記位置特性は前記気候データに関連付けられた１つまたは複数の気候帯についての気候帯情報を含む、請求項５に記載のコンピュータプログラム。
8. 前記プログラム命令は、前記気候データの時間的傾向特性を捕捉するために、前記１つまたは複数のプロセッサに、前記機械学習モデルの前記訓練に関連して季節性埋め込み手順をさらに実行させる、請求項１に記載のコンピュータプログラム。
9. 前記プログラム命令は、前記気候データの１つまたは複数の潜在空間表現を捕捉するために、前記１つまたは複数のプロセッサに、前記機械学習モデルの前記訓練に関連して気候属性埋め込み手順をさらに実行させる、請求項１に記載のコンピュータプログラム。
10. 前記プログラム命令は、１つまたは複数の企業固有の予測タスクを実行するために、前記１つまたは複数のプロセッサに、前記機械学習モデルを微調整する手順をさらに実行させる、請求項１に記載のコンピュータプログラム。
11. 前記複数の空間成分および前記複数の時間成分は異なる粒度を含む、請求項１に記載のコンピュータプログラム。
12. 前記気候データは１つまたは複数の気候属性をさらに含む、請求項１に記載のコンピュータプログラム。
13. 前記プログラム命令は、前記１つまたは複数のプロセッサに、前記気候データの１つまたは複数の隣接するマスキングされていない部分を利用することによって、前記気候データの前記マスキングされた部分の潜在表現を学習する手順をさらに実行させる、請求項１に記載のコンピュータプログラム。
14. 前記気候データの前記マスキングされた部分の前記潜在表現を学習することにおいて、前記プログラム命令は、前記１つまたは複数のプロセッサに、１つまたは複数の制約を考慮する損失関数を最小化する手順を実行させる、請求項１３に記載のコンピュータプログラム。
15. 前記複数の時間成分は複数のタイムスタンプを含み、前記プログラム命令は、前記１つまたは複数のプロセッサに、前記機械学習モデルを使用して前記複数のタイムスタンプのうちの最後のタイムスタンプに続くタイムスタンプに関連付けられた気候を予測する手順をさらに実行させる、請求項１から１４のいずれか一項に記載のコンピュータプログラム。
16. 複数の空間成分と複数の時間成分とを含む気候データを受信する段階と、
    前記気候データの一部をマスキングする段階と、
    機械学習モデルを訓練する段階であって、前記訓練は、前記気候データの前記マスキングされた部分に少なくとも部分的に基づく、段階と、
    前記機械学習モデルを介して、前記気候データのベクトル表現を生成する段階と
    を備え、
    プログラムコードを実行する際に、メモリに結合されたプロセッサを有する少なくとも１つの処理デバイスによって実行される、コンピュータ実装方法。
17. 前記気候データの位置特性を捕捉するために、前記機械学習モデルの前記訓練に関連して位置埋め込みを実行する段階をさらに備える、請求項１６に記載のコンピュータ実装方法。
18. 前記気候データの１つまたは複数の隣接するマスキングされていない部分を利用することによって、前記気候データの前記マスキングされた部分の潜在表現を学習する段階をさらに備える、請求項１６または１７に記載のコンピュータ実装方法。
19. メモリに結合されたプロセッサを有する少なくとも１つの処理デバイスを備える装置であって、プログラムコードを実行する際に、前記少なくとも１つの処理デバイスは、
    複数の空間成分と複数の時間成分とを含む気候データを受信し、
    前記気候データの一部をマスキングし、
    機械学習モデルを訓練し、前記訓練は、前記気候データの前記マスキングされた部分に少なくとも部分的に基づき、
    前記機械学習モデルを介して、前記気候データのベクトル表現を生成する
    ように構成されている、装置。
20. 前記プログラムコードを実行する際に、前記少なくとも１つの処理デバイスは、前記気候データの１つまたは複数の隣接するマスキングされていない部分を利用することによって、前記気候データの前記マスキングされた部分の潜在表現を学習するようにさらに構成されている、請求項１９に記載の装置。