JP2023531100A - エンティティがターゲットパラメータを充足しない確率を計算するための機械学習モデルアンサンブル - Google Patents

Abstract

エンティティがターゲットパラメータを充足しない確率を計算するための機械学習（ＭＬ）モデルアンサンブルを生成する方法であって、生データ要素の入力に対して各々がサブ値を出力する複数のＭＬサブモデルを訓練することと、サンプルエンティティに対してＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、サブ値の入力に対してターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、各自のサブ値を取得するため、エンティティに関連する生データ要素をＭＬサブモデルに入力することと、繰り返しにおいて、エンティティパラメータのシミュレートされた値を取得するためメインＭＬモデルに入力される調整されたサブ値を生成するため、サブ値に対するシミュレートされた調整を計算し、エンティティパラメータに対するシミュレート値の分析に従って、エンティティがターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、を有する方法が提供される。

Description

［関連出願］
本出願は、その内容が参照によってここに援用される、２０２０年６月２１日に出願された米国仮特許出願第１６／９０７，２５１号の優先権の利益を主張する。

本発明は、それのいくつかの実施例において、機械学習（ＭＬ）に関し、より詳細には、限定することなく、エンティティがターゲットパラメータを充足しないリスクを計算するためのＭＬモデルアンサンブルを訓練及び利用するシステム及び方法に関する。

特定のエンティティがターゲット値を充足可能な否かの予測は、通常はエンティティの履歴分析に基づいている。過去のターゲットの充足における過去の成功は、ターゲットの充足における将来の成功を示し、ターゲット履歴の充足における失敗の履歴は、通常は将来においてターゲットを充足ための予測される失敗を示す。他のアプローチは、他のエンティティを観察することである。他のエンティティがそれらのターゲット履歴の充足において成功又は失敗したかは、それ自体のターゲットを充足する現在のエンティティの能力に対する指示として利用される。

第１の態様によると、エンティティがターゲットパラメータを充足しない確率（ｌｉｋｅｌｉｈｏｏｄ）を計算するための機械学習（ＭＬ）モデルアンサンブルを生成する方法は、生データ要素の入力に応答して各々がサブ値を出力する複数のＭＬサブモデルを訓練することと、複数のサンプルエンティティのそれぞれに対して、前記複数のＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、前記複数のＭＬサブモデルによって出力された前記複数のサブ値の入力に応答して、前記ターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、各自のサブ値の出力を取得するため、前記エンティティに関連する複数の生データ要素を前記複数のＭＬサブモデルに入力することと、複数の繰り返しにおいて、複数の調整されたサブ値を生成するため、前記複数の取得されたサブ値に対する複数のシミュレートされた調整を計算し、前記複数の調整されたサブ値を前記メインＭＬモデルに入力し、前記複数の繰り返しにおいて前記メインＭＬモデルから前記エンティティパラメータに対する複数のシミュレート値を取得することと、前記エンティティパラメータに対する前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、を有する。

第２の態様によると、エンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを動的及び繰り返し利用する方法は、複数の第１の繰り返しにおいて、ターゲットパラメータを取得するためのリクエストをエンティティから受信することと、複数のネットワークノード上にインストールされるコードセンサによって抽出され、リアルタイムにサーバに投入される複数の生データ要素を受信することと、前記複数の生データ要素を複数のＭＬサブモデルに入力することと、前記複数のＭＬサブモデルから複数のサブ値を取得することと、複数の第２の繰り返しにおいて、複数の調整されたサブ値を生成するため、前記複数の取得されたサブ値に対する複数のシミュレートされた調整を計算することと、前記複数の調整されたサブ値をメインＭＬモデルに入力することと、前記複数の第２の繰り返しにおける前記メインＭＬモデルから、前記エンティティパラメータの複数のシミュレートされた値を取得することと、前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を計算するリスク分類器に前記複数のシミュレートされた値を入力することと、前記確率が閾値を下回るとき、前記エンティティに前記ターゲットパラメータを自動的に提供することと、前記確率が前記閾値を上回るとき、前記ターゲットパラメータに対するリクエストを自動的に否定することと、を有する。

第３の態様によると、エンティティがターゲットパラメータを充足しない確率を計算するための機械学習（ＭＬ）モデルアンサンブルを生成するシステムは、生データ要素の入力に応答して、それぞれがサブ値を出力する複数のＭＬサブモデルを訓練することと、複数のサンプルエンティティのそれぞれに対して複数のＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、前記複数のＭＬサブモデルによって出力される前記複数のサブ値の入力に応答して、前記ターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、各サブ値の出力を取得するため、前記複数のＭＬサブモデルに前記エンティティに関連する複数の生データ要素を入力することと、複数の繰り返しにおいて、複数の調整されたサブ値を生成するため、前記複数の取得されたサブ値に対する複数のシミュレートされた調整を計算することと、前記メインＭＬモデルに前記複数の調整されたサブ値を入力することと、前記複数の繰り返しにおける前記メインＭＬモデルから、前記エンティティパラメータの複数のシミュレートされた値を取得することと、前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、のためのコードを実行する少なくとも１つのハードウェアプロセッサを有する。

第４の態様によると、エンティティがターゲットパラメータを充足しない確率を計算するための機械学習（ＭＬ）モデルアンサンブルを生成する方法は、生データ要素の入力に応答して、それぞれがサブ値を出力する複数のＭＬサブモデルを訓練することと、複数のサンプルエンティティのそれぞれに対して複数のＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、前記複数のＭＬサブモデルによって出力される前記複数のサブ値の入力に応答して、前記ターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、各サブ値の出力を取得するため、前記複数のＭＬサブモデルに前記エンティティに関連する複数の生データ要素を入力することと、複数の繰り返しにおいて、確率的シミュレーションモデルと事前分布のセットとに基づいて、前記生データ要素から提供又は計算されると、前記複数のＭＬサブモデルによって出力された前記複数の取得されたサブ値に対して複数のシミュレートされた調整を計算することと、前記複数の取得されたサブ値に対して複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値に前記複数のシミュレートされた調整のそれぞれを適用することと、前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値を前記メインＭＬモデルに入力することと、前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおける前記メインＭＬモデルから、前記エンティティパラメータの複数のシミュレートされた値を取得することと、前記複数のＭＬサブモデルによって出力されるサブ値に前記複数のシミュレートされた調整のそれぞれを適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力された前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、を有する。

第５の態様によると、エンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを動的及び繰り返し利用する方法は、複数の第１の繰り返しにおいて、ターゲットパラメータを取得するためのリクエストをエンティティから受信することと、複数のネットワークノード上にインストールされたコードセンサによって抽出され、リアルタイムにサーバに投入された複数の生データ要素を受信することと、複数のＭＬサブモデルに前記複数の生データ要素を入力することと、前記複数のＭＬサブモデルから複数のサブ値を取得することと、複数の第２の繰り返しにおいて、前記生データ要素から提供又は計算されると、確率的シミュレーションモデルと事前分布のセットとに基づいて、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値に対して複数のシミュレートされた調整を計算することと、前記複数の取得されたサブ値の複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値に前記複数のシミュレートされた調整のそれぞれを適用することと、前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値をメインＭＬモデルに入力することと、前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値の入力に応答して、前記複数の第２の繰り返しにおいて前記メインＭＬモデルから、エンティティパラメータの複数のシミュレートされた値を取得することと、前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って前記エンティティが前記ターゲットパラメータを充足しない確率を計算するリスク分類器に、前記複数のＭＬサブモデルによって出力されるサブ値に前記複数のシミュレートされた調整のそれぞれを適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記複数のシミュレートされた値を入力することと、前記確率が閾値を下回るとき、前記エンティティに前記ターゲットパラメータを自動的に提供することと、前記確率が前記閾値を上回るとき、前記ターゲットパラメータに対するリクエストを自動的に拒否することと、を有する。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記リスク分類器は、前記複数の生データ要素が提供されると、前記複数のシミュレートされた調整のそれぞれを前記複数のＭＬサブモデルに適用することによって計算された前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記エンティティパラメータに対する前記複数のシミュレートされた値を計算及び利用することによって前記リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として前記複数の生データ要素を利用して少数のショット又は単一のショット訓練アプローチに基づいて生成される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、複数のシミュレートされた調整のそれぞれは、前記複数の取得されたサブ値の個別の各サブ値に対して計算され、前記複数のシミュレートされた調整のそれぞれは、各サブ値に対して複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値の前記各サブ値に適用される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、調整されたサブ値のセットのそれぞれは、前記複数のサブ値のそれぞれに対して、前記複数のサブ値のそれぞれの前記複数のシミュレートされた調整のセットのそれぞれを計算し、前記複数のシミュレートされた調整のそれぞれを前記複数のサブ値の対応するものに適用することによって計算される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数のサブ値の各サブ値に対する前記複数のシミュレートされた調整は、前記各サブ値の増加、前記各サブ値の減少及び新たなサブ値の作成からなる群から選択される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティパラメータに対して最も大きな影響を有する前記複数の生データ要素の少なくとも１つの最も影響力のある生データ要素を特定することを更に含み、前記複数のシミュレートされた調整を計算することは、入力として前記少なくとも１つの最も影響力のある生データ要素を受信する前記複数のＭＬサブモデルの少なくとも１つのＭＬサブモデルによって出力されるサブ値に対して実行される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数の生データ要素の更新を繰り返し取得することと、更新された各サブ値を取得するため、前記複数のＭＬサブモデルに前記複数の生データ要素の更新を繰り返し入力することと、複数の更新された繰り返しにおいて、複数の調整された更新されたサブ値を取得するため、前記複数の更新されたサブ値のそれぞれに対する前記複数のシミュレートされた調整を計算することと、前記複数の調整された更新されたサブ値を前記メインＭＬモデルに入力することと、前記エンティティパラメータに対して複数のシミュレートされた更新された値を取得することと、前記エンティティが前記ターゲットパラメータを充足しない更新された確率を生成するため、前記複数のシミュレートされた更新された値の更新された分析を利用して、前記リスク分類器の更新を生成することと、を更に含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記メインＭＬモデルは、前記複数のＭＬサブモデルによって出力される前記複数のサブ値に関連する複数のパラメータであって、複数のウェイトに関連する前記複数のパラメータの関数を含み、前記メインＭＬモデルを訓練することは、前記複数のウェイトを学習することを含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記関数の前記複数のウェイトは、前記エンティティパラメータに影響を与える自動化された組み合わせ的変形シナリオに基づいて計算される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティが前記ターゲットパラメータを充足しないリスクを示す閾値を受信することを更に含み、前記分析は、シミュレートされた値のセット全体に対して前記閾値を上回る又は下回る前記シミュレートされた値に基づいてエンティティスコアを計算することによって、前記確率を計算することを含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティスコアが前記ターゲットパラメータを上回るとき、前記エンティティが前記ターゲットパラメータを充足する確率を決定することを更に含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティに関連する前記複数の生データ要素は、前記エンティティのデータを格納する構造化データソースから取得された構造化データ、前記エンティティの数値データを計算するデータソースから取得された数値データ、及び、オープンソース及び／又はソーシャルネットワークから取得された非構造化データからなる群から選択される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数のＭＬサブモデルの少なくとも１つは、（ｉ）第１の時間間隔の間に取得される特定のタイプの前記生データ要素の値と、前記第１の時間間隔より以前の少なくとも１つの第２の時間間隔の間に取得される前記特定のタイプの生データ要素の値との間の相関ウィンドウに基づいて各メトリックを出力すること、（ｉｉ）規定されたタイプのセットの生データ要素の値が提供されると、各メトリックを計算すること、（ｉｉｉ）前記エンティティのタイプに従って選択された複数のサブサブモデルの組み合わせの集まりによって各メトリックを計算すること、（ｉｖ）選択されたセットの生データ要素が提供されると、前記エンティティが前記ターゲットパラメータを充足する確率を出力するサブ分類器であって、複数のサンプルエンティティのそれぞれに対して、各サンプルエンティティに関連するサンプルデータ要素と、前記各サンプルエンティティに提供される各ターゲットパラメータを充足するという指示とを含む訓練データセットに対して訓練されるサブ分類器、（ｖ）前記エンティティパラメータに対する前記エンティティの複数のコンポーネントの１つのコンポーネントの失敗のリスクを出力すること、（ｖｉ）前記エンティティに関連するウェブサイトにアクセスするユーザを示す生データ要素の分析に基づいて、指標及び／又は予測パラメータを出力すること、（ｖｉｉ）外部のソーシャルネットワークサーバによって運営されるソーシャルネットワーク上で投稿されるユーザのプロファイルの分析に基づいて、前記エンティティ内のユーザの指示を出力すること、及び、（ｖｉｉｉ）前記エンティティに関連する広告及び／又はプロモーションとやりとりするユーザを示すマーケティング要素の分析に基づいて、指標及び／又は予測パラメータを出力すること、からなる群から選択される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数のシミュレートされた調整は、生データから計算又は提供されると、確率的シミュレーションモデルと事前分布のセットとに基づいて計算される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記方法の特徴は、サーバ上で実行される少なくとも１つのハードウェアプロセッサによって実現され、前記生データ要素は、複数のネットワークノード上にインストールされたコードセンサによって抽出され、リアルタイムにサーバに投入される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティは会社を含み、リクエストに規定される前記ターゲットパラメータは、前記企業に資金提供する資金調達リクエストに規定される資金を含み、前記エンティティパラメータは、前記資金調達リクエストの資金を返済するのに利用される前記エンティティの金融資産を含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティに関連する前記複数の生データ要素は、前記企業の顧客を示すデータ要素、前記企業の財務詳細を示すデータ要素、及び、前記企業に関連する第三者ソースから取得されるデータ要素からなる群から選択される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数のＭＬサブモデルの少なくとも１つは、（ｉ）第１の時間間隔の間の収入と、前記第１の時間間隔より以前の少なくとも１つの第２の時間間隔の間に取得される収入との間のレシオとして計算される前記企業の成長の指示であって、前記収入は、課金及び／又は請求システム統合から取得されるインボイス及び／又は支払いを含む複数の第１のタイプの生データ要素に基づいて計算される、指示、（ｉｉ）顧客情報管理（ＣＲＭ）システムから取得されるインボイス、支払い及び／又はデータを含む複数の第２のタイプの生データ要素に基づいて計算される顧客チャーンの指示、（ｉｉｉ）複数の第３のタイプの生データ要素に基づいて計算される粗利益の指示、（ｉｖ）前記企業のビジネスタイプに従って選択される複数のサブサブモデルの組み合わせの集まりとして計算されるユニットエコノミクスの指示、（ｖ）複数の第４のタイプの生データ要素が提供されると、前記企業がファンドを上昇させる確率を出力するサブ分類器であって、複数のサンプル企業のそれぞれに対して、前記第４のタイプのデータ要素の値と、前記それぞれの企業によって上昇されたファンドの指示とを含む訓練データセットに対して訓練されるサブ分類器、（ｖｉ）複数の第５のタイプのデータ要素が提供されると、複数の収入生成ユニットの統計分布の計算に基づいて、前記企業の複数の収入生成ユニットの１つの収入生成ユニットの前記企業に対する失敗のリスクを出力すること、（ｖｉｉ）前記企業に関連するウェブサイトにアクセスするユーザを示す第６のタイプのデータ要素の分析に基づいて、及び／又は提供された広告とやりとりするユーザを示す第７のタイプのデータ要素の分析に基づいて、指標及び／又は予測パラメータを出力すること、（ｖｉｉｉ）外部ソーシャルネットワークサーバによって運営されるソーシャルネットワーク及び／又はネットワークノードによって運営される更なる外部ソース上に投稿される従業員プロファイルの分析に基づいて、前記企業内の従業員の配置転換の指示を出力すること、（ｉｘ）企業リソースプラニング（ＥＲＰ）システム統合を介し取得される契約及び／又は購入注文を含むコミットメントの分析に基づいて、リアルタイム短期及び／又は長期コスト予測、外部請負業者の対比による検出された予想される重要コスト、供給されるサービス価格の変更、部品表（ＢＯＭ）及び／又は進行中の購入注文の指示を出力すること、からなる群から選択されるそれぞれの指標及び／又は予測パラメータを出力する。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記リスク分類器は、前記複数の生データ要素が提供されると、前記複数のシミュレートされた調整のそれぞれを前記複数のＭＬサブモデルに適用することによって計算された前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記エンティティパラメータに対する前記複数のシミュレートされた値を計算及び利用することによって前記リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として前記複数の生データ要素を利用して少数のショット又は単一のショット訓練アプローチに基づいて生成される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、複数のシミュレートされた調整のそれぞれは、前記複数の取得されたサブ値の個別の各サブ値に対して計算され、前記複数のシミュレートされた調整のそれぞれは、各サブ値に対して複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値の前記各サブ値に適用される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数の生データ要素の更新を繰り返し取得することと、更新された各サブ値を取得するため、前記複数のＭＬサブモデルに前記複数の生データ要素の更新を繰り返し入力することと、複数の更新された繰り返しにおいて、複数の調整された更新されたサブ値を取得するため、前記複数の更新されたサブ値のそれぞれに対する前記複数のシミュレートされた調整を計算することと、前記複数の調整された更新されたサブ値を前記メインＭＬモデルに入力することと、前記エンティティパラメータに対して複数のシミュレートされた更新された値を取得することと、前記エンティティパラメータの複数のシミュレートされた更新された値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない更新された確率を生成するための前記リスク分類器に前記複数のシミュレートされた更新された値を入力することと、を更に含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティパラメータが前記ターゲットパラメータを充足しない繰り返し計算された更新された確率に従ってトレンドを計算し、前記エンティティが前記ターゲットパラメータを充足しない確率が閾値を上回るとき、トレンドを予測するための将来時間に前記トレンドを外挿することを更に含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数の生データ要素の少なくとも１つの統計量の変化をモニタリングすることと、前記変化に応答して、及び／又は前記統計量の変化が有意であるとき、繰り返しをトリガすることと、を更に含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記エンティティパラメータの値に最も影響する複数の影響力のあるウェイトを特定するため、前記関数の複数のウェイトを分析することと、各サブ関数が少なくとも１つの生データ要素と前記エンティティパラメータの値との間を相関させるための特定の影響力のあるウェイトに対応する、サブ関数のセットを計算することと、を更に含む。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記複数の生データ要素の更新を繰り返し取得することに応答して、クライアント端末のディスプレイ上で提示されるインタラクティブグラフィカルユーザインタフェース（ＧＵＩ）が、前記エンティティが前記ターゲットパラメータを充足しない確率を示すエンティティスコアと、事前に承認された資金調達を返済するのに十分な金融資産を取得する動的に計算された確率に基づいて決定される企業に利用可能な事前に承認された資金調達の金額との指示によって動的に更新される。

第１、第２、第３、第４及び第５の態様の更なる実現形態において、前記ＧＵＩを介し前記ＧＵＩに提示された前記事前に承認された資金調達の金額までの資金調達の金額に対するリクエストを受信することと、前記企業の口座に前記資金調達の金額を自動的に提供することと、を更に含む。

別段の断りがない場合、ここで使用される全ての技術的及び／又は科学的な用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。ここに記載されるものと同様又は同等の方法及び題材が、本発明の実施例の実施又は試験において使用可能であるが、例示的な方法及び／又は題材が後述される。矛盾する場合、定義を含む本特許明細書が優先する。加えて、題材、方法及び具体例は、例示にすぎず、必ずしも限定することを意図するものではない。

本発明のいくつかの実施例は、添付の図面を参照して、単なる例示としてここに記載される。ここで図面をより詳細に参照して、図示された詳細は、例示のためであり、本発明の実施例の説明のためであることが強調される。この点に関して、図面を用いた説明は本発明の実施例がどのように実施され得るかを当業者に明らかにする。

本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを生成する方法のフローチャートである。 本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを利用する方法のフローチャートである。 本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを生成及び／又は利用するシステムのブロック図である。 本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを生成する一例となるデータフローを示すデータフロー図である。 本発明のいくつかの実施例によるリスク分類器を生成するのに利用されるストレステスト処理の結果を示す概略図である。 本発明のいくつかの実施例による特定のエンティティのエンティティスコアがエンティティがターゲットパラメータを充足しない確率を表しているか決定するための閾値を設定する処理を示す概略図である。

本発明は、それのいくつかの実施例において機械学習（ＭＬ）に関し、より詳細には、限定することなく、エンティティがターゲットパラメータを充足しないリスクを計算するためのＭＬモデルアンサンブルを訓練及び利用するシステム及び方法に関する。

本発明のいくつかの実施例の態様は、エンティティがターゲットパラメータを充足しない確率を計算するための機械学習モデルアンサンブルを生成する（確率の計算という用語は、リスクの予測という用語と互換可能であることがある）システム、方法、装置及び／又はコード命令（メモリに格納され、１つ以上のハードウェアプロセッサによって実行可能である）に関する。ＭＬモデルアンサンブルは、以下のコンポーネント、（ｉ）生データ要素の入力に応答してサブ値の結果を生成するＭＬサブモデル、（ｉｉ）ＭＬサブモデルによって出力されたサブ値の入力に応答して、ターゲットパラメータに対応するエンティティパラメータの値の結果を生成するメインＭＬモデル、及び（ｉｉｉ）エンティティパラメータのシミュレートされた値の分析に従って、エンティティがターゲットパラメータを充足しない確率を生成するリスク分類器、を含む。シミュレートされた値は、取得されたサブ値に対するシミュレートされた調整を計算して、調整されたサブ値を生成することによって生成される。調整されたサブ値は、シミュレートされた値を取得するためにＭＬモデルに入力される。ＭＬモデルアンサンブルは、カスタマイズされ、すなわち、エンティティごとに計算されてもよい。ＭＬモデルアンサンブルは、生データ要素に対する動的な調整に従って、エンティティがターゲットパラメータを充足しない確率を動的に計算するため、動的に更新及び利用される。リアルタイムの確率は、生データ要素のリアルタイム状況に従って生成される。

複数のシミュレートされた調整は、例えば、モンテカルロシミュレーションモデルに従って、生データ要素から提供又は計算されると、ＭＬサブモデルによって、任意選択的には確率的シミュレーションモデルと事前分布のセットとによって出力されたサブ値に対して計算される。シミュレートされた調整の数は、サブ値の数より、例えば、約２～１００、１０～５０、５～２５又は他のファクタだけ大きい。複数のシミュレートされた調整は、一対多及び／又は多対多アプローチで計算されてもよく、すなわち、複数のシミュレートされた調整は、個別の各サブ値及び／又は各単一のサブ値について計算され、及び／又は、複数のシミュレートされた調整がサブ値について計算される。複数のシミュレートされた調整は、ＭＬサブモデルによって出力された複数のサブ値に適用されて、それぞれのサブ値ごとに調整されたサブ値を生成する。ＭＬサブモデルの出力にシミュレートされた調整を適用することによって計算された調整されたサブ値は、メインＭＬモデルに入力される。調整されたサブ値（ＭＬサブモデルの出力にシミュレートされた調整を適用することによって計算される）の入力に応答して、エンティティパラメータのシミュレートされた値が、メインＭＬモデルから取得される。シミュレートされた調整を使用して、エンティティパラメータのシミュレートされた値の数は、サブ値の数よりも、例えば、約２～１００、１０～５０、５～２５又は他のファクタだけ有意に大きい。シミュレートされた値は、例えば、利用可能なサブ値、すなわち、シミュレートされていない値のみを使用してリスク分類器を訓練することと比較して、リスク分類器を訓練するのに利用可能なデータの量を増加させる。

エンティティパラメータのシミュレートされた調整、調整されたサブ値及びシミュレートされた値は、単一ショット又は少数ショットの学習と同様に、グラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）が利用可能でないか、又はグラウンドトゥルースがエンティティに対してほとんど利用可能でないとき、エンティティがターゲットパラメータを充足しない予測を計算することを可能にする。ＭＬモデルアンサンブルは、以前の予測及び／又は履歴データが過去に充足されたか否かの履歴データなく、予測を計算する。無限の可能なエンティティパラメータ結果のサブサンプリングされた分布“空間”を示す複数シミュレーション値が、エンティティがターゲットパラメータを充足しない集計された全体的確率を計算するため分析されてもよい。調整されたサブ値を取得するためのサブ値に対するシミュレートされた調整は、ターゲットパラメータを充足するためのグラウンドトゥルースデータがエンティティのために実際に利用可能でないか、又はほとんどない場合であっても、エンティティがターゲットパラメータを充足しない確率を生成するリスク分類器を計算するための充分なデータを生成することを可能にする。

ＭＬモデルアンサンブルは、以下の例示的なプロセスを使用して生成されうる。それぞれが対応する生データ要素の入力に応答してサブ値を出力する複数のＭＬサブモデルが訓練される。メインＭＬモデルは、ＭＬサブモデルによって出力されたサブ値の入力に応答して、ターゲットパラメータに対応するエンティティパラメータの値を出力し、訓練される。メインＭＬモデルは、サンプルエンティティの各々について、ＭＬサブ値（各サンプルエンティティに関連する生データ要素の入力に応答してＭＬサブモデルによって出力される）及び対応するエンティティパラメータ（すなわち、グラウンドトゥルースとしての役割を果たす）を含む訓練データセットを使用して訓練されうる。エンティティに関連する生データ要素は、訓練されたＭＬサブモデルに入力され、各サブ値の出力を取得する。複数の繰り返しにおいて、取得されたサブ値に対するシミュレートされた調整が計算され、調整されたサブ値を生成する。調整されたサブ値は、メインＭＬモデルに入力される。エンティティパラメータに対する多数のシミュレートされた値のセットが、繰り返しにわたってメインＭＬモデルの結果として取得される。エンティティがターゲットパラメータを充足しない確率を生成するリスク分類器は、エンティティパラメータのシミュレートされた値のセットを分析するためのプロセスとして生成される。ＭＬサブモデル、メインＭＬモデル及びリスク分類器を含むＭＬモデルアンサンブルが提供される。

ＭＬモデルアンサンブルは、以下の例示的な処理を使用して、エンティティがターゲットパラメータを充足しない確率を計算するため使用されうる。ターゲットパラメータを取得するためのエンティティからのリクエストが受信される。任意選択的には、ネットワークノード上にインストールされるコードセンサによって抽出され、リアルタイムにサーバに投入される生データ要素が受信される。生データ要素は、ＭＬサブモデルに入力される。サブ値は、ＭＬサブモデルの結果として取得される。

取得されたサブ値に対するシミュレートされた調整は、調整されたサブ値を生成するため計算されてもよく、それは、エンティティパラメータに対するシミュレートされた値を取得するためメインＭＬモデルに入力される。シミュレートされた調整を計算するプロセスは、エンティティパラメータのシミュレートされた値のセットを取得するため繰り替えされてもよい。シミュレートされた値のセットは、エンティティがターゲットパラメータを充足しない確率を計算するリスク分類器に入力される。リスク分類器は、エンティティパラメータについての設定されたシミュレートされた値の分析に従って確率を計算する。リスク分類器は、エンティティがターゲットパラメータを充足しない確率を示すエンティティスコアを計算してもよい。エンティティスコアは、閾値を上回るシミュレートされた各値のサブセットと、ターゲットパラメータを充足する又は充足しないバイナリ条件を規定する閾値を下回るシミュレートされた各値の他のサブセットとに適用される関数によって計算されてもよい。プロセスの特徴は、例えば、更新されたリクエストに応答して、及び／又は、生データ要素の値の更新に応答して、エンティティがターゲットパラメータを充足しない確率に対する動的な更新を取得するため、動的に繰り替えされてもよい。ターゲットパラメータは、確率が閾値を下回るとき、エンティティに自動的に提供されてもよい。あるいは、ターゲットパラメータに対するリクエストは、確率が閾値を上回るときに自動的に拒否されてもよい。

一例では、エンティティは、会社、例えば、個人事業主、スタートアップ、企業及び／又は他の事業関連組織である。ターゲットパラメータは、企業の資金調達のための資金調達リクエストに示される金銭的資金に関連する。エンティティパラメータは、資金調達リクエストの資金を返済するために使用されるエンティティの金融資産を示す。ＭＬモデルアンサンブルは、既存及び／又は予測された金融資産を使用して、会社が資金を返済する能力と、会社が所与の資金を返済できない関連するリスクとのリアルタイムな指示を提供する。例えば、ＭＬモデルアンサンブルは、会社に資金を提供するためのリアルタイムの継続的な引受プロセスを提供する。ＭＬモデルアンサンブルは、会社が現在及び将来／追加の資金を返済できないリスクを決定する。任意選択的には、許容可能なリスクによって、会社が返済することができる資金額のリアルタイム予測は、ＧＵＩに提示される。許容可能なリスクは、例えば、ここに記載される閾値として、資金調達エンティティによって決定されうる。ＧＵＩは、ＭＬモデルアンサンブルによって出力される許容可能なリスクで会社が引き出すために利用可能な資金額の予測に対する継続的な変更に基づいて事前承認された資金額を提示するように動的に更新されうる。会社は、ＧＵＩに提示されるリアルタイム資金の事前額までを要求してもよい。当該金額は、会社の口座に自動的に預け入れされてもよい。

ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、単一ショット又は少数ショット学習のコンセプトと同様に、エンティティのためにグラウンドトゥルースが利用可能でない、又は、グラウンドトゥルースがほとんど利用可能でないときに、エンティティがターゲットパラメータを充足しない予測を動的に効率的に計算する技術的問題に関する。ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、生データ要素の値が動的に適応される環境において、エンティティのターゲットパラメータに対する予測を動的に効率的に計算する技術的問題に関する。ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、グラウンドトゥルースが利用可能でないとき、エンティティによってターゲット値に達する確率を予測するＭＬモデルアンサンブルを計算することによって、機械学習の分野を改善する。予測は、会社が将来資金を返済するのに十分な資産を蓄積する確率に対するものであってもよい。このような場合、会社が比較的新しく、ローンを取得し、それを返済した履歴がほとんどないか、又は全くない場合、グランドトゥルースは利用可能でないかもしれない。ＭＬモデルアンサンブルは、例えば、過去に資金を受け取っていない、及び／又は、過去の財務データがほとんど又は全く利用可能でない新規の会社（例えば、スタートアップ）について、過去の予測及び／又は履歴データが過去に充足されていたか否かの履歴データがなくても、予測を計算する。（それぞれのエンティティごとにカスタマイズされうる）メインＭＬモデルに入力される調整されたサブ値を生成するため、ＭＬサブモデルによって出力されるサブ値に対するシミュレートされた調整、任意選択的にはベイズシミュレートされた調整は、エンティティパラメータのための複数のシミュレートされた値を生成することを可能にする。シミュレートされた各値は、シミュレートされた調整によって表される可能な予測シナリオに基づいて、エンティティパラメータについての１つの可能な予測を表す。無限に可能なエンティティパラメータ結果のサブサンプリングされた分布“空間”を示す複数のシミュレートされた値は、エンティティがターゲットパラメータを充足しない集計された確率全体を計算するため分析されてもよい。複数のシミュレートされた値は、ターゲットパラメータを充足するためのグラウンドトゥルースデータが実際にエンティティに利用可能でないとき、又はほとんど利用可能でないときであっても、リスク分類器を計算するため、エンティティがターゲットパラメータを充足しない確率を計算するため、及び／又は、ＭＬモデルアンサンブルを計算するため（すなわち、エンティティがターゲット値を充足する確率を予測するため）、十分なデータを提供する。

ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、エンティティがターゲット値を充足しない確率を予測する精度を向上させる技術的問題に関する。ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、エンティティにカスタマイズされるＭＬモデルアンサンブルを計算することによって、機械学習の分野を改善する。（ここで説明されるように）調整されたサブ値を取得するためのサブ値に対するシミュレートされた調整は、エンティティがターゲットパラメータを充足しない確率を生成するリスク分類器を計算するのに十分なデータを生成することを可能にする。サブ値に対するシミュレートされた調整は、特定のエンティティにカスタマイズされ、必ずしも他のエンティティのデータに依存しない。他のエンティティのデータが、メインＭＬモデルを作成するのに利用されてもよく、複数の調整されたサブ値が、特定のエンティティのエンティティパラメータのシミュレートされた値のセットを取得するためメインＭＬモデルに繰り返し入力される。対照的に、ニューラルネットワーク及び／又は他の標準的な分類器などの標準的アプローチを利用して、値の予測は、特定のエンティティの予測をするためサンプルエンティティのデータを使用する試みにおいて、グラウンドトゥルースとしてターゲットを充足した及び充足しなかった他のサンプルエンティティのデータについて訓練することによって直接的に取得される。特定のエンティティのサブ値のシミュレートされた調整は、標準的なアプローチでは実行されない。他のエンティティは、分析される現在のエンティティとは本質的に異なっているため、他のエンティティのデータに対して訓練されたこのような標準的な分類器は、本質的にここに記載されるＭＬモデルアンサンブルよりも精度が低い。他のエンティティがターゲットを充足したか否かのデータのみを用いることは、分析されている現在のエンティティがターゲットを充足するか否かの確率のより低い推定精度を提供する。エンティティパラメータのシミュレートされた値のセットを取得するためメインＭＬモデルに入力される調整されたサブ値を生成するためのサブ値に対するシミュレーション調整は、当該セットが全体として分析されるとき、エンティティパラメータのシミュレートされた値のより正確なセットを提供する。シミュレートされた値のセットは、発生し得る多くの予測シナリオを表す。予測されたシナリオの集約は、エンティティがターゲットパラメータを充足しない確率全体のより正確な計算を提供する。対照的に、標準的なアプローチは、複数の予測シナリオを考慮しないが、確率値を直接的に出力する標準的な分類器を使用する。

ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、コンピュータを使用するユーザの体験を改善する。この改善は、サーバ上で実行されるＭＬモデルアンサンブルにデータ要素が提供されると、取得されたデータ要素を使用してＭＬモデルアンサンブルによって予測されるターゲット値をエンティティが充足する確率のリアルタイムな更新のため、ネットワークノードからデータ要素を取得するコードセンサ及び／又は他のコードによって少なくとも取得される。例えば、会社が取得しうる追加の資金額は、ネットワークノードソースからのデータ要素の更新に基づいてリアルタイムに計算される。追加の資金調達は、会社が追加の資金調達を返済するのに十分な将来の資産を有する確率に基づいて、ＭＬモデルアンサンブルによって計算されてもよい。リアルタイムな更新は、グラフィカルユーザインタフェース、例えば、ダッシュボードに提示されてもよい。コードセンサは、ユーザインタフェースのリアルタイムな更新のため、ＭＬモデルアンサンブルへの更新されたデータ要素のリアルタイムな提供を可能にする。例えば、コードセンサは、ユーザインタフェースのストリーミング更新のため、動的に収集されたデータ要素をＭＬモデルアンサンブルにストリーミングしてもよい。リアルタイムな更新は、コードセンサによって取得されたリアルタイムデータ、例えば、ユーザによる会社のウェブサイトへのリアルタイムアクセス、収入のリアルタイム成長などに基づいて、会社の実質的にリアルタイム状態を反映する。将来の資金返済能力の変化の予測は、過去のリアルタイム予測の傾向に基づいて計算されてもよく、将来の資金予測を可能にしうる。例えば、ある会社が潜在的な資金の月次増加に換算される支払い能力の月次増加を経験すると、その会社が非常に多額の返済を行う可能性が高いと予測される時期について予測を行うことができる。ユーザは、当該予測に基づいて、非常に多額が利用可能になるまで待機することを選択してもよい。ユーザは、十分な履歴結果が利用可能になるまで待つ必要なく、リアルタイムで追加の資金を要求し、承認されうる。

ここに記載されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、会社を引き受けるために十分なデータを取得する技術的問題に関し、任意選択的には、継続的に引き受け、特に、会社に対するリアルタイムの引き受けを提供するためにどのようにリアルタイムデータを取得及び使用するか、及び／又は引き受けに影響を及ぼす会社のリスクの変化をどのように監視するかに関する。また、標準的なアプローチは、新しい会社については利用可能出なく、会社に影響を及ぼす可能性のある将来のシナリオを正確に予測することができない会社の履歴データを利用することに基づいている。他の会社のデータを使用することに基づく他の標準的なアプローチは、そのようなデータが評価される会社に必ずしも適用可能ではないため、不正確である。ここで説明されるシステム、方法、装置及び／又はコード命令の少なくともいくつかの実施形態は、サブ値を取得するためＭＬサブモデルに会社に関連する生提供された生データ要素を使用し、調整されたサブ値を取得するためサブ値に対するシミュレートされた調整を計算することによって、技術的問題に対する解決策を提供する。シミュレートされた分布に基づく調整は、例えば、単一の予測を試みるのではなく、複数の異なる妥当な予測シナリオを表す。調整されたサブ値は、他の会社のデータ又は共同する専門家の知識を使用して訓練されたメインＭＬモデルに入力され、他の会社のデータ及び／又は多くの主題の専門家の分析技術（強化学習）に基づく予測を提供してもよい。メインＭＬモデルから取得される複数のシミュレートされた値は、会社の無限のシナリオ空間のもっともらしい（局所的）サブサンプリングされた空間を表す企業に対する多くの異なる予測を表す。生成されたリスク分類器は、エンティティがターゲットパラメータを充足しない全体的な（例えば、単一の）予測確率を表す全体的に最も可能性の高いシナリオに到達するため、複数のシミュレートされた値を分析する。ここに記載されるＭＬモデルアンサンブルは、例えば、標準的な引受アプローチと比較して、エンティティがターゲットパラメータを充足しない確率の増加された精度、及び／又はエンティティがターゲットパラメータを充足しない確率のリアルタイム監視の増加した精度を提供する。

本発明の少なくとも１つの実施例を詳細に説明する前に、本発明は、その出願において以下の説明に記載され、及び／又は図面及び／又は具体例に示される構成要素及び／又は方法の構成及び配置の詳細に必ずしも限定されないことを理解されたい。本発明は、他の実施例が可能であり、又は様々な方法で実施又は実行することが可能である。

本発明は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又はメディア）を含んでもよい。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持及び記憶することができる有形のデバイスでありうる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶、又はこれらの任意の適した組合せであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、及び上述した任意の適した組合せを含む。ここで用いられるようなコンピュータ可読記憶媒体は、電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を伝播する電磁波、又はワイヤを介して伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードされうる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各計算／処理デバイスにおけるネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの計算／処理デバイス内のコンピュータ可読記憶媒体に記憶するためコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシーン命令、マシーン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と“Ｃ”プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組合せで記述されたソースコード又はオブジェクトコードの何れかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、又は、完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、あるいは、外部コンピュータ（例えば、インターネットサービスプロバイダを用いてインターネットを介して）に接続されてもよい。いくつかの実施例では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するため、電子回路をパーソナライズするためのコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行してもよい。

本発明の態様は、本発明の実施例による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照してここに記載される。フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実現可能であることを理解されたい。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロックに指定された機能／動作を実現するための手段を作成するように、マシーンを生成してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに特定の方法で機能するように指示することが可能なコンピュータ可読記憶媒体に記憶されてもよく、命令を記憶したコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図のブロックにおいて指定された機能／動作の態様を実現する命令を含む製品を含む。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイス上にロードされて、処理ステップの系列をコンピュータ、他のプログラマブル装置又は他のデバイス上で実行させ、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイス上で実行される命令がフローチャート及び／又はブロック図のブロックで指定された機能／動作を実現するように、コンピュータにより実現される処理を生成する。

図におけるフローチャート及びブロック図は、本発明の各種実施例によるシステム、方法及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実現するための１つ以上の実行可能命令を備えるモジュール、セグメント又は命令の一部を表しうる。いくつかの代替的な実施形態では、ブロックに記載された機能は、図に記載された順序から外れて実行されてもよい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、あるいは、ブロックは、関与する機能に応じて逆の順序で実行されてもよい。ブロック図及び／又はフローチャートの各ブロックと、ブロック図及び／又はフローチャートのブロックの組合せとは、指定された機能若しくは動作を実行するか、あるいは、専用ハードウェアとコンピュータ命令との組合せを実行する専用ハードウェアベースのシステムによって実現可能であることにも留意されたい。

ここで、本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを生成する方法のフローチャートである図１Ａが参照される。また、本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを使用する方法のフローチャートである図１Ｂが参照される。また、本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを生成及び／又は使用するシステム２００のブロック図である図２が参照される。システム２００は、記憶デバイス２０６（メモリ及び／又はプログラムストアとも呼ばれる）に記憶されるコード命令２０６Ａを実行する計算デバイス２０４のプロセッサ２０２による図１Ａ及び／又は図１Ｂを参照して説明される方法の動作を実現してもよい。

計算デバイス２０４に基づくシステム２００の複数のアーキテクチャが実現されてもよい。例示的な実施形態では、コード２０６Ａを記憶する計算デバイス２０４は、例えば、ソフトウェアをサービス（ＳａａＳ）としてクライアント端末２１２に提供したり、ソフトウェアインタフェース（例えば、アプリケーションプログラミングインタフェース（ＡＰＩ）、ソフトウェアデベロップメントキット（ＳＤＫ））を使用してアクセス可能なソフトウェアサービスを提供したり、クライアント端末２１２にローカルダウンロードのためのアプリケーションを提供したり、及び／又は、ウェブブラウザなどを介してクライアント端末２１２にリモートアクセスセッションを使用して機能を提供するなど、ネットワーク２１４を介し１つ以上のクライアント端末２１２にサービス（例えば、図１Ａ及び／又は図１Ｂを参照して説明される動作の１つ以上）を提供する１つ以上のサーバ（例えば、ネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ）として実装されてもよい。例えば、複数のユーザが、それぞれのクライアント端末２１２を使用して、計算デバイス２０４によって集中的に提供されるサービスに加入する。警告及び／又は更新が、計算デバイス２０４によってそれぞれのクライアント端末２１２に提供される。他の実施形態では、計算デバイス２０４は、例えば、クライアント端末のユーザによって使用されるように設計された自己完結型のクライアント端末として、図１Ａ及び／又は図１Ｂを参照して説明される動作の１つ以上を実行するローカルに記憶されたソフトウェア（例えば、コード２０６Ａ）を含んでもよい。

別の実施形態では、各クライアント端末２１２は、ローカルの設置及び使用のため、計算デバイス２０４（ここで説明されるようなＭＬモデルアンサンブル２１６Ａを計算及び／又は更新しうる）から、カスタマイズされうるそれぞれのＭＬモデルアンサンブル２１６Ａを取得してもよい。各クライアント端末２１２は、ローカルの使用のためそれ自体のカスタム計算された訓練済みＭＬモデル２１６Ａアンサンブルを記憶してもよい。

各ＭＬモデルアンサンブル２１６Ａは、ここに説明されるようなＭＬサブモデル２１６Ａ－１、メインＭＬモデル２１６Ａ－２及びリスク分類器２１６Ａ－３の１つ以上を含んでもよい。

各ＭＬモデルアンサンブル２１６Ａ又はその構成要素は、エンティティ毎にカスタム作成されてもよい。例示的な実施形態では、アンサンブル２１６ＡのＭＬサブモデル２１６Ａ－１は、ＭＬサブモデル２１６Ａ－１が複数の異なるエンティティに関連するデータを使用して作成され、異なるエンティティに使用されるという意味で、カスタマイズされない。メインＭＬモデル２１６Ａ－２及びリスク分類器２１６Ａ－３は、各エンティティに対してカスタマイズされうる。そのような実施形態では、複数のカスタマイズされたＭＬモデルアンサンブル２１６Ａは、共通のＭＬサブモデル２１６Ａ－１を共有し、カスタマイズされたメインＭＬモデル２１６Ａ－２及びカスタマイズされたリスク分類器２１６Ａ－３を含んでもよい。サーバ２１０（ここでは、ネットワークノードとも呼ばれる）は、生データ要素を抽出するコードセンサ２１０Ａ（例えば、サーバ２１０のデータ記憶デバイス上にインストールされ、サーバ２１０のハードウェアプロセッサによって実行される）と関連付けされてもよい。生データ要素は、ここで説明されるように、例えば、ＡＰＩ及び／又はＳＤＫを介し、ネットワーク２１４を介して計算デバイス２０４に送信される。

計算デバイス２０４のプロセッサ２０２は、例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）及び特定用途向け集積回路（ＡＳＩＣ）として実現されうる。プロセッサ２０２は、クラスタ及び／又は１つ以上のマルチコア処理デバイスとして、並列処理のため構成された単一のプロセッサ又は複数の（同種又は異種の）プロセッサを含みうる。

データ記憶デバイス２０６は、プロセッサ２０２によって実行可能なコード命令を記憶し、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）及び／又は記憶デバイス、例えば、不揮発性メモリ、磁気媒体、半導体記憶デバイス、ハードドライブ、着脱可能なストレージ及び光学媒体（例えば、ＤＶＤ、ＣＤ－ＲＯＭ）などでありうる。記憶デバイス２０６は、例えば、相関の計算、シミュレートされた調整の計算、シミュレートされた値の計算、カスタマイズされたＭＬモデルの訓練、ＧＵＩの提示及び／又はＧＵＩの計算日のための命令の生成、及び／又は図１Ａ～１Ｂを参照して説明された他の機能など、プロセッサ２０２によって実行されると、図１Ａ～１Ｂを参照して説明した方法の１つ以上の機能及び／又は動作を実現するコード２０６Ａを記憶する。

計算デバイス２０４は、例えば、ここで説明されるように計算及び／又は更新されるＭＬモデルアンサンブル２１６Ａ、ＭＬモデルアンサンブル２１６Ａを訓練するため及び／又は関連するＭＬサブモデル２１６Ａ－２（例えば、受信された生データ要素）を訓練するためのデータを記憶する訓練データセット２１６Ｃ、及び／又はここに説明されるＧＵＩを実行するためのＧＵＩコード２１６Ｄ（例えば、各クライアント端末２１２にローカル、リモート及び／又はダウンロードするため）の１つ以上など、データを記憶するためのデータリポジトリ２１６を含みうる。データリポジトリ２１６は、例えば、メモリ、ローカルハードドライブ、仮想ストレージ、着脱可能なストレージユニット、光ディスク、ストレージデバイス、リモートサーバ及び／又はコンピューティングクラウド（例えば、ネットワーク接続を利用してアクセスされる）として実現されてもよい。

ネットワーク２１４は、例えば、インターネット、ローカルエリアネットワーク、仮想プライベートネットワーク、無線ネットワーク、セルラネットワーク、ローカルバス、ポイント・ツー・ポイントリンク（例えば、有線）及び／又は上述の組み合わせとして実現されてもよい。

計算デバイス２０４は、例えば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続のためのケーブルに接続するための物理インタフェース、ソフトウェアで実現される仮想インタフェース、ネットワーク接続の上位レイヤを提供するネットワーク通信ソフトウェア及び／又は他の実施形態の１つ以上など、ネットワーク２１４に接続するためのネットワークインタフェース２１８を含みうる。

計算デバイス２０４は、
・（構造化及び／又は非構造化データ）生データ要素の取得元のサーバ２１０
・ここに説明されるような計算デバイス２０４にリモートアクセスするユーザによって利用されうるクライアント端末２１２
の１つ以上と、ダイレクトリンク（例えば、ケーブル、無線）及び／又は非ダイレクトリンク（例えば、サーバ及び／又はストレージデバイスなどの仲介する計算ユニットを介し）を介してなど、ネットワーク２１４（又は他の通信チャネル）を利用して接続する。

計算デバイス２０４及び／又はクライアント端末２１２は、ユーザがデータを入力し、及び／又はデータを閲覧するための機構（例えば、生成されたアラート、自動化されたアクション及び／又は手動で必要とされる承認）を任意選択的にＧＵＩ内に含む１つ以上の物理ユーザインタフェース２０８を含む、及び／又はそれと通信する。例示的なユーザインタフェース２０８は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、及び、スピーカとマイクロホンとを使用する音声により起動するソフトウェアの１つ以上を含む。

本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するための機械学習モデルアンサンブルを生成する方法のフローチャートである図１Ａが参照される。また、本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するための機械学習モデルを使用する方法のフローチャートである図１Ｂが参照される。

少なくともいくつかの実施例では、ここに説明されるＭＬモデルアンサンブルは、動的に更新され、動的に使用され、訓練フェーズと推論フェーズとの組み合わせを提供する。図１Ａと同様のＭＬモデルアンサンブルの生成は、図１Ｂと同様のＭＬモデルアンサンブルの使用と同時、順次、並列、以降及び／又は組み合わせて実現されうることに留意されたい。例えば、いくつかの訓練の特徴は、推論の特徴と統合され（例えば、同時、以前、以降、並列）、ＭＬモデルアンサンブルの動的な更新及び使用のための方法を提供する。

ここで図１Ａに戻って参照すると、１０２において、複数のＭＬサブモデルが訓及び／又は提供される。各ＭＬサブモデルは、それぞれの生データ要素の入力に応答してサブ値を出力する。

ＭＬサブモデルは、例えば、実行されると、生データ要素から１つ以上のサブ値のそれぞれを計算するコードとして実現されてもよい。ＭＬサブモデルの例示的な実施形態は、ルールのセット、関数、分類器、各種アーキテクチャのニューラルネットワーク（例えば、人工、深層、畳み込み、完全接続）、マルコフチェーン、サポートベクタマシーン（ＳＶＭ）、回帰（例えば、線形、リッジ、ラソン、アイソトニックなど）、ロジスティック回帰、ｋ最近傍、特異スペクトル解析（ＳＳＡ）、フィールドアウェア分解マシーン（ＦＦＭ）及び決定木の１つ以上又は組み合せを含む。

例示的なＭＬサブモデルは、以下の１つ以上を含む。
（ｉ）第１の時間間隔の間に取得された特定のタイプの生データ要素の値と、第１の時間間隔以前の少なくとも１つの第２の時間間隔の間に取得された特定のタイプの生データ要素の値との間の相関ウィンドウに基づいて各自のメトリックを出力するＭＬサブモデル。例えば、ウィンドウ内の値がどれだけ密接に相関しているかを示す値（例えば、０は相関がないことを示し、１は完全な相関を示す）、及び／又は、ウィンドウ間の値の関係を示す値、例えば、ウィンドウ間の値のパーセンテージの増加又は減少（例えば、前のウィンドウに対する現在のウィンドウの３０％の増加）。

エンティティが会社である例では、ＭＬサブモデルは、第１の時間間隔の間の収入と、第１の時間間隔の以前の少なくとも１つの第２の時間間隔の間に取得された収入との間の比率として計算された当該会社の成長の指示を出力する。収入は、複数の第１のタイプの生データ要素、例えば、インボイス及び／又は支払い（例えば、銀行取引、会計システムで検証された）などの収入の流れに基づいて計算されてもよく、これは、請求及び／又は会計システムから（例えば、システムとの統合を介して）取得されてもよい。

（ｉｉ）例えば、関数及び／又は他の数学的関係を使用して、規定されたタイプの生データ要素のセットの値が提供されると、それぞれのメトリックを計算するＭＬサブモデル。

エンティティが企業である例では、ＭＬサブモデルは、第２のタイプの生データ要素、例えば、請求書、支払い、及び／又は顧客情報管理（ＣＲＭ）システムからのデータの入力に基づいて計算された顧客チャーンの指示を出力する。例えば、ＭＬサブモデルは、新しい顧客の対話（例えば、登録、購入など）を集団（例えば、ユーザのセット）のための期間（すなわち、ウィンドウ）にグループ化するようにインボイスデータを処理することによって計算される顧客行動モデルとして実現されてもよい。各集団について、ＭＬサブモデルは、当該集団から戻った顧客の数及び収入、並びに後続のウィンドウにおいて経時的に収入がどのように変化したかを反映するように計算される。時間ウィンドウの変化は、集団毎の戻った顧客の数、顧客の平均寿命値、及び／又は収入に関する平均及び／又は限界的な寿命値に関するチャーン／解約（ｃｈｕｒｎ）を示す。

エンティティが会社である別の例では、ＭＬサブモデルは、第３のタイプの生データ要素に基づいて計算された粗利益の指示を出力する。例えば、ＭＬサブモデルは、収入及び／又は経費の流れ（例えば、ＣＯＧＳ、ＯＰＥＸなどオーガニック製品の販売収入）にセグメント化された会計及び／又は銀行データから計算されるビジネス指向モデルとして実現されてもよい。ＭＬサブモデルは、期間（すなわち、相関ウィンドウ）にわたる粗利益（ｇｒｏｓｓ ｍａｒｇｉｎ）の変化を示しうる。粗利益は、売上収入の合計から売上収入によって除算されたウィンドウの全ての関連する売上原価を差し引いたものとして計算されてもよい。収入予測のためのサブモデル及び売上原価／コスト予測のサブモデルを使用することによって、予想される将来の粗利益を経時的に予測するためのモデルが得られる。

（ｉｉｉ）エンティティのタイプに従って選択された複数のサブサブモデルの出力の組み合わせの集約によって各自のメトリックを計算するＭＬサブモデル。サブサブモデルの共通のセットが規定されてもよく、そこからサブセットはエンティティのタイプに応じて選択される。異なるサブセットが、異なるタイプのエンティティから選択されてもよい。集約は、例えば、サブセットのメンバーによって出力された値の平均、及び／又はサブセットのメンバーの出力が提供されると、値を出力する関数であってもよい。

エンティティが会社である例では、サブサブモデルのサブセットは、例えば、会社の構造（例えば、個人の所有者、企業、非プロファイル）及び／又は会社の業種（例えば、レストラン、ハイテク、サービス）など、会社のタイプに応じて選択されてもよい。ＭＬサブモデルは、会社の業種に従って選択されたサブサブモデルの出力の組み合わせの集約として計算されたユニットエコノミクスの指示を出力してもよい。

例えば、ＭＬサブモデルは、基本的なビジネスオファーを測定するビジネス指向モデルとして実現されうる。ユニットエコノミクス（ｕｎｉｔ ｅｃｏｎｏｍｉｃｓ）は、業種間で異なる（例えば、製品指向ビジネス対資産指向ビジネス、すなわち、消費者への製品販売対消費者への賃貸）。ユニットエコノミクスＭＬサブモデルは、選択されたビジネスクラス（例えば、ＳａａＳ、Ｅコマース、不動産など）について計算されうる。ＭＬサブモデルは、会社の基本的な収入生成ユニットを示すＭＬサブモデルを計算するため、例えば、経時的なＡＲＰＡ、ＡＲＰＵ、ＣＡＣなどの複数のサブサブモデルを含む。ユニットエコノミクスＭＬサブモデルの生成に含まれるサブサブモデル間の基本ユニット及び相互作用を評価することによって、ここに記載されるように、会社のコア単位エコノミクスを評価し、ビジネスモデルユニットエコノミクスがビジネスの目標（すなわち、成長）を支援することができない境界を見つけることを可能にし、及び／又は、融資又は負債を支払う前に会社を債務不履行にさせうる制約された選択されたランダムシナリオ（モンテカルロアルゴリズム）の大きな集合（ここに記載されるように）がシミュレートされてもよい。

（ｉｖ）選択されたセットの生データ要素が提供されると、エンティティがターゲットパラメータを充足する確率を出力するサブ分類器として実現されるＭＬサブモデル。サブ分類器は、複数のサンプルエンティティのそれぞれについて、各サンプルエンティティに関連するサンプルデータ要素と、各サンプルエンティティに提供されたそれぞれのターゲットパラメータを充足することの指示（例えば、ターゲットパラメータが充足されるか否か）とを含む訓練データセット上で訓練されうる。

エンティティが会社である例では、サブ分類器は、サブ分類器に第４のタイプの生データ要素の入力が提供されると、会社が資金を調達する可能性を示す確率（例えば、パーセント又は可能性が高い若しくは可能性が低いことを示すバイナリ値）を出力してもよい。サブ分類器は、複数のサンプル会社のそれぞれについて、第４のタイプのデータ要素の値と、各会社によって調達された資金の指示とを含む訓練データセットに対して訓練されうる。サンプル会社は、会社エンティティと類似する会社（例えば、類似のサイズ、発展段階、業種、地域）であってもよいし、会社エンティティと必ずしも類似しない会社を含んでもよい。

例えば、ＭＬサブモデルは、外部タイプモデルとして実現されてもよい。資金調達可能性ＭＬサブモデルは、会社の資金調達能力を評価している。例えば、資金調達ラウンド、資金調達金融機関、誰がデフォルトしたか、ＩＰＯ、会社の購入、負債比率に対する評価への資金調達、及び他のパラメータを含む、他の会社の多く（例えば、数万又は他の値）に関する詳細な情報の入力を用いてＭＬサブモデルを訓練することによって、ＭＬサブモデルは、訓練データを使用して生成される。ＭＬサブモデルは、会社パラメータを入力として受け取り、企業が資金を調達する確率を出力する。ＭＬサブモデル結果は、会社についての関連情報の新しい部分（例えば、コードセンサによって抽出された生データ要素）が取得されたときに更新されてもよい。

（ｖ）エンティティパラメータに対するエンティティの複数のコンポーネントの１つのコンポーネントの失敗のリスクを出力するＭＬサブモデル。

エンティティが会社である例では、ＭＬサブモデルは、企業の複数の収入生成ユニットの１つの収入生成ユニット又は会社全体の失敗のリスクを出力する。当該出力は、複数の第５のタイプのデータ要素が提供されると、収入生成ユニットの統計分布を計算するＭＬサブモデルによって生成される。

例えば、ＭＬサブモデルは、会社の収入生成ユニット（例えば、顧客、特定の場所における資産、又は異なるタイプの資産）の統計分布を測定するビジネス指向ＭＬサブモデルとして実現されるジニインデックスに基づく。ＭＬサブモデルは、インデックスの値を出力することによって、会社全体の１つの収入生成ユニットの失敗に関連するリスクを計算する。ＭＬサブモデルによって出力されるインデックスの値が高いほど、顧客又は資産の損失が収入に重大な影響をもたらす確率が低くなる。

（ｖｉ）エンティティに関連するウェブサイトにアクセスするユーザを示す生データ要素の分析に基づいて測定及び／又は予測パラメータを出力するＭＬサブモデル。

エンティティが会社である例では、ＭＬサブモデルは、会社に関連するウェブサイト（例えば、サイト分析）にアクセスするユーザを示す第６のタイプのデータ要素の入力の分析に基づいて、測定及び／又は予測パラメータを出力する。例えば、会社によって提供される製品のオンライン購入を提供するウェブサイト、及び／又は会社によって提供される製品及び／又はサービスを説明するウェブサイトである。

エンティティが会社である別の例では、ＭＬサブモデルは、提示された広告（例えば、データ分析）と対話するユーザを示す第７のタイプのデータ要素の分析に基づいて、測定及び／又は予測パラメータを出力する。

例えば、ＭＬサブモデルは、会社のウェブサイトのウェブサイト分析を計算してもよい。ＭＬサブモデルは、顧客行動モデルとして実現されてもよい。以下は、サイト分析に基づく顧客行動の測定及び／又は予測のセットの一例である。

・マーケティングＣＡＣ－ＭＬサブモデルは、会社サイトへの新規顧客のトラフィックに対するマーケティング予算の影響を予測するために計算される。ＣＡＣは、オンライン広告マーケティング予算を、各マーケティングチャネルのセグメント化されたターゲット視聴者の合計（例えば、検索エンジン結果上の広告、ソーシャルネットワーク上の広告、ソーシャルネットワークページ上の投稿）によって正規化されたウェブサイトにおける新しいユニークな顧客の数によって、オンライン広告マーケティング予算を除算することによって計算される。時間間隔にわたって順次取得される上述されたポイントを使用して、将来のＣＡＣは、マーケティング予算（企業Ｐ＆Ｌ）、ＣＡＣ及び／又は視聴者の疲弊の入力に応答して、ＭＬサブモデルによって予測されうる。

・収入安定性－例えば、バウンスレート、再訪問、サイトでの時間、ページビュー、コンバージョンレート、ライフタイム値、地理、デバイスタイプなど、顧客の取得に関連するコスによって調整される会社のウェブサイトに到着する新しいユニークな日々のユーザの数を分析することによって、及び／又は新しいユニークな日々のユーザのウェブサイト活動を追跡することによって、経時的な収入安定性のＭＬサブモデルが計算される。ＭＬサブモデルは、収入に対するＣＡＣの影響を計算し、成長する能力に関して会社の状態を検出してもよい。概念的には、ＭＬサブモデルの出力は、会社が現在の市場内で成長する余地があるか、ＣＡＣレベルが何れか、及び／又は、会社がすでにそれの成長を尽くしたかの理解の指示を提供する。

（ｖｉｉ）外部のソーシャルネットワークサーバによって運営されるソーシャルネットワーク上に投稿されたユーザのプロファイルの分析にもろづいてエンティティ内のユーザの指示を出力するＭＬサブモデル。

（ｖｉｉｉ）エンティティに関連する広告及び／又はプロモーションとやりとりするユーザを示すマーケティング要素の分析に基づいて測定及び／又は予測パラメータを出力するＭＬサブモデル。

エンティティが会社である例では、ＭＬサブモデルは、外部のソーシャルネットワークサーバによって運営されるソーシャルネットワーク上に投稿された従業員プロファイルの分析に基づいて会社内の従業員配置転換の指示を出力する。例えば、ＭＬサブモデルは、会社の従業員の職務置換率を計算しうる。ＭＬサブモデルは、外部タイプモデルとして実現されてもよい。会社の従業員プロフィール（例えば、ソーシャルネットワークに掲載される）を見つけて追跡することによって、及び／又は、転職する従業員の数及び／又は従業員が新しい仕事を見つけるのにかかる平均時間を監視することによって、会社に何か悪いことが起こっていることを示唆しうる内部の会社の変化が検出されうる。例えば、会社はコストを削減するため従業員プールを減少させ、及び／又は、会社が悪化していると感じたため、従業員は退職している。どちらも否定的な兆候である。特に、会社を離れた人々が、すぐに新しい仕事を見つける才能ある人々である場合には、そうである。

（ｉｘ）他の例は、購入注文、長期契約及び／又はコミットメント、供給品の変化などの１つ以上など、センサの収集元のＥＲＰシステムに関する。抽出されたデータは、リアルタイム短期及び／又は長期費用予測、外部の請負業者の契約による検出された予測される重要な費用変化、供給されたサービス価格の変化、部品表（ＢＯＭ）及び継続的な購入注文の１つ以上の指示を出力するＭＬサブモデルを計算するのに利用される。

１０４において、メインＭＬモデルが提供及び／又は訓練される。メインＭＬモデルは、ＭＬサブモデルによって出力されたサブ値の入力に応答して、ターゲットパラメータに対応するエンティティパラメータの値を出力する。

メインＭＬモデルは、複数のサンプルエンティティについて、サブ値及び対応するエンティティパラメータ（例えば、エンティティパラメータは各サブ値のグラウンドトゥルースラベルとして機能する）を含む訓練データセットを使用して、（例えば、教師あり及び／又は教師なしアプローチを使用して）訓練されてもよい。訓練データセットは、（例えば、１０６を参照して説明したように）各サンプルエンティティの生データ要素を取得し、（例えば、１０８を参照して説明したように）ＭＬサブモデルに各サンプルエンティティの生データ要素を入力して、対応するサブ値を取得することによって作成されうる。サブ値のセットは、例えば、利用可能なソースから取得される各エンティティに対応するエンティティパラメータのグラウンドトゥルースラベルによってラベル付けされる。例えば、資金調達を求める会社のケースでは、エンティティパラメータは、会社がローンを返済する能力及び／又は金ローンを返済する能力を示す会社の金融資産であってもよく、年次報告及び／又は会社による公的資金調達イベントなどのソースから取得されてもよい。

メインＭＬモデルは、ＭＬサブモデルによって出力されるサブ値に関連する複数のパラメータの関数として実現されてもよく、及び／又はその機能を含んでもよい。当該関数は、ルールのセット、各種アーキテクチャのニューラルネットワーク（例えば、人工、深層、畳み込み、完全接続）、マルコフチェーン、サポートベクタマシーン（ＳＶＭ）、ロジスティック回帰、ｋ最近傍、決定木、フィールドアウェア因子分解マシーン（ＦＦＭ）、特異スペクトル解析（ＳＳＡ）、及び上述の組み合せの１つ以上として含まれ、及び／又は実現されてもよい。

パラメータは、各ウェイトに関連付けされてもよい。メインＭＬモデルは、ウェイトを学習することによって訓練されうる。関数のウェイトは、エンティティパラメータに影響を与える自動化された組み合せ分散シナリオに基づいて計算されうる。例えば、関数は、ウェイトが学習される回帰関数であってもよい。別の例では、関数は、ニューロンのウェイトが学習されるニューラルネットワークであってもよい。

ウェイトの数は、例えば、生データ要素とサブ値との間の関連する組み合せの大部分又は全てが評価されるとき、極めて大きくなりうる。ウェイトは、例えば、因果関係、内部相互作用、相互影響、内部影響、及び／又は上述の組み合わせを評価することによって学習されうる。

１０６において、エンティティに関連する生データ要素が、複数のネットワークノードのデータソースから受信される。任意選択的には、生データ要素は、エンティティ毎に抽出される。データ要素の例は、エンティティのデータを記憶する構造化データソースから得られる構造化データ、エンティティの数値データを計算するデータソースから得られる数値データ、オープンソース及び／又はソーシャルネットワークから得られる非構造化データの１つ以上が挙げられる。

任意選択的には、生データ要素は、例えば、ネットワークノードにインストールされたコードセンサによって抽出され、コードはウェブリンクを使用してネットワークをクローリングするクローリングプログラムなど、ネットワークにわたって関連データを検索する。生データ要素は、ＡＰＩ及び／又はＳＤＫを介して受信されうる。コードセンサは、エンティティに関連する新しい生データ要素についてデータソースを監視し、生データ要素を抽出するよう設計されうる。データ要素の抽出は、エンティティ毎にカスタマイズされてもよく、コードセンサは、エンティティ毎に設計及び／又は選択される。コードセンサは、例えば、構造化データソースからの構造化された生データ要素の抽出（例えば、値に対する変更のためフィールド内の値を監視する）、非構造化データソースからの非構造化された生データ要素の抽出（例えば、新しい投稿に対するソーシャルネットワークの監視、生データ要素を識別するための新しい投稿の分析、及び新しいポストからの生データ要素の抽出）、及び／又は、数値データを計算するデータソースからの数値データ要素の抽出のため、データソースのタイプに従って設計されうる。

生データ要素は、リアルタイム（すなわち、ほぼリアルタイム）に抽出されてもよく、及び／又はリアルタイム（すなわち、ほぼリアルタイム）にサーバに投入されてもよい。リアルタイム及び／又はほぼリアルタイムという用語は、データの伝送における遅延、例えば、ネットワーク輻輳に起因するネットワーク遅延を含みうる短い期間を指し得る。ほぼリアルタイムの例は、例えば、１、１０、３０、６０、１２０、１８０秒未満、又は１、６、１２、２４時間未満、又は他の値が挙げられる。

生データ要素は、例えば、ＡＰＩ及び／又はＳＤＫを介しサーバに投入されてもよい。

生データ要素はアノマリを含むかもしれず、及び／又は一部の生データ要素は欠落している（完全及び／又は時々）ことに留意されたい。そのような生データ要素は、ここに用いられるとき、エンティティがターゲットパラメータを充足しない増大するリスクを表す。

例えば、エンティティは会社を含む。会社という用語は、登録された事業、事業を運営する個人、法人、非営利組織、及び政府関連組織の１つ以上を指しうる。会社について、会社に関連する以下の生データ要素、すなわち、会社の顧客を示すデータ要素、会社の財務詳細を示すデータ要素、及び会社に関連する第三者のソースから取得されたデータ要素が抽出されうる。生データ要素が抽出される例示的なデータソースは、会社のウェブサイト又はウェブアプリケーションを運営するウェブサーバ、会社を議論するニュースサイトによって運営されるオンライン記事、ソーシャルネットワーク、及び／又は会社の従業員及び／又は顧客がレビュー及び／又は格付けなどのコンテンツを掲載する他のサーバを含む。他の例示的なデータソースは、銀行口座、請求書発行及び課金システム、ウェブ分析レポート、人的資源（ＨＲ）管理システム、顧客情報管理（ＣＲＭ）及び企業リソース計画（ＥＲＰ）システムを含む。

エンティティが会社である例では、生データ要素は、３つのタイプのデータ、顧客行動データ（例えば、サイト分析、ＣＲＭシステム、チャーン分析などから抽出される）、ビジネス指向データ（例えば、会計及び／又は請求システム、銀行取引、ＥＲＰシステムなどから抽出される）、及びオープンソース（例えば、専門ソーシャルネットワーク、会社を評価するウェブサイト、及び会社の資金を記述するウェブサイトなどの当該会社に関連する第三者ソースから抽出される）に分類されてもよい。

エンティティが会社である例では、ここに説明されるターゲットパラメータは、リクエストにおいて規定されてもよく、会社に資金調達するための資金調達リクエストにおいて示される金銭的資金を含んでもよい。ここに説明されるエンティティパラメータは、ローンリクエストの資金を返済するために利用されるエンティティの金融資産を含みうる。

１０８において、エンティティに関連する生データ要素は、例えば、メトリック及び／又は予測パラメータなど、各サブ値の出力を取得するため、ＭＬサブモデルに入力される。ＭＬサブモデルは、生データ要素を受信するサーバのハードウェアプロセッサによって実現されてもよい。

任意選択的には、異なる生データ要素は、各ＭＬサブモデルの入力指定に従って１つ以上のＭＬサブモデルに向けられる。各生データ要素は、１つ以上のＭＬサブモデルに提供されてもよい。生データ要素は、例えば、生データ要素のタイプ（例えば、構造化、非構造化、数値）、生データ要素のソース及び／又は生データ要素の宛先を規定する生データ要素に関連するタグ（例えば、メタデータ）に基づいて、対応するＭＬサブモデルに提供されうる。別の例では、仮想チャネル及び／又はトンネルは、それらのソースから対応するＭＬサブモデルに生要素をストリーミングするため設定されてもよい。

１１０において、計算されたシミュレートされた調整を取得されたサブ値に適用することによって、調整されたサブ値が生成される。複数のシミュレートされた調整及び／又は調整されたサブ値は、それぞれの取得されたサブ値について計算されうる。任意選択的には、複数のシミュレートされた調整及び／又は調整されたサブ値が、個別（例えば、各個人）の取得されたサブ値について計算される。サブ値は、一対多（すなわち、個々のサブ値は、複数のシミュレートされた調整及び／又は複数の調整されたサブ値を生成する）又は多対多（すなわち、複数のサブ値は、複数のシミュレートされた調整及び／又は複数の調整されたサブ値を生成する）アプローチにおいて、複数のシミュレートされた調整及び／又は調整されたサブ値を生成するため利用されうる。

シミュレートされた調整及び／又は調整されたサブ値の数は、例えば、２以上、２～１００、５～５０、２５～７５、１０～５０、１０以上、５０以上、１００以上の係数又は他の係数だけ、サブ値の数より有意に大きくてもよい。

複数のシミュレートされた調整及び／又は調整されたサブ値は、シミュレートされた調整が行われない場合に利用可能であるよりもはるかに大きい（ここに説明されるように）リスク分類器を訓練するため使用されるデータの量を大幅に増加させることを可能にする。これは、利用可能なデータがないか、又はほとんどない場合、ゼロショット又は少数ショットアプローチを使用してリスク分類器を訓練することを可能にする。

任意選択的には、シミュレートされた調整は、確率的シミュレーションモデル（例えば、モンテカルロシミュレーション）及び／又は生データから提供及び／又は計算された事前分布のセットに基づいて計算される。

任意選択的には、図１Ｂの特徴１７２は、特徴１１０の前、後及び／又はパラレルに実現される。図１Ｂの特徴１７２は、エンティティパラメータに対して最大の影響を有する最も影響力のある生データ要素を特定するため実現されうる。シミュレートされた調整は、特定された最も影響力のある生データ要素の入力を受信するＭＬサブモデルによって出力されるサブ値に対して行われてもよい。代替的又は追加的に、当該調整は、サブ値の全て又はサブ値のサブセットに対して行われる。

ここで図１Ａの１１０を再び参照すると、シミュレートされた調整を計算するために使用される分布は、例えば、生データ要素及び／又はサブ値の値の可能な範囲、生データ要素及び／又はサブ値の値の過去の変化（例えば、異なる値の履歴分析及び／又は生データ要素及び／又はサブ値の値の変化）、生データ要素及び／又はサブ値の可能な将来の値の予測（例えば、専門家によって手動で実行され、及び／又は訓練されたサブ機械学習モデルによって予測される）、及び／又は生データを一般的な分布に適合させること（例えば、正規、ベータ、一様、指数、カイ二乗など）などであってもよい。調整は、生データ要素及び／又はサブ値についての可能な値の統計分布、例えば、正規分布、幾何学的分布、二峰性分布、及び／又は他の統計分布から、生データ要素及び／又はサブ値をランダムに選択することによって行われてもよい。分布は、推定値及び／又は過去の値に基づくものであってもよい。代替的又は追加的に、生データ要素及び／又はサブ値に対する調整は、統計分布から選択される。選択された調整は、各生データ要素及び／又はサブ値に適用される。

調整の例は、生データ要素及び／又はサブ値の増加、生データ要素及び／又はサブ値の減少、生データ要素及び／又はサブ値のタイプの変化、並びに生データ要素及び／又はサブ値の新しいタイプの出現を含む。

１１２において、調整されたサブ値は、メインＭＬモデルに入力される。

１１４において、メインＭＬモデルの結果が取得される。メインＭＬモデルの結果は、調整されたサブ値のセットに基づいてエンティティパラメータのシミュレートされた値である。

シミュレートされた調整を使用すると、シミュレートされた調整なくサブ値のみを使用する場合と比較して、はるかに多数のシミュレートされた値が取得される。シミュレートされた値の数は、例えば、２以上、２～１００、５～５０、２５～７５、１０～５０、１０以上、５０以上、１００以上の係数又は他の係数だけ、サブ値の数より有意に大きくてもよい。

任意選択的には、複数のシミュレートされた値は、個々（例えば、各個人）のサブ値について計算される。サブ値は、一対多（すなわち、各サブ値は、複数のシミュレートされた値を生成する）又は多対多（すなわち、複数のサブ値は、複数のシミュレートされた値を生成する）アプローチにおいて、複数のシミュレートされた値を生成するため使用されてもよい。

複数のシミュレートされた値は、シミュレートされた調整が行われない場合に利用可能であるよりもはるかに大きい（ここに説明されるように）リスク分類器を訓練するため使用されるデータの量を大幅に増加させることを可能にする。これは、利用可能なデータがないか、又はほとんどない場合、ゼロショット又は少数ショットアプローチを使用してリスク分類器を訓練することを可能にする。

サブ値に対する調整をシミュレートし、エンティティパラメータに対する対応するシミュレートされた値を取得するプロセスは、ストレステストと呼ばれることがある。

１１６において、１１０～１１４を参照して説明された特徴は、エンティティパラメータのための複数のシミュレートされた値を生成するため繰り返される。各繰り返しの間、調整されたサブ値の他のセットが、シミュレートされた調整の他のセットをサブ値に適用することによって生成される。調整されたサブ値の各セットは、エンティティパラメータのそれぞれのシミュレートされた値を取得するため、メインＭＬモデルに入力される。複数の繰り返しは、エンティティパラメータのシミュレーションされた値のセットを生成する。概念的には、エンティティパラメータの複数のシミュレートされた値は、起こり得るエンティティのエンティティパラメータの可能な予測値のセットを表す。

１１８において、リスク分類器は、エンティティパラメータについて計算されたシミュレートされた値のセットの分析に従って、及び／又は、数式及び／又はＭＬ分類器として生成される。リスク分類器は、エンティティがターゲットパラメータを充足しない確率を生成する。例えば、エンティティが会社であるとき、会社がフルローン債務を履行できない（すなわち、フルローン全額を返済できない）可能性がある。会社の金融資産がローン全額を下回ると予測されるとき、会社がフルローン全額を充足しない確率が決定される。

リスク分類器は、繰り返しにおいてメインＭＬモデルによって取得されるエンティティパラメータのシミュレートされた値を計算及び利用することによって、リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として生データ要素を利用する少数ショット又は単一ショット訓練アプローチに基づいて生成される。シミュレートされた値は、生データ要素が提供されると、ＭＬサブモデルにそれぞれのシミュレートされた調整を適用することによって計算された取得されたサブ値に対する調整されたサブ値の入力に応答して、メインＭＬモデルから取得される。

任意選択的には、エンティティがターゲットパラメータを充足しないリスクを示す閾値が受信され、例えば、ユーザによって手動で入力され、予め設定された値としてメモリに記憶され、及び／又はコードによって自動的に（例えば、最適化として）計算される。分析は、エンティティパラメータについて計算されたシミュレートされた値のセットを受信し、エンティティスコアを出力するリスク分類器を使用することによって確率を計算することを指しうる。一例では、リスク分類器は、例えば、図４を参照して説明されるように、エンティティスコアを計算するためシミュレートされた値のセット全体に対して設定された閾値を上回る（又は下回る）シミュレートされた値を評価するオーバ・アンダーパーセンテージ（ｏｖｅｒ－ｕｎｄｅｒ ｐｅｒｃｅｎｔａｇｅ）分類器として実現される。任意選択的には、エンティティがターゲットパラメータを充足する確率は、エンティティスコアがターゲットパラメータを上回るときに決定される。

リスク分類器は、例えば、ルールのセット、各種アーキテクチャのニューラルネットワーク（例えば、人工、深層、畳み込み、完全接続）、マルコフチェーン、サポートベクタマシーン（ＳＶＭ）、ロジスティック回帰、ｋ最近傍、決定木、及び上述の組み合わせにより実現されてもよい。

１２０において、１０２～１１８の１つ以上、例えば、１０６～１１８を参照して説明されるＭＬ特徴が繰り返されてもよい。新しい生データが利用可能であるとき、当該繰り返しが、更新されたＭＬサブモデル、更新されたメインＭＬモデル及び／又は更新されたリスク分類器を生成するため実行されうる。当該繰り返しは、例えば、新しい生データが利用可能になったとき、イベントによって（例えば、毎日、週、月）、ルールのセットに基づいて（例えば、新しい生データが過去の生データと統計的に有意に異なるとき）、１つ以上の監視された生データ要素の変化、例えば、その値の変化、新しいデータ要素、及び／又は以前のデータ要素の除去が検出されたとき、トリガされてもよい。例えば、データソースは、生データ要素に対する変化を検出するためコードセンサによって（例えば、ほぼリアルタイムで）スキャンされる。変化が検出されると、繰り返しがトリガされてもよい。

１２２において、ＭＬモデルアンサンブルが提供され、例えば、データ記憶デバイスに格納され、別のサーバに転送され、及び／又は別の処理による使用のために提供される。ＭＬモデルアンサンブルは、ＭＬサブモデル、メインＭＬモデル及びリスク分類器を含む。ＭＬモデルアンサンブルは、それが特定のエンティティのＭＬサブモデルのセットに基づいているため、特定のエンティティのための使用される特定のエンティティ（例えば、会社）のためにＭＬモデルアンサンブルが作成されるという意味で、カスタマイズされうる。カスタマイズされたＭＬモデルアンサンブルは、それぞれのカスタマイズされたＭＬモデルアンサンブルが作成されうる他のエンティティに関連しなくてもよい。

ＭＬモデルアンサンブルは、図１Ｂを参照して説明されるように、例えば、入力生データ要素が提供されたことに応答して、エンティティパラメータの予測値を出力するため利用される。

ＭＬモデルアンサンブルは、例えば、生データ要素が提供されると、エンティティパラメータを集中的に計算するために、サーバによって集中的に記憶されて提供されてもよい。他の実施形態では、カスタマイズされたＭＬモデルは、生データ要素を提供されると、エンティティパラメータのローカル計算のため、ローカル記憶及び／又は実行のためにクライアント端末（例えば、スマートフォン、デスクトップコンピュータ）に提供されてもよい。

ここで図１Ｂを再び参照すると、１５２において、リクエストが受信されうる。リクエストは、エンティティから受信される。当該リクエストは、ターゲットパラメータを取得するためのものである。リクエストは、例えば、グラフィカルユーザインタフェース（ＧＵＩ）などのユーザインタフェースを介し受信されてもよい。リクエストは、手動及び／又は自動的に入力されてもよい。

ここに記載の例では、エンティティは、例えば、個人所有者、スタートアップ、法人及び／又は他の事業関連組織などの会社である。そのような場合、リクエストは、任意選択的には、（例えば、ＧＵＩに提示される）事前に承認された資金額までの資金額に対するものであってもよい。事前承認された資金額は、ここに説明されるように、動的に計算及び更新されうる。

会社は、資金（例えば、ローン）を要求するためのユーザアカウントを設定してもよく、及び／又は資金を要求するための資金調達サービスによって認識される。ターゲットパラメータは、会社の資金調達のための資金調達リクエストに示される金銭的資金に関連する。資金調達リクエストは、例えば、ユーザアカウントのユーザインタフェースを介して提出されてもよく、及び／又は資金調達サービスに提出されてもよい。エンティティパラメータは、例えば、現在の金融資産及び／又は予測される将来の金融資産に基づいて資金を返済する会社の能力を示す。

図１Ａを参照して説明した特徴は、リクエストの受信に応答してトリガされてもよい。あるいは、図１Ａを参照して説明した最初の特徴は、リクエストに先行してエンティティ自身に応答してトリガされてもよい。例えば、エンティティはユーザアカウントを設定し、及び／又はエンティティが認識される。任意選択的には、ＭＬモデルアンサンブルは、リクエストの受信に応答して計算される。ターゲットパラメータに対するリクエストは、例えば、図１Ａを参照して説明した特徴の実現の前及び／又はパラレルに受信されてもよい。リクエストは、例えば、エンティティのユーザアカウントを介して受信されてもよい。

任意選択的には、初期段階では、１つ以上の特徴１５４～１６８が、エンティティパラメータの初期評価として実現される。ここに説明されるように、要求されたターゲットパラメータが提供されてもよく、又は、エンティティパラメータに対応する値が提供されてもよい。この例では、会社は資金を要求する。資金を返済する会社の能力は、ここに記載されるように評価される。資金の全額は、会社が全額を返済することができると決定されたときに提供されてもよく、又は、会社が全額を返済することができないと予測されたとき、資金を返済するための会社の決定された能力に従って、資金の一部の値が提供されてもよい。１つ以上の第２の段階では、１７０Ａ～Ｂを参照して説明された特徴に続いて、１つ以上の特徴１５２～１７８が、エンティティパラメータの継続的な監視として実現される。この例では、会社が資金を返済する能力が監視される。会社が改善し、ＭＬモデルアンサンブルが、要求された資金よりも多くの資金を会社が返済することができると予測したとき、追加の資金は、リクエストに応じて自動的に付与されてもよい。あるいは、要求された資金の全額（又は提供された金額）を返済する会社の能力が低下すると、自動化された追加資金調達に対する会社のリクエストが拒否される（又は承認のために必要な手動による介入）。

１５４において、図１Ａの１０６を参照して説明されるように、生データ要素が受信される。生データ要素は、ネットワークノード上にインストールされたコードセンサによって抽出され、リアルタイムにサーバに投入される。

任意選択的には、生データ要素は、ＭＬモデルアンサンブルを作成するのに利用されなかった新たな生データ要素である。代替的又は追加的には、図１Ａの１２０を参照して説明されるように、新たな生データ要素が、ＭＬモデルアンサンブルを更新するため利用される。

１５６において、図１Ａの１０８を参照して説明されるように、生データ要素が、例えば、訓練されたＭＬサブモデルに入力される。

任意選択的には、生データ要素は、ＭＬサブモデルに順次提供される。生データ要素は、動的に抽出され、ＭＬサブモデルにストリーミングされてもよい。他の例では、生データ要素のセットが、例えば、時間間隔にわたって最初に収集され、その後、当該セットはＭＬサブモデルのセットに提供される。生データ要素のセットは、例えば、毎時、毎日又は毎週などの順次的な時間間隔にわたって順次取得されてもよい。

１５８において、例えば、図１Ａの１０８を参照して説明されるように、サブ値が、訓練されたＭＬサブモデルの結果として取得される。

１６０において、例えば、図１Ａの１１０を参照して説明されるように、調整されたサブ値が、取得されたサブ値にシミュレートされた調整を適用することによって生成される。

１６２において、例えば、図１Ａの１１２を参照して説明されるように、調整されたサブ値が、訓練されたメインＭＬモデルに入力される。

１６４において、例えば、図１Ａの１１４を参照して説明されるように、エンティティパラメータのシミュレートされた値が、メインＭＬモデルの結果として取得される。

１６６において、例えば、図１Ａの１１６を参照して説明されるように、１６０～１６４を参照して説明された特徴が、エンティティパラメータの複数のシミュレートされた値を取得するため、繰り返される。

１６８において、例えば、図１Ａの１１８を参照して説明されるように、複数のシミュレートされた値が、エンティティがターゲットパラメータを充足しない確率を計算するリスク分類器に入力される。

１７０Ａにおいて、エンティティがターゲットパラメータを充足しない確率が閾値を下回ることに応答して（例えば、図１Ａの１１８を参照して説明されるような閾値）、ターゲットパラメータが、任意選択的には自動的に提供されるなど、エンティティに提供されてもよい（すなわち、リクエストに応じて）。例えば、資金額は、会社の口座に自動的に預入される。

あるいは、１７０Ｂにおいて、エンティティがターゲットパラメータを充足しない確率が閾値を上回ることに応答して、ターゲットパラメータに対するリクエストが拒否され、任意選択的には、自動的に拒否される。

例えば、エンティティが会社であるケースについて、エンティティパラメータの予測値は、エンティティの金融資産を含む。ターゲットパラメータは、ローンにおいて要求される金銭的な資金を含む。会社の金融資産が要求されたローン資金未満であるとＭＬモデルによって予測されると、会社がローン債務を充足しないリスク（すなわち、会社がそれのローンを返済できない）が決定される。

任意選択的には、そのようなケースでは、リスク分類器は、エンティティが充足する可能性のあるターゲットパラメータの値を評価するのに利用されてもよい。エンティティには、要求された他０ゲットパラメータ未満であるターゲットパラメータの評価値が提供されてもよい。例えば、会社がローン債務全額を充足できないと予測されるとき、会社に提供されるローン額は、会社が充足する可能性のある予測額に従って決定されてもよい（例えば、会社の予測される金融資産）。会社に提供されるローン額は、要求される全額でなく、会社が返済できる予測される能力に従うものであってもよい。

１７２において、トレンドが、例えば、リスク分類器の順次的な出力など、エンティティパラメータがターゲットパラメータを充足しない繰り返し計算された更新された確率に従って計算されてもよい。

任意選択的には、トレンドは、エンティティがターゲットパラメータを充足しない確率が閾値を上回るか又は下回る時点を予測するため将来時間に外挿される。トレンドは、例えば、ローンを現在は返済できる可能性がある会社がローンを返済できなくなるときを予測するため、及び／又は要求されたローンを現在は返済できる可能性のない会社が要求されたローンを返済できるようになる時を予測するため、分析されてもよい。そのような会社は、例えば、ローンをリコール（ｒｅｃａｌｌ）するため、及び／又はより大きなローンをオファーするため、監視されてもよい。

任意選択的には、アラートがトレンドに従って生成される。例えば、会社がトレンドに基づいて将来にローンを返済できないと予測されるときなどである。アラートは、例えば、ＧＵＩにおけるメッセージ、画面上のポップアップメッセージ、電子メール、通話及び／又はモバイルデバイスに送信されるメッセージなどであってもよい。

１７４において、メインＭＬモデルの関数のウェイトは、エンティティパラメータに最も影響する影響力のあるウェイトを特定するのに分析されてもよい。サブ関数のセットが計算されてもよく、各サブ関数は、生データ要素とエンティティパラメータの値との間を相関させる特定の影響力のあるウェイトに対応する。

特定された最も影響力のある生データ要素は、エンティティパラメータに対する変化の確率の予測子として監視されてもよい。影響力のある生データ要素の変化は、例えば、１５４～１６８を繰り返すことによって、リスクの再計算をトリガしうる。

１７６において、クライアント端末のディスプレイ上に提示されるインタラクティブＧＵＩは、動的に更新されてもよい。

ＧＵＩは、例えば、事前承認された資金を返済するのに十分な金融資産を取得する動的に計算された確率に基づいて決定されるなど、会社が返済できる可能性のある会社に利用可能な事前承認された資金額を示す、リスク分類器によって計算されるリスクの指示によって動的に更新されてもよい。

ＧＵＩは、例えば、１７８を参照して説明されるように、トリガされた繰り返しに応答して動的に更新される。

エンティティが会社である場合、ＧＵＩは、会社に利用可能な事前承認された資金額の指示を提示するよう更新されてもよい。事前承認された資金額は、ＭＬモデルアンサンブルによって出力される事前承認された資金を返済するのに十分な金融資産を取得する動的に計算された確率に基づいて決定されてもよい。ＧＵＩは、リアルタイム生データ要素に基づいてリアルタイムの事前承認された資金を提示してもよい。

任意選択的には、ＧＵＩに提示された事前承認された資金額までの資金額に対するリクエスト（例えば、１５２を参照して説明されるような）は、例えば、ＧＵＩを介し受信される。事前承認された資金額は、１７０Ａを参照して説明されるように、会社の口座に自動的に預け入れされてもよい。

任意選択的には、エンティティがターゲットパラメータを充足しない予測された確率が変化すると、アラートがユーザインタフェースに生成される。アラートは、例えば、１７８を参照して説明されるように、リスク分類器の出力の繰り返しのモニタリング中に生成されてもよい。例では、会社がローンの全額を返済する能力（予測される金融資産がローンの値を上回るため）が変更され、会社はローン全額を返済できないと現在予測される（予測される金融資産がローンの値を下回るため）。このようなケースでは、１つ以上の自動化及び／又は手動のアクションがトリガされてもよい。例えば、会社は、将来の支払い能力に対応するローンの一部を返すことが要求され、及び／又は会社は追加的な資金調達要求について自動的に拒否される。

１７８において、１５２～１７６を参照して説明される１つ以上の特徴が繰り返される。

当該繰り返しは、例えば、エンティティによるターゲットパラメータに対する新たなリクエストに応答して実行されてもよい。任意選択的には、生データ要素の１つ以上の統計量の変化、例えば、統計的に有意な変化が監視される（例えば、コードセンサによって）。繰り返しは、検出された統計的に有意な変化、すなわち、１５６と同様に訓練済みＭＬサブモデルへの生データ要素の変化した値の入力に応答してトリガされてもよい。

当該繰り返しは、毎日、毎週、毎月、四半期毎又は毎年など、例えば、時間間隔毎にリスクを動的に再計算するため実行されてもよい。

任意選択的には、繰り返しは以下のように実行される。１５４において、生データ要素の更新が繰り返し取得される。１５６において、生データ要素の更新が、ＭＬサブモデルに入力される。１５８において、更新された各サブ値が取得される。１６０において、シミュレートされた調整が、調整された更新されたサブ値を取得するため、更新されたサブ値に適用される。１６２において、調整された更新されたサブ値が、メインＭＬモデルに入力される。１６４において、エンティティパラメータに対するシミュレートされた更新された値が、メインＭＬモデルの結果として取得される。１６６において、１６０～１６４が、エンティティパラメータに対する複数のシミュレートされた更新された値を取得するため繰り返される。１６８において、シミュレートされた更新された値が、エンティティがターゲットパラメータを充足しない更新された確率を生成するためリスク分類器に入力される（例えば、エンティティパラメータのシミュレートされた更新された値の分析に従って）。

任意選択的には、当該繰り返しは、例えば、追加的な資金調達を要求する会社など、増加及び／又は追加的なターゲットパラメータなどの新たなリクエストに応答してトリガされる。本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを生成するための一例となるデータフローを示すデータフロー図である図３が参照される。図３を参照して説明されるデータフロー図の特徴の１つ以上は、例えば、ここに説明されるように、図１Ａを参照して説明された方法の特徴に対応してもよい。図３を参照して説明されるデータフローは、図２を参照して説明されるシステムの１つ以上のコンポーネントによって実現されてもよい。

３０２において、エンティティに関連する生データ要素が、例えば、図１Ａの１０６を参照して説明されるように、複数のネットワークノードのデータソースから受信される（また、図３において“生データ”として参照される）。

３０４において、例えば、図１Ａの１０８を参照して説明されるように、生データ要素が、サブ（また、図３において“モデル生成器”として参照される）に提供される。ＭＬサブモデルは、図１Ａの１０２を参照して説明されるように訓練されてもよいことに留意されたい。

３０６において、例えば、図１Ａの１０８を参照して説明されるように、サブ値がＭＬサブモデルの結果として取得される。サブ値は又、“ターゲット予測子”として参照されてもよい。

３０８において、例えば、図１Ａの１１２を参照して説明されるように、サブ値がメインＭＬモデル（また、図３における“リスクモデル”として参照される）に入力される。

リスクモデルは、例えば、ＭＬサブモデルによって出力されるサブ値の組み合わせをエンティティパラメータにマッピングする関数など、機械学習モデル及び／又は数学モデルであってもよい。例えば、リスクモデルは、“利益＝収入－費用”の概念モデルに基づくモデルあり、利益はエンティティパラメータに対応し、収入及び費用は、生データ要素が提供されるとＭＬサブモデルによって出力されるサブ値及び／又は生データ要素に対する調整に対応する。

３１０において、サブ値に対するシミュレートされた調整は、例えば、図１Ａの１１０を参照して説明されるように、モンテカルロシミュレーション及び分布などのシミュレータコードによって計算される。

３１１Ａ及び３１１Ｂにおいて、３０６，３０８及び３１０を参照して説明される特徴が、例えば、図１Ａの１１６を参照して説明されるように、エンティティパラメータの複数のシミュレートされた値を生成するため繰り返されてもよい。

３１２において、リスク分類器は、例えば、図１Ａの１１８を参照して説明されるように、エンティティパラメータに対して計算されたシミュレートされた値のセットを利用して生成される。

３１４において、リスク分類器は、例えば、図１Ａの１１８を参照して説明されるように、エンティティがターゲットパラメータを充足しない確率を生成する（また、“リスクスコア＋リスク分析”として参照される）。リスクスコアという用語は、エンティティスコアという用語と互換的であってもよい。

ＭＬサブモデル、メインＭＬモデル及びリスク分類器を含むＭＬモデルアンサンブルが、例えば、図１Ｂを参照して説明されるように、リクエストにおいて受信されうるエンティティがターゲットパラメータを充足しない確率を計算するため提供される。

本発明のいくつかの実施例によるリスク分類器を生成するのに利用されるストレステスト処理の結果を示す概略図（調整されたサブ値が、エンティティパラメータのシミュレートされた値を取得するためメインＭＬモデルに入力される）である図４が参照される。ストレステストは、例えば、図１Ａを参照して説明される特徴１１０、１１２、１１４及び１１６、及び／又は図１Ｂを参照して説明される特徴１６０、１６２、１６４及び１６６に対応する。

ストレステストは、時間軸４０２に沿って示されるｔ１，ｔ２及びｔ３として示される３つの時間間隔において取得される生データ要素を用いて実行される。各時間間隔において、エンティティパラメータ４０４に対する複数のシミュレートされた値が計算される。シミュレートされた値４０４は、サブ値（生データ要素をＭＬサブモデルに入力することによって取得された）を調整し、サブ値をメインＭＬモデルに入力することによって取得される。シミュレートされた値は、ここに説明されるように、メインＭＬモデルの結果として取得される。

リスク分類器は、シミュレートされた値４０４の分析に従ってエンティティスコアを計算してもよい。エンティティスコアは、エンティティがターゲットパラメータを充足しない確率を示すものであってもよい。エンティティパラメータ４０４のシミュレートされた値は、例えば、０～８００、０～１００又は他の値の範囲内など、規定されたスケール４０６Ａ－Ｂ内に正規化されてもよい。エンティティスコアは、スケール内に設定された閾値４０８に対して計算されてもよい。閾値４０８は、ターゲットパラメータの実際の値から独立して、及び／又はターゲットパラメータが実際に何であるかを知ることなく、ターゲットパラメータがエンティティパラメータに基づいてエンティティによって充足される可能性を示す確率を表すものであってもよい。例えば、エンティティが会社である例について、計算されるエンティティパラメータが利用可能な現金を表すとき、閾値４０８は、３倍の運営支出を表し、利用可能な現金が閾値を下回るとき、会社は、論額にかかわらずローンを返済できない可能性がある（すなわち、代わりの現金が残っていない）。利用可能な現金が閾値を上回るとき、会社は、ローンを返済できる可能性がある（すなわち、運営支出をカバーするだけの十分な現金と、利用可能な十分な追加的な現金）。エンティティスコアは、複数のシミュレートされたエンティティパラメータ４０４から計算される式４１０を利用して計算されてもよく、エンティティパラメータが閾値４０８を上回る又は下回るかの確率を示してもよい。

シミュレートされた値４０４の入力に応答してエンティティスコアを出力しうる生成されたリスク分類器は、式４１０と閾値４０８とを含んでもよい。

エンティティスコアは、ここに説明される他の値から独立して計算されてもよい。エンティティスコアは、ディスプレイ上のＧＵＩ内に提示されてもよい。

本発明のいくつかの実施例によるエンティティがターゲットパラメータを充足しない確率を特定のエンティティのエンティティスコアが表すか否かを決定するための閾値５０８のための処理を示す概略図である図５が参照される。複数のエンティティ（図１Ｂ及び／又は図４を参照して説明されるように）に対して計算されるエンティティスコア５０４が取得される。各エンティティスコア５０４は、各エンティティに対して、図１Ｂ及び／又は図４を参照して説明される特徴を繰り返すことによって、他のエンティティに対して計算される。エンティティスコア５０４は、範囲５０６Ａ－Ｂ（例えば、０～８００、０～１００又はその他）内に属し、及び／又は範囲５０６Ａ－Ｂに属するよう正規化されてもよい。閾値５０８は、エンティティスコアの分布に従って設定されてもよく、例えば、エンティティスコアの下位５％は閾値５０８を下回り、上位９５％は閾値５０８を上回る。例えば、２５／７５％、５０／５０％又はその他などの他の閾値が利用されてもよい。

各エンティティに対して計算される各エンティティスコア５０４は、各エンティティスコアが閾値５０８を上回るか又は下回るかを判定するため、他のエンティティの他のエンティティスコアに対して評価されてもよい。例えば、各エンティティのエンティティスコア対他のエンティティのエンティティスコアの状態は、ＧＵＩにおいて分析及び／又は提示されてもよい。例えば、各エンティティスコア５０４が閾値５０８を下回るとき、各エンティティスコアに対応するエンティティは、ターゲットパラメータをおそらく充足しないと決定されてもよく、各エンティティが閾値を上回るとき、エンティティは、ターゲットパラメータをおそらく充足するとして決定されてもよい。

本発明の各種実施例の説明が、例示のために提供されたが、開示された実施例に対して限定されたり、網羅的なものであることを意図するものでない。多くの修正及び変形が、説明された実施例の範囲及び趣旨から逸脱することなく当業者に明らかであろう。ここに用いられる用語は、実施例の原理、市場において見つけられた技術に対する実践的な応用又は技術的改善を最もよく説明するため、又はここに開示された実施例を当業者が理解することを可能にするため選択された。

本出願から生じる特許の存続中、多くの関連するＭＬモデルが開発され、ＭＬモデルという用語の範囲は、そのような新たな技術の全てを事前に含むと意図されることが期待される。

ここで使用されるように、“約”という用語は、±１０％を指す。

“構成する”、“含む”、“有する”及びそれらの結合体は、“限定することなく、含む”を意味する。この用語は、「からなる」及び「から本質的になる」という用語を包含する。

“から本質的になる”という語句は、組成物又は方法が、追加の成分及び／又はステップを含んでもよいが、追加の成分及び／又はステップが、請求される組成物又は方法の基本的及び新規な特徴を実質的に変更しない場合に限る。

ここで使用される場合、単数形“ある（ａ，ａｎ）”及び“その（ｔｈｅ）”は、文脈が明らかに別段の指示をしない限り、複数の参照を含む。例えば、”化合物“又は”少なくとも１つの化合物“は、その混合物を含む複数の化合物を含みうる。

“例示的”という用語は、ここでは、“例、事例又は例示として供する”を意味するのに使用される。“例示的”として記載された何れの実施例も、必ずしも他の実施例よりも好ましい又は効果的であると解釈されるべきではなく、及び／又は他の実施例から特徴の搭載を除外するものでない。

“任意選択的には”という用語は、ここでは“いくつかの実施例において提供され、他の実施例では提供されない”ことを意味するのに使用される。このような特徴が矛盾しない限り、本発明の何れか特定の実施例は、複数の“任意選択的”特徴を含みうる。

本出願を通して、本発明の各種実施例が範囲形式において提示されうる。範囲形式での説明は、単に便宜上及び簡潔にするためのものであり、本発明の範囲に対する柔軟性のない限定として解釈されるべきではないことを理解されたい。従って、範囲の説明は、全ての可能な部分範囲と共にその範囲内の個々の数値が具体的に開示されたと考えられるべきである。例えば、１～６などの範囲の説明は、１～３、１～４、１～５、２～４、２～６、３～６などの部分範囲及びその範囲内の個々の数、例えば、１、２、３、４、５及び６が具体的に開示されているとみなされるべきである。このことは、範囲の広さにかかわらず適用される。

数値範囲がここに示されるときはいつでも、示された範囲内の任意の引用された数字（分数又は整数）を含むことが意味される。第１の指示番号と第２の指示番号との間の“範囲”という語句は、第１の指示番号から第２の指示番号までの“範囲”という語句は、ここでは互換的に使用され、第１の指示番号、第２の指示番号及びそれらの間の全ての分数及び整数を含むことを意味する。

明確にするために別々の実施例の文脈で説明される本発明の特定の特徴は、単一の実施例で組み合わせて提供されてもよいことが理解される。逆に、簡潔にするために単一の実施例の文脈で記載されている本発明の各種特徴は、本発明の他の何れか記載された実施例又は何れか適切なサブコンビネーションにおいて別々に提供されてもよい。各種実施例の文脈で説明される特定の特徴は、本実施例がこれらの要素なしに動作不能でない限り、それらの本実施例の必須の特徴と見なされるべきではない。

本発明がその特定の実施例に関して説明されたが、多くの代替、修正及び変形が当業者に明らかであることは明らかである。従って、本発明は、添付の請求項の精神及び広い範囲内にあるそのような代替、修正及び変形例の全てを包含することを意図している。

本明細書において言及される全ての刊行物、特許及び特許出願は、個々の刊行物、特許又は特許出願が、参照によりここに援用されることが具体的及び個々に示されるのと同程度に、参照によりその全体が本明細書に援用される。さらに、本出願における何れかの参照の引用又は特定は、そのような参照が本発明の先行技術として利用可能であることの自認として解釈されるべきではない。セクション見出しが使用される限りにおいて、それらは、必ずしも限定するものとして解釈されるべきではない。さらに、本出願の何れの優先権書類もその全体が参照によりここに援用される。

Claims (32)

1. エンティティがターゲットパラメータを充足しない確率を計算するための機械学習（ＭＬ）モデルアンサンブルを生成する方法であって、
   生データ要素の入力に応答して各々がサブ値を出力する複数のＭＬサブモデルを訓練することと、
   複数のサンプルエンティティのそれぞれに対して、前記複数のＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、前記複数のＭＬサブモデルによって出力された前記複数のサブ値の入力に応答して、前記ターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、
   各自のサブ値の出力を取得するため、前記エンティティに関連する複数の生データ要素を前記複数のＭＬサブモデルに入力することと、
   複数の繰り返しにおいて、複数の調整されたサブ値を生成するため、前記複数の取得されたサブ値に対する複数のシミュレートされた調整を計算し、前記複数の調整されたサブ値を前記メインＭＬモデルに入力し、前記複数の繰り返しにおいて前記メインＭＬモデルから前記エンティティパラメータに対する複数のシミュレート値を取得することと、
   前記エンティティパラメータに対する前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、
   を有する方法。
2. 前記リスク分類器は、前記複数の生データ要素が提供されると、前記複数のシミュレートされた調整のそれぞれを前記複数のＭＬサブモデルに適用することによって計算された前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記エンティティパラメータに対する前記複数のシミュレートされた値を計算及び利用することによって前記リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として前記複数の生データ要素を利用して少数のショット又は単一のショット訓練アプローチに基づいて生成される、請求項１に記載の方法。
3. 複数のシミュレートされた調整のそれぞれは、前記複数の取得されたサブ値の個別の各サブ値に対して計算され、前記複数のシミュレートされた調整のそれぞれは、各サブ値に対して複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値の前記各サブ値に適用される、請求項１に記載の方法。
4. 調整されたサブ値のセットのそれぞれは、前記複数のサブ値のそれぞれに対して、前記複数のサブ値のそれぞれの前記複数のシミュレートされた調整のセットのそれぞれを計算し、前記複数のシミュレートされた調整のそれぞれを前記複数のサブ値の対応するものに適用することによって計算される、請求項１に記載の方法。
5. 前記複数のサブ値の各サブ値に対する前記複数のシミュレートされた調整は、前記各サブ値の増加、前記各サブ値の減少及び新たなサブ値の作成からなる群から選択される、請求項１に記載の方法。
6. 前記エンティティパラメータに対して最も大きな影響を有する前記複数の生データ要素の少なくとも１つの最も影響力のある生データ要素を特定することを更に含み、
   前記複数のシミュレートされた調整を計算することは、入力として前記少なくとも１つの最も影響力のある生データ要素を受信する前記複数のＭＬサブモデルの少なくとも１つのＭＬサブモデルによって出力されるサブ値に対して実行される、請求項１に記載の方法。
7. 前記複数の生データ要素の更新を繰り返し取得することと、
   更新された各サブ値を取得するため、前記複数のＭＬサブモデルに前記複数の生データ要素の更新を繰り返し入力することと、
   複数の更新された繰り返しにおいて、
   複数の調整された更新されたサブ値を取得するため、前記複数の更新されたサブ値のそれぞれに対する前記複数のシミュレートされた調整を計算することと、
   前記複数の調整された更新されたサブ値を前記メインＭＬモデルに入力することと、
   前記エンティティパラメータに対して複数のシミュレートされた更新された値を取得することと、
   前記エンティティが前記ターゲットパラメータを充足しない更新された確率を生成するため、前記複数のシミュレートされた更新された値の更新された分析を利用して、前記リスク分類器の更新を生成することと、
   を更に含む、請求項１に記載の方法。
8. 前記メインＭＬモデルは、前記複数のＭＬサブモデルによって出力される前記複数のサブ値に関連する複数のパラメータであって、複数のウェイトに関連する前記複数のパラメータの関数を含み、前記メインＭＬモデルを訓練することは、前記複数のウェイトを学習することを含む、請求項１に記載の方法。
9. 前記関数の前記複数のウェイトは、前記エンティティパラメータに影響を与える自動化された組み合わせ的変形シナリオに基づいて計算される、請求項８に記載の方法。
10. 前記エンティティが前記ターゲットパラメータを充足しないリスクを示す閾値を受信することを更に含み、前記分析は、シミュレートされた値のセット全体に対して前記閾値を上回る又は下回る前記シミュレートされた値に基づいてエンティティスコアを計算することによって、前記確率を計算することを含む、請求項１に記載の方法。
11. 前記エンティティスコアが前記ターゲットパラメータを上回るとき、前記エンティティが前記ターゲットパラメータを充足する確率を決定することを更に含む、請求項１０に記載の方法。
12. 前記エンティティに関連する前記複数の生データ要素は、前記エンティティのデータを格納する構造化データソースから取得された構造化データ、前記エンティティの数値データを計算するデータソースから取得された数値データ、及び、オープンソース及び／又はソーシャルネットワークから取得された非構造化データからなる群から選択される、請求項１に記載の方法。
13. 前記複数のＭＬサブモデルの少なくとも１つは、
    （ｉ）第１の時間間隔の間に取得される特定のタイプの前記生データ要素の値と、前記第１の時間間隔より以前の少なくとも１つの第２の時間間隔の間に取得される前記特定のタイプの生データ要素の値との間の相関ウィンドウに基づいて各メトリックを出力すること、
    （ｉｉ）規定されたタイプのセットの生データ要素の値が提供されると、各メトリックを計算すること、
    （ｉｉｉ）前記エンティティのタイプに従って選択された複数のサブサブモデルの組み合わせの集まりによって各メトリックを計算すること、
    （ｉｖ）選択されたセットの生データ要素が提供されると、前記エンティティが前記ターゲットパラメータを充足する確率を出力するサブ分類器であって、複数のサンプルエンティティのそれぞれに対して、各サンプルエンティティに関連するサンプルデータ要素と、前記各サンプルエンティティに提供される各ターゲットパラメータを充足するという指示とを含む訓練データセットに対して訓練されるサブ分類器、
    （ｖ）前記エンティティパラメータに対する前記エンティティの複数のコンポーネントの１つのコンポーネントの失敗のリスクを出力すること、
    （ｖｉ）前記エンティティに関連するウェブサイトにアクセスするユーザを示す生データ要素の分析に基づいて、指標及び／又は予測パラメータを出力すること、
    （ｖｉｉ）外部のソーシャルネットワークサーバによって運営されるソーシャルネットワーク上で投稿されるユーザのプロファイルの分析に基づいて、前記エンティティ内のユーザの指示を出力すること、及び、
    （ｖｉｉｉ）前記エンティティに関連する広告及び／又はプロモーションとやりとりするユーザを示すマーケティング要素の分析に基づいて、指標及び／又は予測パラメータを出力すること、
    からなる群から選択される、請求項１に記載の方法。
14. 前記複数のシミュレートされた調整は、生データから計算又は提供されると、確率的シミュレーションモデルと事前分布のセットとに基づいて計算される、請求項１に記載の方法。
15. 前記方法の特徴は、サーバ上で実行される少なくとも１つのハードウェアプロセッサによって実現され、前記生データ要素は、複数のネットワークノード上にインストールされたコードセンサによって抽出され、リアルタイムにサーバに投入される、請求項１に記載の方法。
16. 前記エンティティは会社を含み、リクエストに規定される前記ターゲットパラメータは、前記会社に資金提供する資金調達リクエストに規定される資金を含み、前記エンティティパラメータは、前記資金調達リクエストの資金を返済するのに利用される前記エンティティの金融資産を含む、請求項１に記載の方法。
17. 前記エンティティに関連する前記複数の生データ要素は、前記会社の顧客を示すデータ要素、前記会社の財務詳細を示すデータ要素、及び、前記会社に関連する第三者ソースから取得されるデータ要素からなる群から選択される、請求項１６に記載の方法。
18. 前記複数のＭＬサブモデルの少なくとも１つは、
    （ｉ）第１の時間間隔の間の収入と、前記第１の時間間隔より以前の少なくとも１つの第２の時間間隔の間に取得される収入との間のレシオとして計算される前記会社の成長の指示であって、前記収入は、課金及び／又は請求システム統合から取得されるインボイス及び／又は支払いを含む複数の第１のタイプの生データ要素に基づいて計算される、指示、
    （ｉｉ）顧客情報管理（ＣＲＭ）システムから取得されるインボイス、支払い及び／又はデータを含む複数の第２のタイプの生データ要素に基づいて計算される顧客チャーンの指示、
    （ｉｉｉ）複数の第３のタイプの生データ要素に基づいて計算される粗利益の指示、
    （ｉｖ）前記会社のビジネスタイプに従って選択される複数のサブサブモデルの組み合わせの集まりとして計算されるユニットエコノミクスの指示、
    （ｖ）複数の第４のタイプの生データ要素が提供されると、前記会社がファンドを上昇させる確率を出力するサブ分類器であって、複数のサンプル会社のそれぞれに対して、前記第４のタイプのデータ要素の値と、前記それぞれの会社によって上昇されたファンドの指示とを含む訓練データセットに対して訓練されるサブ分類器、
    （ｖｉ）複数の第５のタイプのデータ要素が提供されると、複数の収入生成ユニットの統計分布の計算に基づいて、前記会社の複数の収入生成ユニットの１つの収入生成ユニットの前記会社に対する失敗のリスクを出力すること、
    （ｖｉｉ）前記会社に関連するウェブサイトにアクセスするユーザを示す第６のタイプのデータ要素の分析に基づいて、及び／又は提供された広告とやりとりするユーザを示す第７のタイプのデータ要素の分析に基づいて、指標及び／又は予測パラメータを出力すること、
    （ｖｉｉｉ）外部ソーシャルネットワークサーバによって運営されるソーシャルネットワーク及び／又はネットワークノードによって運営される更なる外部ソース上に投稿される従業員プロファイルの分析に基づいて、前記会社内の従業員の配置転換の指示を出力すること、
    （ｉｘ）企業リソースプラニング（ＥＲＰ）システム統合を介し取得される契約及び／又は購入注文を含むコミットメントの分析に基づいて、リアルタイム短期及び／又は長期コスト予測、外部請負業者の対比による検出された予想される重要コスト、供給されるサービス価格の変更、部品表（ＢＯＭ）及び／又は進行中の購入注文の指示を出力すること、
    からなる群から選択されるそれぞれの指標及び／又は予測パラメータを出力する、請求項１６に記載の方法。
19. エンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを動的及び繰り返し利用する方法であって、
    複数の第１の繰り返しにおいて、
    ターゲットパラメータを取得するためのリクエストをエンティティから受信することと、
    複数のネットワークノード上にインストールされるコードセンサによって抽出され、リアルタイムにサーバに投入される複数の生データ要素を受信することと、
    前記複数の生データ要素を複数のＭＬサブモデルに入力することと、
    前記複数のＭＬサブモデルから複数のサブ値を取得することと、
    複数の第２の繰り返しにおいて、
    複数の調整されたサブ値を生成するため、前記複数の取得されたサブ値に対する複数のシミュレートされた調整を計算することと、
    前記複数の調整されたサブ値をメインＭＬモデルに入力することと、
    前記複数の第２の繰り返しにおける前記メインＭＬモデルから、エンティティパラメータの複数のシミュレートされた値を取得することと、
    前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を計算するリスク分類器に前記複数のシミュレートされた値を入力することと、
    前記確率が閾値を下回るとき、前記エンティティに前記ターゲットパラメータを自動的に提供することと、
    前記確率が前記閾値を上回るとき、前記ターゲットパラメータに対するリクエストを自動的に否定することと、
    を有する、方法。
20. 前記リスク分類器は、前記複数の生データ要素が提供されると、前記複数のシミュレートされた調整のそれぞれを前記複数のＭＬサブモデルに適用することによって計算された前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記エンティティパラメータに対する前記複数のシミュレートされた値を計算及び利用することによって前記リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として前記複数の生データ要素を利用して少数のショット又は単一のショット訓練アプローチに基づいて生成される、請求項１９に記載の方法。
21. 複数のシミュレートされた調整のそれぞれは、前記複数の取得されたサブ値の個別の各サブ値に対して計算され、前記複数のシミュレートされた調整のそれぞれは、各サブ値に対して複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値の前記各サブ値に適用される、請求項１９に記載の方法。
22. 前記複数の生データ要素の更新を繰り返し取得することと、
    更新された各サブ値を取得するため、前記複数のＭＬサブモデルに前記複数の生データ要素の更新を繰り返し入力することと、
    複数の更新された繰り返しにおいて、
    複数の調整された更新されたサブ値を取得するため、前記複数の更新されたサブ値のそれぞれに対する前記複数のシミュレートされた調整を計算することと、
    前記複数の調整された更新されたサブ値を前記メインＭＬモデルに入力することと、
    前記エンティティパラメータに対して複数のシミュレートされた更新された値を取得することと、
    前記エンティティパラメータの複数のシミュレートされた更新された値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない更新された確率を生成するための前記リスク分類器に前記複数のシミュレートされた更新された値を入力することと、
    を更に含む、請求項１９に記載の方法。
23. 前記エンティティパラメータが前記ターゲットパラメータを充足しない繰り返し計算された更新された確率に従ってトレンドを計算し、前記エンティティが前記ターゲットパラメータを充足しない確率が閾値を上回るとき、トレンドを予測するための将来時間に前記トレンドを外挿することを更に含む、請求項１９に記載の方法。
24. 前記複数の生データ要素の少なくとも１つの統計量の変化をモニタリングすることと、
    前記変化に応答して、及び／又は前記統計量の変化が有意であるとき、繰り返しをトリガすることと、
    を更に含む、請求項１９に記載の方法。
25. 前記エンティティパラメータの値に最も影響する複数の影響力のあるウェイトを特定するため、関数の複数のウェイトを分析することと、
    各サブ関数が少なくとも１つの生データ要素と前記エンティティパラメータの値との間を相関させるための特定の影響力のあるウェイトに対応する、サブ関数のセットを計算することと、
    を更に含む、請求項１９に記載の方法。
26. 前記複数の生データ要素の更新を繰り返し取得することに応答して、クライアント端末のディスプレイ上で提示されるインタラクティブグラフィカルユーザインタフェース（ＧＵＩ）が、前記エンティティが前記ターゲットパラメータを充足しない確率を示すエンティティスコアと、事前に承認された資金を返済するのに十分な金融資産を取得する動的に計算された確率に基づいて決定される企業に利用可能な事前に承認された資金調達の金額との指示によって動的に更新される、請求項１９に記載の方法。
27. 前記ＧＵＩを介し前記ＧＵＩに提示された前記事前に承認された資金調達の金額までの資金調達の金額に対するリクエストを受信することと、
    前記企業の口座に前記資金調達の金額を自動的に提供することと、
    を更に含む、請求項２６に記載の方法。
28. エンティティがターゲットパラメータを充足しない確率を計算するための機械学習（ＭＬ）モデルアンサンブルを生成するシステムであって、
    生データ要素の入力に応答して、それぞれがサブ値を出力する複数のＭＬサブモデルを訓練することと、
    複数のサンプルエンティティのそれぞれに対して複数のＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、前記複数のＭＬサブモデルによって出力される前記複数のサブ値の入力に応答して、前記ターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、
    各サブ値の出力を取得するため、前記複数のＭＬサブモデルに前記エンティティに関連する複数の生データ要素を入力することと、
    複数の繰り返しにおいて、
    複数の調整されたサブ値を生成するため、前記複数の取得されたサブ値に対する複数のシミュレートされた調整を計算することと、
    前記メインＭＬモデルに前記複数の調整されたサブ値を入力することと、
    前記複数の繰り返しにおける前記メインＭＬモデルから、前記エンティティパラメータの複数のシミュレートされた値を取得することと、
    前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、
    のためのコードを実行する少なくとも１つのハードウェアプロセッサを有するシステム。
29. エンティティがターゲットパラメータを充足しない確率を計算するための機械学習（ＭＬ）モデルアンサンブルを生成する方法であって、
    生データ要素の入力に応答して、それぞれがサブ値を出力する複数のＭＬサブモデルを訓練することと、
    複数のサンプルエンティティのそれぞれに対して複数のＭＬサブ値と対応するエンティティパラメータとを含む訓練データセットを利用して、前記複数のＭＬサブモデルによって出力される前記複数のサブ値の入力に応答して、前記ターゲットパラメータに対応するエンティティパラメータの値を出力するメインＭＬモデルを訓練することと、
    各サブ値の出力を取得するため、前記複数のＭＬサブモデルに前記エンティティに関連する複数の生データ要素を入力することと、
    複数の繰り返しにおいて、
    確率的シミュレーションモデルと事前分布のセットとに基づいて、前記生データ要素から提供又は計算されると、前記複数のＭＬサブモデルによって出力された前記複数の取得されたサブ値に対して複数のシミュレートされた調整を計算することと、
    前記複数の取得されたサブ値に対して複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値に前記複数のシミュレートされた調整のそれぞれを適用することと、
    前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値を前記メインＭＬモデルに入力することと、
    前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおける前記メインＭＬモデルから、前記エンティティパラメータの複数のシミュレートされた値を取得することと、
    前記複数のＭＬサブモデルによって出力されるサブ値に前記複数のシミュレートされた調整のそれぞれを適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力された前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って、前記エンティティが前記ターゲットパラメータを充足しない確率を生成するリスク分類器を生成することと、
    を有する方法。
30. 前記リスク分類器は、前記複数の生データ要素が提供されると、前記複数のシミュレートされた調整のそれぞれを前記複数のＭＬサブモデルに適用することによって計算された前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記エンティティパラメータに対する前記複数のシミュレートされた値を計算及び利用することによって前記リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として前記複数の生データ要素を利用して少数のショット又は単一のショット訓練アプローチに基づいて生成される、請求項２９に記載の方法。
31. エンティティがターゲットパラメータを充足しない確率を計算するためのＭＬモデルアンサンブルを動的及び繰り返し利用する方法であって、
    複数の第１の繰り返しにおいて、
    ターゲットパラメータを取得するため、エンティティからリクエストを受信することと、
    複数のネットワークノード上にインストールされたコードセンサによって抽出され、リアルタイムにサーバに投入された複数の生データ要素を受信することと、
    複数のＭＬサブモデルに前記複数の生データ要素を入力することと、
    前記複数のＭＬサブモデルから複数のサブ値を取得することと、
    複数の第２の繰り返しにおいて、
    前記生データ要素から提供又は計算されると、確率的シミュレーションモデルと事前分布のセットとに基づいて、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値に対して複数のシミュレートされた調整を計算することと、
    前記複数の取得されたサブ値の複数の調整されたサブ値を生成するため、前記複数のＭＬサブモデルによって出力される前記複数の取得されたサブ値に前記複数のシミュレートされた調整のそれぞれを適用することと、
    前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値をメインＭＬモデルに入力することと、
    前記複数のＭＬサブモデルの出力に前記複数のシミュレートされた調整を適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値の入力に応答して、前記複数の第２の繰り返しにおいて前記メインＭＬモデルから、エンティティパラメータの複数のシミュレートされた値を取得することと、
    前記エンティティパラメータの前記複数のシミュレートされた値の分析に従って前記エンティティが前記ターゲットパラメータを充足しない確率を計算するリスク分類器に、前記複数のＭＬサブモデルによって出力されるサブ値に前記複数のシミュレートされた調整のそれぞれを適用することによって計算される前記複数の取得されたサブ値の前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記複数のシミュレートされた値を入力することと、
    前記確率が閾値を下回るとき、前記エンティティに前記ターゲットパラメータを自動的に提供することと、
    前記確率が前記閾値を上回るとき、前記ターゲットパラメータに対するリクエストを自動的に拒否することと、
    を有する方法。
32. 前記リスク分類器は、前記複数の生データ要素が提供されると、前記複数のシミュレートされた調整のそれぞれを前記複数のＭＬサブモデルに適用することによって計算された前記複数の取得されたサブ値に対する前記複数の調整されたサブ値の入力に応答して、前記複数の繰り返しにおいて前記メインＭＬモデルによって出力される前記エンティティパラメータに対する前記複数のシミュレートされた値を計算及び利用することによって前記リスク分類器を生成するための追加的な合成データを生成することによって、初期的な入力として前記複数の生データ要素を利用して少数のショット又は単一のショット訓練アプローチに基づいて生成される、請求項３１に記載の方法。

Images