JP6749468B2 - 評価モデルのためのモデリング方法及び装置 - Google Patents

Description

本願はコンピュータ技術の分野に関し、特に、評価モデルのためのモデリング方法及び装置に関する。

サービスリスクモデルは、サービスリスク評価を実行するための評価モデルである。従来技術においては、通常、特定のサービスシナリオからモデリングサンプルとして大量のサービスデータを収集することができ、モデリングサンプルが予め定義されたサービスリスクイベントを含むか否かに基づいてモデリングサンプルを分類する。次いで、統計収集モデル又は機械学習方法を用いてモデリングサンプルをトレーニング（訓練、学習）し、サービスリスクモデルを構築する。

サービスリスクモデルを構築した後、該サービスリスクモデルにターゲットサービスデータを入力してリスク評価を実行し、サービスリスクイベントの確率を予測する。次いで、確率を対応するサービススコアに変換して、サービスリスクレベルに反映する。

しかし、実際には、比較的多数のサービスシナリオがある場合、通常、単一のシナリオに対して構築されたサービスリスクモデルを用いてサービスリスク評価を実行することにより取得されるサービススコアは、普遍的な（すべてに及ぶ、又はユニバーサルな）ものでなく、したがって複数の異なるサービスシナリオに適用することができない。

本願は、評価モデルのためのモデリング方法を提供し、この方法は：複数のモデリングシナリオからモデリングサンプルを別々に収集するステップであって、前記モデリングサンプルは、シナリオ変数といくつかの基本変数とを含み、前記シナリオ変数は、前記モデリングサンプルが属するモデリングシナリオを示す、ステップと；前記複数のモデリングシナリオから収集された前記モデリングサンプルに基づいてモデリングサンプルセットを作成するステップと；前記モデリングサンプルセット内の前記モデリングサンプルに基づいて評価モデルをトレーニングするステップであって、前記評価モデルは加法モデルであり、前記評価モデルは基本変数からなるモデル部分とシナリオ変数からなるモデル部分とを加算することにより取得される、ステップと；を含む。

オプションとして、各モデリングシナリオにおけるモデリングサンプルの数に基づいて、各モデリングシナリオのトレーニングサンプル重みを定義するステップであって、前記トレーニングサンプル重みは、前記モデリングシナリオ間のモデリングサンプル数の差のバランスを取るために用いられ、モデリングシナリオにおけるモデリングサンプルの数が少ないほど、前記シナリオに定義されるトレーニングサンプル重みが大きい、ステップをさらに含む。

オプションとして、ターゲットデータを収集するステップであって、前記ターゲットデータはシナリオ変数といくつかの基本変数とを含む、ステップと；ターゲットデータスコアを取得するために前記ターゲットデータを前記評価モデルに入力するステップであって、前記スコアは、前記評価モデルにおける前記いくつかの基本変数の対応するスコアと、前記評価モデルにおける前記シナリオ変数の対応するスコアとを加算することによって取得される、ステップと；をさらに含む。

オプションとして、前記ターゲットデータが属する前記モデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアと、前記評価モデルにおける前記シナリオ変数の前記対応するスコアとの合計を、前記ターゲットデータが属するモデリングシナリオに適用可能なスコアとして出力するステップをさらに含む。

オプションとして、前記複数のモデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアを、前記複数のモデリングシナリオに適用可能なスコアとして出力するステップをさらに含む。

本願は、評価モデルのためのモデリング装置をさらに提供し、この装置は：複数のモデリングシナリオから、モデリングサンプルを別々に収集するように構成された収集モジュールであって、前記モデリングサンプルはシナリオ変数といくつかの基本変数とを含み、前記シナリオ変数は前記モデリングサンプルが属するモデリングシナリオを示す、前記収集モジュールと；前記複数のモデリングシナリオから収集された前記モデリングサンプルに基づいてモデリングサンプルセットを作成するように構成された作成モジュールと；前記モデリングサンプルセット内の前記モデリングサンプルに基づいて評価モデルをトレーニングするように構成されたトレーニングモジュールであって、前記評価モデルは加法モデルであり、前記評価モデルは基本変数からなるモデル部分とシナリオ変数からなるモデル部分とを加算することによって取得される、前記トレーニングモジュールと；を含む。

オプションとして、前記作成モジュールは：各モデリングシナリオにおけるモデリングサンプルの数に基づいて、各モデリングシナリオのトレーニングサンプル重みを定義するようにさらに構成され、前記トレーニングサンプル重みは、前記モデリングシナリオ間のモデリングサンプル数の差のバランスを取るために用いられ、モデリングシナリオにおけるモデリングサンプルの数が少ないほど、前記シナリオに定義されるトレーニングサンプル重みが大きい。

オプションとして、前記収集モジュールは：シナリオ変数といくつかの基本変数とを含むターゲットデータを収集するようにさらに構成される。

前記装置はさらに：ターゲットデータスコアを取得するために前記ターゲットデータを前記評価モデルに入力するように構成されたスコア付与モジュールであって、前記スコアは、前記評価モデルにおける前記いくつかの基本変数の対応するスコアと、前記評価モデルにおける前記シナリオ変数の対応するスコアとを加算することによって取得される、前記スコア付与モジュールを含む。

オプションとして、前記スコア付与モジュールは：前記ターゲットデータが属する前記モデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアと、前記評価モデルにおける前記シナリオ変数の前記対応するスコアとの合計を、前記ターゲットデータが属するモデリングシナリオに適用可能なスコアとして出力するようにさらに構成される。

オプションとして、前記スコア付与モジュールは：前記複数のモデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアを、前記複数のモデリングシナリオに適用可能なスコアとして出力するようにさらに構成される。

本願において、複数のモデリングシナリオからモデリングサンプルが別々に収集され、複数のサービスシナリオから収集されたモデリングサンプルに基づいて、モデリングサンプルセットが作成され、元の基本変数に基づいて、モデリングサンプルセットにおけるモデリングサンプルに対して該モデリングサンプルが属するモデリングシナリオを示すシナリオ変数が別々に定義され、次いで、モデリングサンプルセットにおけるモデリングサンプルに基づいて評価モデルがトレーニングされる。本願においては、モデリングのために複数のサービスシナリオにおけるモデリングサンプルがマージされ、モデリングサンプルのシナリオ間を区別するために、モデリングサンプルにシナリオ変数が用いられる。したがって、トレーニング済みの最終的な評価モデルは普遍的であり、該評価モデルを用いることによって、複数の異なるサービスシナリオに適用可能なスコアを取得することができる。

図１は、本願の実施に係る、評価モデルのためのモデリング方法を示すフローチャートである。

図２は、本願の実施に係る、評価モデルをトレーニングするために、複数のサービスシナリオにおけるモデリングサンプルをマージするフローチャートである。

図３は、本願の実施に係る、評価モデルのためのモデリング装置を示す論理ブロック図である。

図４は、本願の実施に係る、評価モデルのためのモデリング装置を含むサーバ端のハードウェアを示す構成図である。

実際には、複数の異なるサービスシナリオに対してサービスリスク評価が実行された場合、通常、トレーニングされた評価モデルは異なるサービスシナリオに適用可能なものであることが期待される。

例えば、該サービスがローンサービスである場合、通常、評価モデルは信用（クレジット）リスク評価モデルであることができ、複数の異なるサービスシナリオには、クレジットカードサービス、住宅ローンサービス、自動車ローンサービス等の異なるローンサービスシナリオが含まれ得る。この場合は通常、信用リスク評価モデルによるサービスリスク評価を実行して取得される信用スコアは普遍的なものであり得ることが予想されるため、信用リスク評価モデルは、ローンサービス、クレジットカードサービス、及び消費者金融サービス等の異なるシナリオにおいてより良いパフォーマンスを発揮する。

従来技術においては、上述の問題を解決するために、通常、以下のモデリング方法が存在する。

方法１：リスク評価モデルは、単一のサービスシナリオから収集されたモデリングサンプルに基づいてトレーニングすることができ、次いで該評価モデルを用いることによって取得されるスコアを、他のサービスシナリオに直接適用する。この解決策では、モデルトレーニングの際に他のサービスシナリオは考慮されないため、単一のシナリオでトレーニングされたサービスリスクモデルによって取得されるサービススコアは普遍的なものではなく、したがって他のサービスシナリオにおけるサービスリスクモデルのパフォーマンスは保証されない。

方法２：評価モデルは、複数の異なるサービスシナリオから収集されたモデリングサンプルに基づいて別々にトレーニングすることができ、サービスシナリオにおいてトレーニングされた評価モデルを用いることによってサービスリスク評価を別々に実行してスコアを取得する。次いで、評価モデルによって取得されたスコアの加重平均をとる。この解決策では、複数のサービスシナリオにおける加重平均によって取得される最終スコアの普遍性は改善されるが、モデルをサービスシナリオごとにトレーニングする必要があるため、サービスシナリオが多いほど、モデルのトレーニング及び管理がより複雑になる。

方法３：評価モデルは、依然として複数の異なるサービスシナリオから収集されたモデリングサンプルに基づいて別々にトレーニングすることができ、次いでサービスシナリオにおいてトレーニングされた評価モデルを組み合わせる。この解決策では、依然としてモデルをサービスシナリオごとにトレーニングする必要があり、したがって複数のモデルを同時に維持する必要がある。また、サービスシナリオが多いほど、モデルのトレーニング及び管理がより複雑になる。さらに、ニューラルネットワークアルゴリズムがモデルトレーニングに用いられる等、比較的複雑なモデリングアルゴリズムがモデルトレーニングに用いられた場合、サービスシナリオにおいてトレーニングされた評価モデルは簡単には組み合わせられないため、実施は比較的複雑になる。

そこで、本願は評価モデルのためのモデリング方法を提供する。

複数のモデリングシナリオからモデリングサンプルが別々に収集され、複数のシナリオから収集されたモデリングサンプルに基づいて、モデリングサンプルセットが作成され、元の基本変数に基づいて、モデリングサンプルセットにおけるモデリングサンプルに対して該モデリングサンプルが属するモデリングシナリオを示すシナリオ変数が別々に定義され、次いで、モデリングサンプルセットにおけるモデリングサンプルに基づいて評価モデルがトレーニングされる。

本願においては、モデリングのために複数のシナリオにおけるモデリングサンプルがマージ（融合、併合）され、モデリングサンプルのシナリオ間を区別するために、モデリングサンプルにシナリオ変数が用いられる。したがって、トレーニング済みの最終的な評価モデルは普遍的なものであるので、該評価モデルを用いることによって、複数の異なるサービスシナリオに適用可能なスコアを取得することができる。

以下に、具体的な実施及び具体的なアプリケーション（適用）シナリオを参照しながら本願について説明する。

図１を参照すると、図１は、本願の一実施に係る、評価モデルのためのモデリング方法を示す図である。該方法は、サーバ端（サービングエンド）に適用され、以下のステップを含む。

ステップ１０１：複数のモデリングシナリオからモデリングサンプルを別々に収集する。モデリングサンプルはシナリオ変数といくつかの基本変数とを含み、シナリオ変数はモデリングサンプルが属するモデリングシナリオを示す。

ステップ１０２：複数のモデリングシナリオから収集されたモデリングサンプルに基づいてモデリングサンプルセットを作成する。

ステップ１０３：モデリングサンプルセット内のモデリングサンプルに基づいて評価モデルをトレーニングする。評価モデルは加法モデルであり、且つ評価モデルは基本変数からなるモデルとシナリオ変数からなるモデルとを加算することによって取得される。

サーバ端は、評価モデルをトレーニングするように構成された、サーバ、サーバクラスタ、又はサーバクラスタに基づいて構築されたクラウドプラットフォームを含むことができる。

評価モデルは、収集された多数のモデリングサンプルをトレーニングした後に構築された加法モデルである。例えば、ユーザに対してリスク評価を実行する。評価モデルを用いて、特定のサービスシナリオから収集されたターゲットデータに対してリスク評価を実行し、ユーザスコアを取得することができる。ユーザスコアは、将来の一定期間におけるサービスリスク確率を測定するために用いられる。

例えば、該サービスがローンサービスである場合、評価モデルは信用リスク評価モデルであり得る。信用リスク評価モデルを用いて、特定のローンサービスシナリオから収集されたサービスサンプルに対して信用リスク評価を実行し、対応する信用スコアを取得することができる。信用スコアは、将来の一定期間におけるユーザの信用デフォルト確率を測定するために用いられる。

実際には、モデリングサンプル及びターゲットデータのそれぞれは、サービスリスクに対する影響度が比較的高いいくつかの基本変数を含むことができる。

例えば、該評価モデルが信用リスク評価モデルである場合、モデリングサンプル及びターゲットデータに含まれる基本変数は、信用リスクに影響を与える変数であり得る。例えば、信用リスクに影響を与える変数は、ユーザの収入支出データ、ローン履歴データ、及びユーザの雇用状況を含むことができる。

モデリングサンプル及びターゲットデータに含まれる基本変数の選択は、本例示に限定されない。本願に記載の技術的解決策を実施する場合、当業者は従来技術における文献を参照することができる。

本例示では、評価モデルをトレーニングするとき、サーバ端が複数のサービスシナリオからモデリングサンプルを別々に収集し、さらに、複数の異なるサービスシナリオから収集されたモデリングサンプルに含まれた元の基本変数に基づいて、シナリオ変数を用いることができる。

複数のサービスシナリオのそれぞれは、モデリングシナリオと呼ぶことができる。用いられる該シナリオ変数は、該モデリングサンプルが属するモデリングシナリオ（すなわち、サービスシナリオ）を示すために用いられる。

シナリオ変数がサービスシナリオにおけるモデリングサンプルに用いられた後、モデリングのために複数の異なるサービスシナリオにおけるモデリングサンプルをマージすることができる。これによって、モデリングの複雑性を軽減することができる。さらに、トレーニングされたサービスリスクモデルは普遍的なものであるので、複数の異なるサービスシナリオに適用可能である。

図２を参照すると、図２は、本例示において、モデリングのために複数の異なるサービスシナリオにおけるモデリングサンプルをマージすることを示す概略図である。

リスクイベントはサービスシナリオに対して別々に定義され、異なるサービスシナリオに対して定義されるリスクイベントは、互いに独立し、かつ互いに異なり得る。

例えば、該サービスがローンサービスである場合、信用デフォルトイベントは、通常、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等の異なるローンサービスシナリオにおけるリスクイベントとして定義することができ、異なるローンシナリオにおける信用デフォルトイベントの定義は、互いに異なり得る。例えば、クレジットカードのクレジット発行（融資）シナリオにおいて、３０日を超える繰り延べ返済イベントを信用デフォルトイベントとして定義することができる。住宅ローンの融資シナリオにおいて、９０日を超える繰り延べ返済イベントを信用デフォルトイベントとして定義することができる。自動車ローンの融資シナリオにおいて、６０日を超える繰り延べ返済イベントを信用デフォルトイベントとして定義することができる。言い換えれば、信用デフォルトイベントを、それぞれのローンシナリオに対して別々に定義することができる。

リスクイベントをサービスシナリオに対して別々に定義した後、サーバ端は、サービスシナリオからモデリングサンプルを別々に収集し、サービスシナリオに対して別々に定義されたリスクイベントが収集されたモデリングサンプルに含まれているか否かを特定して、サービスシナリオから収集されたモデリングサンプルを良好なサンプルと不良なサンプルとに分類する。

モデリングサンプルに良好なサンプルのみ、又は不良なサンプルのみが含まれている場合、通常、完全にトレーニングされた評価モデルは十分な精度を有していない。したがって、収集されたモデリングサンプルを良好なサンプルと不良なサンプルとに分類することによって、モデリングサンプルを強化することができ、以って良好なサンプルと不良なサンプルは、モデリングサンプルにおいて一定の割合をそれぞれに占める。これにより、サービスリスク評価の際にトレーニング済みの最終的な評価モデルの精度を向上させることができる。

本例示において、サービスシナリオから一定数のモデリングサンプルを収集した後、サーバ端は、サービスシナリオに対してモデリングを別々に実行するのではなく、モデルトレーニングのためにサービスシナリオから収集されたモデリングサンプルをマージする。

図２を参照すると、サービスシナリオから収集されたモデリングサンプルをマージするとき、サーバ端は、サービスシナリオから収集されたモデリングサンプルをまとめてモデリングサンプルセットを生成することができる。モデリングサンプルセットは、サービスシナリオから収集されたモデリングサンプルを含む。

モデリングサンプルセットにおけるモデリングサンプルは、モデリングシナリオを示すためのシナリオ変数を含む。

ここで示す実施において、シナリオ変数は具体的には量子化されたラベル値であり得る。例えば、それぞれのサービスシナリオに対して、対応するラベル値を定義することができる。例えば、図２に示すように、ラベル値１は、シナリオ１からのモデリングサンプルに対して定義され、該モデリングサンプルがシナリオ１からのものであることを示し、ラベル値２は、シナリオ２からのモデリングサンプルに対して定義され、該モデリングサンプルがシナリオ２からのものであることを示す。

サーバ端がモデリングサンプルに対してシナリオ変数を定義するとき、一実施においては、サーバ端は、サービスシナリオからモデリングサンプルが収集され次第、モデリングサンプルに対してシナリオ変数を定義することができ、他の実施においては、サーバ端は、サービスシナリオから収集されたモデリングサンプルに基づいてモデリングサンプルセットが生成された後に、モデリングサンプルセットにおけるモデリングサンプルのそれぞれに対してシナリオ変数を定義することができる。実施は本例示に制限されない。

ここで示す実施において、サーバ端によってサービスシナリオから収集されたモデリングサンプルの数が互いに異なり得るため、サーバ端は、各サービスシナリオから収集されたモデリングサンプルの数に基づいて、各サービスシナリオに対してトレーニングサンプル重みを定義することができる。

トレーニングサンプル重みは、サービスシナリオ間のモデリングサンプル数の差のバランスを取るために用いられる。実際には、トレーニングサンプル重みは、評価モデルをトレーニングするときに用いる必要がある各サービスシナリオにおけるモデリングサンプルの数を表す重み値であり得る。

重み値は、各サービスシナリオにおけるモデリングサンプルの実際の数と負の相関関係を有する。言い換えれば、モデリングサンプルの数が少ないほど、より大きなトレーニングサンプル重みが定義されることを示す。

この場合、比較的多数のモデリングサンプルを有する特定のサービスシナリオに対して、比較的小さなトレーニングサンプル重みを設定することができる。同様に、比較的少数のモデリングサンプルを有する特定のサービスシナリオに対して、比較的大きなトレーニングサンプル重みを設定することができる。

トレーニングサンプル重みの具体的な値は、実際の要求に基づいてユーザが手動で設定することができる。例えば、集中モデリングのために複数のサービスシナリオにおけるモデリングサンプルをマージするとき、トレーニングされたモデルが特定のサービスシナリオをより重要視することをユーザが期待している場合、ユーザは手動でサービスシナリオのトレーニングサンプル重みをより大きい値に設定することができる。

本例示においては、サーバ端がモデリングサンプルセットからモデリングサンプルを読み出して評価モデルをトレーニングするプロセスにおいて、サービスシナリオ間のモデリングサンプル数の差のバランスを取るために、以下の実施が用いられる。

一実施において、比較的大きなトレーニングサンプル重みを有するサービスシナリオに対して、サーバ端は、該サービスシナリオにおけるモデリングサンプルを優先的に用いてモデリングに参加することができる。比較的小さなトレーニングサンプル重みを有するサービスシナリオに対して、サーバ端は、具体的な重み値に基づいて、サービスシナリオにおいて用いられるモデリングサンプルの数を適切に制御することができる。したがって、比較的大きなトレーニングサンプル重みを有するサービスシナリオにおけるモデリングに参加するモデリングサンプルの数は、比較的小さなトレーニングサンプル重みを有するサービスシナリオにおけるモデリングに参加するモデリングサンプルの数と一致する傾向がある。

他の実施において、比較的大きなトレーニングサンプル重みを有するサービスシナリオに対して、サーバ端は、デフォルトで該サービスシナリオにおける全てのモデリングサンプルを用いてモデリングに参加することができる。比較的小さなトレーニングサンプル重みを有するサービスシナリオに対して、サーバ端は、具体的な重み値に基づいて、サービスシナリオにおいてモデリングサンプルを適切に繰り返し用いることができる。したがって、比較的大きなトレーニングサンプル重みを有するサービスシナリオにおけるモデリングに参加するモデリングサンプルの数は、比較的小さなトレーニングサンプル重みを有するサービスシナリオにおけるモデリングに参加するモデリングサンプルの数と一致する傾向がある。

このように、サービスリスクモデルがトレーニングされる際の、サービスシナリオ間のモデリングサンプル数の差がトレーニング済みの最終的なサービスリスクモデルのサービス評価精度に与える影響度合いを最大限に軽減させることができる。

本例示において、サービスシナリオから収集されたモデリングサンプルに基づいてサーバ端がモデリングサンプルセットを生成し、モデリングサンプルセットにおけるモデリングサンプルに対して別々にシナリオ変数を定義した後、サーバ端は、所定のモデリングアルゴリズムに基づいてモデリングサンプルセットにおけるモデリングサンプルをトレーニングサンプルとして用い、評価モデルを構築することができる。

なお、実際には、通常、評価モデルは加法モデル（Ａｄｄｉｔｉｖｅ Ｍｏｄｅｌ）である。したがって、サーバ端が評価モデルをトレーニングするときに用いられるモデリング方法は、スコアカード又は回帰分析等の加法モデルのモデリング方法であることができる。

本実施の加法モデルは、通常、基本変数からなるモデル部分と、シナリオ変数からなるモデル部分とを加算することによって取得されるものと表現することができる。本実施において、上述のターゲットデータを加法モデルに入力した後、各変数に対して対応するスコアが取得される。したがって、本実施において加法モデルによって取得されるスコアは、通常、評価モデルにおけるターゲットデータの基本変数の対応するスコアと、評価モデルにおけるターゲットデータのシナリオ変数の対応するスコアとの合計を加算することによって取得される。

図２を参照すると、評価モデルのトレーニングによって取得されるスコアをｆ（Ｘ，Ｐ）と仮定し、Ｘは基本変数を表し、Ｐはシナリオ変数を表し、モデルにおける基本変数Ｘの対応するスコアはｆ１（Ｘ）であり、モデルにおけるシナリオ変数Ｐの対応するスコアはｆ２（Ｐ）であり、ｆ（Ｘ，Ｐ）はｆ１（Ｘ）＋ｆ２（Ｐ）と表すことができる。

サーバ端がサービスリスクモデルをトレーニングするときに用いられるモデリングツールは、例えば、ＳＡＳ（Ｓｔａｔｉｓｔｉｃａｌ Ａｎａｌｙｓｉｓ Ｓｙｓｔｅｍ、統計解析システム）、又はＳＰＳＳ（Ｓｔａｔｉｓｔｉｃａｌ Ｐｒｏｄｕｃｔ ａｎｄ Ｓｅｒｖｉｃｅ Ｓｏｌｕｔｉｏｎｓ、統計的製品及びサービスソリューション）等の比較的成熟したデータマイニングツールであり得る。

さらに、本例示において、評価モデルをトレーニングする具体的な処理及び評価モデルをトレーニングした後の該評価モデルの性能を評価する処理の詳細については、本例示では省略する。本願に開示の技術的解決策を実施する際に、当業者は従来技術の文献を参照することができる。

本例示において、評価モデルをトレーニングした後、サーバ端はリアルタイムでターゲットデータを収集し、該評価モデルを用いることによってリスク評価を実行することができる。

サーバ端がトレーニングされた評価モデルを用いることによってリスク評価を実行するとき、収集されたターゲットデータは、任意のサービスシナリオからのサービスデータであることができ、サービスサンプルに含まれる変数の種類は、モデリングサンプルに含まれる変数の種類と一致する必要がある。言い換えれば、ターゲットサービスもまた、モデリングサンプルの変数と同じ種類のシナリオ変数及びいくつかの基本変数を含み得る。

任意のサービスシナリオからターゲットデータを収集した後、サーバ端はターゲットデータを評価モデルに入力し、対応するスコアを取得することで、評価モデルを用いたターゲットデータに対するリスク評価を実行することができる。取得されるスコアは、評価モデルにおけるターゲットデータのいくつかの基本変数の対応するスコアと、評価モデルにおけるターゲットデータのシナリオ変数の対応するスコアとを加算することによって取得することができる。

本例示において、サービスシナリオにおけるモデリングサンプルをマージすることによって評価モデルをトレーニングし、モデリングサンプルに対してシナリオ変数を定義して、モデリングサンプルが属するサービスシナリオを区別する。したがって、異なるサービスシナリオが十分に考慮されるので、該評価モデルを用いてサービスリスク評価を実行することによって、様々な異なるサービスシナリオに適用可能なスコアを取得することができる。

ここで示す実施において、ターゲットデータを複数のモデリングシナリオにおいてスコア付け（スコアリング）する必要がある場合、評価モデルによって出力されたスコアを複数のモデリングシナリオに適用可能であることが保証される必要がある。この場合、評価モデルにおけるターゲットデータに含まれる基本変数の対応するスコアを追加してから出力することができる。ここで出力されるスコアは、普遍的なスコアであって、複数の異なるモデリングシナリオに適用可能であり、かつ複数の異なるサービスシナリオにおける、該ターゲットデータに対応するユーザのサービスリスク確率を測定するために用いることができる。続いて、出力されたスコアを用いて、異なるサービスシナリオにおいて、対応するサービス手順を実行することができる。

例えば、該スコアが信用スコアである場合、異なるローンサービスシナリオにおいて出力された信用スコアを、別々に所定の閾値と比較して、該信用スコアに対応するユーザがリスクユーザであるか否かを特定し、次いで該ユーザに融資をするか否かを特定する。

これから分かるように、モデリングのためにサービスシナリオにおけるモデリングサンプルをマージすることによって、モデリングの複雑性が軽減され、また、異なるサービスシナリオに対してモデリングを別々に実行する必要がない。さらに、モデリングサンプルにシナリオ変数を用いるので、トレーニングされた評価モデルを異なるサービスシナリオに適用可能であり、該サービス評価モデルを用いてサービスリスク評価を実行することによって取得されるスコアは、異なるサービスシナリオにおける同じユーザのサービスリスクレベルを反映することができる。

本例示において、上述のように、複数の異なるサービスシナリオに適用可能な普遍的なスコアは、サービスシナリオにおけるモデリングサンプルをマージすることによってトレーニングされたモデルを用いて取得することができる。

しかし、サービスシナリオに対して定義されるサービスリスクイベントは互いに異なり得るため、サービスシナリオのモデリングサンプルをマージすることによってトレーニングされた評価モデルを用いてサービスリスク評価を実行することにより取得された、複数のサービスシナリオに適用可能なスコアは、通常、相対値であり、特定のサービスシナリオにおける同じユーザのサービスリスクレベルを正確に反映することはできない。

実際には、サービスシナリオにおけるモデリングサンプルをマージすることによってトレーニングされた評価モデルは、異なるサービスシナリオに適用可能である必要があり、通常、さらに特定のサービスシナリオにおいて正確なサービスリスク評価を実行することができる必要がある。

例えば、上述のサービスがローンサービスであり、評価モデルは信用リスク評価モデルである。３つのローンサービスシナリオ、すなわちクレジットカードサービス、住宅ローンサービス、及び自動車ローンサービスがあると仮定し、評価モデルは、３つのローンサービスシナリオにおけるモデリングサンプルをマージすることによってトレーニングされ、ユーザの信用スコアは、評価モデルに基づいて収集されたターゲットデータをトレーニングすることによって取得されるとする。この場合、信用スコアは、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等の異なるサービスシナリオに適用可能な相対値であり、特定のローンサービスシナリオにおける同じユーザのリスクレベルを正確に反映することはできない。

しかし、実際には、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等のローンサービスシナリオのうちのいずれか１つにおけるユーザの信用レベルは、さらに正確に評価される必要がある。例えば、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等のローンサービスシナリオのうちのいずれか１つにおいて、ユーザの不良信用（バッドクレジット）の割合の統計が正確に収集される必要がある。この場合、信用リスク評価モデルは、シナリオに対応する信用スコアを取得するために、通常、特定のシナリオにおけるユーザの信用レベルを正確に評価できる必要がある。

ここで示す実施において、サービスシナリオにおけるモデリングサンプルをマージすることによってトレーニングされた評価モデルが、特定のサービスシナリオにおいて正確なサービスリスク評価を実行するという特性をも両立できる。ターゲットデータを該ターゲットデータが属するモデリングシナリオにおいてスコア付けする必要がある場合、通常、評価モデルによって出力されるスコアは、該スコアを該ターゲットデータが属するモデリングシナリオにさえ適用可能であれば、普遍的なものである必要はない。この場合、評価モデルにおけるターゲットデータに含まれる基本変数の対応するスコアと、評価モデルにおけるターゲットデータに含まれるシナリオ変数の対応するスコアとを加算することができ、次いでこれらのスコアの合計を出力することができる。ここで出力されるこれらのスコアの合計は、該ターゲットデータに対応するシナリオスコアである。該スコアは普遍的なものではないため、該ターゲットデータが実際に属するサービスシナリオにのみ適用可能である。

これから分かるように、特定のターゲットデータを、該ターゲットデータが実際に属するサービスシナリオにおいてスコア付けする必要がある場合、該ターゲットデータが実際に属するサービスシナリオに適用可能なスコアは、サービスシナリオに対して別々にモデリングを実行することなく、基本変数の対応するスコアとシナリオ変数の対応するスコアとの合計を出力することのみで取得することができる。

以下に、信用リスク評価のアプリケーションシナリオを参照しながら、上述の実施における技術的解決策について詳細に説明する。

本例示において、該サービスはローンサービスであることができ、評価モデルは信用リスク評価モデルであることができ、スコアは、信用リスク評価モデルによるユーザの収集されたサービスサンプルに対して信用リスク評価を実行した後に取得される信用スコアであることができる。複数のサービスシナリオは、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等の３つのローンサービスシナリオを含むことができる。

最初に、信用デフォルトイベントを、ローンサービスシナリオに対して別々に定義することができる。例えば、クレジットカードの融資シナリオにおいては、３０日を超える繰り延べ返済イベントを信用デフォルトイベントとして定義することができる。住宅ローンの融資シナリオにおいては、９０日を超える繰り延べ返済イベントを信用デフォルトイベントとして定義することができる。自動車ローンの融資シナリオにおいては、６０日を超える繰り延べ返済イベントを信用デフォルトイベントとして定義することができる。言い換えれば、信用デフォルトイベントを、それぞれのローンシナリオに対して別々に定義することができる。

ローンサービスシナリオからモデリングサンプルを収集するとき、サーバ端は、シナリオに対して定義される信用デフォルトイベントに基づいて、収集されたモデリングサンプルを良好なサンプルと不良なサンプルとに分類することができる。モデリングサンプルは、収入支出データ、ローン履歴データ、及びユーザの雇用状況等の信用リスクに影響を与える変数を含むことができる。

モデリングサンプルを収集した後、サーバ端は、ローンサービスシナリオから収集されたモデリングサンプルをまとめてモデリングサンプルセットを生成することができ、かつモデリングサンプルの元の基本変数に基づいてモデリングサンプルセットにおけるモデリングサンプルに対するシナリオ変数を別々に定義して、該モデリングサンプルが属するローンサービスシナリオを示すことができる。

信用リスク評価モデルをトレーニングするとき、サーバ端は、シナリオから収集されたモデリングサンプルをマージし、モデリングサンプルセットに含まれる全てのモデリングサンプルに基づいて信用リスク評価モデルをトレーニングすることができる。

ＳＡＳ又はＳＰＳＳ等の比較的成熟したデータマイニングツール、及びスコアカード又は回帰分析等の加法モデルのモデリング方法を用いて、モデルトレーニングを完了することができる。本例示において、具体的なモデルトレーニング処理の詳細は省略する。

信用リスク評価モデルをトレーニングした後、サーバ端は、クレジットカードサービス、住宅ローンサービス、又は自動車ローンサービス等の任意のローンサービスシナリオからターゲットデータを収集することができる。収集されたターゲットデータは、依然としていくつかの基本変数及びシナリオ変数を含むことができる。ターゲットデータが収集された後、信用リスク評価モデルによって該ターゲットデータに対して信用スコア付けを実行することができる。信用リスク評価モデルは、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等のローンサービスシナリオにおけるモデリングサンプルをマージすることによってトレーニングされるため、このモデルを用いることで、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等の複数のローンサービスシナリオに適用可能な信用スコアを取得することができる。

ターゲットデータが特定のローンサービスシナリオ（クレジットカード）からのサービスデータであると仮定し、特定のローンサービスシナリオ（クレジットカード）において該ターゲットデータに対して信用スコア付けを実行する必要がある場合、サーバ端は、モデルにおけるターゲットデータのいくつかの基本変数の対応する信用スコアと、モデルにおけるターゲットデータのシナリオ変数のスコアとを追加し、次いで該ターゲットデータに対応するユーザに、該ユーザの信用スコアとしてこれらのスコアの合計を出力することができる。ここで出力されるスコアは普遍的なものではないため、該ローンサービスシナリオ（クレジットカード）にのみ適用可能である。

さらに、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等の複数のローンサービスシナリオにおいて、該ターゲットデータに対して信用スコア付けを実行する必要がある場合、サーバ端は、該ターゲットデータに対応するユーザに、該ユーザの信用スコアとしてモデルにおけるターゲットデータのいくつかの基本変数の対応する信用スコアを出力することができる。ここで出力されるスコアは普遍的なものであるため、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービス等の複数のローンサービスシナリオに適用可能である。

上述の実施から分かるように、本願において、複数のモデリングシナリオからモデリングサンプルが別々に収集され、複数のサービスシナリオから収集されたモデリングサンプルに基づいて、モデリングサンプルセットが作成され、該モデリングサンプルが属するモデリングシナリオを示すシナリオ変数は、元の基本変数に基づいて、モデリングサンプルセットにおけるモデリングサンプルに対して別々に定義され、次いで、評価モデルが、モデリングサンプルセットにおけるモデリングサンプルに基づいてトレーニングされる。

本願においては、複数のサービスシナリオにおけるモデリングサンプルがモデリングのためにマージされ、シナリオ変数は、モデリングサンプルのシナリオを区別するためにモデリングサンプルに対して用いられる。したがって、トレーニング済みの最終的な評価モデルは普遍的なものであるので、該評価モデルを用いることによって、複数の異なるサービスシナリオに適用可能なスコアを取得することができる。

ターゲットデータが属するサービスシナリオにおいてスコア付けを実行する必要がある場合、モデルにおけるターゲットデータに含まれるいくつかの基本変数の対応するスコアと、モデルにおけるターゲットデータに含まれるシナリオ変数の対応するスコアとの合計を、該ターゲットデータが属するサービスシナリオに適用可能なスコアとして出力することができる。

さらに、複数のサービスシナリオにおいてスコア付けを実行する必要がある場合、モデルにおけるトレーニングデータに含まれるいくつかの基本変数の対応するスコアを、複数の異なるサービスシナリオに適用可能なスコアとして出力することができる。したがって、該モデルは、普遍的なスコアだけでなく、該ターゲットデータが実際に属するサービスシナリオに適用可能なスコアも出力することができる。このため、より柔軟にスコアを出力し、異なるスコア付けシナリオに適用させることができる。

本願はさらに、上述の方法の実施に応じて、装置の実施を提供する。

図３を参照すると、本願は、サーバ端に適用される、評価モデルのためのモデリング装置（デバイス）３０を提供する。図４を参照すると、評価モデルのためのモデリング装置３０を含むサーバ端のハードウェアアーキテクチャは、一般に、ＣＰＵ、メモリ、不揮発性メモリ、ネットワークインタフェース、及び内部バス等を含む。例えば、ソフトウェア実装の際、評価モデルのためのモデリング装置３０は、通常、メモリにロードされたコンピュータプログラムがＣＰＵで実行された後に形成されるソフトウェア及びハードウェアの組み合わせを有する論理装置として理解され得る。装置３０は、複数のモデリングシナリオから、モデリングサンプルが属するモデリングシナリオを示すシナリオ変数と、いくつかの基本変数とを含むモデリングサンプルを別々に収集するように構成された収集モジュール３０１、複数のモデリングシナリオから収集されたモデリングサンプルに基づいて、モデリングサンプルセットを作成するように構成された作成モジュール３０２、及び、モデリングサンプルセットにおけるモデリングサンプルに基づいて、加法モデルであり且つ基本変数からなるモデル部分とシナリオ変数からなるモデル部分とを加算して取得される評価モデルをトレーニングするように構成されたトレーニングモジュール３０３を含む。

本例示において、作成モジュール３０２は、各モデリングシナリオにおけるモデリングサンプルの数に基づいて、各モデリングシナリオのトレーニングサンプル重みを定義するようにさらに構成され、ここで、トレーニングサンプル重みは、モデリングシナリオ間のモデリングサンプル数の差のバランスを取るために用いられ、モデリングシナリオにおけるモデリングサンプルの数が少ないほど、シナリオに定義されるトレーニングサンプル重みが大きい。

本例示において、収集モジュール３０１は、シナリオ変数といくつかの基本変数とを含むターゲットデータを収集するようにさらに構成される。

装置３０は、ターゲットデータスコアを取得するためにターゲットデータを評価モデルに入力するように構成されたスコア付与モジュール３０４をさらに含み、ここで、スコアは評価モデルにおけるいくつかの基本変数の対応するスコアと、評価モデルにおけるシナリオ変数の対応するスコアとを加算することによって取得される。

本例示において、スコア付与モジュール３０４は、ターゲットデータが属するモデリングシナリオにおいて該ターゲットデータをスコア付けする必要がある場合、評価モデルにおけるいくつかの基本変数の対応するスコアと、評価モデルにおけるシナリオ変数の対応するスコアとの合計を、該ターゲットデータが属するモデリングシナリオに適用可能なスコアとして出力するようにさらに構成される。

本例示において、スコア付与モジュール３０４は、複数のモデリングシナリオにおいてターゲットデータをスコア付けする必要がある場合、評価モデルにおけるいくつかの基本変数の対応するスコアを、複数のモデリングシナリオに適用可能なスコアとして出力するようにさらに構成される。

当業者は、本明細書を検討し、本明細書に開示された本願を実施した後、本願の他の実施解決策に容易に想到することができる。本願は、本願の任意の変形、機能、又は適切な変更を包含することを意図している。これらの変形、機能、又は適切な変更は、本願の一般原則に従っており、本願に開示されていない、本技術分野における公知の知識や慣用的な技術手段を含む。本明細書及び実施は、単に例示としてみなされるものであり、本願の実際の範囲及び趣旨は特許請求の範囲に記載される。

なお、本願は、添付の図面に示す上述の正確な構成に限定されず、本願の範囲から逸脱することなく、本願に様々な修正及び変更を加えることができることを理解されたい。本願の範囲は、添付の特許請求の範囲によってのみ限定される。

上述の説明は、本願の好適な実施に過ぎず、本願を限定するものではない。本願の趣旨と原理から逸脱することなく施される如何なる修正、均等物による置換、又は改良等も、本願の保護範囲内に入るものとする。
以下、本発明の実施の態様の例を列挙する。
［第１の局面］
評価モデルのためのモデリング方法であって：
複数のモデリングシナリオからモデリングサンプルを別々に収集するステップであって、前記モデリングサンプルは、シナリオ変数といくつかの基本変数とを備え、前記シナリオ変数は、前記モデリングサンプルが属するモデリングシナリオを示す、ステップと；
前記複数のモデリングシナリオから収集された前記モデリングサンプルに基づいてモデリングサンプルセットを作成するステップと；
前記モデリングサンプルセット内の前記モデリングサンプルに基づいて評価モデルをトレーニングするステップであって、前記評価モデルは加法モデルであり、前記評価モデルは基本変数からなるモデル部分とシナリオ変数からなるモデル部分とを加算することにより取得される、ステップと；を備える、
モデリング方法。
［第２の局面］
各モデリングシナリオにおけるモデリングサンプルの数に基づいて、各モデリングシナリオのトレーニングサンプル重みを定義するステップであって、前記トレーニングサンプル重みは、前記モデリングシナリオ間のモデリングサンプル数の差のバランスを取るために用いられ、モデリングシナリオにおけるモデリングサンプルの数が少ないほど、前記シナリオに定義されるトレーニングサンプル重みが大きい、ステップをさらに備える、
第１の局面に記載のモデリング方法。
［第３の局面］
ターゲットデータを収集するステップであって、前記ターゲットデータはシナリオ変数といくつかの基本変数とを備える、ステップと；
ターゲットデータスコアを取得するために前記ターゲットデータを前記評価モデルに入力するステップであって、前記スコアは、前記評価モデルにおける前記いくつかの基本変数の対応するスコアと、前記評価モデルにおける前記シナリオ変数の対応するスコアとを加算することによって取得される、ステップと；をさらに備える、
第１の局面に記載のモデリング方法。
［第４の局面］
前記ターゲットデータが属する前記モデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアと、前記評価モデルにおける前記シナリオ変数の前記対応するスコアとの合計を、前記ターゲットデータが属するモデリングシナリオに適用可能なスコアとして出力するステップをさらに備える、
第３の局面に記載のモデリング方法。
［第５の局面］
前記複数のモデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアを、前記複数のモデリングシナリオに適用可能なスコアとして出力するステップをさらに備える、
第４の局面に記載のモデリング方法。
［第６の局面］
評価モデルのためのモデリング装置であって：
複数のモデリングシナリオから、モデリングサンプルを別々に収集するように構成された収集モジュールであって、前記モデリングサンプルはシナリオ変数といくつかの基本変数とを備え、前記シナリオ変数は前記モデリングサンプルが属するモデリングシナリオを示す、前記収集モジュールと；
前記複数のモデリングシナリオから収集された前記モデリングサンプルに基づいてモデリングサンプルセットを作成するように構成された作成モジュールと；
前記モデリングサンプルセット内の前記モデリングサンプルに基づいて評価モデルをトレーニングするように構成されたトレーニングモジュールであって、前記評価モデルは加法モデルであり、前記評価モデルは基本変数からなるモデル部分とシナリオ変数からなるモデル部分とを加算することによって取得される、前記トレーニングモジュールと；を備える、
モデリング装置。
［第７の局面］
前記作成モジュールは：
各モデリングシナリオにおけるモデリングサンプルの数に基づいて、各モデリングシナリオのトレーニングサンプル重みを定義するようにさらに構成され、前記トレーニングサンプル重みは、前記モデリングシナリオ間のモデリングサンプル数の差のバランスを取るために用いられ、モデリングシナリオにおけるモデリングサンプルの数が少ないほど、前記シナリオに定義されるトレーニングサンプル重みが大きい、
第６の局面に記載のモデリング装置。
［第８の局面］
前記収集モジュールは：
シナリオ変数といくつかの基本変数とを含むターゲットデータを収集するようにさらに構成され、
ターゲットデータスコアを取得するために前記ターゲットデータを前記評価モデルに入力するように構成されたスコア付与モジュールであって、前記スコアは、前記評価モデルにおける前記いくつかの基本変数の対応するスコアと、前記評価モデルにおける前記シナリオ変数の対応するスコアとを加算することによって取得される、前記スコア付与モジュールをさらに備える、
第６の局面に記載のモデリング装置。
［第９の局面］
前記スコア付与モジュールは：
前記ターゲットデータが属する前記モデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアと、前記評価モデルにおける前記シナリオ変数の前記対応するスコアとの合計を、前記ターゲットデータが属するモデリングシナリオに適用可能なスコアとして出力するようにさらに構成される、
第８の局面に記載のモデリング装置。
［第１０の局面］
前記スコア付与モジュールは：
前記複数のモデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記評価モデルにおける前記いくつかの基本変数の前記対応するスコアを、前記複数のモデリングシナリオに適用可能なスコアとして出力するようにさらに構成される、
第９の局面に記載のモデリング装置。

３０ 評価モデルのためのモデリング装置
３０１ 収集モジュール
３０２ 作成モジュール
３０３ トレーニングモジュール
３０４ スコア付与モジュール

Claims (10)

1. 評価モデルのためのモデリング装置によって実行される方法であって：
   収集モジュールによって、複数のモデリングシナリオからモデリングサンプルを別々に収集するステップであって、前記モデリングサンプルは、シナリオ変数と複数の基本変数とを備え、前記シナリオ変数は、前記モデリングサンプルが属するモデリングシナリオを示す、ステップ（１０１）と；
   作成モジュールによって、前記複数のモデリングシナリオから収集された前記モデリングサンプルに基づいてモデリングサンプルセットを作成するステップ（１０２）と；
   前記作成モジュールによって、各モデリングシナリオにおけるモデリングサンプルの数に基づいて、各モデリングシナリオのトレーニングサンプル重みを定義するステップであって、前記トレーニングサンプル重みは、前記モデリングシナリオ間のモデリングサンプル数の差のバランスを取るために用いられ、モデリングシナリオにおけるモデリングサンプルの数が少ないほど、前記モデリングシナリオに定義されるトレーニングサンプル重みが大きい、ステップと；
   トレーニングモジュールによって、前記モデリングサンプルセット内の前記モデリングサンプルに基づいて評価モデルをトレーニングするステップであって、前記評価モデルは加法モデルであり、前記評価モデルは基本変数からなるモデル部分とシナリオ変数からなるモデル部分とを加算することにより取得される、ステップ（１０３）と；を備え、
   トレーニング済みの評価モデルは普遍的であり、前記トレーニング済みの評価モデルを用いることによって、複数の異なるサービスシナリオに適用可能なスコアを取得することができる、
   モデリング方法。
2. 前記収集モジュールによって、ターゲットデータを収集するステップであって、前記ターゲットデータはシナリオ変数と複数の基本変数とを備える、ステップと；
   スコア付与モジュールによって、ターゲットデータスコアを取得するために前記ターゲットデータを前記評価モデルに入力するステップであって、前記スコアは、前記評価モデルにおける前記複数の基本変数の対応するスコアと、前記評価モデルにおける前記シナリオ変数の対応するスコアとを加算することによって取得される、ステップと；をさらに備える、
   請求項１に記載のモデリング方法。
3. 前記ターゲットデータが属する前記モデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記スコア付与モジュールによって、前記評価モデルにおける前記複数の基本変数の前記対応するスコアと、前記評価モデルにおける前記シナリオ変数の前記対応するスコアとの合計を、前記ターゲットデータが属するモデリングシナリオに適用可能なスコアとして出力するステップをさらに備える、
   請求項２に記載のモデリング方法。
4. 前記複数のモデリングシナリオにおいて前記ターゲットデータをスコア付けする必要がある場合に、前記スコア付与モジュールによって、前記評価モデルにおける前記複数の基本変数の前記対応するスコアを、前記複数のモデリングシナリオに適用可能なスコアとして出力するステップをさらに備える、
   請求項３に記載のモデリング方法。
5. 前記複数の基本変数は、ユーザデータを備える、
   請求項１〜４のいずれか１項に記載のモデリング方法。
6. 前記トレーニングサンプル重みは、前記複数のモデリングシナリオのうちの各サービスシナリオにおけるモデリングサンプルの実際の数と負の相関関係がある、
   請求項１に記載のモデリング方法。
7. 前記評価モデルをトレーニングするステップは、前記モデリングサンプルセット内の前記モデリングサンプルにデータマイニングを適用するステップを備える、
   請求項１〜６のいずれか１項に記載のモデリング方法。
8. 前記サービスシナリオはローンサービスを備え、前記評価モデルは普遍的な信用リスク評価モデルを備え、トレーニング済みの前記普遍的な信用リスク評価モデルを用いることによって、複数の異なるローンサービスに適用可能な信用スコアを取得することができる、
   請求項１〜７のいずれか１項に記載のモデリング方法。
9. 前記ローンサービスは、クレジットカードサービス、住宅ローンサービス、及び自動車ローンサービスを備える、
   請求項８に記載のモデリング方法。
10. 評価モデルのためのモデリング装置であって：請求項１〜９のいずれか１項に記載の方法を実行するように構成された複数のモジュールを備える、
    モデリング装置。

Images