JP7042982B1 - ターゲット選定システム、ターゲット選定方法、およびターゲット選定プログラム - Google Patents

Abstract

施策を実施するターゲットを選定するターゲット選定システムは、学習器生成部およびターゲット選定部を有する。学習器生成部は、ターゲットごとに属性と成果とが対応付けられたデータ群から抽出した複数の学習用データセットのそれぞれにおける属性と成果との対応関係を学習した複数の学習器を学習器群として生成する。ターゲット選定部は、データ群から抽出した推論用データセットに推論用として選択した学習器群を適用して推論用データセットにおける属性に対応する成果を学習器ごとに予測し、学習器ごとに予測された成果の平均および成果の不確実性を表す指標値のうちの少なくとも何れかを推論用データセットにおける属性ごとに算出し、算出した平均および指標値の少なくとも何れか基づいて施策を実施するターゲットを推論用データセットから選定する。

Description

本発明は、ターゲット選定システム、ターゲット選定方法、およびターゲット選定プログラムに関する。

特定のターゲット（売り上げ額や購入率といった高い報酬が見込めるターゲット）を対象とする施策を、対象を広げて行いたい場合がある。例えば、事業拡大に伴って、ＤＭ配信などのダイレクトマーケティング業務を、対象の顧客属性を広げて行うといった場合である。

ここでターゲットに対する施策についてターゲットに応じた効果が未知である場合に、バンディットアルゴリズムを用いて効果を最大化するように施策を選択する従来技術がある。

例えば特許文献１には、複数のユーザをメンバとするグループのサブグループに対して推奨するアイテムを、バンディットアルゴリズムを用いて計算する技術が開示されている。また非特許文献１には、ユーザに対するニュース記事の推奨をコンテキストバンディット問題としてモデル化し、ユーザと記事に関するコンテキスト情報に基づいて、ユーザに対して推奨する記事を選択する技術が開示されている。

特表２０１５－５１３１５４号公報

Lihong Li, Wei Chu, John Langford, Robert E. Schapire, "AContextual-Bandit Approach to Personalized News Article Recommendation," Presentedat the Nineteenth International Conference on World Wide Web (WWW 2010), 2010.

しかしながら上述の従来技術では、新たなターゲットに対して必ずしも最適とは限らない施策を一定確率でランダムに選択するため、施策の候補が多いほど選択が非効率になり、施策の「無駄打ち」が生じやすくなるという問題がある。

またベイズ推定を用いて、施策の効果の確率分布を学習し、新たなターゲットに応じた未知の効果を推定することも考えられる。しかしベイズ推定を用いることで、処理時間と計算機リソースを要するという問題がある。

本発明は、上記に鑑みてなされたものであり、より軽量な計算で、新たなターゲットに応じた効果をより高精度で推定することを目的とする。

上記目的を達成するために、施策を実施するターゲットを選定するターゲット選定システムであって、前記ターゲットごとに属性と成果とが対応付けられたデータ群から抽出した複数の学習用データセットのそれぞれにおける属性と成果との対応関係を学習した複数の学習器を学習器群として生成する学習器生成部と、前記データ群から抽出した推論用データセットに推論用として選択した前記学習器群を適用して前記推論用データセットにおける属性に対応する成果を前記学習器ごとに予測し、前記学習器ごとに予測された成果の平均および該成果の不確実性を表す指標値のうちの少なくとも何れかを前記推論用データセットにおける属性ごとに算出し、算出した前記平均および前記指標値の少なくとも何れか基づいて前記施策を実施する前記ターゲットを前記推論用データセットから選定するターゲット選定部とを有することを特徴とする。

本発明によれば、より軽量な計算で、新たなターゲットに応じた効果をより高精度で推定することができる。

ターゲット選定システムの構成例を示す図。 学習エンジンが扱う顧客属性データ（学習用）のフォーマット例を示す図。 施策ターゲット選定エンジンが扱う顧客属性データ（予測用）のフォーマット例を示す図。 学習器による当月の購入金額の予測結果の例を示す図。 施策ターゲットリストファイルのデータ構造の例を示す図。 ターゲット選定システムの全体処理の例を示すフローチャート。 学習器群作成処理の例を示すフローチャート。 予測用学習器群選定処理の例を示すフローチャート。 コンセプトドリフト有無判定処理の例を示すフローチャート。 施策ターゲットリスト作成処理の例を示すフローチャート。 施策実行処理の例を示すフローチャート。 変形例の施策ターゲットリストファイルのデータ構造を示す図。 コンピュータのハードウェアの構成例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお以下に説明する実施形態は、特許請求の範囲に係る発明を限定するものではない。また実施形態の中で説明されている諸要素およびその組合せの全てが発明の解決手段に必須であるとは限らない。発明の構成に必須だが周知である構成については、図示および説明を省略する場合がある。また各図に示す各要素の統合および分散は一例であって、処理負荷や効率などの観点から適宜統合または分散できる。

以下の説明において、テーブル形式で情報を説明することがあるが、この情報は、どのような構造のデータでもよく、例えばＣＳＶ形式などでもよい。また以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。また以下の説明において、情報はＤＢ（Data Base）に格納されるとして説明するが、ＤＢは記憶部の一例である。また学習器はストレージに格納されるとして説明するが、ストレージも記憶部の一例である。また格納場所を明示しない情報も何らかの記憶部に格納される。

以下の説明において、「ＸＸＸエンジン」は、メモリとの協働でプログラムを実行し処理を行うＣＰＵ（Central Processing Unit）などのプロセッサであるため、「ＸＸＸ部」と言い換えることができる。

（ターゲット選定システムＳの構成）
図１は、ターゲット選定システムＳの構成例を示す図である。ターゲット選定システムＳは、顧客データ前処理エンジン１、学習エンジン２、施策ターゲット選定エンジン３、施策実行エンジン４、顧客属性ＤＢ１１、設定情報ＤＢ１２、学習器ストレージ１３、および施策ターゲットリストファイル１４を含んで構成される。ターゲット選定システムＳは、１または連携する複数のコンピュータ上に構築される。

顧客データ前処理エンジン１は、学習エンジン２が学習器の作成の際に用いる顧客属性データ（学習用）１１Ｄ１（図２）を、顧客属性ＤＢ１１に格納されている顧客属性データから生成する。顧客データ前処理エンジン１は、設定情報ＤＢ１２から取得した学習用データ参照クエリを用い、復元抽出により、顧客属性ＤＢ１１に格納されている顧客属性データからＮ組（Ｎは２以上、好ましくは１０以上）の顧客属性データ（学習用）１１Ｄ１を作成する。

図２は、学習エンジン２が扱う顧客属性データ（学習用）１１Ｄ１のフォーマット例を示す図である。顧客属性データ（学習用）１１Ｄ１は、性別、年齢、入会年度、昨年度購入額、前月の購入額、前々月の購入額、および当月の購入額の項目を有する。性別、年齢、および入会年度は顧客属性の例である。

また顧客データ前処理エンジン１は、施策ターゲット選定エンジン３が施策ターゲットリストファイル１４の作成の際に用いる顧客属性データ（予測用）１１Ｄ２（図３）を、顧客属性ＤＢ１１に格納されている顧客属性データから生成する。顧客データ前処理エンジン１は、設定情報ＤＢ１２から取得した予測用データ参照クエリを用い、顧客属性ＤＢ１１に格納されている顧客属性データから１組の顧客属性データ（予測用）１１Ｄ２を作成する。

図３は、施策ターゲット選定エンジン３が扱う顧客属性データ（予測用）１１Ｄ２のフォーマット例を示す図である。顧客属性データ（予測用）１１Ｄ２は、顧客ＩＤ、性別、年齢、入会年度、昨年度購入額、前月の購入額、および前々月の購入額の項目を有する。

学習エンジン２は、顧客データ前処理エンジン１によって作成されたＮ組の顧客属性データ（学習用）１１Ｄ１毎に学習を行ってＮ個の学習器を作成し、学習器ストレージ１３に格納する。学習エンジン２は、設定情報ＤＢ１２から取得した学習器作成のループ回数Ｎおよび学習アルゴリズム等の設定情報に従ってＮ個の学習器（学習器（１）、学習器（２）、・・・学習器（Ｎ））を作成する。

施策ターゲット選定エンジン３の推論エンジンは、設定情報ＤＢ１２から予測に用いる学習器のＩＤを取得し、学習器ストレージ１３に格納されているＮ個の学習器のそれぞれを用いて、顧客属性データ（予測用）１１Ｄ２の各顧客（顧客ＩＤ毎）の当月の購入額を予測する。図４は、学習器による当月の購入金額の予測結果１３Ｄの例を示す図である。

そして施策ターゲット選定エンジン３は、当月の購入金額の予測結果１３Ｄから、顧客ＩＤ毎に当月の購入金額の予測値の平均および標準偏差を算出する。施策ターゲット選定エンジン３は、例えば複数の顧客ＩＤの平均のうちの最大値で各顧客ＩＤの平均を割ることで平均を正規化する。同様に施策ターゲット選定エンジン３の推論エンジンは、例えば複数の顧客ＩＤの標準偏差のうちの最大値で各顧客ＩＤの標準偏差を割ることで標準偏差を正規化する。このようにして各顧客ＩＤに対応する当月の購入金額の予測値の「平均（正規化済）」および当月の購入金額の予測値の「標準偏差（正規化済）」が求まる。

そして施策ターゲット選定エンジン３は、各顧客ＩＤに付与する施策適用優先度を、各顧客ＩＤに対応する「平均（正規化済）」および「標準偏差（正規化済）」を用いて、例えば式（１）のように加重平均により計算する。式（１）におけるαは０以上１以下であり、本実施形態ではα＝０．５のマニュアル設定値とする。
施策適用優先度＝α×平均（正規化済）＋（１－α）×標準偏差（正規化済）・・・（１）

“平均（正規化済）”が高いということは、施策実行によって高い報酬（成果）が見込めるということを表す。得意客を見つけるためには、平均が高い顧客を優先して施策を実行すればよい。

また“標準偏差（正規化済）”が高いということは施策実行により得られる報酬にバラつきがあって不確実性があり、自信度（すなわち（１－標準偏差））が低いということを表す。

自信度は、過去データに顧客の属性の類似例が多いデータについて予測を行った場合には大きな値になりやすく、過去データに顧客の属性の類似例が少ないデータについて予測を行った場合には小さな値になりやすい。過去データに類似例が多いデータは、各学習器の学習において類似のデータがコンスタントに一定以上出現するので、異なる学習器であっても予測結果が似通りやすい。他方、過去データに類似例が少ないデータは、各学習器の学習で類似のデータがほとんど出現しないため、予測結果が学習器によって異なりやすい。よって過去データに顧客の属性の類似例が多いデータは予測結果が似通って標準偏差が小さくなり、自信度が高くなる。他方、類似例が少ないと予測結果がバラついて標準偏差が大きくなり、自信度が低くなる。

つまり、未知のセグメントに属する顧客にアプローチするには、自信度が低い顧客を優先して施策を実行すればよい。

よって、式（１）のように、予測結果の平均と自信度の両者を加味した施策適用優先度の値が高い順序で優先して施策を実行すれば、未知のセグメントに属する得意客にアプローチしやすくなる。

なお予測結果の平均と自信度（あるいは予測結果の不確実性を表す指標値）の何れか一方を算出し、この何れか一方に基づいて施策適用優先度を決定してもよい。

ただし上述のαは、自動算出でもよい。例えば、式（１）の施策適用優先度の上位Ｍ１人の顧客のうち、当月の購入額の予測値の平均（正規化済）の上位Ｍ２人には含まれない顧客の数が、顧客総数（施策ターゲットリストファイル１４の総行数）のｐ％以内となるαを求める。これにより、施策適用優先度を用いて施策実行のターゲットを選定する場合に、購入額の平均だけを用いて施策実行のターゲットを選定する場合と比較して施策実行対象から外れてしまう顧客数に一定の歯止めをかけることができる。但しＭ１、Ｍ２は所定数であり、Ｍ２＝Ｍ１でもＭ２≠Ｍ１でもよい。またｐは所定百分率である。このαを次回以降の施策適用優先度の計算に用いてもよい。

このようにして算出した顧客ＩＤ毎の平均（正規化済）、標準偏差（正規化済）、および施策適用優先度は、例えば図５のようになる。図５は、施策ターゲットリストファイル１４のデータ構造の例を示す図である。図５に示す施策適用優先度の値が高い顧客ほど、優先して施策を実行する対象となる。

施策実行エンジン４は、施策実行部４Ａを有する。施策実行エンジン４は、設定情報ＤＢ１２から実行する施策ターゲットリストファイル１４（図５）のファイルパスおよび施策実行件数ｎを取得し、施策実行部４Ａに施策ターゲットリストファイル１４における施策適用優先度が上位ｎ個の顧客ＩＤの顧客に対して施策を実行させる。

施策実行エンジン４は、施策実行部４Ａから、施策実行とは非同期（施策実行から一定時間経過後）に取得した施策の実行結果（報酬（あるいは成果）、本実施形態では施策実行対象の顧客属性に対応する各月の購入額）を、顧客属性ＤＢ１１に格納されている顧客属性データに追記する。すなわち施策実行エンジン４は、マーケティング施策の実行結果として、顧客毎の商品購入の実績を定期的に顧客属性ＤＢ１１に保存する。蓄積したデータは、次回の学習器の作成に用いられる。

（ターゲット選定システムＳの全体処理）
図６は、ターゲット選定システムＳの全体処理の例を示すフローチャートである。Ｓ１１では、ターゲット選定システムＳは、学習器群作成処理（図７）を実行する。次にＳ１２では、ターゲット選定システムＳは、予測用学習器群選定処理（図８）を実行する。次にＳ１３では、ターゲット選定システムＳは、施策ターゲットリスト作成処理（図１０）を実行する。次にＳ１４では、ターゲット選定システムＳは、施策実行処理（図１１）を実行する。

（学習器群作成処理）
図７は、Ｓ１１（図６）の学習器群作成処理の例を示すフローチャートである。Ｓ１１１では、顧客データ前処理エンジン１は、設定情報ＤＢ１２から学習用データ参照クエリを取得する。次にＳ１１２では、顧客データ前処理エンジン１は、顧客属性ＤＢ１１から顧客属性データを読み出す。次にＳ１１３では、顧客データ前処理エンジン１は、顧客属性ＤＢ１１から読み出した顧客属性データを学習エンジン２が取り扱うことができるフォーマット（顧客属性データ（学習用）１１Ｄ１）に変換し、学習エンジン２に送信する。

次にＳ１１４では、学習エンジン２は、設定情報ＤＢ１２から学習器作成のループ回数Ｎおよび学習アルゴリズム等の設定情報を読み出す。

次に学習エンジン２は、Ｓ１１５～Ｓ１１６のループ処理を、Ｓ１１４で読み出した学習器作成のループ回数Ｎだけ繰り返す。

Ｓ１１５では、学習エンジン２は、所定数のレコードの復元抽出により、顧客属性ＤＢ１１に格納されている顧客属性データから学習用データセット（顧客属性データ（学習用）１１Ｄ１）を作成する。次にＳ１１６では、学習エンジン２は、Ｓ１１４で読み出した学習アルゴリズムを用いて、Ｓ１１５で作成した学習用データセット（顧客属性データ（学習用）１１Ｄ１）を学習し、学習器を作成する。

Ｓ１１５を実行する毎に、抽出されるレコードが異なり、作成される顧客属性データ（学習用）１１Ｄ１が異なることから、Ｓ１１６で作成される学習器も異なる。よってＳ１１５～Ｓ１１６のループ処理がＮ回繰り返されることで、Ｎ個の学習器群が作成されることになる。

Ｓ１１５～Ｓ１１６のループ処理が終了すると、Ｓ１１７では、学習エンジン２は、Ｓ１１６で作成した学習器群をＩＤと紐づけて学習器ストレージ１３に保存する。

（予測用学習器群選定処理）
図８は、Ｓ１２（図６）の予測用学習器群選定処理の例を示すフローチャートである。先ずＳ１２１では、施策ターゲット選定エンジン３は、学習器ストレージ１３から、最も直近（例えば１カ月前）に作成した学習器群(Ｍ_ｎｅｗ)、および予測用に現在選定されている学習器群(Ｍ_ｏｌｄ)を取得する。

次にＳ１２２では、顧客データ前処理エンジン１は、顧客属性ＤＢ１１から、Ｍ_ｎｅｗおよびＭ_ｏｌｄの何れの作成でも用いられていない最新（例えば直近１か月）の顧客データ（テストデータ）を取得する。次にＳ１２３では、施策ターゲット選定エンジン３は、テストデータを用いて、Ｍ_ｎｅｗおよびＭ_ｏｌｄでそれぞれ予測を実施し、この予測結果の予測精度の指標の値を比較する。予測精度の指標としては、Ｆ値やＲＭＳＥ（Root Mean Square Error）など、予測モデルの目的変数や問題設定に応じた指標を適宜選択できる。ただし、Ｆ値のように、値が大きいほど予測精度が高いことを示す指標を選択した場合は、値の正負を入れ替えるか、取りうる最大値から当該の値を減じるなど、値が小さいほど予測精度が高くなるように値を適切に変換する計算を、Ｓ１２３で行う予測精度の比較の直前に実施する必要がある。

次にＳ１２４では、施策ターゲット選定エンジン３は、Ｍ_ｎｅｗの予測精度の指標の値≧Ｍ_ｏｌｄの予測精度の指標の値であるか否かを判定する。施策ターゲット選定エンジン３は、Ｍ_ｎｅｗの予測精度の指標の値≧Ｍ_ｏｌｄの予測精度の指標の値である場合（Ｓ１２４Ｙｅｓ）にＳ１２５へ処理を移し、Ｍ_ｎｅｗの予測精度の指標の値＜Ｍ_ｏｌｄの予測精度の指標の値である場合（Ｓ１２４Ｎｏ）にＳ１２８へ処理を移す。

Ｓ１２５では、施策ターゲット選定エンジン３は、コンセプトドリフト有無判定処理（図９）を実行する。施策ターゲット選定エンジン３は、コンセプトドリフト発生有りの場合（Ｓ１２６Ｙｅｓ）にＳ１２８へ処理を移し、コンセプトドリフト発生無しの場合（Ｓ１２６Ｎｏ）にＳ１２７へ処理を移す。

Ｓ１２７では、施策ターゲット選定エンジン３は、設定情報ＤＢ１２に、Ｍ_ｏｌｄのＩＤを予測用学習器群のＩＤとして再登録する（またはＭ_ｏｌｄのＩＤを更新しない）。Ｓ１２８では、施策ターゲット選定エンジン３は、設定情報ＤＢ１２に、Ｍ_ｎｅｗのＩＤを予測用学習器群のＩＤとして登録する。

図９は、Ｓ１２５（図８）のコンセプトドリフト有無判定処理の例を示すフローチャートである。先ずＳ１２５１では、施策ターゲット選定エンジン３は、Ｓ１２３において、Ｓ１２２で取得したテストデータを用いてＭ_ｎｅｗおよびＭ_ｏｌｄのそれぞれで実施した予測結果を取得する。

次にＳ１２５２では、施策ターゲット選定エンジン３は、テストデータの各レコードに対する予測結果を用いて非類似度を計算する。Ｓ１２５２では、Ｍ_ｎｅｗがテストデータのｉ番目（例えば顧客ＩＤ＝ｉ）のレコードを用いた予測結果の集合をY_new_i、同じく、Ｍ_ｏｌｄによる予測結果の集合をY_old_iとしたとき、全てのｉに対して、非類似度を与える非類似度関数Ｄ（Y_new_i，Y_old_i）の値を求める。

ここで非類似度関数Ｄ（Y_new_i，Y_old_i）について説明する。Ｄ（Y_new_i，Y_old_i）は式（２）で定義される。式（２）は、Ｗａｒｄ法の階層型クラスタリング技術において、クラスタ間の距離を求める指標を与える。
Ｄ（Y_new_i，Y_old_i）＝
Ｌ（Y_new_i∪Y_old_i）－Ｌ（Y_new_i）－Ｌ（Y_old_i）・・・（２）

式（２）中の関数Ｌ（Ｘ）は、集合Ｘの全要素についての偏差の二乗和を表す。Ｌ（Y_new_i∪Y_old_i）は、集合Y_new_iと集合Y_old_iの和集合の全要素についての偏差の二乗和を表す。Ｌ（Y_new_i）は、集合Y_new_iの全要素についての偏差の二乗和を表す。Ｌ（Y_old_i）は、集合Y_old_iの全要素についての偏差の二乗和を表す。

式（２）の定義による非類似度関数Ｄでは、新旧のモデルによる推論結果が安定しており、かつ新旧のモデルによる推定値が離れているほどモデル距離が大きくなるので、新旧のモデルの期間内で該当領域のデータが十分にある場合に、適切にコンセプトドリフトを検出できる。

次にＳ１２５３では、施策ターゲット選定エンジン３は、設定情報ＤＢ１２から、非類似度の外れ値判定閾値Ｄout_thおよびコンセプトドリフト発生判定閾値（例えば１０％）を取得する。次にＳ１２５４では、施策ターゲット選定エンジン３は、Ｓ１２５２で計算した非類似度が、非類似度の外れ値判定閾値Ｄout_th以上の値を取るレコードの件数（外れ値件数）を計算する。

次にＳ１２５５では、施策ターゲット選定エンジン３は、外れ値件数÷テストデータの全レコード件数の計算結果がコンセプトドリフト発生閾値（本実施形態では１０％）以上か否かを判定する。

施策ターゲット選定エンジン３は、外れ値件数÷テストデータの全レコード件数が、コンセプトドリフト発生閾値以上の場合（Ｓ１２５５Ｙｅｓ）にＳ１２５６へ処理を移し、コンセプトドリフト発生閾値未満の場合（Ｓ１２５５Ｎｏ）にＳ１２５７へ処理を移す。

例えばテストデータの全レコード件数＝１０００とし、非類似度関数Ｄの値が非類似度の外れ値判定閾値Ｄout_th以上となっている外れ値件数が１２０件である場合、外れ値件数の割合が１２％となりコンセプトドリフト発生判定閾値（１０％）以上となっているので、コンセプトドリフトありと判定される。

Ｓ１２５６では、施策ターゲット選定エンジン３は、コンセプトドリフト発生有りとする。Ｓ１２５７では、施策ターゲット選定エンジン３は、コンセプトドリフト発生無しとする。

（施策ターゲットリスト作成処理）
図１０は、Ｓ１３（図６）の施策ターゲットリスト作成処理の例を示すフローチャートである。先ずＳ１３１では、顧客データ前処理エンジン１は、設定情報ＤＢ１２から予測用データ参照クエリを取得する。次にＳ１３２では、顧客データ前処理エンジン１は、顧客属性ＤＢ１１から顧客属性データを読み出す。

次にＳ１３３では、顧客データ前処理エンジン１は、Ｓ１３２で顧客属性ＤＢ１１から読み出した顧客属性データを、施策ターゲット選定エンジン３の推論エンジンが取り扱うことができるフォーマット（顧客属性データ（予測用）１１Ｄ２）に変換し、推論エンジンに送信する。

次にＳ１３４では、施策ターゲット選定エンジン３の推論エンジンは、設定情報ＤＢ１２から推論に用いる学習器群のＩＤを読み出し、学習器ストレージ１３からＩＤと紐付けられた学習器群を取得する。次にＳ１３５では、施策ターゲット選定エンジン３の推論エンジンは、顧客属性データをＳ１３４で取得した学習器群に入力し、各顧客に対応する推論結果群を取得し、顧客ごとに推論結果群の平均および標準偏差を算出する。

次にＳ１３６では、施策ターゲット選定エンジン３は、Ｓ１３５で算出した平均および標準偏差を正規化する。次にＳ１３７では、施策ターゲット選定エンジン３は、式（１）に基づき、各顧客の推論結果群の正規化後の平均および標準偏差に従う指標を計算し、その指標値を各顧客の施策適用優先度とする。

次にＳ１３８では、施策ターゲット選定エンジン３は、各顧客について、顧客ＩＤおよび施策適用優先度を列挙した施策ターゲットリストファイルを作成し、記憶領域に保存する。

（施策実行処理）
図１１は、Ｓ１４（図６）の施策実行処理の例を示すフローチャートである。先ずＳ１４１では、施策実行エンジン４は、設定情報ＤＢ１２から、実行する施策ターゲットリストファイル１４のパスおよび施策実行件数ｎを取得する。次にＳ１４２では、施策実行エンジン４は、Ｓ１４１で取得したパスを参照し、施策ターゲットリストファイル１４を１つ取得する。

次にＳ１４３では、施策実行エンジン４は、施策実行エンジン４は、施策ターゲットリストファイル１４から施策実行件数分ｎに該当する施策実行優先度の上位ｎ個の顧客ＩＤ群を取得する。次にＳ１４４では、施策実行エンジン４は、顧客属性ＤＢ１１から、Ｓ１４３で取得した顧客ＩＤ群に対応する施策実行に必要な情報（例えばＤＭを送付するメールアドレスや住所などの情報）を取得する。

次にＳ１４５では、施策実行エンジン４は、各顧客の顧客ＩＤおよび施策実行に必要な情報を施策実行部４Ａに送信する。次にＳ１４６では、施策実行部４Ａは、各顧客への施策（例えばＤＭ送付）を実行し、実行結果を非同期に（実行直後ではないタイミングで）取得して、施策実行エンジン４に送信する。次にＳ１４７では、施策実行エンジン４は、施策実行部４Ａから受信した顧客への施策実行結果を、顧客属性ＤＢ１１に保存する。

（実施形態の効果）
上記実施形態では、ターゲット（顧客）の属性変数がなす空間において、属性変数に基づいて予測される報酬（平均）をＫＰＩ（Key Performance Index）とし、ＫＰＩの高さと不確実性（分散）を考慮した施策適用優先度が大きい順序でターゲットを選定し、施策を実行する。顧客属性に応じた報酬が従う確率分布を、バギングと呼ばれる複数の学習器を生成する手法を用いて推定するため、処理負荷が軽い。過去の成功例は少ない（分散が小さい）が、成功率（平均）が高い属性をターゲットとして、新たな顧客開拓を行い、施策実行の報酬を高めることができる。

施策報酬の見込みと不確実性の算出には、複数の学習器のそれぞれを用いて予測した複数の予測値の平均と分散を用いる。このようにすることでベイズ推定など大量の計算を伴う従来手法でないと実現できなかった、報酬の平均や標準偏差の予測を、より軽量な計算で実現する。

すなわちターゲット顧客の属性変数がなす空間おける施策報酬が高く自信度が低い範囲の発見、および、当該範囲の報酬予測の精度向上を、従来よりも軽量かつ効率的な方法で実現できる。

また施策適用優先度を算出する際の予測値の平均と分散の加重平均の係数αとして、式（１）の施策適用優先度の上位Ｍ１人の顧客のうち、当月の購入額の予測値の平均（正規化済）の上位Ｍ２位には含まれない顧客の数が、顧客総数（施策ターゲットリストファイル１４の総行数）のｐ％以内となる係数αを求める。そして、この係数αを次回以降の施策適用優先度の計算に用いる。これにより施策適用優先度の妥当性を評価し、評価結果をフィードバックすることができる。

また学習器群の予測精度低下またはコンセプトドリフトを検出した場合に、新たな顧客属性データを使って作成された新たな学習器群で更新する。そして新たな学習器群による予測結果に基づく施策適用優先度に従って新たなターゲットに対して施策を実行する。そして施策の実行結果を顧客属性データに保存する。

このように、最新の顧客属性データ（学習用）１１Ｄ１を用いて作成された最新の学習器群と、最新の顧客属性データ（予測用）１１Ｄ２を用いた予測結果に基づいて、ターゲットが決定されるので、施策の無駄打ちをなくし、より適切な施策を実施することができる。

（変形例）
上記実施形態では、標準偏差（正規化済）を予測の不確実性（自信の低さ）を表す評価指標（自信度）とした。しかしこれに限らず、他の予測の不確実性の評価指標も考えうる。以下他の予測の不確実性の評価指標について、変形例として説明する。図１２は、変形例の施策ターゲットリストファイル１４－１のデータ構造を示す図である。

例えば顧客属性（年代および性別）別のＤＭ配信回数をもとにした評価指標（配信回数指標）を、予測の不確かさの指標とすることもできる。図１２の配信回数指標表Ｔ１に示すように、年代および性別の組合せで得られる集団ごとにＤＭ配信回数を合計し、ＤＭ配信回数が少ないものほど予測が不確かと見なせる指標（配信回数指標）を作成することができる。

これは、未知のセグメントの顧客を開拓するために、予測の不確実性が高い顧客に対して施策を実行してアプローチするという実施形態の趣旨に照らすと、予測の不確実性が高い顧客は未知のセグメントの顧客であることになる。そこで、ＤＭ配信回数が少ないほど未知のセグメントの顧客であることから、ＤＭ配信回数が少ないほど不確実性が高く、多いほど不確実性が低くなる配信回数指標を定義する。

この配信回数指標を、変形例の施策ターゲットリストファイル１４－１において、上記実施形態の施策ターゲットリストファイル１４の「当月の購入額の予測値の標準偏差（正規化済）」に代えて採用し、施策適用優先度を算出する。

このようにして、予測の不確実性を示す指標として、予測値の分散に限らず、他の指標を採用することができる。

（コンピュータ５００のハードウェア）
図１３は、コンピュータ５００のハードウェアの構成例を示す図である。図１３は、ターゲット選定システムＳ、顧客データ前処理エンジン１、学習エンジン２、および施策ターゲット選定エンジン３の各エンジンを実現するコンピュータ５００のハードウェアを示す図である。コンピュータ５００では、ＣＰＵ（Central Processing Unit）などのプロセッサ５１０、ＲＡＭ（Random Access Memory）などのメモリ５２０、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などのストレージ５３０、ネットワークＩ／Ｆ（Inter/Face）５４０、入出力装置５５０（例えばキーボード、マウス、タッチパネル、ディスプレイ等）、および周辺装置５６０が、バスを介して接続されている。

コンピュータ５００において、ターゲット選定システムＳおよび各エンジンを実現するためのプログラムがストレージ５３０から読み出されプロセッサ５１０およびメモリ５２０の協働により実行されることで、各システムが実現される。あるいは、ターゲット選定システムＳおよび各エンジンを実現するための各プログラムは、ネットワークＩ／Ｆ５４０を介した通信により外部のコンピュータから取得されてもよい。あるいは各プログラムは、非一時的記録媒体に記録され、媒体読み取り装置によって読み出されることで取得されてもよい。

上述した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。さらに、上述した複数の実施形態および変形例において、本発明の主旨を変えない範囲内で、装置またはシステム構成の変更や、一部の構成または処理手順の省略や入れ替え、組み合わせを行ってもよい。さらに、機能ブロック図およびハードウェア図では、制御線や情報線は説明上必要と考えられるものだけを示しており、必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Ｓ：ターゲット選定システム、１：顧客データ前処理エンジン、１Ａ：施策実行部、２：学習エンジン、３：施策ターゲット選定エンジン、４：施策実行エンジン、４Ａ：施策実行部、１１：顧客属性ＤＢ、１２：設定情報ＤＢ、１３：学習器ストレージ、１４，１４－１：施策ターゲットリストファイル、５００：コンピュータ

Claims (10)

1. 施策を実施するターゲットを選定するターゲット選定システムであって、
   前記ターゲットごとに属性と成果とが対応付けられたデータ群から抽出した複数の学習用データセットのそれぞれにおける属性と成果との対応関係を学習した複数の学習器を学習器群として生成する学習器生成部と、
   前記データ群から抽出した推論用データセットに推論用として選択した前記学習器群を適用して前記推論用データセットにおける属性に対応する成果を前記学習器ごとに予測し、前記学習器ごとに予測した成果の平均および該成果の不確実性を表す指標値のうちの少なくとも何れかを前記推論用データセットにおける属性ごとに算出し、算出した前記平均および前記指標値の少なくとも何れかに基づいて前記施策を実施する前記ターゲットを前記推論用データセットから選定するターゲット選定部と
   を有することを特徴とするターゲット選定システム。
2. 請求項１に記載のターゲット選定システムにおいて、
   前記指標値は、前記学習器ごとに予測された前記推論用データセットにおける属性に対応する成果の該属性ごとの標準偏差である
   ことを特徴とするターゲット選定システム。
3. 請求項１に記載のターゲット選定システムにおいて、
   前記ターゲット選定部は、
   前記属性ごとの前記平均と前記指標値の加重平均に基づいて前記ターゲットを選定する
   ことを特徴とするターゲット選定システム。
4. 請求項３に記載のターゲット選定システムであって、
   前記ターゲット選定部は、
   前記推論用データセットにおいて、前記加重平均が上位の第１の数に含まれる前記ターゲットのうち、前記平均が上位の第２の数に含まれない前記ターゲットの数が、前記推論用データセットの全レコード数に対して所定割合以内となるように、前記加重平均の係数を算出し、
   次回以降の前記ターゲットの選定の際、前記係数を用いた前記加重平均に基づいて前記ターゲットを選定する
   ことを特徴とするターゲット選定システム。
5. 請求項１に記載のターゲット選定システムであって、
   前記ターゲット選定部によって選定された前記ターゲットに対して前記施策を実行する施策実行部
   を備えたことを特徴とするターゲット選定システム。
6. 請求項５に記載のターゲット選定システムであって、
   前記施策実行部は、
   前記ターゲット選定部によって選定された前記ターゲットに対して前記施策を実行したことで得られた成果を、前記データ群において該ターゲットの属性に対応付けて保存する
   ことを特徴とするターゲット選定システム。
7. 請求項１に記載のターゲット選定システムであって、
   前記ターゲット選定部は、
   前記データ群から抽出したテスト用データセットに、前記学習器生成部によって最近に生成された推論用として選択前の前記学習器群を適用することで予測される第１の成果に関する第１の予測精度と、推論用として選択中の前記学習器群を適用することで予測される第２の成果に関する第２の予測精度と、を比較し、前記第１の予測精度が前記第２の予測精度を上回っている場合に、前記第１の成果を予測する前記学習器群を推論用として選択する
   ことを特徴とするターゲット選定システム。
8. 請求項７に記載のターゲット選定システムであって、
   前記ターゲット選定部は、
   前記第１の予測精度が前記第２の予測精度以下の場合に、予測された前記第１の成果と前記第２の成果とに基づいて、前記第２の成果を予測する前記学習器群にコンセプトドリフトが発生しているか否かを判定し、コンセプトドリフトが発生している場合に、前記第１の成果を予測する前記学習器群を推論用として選択する
   ことを特徴とするターゲット選定システム。
9. 施策を実施するターゲットを選定するターゲット選定システムが行うターゲット選定方法であって、
   前記ターゲット選定システムが、
   前記ターゲットごとに属性と成果とが対応付けられたデータ群から抽出した複数の学習用データセットのそれぞれにおける属性と成果との対応関係を学習した複数の学習器を学習器群として生成し、
   前記データ群から抽出した推論用データセットに推論用として選択した前記学習器群を適用して前記推論用データセットにおける属性に対応する成果を前記学習器ごとに予測し、
   前記学習器ごとに予測された成果の平均および該成果の不確実性を表す指標値のうちの少なくとも何れかを前記推論用データセットにおける属性ごとに算出し、
   算出した前記平均および前記指標値の少なくとも何れかに基づいて前記施策を実施する前記ターゲットを前記推論用データセットから選定する
   各処理を含んだことを特徴とするターゲット選定方法。
10. コンピュータを、施策を実施するターゲットを選定するターゲット選定システムとして機能させるためのターゲット選定プログラムであって、
    前記コンピュータを、
    前記ターゲットごとに属性と成果とが対応付けられたデータ群から抽出した複数の学習用データセットのそれぞれにおける属性と成果との対応関係を学習した複数の学習器を学習器群として生成する学習器生成部、
    前記データ群から抽出した推論用データセットに推論用として選択した前記学習器群を適用して前記推論用データセットにおける属性に対応する成果を前記学習器ごとに予測し、前記学習器ごとに予測された成果の平均および該成果の不確実性を表す指標値のうちの少なくとも何れかを前記推論用データセットにおける属性ごとに算出し、算出した前記平均および前記指標値の少なくとも何れかに基づいて前記施策を実施する前記ターゲットを前記推論用データセットから選定するターゲット選定部
    として機能させるためのターゲット選定プログラム。

Images