JP7231585B2 - 評価装置、評価方法及び評価プログラム - Google Patents

Description

特許法第３０条第２項適用 令和２年２月２５日ヤフー株式会社内において日本航空株式会社と行われた商談で公開

本開示は、評価装置、評価方法及び評価プログラムに関する。

情報を分析する技術が、科学、産業、ビジネスといった幅広い分野において発展している。情報の利用が進むにつれ、新たな分析技術が開発され、多様な目的に活用されている。

分析対象のデータは、例えば、モノやコトのインターネット（Internet of things、IoT）から発生し、発生したデータは、予測分析に使用される。予測分析は、分析の対象の特徴を表すデータから、分析対象の性質を予測するものである。予測分析の一例は、機械学習モデルを使用した予測である。近年、様々な技術が、モデルを使用した予測の精度を向上させるために提案されている。例えば、モデルの出力を、他のモデルの入力として使用することが提案されている（特許文献１）。

特開２０１９－３６１７３号公報

しかしながら、上記の従来技術では、有用な情報が対象の特徴から引き出されない場合がある。例えば、予測分析のターゲット自体が適切でない場合に、有益な情報が、予測結果から得られない場合がある。

本願は、上記に鑑みてなされたものであって、対象の特徴から有用な情報を引き出すことを目的とする。

本開示の実施形態に係る評価装置は、第１の特徴を有する対象が、第２の特徴を有することを仮定した第１の特徴情報と、当該対象が、当該第２の特徴を有さないことを仮定した第２の特徴情報とを作成する作成部と、前記作成部によって作成された第１の特徴情報に基づいて予測された、前記対象が前記第２の特徴を有する場合に前記対象に関連する所定の事象が発生する第１の可能性と、前記作成部によって作成された第２の特徴情報に基づいて予測された、前記対象が前記第２の特徴を有さない場合に前記対象に関連する当該所定の事象が発生する第２の可能性との比較から、前記対象に関連する当該所定の事象が発生する可能性に対して、前記第２の特徴が与える影響を評価する評価部とを備える。

実施形態の一態様によれば、対象の特徴から有用な情報を引き出すことができる。

図１は、典型的な広告配信と好ましい広告配信との比較の一例を示す説明図である。 図２Ａは、本開示の例示的な実施形態に係る、予測確率から予測リフトを抽出する予測リフト抽出処理の一例を示す説明図である。 図２Ｂは、本開示の例示的な実施形態に係る、予測確率から予測リフトを抽出する予測リフト抽出処理の一例を示す説明図である。 図２Ｃは、本開示の例示的な実施形態に係る、予測確率から予測リフトを抽出する予測リフト抽出処理の一例を示す説明図である。 図３は、実施形態に係る情報配信システムの一例を示す図である。 図４は、実施形態に係る情報配信装置によって実行される、予測コンバージョン確率のリフト値に基づいて広告を配信するための処理の一例を示すフローチャートである。 図５は、ハードウェア構成の一例を示す図である。

以下、本開示の実施形態について、図面を参照しつつ詳細に説明する。なお、この実施形態により本発明が限定されるものではない。１つまたは複数の実施形態の詳細は、以下の説明および図面に記載される。また、複数の実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の１つまたは複数の実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．例示的な実施形態〕
まず、図１および図２Ａ～図２Ｃを参照して、本開示の例示的な実施形態について詳細に説明する。

〔１－１．例示的な実施形態の概要〕
例示的な実施形態に係る情報配信装置は、ユーザが広告に接触した場合のコンバージョン確率と、このユーザが広告に接触しなかった場合のコンバージョン確率とを予測する。

そして、情報配信装置は、予測された２つのコンバージョン確率を比較し、この比較に基づいて、広告接触の有無によるコンバージョン確率の上昇幅として、コンバージョン確率のリフト値を予測する。情報配信装置は、各ユーザのリフト値の予測に基づいて、ユーザの中から、広告配信のターゲットを決定する。

これにより、情報配信装置は、高いコンバージョン確率を有するわけではないが、広告接触で高いコンバージョン確率の上昇を示すユーザに対して、広告を配信することができる。それに加え、情報配信装置は、広告が、もともと高いコンバージョン確率を有しており、広告接触で高いコンバージョン確率の上昇を示さないユーザといった、広告接触とは関係なくコンバージョンするユーザに配信されるのを防止することができる。

このため、情報配信装置は、全ユーザに占めるコンバージョンするユーザの割合を増加させることができる。

〔１－２．例示的な実施形態の序論〕
広告配信のターゲットは、広告配信戦略に基づいて決定される。典型的な広告配信の一例は、広告がコンバージョンしそうなユーザに対して配信される予測コンバージョン率に基づく広告配信である。

「コンバージョン（conversion、CV）する」という用語は、「コンバージョンイベントを発生させること」、「コンバージョンアクションを実行すること」、等のユーザアクションを示すことがある。例えば、コンバージョンアクションの実行は、「広告を閲覧し、その後、所定のコンテンツにおいて、広告の商品を購入すること」や、「広告をクリックし、リンク先にあるコンテンツにおいて、広告の商品を購入すること」を包含する。

図１は、典型的な広告配信と好ましい広告配信との比較の一例を示す説明図である。図１の例では、広告配信のターゲットの候補は、ユーザＵ１、ユーザＵ２、ユーザＵ３、ユーザＵ４およびユーザＵ５等のユーザを含む。ユーザＵ１およびユーザＵ２は、高い予測コンバージョン率を有するユーザである。一方、ユーザＵ４およびユーザＵ５は、高い予測コンバージョン率を有さないユーザである。

典型的な広告配信ＴＡＤ１は、予測コンバージョン率に基づく広告配信である。図１に示されるように、典型的な広告配信ＴＡＤ１では、広告は、高い予測コンバージョン率を有するユーザＵ１およびユーザＵ２に配信される。図１に示されるように、典型的な広告配信ＴＡＤ１では、広告が、コンバージョンしそうなユーザに当たる。

しかしながら、一般的に、広告配信のターゲットの候補は、広告に接触しなくてもコンバージョンするユーザを含む。広告に接触しなくてもコンバージョンするユーザは、コンバージョンしそうなユーザの中にも含まれる。図１の例では、ユーザＵ１が、広告に接触しなくてもコンバージョンするユーザであると仮定する。典型的な広告配信ＴＡＤ１では、広告に接触しなくてもコンバージョンするユーザＵ１が、広告配信のターゲットに含まれてしまっている。

また、一般的に、広告配信のターゲットの候補は、広告がユーザに当たった場合に高い確率でコンバージョンするようになるユーザを含む。このようなユーザは、もともとコンバージョンしそうでないユーザの中に含まれる。図１の例では、ユーザＵ４およびユーザＵ５が、広告がユーザに当たった場合に高い確率でコンバージョンするようになるユーザであると仮定する。典型的な広告配信ＴＡＤ１では、広告がユーザに当たった場合に高い確率でコンバージョンするようになるユーザＵ４およびユーザＵ５が、広告配信のターゲットに含まれていない。しかしながら、広告がユーザＵ４およびユーザＵ５に当たった場合に、ユーザＵ４およびユーザＵ５のコンバージョンは、非常に獲得しやすくなる。

上述のように、典型的な広告配信ＴＡＤ１の第１の問題点は、広告が、広告に接触しなくてもコンバージョンするユーザＵ１に対して配信されていることである。また、典型的な広告配信ＴＡＤ１の第２の問題点は、広告が、広告がユーザに当たった場合に高い確率でコンバージョンするようになるユーザＵ４やユーザＵ５に対して、配信されないことである。言い換えると、典型的な広告配信ＴＡＤ１では、広告に接触しなくてもコンバージョンするユーザが、広告配信のターゲットにされ、またさらに、広告への接触によりコンバージョンするユーザが、見逃されている。

理想的な広告配信の一例として、好ましい広告配信ＰＡＤ１は、広告への接触によりコンバージョンするユーザに対して、広告を配信するものである。図１に示されるように、好ましい広告配信ＰＡＤ１では、広告は、広告に接触しなくてもコンバージョンするユーザＵ１に対して配信されない。一方、広告は、広告がユーザに当たった場合に高い確率でコンバージョンするようになるユーザＵ４およびユーザＵ５に対して配信される。このように、好ましい広告配信ＰＡＤ１は、広告に接触しなくてもコンバージョンするユーザを放っておき、広告の接触でコンバージョン率の高い上昇を示すユーザを狙うものである。

そこで、例示的な実施形態に係る情報配信装置は、広告が、好ましい広告配信ＰＡＤ１の場合のようにユーザに配信されるように、以下に説明される予測リフト抽出処理を実行する。

〔１－３．予測リフト抽出処理〕
以下では、図２Ａ～図２Ｃを参照して、例示的な実施形態に係る予測リフト抽出処理について説明する。

図２Ａ～図２Ｃは、本開示の例示的な実施形態に係る、予測確率から予測リフトを抽出する予測リフト抽出処理の一例を示す説明図である。例示的な実施形態では、予測リフト抽出処理が、図３を参照して後述する情報配信装置１００によって行われる。情報配信装置１００は、評価装置の一例である。

図２Ａを参照すると、はじめに、情報配信装置１００は、訓練セットＴＳ１を取得する（ステップＳ１）。訓練セットＴＳ１は、インスタンスと、インスタンスに関連付けられたラベルとを含む。図２Ａの例では、インスタンスは、モデルの説明変数（すなわち、入力）に対応し、ラベルは、モデルの目的変数（すなわち、出力やターゲット）に対応する。

図２Ａの例に示されるように、インスタンスは、ユーザの特徴（「特徴量」とも呼ばれる）として、ユーザの属性とこの属性の値との組み合わせを示す。ここで、目的変数が、コンバージョンの有無であり、説明変数が、属性（例えば、性別、年齢、国内旅行、海外旅行等の興味関心）および広告接触の有無である。

例示のため、特定の航空会社が、特定の航空会社に関連する広告コンテンツを配信する広告キャンペーンを実施するよう、情報配信装置１００に関係するインターネット企業に依頼したと仮定する。この例では、広告クリエイティブは、例えば、「ニューヨークに行くなら、あの飛行機（例示の広告文）」等の広告文を含む。この場合、コンバージョンアクションやコンバージョンイベントは、ニューヨーク行きの航空券の購入である。

例えば、訓練セットＴＳ１は、２７歳の男性が、国内旅行に興味があり、海外旅行に興味がないことを示している。また、訓練セットＴＳ１は、この２７歳の男性が、広告に接触し、その後、コンバージョンしなかったことを示している。

また、例えば、訓練セットＴＳ１は、３５歳の女性が、国内旅行に興味があり、海外旅行に興味があることを示している。さらに、訓練セットＴＳ１は、この３５歳の女性が、この３５歳の女性がコンバージョンする前に、広告に接触していなかったことを示している。

次いで、情報配信装置１００は、取得された訓練セットＴＳ１から機械学習モデルを訓練することによって、コンバージョン（CV）確率予測モデルＣＰＰＭ１を構築する（ステップＳ２）。機械学習モデルは、例えば、ロジスティック回帰等の回帰モデルである。

図２Ｂを参照すると、図２ＡのステップＳ２の後に、情報配信装置１００は、データセットＤＳ１を取得する（ステップＳ３）。データセットＤＳ１は、新しいインスタンスとして、新しいユーザの属性情報（例えば、性別、年齢、海外旅行等の興味関心）を含む。例えば、データセットＤＳ１は、２６歳の男性が、海外旅行に興味がないことや、２２歳の女性が、海外旅行に興味がないことを示している。

次いで、情報配信装置１００は、取得されたデータセットＤＳ１から、広告接触の有無を仮定したデータセットを作成する（ステップＳ４）。

より具体的には、情報配信装置１００は、データセットＤＳ１に含まれる属性情報に、広告接触の有無を示す有無情報を追加する。図２Ｂの例では、情報配信装置１００は、広告接触があることを仮定したデータセットとして、データセットＰＤＳ１を作成する。さらに、情報配信装置１００は、広告接触がないことを仮定したデータセットとして、データセットＰＤＳ２を作成する。

図２Ｃを参照すると、図２ＢのステップＳ４の後に、情報配信装置１００は、広告接触前および後のコンバージョン（CV）確率を、各新しいユーザごとに予測する（ステップＳ５）。

図２Ｃの例では、情報配信装置１００は、データセットＰＤＳ１（すなわち、広告接触がないことを仮定したデータセット）と、データセットＰＤＳ２（すなわち、広告接触があることを仮定したデータセット）とに、コンバージョン確率予測モデルＣＰＰＭ１を適用することによって、広告接触前のコンバージョン確率ＣＰＢＡ１と、広告接触後のコンバージョン確率ＣＰＡＡ１とを予測する。

このように、情報配信装置１００は、広告接触の有無によって互いに異なる、同一のユーザの２つの予測コンバージョン確率を算出する。図２Ｃの例では、広告接触前のコンバージョン確率ＣＰＢＡ１は、新しいユーザが広告に接触しなかった場合のコンバージョン確率の予測値を示す。一方、広告接触後のコンバージョン確率ＣＰＡＡ１は、この新しいユーザが広告に接触した場合のコンバージョン確率の予測値を示す。情報配信装置１００は、各新しいユーザ（例えば、２６歳の男性、４２歳の女性）について、広告接触前後のコンバージョン確率の予測値を出力する。

その後、情報配信装置１００は、広告接触によるコンバージョン（CV）確率のリフト値を算出する（ステップＳ６）。図２Ｃの例では、情報配信装置１００は、広告接触後のコンバージョン確率ＣＰＡＡ１と、広告接触前のコンバージョン確率ＣＰＢＡ１との差を、広告接触によるコンバージョン確率のリフト値ＬＶＣＰ１として算出する。

図２Ｃの例では、例えば、２６歳の男性のリフト値は、リフト値「０．１５－０．１０＝０．０５」である。また、例えば、４２歳の女性のリフト値は、リフト値「０．４５－０．２０＝０．２５」である。このように、情報配信装置１００は、広告接触後の予測コンバージョン確率と、広告接触前の予測コンバージョン確率との差を、広告接触による予測コンバージョン確率のリフト値として抽出する。このようなリフト値は、広告がユーザに当たった場合にユーザのコンバージョン確率がどの程度上昇するかを示している。

そして、情報配信装置１００は、広告接触によるコンバージョン確率のリフト値ＬＶＣＰ１に基づいて、広告配信のターゲットとなるユーザを選択する。例えば、情報配信装置１００は、広告接触によるコンバージョン確率のリフト値ＬＶＣＰ１に基づいて、新しいユーザをソートし、上位ｎ人（ｎは任意の自然数）を、広告配信のターゲットとして決定する。

〔１－４．例示的な実施形態の効果〕
上述のように、例示的な実施形態に係る情報配信装置１００は、広告がユーザに当たった場合に高い確率でコンバージョンするようになるユーザを、広告配信のターゲットとして望ましいユーザとして、探すことができる。このようなユーザへの広告は、ユーザのコンバージョンにつながる可能性が高い。情報配信装置１００は、広告への接触によりコンバージョン率の高い上昇を示すユーザを見逃すことなく、獲得されるユーザのコンバージョンを増加させることができる。

図１を参照して上述した典型的な広告配信ＴＡＤ１との比較の観点からは、情報配信装置１００は、広告の配信量に関する制約がある中で、広告配信の全体最適を実現することができる。

より具体的には、情報配信装置１００は、広告接触による予測コンバージョン確率のリフト値に基づいて、どのユーザに対して広告が配信されるかを決定することができる。例えば、情報配信装置１００は、ユーザが広告に接触した場合にコンバージョンしそうなユーザ（すなわち、広告への接触により高いリフト値を示すユーザ）に対して、広告を配信する。このようにして、情報配信装置１００は、広告が、広告への接触によりコンバージョンするユーザに対して配信されない場合に生じ得る機会損失を低減させることができる。

一方、ユーザが高いコンバージョン率を有する場合であっても、情報配信装置１００は、広告への接触により高いリフト値を示さないユーザに対して、広告を配信しない。したがって、高いコンバージョン率を有するユーザのコンバージョン率は、典型的な広告配信ＴＡＤ１と比べて低下することがある。しかしながら、全ユーザのリフト値の合計や平均は、典型的な広告配信ＴＡＤ１と比べて増加する。すなわち、全ユーザに占めるコンバージョンするユーザの割合は、典型的な広告配信ＴＡＤ１と比べて増加する。それに加えて、広告への接触により高いリフト値を示さないユーザの中には、広告に接触しなくてもコンバージョンするユーザも存在する。その結果、情報配信装置１００は、ユーザのコンバージョンの獲得効率を高めることができる。

このため、情報配信装置１００は、広告に接触しなくてもコンバージョンするユーザのコンバージョンを維持しつつ、広告によって獲得されるユーザのコンバージョンを増加させることができる。

以下、このような予測リフト抽出処理を行う情報配信装置１００について詳細に説明する。

〔２．情報配信システム〕
次に、図３を参照して、情報配信装置１００を含むシステムの構成例について説明する。

〔２－１．情報配信システムの構成要素〕
図３は、実施形態に係る情報配信システム１の一例を示す図である。図３に示されるように、情報配信システム１は、情報配信装置１００、情報提供装置２００およびユーザ装置３００等の構成要素を含む。図３中では図示していないが、情報配信システム１は、複数台の情報配信装置１００や、複数台の情報提供装置２００や、複数台のユーザ装置３００を含んでもよい。また、情報配信システム１は、情報配信装置１００に関係するエンティティ（例えば、業者、エンドユーザ）の装置等の、他の構成要素を含んでもよい。

情報配信システム１において、情報配信装置１００、情報提供装置２００およびユーザ装置３００は、それぞれネットワークＮと有線又は無線により接続される。ネットワークＮは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークである。情報配信システム１の構成要素は、ネットワークＮを介して互いに通信を行うことができる。

情報配信装置１００（評価装置の一例に相当）は、情報配信のための処理を実行する情報処理装置である。情報配信の一例は、コンテンツ配信である。例えば、情報配信装置１００は、コンテンツとして、広告を配信することができる。

情報配信装置１００は、データ分析手法を使用することによって、対象の特徴から、対象についての様々な情報を取り出すことができる。情報配信装置１００は、多岐にわたる対象を、データ分析のターゲットとして選択することができる。例えば、インターネット広告においては、対象は、インターネットのユーザである。この場合、ユーザ情報（例えば、ユーザの属性）が、ユーザに対する広告の効果を分析するために使用される。

情報配信装置１００は、機械学習アルゴリズムにユーザ情報を与え、ユーザに対する広告の効果を分析することができる。例えば、情報配信装置１００は、ユーザ情報から、広告の効果を予測する機械学習モデルを構築することができる。このような機械学習モデルの一例は、ユーザの特徴が入力であり、ユーザの性質（例えば、ユーザに対する広告の効果）が出力である予測モデルである。

情報配信装置１００は、サーバを含む、任意のタイプの情報処理装置であってもよい。複数台の情報配信装置１００が、ウェブサーバ、アプリケーションサーバ、データベースサーバ等の各種サーバの機能をそれぞれ提供してもよい。情報配信装置１００の構成例は、次の節で詳述される。

情報提供装置２００は、情報配信装置１００に、各種情報を提供する情報処理装置である。情報提供装置２００は、各種インターネットサービスを提供することができる。また、情報提供装置２００は、各種インターネットサービスを介して、各種情報を収集することができる。情報提供装置２００は、サーバを含む、任意のタイプの情報処理装置であってもよい。

各種インターネットサービスは、検索、ポータル、ショッピング、オークション、ニュース、ファイナンス、旅行、飲食店紹介、スポーツ、テレビ、動画、ゲーム、地図、路線情報、料理、不動産、自動車、ブログ、結婚、漫画、占い、地域情報等のサービスであってもよい。

情報提供装置２００は、各種インターネットサービスを、クライアントプログラムを介して提供することができる。クライアントプログラムは、例えば、スマートフォンのアプリケーション、ウェブブラウザ等のプログラムである。情報提供装置２００は、上述の各種インターネットサービスの提供を通じて、各種インターネットサービスのユーザの情報を収集することができる。

情報提供装置２００は、検索履歴、購買履歴、閲覧履歴、移動履歴等のユーザ情報を収集することができる。情報提供装置２００は、このようなユーザ情報を、事象情報や特徴情報として蓄積することができる。

事象情報は、特定の事象を表す。例えば、事象情報は、ユーザがコンバージョンイベントを発生させたことや、コンバージョンアクションを実行したことを示すことができる。一例として、事象情報は、ユーザが、広告を閲覧し、その後、所定のコンテンツにおいて、広告の商品を購入したことを示してもよい。別の例として、事象情報は、ユーザが、広告をクリックし、リンク先にあるコンテンツにおいて、広告の商品を購入したことを示してもよい。

特徴情報は、対象の特徴を表す。例えば、特徴情報は、ユーザの行動履歴（例えば、検索履歴）や、ユーザの属性情報（例えば、デモグラフィック属性、サイコグラフィック属性）を示すことができる。

ユーザ装置３００は、ユーザによって利用される情報処理装置である。ユーザ装置３００は、情報提供装置２００によって提供される各種インターネットサービスへのアクセスを要求することができる。ユーザ装置３００は、スマートフォン、デスクトップ型ＰＣ（Personal Computer）、ノート型ＰＣ、タブレット型ＰＣ等のクライアント装置を含む、任意のタイプの情報処理装置であってもよい。

ユーザ装置３００は、上述の各種インターネットサービスを介して、情報提供装置２００に、各種情報を要求することができる。また、ユーザ装置３００は、上述の各種インターネットサービスを介して、情報提供装置２００から、各種情報を受信することができる。上述のように、ユーザ装置３００のユーザの情報は、この各種インターネットサービスを介して、情報提供装置２００によって収集され得る。

〔２－２．情報配信装置の構成〕
図３に示されるように、情報配信装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報配信装置１００は、情報配信装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、有線または無線によりネットワーク網と接続される。通信部１１０は、情報提供装置２００およびユーザ装置３００に、ネットワークＮを介して、通信可能に接続されてもよい。通信部１１０は、情報提供装置２００およびユーザ装置３００との間で、ネットワーク網を介して、情報の送受信を行うことができる。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示されるように、記憶部１２０は、事象情報記憶部１２１と、モデル記憶部１２２と、特徴情報記憶部１２３と、配信用情報記憶部１２４とを有する。

（事象情報記憶部１２１）
事象情報記憶部１２１は、事象情報を記憶する。上述のように、事象情報は、特定の事象を表す。事象情報は、対象に関連する所定の事象の発生とこの対象の特徴との関係を示すことができる。例えば、事象情報は、訓練インスタンスを含むことができる。この場合、インスタンスは、対象の特徴であり、インタスタンスに関連付けられたラベルは、所定の事象であり得る。

上述の例示的な実施形態では、事象情報は、図２Ａを参照して上述した訓練セットＴＳ１である。図２Ａの例では、対象の特徴は、ユーザの属性（例えば、性別、年齢、国内旅行、海外旅行等の興味関心）および広告接触の有無であり、ラベルは、コンバージョンの有無である。訓練セットＴＳ１は、過去のユーザのコンバージョンに関する情報を示している。

図２Ａの例では、事象情報（すなわち、訓練セットＴＳ１）は、広告が配信されたため、２７歳の男性がコンバージョンしたことを示唆している。また、この事象情報は、広告が配信されていないにもかかわらず、３５歳の女性がコンバージョンしたことを示している。この場合、この事象情報は、この３５歳の女性が、もともと広告の商品を購入する予定であったことを示唆している。

（モデル記憶部１２２）
モデル記憶部１２２は、モデル（すなわち、機械学習モデル）を記憶する。モデル記憶部１２２は、後述する生成部１３３によって生成されたモデル（例えば、機械学習モデルのデータ）を記憶することができる。いくつかの実施形態では、後述する収集部１３１によって受信されたモデルを記憶してもよい。

一例では、モデルの目的変数は、コンバージョンの有無であり、モデルの説明変数は、属性データ（例えば、性別、年齢、興味関心等）と、広告接触の有無とを含むユーザ情報である。

（特徴情報記憶部１２３）
特徴情報記憶部１２３は、特徴情報を記憶する。上述のように、特徴情報は、対象の特徴を表す。例えば、特徴情報は、新しいインスタンスを含むことができる。この場合、新しいインスタンスは、新しい対象の特徴であり得る。

上述の例示的な実施形態では、特徴情報は、図２Ｂを参照して上述したデータセットＤＳ１である。図２Ｂの例では、対象（例えば、新しい対象）の特徴は、ユーザ（例えば、新しいユーザ）の属性（例えば、性別、年齢、海外旅行等の興味関心）である。

（配信用情報記憶部１２４）
配信用情報記憶部１２４は、配信用情報を記憶する。配信用情報は、後述する配信部１３９によって配信される各種情報である。各種情報の一例は、コンテンツ（例えば、広告）である。

上述の例示的な実施形態では、配信用情報は、広告である。図２Ａ～図２Ｃの例では、広告は、特定の航空会社に関連する広告コンテンツである。図２Ａ～図２Ｃの例では、この広告コンテンツ（例えば、「ニューヨークに行くなら、あの飛行機（例示の広告文）」等の広告文を含む広告）が配信されたため、航空券を購入したユーザがいる。言い換えると、この広告コンテンツが配信されなかった場合に、航空券を購入しなかったユーザがいる。このように、ユーザのコンバージョンは、広告クリエイティブによって影響を受ける。

（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報配信装置１００内部の記憶装置に記憶されている各種プログラム（評価プログラムの一例に相当）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＧＰＵ（General Purpose Graphic Processing Unit）等の集積回路により実現されてもよい。

制御部１３０は、図３に示されるように、収集部１３１と、事象情報取得部１３２と、生成部１３３と、受信部１３４と、特徴情報取得部１３５と、作成部１３６と、予測部１３７と、評価部１３８と、配信部１３９とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。また、制御部１３０は、図２Ａ～図２Ｃを参照して上述した予測リフト抽出処理を実現することができる。情報配信装置１００の１つまたは複数のプロセッサは、情報配信装置１００の１つまたは複数のメモリに記憶された命令を実行することによって、制御部１３０内の各制御部の機能を実現することができる。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。例えば、評価部１３８は、評価部１３８以外の部に関して後述する情報処理の全部または一部を行ってもよい。

（収集部１３１）
収集部１３１は、情報配信のための処理を実行するのに使用される各種情報を収集することができる。例えば、収集部１３１は、上述の事象情報を収集することができる。収集部１３１は、情報提供装置２００から事象情報を受信することができる。収集部１３１は、上述のモデル（すなわち、機械学習モデル）を収集してもよい。

収集部１３１は、事象情報、モデル等の各種情報を、所定の情報処理装置（例えば、情報配信装置１００に関係するエンティティ（例えば、特定のインターネット企業）の装置）から受信することができる。また、例えば、収集部１３１は、情報配信装置１００を利用する管理者から、ユーザインタフェースを介して、このような情報を受信することができる。収集部１３１は、事象情報記憶部１２１に、受信された事象情報を格納してもよい。また、収集部１３１は、モデル記憶部１２２に、受信されたモデルを格納してもよい。

（事象情報取得部１３２）
事象情報取得部１３２は、情報配信のための処理を実行するのに使用される各種情報を取得することができる。事象情報取得部１３２は、記憶部１２０から各種情報を取得することができる。例えば、事象情報取得部１３２は、上述の事象情報を、事象情報記憶部１２１から取得することができる。

一例では、事象情報取得部１３２は、訓練セットを取得する。図２Ａを参照して上述したように、訓練セットは、インスタンスと、インスタンスに関連付けられたラベルとを含む。

（生成部１３３）
生成部１３３は、情報配信のための処理を実行するのに使用される機械学習モデルを生成することができる。生成部１３３は、事象情報取得部１３２によって取得された事象情報から、機械学習モデルを構築することができる。

生成部１３３は、第１の対象に関連する所定の事象が発生する可能性の予測について、第２の対象に関連する所定の事象の発生とこの第２の対象の特徴との関係を示す事象情報から学習した機械学習モデルを生成することができる。例えば、生成部１３３は、機械学習モデルに事象情報を与える。そして、生成部１３３は、事象情報に基づいて、機械学習モデルを訓練することができる。生成部１３３は、汎化誤差が最小化されるように、モデルパラメータ値を探すことができる。生成部１３３は、モデルパラメータ値を探すために、各種オプティマイザを実装することができる。

一例では、生成部１３３は、事象情報取得部１３２によって取得された訓練セットから機械学習モデルを訓練することによって、コンバージョン確率予測モデルを構築する。図２Ａを参照して上述したように、機械学習モデルは、例えば、ロジスティック回帰等の回帰モデルである。

（受信部１３４）
受信部１３４は、情報配信のための処理を実行するのに使用される各種情報を受信することができる。例えば、受信部１３４は、上述の特徴情報を受信することができる。受信部１３４は、情報提供装置２００から特徴情報を受信することができる。

受信部１３４は、特徴情報等の各種情報を、所定の情報処理装置（例えば、情報配信装置１００に関係するエンティティ（例えば、特定のインターネット企業）の装置）から受信することができる。また、例えば、受信部１３４は、情報配信装置１００を利用する管理者から、ユーザインタフェースを介して、このような情報を受信することができる。受信部１３４は、特徴情報記憶部１２３に、受信された特徴情報を格納してもよい。

（特徴情報取得部１３５）
特徴情報取得部１３５は、情報配信のための処理を実行するのに使用される各種情報を取得することができる。特徴情報取得部１３５は、記憶部１２０から各種情報を取得することができる。例えば、特徴情報取得部１３５は、上述の特徴情報を、特徴情報記憶部１２３から取得することができる。

特徴情報取得部１３５は、対象の特徴を表す特徴情報を取得することができる。特徴情報取得部１３５は、対象が第１の特徴を有することを示す特徴情報を取得することができる。例えば、特徴情報取得部１３５は、第１の特徴を有することとして、第１の属性の値を表す特徴情報を取得することができる。

特徴情報取得部１３５は、対象に関連する事象が発生する可能性の予測に使用される複数の特徴の第１の部分である第１の特徴を有することを示す特徴情報を取得することができる。

一例では、特徴情報取得部１３５は、データセットを取得する。図２Ｂを参照して上述したように、データセットは、新しいインスタンスとして、新しいユーザの属性情報（例えば、性別、年齢、海外旅行等の興味関心）を含む。

（作成部１３６）
作成部１３６は、特徴情報を作成することができる。例えば、作成部１３６は、特徴情報取得部１３５によって取得された特徴情報から、新たな特徴情報を作成することができる。作成部１３６は、所定の事象を予測するためのデータセットから、新たな特徴の存在を仮定した擬似データセットを作成することができる。

少なくとも１つの実施形態では、作成部１３６は、第１の特徴を有する対象が、第２の特徴を有することを仮定した第１の特徴情報と、この対象が、この第２の特徴を有さないことを仮定した第２の特徴情報とを作成する。例えば、作成部１３６は、特徴情報取得部１３５によって取得された特徴情報から、第１の特徴情報と、第２の特徴情報とを作成する。

作成部１３６は、特徴情報取得部１３５によって取得された特徴情報から、対象が、第１の特徴に加えて、第２の特徴を有することを仮定した第１の特徴情報と、対象が、第１の特徴を有するが、この第２の特徴を有さないことを仮定した第２の特徴情報とを作成することができる。言い換えると、作成部１３６は、特徴情報取得部１３５によって取得された特徴情報から、対象が、第１の特徴を有し、かつ第２の特徴を有することを仮定した第１の特徴情報と、対象が、前記第１の特徴を有するが、この第２の特徴を有さないことを仮定した第２の特徴情報とを作成することができる。すなわち、第１の特徴情報は、第１の特徴に加えて第２の特徴が対象にあることを仮定する。一方、第２の特徴情報は、第１の特徴が対象にあるが、第２の特徴が対象にないことを仮定する。

作成部１３６は、特徴情報取得部１３５によって取得された、対象に関連する事象が発生する可能性の予測に使用される複数の特徴の第１の部分である第１の特徴を有することを示す特徴情報から、対象が、第１の特徴に加えて、対象に関連する事象が発生する可能性の予測に使用される複数の特徴の第２の部分である第２の特徴を有することを仮定した第１の仮定の特徴情報と、対象が、第１の特徴を有するが、この第２の特徴を有さないことを仮定した第２の仮定の特徴情報とを作成することができる。

少なくとも１つの実施形態では、作成部１３６は、第２の特徴を有することとして、第２の属性の第１の値を表す第１の特徴情報と、第２の特徴を有さないこととして、この第２の属性の第２の値を表す第２の特徴情報とを作成する。

少なくとも１つの実施形態では、作成部１３６は、対象に第２の特徴があることとして、所定の情報が対象に配信されたことを示す第１の特徴情報と、対象に第２の特徴がないこととして、この所定の情報が対象に配信されていないことを示す第２の特徴情報とを作成する。

一例では、作成部１３６は、特徴情報取得部１３５によって取得されたデータセットから、広告接触の有無を仮定したデータセットを作成する。

より具体的には、図２Ｂを参照して上述したように、作成部１３６は、データセットに含まれる属性情報に、広告接触の有無を示す有無情報を追加する。作成部１３６は、広告接触があることを仮定したデータセットとして、第１のデータセットを作成する。さらに、作成部１３６は、広告接触がないことを仮定したデータセットとして、第２のデータセットを作成する。

（予測部１３７）
予測部１３７は、所定の事象が発生する可能性を予測することができる。例えば、予測部１３７は、作成部１３６によって作成された特徴情報に対して、機械学習アルゴリズムを適用することによって、所定の事象が発生する可能性を予測することができる。

少なくとも１つの実施形態では、予測部１３７は、第１の特徴または第２の特徴を有する学習対象の特徴情報から、この学習対象に所定の事象が発生する可能性を予測するように学習が行われた予測モデルを用いて、対象が第２の特徴を有する場合に対象に関連する所定の事象が発生する第１の可能性と、対象が第２の特徴を有さない場合に対象に関連する所定の事象が発生する第２の可能性とを予測する。例えば、予測部１３７は、学習対象に関連する所定の事象の発生と学習対象の特徴との関係を示す特徴情報を使用して訓練された予測モデルを用いて、第１の可能性と第２の可能性とを予測する。

予測部１３７は、作成部１３６によって作成された第１の特徴情報および第２の特徴情報に対して、第１の対象に関連する所定の事象が発生する可能性の予測について、第２の対象に関連する所定の事象の発生とこの第２の対象の特徴との関係を示す事象情報から学習した学習アルゴリズムを適用することによって、対象が第２の特徴を有する場合に対象に関連する所定の事象が発生する第１の可能性と、対象が第２の特徴を有さない場合に対象に関連する所定の事象が発生する第２の可能性とを予測することができる。

学習アルゴリズムの例は、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク等のモデルベース学習や、ｋ最近傍等のインスタンスベースの学習を含む。予測部１３７は、学習アルゴリズムとして、上述の事象情報を使用して訓練されたモデルを適用することによって、対象が第２の特徴を有する場合に対象に関連する所定の事象が発生する第１の可能性と、対象が第２の特徴を有さない場合に対象に関連する所定の事象が発生する第２の可能性とを予測することができる。

一例では、予測部１３７は、広告接触前および後のコンバージョン確率を、各新しいユーザごとに予測する。図２Ｃを参照して上述したように、予測部１３７は、第１のデータセット（すなわち、広告接触がないことを仮定したデータセット）と、第２のデータセット（すなわち、広告接触があることを仮定したデータセット）とに、コンバージョン確率予測モデルを適用することによって、広告接触前のコンバージョン確率と、広告接触後のコンバージョン確率とを予測する。

（評価部１３８）
評価部１３８は、対象に関連する所定の事象が発生する可能性に対して、対象の特徴が与える影響を評価することができる。例えば、評価部１３８は、予測部１３７によって予測された可能性に基づいて、対象に関連する所定の事象が発生する可能性の変化を評価することができる。例えば、評価部１３８は、予測部１３７によって予測された可能性に基づいて、対象が所定の事象を発生させる可能性に対して、この対象の特徴が与える影響を評価することができる。

少なくとも１つの実施形態では、評価部１３８は、作成部１３６によって作成された第１の特徴情報に基づいて予測された、対象が第２の特徴を有する場合に対象に関連する所定の事象が発生する第１の可能性と、作成部１３６によって作成された第２の特徴情報に基づいて予測された、対象が第２の特徴を有さない場合に対象に関連するこの所定の事象が発生する第２の可能性との比較から、対象に関連するこの所定の事象が発生する可能性に対して、第２の特徴が与える影響を評価する。例えば、評価部１３８は、予測部１３７によって予測された第１の可能性と、予測部１３７によって予測された第２の可能性との比較から、対象に関連するこの所定の事象が発生する可能性に対して、第２の特徴が与える影響を評価する。

少なくとも１つの実施形態では、評価部１３８は、対象に関連するこの所定の事象が発生する可能性に対して第２の特徴が与える影響として、第１の可能性と第２の可能性とを比較するための所定の指標を評価する。例えば、評価部１３８は、所定の指標として、第１の可能性が、対象が第２の特徴を有することが仮定されない場合に対象に関連する所定の事象が発生する可能性に対して、どの程度上昇したかを示す評価指標を算出する。例えば、評価部１３８は、評価指標として、第１の可能性と第２の可能性との差および第１の可能性と第２の可能性との比のうちの少なくとも１つに基づく、第２の特徴によるリフト値を算出する。

少なくとも１つの実施形態では、評価部１３８は、第１の可能性と第２の可能性との比較から、対象に関連するこの所定の事象が発生する可能性に対して第２の特徴が与える影響として、第１の特徴情報によって表された、第２の属性の第１の値と、第２の特徴情報によって表された、第２の属性の第２の値との違いに由来する、対象に関連する所定の事象が発生する可能性の変化を評価する。

少なくとも１つの実施形態では、評価部１３８は、対象が第２の特徴を有する場合に対象が所定の事象である所定の行動を取る第１の可能性と、対象が第２の特徴を有さない場合に対象が所定の事象であるこの所定の行動を取る第２の可能性との比較から、対象がこの所定の行動を取る可能性である、対象に関連する所定の事象が発生する可能性に対して、第２の特徴が与える影響を評価する。

少なくとも１つの実施形態では、評価部１３８は、第１の可能性と第２の可能性との比較から、対象に関連する所定の事象が発生する可能性に対して第２の特徴が与える影響として、対象に関連する所定の事象が発生する可能性に対して、所定の情報の配信が与える影響を評価する。

一例では、評価部１３８は、広告接触によるコンバージョン確率のリフト値を算出する。図２Ｃを参照して上述したように、評価部１３８は、広告接触後のコンバージョン確率と、広告接触前のコンバージョン確率との差を、広告接触によるコンバージョン確率のリフト値として算出する。

上述のように、評価部１３８は、単に、特徴情報に予め含まれる所定の属性の値を変動させることによって、事象の発生の予測に対して、所定の属性が与える影響を評価するのではなく、特徴情報に予め含まれない新たな属性の存在と、この新たな属性の値の存在とを仮定した新たな特徴情報から、事象の発生の予測に対して、新たな属性が与える影響を評価することができる。

（配信部１３９）
配信部１３９は、所定の情報を対象に配信することができる。配信部１３９は、配信用情報記憶部１２４から、所定の情報として、配信用情報を取得することができる。上述のように、配信用情報は、例えば、広告コンテンツである。配信部１３９は、広告コンテンツに関する各種データ（例えば、入札価格、広告の品質）に基づいて、配信される広告コンテンツを決定してもよい。

配信部１３９は、配信用情報記憶部１２４から取得された広告コンテンツを、ユーザ装置３００に配信することができる。例えば、配信部１３９は、情報提供装置２００によって提供された各種コンテンツ内のコンテンツスロットに、広告コンテンツを配信することができる。各種コンテンツは、例えば、上述の各種インターネットサービスに関連する、ウェブページ、アプリ内コンテンツ等のコンテンツである。

少なくとも１つの実施形態では、配信部１３９は、評価部１３８によって評価された、対象に関連する所定の事象が発生する可能性の変化が所定の条件を満たす場合に、所定の情報を対象に配信する。

一例では、配信部１３９は、広告接触によるコンバージョン確率のリフト値に基づいて、広告配信のターゲットとなるユーザを選択する。図２Ｃを参照して上述したように、配信部１３９は、広告接触によるコンバージョン確率のリフト値に基づいて、新しいユーザをソートし、上位ｎ人（ｎは任意の自然数）を、広告配信のターゲットとして決定する。

〔３．予測リフト抽出処理のフロー〕
次に、図４を参照して、実施形態に係る情報配信装置１００による予測リフト抽出処理の手順について説明する。

図４は、実施形態に係る情報配信装置１００によって実行される、予測コンバージョン確率のリフト値に基づいて広告を配信するための処理の一例を示すフローチャートである。

図４に示されるように、はじめに、情報配信装置１００の事象情報取得部１３２は、訓練セットを取得する（ステップＳ１０１）。例えば、事象情報取得部１３２は、事象情報記憶部１２１から、訓練セットを取得する。

訓練セットは、訓練インスタンスとして、ユーザの特徴を表す特徴情報を含む。特徴情報は、例えば、広告接触の有無、行動履歴（例えば、検索履歴）、属性情報（例えば、デモグラフィック属性、サイコグラフィック属性）等のユーザ情報である。ラベルが、訓練インスタンスに関連付けられている。ラベルは、コンバージョンの有無を示す。予測子は、ユーザ情報等の特徴情報であり、ターゲットの数値は、コンバージョン率である。

次いで、情報配信装置１００の生成部１３３は、事象情報取得部１３２によって取得された訓練セットから、コンバージョン（CV）確率予測モデルを構築する（ステップＳ１０２）。生成部１３３は、訓練セットをモデルに与え、訓練セットに基づいて、モデルを訓練する。生成部１３３は、汎化誤差が最小化されるように、モデルを訓練することができる。

モデルとして使用される学習アルゴリズムは、例えば、ロジスティック回帰や、各種機械学習システム（例えば、XGBoost）である。コンバージョン確率予測モデルは、コンバージョンとユーザの特徴との相関や、コンバージョンとユーザの特徴との因果関係を読み解くことを可能にすることができる。

次いで、情報配信装置１００の特徴情報取得部１３５は、データセットを取得する（ステップＳ１０３）。データセットは、新しいインスタンスのデータである。データセットは、新しいインスタンスとして、新しいユーザの特徴を表す特徴情報を含む。

なお、新しいユーザは、広告ターゲット（すなわち、広告配信のターゲット）の候補である。したがって、新しいユーザの特徴情報は、この時点では、広告接触の有無に関する情報を含まない。新しいユーザは、例えば、ユニークユーザである。ユニークユーザは、所定の期間に所定のサービスを利用したユーザである。この場合、ユニークユーザは、所定のサービスに関連する広告のターゲットの候補である。

次いで、情報配信装置１００の作成部１３６は、特徴情報取得部１３５によって取得されたデータセットから、広告接触の有無が異なる２つのデータセットを作成する（ステップＳ１０４）。より具体的には、作成部１３６は、特徴情報取得部１３５によって取得されたデータセットに含まれる一連の特徴に、「ユーザに広告接触が有ること」を仮定した特徴を追加する。さらに、作成部１３６は、特徴情報取得部１３５によって取得されたデータセットに含まれる一連の特徴に、「ユーザに広告接触が無いこと」を仮定した特徴を追加する。

言い換えると、作成部１３６は、特徴情報取得部１３５によって取得されたデータセットに、広告接触の属性と、この属性の値「あり」とを追加することによって、広告接触「あり」のデータセットを作成する。さらに、作成部１３６は、特徴情報取得部１３５によって取得されたデータセットに、広告接触の属性と、この属性の値「なし」とを追加することによって、広告接触「なし」のデータセットを作成する。

次いで、情報配信装置１００の予測部１３７は、作成部１３６によって作成された広告接触の有無が異なる２つのデータセットに対して、生成部１３３によって生成されたコンバージョン（CV）確率予測モデルを適用することによって、広告接触が有るコンバージョン（CV）確率と、広告接触が無いコンバージョン（CV）確率とを予測する（ステップＳ１０５）。

すなわち、予測部１３７は、コンバージョン確率予測モデルを用いて、新しいユーザが広告に接触した場合のコンバージョン確率と、新しいユーザが広告に接触しなかった場合のコンバージョン確率とを予測する。予測部１３７は、広告接触が有るコンバージョン確率と、広告接触が無いコンバージョン確率とを、各新しいユーザごとに出力する。

次いで、情報配信装置１００の評価部１３８は、予測部１３７によって予測された、広告接触が有るコンバージョン（CV）確率と、広告接触が無いコンバージョン（CV）確率とに基づいて、コンバージョン（CV）確率のリフト値を算出する（ステップＳ１０６）。評価部１３８は、コンバージョン確率のリフト値を、各新しいユーザごとに出力する。このように、評価部１３８は、広告接触によって引き起こされるコンバージョン確率の上昇幅に基づいて、広告ターゲットの候補をスコアリングすることができる。

コンバージョン確率のリフト値は、広告接触が有るコンバージョン確率と、広告接触が無いコンバージョン確率と使用した所定の式で定義される。この所定の式の形は、相関ルール学習において使用されるリフト値の式の形に対応してもよい。あるいは、この所定の式の形は、広告接触が有るコンバージョン確率と、広告接触が無いコンバージョン確率との差や、広告接触が有るコンバージョン確率と、広告接触が無いコンバージョン確率との比に対応してもよい。

一例として、評価部１３８は、広告接触が有るコンバージョン確率と、広告接触が無いコンバージョン確率との差分を抽出し、抽出された差分を、広告が新しいユーザに当たった場合のコンバージョン確率の上昇値であるスコアとして決定する。このようなスコアは、コンバージョン確率のリフト値の一例である。

次いで、情報配信装置１００の配信部１３９は、評価部１３８によって算出されたコンバージョン（CV）確率のリフト値に基づいて、広告ターゲットを決定する（ステップＳ１０７）。例えば、配信部１３９は、コンバージョン確率のリフト値に基づいて、複数の新しいユーザをソートし、上位ｎ人（ｎは任意の自然数）の新しいユーザを、広告ターゲットとして決定する。あるいは、新しいユーザのコンバージョン確率のリフト値が閾値を満たす場合に、配信部１３９は、この新しいユーザを、広告ターゲットとして決定してもよい。いくつかの実装形態では、新しいユーザの「広告接触が有るコンバージョン確率」が閾値を満たさない場合に、配信部１３９は、この新しいユーザを、広告ターゲットとして決定しなくてもよい。

〔４．他の実施形態〕
上述の実施形態に係る情報配信装置１００は、上述の実施形態以外にも、種々の異なる形態で実施されてよい。そこで、以下では、上記の情報配信装置１００の他の実施形態について説明する。

〔４－１．複数の種類の配信用情報〕
複数の種類の配信用情報がある場合に、情報配信装置１００は、複数の種類の配信用情報の組み合わせを考慮してもよい。例えば、上述の例示的な実施形態では、情報配信装置１００は、第１の広告接触の存在と、第２の広告接触の存在とを考慮してもよい。一例として、第１の広告は、「ニューヨークに行くなら、あの飛行機（例示の広告文）」等の広告文を含んでもよい。また、第２の広告は、「マイレージキャンペーン（例示の広告文）」等の広告文を含んでもよい。

例えば、コンバージョン確率予測モデルの説明変数は、属性（例えば、性別、年齢、国内旅行、海外旅行等の興味関心）、第１の広告接触の有無および第２の広告接触の有無であってもよい。この場合、情報配信装置１００の作成部１３６は、第１の広告接触の有無または第２の広告接触の有無を仮定したデータセットを作成してもよい。例えば、作成部１３６は、第１の広告接触がないことと、第２の広告接触がないこととを仮定した第１のデータセットと、第１の広告接触があることと、第２の広告接触がないこととを仮定した第２のデータセットと、第１の広告接触がないことと、第２の広告接触があることとを仮定した第３のデータセットと、第１の広告接触があることと、第２の広告接触があることとを仮定した第４のデータセットとを作成してもよい。

情報配信装置１００は、広告接触の順番を考慮してもよい。例えば、第１の広告接触に対応する属性は、第１のタイミングに対応してもよい。また、第２の広告接触に対応する属性は、第２のタイミングに対応してもよい。

そして、情報配信装置１００の予測部１３７は、第１の広告接触の有無と、第２の広告接触の有無とによって互いに異なる、同一のユーザの４つの予測コンバージョン確率を算出してもよい。これにより、情報配信装置１００の評価部１３８は、第１の広告接触の有無および第２の広告接触の有無に対応する４つのリフト値を算出することができる。情報配信装置１００の配信部１３９は、この４つのリフト値に基づいて、広告配信のターゲットとなるユーザを選択してもよい。

〔４－２．適用可能なドメイン〕
図２Ａ～図２Ｃに示した例示的な実施形態では、情報配信装置１００は、広告接触によるコンバージョン確率のリフト値に基づいて、広告配信のターゲットとなるユーザを選択しているが、これに限定されるものではない。いくつかの実装形態では、情報配信装置１００は、広告配信以外のドメインに適用され得る。上述したような「対象が第１の特徴を有する場合の対象の第２の特徴が、対象に関連する事象が発生する可能性に与える影響」を、広告配信以外のドメインに適用することが可能である。例えば、対象の第１の特徴がユーザのユーザ情報（例えば、属性情報、行動情報）である場合に、情報配信装置１００は、次のようなドメインに適用され得る。

（クーポン）
上述のように、対象の第１の特徴がユーザのユーザ情報である場合に、対象の第２の特徴は、各種クーポンが配信されたかであってもよい。この場合、対象に関連する所定の事象は、各種クーポンの使用等のコンバージョンイベントであってもよい。

（プッシュ通知）
対象の第２の特徴は、プッシュ通知が配信されたかであってもよい。この場合、対象に関連する所定の事象は、プッシュ通知に関連する商品の購入等のコンバージョンイベントであってもよい。

（アンケート）
対象の第２の特徴は、アンケートが配信されたかであってもよい。この場合、対象に関連する所定の事象は、アンケートに対する回答等のコンバージョンイベントであってもよい。

（インセンティブ）
対象の第２の特徴は、ポイント等のインセンティブが配信されたかであってもよい。この場合、対象に関連する所定の事象は、例えば、インセンティブの使用等のコンバージョンイベントであってもよい。

〔４－３．対象の実体〕
対象は、例えば、人間のユーザであるが、これに限定されるものではない。いくつかの実施形態では、対象は、機械のエージェント（例えば、強化学習のエージェント）であってもよい。この場合、エージェントの特徴は、エージェントの行動や属性に基づいて決定されてもよい。このような特徴は、様々な特徴量エンジニアリングによって作成されてもよい。エージェントに関連する所定の事象は、所定のタスクの実行であってもよい。対象が強化学習のエージェントである場合に、コンバージョンイベントは、成功エピソードや失敗エピソードと読み替えられてもよい。

〔５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、図３に示した記憶部１２０の一部又は全部は、情報配信装置１００によって保持されるのではなく、ストレージサーバ等に保持されてもよい。この場合、情報配信装置１００は、ストレージサーバにアクセスすることで、事象情報（例えば、訓練インスタンス）、モデルデータ（例えば、訓練済みモデルのデータ）、特徴情報（例えば、新しいインスタンス）、配信用情報（例えば、広告コンテンツ）等の各種情報を取得する。

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る情報配信装置１００は、例えば図５に示すような構成のコンピュータ１０００によって実現される。図５は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報配信装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。

〔７．効果〕
上述してきたように、実施形態に係る情報配信装置１００は、作成部１３６と、評価部１３８とを有する。

実施形態に係る情報配信装置１００において、作成部１３６は、第１の特徴を有する対象が、第２の特徴を有することを仮定した第１の特徴情報と、この対象が、この第２の特徴を有さないことを仮定した第２の特徴情報とを作成する。また、実施形態に係る情報配信装置１００において、評価部１３８は、作成部１３６によって作成された第１の特徴情報に基づいて予測された、対象が第２の特徴を有する場合に対象に関連する所定の事象が発生する第１の可能性と、作成部１３６によって作成された第２の特徴情報に基づいて予測された、対象が第２の特徴を有さない場合に対象に関連するこの所定の事象が発生する第２の可能性との比較から、対象に関連するこの所定の事象が発生する可能性に対して、第２の特徴が与える影響を評価する。

また、実施形態に係る情報配信装置１００は、第１の特徴または第２の特徴を有する学習対象の特徴情報から、この学習対象に所定の事象が発生する可能性を予測するように学習が行われた予測モデルを用いて、対象が第２の特徴を有する場合に対象に関連する所定の事象が発生する第１の可能性と、対象が第２の特徴を有さない場合に対象に関連する所定の事象が発生する第２の可能性とを予測する予測部１３７を有する。また、実施形態に係る情報配信装置１００において、評価部１３８は、予測部１３７によって予測された第１の可能性と、予測部１３７によって予測された第２の可能性との比較から、対象に関連するこの所定の事象が発生する可能性に対して、第２の特徴が与える影響を評価する。

また、実施形態に係る情報配信装置１００において、予測部１３７は、学習対象に関連する所定の事象の発生と学習対象の特徴との関係を示す特徴情報を使用して訓練された予測モデルを用いて、第１の可能性と第２の可能性とを予測する。

また、実施形態に係る情報配信装置１００において、評価部１３８は、対象に関連するこの所定の事象が発生する可能性に対して第２の特徴が与える影響として、第１の可能性と第２の可能性とを比較するための所定の指標を評価する。

また、実施形態に係る情報配信装置１００において、評価部１３８は、所定の指標として、第１の可能性が、対象が第２の特徴を有することが仮定されない場合に対象に関連する所定の事象が発生する可能性に対して、どの程度上昇したかを示す評価指標を算出する。

また、実施形態に係る情報配信装置１００において、評価部１３８は、評価指標として、第１の可能性と第２の可能性との差および第１の可能性と第２の可能性との比のうちの少なくとも１つに基づく、第２の特徴によるリフト値を算出する。

また、実施形態に係る情報配信装置１００において、作成部１３６は、第２の特徴を有することとして、第２の属性の第１の値を表す第１の特徴情報と、第２の特徴を有さないこととして、この第２の属性の第２の値を表す第２の特徴情報とを作成する。また、実施形態に係る情報配信装置１００において、評価部１３８は、第１の可能性と第２の可能性との比較から、対象に関連するこの所定の事象が発生する可能性に対して第２の特徴が与える影響として、第１の特徴情報によって表された、第２の属性の第１の値と、第２の特徴情報によって表された、第２の属性の第２の値との違いに由来する、対象に関連する所定の事象が発生する可能性の変化を評価する。

また、実施形態に係る情報配信装置１００において、評価部１３８は、対象が第２の特徴を有する場合に対象が所定の事象である所定の行動を取る第１の可能性と、対象が第２の特徴を有さない場合に対象が所定の事象であるこの所定の行動を取る第２の可能性との比較から、対象がこの所定の行動を取る可能性である、対象に関連する所定の事象が発生する可能性に対して、第２の特徴が与える影響を評価する。

また、実施形態に係る情報配信装置１００において、作成部１３６は、対象に第２の特徴があることとして、所定の情報が対象に配信されたことを示す第１の特徴情報と、対象に第２の特徴がないこととして、この所定の情報が対象に配信されていないことを示す第２の特徴情報とを作成する。また、実施形態に係る情報配信装置１００において、評価部１３８は、第１の可能性と第２の可能性との比較から、対象に関連する所定の事象が発生する可能性に対して第２の特徴が与える影響として、対象に関連する所定の事象が発生する可能性に対して、所定の情報の配信が与える影響を評価する。

また、実施形態に係る情報配信装置１００は、評価部１３８によって評価された、対象に関連する所定の事象が発生する可能性の変化が所定の条件を満たす場合に、所定の情報を対象に配信する配信部１３９を有する。

上述した各処理により、情報配信装置１００は、特徴から有用な情報を引き出すことができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した情報配信装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、収集部は、収集手段や収集回路に読み替えることができる。

１ 情報配信システム
１００ 情報配信装置
１１０ 通信部
１２０ 記憶部
１２１ 事象情報記憶部
１２２ モデル記憶部
１２３ 特徴情報記憶部
１２４ 配信用情報記憶部
１３０ 制御部
１３１ 収集部
１３２ 事象情報取得部
１３３ 生成部
１３４ 受信部
１３５ 特徴情報取得部
１３６ 作成部
１３７ 予測部
１３８ 評価部
１３９ 配信部
２００ 情報提供装置
３００ ユーザ装置

Claims (10)

1. 第１の特徴を有する対象が、第２の特徴を有することを仮定した第１の特徴情報と、当該対象が、当該第２の特徴を有さないことを仮定した第２の特徴情報とを作成する作成部と、
   前記対象が前記第２の特徴を有する場合に前記対象に関連する所定の事象が発生する第１の可能性を、前記作成部によって作成された第１の特徴情報に対して、予測モデルを適用することによって、予測し、かつ、前記対象が前記第２の特徴を有さない場合に前記対象に関連する当該所定の事象が発生する第２の可能性を、前記作成部によって作成された第２の特徴情報に対して、前記予測モデルを適用することによって、予測する予測部であって、前記予測モデルが、学習対象の前記第１の特徴及び当該学習対象の前記第２の特徴の有無を示す特徴情報と、前記所定の事象の有無を示すラベルとを含む訓練セットを使用して訓練されている、予測部と、
   前記予測部によって予測された前記第１の可能性と、前記予測部によって予測された前記第２の可能性との比較から、前記対象に関連する当該所定の事象が発生する可能性に対して、前記第２の特徴が与える影響を評価する評価部と
   を備えることを特徴とする評価装置。
2. 前記評価部は、前記対象に関連する当該所定の事象が発生する可能性に対して前記第２の特徴が与える影響として、前記第１の可能性と前記第２の可能性とを比較するための所定の指標を評価する
   ことを特徴とする請求項１に記載の評価装置。
3. 前記評価部は、前記所定の指標として、前記第１の可能性が、前記対象が前記第２の特徴を有することが仮定されない場合に前記対象に関連する所定の事象が発生する可能性に対して、どの程度上昇したかを示す評価指標を算出する
   ことを特徴とする請求項２に記載の評価装置。
4. 前記評価部は、前記評価指標として、前記第１の可能性と前記第２の可能性との差及び前記第１の可能性と前記第２の可能性との比のうちの少なくとも１つに基づく、前記第２の特徴によるリフト値を算出する
   ことを特徴とする請求項３に記載の評価装置。
5. 前記作成部は、前記第２の特徴を有することとして、第２の属性の第１の値を表す前記第１の特徴情報と、前記第２の特徴を有さないこととして、当該第２の属性の第２の値を表す前記第２の特徴情報とを作成し、
   前記評価部は、前記第１の可能性と前記第２の可能性との比較から、前記対象に関連する当該所定の事象が発生する可能性に対して前記第２の特徴が与える影響として、前記第１の特徴情報によって表された、前記第２の属性の前記第１の値と、前記第２の特徴情報によって表された、前記第２の属性の前記第２の値との違いに由来する、前記対象に関連する前記所定の事象が発生する可能性の変化を評価する
   ことを特徴とする請求項１～４のうちいずれか１つに記載の評価装置。
6. 前記評価部は、前記対象が前記第２の特徴を有する場合に前記対象が前記所定の事象である所定の行動を取る前記第１の可能性と、前記対象が前記第２の特徴を有さない場合に前記対象が前記所定の事象である当該所定の行動を取る前記第２の可能性との比較から、前記対象が当該所定の行動を取る可能性である、前記対象に関連する前記所定の事象が発生する可能性に対して、前記第２の特徴が与える影響を評価する
   ことを特徴とする請求項１～５のうちいずれか１つに記載の評価装置。
7. 前記作成部は、前記対象に前記第２の特徴があることとして、所定の情報が前記対象に配信されたことを示す前記第１の特徴情報と、前記対象に前記第２の特徴がないこととして、当該所定の情報が前記対象に配信されていないことを示す前記第２の特徴情報とを作成し、
   前記評価部は、前記第１の可能性と前記第２の可能性との比較から、前記対象に関連する前記所定の事象が発生する可能性に対して前記第２の特徴が与える影響として、前記対象に関連する前記所定の事象が発生する可能性に対して、前記所定の情報の配信が与える影響を評価する
   ことを特徴とする請求項１～６のうちいずれか１つに記載の評価装置。
8. 前記評価部によって評価された、前記対象に関連する前記所定の事象が発生する可能性の変化が所定の条件を満たす場合に、前記所定の情報を前記対象に配信する配信部をさらに備える
   ことを特徴とする請求項７に記載の評価装置。
9. コンピュータが実行する評価方法であって、
   第１の特徴を有する対象が、第２の特徴を有することを仮定した第１の特徴情報と、当該対象が、当該第２の特徴を有さないことを仮定した第２の特徴情報とを作成する作成工程と、
   前記対象が前記第２の特徴を有する場合に前記対象に関連する所定の事象が発生する第１の可能性を、前記作成工程によって作成された第１の特徴情報に対して、予測モデルを適用することによって、予測し、かつ、前記対象が前記第２の特徴を有さない場合に前記対象に関連する当該所定の事象が発生する第２の可能性を、前記作成工程によって作成された第２の特徴情報に対して、前記予測モデルを適用することによって、予測する予測工程であって、前記予測モデルが、学習対象の前記第１の特徴及び当該学習対象の前記第２の特徴の有無を示す特徴情報と、前記所定の事象の有無を示すラベルとを含む訓練セットを使用して訓練されている、予測工程と、
   前記予測工程によって予測された前記第１の可能性と、前記予測工程によって予測された前記第２の可能性との比較から、前記対象に関連する当該所定の事象が発生する可能性に対して、前記第２の特徴が与える影響を評価する評価工程と
   を含むことを特徴とする評価方法。
10. 第１の特徴を有する対象が、第２の特徴を有することを仮定した第１の特徴情報と、当該対象が、当該第２の特徴を有さないことを仮定した第２の特徴情報とを作成する作成手順と、
    前記対象が前記第２の特徴を有する場合に前記対象に関連する所定の事象が発生する第１の可能性を、前記作成手順によって作成された第１の特徴情報に対して、予測モデルを適用することによって、予測し、かつ、前記対象が前記第２の特徴を有さない場合に前記対象に関連する当該所定の事象が発生する第２の可能性を、前記作成手順によって作成された第２の特徴情報に対して、前記予測モデルを適用することによって、予測する予測手順であって、前記予測モデルが、学習対象の前記第１の特徴及び当該学習対象の前記第２の特徴の有無を示す特徴情報と、前記所定の事象の有無を示すラベルとを含む訓練セットを使用して訓練されている、予測手順と、
    前記予測手順によって予測された前記第１の可能性と、前記予測手順によって予測された前記第２の可能性との比較から、前記対象に関連する当該所定の事象が発生する可能性に対して、前記第２の特徴が与える影響を評価する評価手順と
    をコンピュータに実行させることを特徴とする評価プログラム。

Images