JP6985848B2 - 算出装置、算出方法、算出プログラム及び第２モデル - Google Patents

算出装置、算出方法、算出プログラム及び第２モデル Download PDF

Info

Publication number
JP6985848B2
JP6985848B2 JP2017157659A JP2017157659A JP6985848B2 JP 6985848 B2 JP6985848 B2 JP 6985848B2 JP 2017157659 A JP2017157659 A JP 2017157659A JP 2017157659 A JP2017157659 A JP 2017157659A JP 6985848 B2 JP6985848 B2 JP 6985848B2
Authority
JP
Japan
Prior art keywords
action
index value
model
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017157659A
Other languages
English (en)
Other versions
JP2019036173A (ja
Inventor
徹 堀田
忠士 岸本
康生 山本
佳輝 土岐
実 金政
玲資 盛岡
亮太郎 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2017157659A priority Critical patent/JP6985848B2/ja
Publication of JP2019036173A publication Critical patent/JP2019036173A/ja
Application granted granted Critical
Publication of JP6985848B2 publication Critical patent/JP6985848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、算出装置、算出方法、算出プログラム及び第２モデルに関する。
近年、インターネットを介した広告配信が盛んに行われている。例えば、広告媒体（ウェブページ）に設定された広告枠に、企業や商品等の広告コンテンツを表示し、かかる広告コンテンツがクリックされた場合に、広告主のウェブページへ遷移させる広告配信が行われている。
また、このような広告配信では、広告コンテンツを掲載する対価として、広告主に課金する課金額である入札単価（ＣＰＣ：Cost Per Click）が使用される場合がある。
ここで、広告コンテンツに対して設定する入札単価を制御する技術が提案されている。例えば、検索キーワードに基づいて、広告コンテンツのコンバージョン率（ＣＶＲ：Conversion Rate）に対応した入札単価を広告コンテンツに対して設定する技術が提案されている。
特開２００６−３５０６６８号公報
しかしながら、上記の従来技術では、コンバージョン率の予測精度を高めることができるとは限らない。具体的には、上記の従来技術では、広告コンテンツに対応する登録キーワードと検索キーワードとの一致度に基づく重みを、出力した広告コンテンツの入札単価に乗じたものを最終的な入札単価とするにすぎず、コンバージョン率の予測精度を高めることができるとは限らない。
また、コンバージョンの実績数が少ない点からも、コンバージョン率の予測精度を高めることが困難である。具体的には、商品購入等の行動であるコンバージョンは、広告コンテンツを選択するという行動に連動して発生する。言い換えると、商品購入等の行動であるコンバージョンは、広告コンテンツを選択するという行動を条件として発生する。すなわち、広告コンテンツを選択したユーザのうち、商品購入等に至ったユーザの数がコンバージョン数に該当するため、コンバージョン数は少ない傾向にある。コンバージョン数が少ないということは予測処理における正解データが少ないことを意味するので、コンバージョン率の予測精度を高めることが困難になる。
このような予測精度を高めることが困難であるという点は、コンバージョン率の予測に限られない。具体的には、コンバージョンのように、所定の行動（例えば、広告コンテンツのクリック）に連動する別の行動（コンバージョン）は実績数が少ない傾向にあるので、かかる別の行動を起こすか否かの予測精度を高めることは困難である。
本願は、上記に鑑みてなされたものであって、ユーザが所定の行動に連動する別の行動を起こすか否かの予測精度を高めることができる算出装置、算出方法、算出プログラム及び第２モデルを提供することを目的とする。
本願にかかる算出装置は、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて、所定のユーザが前記第２行動を起こすか否かに関する第１指標値を算出する第１算出部と、前記第１算出部が算出した第１指標値に基づいて、前記所定のユーザが前記第１行動に連動して前記第２行動を起こすか否かに関する第２指標値を算出する第２算出部とを備えたことを特徴とする。
実施形態の一態様によれば、ユーザが所定の行動に連動する別の行動を起こすか否かの予測精度を高めることができるといった効果を奏する。
図１は、実施形態に係る算出処理の一例を示す図である。 図２は、実施形態に係る算出システムの構成例を示す図である。 図３は、実施形態に係る算出装置の構成例を示す図である。 図４は、実施形態に係る広告情報記憶部の一例を示す図である。 図５は、実施形態に係る広告配信履歴記憶部の一例を示す図である。 図６は、実施形態に係るモデル記憶部の構成例を示す図である。 図７は、実施形態に係る第１モデル生成処理手順を示すフローチャートである。 図８は、実施形態に係る第２モデル生成処理手順を示すフローチャートである。 図９は、実施形態に係る算出処理手順を示すフローチャートである。 図１０は、算出装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る算出装置、算出方法、算出プログラム及び第２モデルを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る算出装置、算出方法、算出プログラム及び第２モデルが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔１．算出処理の一例〕
まず、図１を用いて、実施形態に係る算出処理の一例について説明する。図１は、実施形態に係る算出処理の一例を示す図である。図１では、算出装置１００が、第１行動である広告コンテンツＡＤ１をクリックする行動を起こすことなく第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（商品購入等）を起こしたユーザの情報に基づいて、広告配信対象のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出する例を示す。そして、算出装置１００が、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する例を示す。
ここで、広告主にとって利益につながる行動とは、商品購入や資料請求などの行動を指す。図１では、第１行動は、広告コンテンツＡＤ１をクリックする行動である。また、第２行動は、広告コンテンツＡＤ１の広告主にとって利益につながる商品購入や資料請求などの行動である。そして、コンバージョンは、広告コンテンツＡＤ１をクリックする行動に続いて、広告コンテンツＡＤ１の広告主にとって利益につながる商品購入や資料請求などの行動を起こす行動である。なお、広告コンテンツをクリックすることなく商品購入や資料請求などの行動が起きた場合は、単に広告主にとって利益につながる行動と呼ぶことにする。
なお、第１指標値は、広告コンテンツをクリックしたか否かに関わらず、ユーザが広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値である。また、第２指標値は、ユーザが広告コンテンツをクリックする行動に連動して広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こす確率（コンバージョン率）である。
なお、図１では、「広告ＡＤ１をクリックしていないユーザ」は「広告コンテンツＡＤ１をクリックする行動を起こしていないユーザ」を意味する。また、図１では、「広告ＡＤ１をクリックしたユーザ」は「広告コンテンツＡＤ１をクリックする行動を起こしたユーザ」を意味する。
なお、ユーザが広告コンテンツを選択する行動であれば、広告コンテンツをクリックする行動に限られない。例えば、ユーザがスマートフォンを用いている場合は、ユーザが広告コンテンツを選択する行動は、タップなど任意の操作が行われることに相当する。
算出装置１００は、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出する情報処理装置である。また、算出装置１００は、算出した第１指標値に基づいて、所定のユーザが広告コンテンツをクリックする行動に連動して広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する情報処理装置である。
ここで、コンバージョン率は、広告コンテンツからコンバージョンに至った数（コンバージョン数）を、その広告コンテンツがこれまでにクリックされたクリック数で除算することにより算出される実績値である。このため、コンバージョン数やクリック数が少ないと、コンバージョン率の精度は統計的に低いといえる。なお、ここでいうコンバージョン率の精度とは、コンバージョン率が統計的に見て、信頼性に足りるか否かといった信頼度に対応するものである。
一例として、広告コンテンツｉを用いて説明する。例えば、広告コンテンツｉについて、クリック数「１０」、コンバージョン数「１」のとき、広告コンテンツｉのコンバージョン率は「０．１」である。しかしながら、クリック数「１０００」となったとき、コンバージョン数が「１００」となることにより、コンバージョン率「０．１」が算出されるとは限らない。例えば、実際には、クリック数「１０００」となったとき、コンバージョン数「２０」となることにより、コンバージョン率「０．０２」と算出されることもあり得る。
このように、コンバージョン率は、広告コンテンツの配信実績に応じて変化する不安定な値といえる。つまり、ひとたび算出したコンバージョン率が、必ずしも確かな値であるとは限らない。本来、信頼性に足りる十分な数のクリック数と、コンバージョン数から算出したコンバージョン率を用いることが望ましいが、そもそもクリックされ難い広告コンテンツも多く存在するうえに、一般に広告コンテンツがクリックされたとしてもコンバージョンに至る確率は非常に低い。したがって、全ての広告コンテンツのコンバージョン率が統計的に見て信頼に足る値として、どのような値になるかを精度よく予測するのは困難な場合がある。
また、例えば、精度の低いコンバージョン率を用いて入札単価を算出した場合、算出した入札単価も精度の低い値といえる。そして、精度の低い入札単価を用いて、広告配信を行うと目標コンバージョン単価を大きく超えてしまうといったことが起こり得る。なお、コンバージョン単価（ＣＰＡ：Cost Per Action）とは、所定の広告コンテンツから商品購入や会員登録等の利益につながる成果を１件獲得するのにかかる費用である。また、目標コンバージョン単価（目標ＣＰＡ）とは、所定の広告コンテンツにより１件のコンバージョンを得るために費やす広告費の目標値である。
そこで、実施形態にかかる算出装置１００は、上記のような、コンバージョン率を取り巻く状況を踏まえて、コンバージョン率の予測精度を高めるための算出処理を行う。
以下、図１を用いて、算出処理の一例を説明する。図１に示す例では、算出装置１００は、広告コンテンツＡＤ１をクリックしていないユーザの検索クエリや訪問ページといったアクセスログから、広告コンテンツＡＤ１をクリックしていないユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動（例えば、広告コンテンツＡＤ１の商品購入等）を起こすか否かに関する第１指標値を予測する第１モデルＭ１１を生成する。このように、算出装置１００は、第１モデルＭ１１の学習用のデータとして、広告コンテンツＡＤ１をクリックしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かに関する第１指標値を予測する第１モデルＭ１１を生成する（ステップＳ１１）。
ここで、図１に示すように、広告コンテンツＡＤ１をクリックしていないユーザの数は、広告コンテンツＡＤ１をクリックしたユーザの数に比べると、圧倒的に多い。前述したように、広告コンテンツのなかには、そもそもクリックされ難い広告コンテンツも多く存在するので、所定の広告コンテンツをクリックしたユーザの数は非常に少ない傾向にある。また、一般的に、所定の広告コンテンツをクリックすることなく、直接ショッピングサイト等を利用して商品購入等に至るユーザの数は非常に多い。このため、図１に示すように、算出装置１００は、第１モデルＭ１１の学習用のデータとして、広告コンテンツＡＤ１をクリックしたユーザの数に比べると、多量に存在する広告コンテンツＡＤ１をクリックしていないユーザの情報を用いて、第１モデルＭ１１を生成する。
このように、第１モデルＭ１１は、多量の学習データを用いて生成されるので、モデルとしての精度が高い。具体的には、第１モデルＭ１１は、所定のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かを予測するモデルとしての精度が高い。また、第１指標値は、精度の高い第１モデルＭ１１を用いて算出されるので、指標値としての精度が高い。すなわち、第１指標値は、所定のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かを予測する指標値としての精度が高い。
しかし、第１モデルＭ１１は、広告コンテンツＡＤ１をクリックしていないユーザの情報のみを用いて生成したモデルなので、算出装置１００は、広告コンテンツＡＤ１をクリックしたユーザの情報を用いて第１モデルＭ１１をさらに補正する。算出装置１００は、第１モデルＭ１１を補正することにより、精度の高い第１指標値を、広告コンテンツＡＤ１をクリックしたユーザに対応する指標値へとさらに変換する。具体的には、算出装置１００は、補正後の第１モデルＭ１１に第１指標値を入力することにより、所定のユーザが広告コンテンツＡＤ１をクリックする行動に連動して広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）へと第１指標値を変換する。このように、第２指標値は、精度の高い第１指標値に基づいて算出されるので、コンバージョン率を予測する指標値としての精度が高い。
図１の説明に戻る。続いて、算出装置１００は、生成した第１モデルＭ１１に広告コンテンツＡＤ１をクリックしたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告コンテンツＡＤ１をクリックしたユーザの第１指標値を算出する。そして、算出装置１００は、広告コンテンツＡＤ１をクリックしたユーザの第１指標値から、広告コンテンツＡＤ１をクリックしたユーザがコンバージョンに至るか否かに関する第２指標値（コンバージョン率）を予測する第２モデルＭ１２を生成する。このように、算出装置１００は、第２モデルＭ１２の学習用のデータとして、広告コンテンツＡＤ１をクリックしたユーザの情報を用いて、所定のユーザの第１指標値に基づいて、所定のユーザが広告コンテンツＡＤ１をクリックする行動に連動して広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を予測する第２モデルＭ１２を生成する（ステップＳ１２）。
続いて、算出装置１００は、生成した第１モデルＭ１１に広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告配信対象のユーザの第１指標値を算出する（ステップＳ１３）。
続いて、算出装置１００は、生成した第２モデルＭ１２に広告配信対象のユーザの第１指標値を入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する（ステップＳ１４）。
上述したように、算出装置１００は、第１行動である広告コンテンツＡＤ１をクリックする行動を起こすことなく第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（商品購入等）を起こしたユーザの情報に基づいて、広告配信対象のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出する。
すなわち、算出装置１００は、第１行動である広告コンテンツＡＤ１をクリックする行動を起こすことなく第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こしたユーザの情報に基づいて、所定のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出するための第１モデルＭ１１を生成する。そして、算出装置１００は、生成した第１モデルＭ１１を用いて、広告配信対象のユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出する。上述したように、第１モデルＭ１１が学習用のデータとして用いる広告コンテンツＡＤ１をクリックしていないユーザの情報は多量に存在する。
このように、算出装置１００は、第１モデルＭ１１の学習用のデータとして多量のデータを用いることにより、第１モデルＭ１１の学習の精度を高めることができる。また、算出装置１００は、精度の高い学習によって生成された第１モデルＭ１１を用いて第１指標値を算出することにより、第２指標値（コンバージョン率）を予測する第２モデルＭ１２の特徴量として、精度の高い特徴量である第１指標値を算出することができる。
ここで、精度の高い特徴量とは、例えば、ある値Ｙを予測するモデルＭについて、モデルＭの特徴量として特徴量Ｘを用いると、モデルＭの出力結果Ｙと特徴量Ｘとの相関が高い特徴量を意味する。つまり、精度の高い特徴量とは、ある値Ｙを予測するモデルＭの特徴量として、尤もらしい特徴量であることを意味する。図１の例では、第２指標値（コンバージョン率）を予測する第２モデルＭ１２について、第２モデルＭ１２の特徴量として第１指標値を用いると、第２モデルＭ１２の出力結果である第２指標値（コンバージョン率）と第１指標値との相関が高いことを意味する。つまり、第１指標値は、第２指標値（コンバージョン率）を予測する第２モデルＭ１２の特徴量として、尤もらしい特徴量であることを意味する。
このように、算出装置１００は、第２モデルＭ１２の特徴量として第１指標値を用いると、第２モデルＭ１２の出力結果である第２指標値（コンバージョン率）との相関が高い特徴量である第１指標値を算出することができる。つまり、算出装置１００は、第２指標値（コンバージョン率）を予測する第２モデルＭ１２の特徴量として、尤もらしい特徴量である第１指標値を算出することができる。
上述したように、算出装置１００は、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する。
すなわち、算出装置１００は、第１行動である広告コンテンツＡＤ１をクリックする行動を起こしたユーザの第１指標値に基づいて、所定のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出するための第２モデルＭ１２を生成する。そして、算出装置１００は、広告配信対象のユーザの第１指標値を生成した第２モデルＭ１２に入力することにより、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する。
ここで、一般的に、モデルＭの学習用のデータとして、出力結果Ｙとの相関が高い特徴量Ｘを用いると、モデルＭの学習がうまく行く。その結果、モデルＭの学習用のデータとして、精度の高い特徴量Ｘを用いると、学習後のモデルＭから精度の高い予測結果Ｙを得ることができる。
このように、算出装置１００は、第２モデルＭ１２の学習用のデータとして、精度の高い特徴量である第１指標値を用いることにより、学習用のデータの数が少なくても、第２モデルＭ１２の学習の精度を高めることができる。また、算出装置１００は、精度の高い特徴量である第１指標値に基づいて第２指標値を算出することにより、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かを予測する指標値としての精度が高い第２指標値（コンバージョン率）を算出することができる。さらに、算出装置１００は、精度の高い学習によって生成された第２モデルＭ１２に精度の高い特徴量である第１指標値を入力することにより、精度の高い第２指標値（コンバージョン率）を算出することができる。
したがって、算出装置１００は、広告配信対象のユーザが所定の行動である広告コンテンツをクリックする行動に連動する別の行動である広告主にとって利益につながる行動を起こすか否かの予測精度（コンバージョン率の予測精度）を高めることができる。また、算出装置１００は、精度の高いコンバージョン率を用いて入札単価を算出することにより、精度の高い入札単価を算出することができる。また、算出装置１００は、精度の高い入札単価を算出することにより、広告主の目標コンバージョン単価を保ちつつ、広告コンテンツを配信することができる。
なお、図１では、算出装置１００は、ある特定の広告コンテンツＡＤ１について第１モデルＭ１１と第２モデルＭ１２を生成する例を示したが、複数の広告コンテンツから成る広告グループ毎に第１モデルと第２モデルを生成してもよい。ここで、広告グループとは、広告コンテンツは異なるが、広告が対象とする商品が同一であるような複数の広告コンテンツから成るグループを意味する。そして、算出装置１００は、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告グループに含まれるいずれかの広告コンテンツをクリックする行動に連動して第２行動である広告グループの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出してもよい。
なお、図１では、算出装置１００は、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する例を示したが、第２行動には第２行動と類似する行動が含まれてもよい。例えば、第２行動には、第２行動と類似する行動として広告主が異なる同一の商品を購入する行動が含まれてもよい。
なお、図１では、算出装置１００が、第１モデルＭ１１の学習用データとして、広告コンテンツＡＤ１をクリックしていないユーザのアクセスログのみを用いて第１モデルＭ１１を生成する例を示したが、第１モデルＭ１１の学習用データとして、広告コンテンツＡＤ１をクリックしたユーザのアクセスログが含まれていてもよい。上述したように、広告コンテンツＡＤ１をクリックしたユーザの数に比べると、広告コンテンツＡＤ１をクリックしていないユーザの情報は多量に存在する。例えば、広告コンテンツＡＤ１をクリックしたユーザのアクセスログが２０個あるのに対して、広告コンテンツＡＤ１をクリックしていないユーザのアクセスログは２０，０００個あるとする。この場合、２０，０００個の広告コンテンツＡＤ１をクリックしていないユーザのアクセスログに１個の広告コンテンツＡＤ１をクリックしたユーザのアクセスログが含まれたとしても、第１モデルＭ１１の生成精度にはほとんど影響がない。
しかし、算出装置１００は、第１モデルＭ１１の学習用データとして、広告コンテンツＡＤ１をクリックしていないユーザのアクセスログのみを用いて第１モデルＭ１１を生成することにより、データの数が少ない広告コンテンツＡＤ１をクリックしたユーザのアクセスログをすべて第２モデルＭ１２の生成のための学習用データとして用いることができる。したがって、算出装置１００は、第１モデルＭ１１の学習用データとして、広告コンテンツＡＤ１をクリックしていないユーザのアクセスログのみを用いて第１モデルＭ１１を生成することにより、第２モデルＭ１２の精度を高めることができる。
なお、図１では、算出装置１００は、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する例を示したが、第１行動は広告コンテンツＡＤ１をクリックする行動以外の他の行動であってもよい。また、第２行動は、第１行動に連動して起こり得る行動であって第１行動と異なる行動であれば、コンバージョン以外の他の行動であってもよい。例えば、算出装置１００は、算出した第１指標値に基づいて、ターゲットのユーザが第１行動である小さなメディアのページを訪れる行動に連動して第２行動である特定のニュース記事を閲覧する行動を起こすか否かに関する第２指標値を算出してもよい。
〔２．算出システムの構成〕
次に、図２を用いて、実施形態にかかる算出装置１００が含まれる算出システム１の構成について説明する。図２は、実施形態にかかる算出システム１の構成例を示す図である。図２に例示するように、実施形態にかかる算出システム１には、ユーザ端末１０と、アクセスログサーバ２０と、広告主端末３０と、広告配信装置（算出装置）１００とが含まれる。これらの各種装置は、ネットワークＮ（例えば、インターネット）を介して、有線又は無線により通信可能に接続される。なお、図２に示した算出システム１には、複数台のユーザ端末１０や、複数台のアクセスログサーバ２０や、複数台の広告主端末３０が含まれてもよい。また、本実施形態では、アクセスログサーバ２０および広告配信装置（算出装置）１００は、事業者Ｔ１によって管理されているものとする。
ユーザ端末１０は、ユーザによって利用される端末装置である。例えば、ユーザ端末１０は、タブレット型端末、ＰＣ（Personal Computer）、携帯電話機、ＰＤＡ（Personal Digital Assistant）等である。例えば、ユーザ端末１０は、所定のウェブサーバにアクセスすることで、所定のウェブサーバからウェブページを取得し、取得したウェブページを表示画面に表示する。
また、ユーザ端末１０は、ウェブページに広告枠が含まれる場合には、広告配信装置（算出装置）１００にアクセスすることで、広告配信装置（算出装置）１００から広告コンテンツを取得し、取得した広告コンテンツを、かかる広告枠に表示する。
アクセスログサーバ２０は、ユーザの検索クエリやユーザの訪問ページといったアクセスログを保持している。また、アクセスログサーバ２０は、ショッピングサービスを提供する所定のサーバ装置から、ショッピングサービスを利用しているユーザの購入履歴に関する情報を取得する。具体的には、アクセスログサーバ２０は、ショッピングサービスを提供する所定のサーバ装置から、ショッピングサービスを利用しているユーザが広告主にとって利益につながる行動（例えば、広告コンテンツの広告対象商品の購入等）を起こしたか否かに関する情報を取得する。
広告主端末３０は、広告主によって利用される端末装置である。例えば、広告主端末３０は、タブレット型端末、ＰＣ、携帯電話機、ＰＤＡ等である。また、広告主端末３０は、広告主の操作に従って、広告コンテンツを広告配信装置（算出装置）１００に入稿する。
例えば、広告主端末３０は、静止画像、動画像、テキストデータ等に該当する広告コンテンツを広告配信装置（算出装置）１００に入稿する。また、例えば、広告主端末３０は、広告コンテンツが選択操作（例えば、クリックやタップ）された場合に、遷移させる遷移先コンテンツのＵＲＬ（Uniform Resource Locator）に該当する広告コンテンツを広告配信装置（算出装置）１００に入稿してもよい。
さらに、広告主端末３０は、広告主の操作に従って、広告コンテンツから商品購入や会員登録等の利益につながる成果を１件獲得するのにかかるコストであるコンバージョン単価の目標値である目標コンバージョン単価を対応する広告コンテンツに設定するよう広告配信装置（算出装置）１００に指示する。
広告配信装置（算出装置）１００は、図１で説明した算出処理を行うサーバ装置である。また、広告配信装置（算出装置）１００は、広告主端末３０から入稿された広告コンテンツを配信するサーバ装置である。
広告配信装置（算出装置）１００は、広告コンテンツを配信したユーザに関する情報を保持している。具体的には、広告配信装置（算出装置）１００は、広告コンテンツを配信したユーザが広告コンテンツをクリックしたか否かに関する情報や、広告コンテンツを配信したユーザがコンバージョンに至ったか否かに関する情報を保持している。
なお、図２では、算出システム１の構成例として、アクセスログを集約して保持するアクセスログサーバ２０から算出装置１００がユーザのアクセスログを取得する例を示したが、検索サーバ装置やショッピングサーバ装置といったそれぞれのサーバ装置から算出装置１００がユーザのアクセスログを取得してもよい。
また、図２では、算出システム１の構成例として、算出装置１００が広告コンテンツを配信する例を示したが、広告コンテンツを配信するアドサーバと算出装置１００とは別々の装置であってもよい。
アドサーバと算出装置１００とが別々の装置である例について説明する。具体的には、アドサーバは、広告主端末３０から広告コンテンツの入稿と目標コンバージョン単価を受け付ける。そして、アドサーバは、広告主端末３０から広告コンテンツの入稿を受け付けると、受け付けた広告コンテンツ毎に第１モデルと第２モデルを生成するよう算出装置１００に要求する。例えば、アドサーバは、広告主端末３０から広告コンテンツＡＤ１の入稿を受け付けると、算出装置１００に広告コンテンツＡＤ１の第１モデルと第２モデルを生成するよう要求する。
算出装置１００は、アドサーバから広告コンテンツＡＤ１の第１モデルと第２モデルの生成要求を受け付けると、広告コンテンツＡＤ１をクリックしていないユーザの検索クエリ、訪問ページ等のアクセスログをアクセスログサーバ２０から取得する。続いて、算出装置１００は、広告コンテンツＡＤ１をクリックしていないユーザが、広告主にとって利益につながる行動を起こしたか否かに関する情報をアクセスログサーバ２０から取得する。そして、算出装置１００は、広告コンテンツＡＤ１をクリックしていないユーザの情報を用いて第１モデルＭ１１を生成する。
続いて、算出装置１００は、広告コンテンツＡＤ１をクリックしたユーザに関する情報をアドサーバから取得する。そして、算出装置１００は、広告コンテンツＡＤ１をクリックしたユーザの検索クエリ、訪問ページ等のアクセスログをアクセスログサーバ２０から取得する。算出装置１００は、取得したアクセスログを生成した第１モデルＭ１１に入力することにより、広告コンテンツＡＤ１をクリックしたユーザの第１指標値を算出する。続いて、算出装置１００は、広告コンテンツＡＤ１をクリックしたユーザが、コンバージョンに至ったか否かに関する情報をアドサーバから取得する。そして、算出装置１００は、広告コンテンツＡＤ１をクリックしたユーザの情報を用いて第２モデルＭ１２を生成する。
アドサーバは、ユーザ端末１０から広告コンテンツの配信要求を受け付けると、配信候補の広告コンテンツを選択する。そして、アドサーバは、配信候補の広告コンテンツ毎に広告配信対象のユーザのコンバージョン率を算出するよう算出装置１００に要求する。
算出装置１００は、アドサーバからコンバージョン率の算出要求を受け付けると、広告配信対象のユーザの検索クエリ、訪問ページ等のアクセスログをアクセスログサーバ２０から取得する。続いて、算出装置１００は、配信候補の広告コンテンツ毎に生成した第１モデルに取得したアクセスログを入力することにより、配信候補の広告コンテンツ毎に配信対象のユーザの第１指標値を算出する。例えば、算出装置１００は、取得したアクセスログを生成した第１モデルＭ１１に入力することにより、広告コンテンツＡＤ１に関する配信対象のユーザの第１指標値を算出する。
続いて、算出装置１００は、配信候補の広告コンテンツ毎に生成した第２モデルに配信候補の広告コンテンツ毎に算出した第１指標値を入力することにより、配信候補の広告コンテンツ毎に配信対象のユーザの第２指標値（コンバージョン率）を算出する。例えば、算出装置１００は、第１モデルＭ１１を用いて算出した第１指標値を生成した第２モデルＭ１２に入力することにより、広告コンテンツＡＤ１に関する配信対象のユーザの第２指標値（コンバージョン率）を算出する。
続いて、算出装置１００は、配信候補の広告コンテンツ毎に算出した配信対象のユーザの第２指標値（コンバージョン率）をアドサーバに送信する。
アドサーバは、配信対象のユーザの第２指標値（コンバージョン率）を配信候補の広告コンテンツ毎に算出装置１００から受け付ける。そして、アドサーバは、算出装置１００から受け付けたコンバージョン率に基づいて、配信候補の広告コンテンツ毎に入札単価を算出する。例えば、アドサーバは、入稿時に受け付けた広告コンテンツＡＤ１の目標ＣＰＡに広告コンテンツＡＤ１に関する配信対象のユーザのコンバージョン率を乗じることにより、広告コンテンツＡＤ１の入札単価を算出する。続いて、アドサーバは、算出した入札単価に基づいて、配信候補の広告コンテンツのなかから配信する広告コンテンツを決定する。そして、アドサーバは、ユーザ端末１０に決定した広告コンテンツを配信する。
〔３．算出装置の構成〕
次に、図３を用いて、実施形態にかかる広告配信装置（算出装置）１００について説明する。図３は、実施形態にかかる広告配信装置（算出装置）１００の構成例を示す図である。図３に示すように、広告配信装置（算出装置）１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、例えば、ユーザ端末１０、アクセスログサーバ２０との間で情報の送受信を行う。
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図３に示すように、広告情報記憶部１２１と、広告配信履歴記憶部１２２と、モデル記憶部１２３とを有する。
（広告情報記憶部１２１）
広告情報記憶部１２１は、広告主端末３０から受け付けた広告コンテンツと目標コンバージョン単価に関する各種情報を記憶する。図４に、実施形態に係る広告情報記憶部１２１の一例を示す。具体的には、図４では、広告情報記憶部１２１の一例を示している。図４に示す例では、広告情報記憶部１２１は、「広告主ＩＤ」、「広告コンテンツＩＤ」、「目標コンバージョン単価」といった項目を有する。
「広告主ＩＤ」は、広告主端末３０の広告主を識別するための識別情報を示す。
「広告コンテンツＩＤ」は、広告主端末３０から受け付けた広告コンテンツを識別するための識別情報を示す。また、例えば、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツを適宜「広告コンテンツＡＤ１」と呼ぶことにする。
「目標コンバージョン単価」は、広告コンテンツにより１件のコンバージョンを得るために費やす広告費の目標値を示す。
図４に示す例では、１レコード目は、広告主ＩＤ「Ｃ１」により識別される広告主から、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツと広告コンテンツＡＤ１により１件のコンバージョンを得るために費やす広告費の目標値「１５，０００」を受け付けたことを示している。
（広告配信履歴記憶部１２２）
広告配信履歴記憶部１２２は、広告コンテンツの配信履歴に関する各種情報を記憶する。図５に、実施形態に係る広告配信履歴記憶部１２２の一例を示す。具体的には、図５では、広告配信履歴記憶部１２２の一例を示している。図５に示す例では、広告配信履歴記憶部１２２は、「広告コンテンツＩＤ」、「ユーザＩＤ」、「広告クリックの有無」、「コンバージョンの有無」、「広告配信日時」といった項目を有する。
「広告コンテンツＩＤ」は、配信した広告コンテンツを識別するための識別情報を示す。また、例えば、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツを適宜「広告コンテンツＡＤ１」と呼ぶことにする。
「ユーザＩＤ」は、広告コンテンツの配信先のユーザを識別するための識別情報を示す。
「広告クリックの有無」は、配信した広告コンテンツが配信先のユーザによってクリックされたか否かの情報を示す。図５に示す例では、配信先のユーザが広告コンテンツをクリックした場合を１、クリックしなかった場合を０で示す。
「コンバージョンの有無」は、広告コンテンツをクリックしたユーザがコンバージョンに至ったか否かの情報を示す。図５に示す例では、広告コンテンツをクリックしたユーザがコンバージョンに至った場合を１、コンバージョンに至らなかった場合を０で示す。
「広告配信日時」は、広告コンテンツを配信した日時の情報を示す。
図５に示す例では、１レコード目は、広告配信日時「２０１７年７月７日１６：１０」にユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）に広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツが配信されたことを示している。そして、ユーザＩＤ「Ｕ１」により識別されるユーザは、広告コンテンツＡＤ１をクリックせず、コンバージョンに至らなかったことを示す。
（モデル記憶部１２３）
モデル記憶部１２３は、広告コンテンツ毎に生成された第１モデルと第２モデルを広告コンテンツ毎に記憶する。図６に、実施形態に係るモデル記憶部１２３の一例を示す。具体的には、図６では、モデル記憶部１２３の一例を示している。図６に示す例では、モデル記憶部１２３は、「広告コンテンツＩＤ」、「第１モデルＩＤ」、「第２モデルＩＤ」といった項目を有する。
「広告コンテンツＩＤ」は、広告コンテンツを識別するための識別情報を示す。
「第１モデルＩＤ」は、第１モデルを識別するための識別情報を示す。
「第２モデルＩＤ」は、第２モデルを識別するための識別情報を示す。
図６に示す例では、１レコード目は、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツについて、第１モデルＩＤ「Ｍ１１」により識別される第１モデルと第２モデルＩＤ「Ｍ１２」により識別される第２モデルが格納されていることを示している。
（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、広告配信装置（算出装置）１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
また、制御部１３０は、モデル記憶部１２３に記憶されている第１モデルに従った情報処理により、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力層から出力するよう、コンピュータを機能させる。
また、制御部１３０は、モデル記憶部１２３に記憶されている第２モデルに従った情報処理により、入力層に入力された所定のユーザの第１指標値に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。
図３に示すように、制御部１３０は、受付部１３１と、第１生成部１３２と、第２生成部１３３と、第１算出部１３４と、第２算出部１３５と、配信部１３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（受付部１３１）
受付部１３１は、広告主端末３０から広告コンテンツの入稿と目標コンバージョン単価を受け付ける。例えば、受付部１３１は、広告主端末３０から広告コンテンツＡＤ１の入稿と目標コンバージョン単価（目標ＣＰＡ）を受け付ける。
また、受付部１３１は、ユーザ端末１０から広告コンテンツの配信要求を受け付ける。
（第１生成部１３２）
第１生成部１３２は、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて、所定のユーザが第２行動を起こすか否かに関する第１指標値を算出するための第１モデルを生成する。
具体的には、第１生成部１３２は、第１行動を起こしていないユーザの検索クエリや訪問ページといったアクセスログから、第１行動を起こしていないユーザが第２行動を起こすか否かに関する第１指標値を予測する第１モデルを生成する。このように、第１生成部１３２は、第１モデルの学習用のデータとして、第１行動を起こしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが第２行動を起こすか否かに関する第１指標値を予測する第１モデルを生成する。
なお、第１生成部１３２は、第１モデルの学習用データとして、第１行動を起こしたユーザのアクセスログを含む情報を用いて第１モデルを生成してもよい。例えば、第１行動を起こしたユーザのアクセスログが２０個あるのに対して、第１行動を起こしていないユーザのアクセスログは２０，０００個あるとする。この場合、２０，０００個の第１行動を起こしていないユーザのアクセスログに１個の第１行動を起こしたユーザのアクセスログが含まれたとしても、第１モデルの生成精度にはほとんど影響がない。
しかし、第１生成部１３２は、第１モデルの学習用データとして、第１行動を起こしていないユーザのアクセスログのみを用いて第１モデルを生成することにより、データの数が少ない第１行動を起こしたユーザのアクセスログをすべて第２モデルの生成のための学習用データとして用いることができる。したがって、第１生成部１３２は、第１モデルの学習用データとして、第１行動を起こしていないユーザのアクセスログのみを用いて第１モデルを生成することにより、第２モデルの精度を高めることができる。
第１生成部１３２は、第１モデルを生成すると、生成した第１モデルをモデル記憶部１２３に格納する。
例えば、第１生成部１３２は、受付部１３１が広告主端末３０から広告コンテンツの入稿を受け付けると、第１行動を起こしていないユーザの情報として、広告コンテンツをクリックしていないユーザの検索クエリや訪問ページといったアクセスログをアクセスログサーバ２０から取得する。
また、第１生成部１３２は、第１行動を起こしていないユーザの情報として、広告コンテンツをクリックしていないユーザが第２行動である広告主にとって利益につながる行動（商品購入等）を起こしたか否かに関する情報をアクセスログサーバ２０から取得する。
そして、第１生成部１３２は、広告コンテンツをクリックしていないユーザの情報に基づいて、広告コンテンツの第１モデルを生成する。具体的には、第１生成部１３２は、第１行動を起こしていないユーザの情報として広告コンテンツをクリックしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが第２行動である広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を予測する第１モデルを生成する。
なお、第１生成部１３２は、いかなる学習アルゴリズムを用いて第１モデルを生成してもよい。例えば、第１生成部１３２は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて第１モデルを生成する。一例として、第１生成部１３２がニューラルネットワークを用いて第１モデルを生成する場合、第１モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに応じて、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力層から出力するよう、コンピュータを機能させる。
第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力層から出力するよう、コンピュータを機能させる。
ここで、第１モデルが「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、第１モデルが含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。
また、第１モデルがＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、第１モデルが含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。
広告配信装置（算出装置）１００は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有する第１モデルを用いて、第１指標値の算出を行う。具体的には、第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力された場合に、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力するように係数が設定される。広告配信装置（算出装置）１００は、このような第１モデルを用いて、第１指標値を算出する。
なお、上記例では、第１モデルが、所定のユーザの検索クエリや訪問ページといったアクセスログが入力された場合に、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力する第１モデル（モデルＭ１Ｘとする）である例を示した。しかし、実施形態に係る第１モデルは、モデルＭ１Ｘにデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログを入力とし、モデルＭ１Ｘが出力する所定のユーザが第２行動を起こすか否かに関する第１指標値を出力とするよう学習されたモデル（モデルＭ１Ｙ)であってもよい。または、第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログを入力とし、モデルＭ１Ｙの出力値を出力とするよう学習されたモデルであってもよい。
また、広告配信装置（算出装置）１００がＧＡＮ（Generative Adversarial Networks）を用いた算出処理を行う場合、第１モデルは、ＧＡＮの一部を構成するモデルであってもよい。
（第２生成部１３３）
第２生成部１３３は、第１行動を起こしたユーザの第１指標値に基づいて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を算出するための第２モデルを生成する。
具体的には、第２生成部１３３は、第１生成部１３２が生成した第１モデルに第１行動を起こしたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、第１行動を起こしたユーザの第１指標値を算出する。そして、第２生成部１３３は、第１行動を起こしたユーザの第１指標値から、第１行動を起こしたユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を予測する第２モデルを生成する。このように、第２生成部１３３は、第２モデルの学習用のデータとして、第１行動を起こしたユーザの情報を用いて、所定のユーザの第１指標値に基づいて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を予測する第２モデルを生成する。
例えば、第２生成部１３３が、第１行動を起こしたユーザの第１指標値を算出したところ、第１指標値が０．１であるユーザが１０人いたとする。そして、第１指標値が０．１であるユーザ１０人のうち、第１行動に連動して第２行動を起こしたユーザは１人であったとする。言い換えると、第１指標値が０．１であるユーザ１０人のうち、第１行動に連動して第２行動を起こさなかったユーザは９人であったとする。この場合、第２生成部１３３は、第１指標値が０．１であるユーザが、第１行動に連動して第２行動を起こすか否かに関する第２指標値は１０％であると予測する第２モデルを生成する。なお、第２生成部１３３が第２モデルを生成する例は、この例に限られない。
また、第２生成部１３３は、第２モデルを生成すると、生成した第２モデルをモデル記憶部１２３に格納する。
例えば、第２生成部１３３は、第１生成部１３２が第１モデルを生成すると、第１行動を起こしたユーザの情報として、広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログをアクセスログサーバ２０から取得する。
そして、第２生成部１３３は、第１生成部１３２が生成した第１モデルに広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告コンテンツをクリックしたユーザの第１指標値を算出する。
また、第２生成部１３３は、第１行動を起こしたユーザの情報として、広告コンテンツをクリックしたユーザが第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こしたか否かに関する情報を広告配信履歴記憶部１２２から取得する。
そして、第２生成部１３３は、広告コンテンツをクリックしたユーザの情報に基づいて、広告コンテンツの第２モデルを生成する。具体的には、第２生成部１３３は、第１行動を起こしたユーザの情報として、広告コンテンツをクリックしたユーザの情報を用いて、所定のユーザの第１指標値から、所定のユーザが第１行動である広告コンテンツをクリックする行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を予測する第２モデルを生成する。
例えば、第２生成部１３３が、広告コンテンツをクリックしたユーザの第１指標値を算出したところ、第１指標値が０．１であるユーザが１０人いたとする。そして、第１指標値が０．１であるユーザ１０人のうち、第１行動である広告コンテンツをクリックする行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こしたユーザは１人であったとする。言い換えると、第１指標値が０．１であるユーザ１０人のうち、第１行動である広告コンテンツをクリックする行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こさなかったユーザは９人であったとする。この場合、第２生成部１３３は、第１指標値が０．１であるユーザが、第１行動である広告コンテンツをクリックする行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）は１０％であると予測する第２モデルを生成する。なお、第２生成部１３３が第２モデルを生成する例は、この例に限られない。
なお、第２生成部１３３は、いかなる学習アルゴリズムを用いて第２モデルを生成してもよい。例えば、第２生成部１３３は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて第２モデルを生成する。一例として、第２生成部１３３がニューラルネットワークを用いて第２モデルを生成する場合、第２モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
第２モデルは、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが第２行動を起こすか否かに関する第１指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された第１指標値に応じて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。
第２モデルは、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが第２行動を起こすか否かに関する第１指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された第１指標値に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。
ここで、第２モデルが「y=1/(1+exp(-t))、t=a0+a1*x1+a2*x2+・・・+ai*xi」で示すロジスティック回帰モデルで実現されるとする。この場合、第１モデルが含む第１要素は、x1やx2等といった入力データ（xi）に対応する。ここで、入力データ（xi）は所定のユーザの第１指標値である。また、yは予測確率（0〜1の値）である第２指標値である。例えば、yは、所定のユーザが第１行動である広告コンテンツをクリックする行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）である。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、ロジスティック回帰モデルは、標準シグモイド関数σを用いると「y=σ(t)=σ(a1*x1+a2*x2+・・・+ai*xi)」のように表せる。したがって、ロジスティック回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。なお、ロジスティック回帰では、最尤法によりパラメータ（係数ai）を推定する。具体的には、最尤法では、モデルのパラメータ（係数ai）を推定する尤度関数を導出する。そして、負の対数尤度関数が最小になるように反復解法を繰り返すことにより、パラメータ（係数ai）を推定する。
広告配信装置（算出装置）１００は、上述したロジスティック回帰モデル等、発生確率を予測するために用いられるモデルであって、任意の構造を有する第２モデルを用いて、第２指標値の算出を行う。具体的には、第２モデルは、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが第２行動を起こすか否かに関する第１指標値が入力された場合に、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を出力するように係数が設定される。広告配信装置（算出装置）１００は、このような第２モデルを用いて、第２指標値を算出する。
（第１算出部１３４）
第１算出部１３４は、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて、所定のユーザが第２行動を起こすか否かに関する第１指標値を算出する。具体的には、第１算出部１３４は、第１生成部１３２が生成した第１モデルを用いて、第１指標値を算出する。
例えば、第１算出部１３４は、第１行動を起こすことなく第２行動を起こしたユーザの情報として、第１行動である広告コンテンツを選択する行動を起こすことなく第２行動である広告コンテンツの広告主にとって利益につながる行動を起こしたユーザの情報に基づいて、所定のユーザが第２行動である広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出する。
第１算出部１３４は、受付部１３１がユーザ端末１０から広告コンテンツの配信要求を受け付けると、配信候補の広告コンテンツを選択する。例えば、第１算出部１３４は、配信要求元のユーザの直近の検索クエリが「ノートパソコン」である場合、広告コンテンツに設定されたキーワードに「ノートパソコン」が含まれる広告コンテンツを配信候補の広告コンテンツとして選択する。例えば、第１算出部１３４は、広告コンテンツＡＤ１と広告コンテンツＡＤ２を配信候補の広告コンテンツとして選択する。
続いて、第１算出部１３４は、配信候補の広告コンテンツ毎に、当該広告コンテンツの第１指標値を算出する。具体的には、第１算出部１３４は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツの広告コンテンツＩＤに対応する第１モデルを選択する。例えば、第１算出部１３４は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ１の広告コンテンツＩＤ「ＡＤ１」に対応する第１モデルＭ１１を選択する。例えば、広告配信装置（算出装置）１００は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ２の広告コンテンツＩＤ「ＡＤ２」に対応する第１モデルＭ２１を選択する。
そして、第１算出部１３４は、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第１モデルに入力することにより、広告配信対象のユーザの第１指標値を算出する。例えば、第１算出部１３４は、広告コンテンツＡＤ１については、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第１モデルＭ１１に入力することにより、広告配信対象のユーザの第１指標値Ｆ１１を算出する。例えば、第１算出部１３４は、広告コンテンツＡＤ２については、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第１モデルＭ２１に入力することにより、広告配信対象のユーザの第１指標値Ｆ２１を算出する。
（第２算出部１３５）
第２算出部１３５は、第１算出部１３４が算出した第１指標値に基づいて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を算出する。具体的には、第２算出部１３５は、第２生成部１３３が生成した第２モデルを用いて、第２指標値を算出する。
また、第２算出部１３５は、第１指標値に基づいて、第２指標値として第２行動を起こす確率を算出する。第２算出部１３５は、第２行動を起こす度合いを示す数値である第１指標値を、第２行動を起こす確率である第２指標値に変換する。
例えば、第２算出部１３５は、所定のユーザが、第１行動である広告コンテンツを選択する行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第２指標値を算出する。
また、第２算出部１３５は、第２行動である広告コンテンツの広告主にとって利益につながる行動を得るためにかかる広告コンテンツにおける広告費の目標値と、第２算出部１３５により算出された第２指標値であるコンバージョン率とに基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を算出してもよい。
第２算出部１３５は、第１算出部１３４が第１指標値を算出すると、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する。
第２算出部１３５は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツの広告コンテンツＩＤに対応する第２モデルを選択する。例えば、第２算出部１３５は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ１の広告コンテンツＩＤ「ＡＤ１」に対応する第２モデルＭ１２を選択する。例えば、第２算出部１３５は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ２の広告コンテンツＩＤ「ＡＤ２」に対応する第２モデルＭ２２を選択する。
そして、第２算出部１３５は、算出した第１指標値を選択した第２モデルに入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する。例えば、第２算出部１３５は、広告コンテンツＡＤ１については、算出した第１指標値Ｆ１１を選択した第２モデルＭ１２に入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）「０．１２５」を算出する。例えば、第２算出部１３５は、広告コンテンツＡＤ２については、算出した第１指標値Ｆ２１を選択した第２モデルＭ２２に入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）「０．２２５」を算出する。
（配信部１３６）
配信部１３６は、配信候補の広告コンテンツの入札単価を算出する。また、配信部１３６は、抽出した広告コンテンツを配信要求元のユーザ端末に配信する。
配信部１３６は、第２算出部が第２指標値（コンバージョン率）を算出すると、広告主端末３０から受け付けた目標コンバージョン単価（目標ＣＰＡ）と第２算出部１３５が第２指標値（コンバージョン率）を乗じることにより、配信候補の広告コンテンツの入札単価を算出する。
例えば、広告コンテンツＡＤ１には、目標ＣＰＡ「１５，０００」が設定され、また、広告コンテンツＡＤ２には、目標ＣＰＡ「２０，０００」が設定されているものとする。この場合、配信部１３６は、広告コンテンツＡＤ１については、広告コンテンツＡＤ１の目標ＣＰＡ「１５，０００」と第２算出部１３５が第２指標値（コンバージョン率）「０．１２５」を乗じることにより、広告コンテンツＡＤ１の入札単価「１，８７５」を算出する。また、配信部１３６は、広告コンテンツＡＤ２については、広告コンテンツＡＤ２の目標ＣＰＡ「２０，０００」と第２算出部が第２指標値（コンバージョン率）「０．２２５」を乗じることにより、広告コンテンツＡＤ２の入札単価「４，５００」を算出する。
続いて、配信部１３６は、配信候補の広告コンテンツのなかから、配信する広告コンテンツを抽出する。具体的には、配信部１３６は、算出した入札単価とクリック率（ＣＴＲ：Click Through Rate）とを乗じたｅＣＰＭ（effective Cost Per Mill）に基づいて、配信対象の広告コンテンツを抽出する。
例えば、広告コンテンツＡＤ１のＣＴＲが「０．０５」、広告コンテンツＡＤ２のＣＴＲが「０．０３」であるとする。この場合、配信部１３６は、広告コンテンツＡＤ１の入札単価「１，８７５」と広告コンテンツＡＤ１のＣＴＲ「０．０５」とを乗じることにより、広告コンテンツＡＤ１のｅＣＰＭ「９４」を算出する。また、配信部１３６は、広告コンテンツＡＤ２の入札単価「４，５００」と広告コンテンツＡＤ２のＣＴＲ「０．０３」とを乗じることにより、広告コンテンツＡＤ２のｅＣＰＭ「１３５」を算出する。そして、配信部１３６は、上記のように算出した２つのｅＣＰＭのうち、値の大きいｅＣＰＭが算出された広告コンテンツＡＤ２を配信対象の広告コンテンツとして抽出する。
続いて、配信部１３６は、抽出した広告コンテンツＡＤ２を配信要求元のユーザ端末１０に配信する。
〔４．第１モデル生成処理のフロー〕
次に、図７を用いて、実施形態に係る第１モデル生成処理の手順について説明する。図７は、実施形態に係る第１モデル生成処理手順を示すフローチャートである。
図７に示すように、広告配信装置（算出装置）１００は、広告コンテンツをクリックしていないユーザの検索クエリ、訪問ページ等のアクセスログを取得する（ステップＳ１０１）。
続いて、広告配信装置（算出装置）１００は、広告コンテンツをクリックしていないユーザが、広告主にとって利益につながる行動を起こしたか否かに関する情報を取得する（ステップＳ１０２）。
続いて、広告配信装置（算出装置）１００は、第１モデルを生成する（ステップＳ１０３）。
〔５．第２モデル生成処理のフロー〕
次に、図８を用いて、実施形態に係る第２モデル生成処理の手順について説明する。図８は、実施形態に係る第２モデル生成処理手順を示すフローチャートである。
図８に示すように、広告配信装置（算出装置）１００は、広告コンテンツをクリックしたユーザの第１指標値を算出する（ステップＳ２０１）。
続いて、広告配信装置（算出装置）１００は、広告コンテンツをクリックしたユーザが、コンバージョンに至ったか否かに関する情報を取得する（ステップＳ２０２）。
続いて、広告配信装置（算出装置）１００は、第２モデルを生成する（ステップＳ２０３）。
〔６．算出処理のフロー〕
次に、図９を用いて、実施形態に係る算出処理の手順について説明する。図９は、実施形態に係る算出処理手順を示すフローチャートである。
図９に示すように、広告配信装置（算出装置）１００は、ユーザから広告コンテンツの配信要求を受け付けたか否かを判定する（ステップＳ３０１）。広告配信装置（算出装置）１００は、ユーザから広告コンテンツの配信要求を受け付けていない場合（ステップＳ３０１；Ｎｏ）、ユーザから広告コンテンツの配信要求を受け付けるまで待機する。
広告配信装置（算出装置）１００は、ユーザから広告コンテンツの配信要求を受け付けた場合（ステップＳ３０１；Ｙｅｓ）、配信候補の広告コンテンツを選択する（ステップＳ３０２）。
続いて、広告配信装置（算出装置）１００は、広告配信対象のユーザの検索クエリ、訪問ページ等のアクセスログを取得する（ステップＳ３０３）。
続いて、広告配信装置（算出装置）１００は、広告配信対象のユーザの第１指標値を算出する（ステップＳ３０４）。
続いて、広告配信装置（算出装置）１００は、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する（ステップＳ３０５）。
続いて、広告配信装置（算出装置）１００は、配信候補の広告コンテンツの入札単価を算出する（ステップＳ３０６）。
続いて、広告配信装置（算出装置）１００は、配信候補の広告コンテンツのなかから、配信する広告コンテンツを決定する（ステップＳ３０７）。
続いて、広告配信装置（算出装置）１００は、決定した広告コンテンツを配信要求元のユーザ端末１０に配信する（ステップＳ３０８）。
〔７．変形例〕
上述した実施形態に係る算出システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、算出システム１の他の実施形態について説明する。
〔７−１．小さなメディアのページを訪れる行動に連動して特定のニュース記事を閲覧する行動を起こす確率を算出する〕
図１では、算出装置１００は、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告コンテンツＡＤ１をクリックする行動に連動して第２行動である広告コンテンツＡＤ１の広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出する例を示したが、第１行動は広告コンテンツＡＤ１をクリックする行動以外の他の行動であってもよい。また、第２行動は、第１行動に連動して起こり得る行動であって第１行動と異なる行動であれば、広告コンテンツＡＤ１の広告主にとって利益につながる行動以外の他の行動であってもよい。
具体的には、算出装置１００は、算出した第１指標値に基づいて、ターゲットのユーザが第１行動である小さなメディアのページを訪れる行動に連動して第２行動である特定のニュース記事を閲覧する行動を起こすか否かに関する第２指標値を算出してもよい。
なお、第１指標値は、小さなメディアのページを訪れたか否かに関わらず、ユーザが特定のニュース記事を閲覧する行動を起こす度合いを示す数値である。また、第２指標値は、ユーザが小さなメディアのページを訪れる行動に連動して特定のニュース記事を閲覧する行動を起こす確率である。
例えば、算出装置１００は、小さなメディアＳのページを訪れていないユーザの検索クエリや訪問ページといったアクセスログから、小さなメディアＳのページを訪れていないユーザが特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第１指標値を予測する第１モデルＭ１７を生成する。このように、算出装置１００は、第１モデルＭ１７の学習用のデータとして、小さなメディアＳのページを訪れていないユーザの情報を用いて、所定のユーザが特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第１指標値を予測する第１モデルＭ１７を生成する。
ここで、小さなメディアＳのページを訪れていないユーザの数は、小さなメディアＳのページを訪れたユーザの数に比べると、圧倒的に多いものとする。また、小さなメディアＳのページを訪れることなく、特定のニュース記事Ａを閲覧するユーザの数は非常に多いものとする。このため、算出装置１００は、第１モデルＭ１７の学習用のデータとして、小さなメディアＳのページを訪れたユーザの数に比べると、多量に存在する小さなメディアＳのページを訪れていないユーザの情報を用いて、第１モデルＭ１７を生成する。
続いて、算出装置１００は、生成した第１モデルＭ１７に小さなメディアＳのページを訪れたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、小さなメディアＳのページを訪れたユーザの第１指標値を算出する。そして、算出装置１００は、小さなメディアＳのページを訪れたユーザの第１指標値から、小さなメディアＳのページを訪れたユーザが特定のニュース記事Ａを閲覧するか否かに関する第２指標値を予測する第２モデルＭ２７を生成する。このように、算出装置１００は、第２モデルＭ２７の学習用のデータとして、小さなメディアＳのページを訪れたユーザの情報を用いて、所定のユーザの第１指標値に基づいて、所定のユーザが小さなメディアＳのページを訪れる行動に連動して特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第２指標値を予測する第２モデルＭ２７を生成する。
続いて、算出装置１００は、生成した第１モデルＭ１７にターゲットのユーザの検索クエリや訪問ページといったアクセスログを入力することにより、ターゲットのユーザの第１指標値を算出する。
続いて、算出装置１００は、生成した第２モデルＭ２７にターゲットのユーザの第１指標値を入力することにより、ターゲットのユーザの第２指標値を算出する。
上述したように、算出装置１００は、第１行動である小さなメディアＳのページを訪れる行動を起こすことなく第２行動である特定のニュース記事Ａを閲覧する行動を起こしたユーザの情報に基づいて、ターゲットのユーザが特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第１指標値を算出する。
すなわち、算出装置１００は、第１行動である小さなメディアＳのページを訪れる行動を起こすことなく第２行動である特定のニュース記事Ａを閲覧する行動を起こしたユーザの情報に基づいて、所定のユーザが特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第１指標値を算出するための第１モデルＭ１７を生成する。そして、算出装置１００は、生成した第１モデルＭ１７を用いて、ターゲットのユーザが特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第１指標値を算出する。そして、上述したように、第１モデルＭ１７が学習用のデータとして用いる小さなメディアＳのページを訪れていないユーザの情報は多量に存在する。
このように、算出装置１００は、第１モデルＭ１７の学習用のデータとして多量のデータを用いることにより、第１モデルＭ１７の学習の精度を高めることができる。また、算出装置１００は、精度の高い学習によって生成された第１モデルＭ１７を用いて第１指標値を算出することにより、第２指標値を予測する第２モデルＭ２７の特徴量として、精度の高い特徴量である第１指標値を算出することができる。
ここで、精度の高い特徴量とは、第２指標値を予測する第２モデルＭ２７について、第２モデルＭ２７の特徴量として第１指標値を用いると、第２モデルＭ２７の出力結果である第２指標値と第１指標値との相関が高いことを意味する。つまり、第１指標値は、第２指標値を予測する第２モデルＭ２７の特徴量として、尤もらしい特徴量であることを意味する。
このように、算出装置１００は、第２モデルＭ２７の特徴量として第１指標値を用いると、第２モデルＭ２７の出力結果である第２指標値との相関が高い特徴量である第１指標値を算出することができる。つまり、算出装置１００は、第２指標値を予測する第２モデルＭ２７の特徴量として、尤もらしい特徴量である第１指標値を算出することができる。
上述したように、算出装置１００は、算出した第１指標値に基づいて、ターゲットのユーザが第１行動である小さなメディアＳのページを訪れる行動に連動して第２行動である特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第２指標値を算出する。
すなわち、算出装置１００は、第１行動である小さなメディアＳのページを訪れる行動を起こしたユーザの第１指標値に基づいて、所定のユーザが第１行動である小さなメディアＳのページを訪れる行動に連動して第２行動である特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第２指標値を算出するための第２モデルＭ２７を生成する。そして、算出装置１００は、ターゲットのユーザの第１指標値を生成した第２モデルＭ２７に入力することにより、ターゲットのユーザが第１行動である小さなメディアＳのページを訪れる行動に連動して第２行動である特定のニュース記事Ａを閲覧する行動を起こすか否かに関する第２指標値を算出する。
このように、算出装置１００は、第２モデルＭ２７の学習用のデータとして、精度の高い特徴量である第１指標値を用いることにより、学習用のデータの数が少なくても、第２モデルＭ２７の学習の精度を高めることができる。また、算出装置１００は、精度の高い特徴量である第１指標値に基づいて第２指標値を算出することにより、ターゲットのユーザが第１行動である小さなメディアＳのページを訪れる行動に連動して第２行動である特定のニュース記事Ａを閲覧する行動を起こすか否かを予測する指標値としての精度が高い第２指標値を算出することができる。さらに、算出装置１００は、精度の高い学習によって生成された第２モデルＭ２７に精度の高い特徴量である第１指標値を入力することにより、精度の高い第２指標値を算出することができる。
したがって、算出装置１００は、ターゲットのユーザが所定の行動である小さなメディアＳのページを訪れる行動に連動する別の行動である特定のニュース記事Ａを閲覧する行動を起こすか否かの予測精度を高めることができる。
〔７−２．広告グループのコンバージョン率を算出する〕
図１では、算出装置１００は、ある特定の広告コンテンツＡＤ１について第１モデルＭ１１と第２モデルＭ１２を生成する例を示したが、複数の広告コンテンツから成る広告グループ毎に第１モデルと第２モデルを生成してもよい。そして、算出装置１００は、算出した第１指標値に基づいて、広告配信対象のユーザが第１行動である広告グループに含まれるいずれかの広告コンテンツをクリックする行動に連動して第２行動である広告グループの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を算出してもよい。ここで、広告グループとは、広告コンテンツは異なるが、広告が対象とする商品が同一であるような複数の広告コンテンツから成るグループを意味する。
なお、第１指標値は、広告グループに含まれるいずれかの広告コンテンツをクリックしたか否かに関わらず、ユーザが広告グループの広告主にとって利益につながる行動（コンバージョン）を起こす度合いを示す数値である。また、第２指標値は、ユーザが広告グループに含まれるいずれかの広告コンテンツをクリックする行動に連動して広告グループの広告主にとって利益につながる行動（コンバージョン）を起こす確率である。
例えば、広告グループＧは、広告コンテンツは異なるが、広告が対象とする商品が同一である複数の広告コンテンツから成るグループであるものとする。
図１のステップＳ１１において、算出装置１００は、広告グループＧに含まれるいずれの広告コンテンツもクリックしていないユーザの検索クエリや訪問ページといったアクセスログから、広告グループＧに含まれるいずれの広告コンテンツもクリックしていないユーザが広告グループＧの広告主にとって利益につながる行動（例えば、広告グループＧの商品購入等）を起こすか否かに関する第１指標値を予測する第１モデルＭ８１を生成する。このように、算出装置１００は、第１モデルＭ８１の学習用のデータとして、広告グループＧに含まれるいずれの広告コンテンツもクリックしていないユーザの情報を用いて、所定のユーザが広告グループＧの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を予測する第１モデルＭ８１を生成する。
ここで、広告グループＧに含まれるいずれの広告コンテンツもクリックしていないユーザの数は、広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザの数に比べると、圧倒的に多いものとする。このため、算出装置１００は、第１モデルＭ８１の学習用のデータとして、広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザの数に比べると、多量に存在する広告グループＧに含まれるいずれの広告コンテンツもクリックしていないユーザの情報を用いて、第１モデルＭ８１を生成する。
続いて、図１のステップＳ１２において、算出装置１００は、生成した第１モデルＭ８１に広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザの第１指標値を算出する。そして、算出装置１００は、広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザの第１指標値から、広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザがコンバージョンに至るか否かに関する第２指標値（コンバージョン率）を予測する第２モデルＭ８２を生成する。このように、算出装置１００は、第２モデルＭ８２の学習用のデータとして、広告グループＧに含まれるいずれかの広告コンテンツをクリックしたユーザの情報を用いて、所定のユーザの第１指標値に基づいて、所定のユーザが広告グループＧに含まれるいずれかの広告コンテンツをクリックする行動に連動して広告グループＧの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を予測する第２モデルＭ８２を生成する。言い換えると、算出装置１００は、第２モデルＭ８２の特徴量として第１指標値を用いる。
続いて、図１のステップＳ１３において、算出装置１００は、生成した第１モデルＭ８１に広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告配信対象のユーザの第１指標値を算出する。
続いて、図１のステップＳ１４において、算出装置１００は、生成した第２モデルＭ８２に広告配信対象のユーザの第１指標値を入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する。
〔８．効果〕
上述してきたように、実施形態に係る算出装置１００は、第１算出部１３４と第２算出部１３５とを有する。第１算出部１３４は、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて、所定のユーザが第２行動を起こすか否かに関する第１指標値を算出する。第２算出部１３５は、第１算出部１３４が算出した第１指標値に基づいて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を算出する。
これにより、実施形態に係る算出装置１００は、ユーザが第１行動に連動して第２行動を起こすか否かの予測精度を高めることができる。したがって、算出装置１００は、ユーザが所定の行動に連動する別の行動を起こすか否かの予測精度を高めることができる。
また、第１生成部１３２は、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて、所定のユーザが第２行動を起こすか否かに関する第１指標値を算出するための第１モデルを生成する。また、第１算出部１３４は、第１生成部１３２が生成した第１モデルを用いて、第１指標値を算出する。
これにより、算出装置１００は、第１モデルの学習用のデータとして多量のデータを用いることで、第１モデルの学習の精度を高めることができる。また、算出装置１００は、精度の高い学習によって生成された第１モデルを用いて第１指標値を算出することにより、第２指標値を予測する第２モデルの特徴量として、精度の高い特徴量である第１指標値を算出することができる。また、算出装置１００は、第２モデルの出力結果である第２指標値との相関が高い特徴量である第１指標値を算出することができる。つまり、算出装置１００は、第２指標値を予測する第２モデルの特徴量として、尤もらしい特徴量である第１指標値を算出することができる。
また、第２生成部１３３は、第１行動を起こしたユーザの第１指標値に基づいて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を算出するための第２モデルを生成する。また、第２算出部１３５は、第２生成部１３３が生成した第２モデルを用いて、第２指標値を算出する。
また、算出装置１００は、第２モデルの学習用のデータとして、精度の高い特徴量である第１指標値を用いることにより、学習用のデータの数が少なくても、第２モデルの学習の精度を高めることができる。また、算出装置１００は、精度の高い特徴量である第１指標値に基づいて第２指標値を算出することにより、所定のユーザが第１行動に連動して第２行動を起こすか否かを予測する指標値としての精度が高い第２指標値を算出することができる。さらに、算出装置１００は、精度の高い学習によって生成された第２モデルに精度の高い特徴量である第１指標値を入力することにより、精度の高い第２指標値を算出することができる。したがって、算出装置１００は、ユーザが所定の行動に連動する別の行動を起こすか否かの予測精度を高めることができる。
また、第２算出部１３５は、第１指標値に基づいて、第２指標値として第２行動を起こす確率を算出する。第２算出部１３５は、第２行動を起こす度合いを示す数値である第１指標値を、第２行動を起こす確率である第２指標値に変換する。
これにより、算出装置１００は、精度の高い特徴量である第１指標値を入力することにより、精度の高い確率を算出することができる。したがって、算出装置１００は、ユーザが所定の行動に連動する別の行動を起こすか否かの予測確率を高めることができる。
また、第１算出部１３４は、第１行動を起こすことなく第２行動を起こしたユーザの情報として、第１行動である広告コンテンツを選択する行動を起こすことなく第２行動である広告コンテンツの広告主にとって利益につながる行動を起こしたユーザの情報に基づいて、所定のユーザが第２行動である広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出する。また、第２算出部１３５は、所定のユーザが、第１行動である広告コンテンツを選択する行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第２指標値を算出する。
これにより、算出装置１００は、第１モデルの学習用のデータとして多量のデータを用いることにより、第１モデルの学習の精度を高めることができる。また、算出装置１００は、精度の高い学習によって生成された第１モデルを用いて第１指標値を算出することにより、第２指標値（コンバージョン率）を予測する第２モデルの特徴量として、精度の高い特徴量である第１指標値を算出することができる。また、算出装置１００は、第２モデルの出力結果である第２指標値（コンバージョン率）との相関が高い特徴量である第１指標値を算出することができる。つまり、算出装置１００は、第２指標値（コンバージョン率）を予測する第２モデルの特徴量として、尤もらしい特徴量である第１指標値を算出することができる。
さらに、算出装置１００は、第２モデルの学習用のデータとして、精度の高い特徴量である第１指標値を用いることにより、学習用のデータの数が少なくても、第２モデルの学習の精度を高めることができる。また、算出装置１００は、精度の高い第１指標値に基づいて第２指標値（コンバージョン率）を算出することにより、広告配信対象のユーザが第１行動である広告コンテンツをクリックする行動に連動して第２行動である広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かを予測する指標値としての精度が高い第２指標値（コンバージョン率）を算出することができる。さらに、算出装置１００は、精度の高い学習によって生成された第２モデルに精度の高い特徴量である第１指標値を入力することにより、精度の高い第２指標値（コンバージョン率）を算出することができる。したがって、算出装置１００は、広告配信対象のユーザが所定の行動である広告コンテンツをクリックする行動に連動する別の行動である広告主にとって利益につながる行動を起こすか否かの予測精度（コンバージョン率の予測精度）を高めることができる。
また、配信部１３６は、第２行動である広告コンテンツの広告主にとって利益につながる行動を得るためにかかる広告コンテンツにおける広告費の目標値と、第２算出部１３５により算出された第２指標値であるコンバージョン率とに基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を算出する。
これにより、算出装置１００は、精度の高いコンバージョン率を用いて入札単価を算出することにより、精度の高い入札単価を算出することができる。また、算出装置１００は、精度の高いコンバージョン率を算出することにより、精度の高い入札単価を算出することができる。また、算出装置１００は、精度の高い入札単価を算出することにより、広告主端末３０から受け付けた広告主の目標コンバージョン単価を保ちつつ、広告コンテンツを配信することができる。
また、第２モデルは、第１行動を起こすことなく第２行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが第２行動を起こすか否かに関する第１指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された第１指標値に応じて、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。
これにより、算出装置１００は、第２モデルの学習用のデータとして、精度の高い特徴量である第１指標値を用いることにより、学習用のデータの数が少なくても、第２モデルの学習の精度を高めることができる。また、算出装置１００は、精度の高い特徴量である第１指標値に基づいて第２指標値を算出することにより、所定のユーザが第１行動に連動して第２行動を起こすか否かを予測する指標値としての精度が高い第２指標値を算出することができる。さらに、算出装置１００は、精度の高い学習によって生成された第２モデルに精度の高い特徴量である第１指標値を入力することにより、精度の高い第２指標値を算出することができる。したがって、算出装置１００は、ユーザが所定の行動に連動する別の行動を起こすか否かの予測精度を高めることができる。
〔９．ハードウェア構成〕
また、上述してきた実施形態に係る算出装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、算出装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が実施形態に係る算出装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、第１モデル、第２モデル）を実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、第１モデル、第２モデル）を記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムまたはデータ（例えば、第１モデル、第２モデル）を取得してもよい。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔１０．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、第１生成部は、第１生成手段や第１生成回路に読み替えることができる。
１ 算出システム
１０ ユーザ端末
２０ アクセスログサーバ
３０ 広告主端末
１００ 算出装置
１２１ 広告情報記憶部
１２２ 広告配信履歴記憶部
１２３ モデル記憶部
１３１ 受付部
１３２ 第１生成部
１３３ 第２生成部
１３４ 第１算出部
１３５ 第２算出部
１３６ 配信部

Claims (10)

  1. 第１行動を起こしていない第１ユーザの情報を用いて生成された第１モデルであって、前記第１ユーザの情報から前記第１行動を起こすことなく第２行動を起こすか否かに関する第１指標値を算出するように学習された第１モデルを用いて、処理対象となる対象ユーザの情報から、前記対象ユーザの第１指標値を算出する第１算出部と、
    前記第１行動を起こした第２ユーザの情報を用いて生成された第２モデルであって、前記第２ユーザの情報から前記第１モデルにより算出された第１指標値から、前記第１行動に連動して前記第２行動を起こすか否かに関する第２指標値を算出するように学習された第２モデルを用いて、前記第１算出部が算出した前記対象ユーザの第１指標値から、当該対象ユーザの第２指標値を算出する第２算出部と、
    を備えることを特徴とする算出装置。
  2. 前記第１行動を起こしていない第１ユーザの情報から前記第１行動を起こすことなく前記第２行動を起こすか否かに関する第１指標値を算出するように学習された第１モデルを生成する第１生成部をさらに備え、
    前記第１算出部は、
    前記第１生成部が生成した第１モデルを用いて、前記対象ユーザの情報から、前記対象ユーザの第１指標値を算出する
    ことを特徴とする請求項１に記載の算出装置。
  3. 前記第１行動を起こした第２ユーザの情報から前記第１モデルにより算出された第１指標値から、前記第１行動に連動して前記第２行動を起こすか否かに関する第２指標値を算出するように学習された第２モデルを生成する第２生成部をさらに備え、
    前記第２算出部は、
    前記第２生成部が生成した第２モデルを用いて、前記第１算出部が算出した前記対象ユーザの第１指標値から、当該対象ユーザの第２指標値を算出する
    ことを特徴とする請求項１または２に記載の算出装置。
  4. 前記第２算出部は、
    前記第１算出部が算出した前記対象ユーザの第１指標値から、当該対象ユーザの第２指標値として、当該対象ユーザが前記第１行動に連動して前記第２行動を起こす確率を算出する
    ことを特徴とする請求項１〜３のいずれか１つに記載の算出装置。
  5. 前記第２算出部は、
    前記第１算出部が算出した前記対象ユーザの第１指標値を、当該対象ユーザが前記第１行動に連動して前記第２行動を起こす確率である前記第２指標値に変換する
    ことを特徴とする請求項４に記載の算出装置。
  6. 前記第１算出部は、
    前記第１行動を起こしていない第１ユーザの情報として、前記第１行動である広告コンテンツを選択する行動を起こしていない前記第１ユーザの情報から、前記第１行動である広告コンテンツを選択する行動を起こすことなく前記第２行動である当該広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を算出するように学習された前記第１モデルを用いて、前記対象ユーザの情報から、前記第１指標値を算出し、
    前記第２算出部は、
    前記第１行動である広告コンテンツを選択する行動を起こした第２ユーザの情報から前記第１モデルにより算出された第１指標値から、前記第１行動である広告コンテンツを選択する行動に連動して前記第２行動である当該広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第２指標値を算出するように学習された前記第２モデルを用いて、前記第１算出部が算出した前記対象ユーザの第１指標値から、当該対象ユーザの第２指標値を算出する
    ことを特徴とする請求項１〜５のいずれか１つに記載の算出装置。
  7. 前記第２行動である広告コンテンツの広告主にとって利益につながる行動を得るためにかかる広告コンテンツにおける広告費の目標値と、前記第２算出部により算出された第２指標値であるコンバージョン率とに基づいて、前記広告コンテンツが配信対象として選択される基準となる入札単価を算出する配信部
    をさらに備えることを特徴とする請求項６に記載の算出装置。
  8. 第１行動を起こしていない第１ユーザの情報を用いて生成された第１モデルであって、前記第１ユーザの情報から前記第１行動を起こすことなく第２行動を起こすか否かに関する第１指標値を算出するように学習された第１モデルを用いて、処理対象となる対象ユーザの情報から算出された前記対象ユーザの第１指標値が入力される入力層と、
    出力層と、
    前記入力層から前記出力層までのいずれかの層であって前記出力層以外の層に属する第１要素と、
    前記第１要素と前記第１要素の重みとに基づいて値が算出される第２要素と、を含み、
    前記入力層に入力された前記第１指標値に応じて、前記対象ユーザが前記第１行動に連動して前記第２行動を起こすか否かに関する第２指標値を前記出力層から出力するよう、
    コンピュータを機能させるための第２モデル。
  9. コンピュータが実行する算出方法であって、
    第１行動を起こしていない第１ユーザの情報を用いて生成された第１モデルであって、前記第１ユーザの情報から前記第１行動を起こすことなく第２行動を起こすか否かに関する第１指標値を算出するように学習された第１モデルを用いて、処理対象となる対象ユーザの情報から、前記対象ユーザの第１指標値を算出する第１算出工程と、
    前記第１行動を起こした第２ユーザの情報を用いて生成された第２モデルであって、前記第２ユーザの情報から前記第１モデルにより算出された第１指標値から、前記第１行動に連動して前記第２行動を起こすか否かに関する第２指標値を算出するように学習された第２モデルを用いて、前記第１算出工程が算出した前記対象ユーザの第１指標値から、当該対象ユーザの第２指標値を算出する第２算出工程と、
    を含むことを特徴とする算出方法。
  10. 第１行動を起こしていない第１ユーザの情報を用いて生成された第１モデルであって、前記第１ユーザの情報から前記第１行動を起こすことなく第２行動を起こすか否かに関する第１指標値を算出するように学習された第１モデルを用いて、処理対象となる対象ユーザの情報から、前記対象ユーザの第１指標値を算出する第１算出手順と、
    前記第１行動を起こした第２ユーザの情報を用いて生成された第２モデルであって、前記第２ユーザの情報から前記第１モデルにより算出された第１指標値から、前記第１行動に連動して前記第２行動を起こすか否かに関する第２指標値を算出するように学習された第２モデルを用いて、前記第１算出手順が算出した前記対象ユーザの第１指標値から、当該対象ユーザの第２指標値を算出する第２算出手順と、
    をコンピュータに実行させることを特徴とする算出プログラム。
JP2017157659A 2017-08-17 2017-08-17 算出装置、算出方法、算出プログラム及び第２モデル Active JP6985848B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017157659A JP6985848B2 (ja) 2017-08-17 2017-08-17 算出装置、算出方法、算出プログラム及び第２モデル

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017157659A JP6985848B2 (ja) 2017-08-17 2017-08-17 算出装置、算出方法、算出プログラム及び第２モデル

Publications (2)

Publication Number Publication Date
JP2019036173A JP2019036173A (ja) 2019-03-07
JP6985848B2 true JP6985848B2 (ja) 2021-12-22

Family

ID=65655703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017157659A Active JP6985848B2 (ja) 2017-08-17 2017-08-17 算出装置、算出方法、算出プログラム及び第２モデル

Country Status (1)

Country Link
JP (1) JP6985848B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405518B2 (ja) * 2019-04-19 2023-12-26 Ｌｉｎｅヤフー株式会社 生成装置、生成方法及び生成プログラム
JP7240240B2 (ja) * 2019-04-24 2023-03-15 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7231585B2 (ja) * 2020-06-29 2023-03-01 ヤフー株式会社 評価装置、評価方法及び評価プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228593A1 (en) * 2009-03-04 2010-09-09 Google Inc. Tracking offline responses to indicate online advertisement quality
US9858587B2 (en) * 2013-12-05 2018-01-02 Google Llc Methods and systems for creating a data-driven attribution model for assigning attribution credit to a plurality of events
JP6455005B2 (ja) * 2014-07-24 2019-01-23 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US20170068987A1 (en) * 2015-09-08 2017-03-09 Facebook, Inc. Measuring Advertisement Lift

Also Published As

Publication number Publication date
JP2019036173A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
US11188937B2 (en) Generating machine-learned entity embeddings based on online interactions and semantic context
JP6994872B2 (ja) 補正装置、補正方法及び補正プログラム
US10134096B2 (en) Coupon social networking platform
JP6767824B2 (ja) 判定装置、判定方法及び判定プログラム
JP6870981B2 (ja) 算出装置、算出方法及び算出プログラム
US20180253759A1 (en) Leveraging usage data of an online resource when estimating future user interaction with the online resource
JP6986906B2 (ja) 決定装置、決定方法及び決定プログラム
US20170364958A1 (en) Using real time data to automatically and dynamically adjust values of users selected based on similarity to a group of seed users
JP6985848B2 (ja) 算出装置、算出方法、算出プログラム及び第２モデル
Stange et al. Real-time advertising
JP6946082B2 (ja) 広告配信支援装置、広告配信支援方法、およびプログラム
JP6320258B2 (ja) 抽出装置、抽出方法及び抽出プログラム
JP6866069B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2018088282A (ja) 抽出装置、抽出方法及び抽出プログラム
US10362129B2 (en) Optimizing value of content items delivered for a content provider
US20180150886A1 (en) Controlling a content auction with a threshold value
JP7204800B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7189249B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6921922B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP7312680B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP7012679B2 (ja) 情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラム
JP7322085B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6527276B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
JP7453191B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US11972464B2 (en) Cumulative incrementality scores for evaluating the performance of machine learning models

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211126

R150 Certificate of patent or registration of utility model

Ref document number: 6985848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250