JP6994872B2 - Correction device, correction method and correction program - Google Patents
Correction device, correction method and correction program Download PDFInfo
- Publication number
- JP6994872B2 JP6994872B2 JP2017163673A JP2017163673A JP6994872B2 JP 6994872 B2 JP6994872 B2 JP 6994872B2 JP 2017163673 A JP2017163673 A JP 2017163673A JP 2017163673 A JP2017163673 A JP 2017163673A JP 6994872 B2 JP6994872 B2 JP 6994872B2
- Authority
- JP
- Japan
- Prior art keywords
- unit price
- advertisement content
- distribution
- correction
- advertisement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 116
- 238000000034 method Methods 0.000 title claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 171
- 230000009471 action Effects 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 230000002787 reinforcement Effects 0.000 claims description 16
- 230000008901 benefit Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、補正装置、補正方法及び補正プログラムに関する。 The present invention relates to a correction device, a correction method and a correction program.
近年、インターネットを介した広告配信が盛んに行われている。例えば、広告媒体（ウェブページ）に設定された広告枠に、企業や商品等の広告コンテンツを表示し、かかる広告コンテンツがクリックされた場合に、広告主のウェブページへ遷移させる広告配信が行われている。 In recent years, advertisement distribution via the Internet has been actively carried out. For example, advertising content such as a company or product is displayed in an advertising space set as an advertising medium (web page), and when such advertising content is clicked, an advertisement is delivered that transitions to the advertiser's web page. ing.
また、このような広告配信では、広告コンテンツを掲載する対価として、広告主に課金する課金額である入札単価が使用される場合がある。 Further, in such advertisement distribution, a bid unit price, which is a charge amount charged to the advertiser, may be used as a consideration for posting the advertisement content.
ここで、広告コンテンツに対して設定する入札単価を制御する技術が提案されている。例えば、検索キーワードに基づいて、広告コンテンツのコンバージョン率（ＣＶＲ：Conversion Rate）に対応した入札単価を広告コンテンツに対して設定する技術が提案されている。 Here, a technique for controlling the bid unit price set for the advertising content has been proposed. For example, a technique has been proposed in which a bid unit price corresponding to a conversion rate (CVR) of an advertising content is set for the advertising content based on a search keyword.
しかしながら、上記の従来技術では、目標コンバージョン単価に応じて適切に入札単価を制御することができるとは限らない。具体的には、上記の従来技術では、広告コンテンツに対応する登録キーワードと検索キーワードとの一致度に基づく重みを、出力した広告コンテンツの入札単価に乗じたものを最終的な入札単価とするにすぎず、目標コンバージョン単価に応じて適切に入札単価を制御することができるとは限らない。なお、目標コンバージョン単価とは、所定の広告コンテンツから商品購入や会員登録等の利益につながる成果を１件獲得するのにかかるコストであるコンバージョン単価（ＣＰＡ：Cost Per Action）の目標値である。 However, with the above-mentioned prior art, it is not always possible to appropriately control the bid unit price according to the target conversion unit price. Specifically, in the above-mentioned prior art, the final bid price is obtained by multiplying the weight based on the degree of matching between the registered keyword corresponding to the advertisement content and the search keyword by the bid unit price of the output advertisement content. However, it is not always possible to control the bid price appropriately according to the target conversion price. The target conversion unit price is the target value of the conversion unit price (CPA: Cost Per Action), which is the cost required to obtain one profitable result such as product purchase or membership registration from the predetermined advertising content.
本願は、上記に鑑みてなされたものであって、目標コンバージョン単価に応じて適切に入札単価を制御することができる補正装置、補正方法及び補正プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object of the present application is to provide a correction device, a correction method, and a correction program capable of appropriately controlling a bid unit price according to a target conversion unit price.
本願にかかる補正装置は、広告コンテンツの配信実績を取得する取得部と、前記取得部によって取得された広告コンテンツの配信実績と目標コンバージョン単価に基づいて、前記広告コンテンツが配信対象として選択される基準となる入札単価を補正する補正部とを備えたことを特徴とする。 The correction device according to the present application is a criterion for selecting the advertisement content as a distribution target based on the acquisition unit that acquires the distribution record of the advertisement content, the distribution record of the advertisement content acquired by the acquisition unit, and the target conversion unit price. It is characterized by having a correction unit for correcting the bid unit price.
実施形態の一態様によれば、目標コンバージョン単価に応じて適切に入札単価を制御することができるといった効果を奏する。 According to one aspect of the embodiment, there is an effect that the bid unit price can be appropriately controlled according to the target conversion unit price.
以下に、本願に係る補正装置、補正方法、補正プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る補正装置、補正方法、補正プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, the correction device, the correction method, and the embodiment for implementing the correction program (hereinafter referred to as “the embodiment”) according to the present application will be described in detail with reference to the drawings. It should be noted that this embodiment does not limit the correction device, correction method, and correction program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate explanations are omitted.
〔１．補正処理の一例〕
まず、図１を用いて、実施形態に係る補正処理の一例について説明する。図１は、実施形態に係る補正処理の一例を示す図である。図１では、広告配信装置（補正装置）１００が、広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて広告コンテンツＡＤ１が配信対象として選択される基準となる入札単価を補正する例を示す。
[1. Example of correction processing]
First, an example of the correction process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of a correction process according to an embodiment. In FIG. 1, when the advertisement distribution device (correction device) 100 has an error between the conversion unit price based on the distribution record of the advertisement content AD1 and the target conversion unit price, the advertisement content AD1 is selected as the distribution target by using reinforcement learning. An example of correcting the standard bid unit price is shown.
広告配信装置１００は、広告コンテンツの配信実績と目標コンバージョン単価に基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を補正する補正装置である。
The
以下、図１を用いて、補正処理の一例を説明する。図１に示す例では、広告配信装置１００は、第１モデルＭ１１に広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告配信対象のユーザの第１指標値を算出する（ステップＳ１）。第１指標値は、広告コンテンツＡＤ１をクリックしたか否かに関わらず、ユーザが広告コンテンツＡＤ１の広告主にとって利益につながる行動を起こす度合いを示す数値である。また、広告主にとって利益につながる行動とは、商品購入や資料請求などの行動を指す。
Hereinafter, an example of the correction process will be described with reference to FIG. In the example shown in FIG. 1, the
続いて、広告配信装置１００は、第２モデルＭ１２に広告配信対象のユーザの第１指標値を入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する（ステップＳ２）。第２指標値は、ユーザが広告コンテンツをクリックする行動に連動して広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こす確率（コンバージョン率）である。
Subsequently, the
続いて、広告配信装置１００は、広告配信対象のユーザの入札単価を決定する（ステップＳ３）。広告配信装置１００は、広告コンテンツＡＤ１の広告主によって設定された目標コンバージョン単価に第２指標値（コンバージョン率）を乗じた値を広告配信対象のユーザの入札単価として決定する。
Subsequently, the
続いて、広告配信装置１００は、広告配信対象のユーザに配信する広告コンテンツを決定する入札に参加する（ステップＳ４）。ここで、入札の結果、広告コンテンツＡＤ１は配信対象として選択されたものとする。
Subsequently, the
続いて、広告配信装置１００は、入札に勝った場合、広告コンテンツＡＤ１を広告配信対象のユーザの端末に配信する（ステップＳ５）。
Subsequently, when the
続いて、広告配信装置１００は、配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差をフィードバックする（ステップＳ６）。具体的には、広告配信装置１００は、広告コンテンツＡＤ１の配信実績として、配信実績に基づくコンバージョン単価と各ユーザの課金額を取得する。
Subsequently, the
ここで、各ユーザの課金額について説明する。広告配信装置１００は、入札の結果、広告コンテンツＡＤ１が配信対象として選択された場合は、広告コンテンツＡＤ１を配信対象のユーザに配信する。そして、広告コンテンツＡＤ１を配信されたユーザが広告コンテンツＡＤ１をクリックした場合、広告主にそのユーザの課金額として入札単価が課金される。この場合、広告配信装置１００は、そのユーザの課金額として入札単価を取得する。
Here, the billing amount of each user will be described. When the advertisement content AD1 is selected as the distribution target as a result of bidding, the
なお、広告コンテンツＡＤ１を配信されたユーザが広告コンテンツＡＤ１をクリックしなかった場合、広告主に入札単価は課金されない。この場合、広告配信装置１００は、そのユーザの課金額として０円を取得するものとする。また、入札の結果、広告コンテンツＡＤ１が配信対象として選択されなかった場合は、広告配信装置１００は、そのユーザの課金額として０円を取得するものとする。
If the user to whom the advertisement content AD1 is delivered does not click the advertisement content AD1, the bid unit price is not charged to the advertiser. In this case, the
続いて、広告配信装置１００は、広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて広告コンテンツＡＤ１が配信対象として選択される基準となる入札単価を補正する（ステップＳ７）。
Subsequently, when the
上述したように、広告配信装置１００は、広告コンテンツＡＤ１の配信実績を取得し、取得した広告コンテンツＡＤ１の配信実績と目標コンバージョン単価に基づいて、広告コンテンツＡＤ１が配信対象として選択される基準となる入札単価を補正する。
As described above, the
このように、広告配信装置１００は、広告コンテンツの配信実績に基づいて入札単価を補正することにより、配信時に予測したコンバージョン率に基づいて算出された入札単価と現実の課金額との乖離を補正することができる。したがって、広告配信装置１００は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。
In this way, the
なお、図１では、ユーザが広告コンテンツを選択する行動としてユーザが広告コンテンツをクリックする例を示したが、ユーザが広告コンテンツを選択する行動であれば、クリックに限られない。例えば、ユーザがスマートフォンを用いている場合は、ユーザが広告コンテンツを選択する行動は、タップなど任意の操作が行われることに相当する。 Note that FIG. 1 shows an example in which the user clicks the advertisement content as an action of the user selecting the advertisement content, but the action is not limited to the click as long as the user selects the advertisement content. For example, when the user is using a smartphone, the action of the user selecting the advertisement content corresponds to an arbitrary operation such as tapping.
〔２．補正システムの構成〕
次に、図２を用いて、実施形態にかかる補正装置１００が含まれる補正システム１の構成について説明する。図２は、実施形態にかかる補正システム１の構成例を示す図である。図２に例示するように、実施形態にかかる補正システム１には、ユーザ端末１０と、アクセスログサーバ２０と、広告主端末３０と、広告配信装置１００とが含まれる。これらの各種装置は、ネットワークＮ（例えば、インターネット）を介して、有線又は無線により通信可能に接続される。なお、図２に示した補正システム１には、複数台のユーザ端末１０や、複数台のアクセスログサーバ２０や、複数台の広告主端末３０が含まれてもよい。また、本実施形態では、アクセスログサーバ２０および広告配信装置１００は、事業者Ｔ１によって管理されているものとする。
[2. Compensation system configuration]
Next, the configuration of the
ユーザ端末１０は、ユーザによって利用される端末装置である。例えば、ユーザ端末１０は、タブレット型端末、ＰＣ（Personal Computer）、携帯電話機、ＰＤＡ（Personal Digital Assistant）等である。例えば、ユーザ端末１０は、所定のウェブサーバにアクセスすることで、所定のウェブサーバからウェブページを取得し、取得したウェブページを表示画面に表示する。
The
また、ユーザ端末１０は、ウェブページに広告枠が含まれる場合には、広告配信装置１００にアクセスすることで、広告配信装置１００から広告コンテンツを取得し、取得した広告コンテンツを、かかる広告枠に表示する。
Further, when the web page includes an advertisement space, the
アクセスログサーバ２０は、ユーザの検索クエリやユーザの訪問ページといったアクセスログを保持している。また、アクセスログサーバ２０は、ショッピングサービスを提供する所定のサーバ装置から、ショッピングサービスを利用しているユーザの購入履歴に関する情報を取得する。具体的には、アクセスログサーバ２０は、ショッピングサービスを提供する所定のサーバ装置から、ショッピングサービスを利用しているユーザが広告主にとって利益につながる行動（例えば、広告コンテンツの広告対象商品の購入等）を起こしたか否かに関する情報を取得する。
The
広告主端末３０は、広告主によって利用される端末装置である。例えば、広告主端末３０は、タブレット型端末、ＰＣ、携帯電話機、ＰＤＡ等である。また、広告主端末３０は、広告主の操作に従って、広告コンテンツを広告配信装置１００に入稿する。
The
例えば、広告主端末３０は、静止画像、動画像、テキストデータ等に該当する広告コンテンツを広告配信装置１００に入稿する。また、例えば、広告主端末３０は、広告コンテンツが選択操作（例えば、クリックやタップ）された場合に、遷移させる遷移先コンテンツのＵＲＬ（Uniform Resource Locator）に該当する広告コンテンツを広告配信装置１００に入稿してもよい。
For example, the
さらに、広告主端末３０は、広告主の操作に従って、広告コンテンツから商品購入や会員登録等の利益につながる成果を１件獲得するのにかかるコストであるコンバージョン単価の目標値である目標コンバージョン単価を対応する広告コンテンツに設定するよう広告配信装置１００に指示する。
Further, the
広告配信装置１００は、図１で説明した補正処理を行うサーバ装置である。また、広告配信装置１００は、広告主端末３０から入稿された広告コンテンツを配信するサーバ装置である。
The
広告配信装置１００は、広告コンテンツを配信したユーザに関する情報を保持している。具体的には、広告配信装置１００は、広告コンテンツを配信したユーザが広告コンテンツをクリックしたか否かに関する情報や、広告コンテンツを配信したユーザがコンバージョンに至ったか否かに関する情報を保持している。
The
なお、図２では、補正システム１の構成例として、アクセスログを集約して保持するアクセスログサーバ２０から補正装置１００がユーザのアクセスログを取得する例を示したが、検索サーバ装置やショッピングサーバ装置といったそれぞれのサーバ装置から補正装置１００がユーザのアクセスログを取得してもよい。
Note that FIG. 2 shows an example in which the
〔３．補正装置の構成〕
次に、図３を用いて、実施形態にかかる広告配信装置（補正装置）１００について説明する。図３は、実施形態にかかる広告配信装置（補正装置）１００の構成例を示す図である。図３に示すように、広告配信装置（補正装置）１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
[3. Configuration of correction device]
Next, the advertisement distribution device (correction device) 100 according to the embodiment will be described with reference to FIG. FIG. 3 is a diagram showing a configuration example of the advertisement distribution device (correction device) 100 according to the embodiment. As shown in FIG. 3, the advertisement distribution device (correction device) 100 includes a
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、例えば、ユーザ端末１０、アクセスログサーバ２０との間で情報の送受信を行う。
(Communication unit 110)
The
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図３に示すように、広告情報記憶部１２１と、広告配信履歴記憶部１２２と、モデル記憶部１２３とを有する。
(Memory unit 120)
The
（広告情報記憶部１２１）
広告情報記憶部１２１は、広告主端末３０から受け付けた広告コンテンツと目標コンバージョン単価に関する各種情報を記憶する。図４に、実施形態に係る広告情報記憶部１２１の一例を示す。図４に示す例では、広告情報記憶部１２１は、「広告主ＩＤ」、「広告コンテンツＩＤ」、「目標コンバージョン単価」といった項目を有する。
(Advertising information storage unit 121)
The advertisement
「広告主ＩＤ」は、広告主端末３０の広告主を識別するための識別情報を示す。
The "advertiser ID" indicates identification information for identifying the advertiser of the
「広告コンテンツＩＤ」は、広告主端末３０から受け付けた広告コンテンツを識別するための識別情報を示す。また、例えば、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツを適宜「広告コンテンツＡＤ１」と呼ぶことにする。
The "advertising content ID" indicates identification information for identifying the advertising content received from the
「目標コンバージョン単価」は、広告コンテンツにより１件のコンバージョンを得るために費やす広告費の目標値を示す。 The "target conversion unit price" indicates the target value of the advertising cost spent to obtain one conversion from the advertising content.
図４に示す例では、１レコード目は、広告主ＩＤ「Ｃ１」により識別される広告主から、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツと広告コンテンツＡＤ１により１件のコンバージョンを得るために費やす広告費の目標値「１５，０００」を受け付けたことを示している。 In the example shown in FIG. 4, the first record is for obtaining one conversion from the advertiser identified by the advertiser ID "C1" by the advertising content identified by the advertising content ID "AD1" and the advertising content AD1. It shows that the target value "15,000" of the advertising expenses to be spent on the contents has been accepted.
（広告配信履歴記憶部１２２）
広告配信履歴記憶部１２２は、広告コンテンツの配信履歴に関する各種情報を記憶する。図５に、実施形態に係る広告配信履歴記憶部１２２の一例を示す。図５に示す例では、広告配信履歴記憶部１２２は、「広告コンテンツＩＤ」、「ユーザＩＤ」、「広告クリックの有無」、「コンバージョンの有無」、「広告配信日時」といった項目を有する。
(Advertisement distribution history storage unit 122)
The advertisement distribution
「広告コンテンツＩＤ」は、配信した広告コンテンツを識別するための識別情報を示す。また、例えば、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツを適宜「広告コンテンツＡＤ１」と呼ぶことにする。 The "advertisement content ID" indicates identification information for identifying the delivered advertisement content. Further, for example, the advertising content identified by the advertising content ID "AD1" is appropriately referred to as "advertising content AD1".
「ユーザＩＤ」は、広告コンテンツの配信先のユーザを識別するための識別情報を示す。 The "user ID" indicates identification information for identifying the user to whom the advertisement content is delivered.
「広告クリックの有無」は、配信した広告コンテンツが配信先のユーザによってクリックされたか否かの情報を示す。図５に示す例では、配信先のユーザが広告コンテンツをクリックした場合を１、クリックしなかった場合を０で示す。 "Presence / absence of advertisement click" indicates information as to whether or not the delivered advertisement content was clicked by the distribution destination user. In the example shown in FIG. 5, the case where the delivery destination user clicks the advertisement content is shown as 1, and the case where the advertisement content is not clicked is shown as 0.
「コンバージョンの有無」は、広告コンテンツをクリックしたユーザがコンバージョンに至ったか否かの情報を示す。図５に示す例では、広告コンテンツをクリックしたユーザがコンバージョンに至った場合を１、コンバージョンに至らなかった場合を０で示す。 "Presence / absence of conversion" indicates information as to whether or not the user who clicked on the advertisement content has converted. In the example shown in FIG. 5, the case where the user who clicked the advertisement content reaches the conversion is shown by 1, and the case where the conversion is not reached is shown by 0.
「広告配信日時」は、広告コンテンツを配信した日時の情報を示す。 "Advertisement delivery date and time" indicates information on the date and time when the advertisement content was delivered.
図５に示す例では、１レコード目は、広告配信日時「２０１７年７月７日１６：１０」にユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）に広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツが配信されたことを示している。そして、ユーザＩＤ「Ｕ１」により識別されるユーザは、広告コンテンツＡＤ１をクリックせず、コンバージョンに至らなかったことを示す。 In the example shown in FIG. 5, the first record is identified by the advertisement content ID "AD1" to the user (user U1) identified by the user ID "U1" at the advertisement delivery date and time "July 7, 2017 16:10". Indicates that the advertising content to be delivered has been delivered. Then, the user identified by the user ID "U1" does not click the advertisement content AD1 and indicates that the conversion has not been achieved.
（モデル記憶部１２３）
モデル記憶部１２３は、広告コンテンツ毎に生成された第１モデルと第２モデルを広告コンテンツ毎に記憶する。図６に、実施形態に係るモデル記憶部１２３の一例を示す。図６に示す例では、モデル記憶部１２３は、「広告コンテンツＩＤ」、「第１モデルＩＤ」、「第２モデルＩＤ」といった項目を有する。
(Model storage unit 123)
The
「広告コンテンツＩＤ」は、広告コンテンツを識別するための識別情報を示す。 The "advertising content ID" indicates identification information for identifying the advertising content.
「第１モデルＩＤ」は、第１モデルを識別するための識別情報を示す。 The "first model ID" indicates identification information for identifying the first model.
「第２モデルＩＤ」は、第２モデルを識別するための識別情報を示す。 The "second model ID" indicates identification information for identifying the second model.
図６に示す例では、１レコード目は、広告コンテンツＩＤ「ＡＤ１」により識別される広告コンテンツについて、第１モデルＩＤ「Ｍ１１」により識別される第１モデルと第２モデルＩＤ「Ｍ１２」により識別される第２モデルが格納されていることを示している。 In the example shown in FIG. 6, the first record identifies the advertising content identified by the advertising content ID "AD1" by the first model and the second model ID "M12" identified by the first model ID "M11". It shows that the second model to be stored is stored.
（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、広告配信装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
(Control unit 130)
Returning to the description of FIG. 3, the
また、制御部１３０は、モデル記憶部１２３に記憶されている第１モデルに従った情報処理により、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力層から出力するよう、コンピュータを機能させる。
Further, the
また、制御部１３０は、モデル記憶部１２３に記憶されている第２モデルに従った情報処理により、入力層に入力された所定のユーザの第１指標値に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが第１行動に連動して第２行動を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。
Further, the
図３に示すように、制御部１３０は、受付部１３１と、第１生成部１３２と、第２生成部１３３と、第１算出部１３４と、第２算出部１３５と、配信部１３６と、取得部１３７と、補正部１３８とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
As shown in FIG. 3, the
（受付部１３１）
受付部１３１は、広告主端末３０から広告コンテンツの入稿と目標コンバージョン単価を受け付ける。例えば、受付部１３１は、広告主端末３０から広告コンテンツＡＤ１の入稿と目標コンバージョン単価（目標ＣＰＡ）を受け付ける。
(Reception Department 131)
The
また、受付部１３１は、ユーザ端末１０から広告コンテンツの配信要求を受け付ける。
Further, the
（第１生成部１３２）
第１生成部１３２は、広告コンテンツをクリックしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を予測する第１モデルを生成する。
(1st generation unit 132)
The
例えば、第１生成部１３２は、受付部１３１が広告主端末３０から広告コンテンツの入稿を受け付けると、広告コンテンツをクリックしていないユーザの情報として、広告コンテンツをクリックしていないユーザの検索クエリや訪問ページといったアクセスログをアクセスログサーバ２０から取得する。
For example, when the
また、第１生成部１３２は、広告コンテンツをクリックしていないユーザの情報として、広告コンテンツをクリックしていないユーザが広告主にとって利益につながる行動（商品購入等）を起こしたか否かに関する情報をアクセスログサーバ２０から取得する。
In addition, the
そして、第１生成部１３２は、広告コンテンツをクリックしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を予測する第１モデルを生成する。
Then, the
第１生成部１３２は、第１モデルを生成すると、生成した第１モデルをモデル記憶部１２３に格納する。
When the
なお、第１生成部１３２は、いかなる学習アルゴリズムを用いて第１モデルを生成してもよい。例えば、第１生成部１３２は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて第１モデルを生成する。一例として、第１生成部１３２がニューラルネットワークを用いて第１モデルを生成する場合、第１モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
The
第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに応じて、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を出力層から出力するよう、コンピュータを機能させる。 The first model belongs to an input layer in which an access log such as a search query or a visit page of a predetermined user is input, an output layer, and any layer from the input layer to the output layer, which is a layer other than the output layer. An access log such as a search query or a visit page of a predetermined user input to the input layer, including the first element and the second element whose value is calculated based on the first element and the weight of the first element. Accordingly, the computer is made to function so as to output the first index value regarding whether or not the predetermined user takes an action that is beneficial to the advertiser of the advertising content from the output layer.
第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第１指標値を出力層から出力するよう、コンピュータを機能させる。 The first model belongs to an input layer in which an access log such as a search query or a visit page of a predetermined user is input, an output layer, and any layer from the input layer to the output layer, which is a layer other than the output layer. An access log such as a search query or a visit page of a predetermined user input to the input layer, including the first element and the second element whose value is calculated based on the first element and the weight of the first element. On the other hand, by performing an operation based on the first element and the weight of the first element with each element belonging to each layer other than the output layer as the first element, a predetermined user performs an action that leads to profit for the advertiser of the advertisement content. Make the computer function to output the first index value regarding whether or not to wake up from the output layer.
ここで、第１モデルが「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、第１モデルが含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。 Here, it is assumed that the first model is realized by the regression model shown by "y = a 1 * x 1 + a 2 * x 2 + ... + a i * x i ". In this case, the first element included in the first model corresponds to input data (x i ) such as x 1 and x 2 . Further, the weight of the first element corresponds to the coefficient a i corresponding to x i . Here, the regression model can be regarded as a simple perceptron having an input layer and an output layer. When each model is regarded as a simple perceptron, the first element corresponds to any node of the input layer, and the second element can be regarded as the node of the output layer.
また、第１モデルがＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、第１モデルが含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。 Further, it is assumed that the first model is realized by a neural network having one or a plurality of intermediate layers such as DNN (Deep Neural Network). In this case, the first element included in the first model corresponds to either node of the input layer or the intermediate layer. Further, the second element corresponds to the node of the next stage, which is the node to which the value is transmitted from the node corresponding to the first element. Further, the weight of the first element corresponds to a connection coefficient which is a weight considered for the value transmitted from the node corresponding to the first element to the node corresponding to the second element.
広告配信装置１００は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有する第１モデルを用いて、第１指標値の算出を行う。具体的には、第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力された場合に、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力するように係数が設定される。広告配信装置１００は、このような第１モデルを用いて、第１指標値を算出する。
The
なお、上記例では、第１モデルが、所定のユーザの検索クエリや訪問ページといったアクセスログが入力された場合に、所定のユーザが第２行動を起こすか否かに関する第１指標値を出力する第１モデル（モデルＭ１Ｘとする）である例を示した。しかし、実施形態に係る第１モデルは、モデルＭ１Ｘにデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログを入力とし、モデルＭ１Ｘが出力する所定のユーザが第２行動を起こすか否かに関する第１指標値を出力とするよう学習されたモデル（モデルＭ１Ｙ)であってもよい。または、第１モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログを入力とし、モデルＭ１Ｙの出力値を出力とするよう学習されたモデルであってもよい。 In the above example, the first model outputs the first index value regarding whether or not the predetermined user takes the second action when the access log such as the search query or the visit page of the predetermined user is input. An example of the first model (referred to as model M1X) is shown. However, the first model according to the embodiment may be a model generated based on the result obtained by repeating the input / output of data to the model M1X. For example, the first model inputs an access log such as a search query or a visit page of a predetermined user, and outputs a first index value relating to whether or not the predetermined user takes a second action, which is output by the model M1X. It may be a trained model (model M1Y). Alternatively, the first model may be a model trained to input an access log such as a search query or a visit page of a predetermined user and output an output value of the model M1Y.
また、広告配信装置１００がＧＡＮ（Generative Adversarial Networks）を用いた算出処理を行う場合、第１モデルは、ＧＡＮの一部を構成するモデルであってもよい。
Further, when the
（第２生成部１３３）
第２生成部１３３は、広告コンテンツをクリックしたユーザの情報を用いて、所定のユーザの第１指標値から、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を予測する第２モデルを生成する。
(Second generation unit 133)
The
例えば、第２生成部１３３は、第１生成部１３２が第１モデルを生成すると、広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログをアクセスログサーバ２０から取得する。
For example, when the
そして、第２生成部１３３は、第１生成部１３２が生成した第１モデルに広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告コンテンツをクリックしたユーザの第１指標値を算出する。
Then, the
また、第２生成部１３３は、広告コンテンツをクリックしたユーザが広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こしたか否かに関する情報を広告配信履歴記憶部１２２から取得する。
In addition, the
例えば、第２生成部１３３が、広告コンテンツをクリックしたユーザの第１指標値を算出したところ、第１指標値が０．１であるユーザが１０人いたとする。そして、第１指標値が０．１であるユーザ１０人のうち、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こしたユーザは１人であったとする。言い換えると、第１指標値が０．１であるユーザ１０人のうち、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こさなかったユーザは９人であったとする。この場合、第２生成部１３３は、第１指標値が０．１であるユーザが、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）は１０％であると予測する第２モデルを生成する。なお、第２生成部１３３が第２モデルを生成する例は、この例に限られない。
For example, when the
また、第２生成部１３３は、第２モデルを生成すると、生成した第２モデルをモデル記憶部１２３に格納する。
Further, when the
なお、第２生成部１３３は、いかなる学習アルゴリズムを用いて第２モデルを生成してもよい。例えば、第２生成部１３３は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて第２モデルを生成する。一例として、第２生成部１３３がニューラルネットワークを用いて第２モデルを生成する場合、第２モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
The
第２モデルは、広告コンテンツをクリックすることなく広告主にとって利益につながる行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが広告主にとって利益につながる行動を起こすか否かに関する第１指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された第１指標値に応じて、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。 The second model is a first index value calculated using the first model generated based on the information of the user who has taken an action that is profitable for the advertiser without clicking the advertisement content, and is a predetermined index value. An input layer in which a first index value regarding whether or not a user takes an action that is profitable for an advertiser is input, an output layer, and any layer from the input layer to the output layer, which is a layer other than the output layer. A predetermined user according to a first index value input to an input layer, including a first element belonging to the above and a second element whose value is calculated based on the weights of the first element and the first element. Makes the computer function so that the output layer outputs a second index value regarding whether or not an action (conversion) that is beneficial to the advertiser of the advertising content is performed following the action of clicking the advertising content.
第２モデルは、広告コンテンツをクリックすることなく広告主にとって利益につながる行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが広告主にとって利益につながる行動を起こすか否かに関する第１指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された第１指標値に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値を出力層から出力するよう、コンピュータを機能させる。 The second model is a first index value calculated using the first model generated based on the information of the user who has taken an action that is profitable for the advertiser without clicking the advertisement content, and is a predetermined index value. A layer other than the output layer, which is one of the input layer, the output layer, and the input layer to the output layer, where the first index value regarding whether or not the user takes an action that is profitable for the advertiser is input. A first element belonging to the above, a second element whose value is calculated based on the weights of the first element and the first element, and a first index value input to the input layer other than the output layer. By performing an operation based on the first element and the weight of the first element with each element belonging to each layer as the first element, it is profitable for the advertiser of the advertisement content following the action of the predetermined user clicking the advertisement content. Make the computer function to output the second index value regarding whether or not to cause a connected action (conversion) from the output layer.
ここで、第２モデルが「y=1/(1+exp(-t))、t=a0+a1*x1+a2*x2+・・・+ai*xi」で示すロジスティック回帰モデルで実現されるとする。この場合、第１モデルが含む第１要素は、x1やx2等といった入力データ（xi）に対応する。ここで、入力データ（xi）は所定のユーザの第１指標値である。また、yは予測確率（0～1の値）である第２指標値である。例えば、yは、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）である。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、ロジスティック回帰モデルは、標準シグモイド関数σを用いると「y=σ(t)=σ(a1*x1+a2*x2+・・・+ai*xi)」のように表せる。したがって、ロジスティック回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。なお、ロジスティック回帰では、最尤法によりパラメータ（係数ai）を推定する。具体的には、最尤法では、モデルのパラメータ（係数ai）を推定する尤度関数を導出する。そして、負の対数尤度関数が最小になるように反復解法を繰り返すことにより、パラメータ（係数ai）を推定する。 Here, the second model is "y = 1 / (1 + exp (-t)), t = a 0 + a 1 * x 1 + a 2 * x 2 + ... + a i * x i ". It is assumed that it is realized by the logistic regression model shown. In this case, the first element included in the first model corresponds to input data (x i ) such as x 1 and x 2 . Here, the input data (x i ) is the first index value of a predetermined user. Further, y is a second index value which is a prediction probability (value of 0 to 1). For example, y is a second index value (conversion rate) regarding whether or not a predetermined user takes an action (conversion) that is profitable for the advertiser of the advertising content following the action of clicking the advertising content. Further, the weight of the first element corresponds to the coefficient a i corresponding to x i . Here, the logistic regression model looks like "y = σ (t) = σ (a 1 * x 1 + a 2 * x 2 + ... + a i * x i )" using the standard sigmoid function σ. Can be expressed in. Therefore, the logistic regression model can be regarded as a simple perceptron having an input layer and an output layer. When each model is regarded as a simple perceptron, the first element corresponds to any node of the input layer, and the second element can be regarded as the node of the output layer. In logistic regression, the parameter (coefficient a i ) is estimated by the maximum likelihood method. Specifically, the maximum likelihood method derives a likelihood function that estimates the model parameters (coefficients a i ). Then, the parameter (coefficient a i ) is estimated by repeating the iterative solution method so that the negative log-likelihood function is minimized.
広告配信装置１００は、上述したロジスティック回帰モデル等、発生確率を予測するために用いられるモデルであって、任意の構造を有する第２モデルを用いて、第２指標値（コンバージョン率）の算出を行う。具体的には、第２モデルは、広告コンテンツをクリックすることなく広告主にとって利益につながる行動を起こしたユーザの情報に基づいて生成された第１モデルを用いて算出された第１指標値であって、所定のユーザが広告主にとって利益につながる行動を起こすか否かに関する第１指標値が入力された場合に、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こすか否かに関する第２指標値（コンバージョン率）を出力するように係数が設定される。広告配信装置１００は、このような第２モデルを用いて、第２指標値を算出する。
The
（第１算出部１３４）
第１算出部１３４は、第１生成部１３２が生成した第１モデルを用いて、第１指標値を算出する。
(1st calculation unit 134)
The
第１算出部１３４は、受付部１３１がユーザ端末１０から広告コンテンツの配信要求を受け付けると、配信候補の広告コンテンツを選択する。例えば、第１算出部１３４は、配信要求元のユーザの直近の検索クエリが「ノートパソコン」である場合、広告コンテンツに設定されたキーワードに「ノートパソコン」が含まれる広告コンテンツを配信候補の広告コンテンツとして選択する。例えば、第１算出部１３４は、広告コンテンツＡＤ１と広告コンテンツＡＤ２を配信候補の広告コンテンツとして選択する。
When the
続いて、第１算出部１３４は、配信候補の広告コンテンツ毎に、当該広告コンテンツの第１指標値を算出する。具体的には、第１算出部１３４は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツの広告コンテンツＩＤに対応する第１モデルを選択する。例えば、第１算出部１３４は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ１の広告コンテンツＩＤ「ＡＤ１」に対応する第１モデルＭ１１を選択する。例えば、広告配信装置１００は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ２の広告コンテンツＩＤ「ＡＤ２」に対応する第１モデルＭ２１を選択する。
Subsequently, the
そして、第１算出部１３４は、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第１モデルに入力することにより、広告配信対象のユーザの第１指標値を算出する。例えば、第１算出部１３４は、広告コンテンツＡＤ１については、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第１モデルＭ１１に入力することにより、広告配信対象のユーザの第１指標値Ｆ１１を算出する。例えば、第１算出部１３４は、広告コンテンツＡＤ２については、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第１モデルＭ２１に入力することにより、広告配信対象のユーザの第１指標値Ｆ２１を算出する。
Then, the
（第２算出部１３５）
第２算出部１３５は、第２生成部１３３が生成した第２モデルを用いて、第２指標値（コンバージョン率）を算出する。具体的には、第２算出部１３５は、広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値である第１指標値を、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動（コンバージョン）を起こす確率である第２指標値（コンバージョン率）に変換する。
(Second calculation unit 135)
The
また、第２算出部１３５は、第２行動である広告コンテンツの広告主にとって利益につながる行動を得るためにかかる広告コンテンツにおける広告費の目標値と、第２算出部１３５により算出された第２指標値であるコンバージョン率とに基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を算出してもよい。
In addition, the
第２算出部１３５は、第１算出部１３４が第１指標値を算出すると、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する。
When the
第２算出部１３５は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツの広告コンテンツＩＤに対応する第２モデルを選択する。例えば、第２算出部１３５は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ１の広告コンテンツＩＤ「ＡＤ１」に対応する第２モデルＭ１２を選択する。例えば、第２算出部１３５は、モデル記憶部１２３の広告コンテンツＩＤを参照して、配信候補の広告コンテンツＡＤ２の広告コンテンツＩＤ「ＡＤ２」に対応する第２モデルＭ２２を選択する。
The
そして、第２算出部１３５は、算出した第１指標値を選択した第２モデルに入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する。例えば、第２算出部１３５は、広告コンテンツＡＤ１については、算出した第１指標値Ｆ１１を選択した第２モデルＭ１２に入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）「０．１２５」を算出する。例えば、第２算出部１３５は、広告コンテンツＡＤ２については、算出した第１指標値Ｆ２１を選択した第２モデルＭ２２に入力することにより、広告配信対象のユーザの第２指標値（コンバージョン率）「０．２２５」を算出する。
Then, the
（配信部１３６）
配信部１３６は、配信候補の広告コンテンツの入札単価を算出する。また、配信部１３６は、抽出した広告コンテンツを配信要求元のユーザ端末１０に配信する。
(Distribution unit 136)
The
配信部１３６は、第２算出部１３５が第２指標値（コンバージョン率）を算出すると、広告主端末３０から受け付けた目標コンバージョン単価（目標ＣＰＡ）と第２算出部１３５が算出した第２指標値（コンバージョン率）を乗じることにより、配信候補の広告コンテンツの入札単価を算出する。
When the
例えば、広告コンテンツＡＤ１には、目標ＣＰＡ「１５，０００」が設定され、また、広告コンテンツＡＤ２には、目標ＣＰＡ「２０，０００」が設定されているものとする。この場合、配信部１３６は、広告コンテンツＡＤ１については、広告コンテンツＡＤ１の目標ＣＰＡ「１５，０００」と第２算出部１３５が第２指標値（コンバージョン率）「０．１２５」を乗じることにより、広告コンテンツＡＤ１の入札単価「１，８７５」を算出する。また、配信部１３６は、広告コンテンツＡＤ２については、広告コンテンツＡＤ２の目標ＣＰＡ「２０，０００」と第２算出部が第２指標値（コンバージョン率）「０．２２５」を乗じることにより、広告コンテンツＡＤ２の入札単価「４，５００」を算出する。
For example, it is assumed that the target CPA "15,000" is set in the advertisement content AD1 and the target CPA "20,000" is set in the advertisement content AD2. In this case, the
続いて、配信部１３６は、配信候補の広告コンテンツのなかから、配信する広告コンテンツを抽出する。具体的には、配信部１３６は、算出した入札単価とクリック率（ＣＴＲ：Click Through Rate）とを乗じたｅＣＰＭ（effective Cost Per Mill）に基づいて、配信対象の広告コンテンツを抽出する。
Subsequently, the
例えば、広告コンテンツＡＤ１のＣＴＲが「０．０５」、広告コンテンツＡＤ２のＣＴＲが「０．０３」であるとする。この場合、配信部１３６は、広告コンテンツＡＤ１の入札単価「１，８７５」と広告コンテンツＡＤ１のＣＴＲ「０．０５」とを乗じることにより、広告コンテンツＡＤ１のｅＣＰＭ「９４」を算出する。また、配信部１３６は、広告コンテンツＡＤ２の入札単価「４，５００」と広告コンテンツＡＤ２のＣＴＲ「０．０３」とを乗じることにより、広告コンテンツＡＤ２のｅＣＰＭ「１３５」を算出する。そして、配信部１３６は、上記のように算出した２つのｅＣＰＭのうち、値の大きいｅＣＰＭが算出された広告コンテンツＡＤ２を配信対象の広告コンテンツとして抽出する。
For example, it is assumed that the CTR of the advertisement content AD1 is "0.05" and the CTR of the advertisement content AD2 is "0.03". In this case, the
続いて、配信部１３６は、抽出した広告コンテンツＡＤ２を配信要求元のユーザ端末１０に配信する。
Subsequently, the
（取得部１３７）
取得部１３７は、広告コンテンツの配信実績を取得する。具体的には、取得部１３７は、広告コンテンツの配信実績として、広告コンテンツの配信実績に基づくコンバージョン単価を取得する。
(Acquisition unit 137)
The
例えば、取得部１３７は、広告コンテンツの配信実績として、ある時刻におけるコンバージョン単価と目標コンバージョン単価の誤差を取得する。例えば、取得部１３７は、広告コンテンツの配信実績として、ある時刻における各ユーザの課金額を取得する。
For example, the
（補正部１３８）
補正部１３８は、取得部１３７によって取得された広告コンテンツの配信実績と目標コンバージョン単価に基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を補正する。具体的には、補正部１３８は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価との誤差を小さくするように入札単価を補正する。
(Correction unit 138)
The
例えば、補正部１３８は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて入札単価を補正するためにとるべき行動を学習し、強化学習を用いて学習した行動をとることにより、入札単価を補正する。
For example, if there is an error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price, the
また、補正部１３８は、入札単価を算出するために用いる算出関数に入札単価を補正する補正関数を乗じることにより、入札単価を補正してもよい。具体的には、補正部１３８は、入札単価を算出するために用いる算出関数として、広告主端末３０から受け付けた目標コンバージョン単価に第２算出部１３５が算出した第２指標値（コンバージョン率）を乗じる関数を用いてもよい。そして、補正部１３８は、強化学習を用いて入札単価を補正する補正関数を学習することにより、入札単価を補正してもよい。
Further, the
図７を用いて、実施形態に係る補正処理の一例について具体的に説明する。図７は、実施形態に係る補正処理の一例を示す図である。図７では、広告配信装置１００が、広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて入札単価を補正するためにとるべき行動を学習し、強化学習を用いて学習した行動をとることにより、入札単価を補正する例を示す。
An example of the correction process according to the embodiment will be specifically described with reference to FIG. 7. FIG. 7 is a diagram showing an example of the correction process according to the embodiment. In FIG. 7, when the
具体的には、強化学習のエージェントは、広告配信装置１００である。そして、環境の状態Ｓ(ｔ)は、ある時刻ｔにおける広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価および各ユーザの課金額である。また、報酬Ｒ(ｔ)は、広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差である。また、行動Ａ(ｔ)は、環境の状態Ｓ(ｔ)と報酬Ｒ(ｔ)を考慮した方策Π(ｔ)に基づいて行われる。具体的には、行動Ａ(ｔ)は、入札単価が同じグループ毎に広告配信装置１００が入札単価を上げたり下げたりする行動である。
Specifically, the agent for reinforcement learning is the
したがって、図７では、広告配信装置１００が、環境の状態Ｓ(ｔ)である「広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価および各ユーザの課金額」と報酬Ｒ(ｔ)である「広告コンテンツＡＤ１の配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差」を考慮した方策Π(ｔ)に基づいて行動Ａ(ｔ)である「入札単価が同じグループ毎に入札単価を上げたり下げたりする行動」を取り、環境は広告配信装置１００の行動Ａ(ｔ)によって状態を変え、その状態Ｓ(ｔ＋１)を知らせることにより、強化学習を用いて入札単価を補正するためにとるべき行動を学習する例を示す。
Therefore, in FIG. 7, the
はじめに、取得部１３７は、広告コンテンツＡＤ１の配信実績として、ある時刻ｔにおける配信実績に基づくコンバージョン単価（２６０円）と各ユーザの課金額を取得する。ここで、ある時刻ｔにおける環境の状態を状態Ｓ(ｔ)とすると、補正部１３８は、取得部１３７によって取得されたある時刻ｔにおけるコンバージョン単価と各ユーザの課金額を状態Ｓ(ｔ)として観測する（ステップＳ１１）。
First, the
ここで、各ユーザの課金額について説明する。配信部１３６は、入札の結果、広告コンテンツＡＤ１が配信対象として選択された場合は、広告コンテンツＡＤ１を配信対象のユーザに配信する。そして、広告コンテンツＡＤ１を配信されたユーザが広告コンテンツＡＤ１をクリックした場合、広告主にそのユーザの課金額として入札単価が課金される。この場合、取得部１３７は、そのユーザの課金額として入札単価を取得する。
Here, the billing amount of each user will be described. When the advertisement content AD1 is selected as the distribution target as a result of bidding, the
例えば、ユーザＵ１については、入札の結果、広告コンテンツＡＤ１が配信対象として選択されたので、配信部１３６は、広告コンテンツＡＤ１をユーザＵ１のユーザ端末１０に配信する。そして、広告コンテンツＡＤ１を配信されたユーザＵ１は、広告コンテンツＡＤ１をクリックしたので、広告主にユーザＵ１の課金額として入札単価である２０円が課金される。この場合、取得部１３７は、ユーザＵ１の課金額として２０円を取得する。
For example, for the user U1, since the advertisement content AD1 is selected as the distribution target as a result of bidding, the
なお、広告コンテンツＡＤ１を配信されたユーザが広告コンテンツＡＤ１をクリックしなかった場合、広告主に入札単価は課金されない。この場合、取得部１３７は、そのユーザの課金額として０円を取得する。
If the user to whom the advertisement content AD1 is delivered does not click the advertisement content AD1, the bid unit price is not charged to the advertiser. In this case, the
また、入札の結果、広告コンテンツＡＤ１が配信対象として選択されなかった場合は、取得部１３７は、そのユーザの課金額として０円を取得する。例えば、ユーザＵ２については、入札の結果、広告コンテンツＡＤ１が配信対象として選択されなかったので、取得部１３７は、ユーザＵ２の課金額として０円を取得する。
Further, as a result of bidding, when the advertisement content AD1 is not selected as the distribution target, the
続いて、補正部１３８は、取得部１３７によって取得されたある時刻ｔにおける配信実績に基づくコンバージョン単価（２６０円）と目標コンバージョン単価（１００円）に誤差があるか否かを判定する。補正部１３８は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差（１６０円）があると判定する（ステップＳ１２）。
Subsequently, the
続いて、補正部１３８は、取得部１３７によって取得されたある時刻ｔにおけるコンバージョン単価と目標コンバージョン単価に誤差（１６０円）があるので、誤差を小さくする方策Π(ｔ)に従って、入札単価を補正する行動Ａ(ｔ)を実行する。補正部１３８は、行動Ａ(ｔ)を実行することにより、入札単価が同じグループ毎に入札単価を補正する（ステップＳ１３）。
Subsequently, the
例えば、入札単価が２０円のグループ（ユーザＵ１～ユーザＵ５のグループ）をグループＧ１とすると、補正部１３８は、グループＧ１については行動ａ１(ｔ)を実行する。例えば、入札単価が３３円のグループ（ユーザＵ６～ユーザＵ８のグループ）をグループＧ２とすると、補正部１３８は、グループＧ２については、行動ａ２(ｔ)を実行する。例えば、入札単価が５０円のグループ（ユーザＵ９～ユーザＵ１０のグループ）をグループＧ３とすると、補正部１３８は、グループＧ３については、行動ａ３(ｔ)を実行する。このように、補正部１３８は、方策Π(ｔ)に従って、行動ａ１(ｔ)と行動ａ２(ｔ)と行動ａ３(ｔ)からなる行動Ａ(ｔ)を実行する
For example, assuming that a group having a bid unit price of 20 yen (a group of users U1 to U5) is a group G1, the
例えば、グループＧ１のメンバー５人のうち、ユーザＵ２とユーザＵ５については、課金額が０円である。すなわち、ユーザＵ２とユーザＵ５については、入札単価が低すぎたため、入札単価が２０円よりも高い他の広告コンテンツに入札で競り負けたことがわかる。そこで、補正部１３８は、グループＧ１については、入札で競り負けないよう、入札単価を２０円から１円上げる行動ａ１(ｔ)を実行する。このように、補正部１３８は、行動ａ１(ｔ)を実行することにより、入札単価が２０円のグループＧ１の入札単価を補正する。
For example, of the five members of the group G1, the charge amount is 0 yen for the user U2 and the user U5. That is, it can be seen that for the user U2 and the user U5, since the bid unit price was too low, the bid was lost to other advertising contents whose bid unit price was higher than 20 yen. Therefore, the
例えば、グループＧ３のメンバー２人のうち、ユーザＵ９とユーザＵ１０については、課金額が５０円であるが、いずれもコンバージョンを起こさなかった。すなわち、グループＧ３については、当初コンバージョン率を５０％と予測したが、予測に反してコンバージョンを起こさなかったことがわかる。言い換えると、グループＧ３については、入札単価を高く設定しすぎたことがわかる。そこで、補正部１３８は、グループＧ３については、入札単価を低くするよう、入札単価を５０円から１５円下げる行動ａ３(ｔ)を実行する。このように、補正部１３８は、行動ａ３(ｔ)を実行することにより、入札単価が５０円のグループＧ３の入札単価を補正する。
For example, of the two members of the group G3, the user U9 and the user U10 are charged 50 yen, but neither of them causes a conversion. That is, for Group G3, the conversion rate was initially predicted to be 50%, but it can be seen that conversion did not occur contrary to the prediction. In other words, for Group G3, it can be seen that the bid unit price was set too high. Therefore, the
例えば、グループＧ２のメンバー３人は、課金額が３３円であり、３人のうちユーザＵ８がコンバージョンを起こした。すなわち、グループＧ２ついては、当初コンバージョン率を３３％と予測したが、予測したとおりコンバージョンを起こしたことがわかる。しかしながら、補正部１３８は、時刻ｔにおけるコンバージョン単価と目標コンバージョン単価の誤差が１６０円であり、目標コンバージョン単価を大幅に上回っていることから、グループＧ２については、全体のコンバージョン単価を下げるために、入札単価を３３円から８円下げる行動ａ２(ｔ)を実行する。このように、補正部１３８は、行動ａ２(ｔ)を実行することにより、入札単価が３３円のグループＧ２の入札単価を補正する。
For example, the three members of the group G2 are charged 33 yen, and the user U8 out of the three has converted. That is, for Group G2, the conversion rate was initially predicted to be 33%, but it can be seen that conversion occurred as predicted. However, in the
このように、補正部１３８は、行動Ａ(ｔ)を実行することにより、入札単価が同じグループ毎に入札単価を補正する。そして、補正部１３８は、行動Ａ(ｔ)を実行することにより、環境の状態を状態Ｓ(ｔ)から状態Ｓ(ｔ＋１)に変化させる。
In this way, the
続いて、取得部１３７は、広告コンテンツＡＤ１の配信実績として、ある時刻ｔ＋１における配信実績に基づくコンバージョン単価（１２５円）と各ユーザの課金額を取得する。補正部１３８は、取得部１３７によって取得されたある時刻ｔ＋１におけるコンバージョン単価と各ユーザの課金額を状態Ｓ(ｔ＋１)として観測する（ステップＳ１４）。
Subsequently, the
続いて、補正部１３８は、取得部１３７によって取得されたある時刻ｔ＋１における配信実績に基づくコンバージョン単価（１２５円）と目標コンバージョン単価（１００円）に誤差があるか否かを判定する。補正部１３８は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差（２５円）があると判定する（ステップＳ１５）。
Subsequently, the
続いて、補正部１３８は、取得部１３７によって取得されたある時刻ｔ＋１におけるコンバージョン単価と目標コンバージョン単価に誤差（２５円）があるので、誤差を小さくする方策Π(ｔ＋１)に従って、入札単価を補正するための行動Ａ(ｔ＋１)を実行する。補正部１３８は、行動Ａ(ｔ＋１)を実行することにより、入札単価が同じグループ毎に入札単価を補正する（ステップＳ１６）。
Subsequently, the
補正部１３８は、取得部１３７によって取得されたある時刻におけるコンバージョン単価と目標コンバージョン単価の誤差が０に近い値に収束するまで、上記のステップＳ１１～ステップＳ１６を繰り返す。
The
〔４．第１モデル生成処理のフロー〕
次に、図８を用いて、実施形態に係る第１モデル生成処理の手順について説明する。図８は、実施形態に係る第１モデル生成処理手順を示すフローチャートである。
[4. 1st model generation process flow]
Next, the procedure of the first model generation process according to the embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing a first model generation processing procedure according to the embodiment.
図８に示すように、広告配信装置１００は、広告コンテンツをクリックしていないユーザの検索クエリ、訪問ページ等のアクセスログを取得する（ステップＳ１０１）。
As shown in FIG. 8, the
続いて、広告配信装置１００は、広告コンテンツをクリックしていないユーザが、広告主にとって利益につながる行動を起こしたか否かに関する情報を取得する（ステップＳ１０２）。
Subsequently, the
続いて、広告配信装置１００は、第１モデルを生成する（ステップＳ１０３）。
Subsequently, the
〔５．第２モデル生成処理のフロー〕
次に、図９を用いて、実施形態に係る第２モデル生成処理の手順について説明する。図９は、実施形態に係る第２モデル生成処理手順を示すフローチャートである。
[5. 2nd model generation process flow]
Next, the procedure of the second model generation process according to the embodiment will be described with reference to FIG. 9. FIG. 9 is a flowchart showing a second model generation processing procedure according to the embodiment.
図９に示すように、広告配信装置１００は、広告コンテンツをクリックしたユーザの第１指標値を算出する（ステップＳ２０１）。
As shown in FIG. 9, the
続いて、広告配信装置１００は、広告コンテンツをクリックしたユーザが、コンバージョンに至ったか否かに関する情報を取得する（ステップＳ２０２）。
Subsequently, the
続いて、広告配信装置１００は、第２モデルを生成する（ステップＳ２０３）。
Subsequently, the
〔６．広告配信処理のフロー〕
次に、図１０を用いて、実施形態に係る広告配信処理の手順について説明する。図１０は、実施形態に係る広告配信処理手順を示すフローチャートである。
[6. Flow of ad delivery process]
Next, the procedure of the advertisement distribution processing according to the embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing an advertisement distribution processing procedure according to the embodiment.
図１０に示すように、広告配信装置１００は、ユーザから広告コンテンツの配信要求を受け付けたか否かを判定する（ステップＳ３０１）。広告配信装置１００は、ユーザから広告コンテンツの配信要求を受け付けていない場合（ステップＳ３０１；Ｎｏ）、ユーザから広告コンテンツの配信要求を受け付けるまで待機する。
As shown in FIG. 10, the
広告配信装置１００は、ユーザから広告コンテンツの配信要求を受け付けた場合（ステップＳ３０１；Ｙｅｓ）、配信候補の広告コンテンツを選択する（ステップＳ３０２）。
When the
続いて、広告配信装置１００は、広告配信対象のユーザの検索クエリ、訪問ページ等のアクセスログを取得する（ステップＳ３０３）。
Subsequently, the
続いて、広告配信装置１００は、広告配信対象のユーザの第１指標値を算出する（ステップＳ３０４）。
Subsequently, the
続いて、広告配信装置１００は、広告配信対象のユーザの第２指標値（コンバージョン率）を算出する（ステップＳ３０５）。
Subsequently, the
続いて、広告配信装置１００は、配信候補の広告コンテンツの入札単価を算出する（ステップＳ３０６）。
Subsequently, the
続いて、広告配信装置１００は、配信候補の広告コンテンツのなかから、配信する広告コンテンツを決定する（ステップＳ３０７）。
Subsequently, the
続いて、広告配信装置１００は、決定した広告コンテンツを配信要求元のユーザ端末１０に配信する（ステップＳ３０８）。
Subsequently, the
〔７．補正処理のフロー〕
次に、図１１を用いて、実施形態に係る補正処理の手順について説明する。図１１は、実施形態に係る補正処理手順を示すフローチャートである。
[7. Correction processing flow]
Next, the procedure of the correction process according to the embodiment will be described with reference to FIG. FIG. 11 is a flowchart showing a correction processing procedure according to the embodiment.
図１１に示すように、広告配信装置１００は、広告コンテンツの配信実績に基づくコンバージョン単価を取得する（ステップＳ４０１）。
As shown in FIG. 11, the
続いて、広告配信装置１００は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差があるか否かを判定する（ステップＳ４０２）。広告配信装置１００は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差がない場合（ステップＳ４０２；Ｎｏ）、配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差を観測するまで待機する。
Subsequently, the
広告配信装置１００は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差がある場合（ステップＳ４０２；Ｙｅｓ）、コンバージョン単価と目標コンバージョン単価との誤差を小さくするように入札単価を補正する（ステップＳ４０３）。
When the
〔８．効果〕
上述してきたように、実施形態に係る補正装置１００は、取得部１３７と補正部１３８とを有する。取得部１３７は、広告コンテンツの配信実績を取得する。補正部１３８は、取得部１３７によって取得された広告コンテンツの配信実績と目標コンバージョン単価に基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を補正する。
[8. effect〕
As described above, the
これにより、実施形態に係る補正装置１００は、広告コンテンツの配信実績に基づいて入札単価を補正することにより、配信時に予測したコンバージョン率に基づいて算出された入札単価と現実の課金額との乖離を補正することができる。したがって、補正装置１００は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。
As a result, the
また、取得部１３７は、広告コンテンツの配信実績として、広告コンテンツの配信実績に基づくコンバージョン単価を取得し、補正部１３８は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価との誤差を小さくするように入札単価を補正する。
Further, the
これにより、実施形態に係る補正装置１００は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価との乖離を補正することができる。したがって、補正装置１００は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。
As a result, the
また、補正部１３８は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて入札単価を補正するためにとるべき行動を学習し、強化学習を用いて学習した行動をとることにより、入札単価を補正する。
In addition, if there is an error between the conversion unit price based on the distribution record of the advertising content and the target conversion unit price, the
これにより、実施形態に係る補正装置１００は、強化学習を用いることにより、配信前後のコンバージョン単価と目標コンバージョン単価の誤差だけでなく、最初の配信から直近の配信までの広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差を踏まえて、適切に入札単価を補正する行動を学習することができる。すなわち、補正装置１００は、配信前後のコンバージョン単価と目標コンバージョン単価の誤差だけでなく、最初の配信から直近の配信までの広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差を踏まえて、適切に入札単価を補正することができる。したがって、補正装置１００は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。
As a result, the
また、補正部１３８は、入札単価を算出するために用いる算出関数に入札単価を補正する補正関数を乗じることにより、入札単価を補正する。また、補正部１３８は、強化学習を用いて入札単価を補正する補正関数を学習することにより、入札単価を補正する。
Further, the
これにより、実施形態に係る補正装置１００は、入札単価を算出するために用いる算出関数と入札単価を補正する補正関数のそれぞれについて、それぞれの精度を高めるように学習させることができる。したがって、補正装置１００は、目標コンバージョン単価に応じてより適切に入札単価を制御することができる。
As a result, the
〔９．ハードウェア構成〕
また、上述してきた実施形態に係る補正装置１００は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、補正装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
[9. Hardware configuration]
Further, the
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
The HDD 1400 stores a program executed by the
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が実施形態に係る補正装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、第１モデル、第２モデル）を実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、第１モデル、第２モデル）を記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムまたはデータ（例えば、第１モデル、第２モデル）を取得してもよい。
For example, when the computer 1000 functions as the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the invention. It is possible to carry out the present invention in other modified forms.
〔１０．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[10. others〕
Further, among the processes described in the above-described embodiment, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the information shown in the figure.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically distributed in any unit according to various loads and usage conditions. Can be integrated and configured.
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiments can be appropriately combined as long as the processing contents do not contradict each other.
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、補正部は、補正手段や補正回路に読み替えることができる。 Further, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the correction unit can be read as a correction means or a correction circuit.
１ 補正システム
１０ ユーザ端末
２０ アクセスログサーバ
３０ 広告主端末
１００ 補正装置
１２１ 広告情報記憶部
１２２ 広告配信履歴記憶部
１２３ モデル記憶部
１３１ 受付部
１３２ 第１生成部
１３３ 第２生成部
１３４ 第１算出部
１３５ 第２算出部
１３６ 配信部
１３７ 取得部
１３８ 補正部
1
Claims (5)
前記取得部によって取得された広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、前記広告コンテンツの配信実績に基づくコンバージョン単価と前記目標コンバージョン単価との誤差を小さくするように、前記広告コンテンツが配信対象として選択される基準となる入札単価であって、ユーザが前記広告コンテンツを選択したか否かに関わらず、前記ユーザが前記広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値に基づいて算出された前記広告コンテンツのコンバージョン率と前記目標コンバージョン単価とを乗じることで算出される入札単価を補正するためにとるべき行動を強化学習し、前記強化学習した行動をとることにより、前記入札単価を補正する補正部と、
を備えることを特徴とする補正装置。 The acquisition department that acquires the conversion unit price based on the distribution performance of the advertising content,
If there is an error between the conversion unit price based on the distribution performance of the advertising content acquired by the acquisition unit and the target conversion unit price , the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price should be reduced. , The bid unit price that is the standard for selecting the advertisement content as the distribution target, and the user acts to benefit the advertiser of the advertisement content regardless of whether or not the user selects the advertisement content. Reinforced learning of actions to be taken to correct the bid unit price calculated by multiplying the conversion rate of the advertising content calculated based on the numerical value indicating the degree of occurrence and the target conversion unit price, and the enhanced learning action The correction unit that corrects the bid unit price by taking
A correction device characterized by being provided with.
前記入札単価を算出するために用いる算出関数に前記入札単価を補正する補正関数を乗じることにより、前記入札単価を補正する
ことを特徴とする請求項１に記載の補正装置。 The correction unit
The correction device according to claim 1 , wherein the correction device for correcting the bid unit price is corrected by multiplying the calculation function used for calculating the bid unit price by a correction function for correcting the bid unit price.
前記入札単価を補正する補正関数を強化学習することにより、前記入札単価を補正する
ことを特徴とする請求項１または２に記載の補正装置。 The correction unit
The correction device according to claim 1 or 2 , wherein the correction device for correcting the bid unit price is corrected by reinforcement learning.
広告コンテンツの配信実績に基づくコンバージョン単価を取得する取得工程と、
前記取得工程によって取得された広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、前記広告コンテンツの配信実績に基づくコンバージョン単価と前記目標コンバージョン単価との誤差を小さくするように、前記広告コンテンツが配信対象として選択される基準となる入札単価であって、ユーザが前記広告コンテンツを選択したか否かに関わらず、前記ユーザが前記広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値に基づいて算出された前記広告コンテンツのコンバージョン率と前記目標コンバージョン単価とを乗じることで算出される入札単価を補正するためにとるべき行動を強化学習し、前記強化学習した行動をとることにより、前記入札単価を補正する補正工程と、
を含むことを特徴とする補正方法。 It ’s a correction method performed by a computer.
The acquisition process to acquire the conversion unit price based on the distribution record of the advertising content,
If there is an error between the conversion unit price based on the distribution performance of the advertising content acquired by the acquisition process and the target conversion unit price , the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price should be reduced. , The bid unit price that is the standard for selecting the advertisement content as the distribution target, and the user acts to benefit the advertiser of the advertisement content regardless of whether or not the user selects the advertisement content. Reinforced learning of actions to be taken to correct the bid unit price calculated by multiplying the conversion rate of the advertising content calculated based on the numerical value indicating the degree of occurrence and the target conversion unit price, and the enhanced learning action And the correction process to correct the bid unit price by taking
A correction method characterized by including.
前記取得手順によって取得された広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、前記広告コンテンツの配信実績に基づくコンバージョン単価と前記目標コンバージョン単価との誤差を小さくするように、前記広告コンテンツが配信対象として選択される基準となる入札単価であって、ユーザが前記広告コンテンツを選択したか否かに関わらず、前記ユーザが前記広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値に基づいて算出された前記広告コンテンツのコンバージョン率と前記目標コンバージョン単価とを乗じることで算出される入札単価を補正するためにとるべき行動を強化学習し、前記強化学習した行動をとることにより、前記入札単価を補正する補正手順と、
をコンピュータに実行させることを特徴とする補正プログラム。 The acquisition procedure to acquire the conversion unit price based on the delivery performance of the advertising content, and
If there is an error between the conversion unit price based on the distribution performance of the advertising content acquired by the acquisition procedure and the target conversion unit price , the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price should be reduced. , The bid unit price that is the standard for selecting the advertisement content as the distribution target, and the user acts to benefit the advertiser of the advertisement content regardless of whether or not the user selects the advertisement content. Reinforced learning of actions to be taken to correct the bid unit price calculated by multiplying the conversion rate of the advertising content calculated based on the numerical value indicating the degree of occurrence and the target conversion unit price, and the enhanced learning action The correction procedure for correcting the bid unit price by taking
A correction program characterized by having a computer execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017163673A JP6994872B2 (en) | 2017-08-28 | 2017-08-28 | Correction device, correction method and correction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017163673A JP6994872B2 (en) | 2017-08-28 | 2017-08-28 | Correction device, correction method and correction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019040529A JP2019040529A (en) | 2019-03-14 |
| JP6994872B2 true JP6994872B2 (en) | 2022-01-14 |
Family
ID=65725789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017163673A Active JP6994872B2 (en) | 2017-08-28 | 2017-08-28 | Correction device, correction method and correction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6994872B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7010870B2 (en) * | 2019-03-20 | 2022-01-26 | ヤフー株式会社 | Decision device, decision method and decision program |
| JP6898665B2 (en) * | 2019-04-03 | 2021-07-07 | 株式会社これから | Advertisement distribution support system, advertisement distribution support method and advertisement distribution support program |
| JP7281136B2 (en) * | 2019-08-22 | 2023-05-25 | Ｅｎｅｏｓ株式会社 | Power price prediction device, power price prediction method, power price prediction program, and computer-readable recording medium |
| WO2022108073A1 (en) * | 2020-11-20 | 2022-05-27 | 삼성전자주식회사 | Server and control method therefor |
| JP7204800B2 (en) * | 2021-03-18 | 2023-01-16 | ヤフー株式会社 | Information processing device, information processing method and information processing program |
| JP7322085B2 (en) * | 2021-03-18 | 2023-08-07 | ヤフー株式会社 | Information processing device, information processing method and information processing program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010529523A (en) | 2007-05-04 | 2010-08-26 | グーグル・インコーポレーテッド | Metric conversion for online advertising |
| JP2017037432A (en) | 2015-08-07 | 2017-02-16 | ヤフー株式会社 | Bid adjustment device, bid adjustment method, and bid adjustment program |
-
2017
- 2017-08-28 JP JP2017163673A patent/JP6994872B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010529523A (en) | 2007-05-04 | 2010-08-26 | グーグル・インコーポレーテッド | Metric conversion for online advertising |
| JP2017037432A (en) | 2015-08-07 | 2017-02-16 | ヤフー株式会社 | Bid adjustment device, bid adjustment method, and bid adjustment program |
Non-Patent Citations (2)
| Title |
|---|
| 大藤 宗一，即実践！検索連動型広告 初版，第１版，日本，株式会社技術評論社 片岡 巌，2010年07月15日，１１０, １１３～１１４ページ |
| 西林 孝 Takashi Nishibayashi，広告とＡＩ，人工知能 第３２巻 第４号 Journal of the Japanese Society for Artificial Intelligence，日本，（一社）人工知能学会 JSAI(The Japanese Society for Artificial Intelligence)，2017年07月01日，第３２巻４号，４８７～４９３ページ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019040529A (en) | 2019-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6994872B2 (en) | Correction device, correction method and correction program | |
| US11711447B2 (en) | Method and apparatus for real-time personalization | |
| US9524472B2 (en) | Distributed scalable incrementally updated models in decisioning systems | |
| US10891592B2 (en) | Electronic job posting marketplace | |
| US10713560B2 (en) | Learning a vector representation for unique identification codes | |
| US11966949B2 (en) | Systems and methods for targeting bid and position for a keyword | |
| JP6986906B2 (en) | Decision device, decision method and decision program | |
| US11270340B2 (en) | Automatic frequency capping | |
| JP6985848B2 (en) | Calculation device, calculation method, calculation program and second model | |
| US20120130828A1 (en) | Source of decision considerations for managing advertising pricing | |
| JP6946082B2 (en) | Advertisement distribution support device, advertisement distribution support method, and program | |
| JP6866069B2 (en) | Information processing equipment, information processing methods and information processing programs | |
| US20180150886A1 (en) | Controlling a content auction with a threshold value | |
| JP7204800B2 (en) | Information processing device, information processing method and information processing program | |
| JP7189249B2 (en) | Information processing device, information processing method and information processing program | |
| CN113360816A (en) | Click rate prediction method and device | |
| US20170061468A1 (en) | Parallel member interaction estimation using onsite and offsite data | |
| KR102383509B1 (en) | System for matching space and company | |
| JP7312680B2 (en) | Information processing device, information processing method, and information processing program | |
| JP7322085B2 (en) | Information processing device, information processing method and information processing program | |
| KR102564320B1 (en) | System for incubating and investing company based trends and corporate growth potential | |
| KR102513995B1 (en) | System for investing company | |
| US20220156786A1 (en) | Systems, Methods and Media for Automatic Prioritizer | |
| CN117521851A (en) | Prediction model training method, prediction method and prediction device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6994872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |