JP6994872B2 - Correction device, correction method and correction program - Google Patents

Correction device, correction method and correction program Download PDF

Info

Publication number
JP6994872B2
JP6994872B2 JP2017163673A JP2017163673A JP6994872B2 JP 6994872 B2 JP6994872 B2 JP 6994872B2 JP 2017163673 A JP2017163673 A JP 2017163673A JP 2017163673 A JP2017163673 A JP 2017163673A JP 6994872 B2 JP6994872 B2 JP 6994872B2
Authority
JP
Japan
Prior art keywords
unit price
advertisement content
distribution
correction
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017163673A
Other languages
Japanese (ja)
Other versions
JP2019040529A (en
Inventor
実 金政
佳輝 土岐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2017163673A priority Critical patent/JP6994872B2/en
Publication of JP2019040529A publication Critical patent/JP2019040529A/en
Application granted granted Critical
Publication of JP6994872B2 publication Critical patent/JP6994872B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、補正装置、補正方法及び補正プログラムに関する。 The present invention relates to a correction device, a correction method and a correction program.

近年、インターネットを介した広告配信が盛んに行われている。例えば、広告媒体(ウェブページ)に設定された広告枠に、企業や商品等の広告コンテンツを表示し、かかる広告コンテンツがクリックされた場合に、広告主のウェブページへ遷移させる広告配信が行われている。 In recent years, advertisement distribution via the Internet has been actively carried out. For example, advertising content such as a company or product is displayed in an advertising space set as an advertising medium (web page), and when such advertising content is clicked, an advertisement is delivered that transitions to the advertiser's web page. ing.

また、このような広告配信では、広告コンテンツを掲載する対価として、広告主に課金する課金額である入札単価が使用される場合がある。 Further, in such advertisement distribution, a bid unit price, which is a charge amount charged to the advertiser, may be used as a consideration for posting the advertisement content.

ここで、広告コンテンツに対して設定する入札単価を制御する技術が提案されている。例えば、検索キーワードに基づいて、広告コンテンツのコンバージョン率(CVR:Conversion Rate)に対応した入札単価を広告コンテンツに対して設定する技術が提案されている。 Here, a technique for controlling the bid unit price set for the advertising content has been proposed. For example, a technique has been proposed in which a bid unit price corresponding to a conversion rate (CVR) of an advertising content is set for the advertising content based on a search keyword.

特開2006-350668号公報Japanese Unexamined Patent Publication No. 2006-350668

しかしながら、上記の従来技術では、目標コンバージョン単価に応じて適切に入札単価を制御することができるとは限らない。具体的には、上記の従来技術では、広告コンテンツに対応する登録キーワードと検索キーワードとの一致度に基づく重みを、出力した広告コンテンツの入札単価に乗じたものを最終的な入札単価とするにすぎず、目標コンバージョン単価に応じて適切に入札単価を制御することができるとは限らない。なお、目標コンバージョン単価とは、所定の広告コンテンツから商品購入や会員登録等の利益につながる成果を1件獲得するのにかかるコストであるコンバージョン単価(CPA:Cost Per Action)の目標値である。 However, with the above-mentioned prior art, it is not always possible to appropriately control the bid unit price according to the target conversion unit price. Specifically, in the above-mentioned prior art, the final bid price is obtained by multiplying the weight based on the degree of matching between the registered keyword corresponding to the advertisement content and the search keyword by the bid unit price of the output advertisement content. However, it is not always possible to control the bid price appropriately according to the target conversion price. The target conversion unit price is the target value of the conversion unit price (CPA: Cost Per Action), which is the cost required to obtain one profitable result such as product purchase or membership registration from the predetermined advertising content.

本願は、上記に鑑みてなされたものであって、目標コンバージョン単価に応じて適切に入札単価を制御することができる補正装置、補正方法及び補正プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object of the present application is to provide a correction device, a correction method, and a correction program capable of appropriately controlling a bid unit price according to a target conversion unit price.

本願にかかる補正装置は、広告コンテンツの配信実績を取得する取得部と、前記取得部によって取得された広告コンテンツの配信実績と目標コンバージョン単価に基づいて、前記広告コンテンツが配信対象として選択される基準となる入札単価を補正する補正部とを備えたことを特徴とする。 The correction device according to the present application is a criterion for selecting the advertisement content as a distribution target based on the acquisition unit that acquires the distribution record of the advertisement content, the distribution record of the advertisement content acquired by the acquisition unit, and the target conversion unit price. It is characterized by having a correction unit for correcting the bid unit price.

実施形態の一態様によれば、目標コンバージョン単価に応じて適切に入札単価を制御することができるといった効果を奏する。 According to one aspect of the embodiment, there is an effect that the bid unit price can be appropriately controlled according to the target conversion unit price.

図1は、実施形態に係る補正処理の一例を示す図である。FIG. 1 is a diagram showing an example of a correction process according to an embodiment. 図2は、実施形態に係る補正システムの構成例を示す図である。FIG. 2 is a diagram showing a configuration example of the correction system according to the embodiment. 図3は、実施形態に係る補正装置の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of the correction device according to the embodiment. 図4は、実施形態に係る広告情報記憶部の一例を示す図である。FIG. 4 is a diagram showing an example of an advertisement information storage unit according to an embodiment. 図5は、実施形態に係る広告配信履歴記憶部の一例を示す図である。FIG. 5 is a diagram showing an example of an advertisement distribution history storage unit according to an embodiment. 図6は、実施形態に係るモデル記憶部の構成例を示す図である。FIG. 6 is a diagram showing a configuration example of the model storage unit according to the embodiment. 図7は、実施形態に係る補正処理の一例を示す図である。FIG. 7 is a diagram showing an example of the correction process according to the embodiment. 図8は、実施形態に係る第1モデル生成処理手順を示すフローチャートである。FIG. 8 is a flowchart showing a first model generation processing procedure according to the embodiment. 図9は、実施形態に係る第2モデル生成処理手順を示すフローチャートである。FIG. 9 is a flowchart showing a second model generation processing procedure according to the embodiment. 図10は、実施形態に係る広告配信処理手順を示すフローチャートである。FIG. 10 is a flowchart showing an advertisement distribution processing procedure according to the embodiment. 図11は、実施形態に係る補正処理手順を示すフローチャートである。FIG. 11 is a flowchart showing a correction processing procedure according to the embodiment. 図12は、補正装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 12 is a hardware configuration diagram showing an example of a computer that realizes the function of the correction device.

以下に、本願に係る補正装置、補正方法、補正プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る補正装置、補正方法、補正プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, the correction device, the correction method, and the embodiment for implementing the correction program (hereinafter referred to as “the embodiment”) according to the present application will be described in detail with reference to the drawings. It should be noted that this embodiment does not limit the correction device, correction method, and correction program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate explanations are omitted.

〔1.補正処理の一例〕
まず、図1を用いて、実施形態に係る補正処理の一例について説明する。図1は、実施形態に係る補正処理の一例を示す図である。図1では、広告配信装置(補正装置)100が、広告コンテンツAD1の配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて広告コンテンツAD1が配信対象として選択される基準となる入札単価を補正する例を示す。
[1. Example of correction processing]
First, an example of the correction process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of a correction process according to an embodiment. In FIG. 1, when the advertisement distribution device (correction device) 100 has an error between the conversion unit price based on the distribution record of the advertisement content AD1 and the target conversion unit price, the advertisement content AD1 is selected as the distribution target by using reinforcement learning. An example of correcting the standard bid unit price is shown.

広告配信装置100は、広告コンテンツの配信実績と目標コンバージョン単価に基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を補正する補正装置である。 The advertisement distribution device 100 is a correction device that corrects the bid unit price as a reference for selecting the advertisement content as the distribution target based on the distribution record of the advertisement content and the target conversion unit price.

以下、図1を用いて、補正処理の一例を説明する。図1に示す例では、広告配信装置100は、第1モデルM11に広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告配信対象のユーザの第1指標値を算出する(ステップS1)。第1指標値は、広告コンテンツAD1をクリックしたか否かに関わらず、ユーザが広告コンテンツAD1の広告主にとって利益につながる行動を起こす度合いを示す数値である。また、広告主にとって利益につながる行動とは、商品購入や資料請求などの行動を指す。 Hereinafter, an example of the correction process will be described with reference to FIG. In the example shown in FIG. 1, the advertisement distribution device 100 calculates the first index value of the advertisement distribution target user by inputting an access log such as a search query or a visit page of the advertisement distribution target user into the first model M11. (Step S1). The first index value is a numerical value indicating the degree to which the user takes an action that leads to profit for the advertiser of the advertisement content AD1, regardless of whether or not the advertisement content AD1 is clicked. In addition, the behavior that leads to profit for the advertiser refers to the behavior such as purchasing a product or requesting materials.

続いて、広告配信装置100は、第2モデルM12に広告配信対象のユーザの第1指標値を入力することにより、広告配信対象のユーザの第2指標値(コンバージョン率)を算出する(ステップS2)。第2指標値は、ユーザが広告コンテンツをクリックする行動に連動して広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こす確率(コンバージョン率)である。 Subsequently, the advertisement distribution device 100 calculates the second index value (conversion rate) of the advertisement distribution target user by inputting the first index value of the advertisement distribution target user into the second model M12 (step S2). ). The second index value is the probability (conversion rate) of causing a profitable behavior (conversion) for the advertiser of the advertising content in conjunction with the behavior of the user clicking the advertising content.

続いて、広告配信装置100は、広告配信対象のユーザの入札単価を決定する(ステップS3)。広告配信装置100は、広告コンテンツAD1の広告主によって設定された目標コンバージョン単価に第2指標値(コンバージョン率)を乗じた値を広告配信対象のユーザの入札単価として決定する。 Subsequently, the advertisement distribution device 100 determines the bid unit price of the user to whom the advertisement is distributed (step S3). The advertisement distribution device 100 determines a value obtained by multiplying the target conversion unit price set by the advertiser of the advertisement content AD1 by the second index value (conversion rate) as the bid unit price of the user to be advertised.

続いて、広告配信装置100は、広告配信対象のユーザに配信する広告コンテンツを決定する入札に参加する(ステップS4)。ここで、入札の結果、広告コンテンツAD1は配信対象として選択されたものとする。 Subsequently, the advertisement distribution device 100 participates in a bid for determining the advertisement content to be distributed to the user to be distributed with the advertisement (step S4). Here, as a result of bidding, it is assumed that the advertising content AD1 is selected as the distribution target.

続いて、広告配信装置100は、入札に勝った場合、広告コンテンツAD1を広告配信対象のユーザの端末に配信する(ステップS5)。 Subsequently, when the advertisement distribution device 100 wins the bid, the advertisement content AD1 is distributed to the terminal of the user to whom the advertisement is distributed (step S5).

続いて、広告配信装置100は、配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差をフィードバックする(ステップS6)。具体的には、広告配信装置100は、広告コンテンツAD1の配信実績として、配信実績に基づくコンバージョン単価と各ユーザの課金額を取得する。 Subsequently, the advertisement distribution device 100 feeds back the error between the conversion unit price and the target conversion unit price based on the distribution performance (step S6). Specifically, the advertisement distribution device 100 acquires the conversion unit price and the charge amount of each user based on the distribution record as the distribution record of the advertisement content AD1.

ここで、各ユーザの課金額について説明する。広告配信装置100は、入札の結果、広告コンテンツAD1が配信対象として選択された場合は、広告コンテンツAD1を配信対象のユーザに配信する。そして、広告コンテンツAD1を配信されたユーザが広告コンテンツAD1をクリックした場合、広告主にそのユーザの課金額として入札単価が課金される。この場合、広告配信装置100は、そのユーザの課金額として入札単価を取得する。 Here, the billing amount of each user will be described. When the advertisement content AD1 is selected as the distribution target as a result of bidding, the advertisement distribution device 100 distributes the advertisement content AD1 to the distribution target user. Then, when the user who has delivered the advertisement content AD1 clicks on the advertisement content AD1, the bid unit price is charged to the advertiser as the charge amount of the user. In this case, the advertisement distribution device 100 acquires the bid unit price as the charge amount of the user.

なお、広告コンテンツAD1を配信されたユーザが広告コンテンツAD1をクリックしなかった場合、広告主に入札単価は課金されない。この場合、広告配信装置100は、そのユーザの課金額として0円を取得するものとする。また、入札の結果、広告コンテンツAD1が配信対象として選択されなかった場合は、広告配信装置100は、そのユーザの課金額として0円を取得するものとする。 If the user to whom the advertisement content AD1 is delivered does not click the advertisement content AD1, the bid unit price is not charged to the advertiser. In this case, the advertisement distribution device 100 shall acquire 0 yen as the charge amount of the user. Further, as a result of bidding, when the advertisement content AD1 is not selected as the distribution target, the advertisement distribution device 100 shall acquire 0 yen as the charge amount of the user.

続いて、広告配信装置100は、広告コンテンツAD1の配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて広告コンテンツAD1が配信対象として選択される基準となる入札単価を補正する(ステップS7)。 Subsequently, when the advertisement distribution device 100 has an error between the conversion unit price based on the distribution performance of the advertisement content AD1 and the target conversion unit price, the bid unit price as a reference for selecting the advertisement content AD1 as the distribution target by using reinforcement learning. Is corrected (step S7).

上述したように、広告配信装置100は、広告コンテンツAD1の配信実績を取得し、取得した広告コンテンツAD1の配信実績と目標コンバージョン単価に基づいて、広告コンテンツAD1が配信対象として選択される基準となる入札単価を補正する。 As described above, the advertisement distribution device 100 acquires the distribution record of the advertisement content AD1, and is a criterion for selecting the advertisement content AD1 as the distribution target based on the distribution record of the acquired advertisement content AD1 and the target conversion unit price. Correct the bid unit price.

このように、広告配信装置100は、広告コンテンツの配信実績に基づいて入札単価を補正することにより、配信時に予測したコンバージョン率に基づいて算出された入札単価と現実の課金額との乖離を補正することができる。したがって、広告配信装置100は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。 In this way, the advertisement distribution device 100 corrects the bid unit price based on the distribution performance of the advertisement content, thereby correcting the discrepancy between the bid unit price calculated based on the conversion rate predicted at the time of distribution and the actual billing amount. can do. Therefore, the advertisement distribution device 100 can appropriately control the bid unit price according to the target conversion unit price.

なお、図1では、ユーザが広告コンテンツを選択する行動としてユーザが広告コンテンツをクリックする例を示したが、ユーザが広告コンテンツを選択する行動であれば、クリックに限られない。例えば、ユーザがスマートフォンを用いている場合は、ユーザが広告コンテンツを選択する行動は、タップなど任意の操作が行われることに相当する。 Note that FIG. 1 shows an example in which the user clicks the advertisement content as an action of the user selecting the advertisement content, but the action is not limited to the click as long as the user selects the advertisement content. For example, when the user is using a smartphone, the action of the user selecting the advertisement content corresponds to an arbitrary operation such as tapping.

〔2.補正システムの構成〕
次に、図2を用いて、実施形態にかかる補正装置100が含まれる補正システム1の構成について説明する。図2は、実施形態にかかる補正システム1の構成例を示す図である。図2に例示するように、実施形態にかかる補正システム1には、ユーザ端末10と、アクセスログサーバ20と、広告主端末30と、広告配信装置100とが含まれる。これらの各種装置は、ネットワークN(例えば、インターネット)を介して、有線又は無線により通信可能に接続される。なお、図2に示した補正システム1には、複数台のユーザ端末10や、複数台のアクセスログサーバ20や、複数台の広告主端末30が含まれてもよい。また、本実施形態では、アクセスログサーバ20および広告配信装置100は、事業者T1によって管理されているものとする。
[2. Compensation system configuration]
Next, the configuration of the correction system 1 including the correction device 100 according to the embodiment will be described with reference to FIG. FIG. 2 is a diagram showing a configuration example of the correction system 1 according to the embodiment. As illustrated in FIG. 2, the correction system 1 according to the embodiment includes a user terminal 10, an access log server 20, an advertiser terminal 30, and an advertisement distribution device 100. These various devices are connected so as to be communicable by wire or wirelessly via a network N (for example, the Internet). The correction system 1 shown in FIG. 2 may include a plurality of user terminals 10, a plurality of access log servers 20, and a plurality of advertiser terminals 30. Further, in the present embodiment, it is assumed that the access log server 20 and the advertisement distribution device 100 are managed by the business operator T1.

ユーザ端末10は、ユーザによって利用される端末装置である。例えば、ユーザ端末10は、タブレット型端末、PC(Personal Computer)、携帯電話機、PDA(Personal Digital Assistant)等である。例えば、ユーザ端末10は、所定のウェブサーバにアクセスすることで、所定のウェブサーバからウェブページを取得し、取得したウェブページを表示画面に表示する。 The user terminal 10 is a terminal device used by the user. For example, the user terminal 10 is a tablet terminal, a PC (Personal Computer), a mobile phone, a PDA (Personal Digital Assistant), or the like. For example, the user terminal 10 acquires a web page from the predetermined web server by accessing the predetermined web server, and displays the acquired web page on the display screen.

また、ユーザ端末10は、ウェブページに広告枠が含まれる場合には、広告配信装置100にアクセスすることで、広告配信装置100から広告コンテンツを取得し、取得した広告コンテンツを、かかる広告枠に表示する。 Further, when the web page includes an advertisement space, the user terminal 10 acquires the advertisement content from the advertisement distribution device 100 by accessing the advertisement distribution device 100, and the acquired advertisement content is used in the advertisement space. indicate.

アクセスログサーバ20は、ユーザの検索クエリやユーザの訪問ページといったアクセスログを保持している。また、アクセスログサーバ20は、ショッピングサービスを提供する所定のサーバ装置から、ショッピングサービスを利用しているユーザの購入履歴に関する情報を取得する。具体的には、アクセスログサーバ20は、ショッピングサービスを提供する所定のサーバ装置から、ショッピングサービスを利用しているユーザが広告主にとって利益につながる行動(例えば、広告コンテンツの広告対象商品の購入等)を起こしたか否かに関する情報を取得する。 The access log server 20 holds access logs such as a user's search query and a user's visit page. Further, the access log server 20 acquires information regarding the purchase history of the user who is using the shopping service from a predetermined server device that provides the shopping service. Specifically, the access log server 20 is an action in which a user using the shopping service is profitable for the advertiser from a predetermined server device that provides the shopping service (for example, purchase of an advertisement target product of advertisement content, etc.). ) Is obtained.

広告主端末30は、広告主によって利用される端末装置である。例えば、広告主端末30は、タブレット型端末、PC、携帯電話機、PDA等である。また、広告主端末30は、広告主の操作に従って、広告コンテンツを広告配信装置100に入稿する。 The advertiser terminal 30 is a terminal device used by the advertiser. For example, the advertiser terminal 30 is a tablet terminal, a PC, a mobile phone, a PDA, or the like. Further, the advertiser terminal 30 submits the advertisement content to the advertisement distribution device 100 according to the operation of the advertiser.

例えば、広告主端末30は、静止画像、動画像、テキストデータ等に該当する広告コンテンツを広告配信装置100に入稿する。また、例えば、広告主端末30は、広告コンテンツが選択操作(例えば、クリックやタップ)された場合に、遷移させる遷移先コンテンツのURL(Uniform Resource Locator)に該当する広告コンテンツを広告配信装置100に入稿してもよい。 For example, the advertiser terminal 30 submits advertisement contents corresponding to still images, moving images, text data, and the like to the advertisement distribution device 100. Further, for example, the advertiser terminal 30 transfers the advertisement content corresponding to the URL (Uniform Resource Locator) of the transition destination content to be transitioned to the advertisement distribution device 100 when the advertisement content is selected (for example, clicked or tapped). You may upload it.

さらに、広告主端末30は、広告主の操作に従って、広告コンテンツから商品購入や会員登録等の利益につながる成果を1件獲得するのにかかるコストであるコンバージョン単価の目標値である目標コンバージョン単価を対応する広告コンテンツに設定するよう広告配信装置100に指示する。 Further, the advertiser terminal 30 sets the target conversion unit price, which is the target value of the conversion unit price, which is the cost required to obtain one profitable result such as product purchase or membership registration from the advertisement content according to the operation of the advertiser. Instruct the advertisement distribution device 100 to set the corresponding advertisement content.

広告配信装置100は、図1で説明した補正処理を行うサーバ装置である。また、広告配信装置100は、広告主端末30から入稿された広告コンテンツを配信するサーバ装置である。 The advertisement distribution device 100 is a server device that performs the correction process described with reference to FIG. Further, the advertisement distribution device 100 is a server device that distributes the advertisement content submitted from the advertiser terminal 30.

広告配信装置100は、広告コンテンツを配信したユーザに関する情報を保持している。具体的には、広告配信装置100は、広告コンテンツを配信したユーザが広告コンテンツをクリックしたか否かに関する情報や、広告コンテンツを配信したユーザがコンバージョンに至ったか否かに関する情報を保持している。 The advertisement distribution device 100 holds information about the user who has distributed the advertisement content. Specifically, the advertisement distribution device 100 holds information on whether or not the user who delivered the advertisement content clicked on the advertisement content, and information on whether or not the user who delivered the advertisement content reached a conversion. ..

なお、図2では、補正システム1の構成例として、アクセスログを集約して保持するアクセスログサーバ20から補正装置100がユーザのアクセスログを取得する例を示したが、検索サーバ装置やショッピングサーバ装置といったそれぞれのサーバ装置から補正装置100がユーザのアクセスログを取得してもよい。 Note that FIG. 2 shows an example in which the correction device 100 acquires the user's access log from the access log server 20 that aggregates and holds the access logs as a configuration example of the correction system 1. The correction device 100 may acquire the user's access log from each server device such as the device.

〔3.補正装置の構成〕
次に、図3を用いて、実施形態にかかる広告配信装置(補正装置)100について説明する。図3は、実施形態にかかる広告配信装置(補正装置)100の構成例を示す図である。図3に示すように、広告配信装置(補正装置)100は、通信部110と、記憶部120と、制御部130とを有する。
[3. Configuration of correction device]
Next, the advertisement distribution device (correction device) 100 according to the embodiment will be described with reference to FIG. FIG. 3 is a diagram showing a configuration example of the advertisement distribution device (correction device) 100 according to the embodiment. As shown in FIG. 3, the advertisement distribution device (correction device) 100 includes a communication unit 110, a storage unit 120, and a control unit 130.

(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、例えば、ユーザ端末10、アクセスログサーバ20との間で情報の送受信を行う。
(Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from, for example, the user terminal 10 and the access log server 20.

(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、図3に示すように、広告情報記憶部121と、広告配信履歴記憶部122と、モデル記憶部123とを有する。
(Memory unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 120 includes an advertisement information storage unit 121, an advertisement distribution history storage unit 122, and a model storage unit 123.

(広告情報記憶部121)
広告情報記憶部121は、広告主端末30から受け付けた広告コンテンツと目標コンバージョン単価に関する各種情報を記憶する。図4に、実施形態に係る広告情報記憶部121の一例を示す。図4に示す例では、広告情報記憶部121は、「広告主ID」、「広告コンテンツID」、「目標コンバージョン単価」といった項目を有する。
(Advertising information storage unit 121)
The advertisement information storage unit 121 stores various information regarding the advertisement content received from the advertiser terminal 30 and the target conversion unit price. FIG. 4 shows an example of the advertisement information storage unit 121 according to the embodiment. In the example shown in FIG. 4, the advertisement information storage unit 121 has items such as "advertiser ID", "advertisement content ID", and "target conversion unit price".

「広告主ID」は、広告主端末30の広告主を識別するための識別情報を示す。 The "advertiser ID" indicates identification information for identifying the advertiser of the advertiser terminal 30.

「広告コンテンツID」は、広告主端末30から受け付けた広告コンテンツを識別するための識別情報を示す。また、例えば、広告コンテンツID「AD1」により識別される広告コンテンツを適宜「広告コンテンツAD1」と呼ぶことにする。 The "advertising content ID" indicates identification information for identifying the advertising content received from the advertiser terminal 30. Further, for example, the advertising content identified by the advertising content ID "AD1" is appropriately referred to as "advertising content AD1".

「目標コンバージョン単価」は、広告コンテンツにより1件のコンバージョンを得るために費やす広告費の目標値を示す。 The "target conversion unit price" indicates the target value of the advertising cost spent to obtain one conversion from the advertising content.

図4に示す例では、1レコード目は、広告主ID「C1」により識別される広告主から、広告コンテンツID「AD1」により識別される広告コンテンツと広告コンテンツAD1により1件のコンバージョンを得るために費やす広告費の目標値「15,000」を受け付けたことを示している。 In the example shown in FIG. 4, the first record is for obtaining one conversion from the advertiser identified by the advertiser ID "C1" by the advertising content identified by the advertising content ID "AD1" and the advertising content AD1. It shows that the target value "15,000" of the advertising expenses to be spent on the contents has been accepted.

(広告配信履歴記憶部122)
広告配信履歴記憶部122は、広告コンテンツの配信履歴に関する各種情報を記憶する。図5に、実施形態に係る広告配信履歴記憶部122の一例を示す。図5に示す例では、広告配信履歴記憶部122は、「広告コンテンツID」、「ユーザID」、「広告クリックの有無」、「コンバージョンの有無」、「広告配信日時」といった項目を有する。
(Advertisement distribution history storage unit 122)
The advertisement distribution history storage unit 122 stores various information related to the distribution history of the advertisement content. FIG. 5 shows an example of the advertisement distribution history storage unit 122 according to the embodiment. In the example shown in FIG. 5, the advertisement distribution history storage unit 122 has items such as "advertisement content ID", "user ID", "presence / absence of ad click", "presence / absence of conversion", and "advertisement delivery date / time".

「広告コンテンツID」は、配信した広告コンテンツを識別するための識別情報を示す。また、例えば、広告コンテンツID「AD1」により識別される広告コンテンツを適宜「広告コンテンツAD1」と呼ぶことにする。 The "advertisement content ID" indicates identification information for identifying the delivered advertisement content. Further, for example, the advertising content identified by the advertising content ID "AD1" is appropriately referred to as "advertising content AD1".

「ユーザID」は、広告コンテンツの配信先のユーザを識別するための識別情報を示す。 The "user ID" indicates identification information for identifying the user to whom the advertisement content is delivered.

「広告クリックの有無」は、配信した広告コンテンツが配信先のユーザによってクリックされたか否かの情報を示す。図5に示す例では、配信先のユーザが広告コンテンツをクリックした場合を1、クリックしなかった場合を0で示す。 "Presence / absence of advertisement click" indicates information as to whether or not the delivered advertisement content was clicked by the distribution destination user. In the example shown in FIG. 5, the case where the delivery destination user clicks the advertisement content is shown as 1, and the case where the advertisement content is not clicked is shown as 0.

「コンバージョンの有無」は、広告コンテンツをクリックしたユーザがコンバージョンに至ったか否かの情報を示す。図5に示す例では、広告コンテンツをクリックしたユーザがコンバージョンに至った場合を1、コンバージョンに至らなかった場合を0で示す。 "Presence / absence of conversion" indicates information as to whether or not the user who clicked on the advertisement content has converted. In the example shown in FIG. 5, the case where the user who clicked the advertisement content reaches the conversion is shown by 1, and the case where the conversion is not reached is shown by 0.

「広告配信日時」は、広告コンテンツを配信した日時の情報を示す。 "Advertisement delivery date and time" indicates information on the date and time when the advertisement content was delivered.

図5に示す例では、1レコード目は、広告配信日時「2017年7月7日16:10」にユーザID「U1」により識別されるユーザ(ユーザU1)に広告コンテンツID「AD1」により識別される広告コンテンツが配信されたことを示している。そして、ユーザID「U1」により識別されるユーザは、広告コンテンツAD1をクリックせず、コンバージョンに至らなかったことを示す。 In the example shown in FIG. 5, the first record is identified by the advertisement content ID "AD1" to the user (user U1) identified by the user ID "U1" at the advertisement delivery date and time "July 7, 2017 16:10". Indicates that the advertising content to be delivered has been delivered. Then, the user identified by the user ID "U1" does not click the advertisement content AD1 and indicates that the conversion has not been achieved.

(モデル記憶部123)
モデル記憶部123は、広告コンテンツ毎に生成された第1モデルと第2モデルを広告コンテンツ毎に記憶する。図6に、実施形態に係るモデル記憶部123の一例を示す。図6に示す例では、モデル記憶部123は、「広告コンテンツID」、「第1モデルID」、「第2モデルID」といった項目を有する。
(Model storage unit 123)
The model storage unit 123 stores the first model and the second model generated for each advertisement content for each advertisement content. FIG. 6 shows an example of the model storage unit 123 according to the embodiment. In the example shown in FIG. 6, the model storage unit 123 has items such as "advertising content ID", "first model ID", and "second model ID".

「広告コンテンツID」は、広告コンテンツを識別するための識別情報を示す。 The "advertising content ID" indicates identification information for identifying the advertising content.

「第1モデルID」は、第1モデルを識別するための識別情報を示す。 The "first model ID" indicates identification information for identifying the first model.

「第2モデルID」は、第2モデルを識別するための識別情報を示す。 The "second model ID" indicates identification information for identifying the second model.

図6に示す例では、1レコード目は、広告コンテンツID「AD1」により識別される広告コンテンツについて、第1モデルID「M11」により識別される第1モデルと第2モデルID「M12」により識別される第2モデルが格納されていることを示している。 In the example shown in FIG. 6, the first record identifies the advertising content identified by the advertising content ID "AD1" by the first model and the second model ID "M12" identified by the first model ID "M11". It shows that the second model to be stored is stored.

(制御部130)
図3の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、広告配信装置100内部の記憶装置に記憶されている各種プログラム(生成プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(Control unit 130)
Returning to the description of FIG. 3, the control unit 130 is a controller, and is stored in a storage device inside the advertisement distribution device 100 by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Various programs (corresponding to an example of a generation program) are realized by executing the RAM as a work area. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

また、制御部130は、モデル記憶部123に記憶されている第1モデルに従った情報処理により、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに対し、出力層以外の各層に属する各要素を第1要素として、第1要素と第1要素の重みとに基づく演算を行うことにより、所定のユーザが第2行動を起こすか否かに関する第1指標値を出力層から出力するよう、コンピュータを機能させる。 Further, the control unit 130 uses information processing according to the first model stored in the model storage unit 123 to respond to an access log such as a search query or a visit page of a predetermined user input to the input layer other than the output layer. By performing an operation based on the first element and the weight of the first element with each element belonging to each layer of the above as the first element, the output layer outputs the first index value regarding whether or not a predetermined user takes the second action. Make your computer work to output from.

また、制御部130は、モデル記憶部123に記憶されている第2モデルに従った情報処理により、入力層に入力された所定のユーザの第1指標値に対し、出力層以外の各層に属する各要素を第1要素として、第1要素と第1要素の重みとに基づく演算を行うことにより、所定のユーザが第1行動に連動して第2行動を起こすか否かに関する第2指標値を出力層から出力するよう、コンピュータを機能させる。 Further, the control unit 130 belongs to each layer other than the output layer with respect to the first index value of a predetermined user input to the input layer by information processing according to the second model stored in the model storage unit 123. A second index value relating to whether or not a predetermined user takes a second action in conjunction with the first action by performing an operation based on the first element and the weight of the first element with each element as the first element. Make the computer function to output from the output layer.

図3に示すように、制御部130は、受付部131と、第1生成部132と、第2生成部133と、第1算出部134と、第2算出部135と、配信部136と、取得部137と、補正部138とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。 As shown in FIG. 3, the control unit 130 includes a reception unit 131, a first generation unit 132, a second generation unit 133, a first calculation unit 134, a second calculation unit 135, and a distribution unit 136. It has an acquisition unit 137 and a correction unit 138, and realizes or executes the operation of information processing described below. The internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 3, and may be any other configuration as long as it is configured to perform information processing described later.

(受付部131)
受付部131は、広告主端末30から広告コンテンツの入稿と目標コンバージョン単価を受け付ける。例えば、受付部131は、広告主端末30から広告コンテンツAD1の入稿と目標コンバージョン単価(目標CPA)を受け付ける。
(Reception Department 131)
The reception unit 131 receives the submission of the advertisement content and the target conversion unit price from the advertiser terminal 30. For example, the reception unit 131 receives the submission of the advertisement content AD1 and the target conversion unit price (target CPA) from the advertiser terminal 30.

また、受付部131は、ユーザ端末10から広告コンテンツの配信要求を受け付ける。 Further, the reception unit 131 receives the distribution request of the advertisement content from the user terminal 10.

(第1生成部132)
第1生成部132は、広告コンテンツをクリックしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第1指標値を予測する第1モデルを生成する。
(1st generation unit 132)
The first generation unit 132 uses the information of the user who has not clicked the advertisement content to perform an action in which the predetermined user benefits the advertiser of the advertisement content from the access log such as the search query or the visit page of the predetermined user. Generate a first model that predicts the first index value regarding whether or not to wake up.

例えば、第1生成部132は、受付部131が広告主端末30から広告コンテンツの入稿を受け付けると、広告コンテンツをクリックしていないユーザの情報として、広告コンテンツをクリックしていないユーザの検索クエリや訪問ページといったアクセスログをアクセスログサーバ20から取得する。 For example, when the reception unit 131 accepts the submission of the advertisement content from the advertiser terminal 30, the first generation unit 132 uses the search query of the user who has not clicked the advertisement content as the information of the user who has not clicked the advertisement content. And access logs such as visit pages are acquired from the access log server 20.

また、第1生成部132は、広告コンテンツをクリックしていないユーザの情報として、広告コンテンツをクリックしていないユーザが広告主にとって利益につながる行動(商品購入等)を起こしたか否かに関する情報をアクセスログサーバ20から取得する。 In addition, the first generation unit 132 provides information on whether or not the user who has not clicked the advertisement content has taken an action (product purchase, etc.) that is profitable for the advertiser, as the information of the user who has not clicked the advertisement content. Obtained from the access log server 20.

そして、第1生成部132は、広告コンテンツをクリックしていないユーザの情報を用いて、所定のユーザの検索クエリや訪問ページといったアクセスログから、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第1指標値を予測する第1モデルを生成する。 Then, the first generation unit 132 uses the information of the user who has not clicked the advertisement content, and the predetermined user leads to the profit for the advertiser of the advertisement content from the access log such as the search query and the visit page of the predetermined user. Generate a first model that predicts the first index value regarding whether or not to take action.

第1生成部132は、第1モデルを生成すると、生成した第1モデルをモデル記憶部123に格納する。 When the first generation unit 132 generates the first model, the generated first model is stored in the model storage unit 123.

なお、第1生成部132は、いかなる学習アルゴリズムを用いて第1モデルを生成してもよい。例えば、第1生成部132は、ニューラルネットワーク(neural network)、サポートベクターマシン(support vector machine)、クラスタリング、強化学習等の学習アルゴリズムを用いて第1モデルを生成する。一例として、第1生成部132がニューラルネットワークを用いて第1モデルを生成する場合、第1モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。 The first generation unit 132 may generate the first model by using any learning algorithm. For example, the first generation unit 132 generates the first model by using a learning algorithm such as a neural network, a support vector machine, clustering, and reinforcement learning. As an example, when the first generation unit 132 generates the first model using a neural network, the first model has an input layer containing one or more neurons, an intermediate layer containing one or more neurons, and one or more. It has an output layer containing neurons.

第1モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第1要素と、第1要素と第1要素の重みとに基づいて値が算出される第2要素と、を含み、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに応じて、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第1指標値を出力層から出力するよう、コンピュータを機能させる。 The first model belongs to an input layer in which an access log such as a search query or a visit page of a predetermined user is input, an output layer, and any layer from the input layer to the output layer, which is a layer other than the output layer. An access log such as a search query or a visit page of a predetermined user input to the input layer, including the first element and the second element whose value is calculated based on the first element and the weight of the first element. Accordingly, the computer is made to function so as to output the first index value regarding whether or not the predetermined user takes an action that is beneficial to the advertiser of the advertising content from the output layer.

第1モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第1要素と、第1要素と第1要素の重みとに基づいて値が算出される第2要素と、を含み、入力層に入力された所定のユーザの検索クエリや訪問ページといったアクセスログに対し、出力層以外の各層に属する各要素を第1要素として、第1要素と第1要素の重みとに基づく演算を行うことにより、所定のユーザが広告コンテンツの広告主にとって利益につながる行動を起こすか否かに関する第1指標値を出力層から出力するよう、コンピュータを機能させる。 The first model belongs to an input layer in which an access log such as a search query or a visit page of a predetermined user is input, an output layer, and any layer from the input layer to the output layer, which is a layer other than the output layer. An access log such as a search query or a visit page of a predetermined user input to the input layer, including the first element and the second element whose value is calculated based on the first element and the weight of the first element. On the other hand, by performing an operation based on the first element and the weight of the first element with each element belonging to each layer other than the output layer as the first element, a predetermined user performs an action that leads to profit for the advertiser of the advertisement content. Make the computer function to output the first index value regarding whether or not to wake up from the output layer.

ここで、第1モデルが「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、第1モデルが含む第1要素は、x1やx2等といった入力データ(xi)に対応する。また、第1要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第1要素は、入力層が有するいずれかのノードに対応し、第2要素は、出力層が有するノードと見做すことができる。 Here, it is assumed that the first model is realized by the regression model shown by "y = a 1 * x 1 + a 2 * x 2 + ... + a i * x i ". In this case, the first element included in the first model corresponds to input data (x i ) such as x 1 and x 2 . Further, the weight of the first element corresponds to the coefficient a i corresponding to x i . Here, the regression model can be regarded as a simple perceptron having an input layer and an output layer. When each model is regarded as a simple perceptron, the first element corresponds to any node of the input layer, and the second element can be regarded as the node of the output layer.

また、第1モデルがDNN(Deep Neural Network)等、1つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、第1モデルが含む第1要素は、入力層または中間層が有するいずれかのノードに対応する。また、第2要素は、第1要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第1要素の重みは、第1要素と対応するノードから第2要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。 Further, it is assumed that the first model is realized by a neural network having one or a plurality of intermediate layers such as DNN (Deep Neural Network). In this case, the first element included in the first model corresponds to either node of the input layer or the intermediate layer. Further, the second element corresponds to the node of the next stage, which is the node to which the value is transmitted from the node corresponding to the first element. Further, the weight of the first element corresponds to a connection coefficient which is a weight considered for the value transmitted from the node corresponding to the first element to the node corresponding to the second element.

広告配信装置100は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有する第1モデルを用いて、第1指標値の算出を行う。具体的には、第1モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログが入力された場合に、所定のユーザが第2行動を起こすか否かに関する第1指標値を出力するように係数が設定される。広告配信装置100は、このような第1モデルを用いて、第1指標値を算出する。 The advertisement distribution device 100 calculates the first index value by using the first model having an arbitrary structure such as the regression model and the neural network described above. Specifically, the first model outputs a first index value regarding whether or not a predetermined user takes a second action when an access log such as a search query or a visit page of a predetermined user is input. The coefficient is set to. The advertisement distribution device 100 calculates the first index value using such a first model.

なお、上記例では、第1モデルが、所定のユーザの検索クエリや訪問ページといったアクセスログが入力された場合に、所定のユーザが第2行動を起こすか否かに関する第1指標値を出力する第1モデル(モデルM1Xとする)である例を示した。しかし、実施形態に係る第1モデルは、モデルM1Xにデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、第1モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログを入力とし、モデルM1Xが出力する所定のユーザが第2行動を起こすか否かに関する第1指標値を出力とするよう学習されたモデル(モデルM1Y)であってもよい。または、第1モデルは、所定のユーザの検索クエリや訪問ページといったアクセスログを入力とし、モデルM1Yの出力値を出力とするよう学習されたモデルであってもよい。 In the above example, the first model outputs the first index value regarding whether or not the predetermined user takes the second action when the access log such as the search query or the visit page of the predetermined user is input. An example of the first model (referred to as model M1X) is shown. However, the first model according to the embodiment may be a model generated based on the result obtained by repeating the input / output of data to the model M1X. For example, the first model inputs an access log such as a search query or a visit page of a predetermined user, and outputs a first index value relating to whether or not the predetermined user takes a second action, which is output by the model M1X. It may be a trained model (model M1Y). Alternatively, the first model may be a model trained to input an access log such as a search query or a visit page of a predetermined user and output an output value of the model M1Y.

また、広告配信装置100がGAN(Generative Adversarial Networks)を用いた算出処理を行う場合、第1モデルは、GANの一部を構成するモデルであってもよい。 Further, when the advertisement distribution device 100 performs the calculation process using GAN (Generative Adversarial Networks), the first model may be a model constituting a part of GAN.

(第2生成部133)
第2生成部133は、広告コンテンツをクリックしたユーザの情報を用いて、所定のユーザの第1指標値から、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こすか否かに関する第2指標値(コンバージョン率)を予測する第2モデルを生成する。
(Second generation unit 133)
The second generation unit 133 uses the information of the user who clicked the advertisement content to benefit the advertiser of the advertisement content from the first index value of the predetermined user following the action of the predetermined user clicking the advertisement content. Generate a second model that predicts the second index value (conversion rate) regarding whether or not to cause a connected action (conversion).

例えば、第2生成部133は、第1生成部132が第1モデルを生成すると、広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログをアクセスログサーバ20から取得する。 For example, when the first generation unit 132 generates the first model, the second generation unit 133 acquires access logs such as a search query and a visit page of the user who clicked the advertisement content from the access log server 20.

そして、第2生成部133は、第1生成部132が生成した第1モデルに広告コンテンツをクリックしたユーザの検索クエリや訪問ページといったアクセスログを入力することにより、広告コンテンツをクリックしたユーザの第1指標値を算出する。 Then, the second generation unit 133 inputs the access log such as the search query and the visit page of the user who clicked the advertisement content into the first model generated by the first generation unit 132, so that the second generation unit 133 of the user who clicked the advertisement content. 1 Calculate the index value.

また、第2生成部133は、広告コンテンツをクリックしたユーザが広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こしたか否かに関する情報を広告配信履歴記憶部122から取得する。 In addition, the second generation unit 133 acquires information from the advertisement distribution history storage unit 122 regarding whether or not the user who clicked on the advertisement content has taken an action (conversion) that is profitable for the advertiser of the advertisement content.

例えば、第2生成部133が、広告コンテンツをクリックしたユーザの第1指標値を算出したところ、第1指標値が0.1であるユーザが10人いたとする。そして、第1指標値が0.1であるユーザ10人のうち、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こしたユーザは1人であったとする。言い換えると、第1指標値が0.1であるユーザ10人のうち、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こさなかったユーザは9人であったとする。この場合、第2生成部133は、第1指標値が0.1であるユーザが、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こすか否かに関する第2指標値(コンバージョン率)は10%であると予測する第2モデルを生成する。なお、第2生成部133が第2モデルを生成する例は、この例に限られない。 For example, when the second generation unit 133 calculates the first index value of the user who clicked the advertisement content, it is assumed that there are 10 users whose first index value is 0.1. And, among the 10 users whose first index value is 0.1, one user took an action (conversion) that would be profitable for the advertiser of the advertising content following the action of clicking the advertising content. do. In other words, of the 10 users whose first index value is 0.1, 9 users did not take any action (conversion) that would benefit the advertiser of the ad content following the action of clicking the ad content. Suppose there was. In this case, the second generation unit 133 determines whether or not the user whose first index value is 0.1 takes an action (conversion) that is profitable for the advertiser of the advertising content following the action of clicking the advertising content. Generates a second model that predicts that the second index value (conversion rate) is 10%. The example in which the second generation unit 133 generates the second model is not limited to this example.

また、第2生成部133は、第2モデルを生成すると、生成した第2モデルをモデル記憶部123に格納する。 Further, when the second generation unit 133 generates the second model, the generated second model is stored in the model storage unit 123.

なお、第2生成部133は、いかなる学習アルゴリズムを用いて第2モデルを生成してもよい。例えば、第2生成部133は、ニューラルネットワーク(neural network)、サポートベクターマシン(support vector machine)、クラスタリング、強化学習等の学習アルゴリズムを用いて第2モデルを生成する。一例として、第2生成部133がニューラルネットワークを用いて第2モデルを生成する場合、第2モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。 The second generation unit 133 may generate the second model using any learning algorithm. For example, the second generation unit 133 generates a second model using a learning algorithm such as a neural network, a support vector machine, clustering, and reinforcement learning. As an example, when the second generation unit 133 uses a neural network to generate a second model, the second model includes an input layer containing one or more neurons, an intermediate layer containing one or more neurons, and one or more. It has an output layer containing neurons.

第2モデルは、広告コンテンツをクリックすることなく広告主にとって利益につながる行動を起こしたユーザの情報に基づいて生成された第1モデルを用いて算出された第1指標値であって、所定のユーザが広告主にとって利益につながる行動を起こすか否かに関する第1指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第1要素と、第1要素と第1要素の重みとに基づいて値が算出される第2要素と、を含み、入力層に入力された第1指標値に応じて、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こすか否かに関する第2指標値を出力層から出力するよう、コンピュータを機能させる。 The second model is a first index value calculated using the first model generated based on the information of the user who has taken an action that is profitable for the advertiser without clicking the advertisement content, and is a predetermined index value. An input layer in which a first index value regarding whether or not a user takes an action that is profitable for an advertiser is input, an output layer, and any layer from the input layer to the output layer, which is a layer other than the output layer. A predetermined user according to a first index value input to an input layer, including a first element belonging to the above and a second element whose value is calculated based on the weights of the first element and the first element. Makes the computer function so that the output layer outputs a second index value regarding whether or not an action (conversion) that is beneficial to the advertiser of the advertising content is performed following the action of clicking the advertising content.

第2モデルは、広告コンテンツをクリックすることなく広告主にとって利益につながる行動を起こしたユーザの情報に基づいて生成された第1モデルを用いて算出された第1指標値であって、所定のユーザが広告主にとって利益につながる行動を起こすか否かに関する第1指標値が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第1要素と、第1要素と第1要素の重みとに基づいて値が算出される第2要素と、を含み、入力層に入力された第1指標値に対し、出力層以外の各層に属する各要素を第1要素として、第1要素と第1要素の重みとに基づく演算を行うことにより、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こすか否かに関する第2指標値を出力層から出力するよう、コンピュータを機能させる。 The second model is a first index value calculated using the first model generated based on the information of the user who has taken an action that is profitable for the advertiser without clicking the advertisement content, and is a predetermined index value. A layer other than the output layer, which is one of the input layer, the output layer, and the input layer to the output layer, where the first index value regarding whether or not the user takes an action that is profitable for the advertiser is input. A first element belonging to the above, a second element whose value is calculated based on the weights of the first element and the first element, and a first index value input to the input layer other than the output layer. By performing an operation based on the first element and the weight of the first element with each element belonging to each layer as the first element, it is profitable for the advertiser of the advertisement content following the action of the predetermined user clicking the advertisement content. Make the computer function to output the second index value regarding whether or not to cause a connected action (conversion) from the output layer.

ここで、第2モデルが「y=1/(1+exp(-t))、t=a0+a1*x1+a2*x2+・・・+ai*xi」で示すロジスティック回帰モデルで実現されるとする。この場合、第1モデルが含む第1要素は、x1やx2等といった入力データ(xi)に対応する。ここで、入力データ(xi)は所定のユーザの第1指標値である。また、yは予測確率(0~1の値)である第2指標値である。例えば、yは、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こすか否かに関する第2指標値(コンバージョン率)である。また、第1要素の重みは、xiに対応する係数aiに対応する。ここで、ロジスティック回帰モデルは、標準シグモイド関数σを用いると「y=σ(t)=σ(a1*x1+a2*x2+・・・+ai*xi)」のように表せる。したがって、ロジスティック回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第1要素は、入力層が有するいずれかのノードに対応し、第2要素は、出力層が有するノードと見做すことができる。なお、ロジスティック回帰では、最尤法によりパラメータ(係数ai)を推定する。具体的には、最尤法では、モデルのパラメータ(係数ai)を推定する尤度関数を導出する。そして、負の対数尤度関数が最小になるように反復解法を繰り返すことにより、パラメータ(係数ai)を推定する。 Here, the second model is "y = 1 / (1 + exp (-t)), t = a 0 + a 1 * x 1 + a 2 * x 2 + ... + a i * x i ". It is assumed that it is realized by the logistic regression model shown. In this case, the first element included in the first model corresponds to input data (x i ) such as x 1 and x 2 . Here, the input data (x i ) is the first index value of a predetermined user. Further, y is a second index value which is a prediction probability (value of 0 to 1). For example, y is a second index value (conversion rate) regarding whether or not a predetermined user takes an action (conversion) that is profitable for the advertiser of the advertising content following the action of clicking the advertising content. Further, the weight of the first element corresponds to the coefficient a i corresponding to x i . Here, the logistic regression model looks like "y = σ (t) = σ (a 1 * x 1 + a 2 * x 2 + ... + a i * x i )" using the standard sigmoid function σ. Can be expressed in. Therefore, the logistic regression model can be regarded as a simple perceptron having an input layer and an output layer. When each model is regarded as a simple perceptron, the first element corresponds to any node of the input layer, and the second element can be regarded as the node of the output layer. In logistic regression, the parameter (coefficient a i ) is estimated by the maximum likelihood method. Specifically, the maximum likelihood method derives a likelihood function that estimates the model parameters (coefficients a i ). Then, the parameter (coefficient a i ) is estimated by repeating the iterative solution method so that the negative log-likelihood function is minimized.

広告配信装置100は、上述したロジスティック回帰モデル等、発生確率を予測するために用いられるモデルであって、任意の構造を有する第2モデルを用いて、第2指標値(コンバージョン率)の算出を行う。具体的には、第2モデルは、広告コンテンツをクリックすることなく広告主にとって利益につながる行動を起こしたユーザの情報に基づいて生成された第1モデルを用いて算出された第1指標値であって、所定のユーザが広告主にとって利益につながる行動を起こすか否かに関する第1指標値が入力された場合に、所定のユーザが広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こすか否かに関する第2指標値(コンバージョン率)を出力するように係数が設定される。広告配信装置100は、このような第2モデルを用いて、第2指標値を算出する。 The advertisement distribution device 100 is a model used for predicting the probability of occurrence, such as the logistic regression model described above, and uses a second model having an arbitrary structure to calculate a second index value (conversion rate). conduct. Specifically, the second model is a first index value calculated using the first model generated based on the information of a user who has taken an action that is profitable for the advertiser without clicking the advertisement content. Therefore, when the first index value regarding whether or not the predetermined user takes an action that is beneficial to the advertiser is input, the advertiser of the advertisement content follows the action of the predetermined user clicking the advertisement content. A coefficient is set to output a second index value (conversion rate) regarding whether or not to cause an action (conversion) that leads to profit. The advertisement distribution device 100 calculates the second index value using such a second model.

(第1算出部134)
第1算出部134は、第1生成部132が生成した第1モデルを用いて、第1指標値を算出する。
(1st calculation unit 134)
The first calculation unit 134 calculates the first index value using the first model generated by the first generation unit 132.

第1算出部134は、受付部131がユーザ端末10から広告コンテンツの配信要求を受け付けると、配信候補の広告コンテンツを選択する。例えば、第1算出部134は、配信要求元のユーザの直近の検索クエリが「ノートパソコン」である場合、広告コンテンツに設定されたキーワードに「ノートパソコン」が含まれる広告コンテンツを配信候補の広告コンテンツとして選択する。例えば、第1算出部134は、広告コンテンツAD1と広告コンテンツAD2を配信候補の広告コンテンツとして選択する。 When the reception unit 131 receives the distribution request of the advertisement content from the user terminal 10, the first calculation unit 134 selects the advertisement content of the distribution candidate. For example, when the most recent search query of the user who requested the distribution is "notebook computer", the first calculation unit 134 uses the advertisement content in which "notebook computer" is included in the keyword set in the advertisement content as the advertisement of the distribution candidate. Select as content. For example, the first calculation unit 134 selects the advertisement content AD1 and the advertisement content AD2 as the advertisement contents of the distribution candidate.

続いて、第1算出部134は、配信候補の広告コンテンツ毎に、当該広告コンテンツの第1指標値を算出する。具体的には、第1算出部134は、モデル記憶部123の広告コンテンツIDを参照して、配信候補の広告コンテンツの広告コンテンツIDに対応する第1モデルを選択する。例えば、第1算出部134は、モデル記憶部123の広告コンテンツIDを参照して、配信候補の広告コンテンツAD1の広告コンテンツID「AD1」に対応する第1モデルM11を選択する。例えば、広告配信装置100は、モデル記憶部123の広告コンテンツIDを参照して、配信候補の広告コンテンツAD2の広告コンテンツID「AD2」に対応する第1モデルM21を選択する。 Subsequently, the first calculation unit 134 calculates the first index value of the advertisement content for each advertisement content of the distribution candidate. Specifically, the first calculation unit 134 refers to the advertisement content ID of the model storage unit 123 and selects the first model corresponding to the advertisement content ID of the advertisement content of the distribution candidate. For example, the first calculation unit 134 refers to the advertisement content ID of the model storage unit 123 and selects the first model M11 corresponding to the advertisement content ID “AD1” of the advertisement content AD1 of the distribution candidate. For example, the advertisement distribution device 100 refers to the advertisement content ID of the model storage unit 123 and selects the first model M21 corresponding to the advertisement content ID “AD2” of the advertisement content AD2 of the distribution candidate.

そして、第1算出部134は、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第1モデルに入力することにより、広告配信対象のユーザの第1指標値を算出する。例えば、第1算出部134は、広告コンテンツAD1については、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第1モデルM11に入力することにより、広告配信対象のユーザの第1指標値F11を算出する。例えば、第1算出部134は、広告コンテンツAD2については、広告配信対象のユーザの検索クエリや訪問ページといったアクセスログを選択した第1モデルM21に入力することにより、広告配信対象のユーザの第1指標値F21を算出する。 Then, the first calculation unit 134 calculates the first index value of the advertisement distribution target user by inputting the access log such as the search query and the visit page of the advertisement distribution target user into the selected first model. For example, the first calculation unit 134 inputs the advertisement content AD1 to the first model M11 in which the access log such as the search query or the visit page of the user to be advertised is selected, so that the first of the users to be advertised is delivered. The index value F11 is calculated. For example, the first calculation unit 134 inputs the advertisement content AD2 to the first model M21 in which the access log such as the search query or the visit page of the advertisement distribution target user is selected, so that the first of the advertisement distribution target users. The index value F21 is calculated.

(第2算出部135)
第2算出部135は、第2生成部133が生成した第2モデルを用いて、第2指標値(コンバージョン率)を算出する。具体的には、第2算出部135は、広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値である第1指標値を、広告コンテンツをクリックする行動に続けて広告コンテンツの広告主にとって利益につながる行動(コンバージョン)を起こす確率である第2指標値(コンバージョン率)に変換する。
(Second calculation unit 135)
The second calculation unit 135 calculates the second index value (conversion rate) using the second model generated by the second generation unit 133. Specifically, the second calculation unit 135 sets the first index value, which is a numerical value indicating the degree of action that leads to profit for the advertiser of the advertisement content, to the advertiser of the advertisement content following the action of clicking the advertisement content. It is converted into a second index value (conversion rate), which is the probability of causing an action (conversion) that is profitable for the user.

また、第2算出部135は、第2行動である広告コンテンツの広告主にとって利益につながる行動を得るためにかかる広告コンテンツにおける広告費の目標値と、第2算出部135により算出された第2指標値であるコンバージョン率とに基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を算出してもよい。 In addition, the second calculation unit 135 includes the target value of the advertising cost in the advertising content required to obtain an action that is profitable for the advertiser of the advertising content, which is the second action, and the second calculation unit 135. Based on the conversion rate, which is an index value, the bid unit price as a reference for selecting the advertising content as the distribution target may be calculated.

第2算出部135は、第1算出部134が第1指標値を算出すると、広告配信対象のユーザの第2指標値(コンバージョン率)を算出する。 When the first calculation unit 134 calculates the first index value, the second calculation unit 135 calculates the second index value (conversion rate) of the user to be advertised.

第2算出部135は、モデル記憶部123の広告コンテンツIDを参照して、配信候補の広告コンテンツの広告コンテンツIDに対応する第2モデルを選択する。例えば、第2算出部135は、モデル記憶部123の広告コンテンツIDを参照して、配信候補の広告コンテンツAD1の広告コンテンツID「AD1」に対応する第2モデルM12を選択する。例えば、第2算出部135は、モデル記憶部123の広告コンテンツIDを参照して、配信候補の広告コンテンツAD2の広告コンテンツID「AD2」に対応する第2モデルM22を選択する。 The second calculation unit 135 refers to the advertisement content ID of the model storage unit 123 and selects the second model corresponding to the advertisement content ID of the advertisement content of the distribution candidate. For example, the second calculation unit 135 refers to the advertisement content ID of the model storage unit 123 and selects the second model M12 corresponding to the advertisement content ID “AD1” of the advertisement content AD1 of the distribution candidate. For example, the second calculation unit 135 refers to the advertisement content ID of the model storage unit 123 and selects the second model M22 corresponding to the advertisement content ID “AD2” of the advertisement content AD2 of the distribution candidate.

そして、第2算出部135は、算出した第1指標値を選択した第2モデルに入力することにより、広告配信対象のユーザの第2指標値(コンバージョン率)を算出する。例えば、第2算出部135は、広告コンテンツAD1については、算出した第1指標値F11を選択した第2モデルM12に入力することにより、広告配信対象のユーザの第2指標値(コンバージョン率)「0.125」を算出する。例えば、第2算出部135は、広告コンテンツAD2については、算出した第1指標値F21を選択した第2モデルM22に入力することにより、広告配信対象のユーザの第2指標値(コンバージョン率)「0.225」を算出する。 Then, the second calculation unit 135 calculates the second index value (conversion rate) of the user to be advertised by inputting the calculated first index value into the selected second model. For example, the second calculation unit 135 inputs the calculated first index value F11 into the selected second model M12 for the advertisement content AD1, so that the second index value (conversion rate) of the user to be advertised is "conversion rate". 0.125 "is calculated. For example, the second calculation unit 135 inputs the calculated first index value F21 into the selected second model M22 for the advertisement content AD2, so that the second index value (conversion rate) of the user to be advertised is "conversion rate". 0.225 "is calculated.

(配信部136)
配信部136は、配信候補の広告コンテンツの入札単価を算出する。また、配信部136は、抽出した広告コンテンツを配信要求元のユーザ端末10に配信する。
(Distribution unit 136)
The distribution unit 136 calculates the bid unit price of the advertisement content of the distribution candidate. Further, the distribution unit 136 distributes the extracted advertisement content to the user terminal 10 of the distribution request source.

配信部136は、第2算出部135が第2指標値(コンバージョン率)を算出すると、広告主端末30から受け付けた目標コンバージョン単価(目標CPA)と第2算出部135が算出した第2指標値(コンバージョン率)を乗じることにより、配信候補の広告コンテンツの入札単価を算出する。 When the second calculation unit 135 calculates the second index value (conversion rate), the distribution unit 136 has the target conversion unit price (target CPA) received from the advertiser terminal 30 and the second index value calculated by the second calculation unit 135. By multiplying by (conversion rate), the bid unit price of the advertisement content of the distribution candidate is calculated.

例えば、広告コンテンツAD1には、目標CPA「15,000」が設定され、また、広告コンテンツAD2には、目標CPA「20,000」が設定されているものとする。この場合、配信部136は、広告コンテンツAD1については、広告コンテンツAD1の目標CPA「15,000」と第2算出部135が第2指標値(コンバージョン率)「0.125」を乗じることにより、広告コンテンツAD1の入札単価「1,875」を算出する。また、配信部136は、広告コンテンツAD2については、広告コンテンツAD2の目標CPA「20,000」と第2算出部が第2指標値(コンバージョン率)「0.225」を乗じることにより、広告コンテンツAD2の入札単価「4,500」を算出する。 For example, it is assumed that the target CPA "15,000" is set in the advertisement content AD1 and the target CPA "20,000" is set in the advertisement content AD2. In this case, the distribution unit 136 multiplies the target CPA "15,000" of the advertisement content AD1 and the second calculation unit 135 by the second index value (conversion rate) "0.125" for the advertisement content AD1. The bid unit price "1,875" of the advertisement content AD1 is calculated. Further, for the advertisement content AD2, the distribution unit 136 multiplies the target CPA "20,000" of the advertisement content AD2 and the second index value (conversion rate) "0.225" by the second calculation unit to obtain the advertisement content. The bid unit price "4,500" of AD2 is calculated.

続いて、配信部136は、配信候補の広告コンテンツのなかから、配信する広告コンテンツを抽出する。具体的には、配信部136は、算出した入札単価とクリック率(CTR:Click Through Rate)とを乗じたeCPM(effective Cost Per Mill)に基づいて、配信対象の広告コンテンツを抽出する。 Subsequently, the distribution unit 136 extracts the advertisement content to be distributed from the advertisement contents of the distribution candidates. Specifically, the distribution unit 136 extracts the advertisement content to be distributed based on the eCPM (effective cost per mill) obtained by multiplying the calculated bid unit price and the click through rate (CTR).

例えば、広告コンテンツAD1のCTRが「0.05」、広告コンテンツAD2のCTRが「0.03」であるとする。この場合、配信部136は、広告コンテンツAD1の入札単価「1,875」と広告コンテンツAD1のCTR「0.05」とを乗じることにより、広告コンテンツAD1のeCPM「94」を算出する。また、配信部136は、広告コンテンツAD2の入札単価「4,500」と広告コンテンツAD2のCTR「0.03」とを乗じることにより、広告コンテンツAD2のeCPM「135」を算出する。そして、配信部136は、上記のように算出した2つのeCPMのうち、値の大きいeCPMが算出された広告コンテンツAD2を配信対象の広告コンテンツとして抽出する。 For example, it is assumed that the CTR of the advertisement content AD1 is "0.05" and the CTR of the advertisement content AD2 is "0.03". In this case, the distribution unit 136 calculates the eCPM "94" of the advertisement content AD1 by multiplying the bid unit price "1,875" of the advertisement content AD1 and the CTR "0.05" of the advertisement content AD1. Further, the distribution unit 136 calculates the eCPM "135" of the advertisement content AD2 by multiplying the bid unit price "4,500" of the advertisement content AD2 and the CTR "0.03" of the advertisement content AD2. Then, the distribution unit 136 extracts the advertisement content AD2 for which the eCPM having a large value is calculated out of the two eCPMs calculated as described above as the advertisement content to be distributed.

続いて、配信部136は、抽出した広告コンテンツAD2を配信要求元のユーザ端末10に配信する。 Subsequently, the distribution unit 136 distributes the extracted advertisement content AD2 to the user terminal 10 that is the distribution request source.

(取得部137)
取得部137は、広告コンテンツの配信実績を取得する。具体的には、取得部137は、広告コンテンツの配信実績として、広告コンテンツの配信実績に基づくコンバージョン単価を取得する。
(Acquisition unit 137)
The acquisition unit 137 acquires the distribution record of the advertisement content. Specifically, the acquisition unit 137 acquires the conversion unit price based on the distribution record of the advertisement content as the distribution record of the advertisement content.

例えば、取得部137は、広告コンテンツの配信実績として、ある時刻におけるコンバージョン単価と目標コンバージョン単価の誤差を取得する。例えば、取得部137は、広告コンテンツの配信実績として、ある時刻における各ユーザの課金額を取得する。 For example, the acquisition unit 137 acquires an error between the conversion unit price and the target conversion unit price at a certain time as the distribution record of the advertisement content. For example, the acquisition unit 137 acquires the billing amount of each user at a certain time as the distribution record of the advertisement content.

(補正部138)
補正部138は、取得部137によって取得された広告コンテンツの配信実績と目標コンバージョン単価に基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を補正する。具体的には、補正部138は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価との誤差を小さくするように入札単価を補正する。
(Correction unit 138)
The correction unit 138 corrects the bid unit price, which is the standard for selecting the advertisement content as the distribution target, based on the distribution record of the advertisement content acquired by the acquisition unit 137 and the target conversion unit price. Specifically, if there is an error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price, the correction unit 138 reduces the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price. The bid unit price is corrected to.

例えば、補正部138は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて入札単価を補正するためにとるべき行動を学習し、強化学習を用いて学習した行動をとることにより、入札単価を補正する。 For example, if there is an error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price, the correction unit 138 learns the action to be taken to correct the bid unit price by using reinforcement learning, and uses reinforcement learning. By taking the actions learned in the above, the bid unit price is corrected.

また、補正部138は、入札単価を算出するために用いる算出関数に入札単価を補正する補正関数を乗じることにより、入札単価を補正してもよい。具体的には、補正部138は、入札単価を算出するために用いる算出関数として、広告主端末30から受け付けた目標コンバージョン単価に第2算出部135が算出した第2指標値(コンバージョン率)を乗じる関数を用いてもよい。そして、補正部138は、強化学習を用いて入札単価を補正する補正関数を学習することにより、入札単価を補正してもよい。 Further, the correction unit 138 may correct the bid unit price by multiplying the calculation function used for calculating the bid unit price by the correction function for correcting the bid unit price. Specifically, the correction unit 138 sets the second index value (conversion rate) calculated by the second calculation unit 135 to the target conversion unit price received from the advertiser terminal 30 as a calculation function used to calculate the bid unit price. You may use a function to multiply. Then, the correction unit 138 may correct the bid unit price by learning a correction function for correcting the bid unit price using reinforcement learning.

図7を用いて、実施形態に係る補正処理の一例について具体的に説明する。図7は、実施形態に係る補正処理の一例を示す図である。図7では、広告配信装置100が、広告コンテンツAD1の配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて入札単価を補正するためにとるべき行動を学習し、強化学習を用いて学習した行動をとることにより、入札単価を補正する例を示す。 An example of the correction process according to the embodiment will be specifically described with reference to FIG. 7. FIG. 7 is a diagram showing an example of the correction process according to the embodiment. In FIG. 7, when the advertisement distribution device 100 has an error between the conversion unit price based on the distribution performance of the advertisement content AD1 and the target conversion unit price, the reinforcement learning is used to learn the action to be taken to correct the bid unit price. An example of correcting the bid unit price by taking the action learned by using reinforcement learning is shown.

具体的には、強化学習のエージェントは、広告配信装置100である。そして、環境の状態S(t)は、ある時刻tにおける広告コンテンツAD1の配信実績に基づくコンバージョン単価および各ユーザの課金額である。また、報酬R(t)は、広告コンテンツAD1の配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差である。また、行動A(t)は、環境の状態S(t)と報酬R(t)を考慮した方策Π(t)に基づいて行われる。具体的には、行動A(t)は、入札単価が同じグループ毎に広告配信装置100が入札単価を上げたり下げたりする行動である。 Specifically, the agent for reinforcement learning is the advertisement distribution device 100. The environment state S (t) is a conversion unit price based on the distribution record of the advertisement content AD1 at a certain time t and a charge amount of each user. Further, the reward R (t) is an error between the conversion unit price and the target conversion unit price based on the distribution record of the advertisement content AD1. Further, the action A (t) is performed based on the policy Π (t) in consideration of the environmental state S (t) and the reward R (t). Specifically, the action A (t) is an action in which the advertisement distribution device 100 raises or lowers the bid unit price for each group having the same bid unit price.

したがって、図7では、広告配信装置100が、環境の状態S(t)である「広告コンテンツAD1の配信実績に基づくコンバージョン単価および各ユーザの課金額」と報酬R(t)である「広告コンテンツAD1の配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差」を考慮した方策Π(t)に基づいて行動A(t)である「入札単価が同じグループ毎に入札単価を上げたり下げたりする行動」を取り、環境は広告配信装置100の行動A(t)によって状態を変え、その状態S(t+1)を知らせることにより、強化学習を用いて入札単価を補正するためにとるべき行動を学習する例を示す。 Therefore, in FIG. 7, the advertisement distribution device 100 has the “advertisement content” which is the environment state S (t) “conversion unit price based on the distribution record of the advertisement content AD1 and the charge amount of each user” and the reward R (t). Action A (t) "Action to raise or lower the bid unit price for each group with the same bid unit price" based on the measure Π (t) considering the "difference between the conversion unit price based on the distribution record of AD1 and the target conversion unit price" The environment changes the state by the action A (t) of the advertisement distribution device 100, and by notifying the state S (t + 1), the environment learns the action to be taken to correct the bid unit price by using the reinforcement learning. An example is shown.

はじめに、取得部137は、広告コンテンツAD1の配信実績として、ある時刻tにおける配信実績に基づくコンバージョン単価(260円)と各ユーザの課金額を取得する。ここで、ある時刻tにおける環境の状態を状態S(t)とすると、補正部138は、取得部137によって取得されたある時刻tにおけるコンバージョン単価と各ユーザの課金額を状態S(t)として観測する(ステップS11)。 First, the acquisition unit 137 acquires the conversion unit price (260 yen) based on the distribution record at a certain time t and the charge amount of each user as the distribution record of the advertisement content AD1. Here, assuming that the state of the environment at a certain time t is the state S (t), the correction unit 138 sets the conversion unit price and the charge amount of each user at a certain time t acquired by the acquisition unit 137 as the state S (t). Observe (step S11).

ここで、各ユーザの課金額について説明する。配信部136は、入札の結果、広告コンテンツAD1が配信対象として選択された場合は、広告コンテンツAD1を配信対象のユーザに配信する。そして、広告コンテンツAD1を配信されたユーザが広告コンテンツAD1をクリックした場合、広告主にそのユーザの課金額として入札単価が課金される。この場合、取得部137は、そのユーザの課金額として入札単価を取得する。 Here, the billing amount of each user will be described. When the advertisement content AD1 is selected as the distribution target as a result of bidding, the distribution unit 136 distributes the advertisement content AD1 to the distribution target user. Then, when the user who has delivered the advertisement content AD1 clicks on the advertisement content AD1, the bid unit price is charged to the advertiser as the charge amount of the user. In this case, the acquisition unit 137 acquires the bid unit price as the charge amount of the user.

例えば、ユーザU1については、入札の結果、広告コンテンツAD1が配信対象として選択されたので、配信部136は、広告コンテンツAD1をユーザU1のユーザ端末10に配信する。そして、広告コンテンツAD1を配信されたユーザU1は、広告コンテンツAD1をクリックしたので、広告主にユーザU1の課金額として入札単価である20円が課金される。この場合、取得部137は、ユーザU1の課金額として20円を取得する。 For example, for the user U1, since the advertisement content AD1 is selected as the distribution target as a result of bidding, the distribution unit 136 distributes the advertisement content AD1 to the user terminal 10 of the user U1. Then, since the user U1 who has delivered the advertisement content AD1 clicks on the advertisement content AD1, the advertiser is charged 20 yen, which is the bid unit price, as the charge amount of the user U1. In this case, the acquisition unit 137 acquires 20 yen as the charge amount of the user U1.

なお、広告コンテンツAD1を配信されたユーザが広告コンテンツAD1をクリックしなかった場合、広告主に入札単価は課金されない。この場合、取得部137は、そのユーザの課金額として0円を取得する。 If the user to whom the advertisement content AD1 is delivered does not click the advertisement content AD1, the bid unit price is not charged to the advertiser. In this case, the acquisition unit 137 acquires 0 yen as the charge amount of the user.

また、入札の結果、広告コンテンツAD1が配信対象として選択されなかった場合は、取得部137は、そのユーザの課金額として0円を取得する。例えば、ユーザU2については、入札の結果、広告コンテンツAD1が配信対象として選択されなかったので、取得部137は、ユーザU2の課金額として0円を取得する。 Further, as a result of bidding, when the advertisement content AD1 is not selected as the distribution target, the acquisition unit 137 acquires 0 yen as the charge amount of the user. For example, for the user U2, as a result of bidding, the advertisement content AD1 is not selected as the distribution target, so the acquisition unit 137 acquires 0 yen as the charge amount of the user U2.

続いて、補正部138は、取得部137によって取得されたある時刻tにおける配信実績に基づくコンバージョン単価(260円)と目標コンバージョン単価(100円)に誤差があるか否かを判定する。補正部138は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差(160円)があると判定する(ステップS12)。 Subsequently, the correction unit 138 determines whether or not there is an error between the conversion unit price (260 yen) and the target conversion unit price (100 yen) based on the distribution record acquired by the acquisition unit 137 at a certain time t. The correction unit 138 determines that there is an error (160 yen) between the conversion unit price based on the distribution record and the target conversion unit price (step S12).

続いて、補正部138は、取得部137によって取得されたある時刻tにおけるコンバージョン単価と目標コンバージョン単価に誤差(160円)があるので、誤差を小さくする方策Π(t)に従って、入札単価を補正する行動A(t)を実行する。補正部138は、行動A(t)を実行することにより、入札単価が同じグループ毎に入札単価を補正する(ステップS13)。 Subsequently, the correction unit 138 corrects the bid unit price according to the measure Π (t) for reducing the error because there is an error (160 yen) between the conversion unit price and the target conversion unit price at a certain time t acquired by the acquisition unit 137. The action A (t) to be performed is executed. The correction unit 138 corrects the bid unit price for each group having the same bid unit price by executing the action A (t) (step S13).

例えば、入札単価が20円のグループ(ユーザU1~ユーザU5のグループ)をグループG1とすると、補正部138は、グループG1については行動a1(t)を実行する。例えば、入札単価が33円のグループ(ユーザU6~ユーザU8のグループ)をグループG2とすると、補正部138は、グループG2については、行動a2(t)を実行する。例えば、入札単価が50円のグループ(ユーザU9~ユーザU10のグループ)をグループG3とすると、補正部138は、グループG3については、行動a3(t)を実行する。このように、補正部138は、方策Π(t)に従って、行動a1(t)と行動a2(t)と行動a3(t)からなる行動A(t)を実行する For example, assuming that a group having a bid unit price of 20 yen (a group of users U1 to U5) is a group G1, the correction unit 138 executes the action a1 (t) for the group G1. For example, assuming that a group having a bid unit price of 33 yen (a group of users U6 to U8) is a group G2, the correction unit 138 executes the action a2 (t) for the group G2. For example, assuming that a group having a bid unit price of 50 yen (a group of users U9 to U10) is a group G3, the correction unit 138 executes the action a3 (t) for the group G3. In this way, the correction unit 138 executes the action A (t) including the action a1 (t), the action a2 (t), and the action a3 (t) according to the policy Π (t).

例えば、グループG1のメンバー5人のうち、ユーザU2とユーザU5については、課金額が0円である。すなわち、ユーザU2とユーザU5については、入札単価が低すぎたため、入札単価が20円よりも高い他の広告コンテンツに入札で競り負けたことがわかる。そこで、補正部138は、グループG1については、入札で競り負けないよう、入札単価を20円から1円上げる行動a1(t)を実行する。このように、補正部138は、行動a1(t)を実行することにより、入札単価が20円のグループG1の入札単価を補正する。 For example, of the five members of the group G1, the charge amount is 0 yen for the user U2 and the user U5. That is, it can be seen that for the user U2 and the user U5, since the bid unit price was too low, the bid was lost to other advertising contents whose bid unit price was higher than 20 yen. Therefore, the correction unit 138 executes the action a1 (t) for raising the bid unit price from 20 yen to 1 yen so as not to lose the bid in the group G1. In this way, the correction unit 138 corrects the bid unit price of the group G1 having a bid unit price of 20 yen by executing the action a1 (t).

例えば、グループG3のメンバー2人のうち、ユーザU9とユーザU10については、課金額が50円であるが、いずれもコンバージョンを起こさなかった。すなわち、グループG3については、当初コンバージョン率を50%と予測したが、予測に反してコンバージョンを起こさなかったことがわかる。言い換えると、グループG3については、入札単価を高く設定しすぎたことがわかる。そこで、補正部138は、グループG3については、入札単価を低くするよう、入札単価を50円から15円下げる行動a3(t)を実行する。このように、補正部138は、行動a3(t)を実行することにより、入札単価が50円のグループG3の入札単価を補正する。 For example, of the two members of the group G3, the user U9 and the user U10 are charged 50 yen, but neither of them causes a conversion. That is, for Group G3, the conversion rate was initially predicted to be 50%, but it can be seen that conversion did not occur contrary to the prediction. In other words, for Group G3, it can be seen that the bid unit price was set too high. Therefore, the correction unit 138 executes the action a3 (t) of lowering the bid unit price from 50 yen to 15 yen so as to lower the bid unit price for the group G3. In this way, the correction unit 138 corrects the bid unit price of the group G3 having a bid unit price of 50 yen by executing the action a3 (t).

例えば、グループG2のメンバー3人は、課金額が33円であり、3人のうちユーザU8がコンバージョンを起こした。すなわち、グループG2ついては、当初コンバージョン率を33%と予測したが、予測したとおりコンバージョンを起こしたことがわかる。しかしながら、補正部138は、時刻tにおけるコンバージョン単価と目標コンバージョン単価の誤差が160円であり、目標コンバージョン単価を大幅に上回っていることから、グループG2については、全体のコンバージョン単価を下げるために、入札単価を33円から8円下げる行動a2(t)を実行する。このように、補正部138は、行動a2(t)を実行することにより、入札単価が33円のグループG2の入札単価を補正する。 For example, the three members of the group G2 are charged 33 yen, and the user U8 out of the three has converted. That is, for Group G2, the conversion rate was initially predicted to be 33%, but it can be seen that conversion occurred as predicted. However, in the correction unit 138, the error between the conversion unit price and the target conversion unit price at time t is 160 yen, which is significantly higher than the target conversion unit price. Therefore, for the group G2, in order to reduce the overall conversion unit price, The action a2 (t) of lowering the bid unit price from 33 yen to 8 yen is executed. In this way, the correction unit 138 corrects the bid unit price of the group G2 having a bid unit price of 33 yen by executing the action a2 (t).

このように、補正部138は、行動A(t)を実行することにより、入札単価が同じグループ毎に入札単価を補正する。そして、補正部138は、行動A(t)を実行することにより、環境の状態を状態S(t)から状態S(t+1)に変化させる。 In this way, the correction unit 138 corrects the bid unit price for each group having the same bid unit price by executing the action A (t). Then, the correction unit 138 changes the state of the environment from the state S (t) to the state S (t + 1) by executing the action A (t).

続いて、取得部137は、広告コンテンツAD1の配信実績として、ある時刻t+1における配信実績に基づくコンバージョン単価(125円)と各ユーザの課金額を取得する。補正部138は、取得部137によって取得されたある時刻t+1におけるコンバージョン単価と各ユーザの課金額を状態S(t+1)として観測する(ステップS14)。 Subsequently, the acquisition unit 137 acquires the conversion unit price (125 yen) based on the distribution record at a certain time t + 1 and the charge amount of each user as the distribution record of the advertisement content AD1. The correction unit 138 observes the conversion unit price at a certain time t + 1 acquired by the acquisition unit 137 and the charge amount of each user as the state S (t + 1) (step S14).

続いて、補正部138は、取得部137によって取得されたある時刻t+1における配信実績に基づくコンバージョン単価(125円)と目標コンバージョン単価(100円)に誤差があるか否かを判定する。補正部138は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差(25円)があると判定する(ステップS15)。 Subsequently, the correction unit 138 determines whether or not there is an error between the conversion unit price (125 yen) and the target conversion unit price (100 yen) based on the distribution record at a certain time t + 1 acquired by the acquisition unit 137. The correction unit 138 determines that there is an error (25 yen) between the conversion unit price based on the distribution record and the target conversion unit price (step S15).

続いて、補正部138は、取得部137によって取得されたある時刻t+1におけるコンバージョン単価と目標コンバージョン単価に誤差(25円)があるので、誤差を小さくする方策Π(t+1)に従って、入札単価を補正するための行動A(t+1)を実行する。補正部138は、行動A(t+1)を実行することにより、入札単価が同じグループ毎に入札単価を補正する(ステップS16)。 Subsequently, the correction unit 138 corrects the bid unit price according to the measure Π (t + 1) for reducing the error because there is an error (25 yen) between the conversion unit price and the target conversion unit price at a certain time t + 1 acquired by the acquisition unit 137. Perform action A (t + 1) to do. The correction unit 138 corrects the bid unit price for each group having the same bid unit price by executing the action A (t + 1) (step S16).

補正部138は、取得部137によって取得されたある時刻におけるコンバージョン単価と目標コンバージョン単価の誤差が0に近い値に収束するまで、上記のステップS11~ステップS16を繰り返す。 The correction unit 138 repeats the above steps S11 to S16 until the error between the conversion unit price and the target conversion unit price at a certain time acquired by the acquisition unit 137 converges to a value close to zero.

〔4.第1モデル生成処理のフロー〕
次に、図8を用いて、実施形態に係る第1モデル生成処理の手順について説明する。図8は、実施形態に係る第1モデル生成処理手順を示すフローチャートである。
[4. 1st model generation process flow]
Next, the procedure of the first model generation process according to the embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing a first model generation processing procedure according to the embodiment.

図8に示すように、広告配信装置100は、広告コンテンツをクリックしていないユーザの検索クエリ、訪問ページ等のアクセスログを取得する(ステップS101)。 As shown in FIG. 8, the advertisement distribution device 100 acquires access logs such as search queries and visited pages of users who have not clicked on the advertisement content (step S101).

続いて、広告配信装置100は、広告コンテンツをクリックしていないユーザが、広告主にとって利益につながる行動を起こしたか否かに関する情報を取得する(ステップS102)。 Subsequently, the advertisement distribution device 100 acquires information regarding whether or not a user who has not clicked on the advertisement content has taken an action that is profitable for the advertiser (step S102).

続いて、広告配信装置100は、第1モデルを生成する(ステップS103)。 Subsequently, the advertisement distribution device 100 generates the first model (step S103).

〔5.第2モデル生成処理のフロー〕
次に、図9を用いて、実施形態に係る第2モデル生成処理の手順について説明する。図9は、実施形態に係る第2モデル生成処理手順を示すフローチャートである。
[5. 2nd model generation process flow]
Next, the procedure of the second model generation process according to the embodiment will be described with reference to FIG. 9. FIG. 9 is a flowchart showing a second model generation processing procedure according to the embodiment.

図9に示すように、広告配信装置100は、広告コンテンツをクリックしたユーザの第1指標値を算出する(ステップS201)。 As shown in FIG. 9, the advertisement distribution device 100 calculates the first index value of the user who clicks the advertisement content (step S201).

続いて、広告配信装置100は、広告コンテンツをクリックしたユーザが、コンバージョンに至ったか否かに関する情報を取得する(ステップS202)。 Subsequently, the advertisement distribution device 100 acquires information regarding whether or not the user who clicked on the advertisement content has converted (step S202).

続いて、広告配信装置100は、第2モデルを生成する(ステップS203)。 Subsequently, the advertisement distribution device 100 generates a second model (step S203).

〔6.広告配信処理のフロー〕
次に、図10を用いて、実施形態に係る広告配信処理の手順について説明する。図10は、実施形態に係る広告配信処理手順を示すフローチャートである。
[6. Flow of ad delivery process]
Next, the procedure of the advertisement distribution processing according to the embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing an advertisement distribution processing procedure according to the embodiment.

図10に示すように、広告配信装置100は、ユーザから広告コンテンツの配信要求を受け付けたか否かを判定する(ステップS301)。広告配信装置100は、ユーザから広告コンテンツの配信要求を受け付けていない場合(ステップS301;No)、ユーザから広告コンテンツの配信要求を受け付けるまで待機する。 As shown in FIG. 10, the advertisement distribution device 100 determines whether or not the advertisement content distribution request has been received from the user (step S301). When the advertisement distribution device 100 has not received the advertisement content distribution request from the user (step S301; No), the advertisement distribution device 100 waits until the advertisement content distribution request is received from the user.

広告配信装置100は、ユーザから広告コンテンツの配信要求を受け付けた場合(ステップS301;Yes)、配信候補の広告コンテンツを選択する(ステップS302)。 When the advertisement distribution device 100 receives the distribution request of the advertisement content from the user (step S301; Yes), the advertisement distribution device 100 selects the advertisement content of the distribution candidate (step S302).

続いて、広告配信装置100は、広告配信対象のユーザの検索クエリ、訪問ページ等のアクセスログを取得する(ステップS303)。 Subsequently, the advertisement distribution device 100 acquires access logs such as search queries and visit pages of users targeted for advertisement distribution (step S303).

続いて、広告配信装置100は、広告配信対象のユーザの第1指標値を算出する(ステップS304)。 Subsequently, the advertisement distribution device 100 calculates the first index value of the user to whom the advertisement is distributed (step S304).

続いて、広告配信装置100は、広告配信対象のユーザの第2指標値(コンバージョン率)を算出する(ステップS305)。 Subsequently, the advertisement distribution device 100 calculates the second index value (conversion rate) of the user targeted for advertisement distribution (step S305).

続いて、広告配信装置100は、配信候補の広告コンテンツの入札単価を算出する(ステップS306)。 Subsequently, the advertisement distribution device 100 calculates the bid unit price of the advertisement content of the distribution candidate (step S306).

続いて、広告配信装置100は、配信候補の広告コンテンツのなかから、配信する広告コンテンツを決定する(ステップS307)。 Subsequently, the advertisement distribution device 100 determines the advertisement content to be distributed from the advertisement contents of the distribution candidates (step S307).

続いて、広告配信装置100は、決定した広告コンテンツを配信要求元のユーザ端末10に配信する(ステップS308)。 Subsequently, the advertisement distribution device 100 distributes the determined advertisement content to the user terminal 10 of the distribution request source (step S308).

〔7.補正処理のフロー〕
次に、図11を用いて、実施形態に係る補正処理の手順について説明する。図11は、実施形態に係る補正処理手順を示すフローチャートである。
[7. Correction processing flow]
Next, the procedure of the correction process according to the embodiment will be described with reference to FIG. FIG. 11 is a flowchart showing a correction processing procedure according to the embodiment.

図11に示すように、広告配信装置100は、広告コンテンツの配信実績に基づくコンバージョン単価を取得する(ステップS401)。 As shown in FIG. 11, the advertisement distribution device 100 acquires a conversion unit price based on the distribution record of the advertisement content (step S401).

続いて、広告配信装置100は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差があるか否かを判定する(ステップS402)。広告配信装置100は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差がない場合(ステップS402;No)、配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差を観測するまで待機する。 Subsequently, the advertisement distribution device 100 determines whether or not there is an error between the conversion unit price based on the distribution performance and the target conversion unit price (step S402). When there is no error between the conversion unit price based on the distribution record and the target conversion unit price (step S402; No), the advertisement distribution device 100 waits until the error between the conversion unit price based on the distribution record and the target conversion unit price is observed.

広告配信装置100は、配信実績に基づくコンバージョン単価と目標コンバージョン単価に誤差がある場合(ステップS402;Yes)、コンバージョン単価と目標コンバージョン単価との誤差を小さくするように入札単価を補正する(ステップS403)。 When the advertisement distribution device 100 has an error between the conversion unit price based on the distribution performance and the target conversion unit price (step S402; Yes), the advertisement distribution device 100 corrects the bid unit price so as to reduce the error between the conversion unit price and the target conversion unit price (step S403). ).

〔8.効果〕
上述してきたように、実施形態に係る補正装置100は、取得部137と補正部138とを有する。取得部137は、広告コンテンツの配信実績を取得する。補正部138は、取得部137によって取得された広告コンテンツの配信実績と目標コンバージョン単価に基づいて、広告コンテンツが配信対象として選択される基準となる入札単価を補正する。
[8. effect〕
As described above, the correction device 100 according to the embodiment has an acquisition unit 137 and a correction unit 138. The acquisition unit 137 acquires the distribution record of the advertisement content. The correction unit 138 corrects the bid unit price, which is the standard for selecting the advertisement content as the distribution target, based on the distribution record of the advertisement content acquired by the acquisition unit 137 and the target conversion unit price.

これにより、実施形態に係る補正装置100は、広告コンテンツの配信実績に基づいて入札単価を補正することにより、配信時に予測したコンバージョン率に基づいて算出された入札単価と現実の課金額との乖離を補正することができる。したがって、補正装置100は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。 As a result, the correction device 100 according to the embodiment corrects the bid unit price based on the distribution record of the advertisement content, and thereby the difference between the bid unit price calculated based on the conversion rate predicted at the time of distribution and the actual billing amount. Can be corrected. Therefore, the correction device 100 can appropriately control the bid unit price according to the target conversion unit price.

また、取得部137は、広告コンテンツの配信実績として、広告コンテンツの配信実績に基づくコンバージョン単価を取得し、補正部138は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価との誤差を小さくするように入札単価を補正する。 Further, the acquisition unit 137 acquires the conversion unit price based on the distribution record of the advertisement content as the distribution record of the advertisement content, and the correction unit 138 has an error between the conversion unit price based on the distribution record of the advertisement content and the target conversion unit price. In this case, the bid unit price is corrected so as to reduce the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price.

これにより、実施形態に係る補正装置100は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価との乖離を補正することができる。したがって、補正装置100は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。 As a result, the correction device 100 according to the embodiment can correct the discrepancy between the conversion unit price and the target conversion unit price based on the distribution record of the advertisement content. Therefore, the correction device 100 can appropriately control the bid unit price according to the target conversion unit price.

また、補正部138は、広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、強化学習を用いて入札単価を補正するためにとるべき行動を学習し、強化学習を用いて学習した行動をとることにより、入札単価を補正する。 In addition, if there is an error between the conversion unit price based on the distribution record of the advertising content and the target conversion unit price, the correction unit 138 learns the action to be taken to correct the bid unit price by using reinforcement learning, and uses reinforcement learning. By taking the actions learned in the above, the bid unit price is corrected.

これにより、実施形態に係る補正装置100は、強化学習を用いることにより、配信前後のコンバージョン単価と目標コンバージョン単価の誤差だけでなく、最初の配信から直近の配信までの広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差を踏まえて、適切に入札単価を補正する行動を学習することができる。すなわち、補正装置100は、配信前後のコンバージョン単価と目標コンバージョン単価の誤差だけでなく、最初の配信から直近の配信までの広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価の誤差を踏まえて、適切に入札単価を補正することができる。したがって、補正装置100は、目標コンバージョン単価に応じて適切に入札単価を制御することができる。 As a result, the correction device 100 according to the embodiment uses reinforcement learning based on not only the error between the conversion unit price before and after distribution and the target conversion unit price, but also the distribution record of the advertisement content from the first distribution to the latest distribution. Based on the error between the conversion unit price and the target conversion unit price, you can learn the behavior to appropriately correct the bid unit price. That is, the correction device 100 takes into account not only the error between the conversion unit price and the target conversion unit price before and after distribution, but also the error between the conversion unit price and the target conversion unit price based on the distribution record of the advertising content from the first distribution to the latest distribution. The bid unit price can be adjusted appropriately. Therefore, the correction device 100 can appropriately control the bid unit price according to the target conversion unit price.

また、補正部138は、入札単価を算出するために用いる算出関数に入札単価を補正する補正関数を乗じることにより、入札単価を補正する。また、補正部138は、強化学習を用いて入札単価を補正する補正関数を学習することにより、入札単価を補正する。 Further, the correction unit 138 corrects the bid unit price by multiplying the calculation function used for calculating the bid unit price by the correction function for correcting the bid unit price. Further, the correction unit 138 corrects the bid unit price by learning a correction function for correcting the bid unit price using reinforcement learning.

これにより、実施形態に係る補正装置100は、入札単価を算出するために用いる算出関数と入札単価を補正する補正関数のそれぞれについて、それぞれの精度を高めるように学習させることができる。したがって、補正装置100は、目標コンバージョン単価に応じてより適切に入札単価を制御することができる。 As a result, the correction device 100 according to the embodiment can be trained to improve the accuracy of each of the calculation function used for calculating the bid unit price and the correction function for correcting the bid unit price. Therefore, the correction device 100 can control the bid unit price more appropriately according to the target conversion unit price.

〔9.ハードウェア構成〕
また、上述してきた実施形態に係る補正装置100は、例えば図12に示すような構成のコンピュータ1000によって実現される。図12は、補正装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[9. Hardware configuration]
Further, the correction device 100 according to the above-described embodiment is realized by, for example, a computer 1000 having a configuration as shown in FIG. FIG. 12 is a hardware configuration diagram showing an example of a computer that realizes the function of the correction device 100. The computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.

CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。 The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each part. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.

HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。 The HDD 1400 stores a program executed by the CPU 1100, data used by such a program, and the like. The communication interface 1500 receives data from another device via a predetermined communication network and sends the data to the CPU 1100, and transmits the data generated by the CPU 1100 to the other device via the predetermined communication network.

CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。 The CPU 1100 controls an output device such as a display or a printer, and an input device such as a keyboard or a mouse via the input / output interface 1600. The CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the generated data to the output device via the input / output interface 1600.

メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The media interface 1700 reads a program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200. The CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.

例えば、コンピュータ1000が実施形態に係る補正装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムまたはデータ(例えば、第1モデル、第2モデル)を実行することにより、制御部130の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムまたはデータ(例えば、第1モデル、第2モデル)を記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムまたはデータ(例えば、第1モデル、第2モデル)を取得してもよい。 For example, when the computer 1000 functions as the correction device 100 according to the embodiment, the CPU 1100 of the computer 1000 is controlled by executing a program or data (for example, a first model, a second model) loaded on the RAM 1200. The function of the unit 130 is realized. The CPU 1100 of the computer 1000 reads and executes these programs or data (for example, the first model and the second model) from the recording medium 1800, but as another example, they are transmitted from another device via a predetermined communication network. Program or data (eg, first model, second model) may be acquired.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the invention. It is possible to carry out the present invention in other modified forms.

〔10.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[10. others〕
Further, among the processes described in the above-described embodiment, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the information shown in the figure.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically distributed in any unit according to various loads and usage conditions. Can be integrated and configured.

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiments can be appropriately combined as long as the processing contents do not contradict each other.

また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、補正部は、補正手段や補正回路に読み替えることができる。 Further, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the correction unit can be read as a correction means or a correction circuit.

1 補正システム
10 ユーザ端末
20 アクセスログサーバ
30 広告主端末
100 補正装置
121 広告情報記憶部
122 広告配信履歴記憶部
123 モデル記憶部
131 受付部
132 第1生成部
133 第2生成部
134 第1算出部
135 第2算出部
136 配信部
137 取得部
138 補正部
1 Correction system 10 User terminal 20 Access log server 30 Advertiser terminal 100 Correction device 121 Advertisement information storage unit 122 Advertisement distribution history storage unit 123 Model storage unit 131 Reception unit 132 1st generation unit 133 2nd generation unit 134 1st calculation unit 135 2nd calculation unit 136 Distribution unit 137 Acquisition unit 138 Correction unit

Claims (5)

広告コンテンツの配信実績に基づくコンバージョン単価を取得する取得部と、
前記取得部によって取得された広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、前記広告コンテンツの配信実績に基づくコンバージョン単価と前記目標コンバージョン単価との誤差を小さくするように、前記広告コンテンツが配信対象として選択される基準となる入札単価であって、ユーザが前記広告コンテンツを選択したか否かに関わらず、前記ユーザが前記広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値に基づいて算出された前記広告コンテンツのコンバージョン率と前記目標コンバージョン単価とを乗じることで算出される入札単価を補正するためにとるべき行動を強化学習し、前記強化学習した行動をとることにより、前記入札単価を補正する補正部と、
を備えることを特徴とする補正装置。
The acquisition department that acquires the conversion unit price based on the distribution performance of the advertising content,
If there is an error between the conversion unit price based on the distribution performance of the advertising content acquired by the acquisition unit and the target conversion unit price , the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price should be reduced. , The bid unit price that is the standard for selecting the advertisement content as the distribution target, and the user acts to benefit the advertiser of the advertisement content regardless of whether or not the user selects the advertisement content. Reinforced learning of actions to be taken to correct the bid unit price calculated by multiplying the conversion rate of the advertising content calculated based on the numerical value indicating the degree of occurrence and the target conversion unit price, and the enhanced learning action The correction unit that corrects the bid unit price by taking
A correction device characterized by being provided with.
前記補正部は、
前記入札単価を算出するために用いる算出関数に前記入札単価を補正する補正関数を乗じることにより、前記入札単価を補正する
ことを特徴とする請求項に記載の補正装置。
The correction unit
The correction device according to claim 1 , wherein the correction device for correcting the bid unit price is corrected by multiplying the calculation function used for calculating the bid unit price by a correction function for correcting the bid unit price.
前記補正部は、
記入札単価を補正する補正関数を強化学習することにより、前記入札単価を補正する
ことを特徴とする請求項1または2に記載の補正装置。
The correction unit
The correction device according to claim 1 or 2 , wherein the correction device for correcting the bid unit price is corrected by reinforcement learning.
コンピュータが実行する補正方法であって、
広告コンテンツの配信実績に基づくコンバージョン単価を取得する取得工程と、
前記取得工程によって取得された広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、前記広告コンテンツの配信実績に基づくコンバージョン単価と前記目標コンバージョン単価との誤差を小さくするように、前記広告コンテンツが配信対象として選択される基準となる入札単価であって、ユーザが前記広告コンテンツを選択したか否かに関わらず、前記ユーザが前記広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値に基づいて算出された前記広告コンテンツのコンバージョン率と前記目標コンバージョン単価とを乗じることで算出される入札単価を補正するためにとるべき行動を強化学習し、前記強化学習した行動をとることにより、前記入札単価を補正する補正工程と、
を含むことを特徴とする補正方法。
It ’s a correction method performed by a computer.
The acquisition process to acquire the conversion unit price based on the distribution record of the advertising content,
If there is an error between the conversion unit price based on the distribution performance of the advertising content acquired by the acquisition process and the target conversion unit price , the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price should be reduced. , The bid unit price that is the standard for selecting the advertisement content as the distribution target, and the user acts to benefit the advertiser of the advertisement content regardless of whether or not the user selects the advertisement content. Reinforced learning of actions to be taken to correct the bid unit price calculated by multiplying the conversion rate of the advertising content calculated based on the numerical value indicating the degree of occurrence and the target conversion unit price, and the enhanced learning action And the correction process to correct the bid unit price by taking
A correction method characterized by including.
広告コンテンツの配信実績に基づくコンバージョン単価を取得する取得手順と、
前記取得手順によって取得された広告コンテンツの配信実績に基づくコンバージョン単価と目標コンバージョン単価とに誤差がある場合、前記広告コンテンツの配信実績に基づくコンバージョン単価と前記目標コンバージョン単価との誤差を小さくするように、前記広告コンテンツが配信対象として選択される基準となる入札単価であって、ユーザが前記広告コンテンツを選択したか否かに関わらず、前記ユーザが前記広告コンテンツの広告主にとって利益につながる行動を起こす度合いを示す数値に基づいて算出された前記広告コンテンツのコンバージョン率と前記目標コンバージョン単価とを乗じることで算出される入札単価を補正するためにとるべき行動を強化学習し、前記強化学習した行動をとることにより、前記入札単価を補正する補正手順と、
をコンピュータに実行させることを特徴とする補正プログラム。
The acquisition procedure to acquire the conversion unit price based on the delivery performance of the advertising content, and
If there is an error between the conversion unit price based on the distribution performance of the advertising content acquired by the acquisition procedure and the target conversion unit price , the error between the conversion unit price based on the distribution performance of the advertising content and the target conversion unit price should be reduced. , The bid unit price that is the standard for selecting the advertisement content as the distribution target, and the user acts to benefit the advertiser of the advertisement content regardless of whether or not the user selects the advertisement content. Reinforced learning of actions to be taken to correct the bid unit price calculated by multiplying the conversion rate of the advertising content calculated based on the numerical value indicating the degree of occurrence and the target conversion unit price, and the enhanced learning action The correction procedure for correcting the bid unit price by taking
A correction program characterized by having a computer execute.
JP2017163673A 2017-08-28 2017-08-28 Correction device, correction method and correction program Active JP6994872B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017163673A JP6994872B2 (en) 2017-08-28 2017-08-28 Correction device, correction method and correction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017163673A JP6994872B2 (en) 2017-08-28 2017-08-28 Correction device, correction method and correction program

Publications (2)

Publication Number Publication Date
JP2019040529A JP2019040529A (en) 2019-03-14
JP6994872B2 true JP6994872B2 (en) 2022-01-14

Family

ID=65725789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017163673A Active JP6994872B2 (en) 2017-08-28 2017-08-28 Correction device, correction method and correction program

Country Status (1)

Country Link
JP (1) JP6994872B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7010870B2 (en) * 2019-03-20 2022-01-26 ヤフー株式会社 Decision device, decision method and decision program
JP6898665B2 (en) * 2019-04-03 2021-07-07 株式会社これから Advertisement distribution support system, advertisement distribution support method and advertisement distribution support program
JP7281136B2 (en) * 2019-08-22 2023-05-25 Eneos株式会社 Power price prediction device, power price prediction method, power price prediction program, and computer-readable recording medium
WO2022108073A1 (en) * 2020-11-20 2022-05-27 삼성전자주식회사 Server and control method therefor
JP7204800B2 (en) * 2021-03-18 2023-01-16 ヤフー株式会社 Information processing device, information processing method and information processing program
JP7322085B2 (en) * 2021-03-18 2023-08-07 ヤフー株式会社 Information processing device, information processing method and information processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529523A (en) 2007-05-04 2010-08-26 グーグル・インコーポレーテッド Metric conversion for online advertising
JP2017037432A (en) 2015-08-07 2017-02-16 ヤフー株式会社 Bid adjustment device, bid adjustment method, and bid adjustment program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529523A (en) 2007-05-04 2010-08-26 グーグル・インコーポレーテッド Metric conversion for online advertising
JP2017037432A (en) 2015-08-07 2017-02-16 ヤフー株式会社 Bid adjustment device, bid adjustment method, and bid adjustment program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大藤 宗一,即実践!検索連動型広告 初版,第1版,日本,株式会社技術評論社 片岡 巌,2010年07月15日,110, 113~114ページ
西林 孝 Takashi Nishibayashi,広告とAI,人工知能 第32巻 第4号 Journal of the Japanese Society for Artificial Intelligence,日本,(一社)人工知能学会 JSAI(The Japanese Society for Artificial Intelligence),2017年07月01日,第32巻4号,487~493ページ

Also Published As

Publication number Publication date
JP2019040529A (en) 2019-03-14

Similar Documents

Publication Publication Date Title
JP6994872B2 (en) Correction device, correction method and correction program
US11711447B2 (en) Method and apparatus for real-time personalization
US9524472B2 (en) Distributed scalable incrementally updated models in decisioning systems
US10891592B2 (en) Electronic job posting marketplace
US10713560B2 (en) Learning a vector representation for unique identification codes
US11966949B2 (en) Systems and methods for targeting bid and position for a keyword
JP6986906B2 (en) Decision device, decision method and decision program
US11270340B2 (en) Automatic frequency capping
JP6985848B2 (en) Calculation device, calculation method, calculation program and second model
US20120130828A1 (en) Source of decision considerations for managing advertising pricing
JP6946082B2 (en) Advertisement distribution support device, advertisement distribution support method, and program
JP6866069B2 (en) Information processing equipment, information processing methods and information processing programs
US20180150886A1 (en) Controlling a content auction with a threshold value
JP7204800B2 (en) Information processing device, information processing method and information processing program
JP7189249B2 (en) Information processing device, information processing method and information processing program
CN113360816A (en) Click rate prediction method and device
US20170061468A1 (en) Parallel member interaction estimation using onsite and offsite data
KR102383509B1 (en) System for matching space and company
JP7312680B2 (en) Information processing device, information processing method, and information processing program
JP7322085B2 (en) Information processing device, information processing method and information processing program
KR102564320B1 (en) System for incubating and investing company based trends and corporate growth potential
KR102513995B1 (en) System for investing company
US20220156786A1 (en) Systems, Methods and Media for Automatic Prioritizer
CN117521851A (en) Prediction model training method, prediction method and prediction device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211214

R150 Certificate of patent or registration of utility model

Ref document number: 6994872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250