JP6463400B2 - Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program - Google Patents
Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program Download PDFInfo
- Publication number
- JP6463400B2 JP6463400B2 JP2017051512A JP2017051512A JP6463400B2 JP 6463400 B2 JP6463400 B2 JP 6463400B2 JP 2017051512 A JP2017051512 A JP 2017051512A JP 2017051512 A JP2017051512 A JP 2017051512A JP 6463400 B2 JP6463400 B2 JP 6463400B2
- Authority
- JP
- Japan
- Prior art keywords
- advertiser
- evaluation
- information
- submission
- advertisement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 134
- 230000032258 transport Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000013210 evaluation model Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 19
- 230000006399 behavior Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000012854 evaluation process Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 206010042635 Suspiciousness Diseases 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004900 laundering Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、広告主評価装置、広告主評価方法および広告主評価プログラムに関する。 The present invention relates to an advertiser evaluation device, an advertiser evaluation method, and an advertiser evaluation program.
近年、インターネットなどのネットワークの飛躍的な普及に伴い、ネットワークを介した広告配信が盛んに行われている。かかる広告配信を行うにあたり、例えば広告配信業者は、ウェブページなどに掲載する広告の入稿を広告主から受け付け、かかる広告が配信にふさわしい適切なものであるか否かを審査している。 In recent years, with the rapid spread of networks such as the Internet, advertisement distribution via networks has been actively performed. In performing such advertisement distribution, for example, an advertisement distributor accepts submission of an advertisement to be posted on a web page or the like from an advertiser, and examines whether or not the advertisement is appropriate for distribution.
なお、審査の手法としては、例えば、広告が掲載されるウェブページの内容を解析して、事前に不適切なテキストや画像などが登録された違反情報に照らし、違反の有無を判定する技術が知られている(例えば、特許文献1参照)。 As a screening method, for example, there is a technology that analyzes the content of a web page where an advertisement is posted and determines whether there is a violation in light of violation information in which inappropriate text or images are registered in advance. It is known (see, for example, Patent Document 1).
しかしながら、上記従来の技術は、広告が掲載されるウェブページが適切であるか否かを確認するものに過ぎず、広告の広告主が、悪意をもった不正な広告主であるか否かを判定するものではない。 However, the above-mentioned conventional technology only confirms whether or not the web page on which the advertisement is displayed is appropriate, and it is determined whether or not the advertiser of the advertisement is a malicious and malicious advertiser. It is not something to judge.
本願は、上記に鑑みてなされたものであって、不正な広告主を判定することができる広告主評価装置、広告主評価方法および広告主評価プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide an advertiser evaluation device, an advertiser evaluation method, and an advertiser evaluation program that can determine an unauthorized advertiser.
本願に係る広告主評価装置は、受信部と、評価部と、判定部と、を備える。前記受信部は、広告主から広告情報の入稿を受信する。前記評価部は、前記広告情報を入稿した前記広告主に関する情報に含まれる、前記広告主による前記広告情報の入稿パターンの要素および前記広告情報を入稿した後の前記広告主の行動パターンを示す要素を少なくともパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを示す評価スコアを算出する。前記判定部は、前記評価スコアが所定範囲である場合に、前記広告主が前記不正者であると判定する。
Advertisers evaluation apparatus according to the present application includes a receiving unit, and the evaluation unit, and a determination unit. The receiving unit receives a submission of advertisement information from an advertiser. The evaluation unit includes elements of the advertisement information submission pattern by the advertiser and the advertiser's behavior pattern after the advertisement information is included in the information related to the advertiser who submitted the advertisement information. Based on an evaluation model having at least an element indicating the parameter , an evaluation score indicating the degree to which the advertiser is a malicious fraudster is calculated . The determination unit determines that the advertiser is the unauthorized person when the evaluation score is within a predetermined range.
実施形態の一態様によれば、不正な広告主を判定することができる広告主評価装置、広告主評価方法および広告主評価プログラムを提供することができる。 According to one aspect of the embodiment, an advertiser evaluation device, an advertiser evaluation method, and an advertiser evaluation program that can determine an unauthorized advertiser can be provided.
以下に、本願に係る広告主評価装置、広告主評価方法および広告主評価プログラムの実施形態について図面を参照しつつ詳細に説明する。なお、以下においては、「データベース」を「DB」と記載するものとする。 Hereinafter, embodiments of an advertiser evaluation apparatus, an advertiser evaluation method, and an advertiser evaluation program according to the present application will be described in detail with reference to the drawings. In the following, “database” is described as “DB”.
また、以下においては、広告主評価装置が、広告を審査する広告審査システムに含まれる場合を例に挙げて説明を行う。 Further, in the following, description will be made by taking as an example a case where the advertiser evaluation device is included in an advertisement examination system that examines advertisements.
〔1.広告審査システムおよび広告主評価処理〕
まず、実施形態に係る広告審査システムおよび広告主評価処理について説明する。図1は、実施形態に係る広告審査システムおよび広告主評価処理の説明図である。
[1. Ad review system and advertiser evaluation process)
First, the advertisement examination system and the advertiser evaluation process according to the embodiment will be described. FIG. 1 is an explanatory diagram of an advertisement examination system and an advertiser evaluation process according to the embodiment.
〔1.1.広告審査システム〕
図1に示すように、広告審査システム1は、広告主端末2−1、2−2と、広告主評価装置3とを備える。広告主端末2−1、2−2(以下、広告主端末2と総称する場合がある)は、それぞれ広告主SA、SB(以下、広告主Sと総称する場合がある)によって管理および運用される。また、広告主評価装置3は、広告配信業者によって管理および運用される。
[1.1. Ad review system)
As shown in FIG. 1, the advertisement examination system 1 includes advertiser terminals 2-1 and 2-2 and an
広告主端末2および広告主評価装置3は、通信ネットワーク4を介して相互に通信可能に接続される。通信ネットワーク4は、例えばインターネットなどのWAN(Wide Area Network)である。
The advertiser terminal 2 and the
なお、広告主端末2および広告主評価装置3の通信方式は、それぞれ有線通信であっても無線通信であってもよい。また、図1に示す例では、2つの広告主SA、SBを例に挙げているが、広告主Sの数は、1つでもよく、また、3つ以上であってもよい。
Note that the communication methods of the advertiser terminal 2 and the
広告主Sは、広告配信業者へ広告の掲載を依頼する事業者であり、例えばTD(Title & Description)などを含む広告情報を制作し、広告配信業者へ入稿する。例えば図1には、広告主SAからは広告情報Xが、広告主SBからは広告情報Yが、それぞれ入稿された場合を示している。 The advertiser S is a business operator who requests the advertisement distributor to place an advertisement. The advertiser S produces advertisement information including, for example, TD (Title & Description) and submits it to the advertisement distributor. For example, FIG. 1 shows a case where the advertisement information X is submitted from the advertiser SA and the advertisement information Y is submitted from the advertiser SB.
そして、広告主Sから入稿された広告情報X,Yは、広告主評価装置3を含む広告審査システム1の広告配信業者側へ通信ネットワーク4を介して通知され、広告配信業者側で広告内容などの違反の有無が審査された後、審査結果に基づいて入稿可否が広告主Sへ通知される。
Then, the advertisement information X and Y submitted from the advertiser S is notified to the advertisement distributor side of the advertisement examination system 1 including the
ところで、広告主Sは、例えば図1の広告主SAのように、悪意をもった不正者(以下、「不正な広告主」と言う)である場合がある。不正な広告主SAは、例えば広告を広告閲覧者にクリックさせることによって悪意あるソフトウェアを配布するなどの不正を働くことを目的とする者である。 Incidentally, the advertiser S may be a malicious person with malicious intent (hereinafter referred to as “illegal advertiser”), for example, as the advertiser SA in FIG. An unauthorized advertiser SA is a person who intends to act illegally, for example, by distributing malicious software by causing an advertisement viewer to click an advertisement.
そして、かかる不正な広告主SAの入稿した広告情報Xにつき、広告内容などに違反が無ければ、かかる広告情報Xは入稿を許可され、Webページなどに掲載されてしまうおそれがある。 If there is no violation in the advertisement content etc. for the advertisement information X submitted by the unauthorized advertiser SA, the advertisement information X is permitted to be submitted and may be posted on a web page or the like.
ここで、広告情報X,Yには、入稿に際して必要となる「アカウントID」などの広告主Sに関する情報が含まれている。そこで、実施形態に係る広告審査システム1の広告主評価装置3では、かかる広告主Sに関する情報を利用して広告主Sを評価する広告主評価処理を行うこととした。
Here, the advertisement information X, Y includes information related to the advertiser S such as “account ID” required for submission. Therefore, the
〔1.2.広告主評価処理〕
かかる広告主評価処理の概要について説明する。広告主評価装置3は、制御部32(図2以降を参照)を備える。制御部32は、広告情報X,Yを入稿した広告主Sに関する情報に基づいて広告主評価処理を実行する。
[1.2. Advertiser evaluation process)
An outline of the advertiser evaluation process will be described. The
図1に示すように、まず、広告主評価装置3の制御部32は、広告主Sに関する情報を含む広告情報X,Yの入稿を受信する(ステップS1)。
As shown in FIG. 1, first, the
広告主Sに関する情報には、例えば「アカウントID」、「広告内容」、「入稿経路」および「入稿時刻」などが含まれる。また、図1に示すように、広告主評価装置3はDBを有しており、かかるDBには、広告主Sの「過去の審査履歴」などを含む広告主Sに関する情報が格納されている。
The information related to the advertiser S includes, for example, “account ID”, “advertisement content”, “submission route”, “submission time”, and the like. As shown in FIG. 1, the
そして、制御部32は、これら「アカウントID」、「広告内容」、「入稿経路」、「入稿時刻」および「過去の審査履歴」などの、広告主Sに関する情報に含まれる諸要素に基づいて広告主Sを評価する(ステップS2)。かかる評価は例えば、上記諸要素に基づく複数の要素をパラメータとする評価モデルに基づいて行われる。
Then, the
そして、制御部32は、評価結果(例えば評価スコア)に基づいて広告主Sの入稿の可否を判定する(ステップS3)。
Then, the
このように、実施形態に係る広告主評価装置3では、制御部32が、過去の審査履歴を含む広告主Sに関する情報に基づいて広告主Sを評価する広告主評価処理を実行する。広告主評価処理は、言い換えるならば、広告主Sに関する情報に基づいて不正な広告主SAの入稿の際の行動パターン、言わば「入稿パターン」を抽出して、かかる広告主Sの「怪しさ」もしくは「不正の度合い」を前述の評価モデルに基づいて評価する。
As described above, in the
したがって、広告情報X,Yのみからは判定しづらかった広告主Sの「怪しさ」を評価することが可能となり、評価結果に基づいて不正な広告主SAを判定することができる。 Therefore, it is possible to evaluate the “suspiciousness” of the advertiser S that is difficult to determine from only the advertisement information X and Y, and it is possible to determine an unauthorized advertiser SA based on the evaluation result.
なお、上記したパラメータの要素としては、入稿の際の広告主Sの行動に係るものだけではなく、例えば入稿後の広告配信業者側のサイトへのアクセス回数といった入稿後の広告主Sの行動パターンを示す要素を、上記パラメータの要素としてもよい。この点については、図4を用いた説明で後述する。以下、図2以降を用いて、実施形態に係る広告主評価装置3についてさらに詳しく説明する。
Note that the elements of the parameters described above are not limited to those related to the actions of the advertiser S at the time of submission, but for example, the advertiser S after the submission such as the number of accesses to the site of the advertisement distributor after the submission. The element indicating the behavior pattern may be the element of the parameter. This will be described later with reference to FIG. Hereinafter, the
〔2.広告主評価装置の構成〕
次に、広告主評価装置3の構成について具体的に説明する。図2は、実施形態に係る広告主評価装置3の構成の一例を示すブロック図である。
[2. Configuration of advertiser evaluation device]
Next, the configuration of the
なお、図2では、広告主評価装置3の説明に必要となる構成要素のみを示しており、一般的な構成要素についての記載を省略している。また、既に説明済みの構成要素については、その説明を簡略化するか省略する場合がある。
In FIG. 2, only components necessary for the description of the
図2に示すように、広告主評価装置3は、通信部31と、制御部32と、記憶部33とを備える。
As shown in FIG. 2, the
(記憶部33について)
記憶部33は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図2の例では、広告情報DB331と、広告主情報DB332とを有する。
(About the storage unit 33)
The storage unit 33 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. In the example of FIG. And an
(通信部31について)
通信部31は、例えばNIC(Network Interface Card)などのインターフェイスである。制御部32は、通信部31および通信ネットワーク4を介して、広告主端末2との間で各種の情報を送受信可能である。
(About the communication unit 31)
The communication unit 31 is an interface such as a NIC (Network Interface Card). The
(制御部32について)
制御部32は、図1を用いて説明した広告主評価処理の実行についての全体制御を行う。具体的に、制御部32は、例えばCPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、広告主評価装置3内部の記憶装置に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部32は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
(About the control unit 32)
The
図2に示すように、制御部32は、受信部321と、評価部322と、判定部323と、通知部324とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部32の内部構成は、図2に示した構成に限られず、後述する情報処理を行うことができる構成であれば他の構成であってもよい。また、制御部32が有する各処理部の接続関係は、図2に示した接続関係に限られず、他の接続関係であってもよい。
As illustrated in FIG. 2, the
(受信部321について)
受信部321は、広告主Sから広告情報X,Yの入稿を受信して、かかる広告情報X,Yに含まれる入稿パターンに係る情報を、広告情報DB331の有する入稿情報テーブルへ設定する。
(About the receiving unit 321)
The receiving
(評価部322について)
評価部322は、広告情報X,Yを入稿した広告主Sに関する情報を、広告情報DB331の入稿情報テーブル、広告主情報DB332の広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルから取得し、取得した情報に基づいて広告主Sを評価する。
(Evaluation unit 322)
The
(各種テーブルについて)
ここで、広告情報DB331の有する入稿情報テーブル、広告主情報DB332の有する広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルについて、図3A〜図3Dを用いて説明しておく。
(About various tables)
Here, the submission information table included in the
図3Aは、入稿情報テーブルの一例を示す図である。図3Aに示すように、入稿情報テーブルには、入稿に際して広告主Sによって使用された「アカウントID」ごとに、例えば「入稿ID」、「入稿日」、「入稿時刻」、「広告種別」、「広告内容」、「チャネル」、「入金金額」および「入金経路」などが関連付けられた情報が含まれる。 FIG. 3A is a diagram illustrating an example of a submission information table. As shown in FIG. 3A, the submission information table includes, for example, “submission ID”, “submission date”, “submission time”, “account ID” used by the advertiser S at the time of submission, Information associated with “advertisement type”, “advertising content”, “channel”, “payment amount”, “payment route”, and the like is included.
「入稿ID」は、広告主端末2からの入稿要求ごとに割り当てられる識別情報である。「入稿日」および「入稿時刻」は、広告主端末2からの入稿日および入稿時刻である。「広告種別」は、広告主Sの依頼する広告の種別であり、例えば「クリック」はクリック課金制広告を、「インプレ」はインプレッション課金制広告を、それぞれ示す。 “Submission ID” is identification information assigned for each submission request from the advertiser terminal 2. “Submission date” and “submission time” are the submission date and submission time from the advertiser terminal 2. The “advertisement type” is the type of advertisement requested by the advertiser S. For example, “click” indicates a click charge advertisement, and “impression” indicates an impression charge advertisement.
「広告内容」は、広告主Sの依頼する広告の内容であり、例えばTDなどの内容である。「チャネル」は入稿経路(図1参照)に相当する情報であり、「直接」は例えば代理店を介さずにオンライン経由で広告主Sから直接入稿された場合を、「間接」は例えば代理店経由である場合を、それぞれ示す。 “Advertisement content” is the content of the advertisement requested by the advertiser S, for example, content such as TD. “Channel” is information corresponding to the submission route (see FIG. 1). “Direct” is, for example, directly submitted from the advertiser S via online without going through an agency. “Indirect” is, for example, Each case is via an agency.
「入金金額」は、入稿に際して広告主Sから入金された金額である。「入金経路」は、入金の経路であり、例えば「A国→JP」は、海外のA国から日本国内へ入金されたことを示す。 The “payment amount” is an amount received from the advertiser S at the time of submission. “Deposit path” is a deposit path. For example, “A country → JP” indicates that the deposit was made from A country overseas to Japan.
例えば、図3Aの例では、「アカウントID」=「aaa_1」による入稿が、同一日である「2015/3/18」のほぼ「22:00」頃に、まとめて同一内容、同一金額およびA国からの同一経路で行われたことが分かる。しかも、「広告内容」には、「『平社は…」のように「弊社」とすべき同一の誤記が含まれていることも分かる。このように、入稿情報テーブルの入稿パターンに係る情報には、広告主Sの怪しい行動パターンを推知させる要素が含まれている。 For example, in the example of FIG. 3A, submissions with “account ID” = “aaa — 1” are grouped at about “22:00” on “2015/3/18” on the same day, and the same contents, the same amount, and It can be seen that the same route was taken from Country A. In addition, it can be seen that the “advertising content” includes the same error that should be “our company”, such as ““ the company is ... ”. As described above, the information related to the submission pattern of the submission information table includes an element for inferring the suspicious behavior pattern of the advertiser S.
次に、図3Bは、広告主属性情報テーブルの一例を示す図である。図3Bに示すように、広告主属性情報テーブルには、広告主Sそれぞれに割り当てられる「広告主ID」ごとに、「アカウントID」、「契約期間」、「ドメイン」、「ブラウザの言語」、「タイムゾーン」、「業種」および「決済方法」などが関連付けられた情報が含まれる。 Next, FIG. 3B is a diagram illustrating an example of the advertiser attribute information table. As shown in FIG. 3B, in the advertiser attribute information table, for each “advertiser ID” assigned to each advertiser S, “account ID”, “contract period”, “domain”, “browser language”, Information associated with “time zone”, “business type”, “settlement method”, and the like is included.
「アカウントID」は、「広告主ID」で識別される広告主Sの保有するアカウントIDであり、1つの広告主Sで複数保有することができる。なお、かかる「アカウントID」によって、入稿情報テーブルと広告主属性情報テーブルとは、関連付けることができる。 The “account ID” is an account ID held by the advertiser S identified by the “advertiser ID” and can be held by a single advertiser S. The submission information table and the advertiser attribute information table can be associated with each other by the “account ID”.
「契約期間」は、各アカウントIDの契約期間であり、「ドメイン」は、例えば広告主Sのメールアドレスから取得されるドメイン名である。「ブラウザの言語」は、広告主端末2から取得可能なブラウザの言語設定情報であり、「タイムゾーン」は、広告主端末2から取得可能な広告主端末2のタイムゾーン設定情報である。「業種」は、広告主Sの事業の業種情報である。「決済方法」は、広告主Sの決済方法であり、例えば「クレカ」はクレジットカードを示す。 The “contract period” is the contract period of each account ID, and “domain” is a domain name acquired from the email address of the advertiser S, for example. “Browser language” is browser language setting information that can be acquired from the advertiser terminal 2, and “time zone” is time zone setting information of the advertiser terminal 2 that can be acquired from the advertiser terminal 2. “Business type” is business type information of the business of the advertiser S. The “settlement method” is a settlement method of the advertiser S. For example, “Kureka” indicates a credit card.
例えば、図3Bの例では、広告主SAが、「契約期間」の短い複数の「アカウントID」=「aaa_1」〜「aaa_n」を保有しており、「ドメイン」と「ブラウザの言語」、および、「ブラウザの言語」と「タイムゾーン」がそれぞれ不相応であることが分かる。また、「業種」および「決済方法」が、それぞれ不正の行われやすい「サービス」および「クレカ」であることが分かる。このように、広告主属性情報テーブルにも、広告主Sの怪しい行動パターンを推知させる要素が含まれている。 For example, in the example of FIG. 3B, the advertiser SA has a plurality of “account IDs” = “aaa_1” to “aaa_n” having a short “contract period”, “domain”, “browser language”, and It can be seen that “browser language” and “time zone” are inappropriate. It can also be seen that “industry” and “settlement method” are “service” and “cleca”, which are likely to be fraudulent, respectively. As described above, the advertiser attribute information table also includes an element for inferring the suspicious behavior pattern of the advertiser S.
次に、図3Cは、広告主行動情報テーブルの一例を示す図である。図3Cに示すように、広告主行動情報テーブルには、「広告主ID」ごとに、「アカウントID」および「管理画面アクセス回数」などが関連付けられた情報が含まれる。 Next, FIG. 3C is a diagram illustrating an example of the advertiser behavior information table. As illustrated in FIG. 3C, the advertiser behavior information table includes information in which “account ID”, “management screen access count”, and the like are associated with each “advertiser ID”.
なお、広告主行動情報テーブルは、「広告主ID」および「アカウントID」によって、入稿情報テーブルおよび広告主属性情報テーブルと関連付けることができる。「管理画面アクセス回数」は、広告主Sがアクセス可能な広告配信業者の広告主S向け管理画面に対し、1入稿ごとに何回アクセスしたかを示すアクセス回数である。かかる管理画面へのアクセスは、入稿後、審査を通り、広告として掲載された場合に、例えば売上を確認したい場合などに行われる。 The advertiser behavior information table can be associated with the submission information table and the advertiser attribute information table by the “advertiser ID” and the “account ID”. The “number of times of management screen access” is the number of accesses indicating how many times each submission has been made to the management screen for the advertiser S of the advertisement distributor that the advertiser S can access. Such access to the management screen is performed when, for example, when it is desired to confirm sales after being submitted and submitted as an advertisement after submission.
図3Cの例では、広告主SAが、例えば広告主SBと比較して、高い頻度で管理画面へアクセスしていることが分かる。また、広告主SAの「アカウントID」=「aaa_n」は、アクセス回数が0回であり、登録されたにも関わらず未使用であることが分かる。このように、広告主行動情報テーブルにも、広告主Sの怪しい行動パターンを推知させる要素が含まれている。 In the example of FIG. 3C, it can be seen that the advertiser SA is accessing the management screen more frequently than the advertiser SB, for example. In addition, it can be seen that the “account ID” = “aaa_n” of the advertiser SA has an access count of 0 and is unused despite being registered. As described above, the advertiser behavior information table also includes an element for inferring the suspicious behavior pattern of the advertiser S.
次に、図3Dは、審査履歴情報テーブルの一例を示す図である。図3Dに示すように、審査履歴情報テーブルには、「広告主ID」ごとに、「アカウントID」および「審査履歴」などが関連付けられた情報が含まれる。「審査履歴」は、「アカウントID」ごとの過去の入稿に対する審査履歴情報である。かかる審査履歴情報を解析することで、例えば「アカウントID」ごと、あるいは、「広告主ID」ごとの、入稿の拒否率(リジェクト率)を導くことができる。 Next, FIG. 3D is a diagram illustrating an example of the examination history information table. As illustrated in FIG. 3D, the examination history information table includes information in which “account ID”, “examination history”, and the like are associated with each “advertiser ID”. The “examination history” is examination history information for past submissions for each “account ID”. By analyzing the examination history information, for example, the submission rejection rate (rejection rate) can be derived for each “account ID” or “advertiser ID”.
(評価部322についての続き)
図2に戻り、評価部322が実行する処理の詳細について説明する。評価部322は、広告主Sに関する情報に含まれる複数の要素をパラメータとする評価モデルに基づき、広告主Sを評価する。
(Continued on the evaluation unit 322)
Returning to FIG. 2, the details of the processing executed by the
具体的には、評価部322は、例えば下記式(1)に示す回帰式を用いて広告主Sの評価スコアyを演算する評価モデルを有する。
Specifically, the
y = a1・x1 + a2・x2 + ・・・ +an・xn ・・・ (1) y = a 1 · x 1 + a 2 · x 2 + ... + a n · x n (1)
上記式(1)のうち、an(nは任意の数)は係数であり、xnは素性(説明変数)である。まず、評価部322は、上述した広告情報DB331の入稿情報テーブル、広告主情報DB332の広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルの各項目データを解析し、各項目データに基づく不正な広告主Sに対する素性を求める。
In the above formula (1), a n (n is an arbitrary number) is a coefficient, and x n is a feature (explanatory variable). First, the
例えば、不正な広告主Sを正例とする場合、不正な広告主Sの特徴ベクトルを有する場合には「xn」=「1」となり、有しない場合には「xn」=「0」となる。また、xnの重み値となるanは、上記式(1)による不正な広告主Sを正例とした線形モデルを学習することで調整される。 For example, when an illegal advertiser S is taken as a positive example, “x n ” = “1” is obtained when the illegal advertiser S has a feature vector, and “x n ” = “0” is obtained when there is no illegal advertiser S. It becomes. Further, a n which is a weight value of x n is adjusted by learning a linear model in which an illegal advertiser S according to the above formula (1) is a positive example.
例えば、評価部322は、上記式(1)のanをパラメータとし、SVM(Support Vector Machine)のようなパターン識別機を用いたサポートベクタ回帰などの回帰分析手法によりanの重みを調整する。
For example, the
なお、ここでは、不正な広告主Sを正例とする例を挙げたが、正当な広告主Sを正例とすることによって不正な広告主Sを抽出してもよい。また、評価部322の有する評価モデルは、上述した評価モデルに限定されるものではない。
In this example, the illegal advertiser S is taken as a positive example. However, the illegal advertiser S may be extracted by taking the legitimate advertiser S as a positive example. Moreover, the evaluation model which the
(xnの具体例について)
次に、評価部322が不正な広告主Sを正例とした評価のために求められるxnの具体例を図4に示す。図4は、不正な広告主Sを正例とした場合の素性の具体例を示す図である。
(Specific examples of xn )
Next, FIG. 4 shows a specific example of xn that is obtained by the
なお、ここではn=1〜16までの例を挙げている。また、「対応項目」は、素性を求めるにあたりインプットとなる広告情報DB331の入稿情報テーブル、広告主情報DB332の広告主属性情報テーブル、広告主行動情報テーブルおよび審査履歴情報テーブルの各項目である。また、N1〜N16は任意の定数であり、「条件」それぞれに応じた閾値として用いられる。
Here, examples where n = 1 to 16 are given. The “corresponding item” is an entry information table of the
図4に示すように、例えばx1は、広告情報DB331の入稿情報テーブルの「広告内容」に基づき、「条件」を「バズワードがN1個以上であるか否か」とすることによって求めることができる。すなわち、「広告内容」にバズワードがN1個以上あればx1は「1」となり、バズワードがN1個未満であればx1は「0」となる。
As shown in FIG. 4, for example, x 1 is obtained by setting “condition” as “whether there are N1 or more buzzwords” based on “advertisement content” in the submission information table of the
これは、「広告内容」にバズワードが多く含まれるほど、不正な広告主Sであるとの推定が働きやすいことによる。 This is because the more the buzzword is included in the “advertising content”, the easier it is to estimate that the advertiser is an unauthorized advertiser S.
また、例えばx2は、同じく入稿情報テーブルの「広告内容」に基づき、「条件」を「誤記がN2個以上であるか否か」とすることによって求めることができる。すなわち、「広告内容」に誤記がN2個以上あればx2は「1」となり、誤記がN2個未満であればx2は「0」となる。 Further, for example, x 2, like based on the "Ad Content" trafficking information table, the "condition" can be determined by a "whether mistake is N2 or more." In other words, if any mistake is N2 or more to the "advertising content" x 2 becomes "1", x 2 if clerical error is less than the N2 is "0".
これは、「広告内容」に誤記が多く含まれるほど、不正な広告主Sであるとの推定が働きやすいことによる。 This is because the more erroneous entries are included in the “advertising content”, the easier it is to estimate that the advertiser is an unauthorized advertiser S.
また、例えばx3は、同じく入稿情報テーブルの「アカウントID」および「広告内容」に基づき、「条件」を「複数の入稿でキーワードが同一であるか否か」とすることによって求めることができる。すなわち、同じ「アカウントID」による複数の入稿で「広告内容」のキーワードがすべて同一であればx3は「1」となり、キーワードが異なればx3は「0」となる。 Further, for example, x 3, like on the basis of the "Account ID" and "advertising content" trafficking information table, the "conditions" be determined by a "whether keywords in different trafficking identical" Can do. That is, x 3 is “1” if the keywords of “advertising content” are the same in a plurality of submissions with the same “account ID”, and x 3 is “0” if the keywords are different.
これは、同じ「アカウントID」で同じ内容の入稿を、繰り返し人手やプログラム等によって行っていることが推知され、不正な広告主Sであるとの推定が働きやすいことによる。 This is because it is presumed that the same “account ID” and the same content are repeatedly submitted manually or by a program, etc., and it is easy to estimate that the advertiser is an unauthorized advertiser S.
また、例えばx4は、同じく入稿情報テーブルの「チャネル」に基づき、「条件」を「チャネルが直接であるか否か」とすることによって求めることができる。すなわち、「チャネル」が「直接」であればx4は「1」となり、「間接」であればx4は「0」となる。これは、不正な広告主Sがわざわざ代理店を経由することは考えにくいことによる。 Further, for example, x 4 is also based on the "channel" trafficking information table, the "condition" can be determined by a "whether the channel is a direct". That is, if the “channel” is “direct”, x 4 is “1”, and if it is “indirect”, x 4 is “0”. This is because it is unlikely that the unauthorized advertiser S will bother to go through the agency.
また、例えばx5は、同じく入稿情報テーブルの「入金金額」に基づき、「条件」を「入金金額がN5円以上であるか否か」とすることによって求めることができる。すなわち、「入金金額」がN5円以上であればx5は「1」となり、N5円未満であればx5は「0」となる。これは、不正な広告主Sは短期間に集中して高額の入金を行う傾向にあることによる。マネーロンダリング等の不正に利用されている可能性も推知される。 Further, for example, x 5, like on the basis of the "deposit amount" trafficking information table, the "condition" can be determined by a "whether the payment amount is N5 yen or more". In other words, if the "deposit amount" is N5 yen or more x 5 becomes "1", the x 5 if it is less than N5 yen becomes "0". This is because the unauthorized advertiser S tends to concentrate in a short time and make a large amount of money. The possibility of fraudulent use such as money laundering is also inferred.
また、例えばx6は、同じく入稿情報テーブルの「入金経路」に基づき、「条件」を「入金経路が海外から国内であるか否か」とすることによって求めることができる。すなわち、「入金経路」が海外から国内であればx6は「1」となり、国内から国内であればx6は「0」となる。これは、不正な広告主Sは海外の業者が多い傾向にあることによる。 Further, for example, x 6, like on the basis of the "Deposit pathway" trafficking information table, the "condition" can be determined by a "whether the deposit route is domestic from foreign". In other words, x 6 if the domestic "payment route" from overseas is "1", x 6 if the domestic from domestic "0". This is because unauthorized advertisers S tend to have many overseas businesses.
また、例えばx7は、同じく入稿情報テーブルの「アカウントID」、「入稿日」および「入稿時刻」に基づき、「条件」を「同一アカウントで同一日時からN7秒以内に複数入稿されているか否か」とすることによって求めることができる。すなわち、同一アカウントで同一日時からN7秒以内に複数入稿されているならばx7は「1」となり、それ以外ならばx7は「0」となる。これは、上でも述べたが、不正な広告主Sは、同じ「アカウントID」で同じ内容の入稿を、プログラム等によって高速で繰り返し行っていることが推知されるためである。 Further, for example, x 7, like "Account ID" trafficking information table, "Trafficking date" and based on the "trafficking time", a plurality of "conditional" within N7 seconds from the same date in the "same account Trafficking It can be obtained by "whether or not it is done". That is, if are more trafficked within N7 seconds from the same date and time in the same account x 7 becomes "1", if otherwise x 7 is "0". This is because, as described above, it is assumed that an unauthorized advertiser S repeatedly submits the same content with the same “account ID” at a high speed by a program or the like.
また、例えばx8は、同じく入稿情報テーブルの「入稿時刻」に基づき、「条件」を「入稿時刻が18:00〜翌06:00であるか否か」とすることによって求めることができる。すなわち、「入稿時刻」が18:00〜翌06:00であるならばx8は「1」となり、それ以外ならばx8は「0」となる。これは、審査者の対応しにくい時間帯にあえて入稿してくるならば、不正な広告主Sであるとの推定が働きやすいことによる。 Further, for example, x 8, like based on the "trafficking time" trafficking information table, the "condition", "trafficking time 18: 00 next 6:00 is whether" be determined by the Can do. In other words, "submission time" is 18: 00~ x 8 if a well-06:00 becomes "1", if otherwise x 8 is "0". This is because if it is submitted in a time zone that is difficult for the examiner to handle, it is easy to estimate that the advertiser is an unauthorized advertiser S.
また、例えばx9は、同じく入稿情報テーブルの「広告種別」に基づき、「条件」を「広告種別がクリック課金であるか否か」とすることによって求めることができる。すなわち、「広告種別」が「クリック課金」であるならばx9は「1」となり、それ以外ならばx9は「0」となる。これは、例えば広告閲覧者にクリックさせることで悪意のあるソフトウェアを配布する不正な広告主Sが存在することによる。なお、不正な広告主Sがとにかく閲覧させることを目的とする場合を想定するならば、「条件」を「広告種別がインプレッション課金であるか否か」とするxnを求めてもよい。 Further, for example, x 9, like based on the "Ad type" trafficking information table, the "condition" can be determined by a "whether advertisement type is CPC." That is, if "ad type" is "pay per click" x 9 becomes "1", if otherwise x 9 is "0". This is because, for example, there is an unauthorized advertiser S who distributes malicious software by causing an advertisement viewer to click. In addition, if it is assumed that the purpose is to allow an unauthorized advertiser S to browse anyway, x n with “condition” as “whether or not the advertisement type is impression charge” may be obtained.
また、例えばx10は、広告主情報DB332の広告主属性情報テーブルの「契約期間」に基づいて契約の継続率を算出の上、「条件」を「継続率がN10%未満であるか否か」とすることによって求めることができる。すなわち、継続率がN10%未満であるならばx10は「1」となり、継続率がN10%以上ならばx10は「0」となる。これは、上でも述べたが、不正な広告主Sは短期間に集中して高額の入金を行う傾向にあることによる。 Further, for example, x 10 is above the calculated continuation rate of the contract on the basis of the "contract period" advertiser attribute information table of the advertiser information DB332, whether the "condition", "retention rate is less than N10% "Can be obtained. That is, if the continuation rate is less than N10% x 10 becomes "1", if continuation rate is N10% or more x 10 becomes "0". As described above, this is because unauthorized advertisers S tend to concentrate in a short time and make a large amount of money.
また、例えばx11は、同じく広告主属性情報テーブルの「ドメイン」および「ブラウザの言語」に基づき、「条件」を「ドメインとブラウザの言語が不相応であるか否か」とすることによって求めることができる。すなわち、「ドメイン」と「ブラウザの言語」が不相応であるならばx11は「1」となり、相応であるならばx11は「0」となる。 Further, for example, x 11, like based on the "domain" and "browser language" advertiser attribute information table, the "conditions" be determined by a "whether the language of the domain and the browser is disproportionate" Can do. That is, if the “domain” and the “browser language” are incompatible, x 11 is “1”, and if it is appropriate, x 11 is “0”.
同様に、例えばx12は、同じく広告主属性情報テーブルの「ドメイン」および「タイムゾーン」に基づき、「条件」を「ドメインとタイムゾーンが不相応であるか否か」とすることによって求めることができる。すなわち、「ドメイン」と「タイムゾーン」が不相応であるならばx12は「1」となり、相応であるならばx12は「0」となる。これらは、「ドメイン」、「ブラウザの言語」および「タイムゾーン」などの関係が不相応ならば、不正な広告主Sであるとの推定が働きやすいことによる。 Similarly, for example x 12, like based on the "domain" and "Time Zone" advertiser attribute information table, it is obtained by making the "condition", "whether the domain and time zone are disproportionate" it can. That is, if the “domain” and the “time zone” are not appropriate, x 12 is “1”, and if they are appropriate, x 12 is “0”. These are due to the fact that it is easy to presume that the advertiser is an unauthorized advertiser S if the relations such as “domain”, “browser language”, and “time zone” are inappropriate.
また、例えばx13は、同じく広告主属性情報テーブルの「業種」に基づき、「条件」を例えば「業種がサービス業であるか否か」とすることによって求めることができる。すなわち、「業種」がサービス業であるならばx13は「1」となり、サービス業以外であるならばx13は「0」となる。なお、かかる例は、サービス業のサイトを用いた不正が行われやすいとの想定に立つものであり、実際の例とは必ずしも一致しない。 Further, for example, x 13, like based on the "sector" advertiser attribute information table, can be obtained by making the "condition" for example, "whether industry is a service industry." In other words, if the "industry" is a service industry x 13 becomes "1", if other than the service sector x 13 becomes "0". Note that this example is based on the assumption that fraud using a service industry site is likely to occur, and does not necessarily match the actual example.
また、例えばx14は、同じく広告主属性情報テーブルの「決済方法」に基づき、「条件」を「決済方法がクレジットカードであるか否か」とすることによって求めることができる。すなわち、「決済方法」がクレジットカードであるならばx14は「1」となり、クレジットカード以外であるならばx14は「0」となる。これは、不正な広告主Sにより、クレジットカードを不正が行われやすいことによる。 Further, for example, x 14, like based on the "settlement" advertiser attribute information table, the "condition" can be determined by a "whether payment is credit card." That is, if the “settlement method” is a credit card, x 14 is “1”, and if it is not a credit card, x 14 is “0”. This is because fraudulent advertisers S tend to cheat credit cards.
また、例えばx15は、広告主情報DB332の広告主行動情報テーブルの「管理画面アクセス回数」に基づき、「条件」を「管理画面アクセス回数がN15回以上であるか否か」とすることによって求めることができる。すなわち、「管理画面アクセス回数」がN15回以上であるならばx15は「1」となり、N15回未満であるならばx15は「0」となる。これは、不正な広告主Sは、入稿後、例えば売上に関する情報などを頻繁に確認しに来たりするであろうとの推定が働くことによる。 Further, for example, x 15, based on the "UI access number" advertiser behavior information table advertiser information DB332, the "condition" by the "whether UI access count is equal to or larger than N15 times" Can be sought. That is, if "interface access count" is equal to or larger than N15 times x 15 becomes "1", x 15 if less than N15 times is "0". This is because it is presumed that an unauthorized advertiser S will come to frequently check information related to sales after submission, for example.
また、例えばx16は、広告主情報DB332の審査履歴情報テーブルの「審査履歴」に基づいて広告主Sの拒否率を算出の上、「条件」を「拒否率がN16%以上であるか否か」とすることによって求めることができる。すなわち、拒否率がN16%以上であるならばx16は「1」となり、N16%未満であるならばx16は「0」となる。これは、拒否率の高い広告主Sであれば、そもそも正当な広告主Sとは言えないことによる。 Also, if for example x 16, the top of the calculated rate of rejection advertiser S based on the "audit history" audit history information table of the advertiser information DB332, the "condition", "rejection rate is N16% or more not It can be determined by That is, if rejection rate is N16% or more x 16 becomes "1", if less than N16% x 16 becomes "0". This is because an advertiser S having a high rejection rate cannot be said to be a legitimate advertiser S in the first place.
(評価部322についての続き)
図2に戻り、引き続き評価部322について説明する。評価部322は、図4に一例として示した各「条件」に沿ってx1〜xnを求めた上で、上記式(1)により広告主Sの評価スコアを算出する。そして、評価部322は、算出した評価スコアを判定部323へ通知する。
(Continued on the evaluation unit 322)
Returning to FIG. 2, the
(判定部323について)
判定部323は、評価部322による評価スコアが所定範囲であるか否かによって、入稿要求されている広告情報X,Yの入稿の可否を判定する。すなわち、判定部323は、評価部322による評価スコアが所定範囲である場合に、入稿要求されている広告情報X,Yの入稿を拒否する。また、判定部323は、あわせて広告主Sからの入稿を拒否する。すなわち、広告主Sは不正な広告主Sとしてブラックリスト入りされ、例えば以前のあるいは以後のすべての広告掲載を拒否される。
(About determination unit 323)
The
なお、広告主Sがブラックリスト入りしたことを示すために、判定部323は、例えば広告主情報DB332に設けられたブラックリストテーブル(図示略)へ広告主Sの「広告主ID」や「アカウントID」を登録する。
In order to indicate that the advertiser S has entered the black list, the
また、判定部323は、評価部322による評価スコアが所定範囲でない場合には、入稿要求されている広告情報X,Yの入稿を許可する。
In addition, when the evaluation score by the
また、判定部323は、例えば評価部322による評価スコアを評価部322へフィードバックし、評価部322に対し、かかる評価スコアに対応する広告主Sの次回からの評価レベルを変更させることもできる。具体的には、判定部323は、評価スコアが、例えば不正な広告主S寄りに高い得点を示すものである場合には、かかる広告主Sに対する評価レベルが次回からは言わば厳しいものとなるように、評価部322に評価レベルを変更させる。この場合、評価部322は、該当する広告主Sに対し次回から、例えばフィードバックされた評価スコアに応じて、不正な広告主S寄りの重み付けを行った評価を行う。
For example, the
反対に、判定部323は、評価スコアが、例えば正当な広告主S寄りに高い得点を示すものである場合には、かかる広告主Sに対する評価レベルが次回からは言わば緩いものとなるように、評価部322に評価レベルを変更させる。この場合、評価部322は、該当する広告主Sに対し次回から、例えばフィードバックされた評価スコアに応じて、正当な広告主S寄りの重み付けを行った評価を行う。なお、広告主Sが正当な広告主Sとして明らかに高い得点を示す場合には、前述のブラックリストテーブルに対し設けられたホワイトリストテーブルへこの広告主Sを登録した上で、ホワイトリスト入りしている広告主Sに対し次回からは、評価なしに入稿を許可して広告を配信するようにしてもよい。
On the other hand, when the evaluation score indicates a high score near the legitimate advertiser S, for example, the evaluation level for the advertiser S will be loose from the next time. The
(通知部324について)
通知部324は、判定部323による判定結果を広告主Sへ通知する。
(About the notification unit 324)
The
〔3.広告主評価処理の処理手順〕
次に、実施形態に係る広告主評価装置3が実行する広告主評価処理の処理手順について説明する。図5は、実施形態に係る広告主評価装置3が実行する広告主評価処理の処理手順を示すフローチャートである。
[3. (Advertiser evaluation processing procedure)
Next, a processing procedure of an advertiser evaluation process executed by the
図5に示すように、受信部321が、広告主Sから広告情報X,Yを受信する(ステップS101)。ここで、まず制御部32は、受信した広告情報X,Yの広告主Sが明らかに正当な広告主Sであるか否かを判定する(ステップS102)。かかる判定は、例えば広告主Sが前述のホワイトリストテーブルに登録されているか否かによって行われる。ここで、広告主Sが明らかに正当な広告主Sである場合(ステップS102,Yes)、評価なしに該当の広告主Sの入稿を許可し(ステップS103)、ステップS109へ制御を移す。また、広告主Sが明らかに正当な広告主Sではない場合(ステップS102,No)、制御部32は次に、広告主Sが拒否対象であるか否かを判定する(ステップS104)。かかる判定は、例えば広告主Sが前述のブラックリストテーブルに登録されているか否かによって行われる。
As shown in FIG. 5, the receiving
ここで、拒否対象の広告主Sでない場合(ステップS104,No)、評価部322が、広告主Sに関する情報に基づいて広告主Sを評価する(ステップS105)。なお、拒否対象の広告主Sである場合(ステップS104,Yes)、制御部32はステップS107へ制御を移す。
Here, when the advertiser S is not to be rejected (No at Step S104), the
そして、判定部323が、評価部322による評価スコアが所定範囲であるか否かを判定する(ステップS106)。ここで、評価スコアが所定範囲である場合(ステップS106,Yes)、判定部323が該当の広告主Sの入稿を拒否する(ステップS107)。また、評価スコアが所定範囲でない場合(ステップS106,No)、判定部323が該当の広告主Sの入稿を許可する(ステップS108)。
And the
そして、通知部324が、判定部323による判定結果を該当の広告主Sへ通知し(ステップS109)、制御部32は広告主評価処理を終了する。
And the
〔4.ハードウェア構成〕
なお、実施形態に係る広告主評価装置3は、例えば図6に示すような構成のコンピュータ60によって実現される。図6は、広告主評価装置3の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ60は、CPU(Central Processing Unit)61、RAM(Random Access Memory)62、ROM(Read Only Memory)63、HDD(Hard Disk Drive)64、通信インターフェイス(I/F)65、入出力インターフェイス(I/F)66、およびメディアインターフェイス(I/F)67を備える。
[4. Hardware configuration)
Note that the
CPU61は、ROM63またはHDD64に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM63は、コンピュータ60の起動時にCPU61によって実行されるブートプログラムや、コンピュータ60のハードウェアに依存するプログラム等を格納する。
The
HDD64は、CPU61によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェイス65は、通信部31に対応し、通信ネットワーク4を介して他の機器からデータを受信してCPU61へ送り、CPU61が生成したデータを、通信ネットワーク4を介して他の機器へ送信する。
The
CPU61は、入出力インターフェイス66を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。CPU61は、入出力インターフェイス66を介して、入力装置からデータを取得する。また、CPU61は、生成したデータを、入出力インターフェイス66を介して出力装置へ出力する。
The
メディアインターフェイス67は、記録媒体68に格納されたプログラムまたはデータを読み取り、RAM62を介してCPU61に提供する。CPU61は、当該プログラムを、メディアインターフェイス67を介して記録媒体68からRAM62上にロードし、ロードしたプログラムを実行する。記録媒体68は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The media interface 67 reads a program or data stored in the
コンピュータ60が広告主評価装置3として機能する場合、コンピュータ60のCPU61は、RAM62上にロードされたプログラムを実行することにより、受信部321、評価部322、判定部323および通知部324の各機能を実現する。また、HDD64は、記憶部33の機能を実現し、広告情報DB331および広告主情報DB332などが格納される。
When the
コンピュータ60のCPU61は、これらのプログラムを、記録媒体68から読み取って実行するが、他の例として、他の装置から、通信ネットワーク4を介してこれらのプログラムを取得してもよい。
The
〔5.効果〕
実施形態にかかる広告審査システム1の広告主評価装置3は、受信部321と、評価部322と、を備える。受信部321は、広告主Sから広告情報X,Yの入稿を受信する。評価部322は、広告情報X,Yを入稿した広告主Sに関する情報に基づいて、かかる広告主Sを評価する。
[5. effect〕
The
これにより、広告情報X,Yの広告の内容からは見えづらかった広告主Sの「怪しさ」を評価することが可能となり、評価結果に基づいて不正な広告主Sを判定することができる。また、これにより、仮に広告情報X,Yの広告の内容に違反が無い場合であっても、不正な広告主Sによる広告情報X,Yの入稿を拒否することができるので、広告の掲載によって不正な広告主Sの悪意ある不正が波及するのを防止することができる。 Thereby, it becomes possible to evaluate the “suspiciousness” of the advertiser S that is difficult to see from the contents of the advertisements of the advertisement information X and Y, and the unauthorized advertiser S can be determined based on the evaluation result. In addition, even if there is no violation in the content of the advertisement information X, Y, the advertisement information X, Y can be rejected by the unauthorized advertiser S, so that the advertisement is posted. Thus, it is possible to prevent the malicious fraud of the unauthorized advertiser S from spreading.
また、評価部322は、広告主Sに関する情報に含まれる複数の要素をパラメータとする評価モデルに基づき、広告主Sを評価する。
In addition, the
これにより、例えば機械学習による評価モデルに基づいて不正な広告主Sを判定することができるので、不正な広告主Sの未知の行動パターンにも機械学習によって適宜対応しつつ、精度のよい高速な広告主評価処理を行うことができる。 As a result, for example, an unauthorized advertiser S can be determined based on an evaluation model based on machine learning, so that an unknown behavior pattern of the unauthorized advertiser S can be appropriately handled by machine learning and high speed with high accuracy. Advertiser evaluation processing can be performed.
また、上記広告主Sに関する情報には、広告主Sによる広告情報X,Yの入稿パターンの要素が含まれる。 Further, the information related to the advertiser S includes elements of the submission pattern of the advertisement information X and Y by the advertiser S.
これにより、広告主Sによる広告情報X,Yの入稿パターンの要素を解析して、広告主Sの入稿に際しての特徴や傾向を抽出することができるので、精度よく不正な広告主Sを判定するのに資することができる。 Thereby, the elements of the submission pattern of the advertisement information X and Y by the advertiser S can be analyzed and the characteristics and tendencies in the submission of the advertiser S can be extracted. It can help to judge.
また、上記入稿パターンには、広告情報X,Yの内容、入稿経路、入稿時刻、広告種別、入金金額、および、入金経路の少なくとも一つが含まれる。 The submission pattern includes at least one of the contents of the advertisement information X and Y, the submission route, the submission time, the advertisement type, the deposit amount, and the deposit route.
これにより、広告情報X,Yの内容、入稿経路、入稿時刻、広告種別、入金金額、および、入金経路の少なくともいずれかから、広告主Sの入稿パターンの特徴や傾向を抽出することができるので、精度よく不正な広告主Sを判定するのに資することができる。 Thereby, the feature or tendency of the submission pattern of the advertiser S is extracted from at least one of the contents of the advertisement information X, Y, the submission route, the submission time, the advertisement type, the deposit amount, and the deposit route. Therefore, it is possible to contribute to determining an unauthorized advertiser S with high accuracy.
また、上記広告主Sに関する情報には、広告情報X,Yの過去の入稿に対する審査履歴、広告情報X,Yを入稿するためのアカウントの利用状況、および、広告情報X,Yを入稿した後の広告主Sの行動情報の少なくとも一つが含まれる。 The information related to the advertiser S includes the review history of the past submission of the advertisement information X and Y, the account usage status for submitting the advertisement information X and Y, and the advertisement information X and Y. At least one of the action information of the advertiser S after writing is included.
これにより、まず審査履歴に基づいて例えば過去の拒否率が高い広告主Sを、不正の可能性の高い広告主Sとして取り扱い、評価することができる。また、アカウントの利用状況に不審な所のある広告主Sを、やはり不正の可能性の高い広告主Sとして取り扱い、評価することができる。また、広告情報X,Yを入稿した後の広告主Sの行動情報、例えば管理画面へのアクセス回数などによって不審な行動を示している広告主Sを、やはり不正の可能性の高い広告主Sとして取り扱い、評価することができる。したがって、不正な広告主Sを精度よく判定するのに資することができる。 Thereby, based on the examination history, for example, an advertiser S having a high past rejection rate can be handled and evaluated as an advertiser S having a high possibility of fraud. Further, the advertiser S having a suspicious place in the account usage status can be handled and evaluated as the advertiser S having a high possibility of fraud. Further, the advertiser S who exhibits suspicious behavior based on the behavior information of the advertiser S after submitting the advertisement information X and Y, for example, the number of accesses to the management screen, is also the advertiser who is highly likely to be fraudulent. It can be handled and evaluated as S. Therefore, it is possible to contribute to accurately determining an unauthorized advertiser S.
また、広告主評価装置3は、判定部323と、通知部324とを備える。判定部323は、評価部322による評価モデルに基づく評価スコアが所定範囲であるか否かによって広告情報X,Yの入稿の可否を判定する。通知部324は、判定部323による判定結果を広告主Sへ通知する。
Further, the
これにより、不正な広告主Sからの広告情報X,Yの入稿があった際に、仮に広告情報X,Yの広告の内容に違反が無い場合であっても、かかる広告情報X,Yの入稿を拒否することができる。すなわち、不正な広告主Sによる悪意ある不正が波及するのを防止することができる。また、広告情報X,Yの広告の内容を審査する必要がないので、審査業務にかかる審査コストの削減に資することができる。 As a result, when the advertising information X, Y is submitted from an unauthorized advertiser S, even if there is no violation in the content of the advertising information X, Y, the advertising information X, Y Can be rejected. That is, it is possible to prevent malicious fraud from spreading by an unauthorized advertiser S. In addition, since it is not necessary to examine the contents of advertisements of advertisement information X and Y, it is possible to contribute to a reduction in examination cost for examination work.
また、広告主評価装置3は、判定部323と、通知部324とを備える。判定部323は、評価部322による評価モデルに基づく評価スコアが所定範囲であるか否かによって広告主Sからの入稿の可否を判定する。通知部324は、判定部323による判定結果を広告主Sへ通知する。
Further, the
これにより、不正な広告主Sを例えばブラックリスト化して、不正な広告主Sからの広告情報X,Yの入稿があった際に、不正な広告主Sを評価することなく拒否することができる。すなわち、審査業務にかかる審査コストの削減に資することができる。 As a result, when the unauthorized advertiser S is blacklisted and the advertisement information X, Y is submitted from the unauthorized advertiser S, the unauthorized advertiser S may be rejected without being evaluated. it can. That is, it can contribute to the reduction of the examination cost concerning examination work.
〔6.その他〕
以上、本願の実施形態の一態様を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
[6. Others]
Although one aspect of the embodiment of the present application has been described in detail with reference to the drawings, this is an exemplification, and various modifications based on the knowledge of those skilled in the art, including the aspect described in the column of the disclosure of the invention. It is possible to implement the present invention in other forms with improvements.
例えば上述した入稿パターンに含まれる要素としてはさらに、1つの広告主Sが複数のアカウントIDを保有し、これらアカウントIDに通し番号を付与している場合や、同じ広告主端末2から関連性のない複数のアカウントIDを用いて入稿してくる場合などを挙げることができる。 For example, as an element included in the above-mentioned submission pattern, when one advertiser S has a plurality of account IDs and serial numbers are assigned to these account IDs, There are cases where submission is made using a plurality of account IDs.
1 広告審査システム
2 広告主端末
3 広告主評価装置
4 通信ネットワーク
31 通信部
32 制御部
33 記憶部
321 受信部
322 評価部
323 判定部
324 通知部
331 広告情報DB
332 広告主情報DB
DESCRIPTION OF SYMBOLS 1 Advertisement examination system 2
332 Advertiser Information DB
Claims (8)
前記広告情報を入稿した前記広告主に関する情報に含まれる、前記広告主による前記広告情報の入稿パターンの要素および前記広告情報を入稿した後の前記広告主の行動パターンを示す要素を少なくともパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを示す評価スコアを算出する評価部と、
前記評価スコアが所定範囲である場合に、前記広告主が前記不正者であると判定する判定部と、
を備えることを特徴とする広告主評価装置。 A receiver for receiving trafficking of advertising information from advertisers,
At least an element of the advertising information submission pattern by the advertiser and an element of the advertiser behavior pattern after the advertising information has been submitted, included in the information about the advertiser that has submitted the advertising information Based on an evaluation model as a parameter, an evaluation unit that calculates an evaluation score indicating the degree of the advertiser being a malicious fraud,
A determination unit that determines that the advertiser is the unauthorized person when the evaluation score is within a predetermined range;
An advertiser evaluation apparatus comprising:
前記広告情報の内容、入稿経路、入稿時刻、広告種別、入金金額、および、入金経路の少なくとも一つが含まれる
ことを特徴とする請求項1に記載の広告主評価装置。 The submission pattern includes
The advertiser evaluation apparatus according to claim 1 , wherein at least one of the content of the advertisement information, a submission route, a submission time, an advertisement type, a deposit amount, and a deposit route is included.
前記広告情報の過去の入稿に対する審査履歴、前記広告情報を入稿するためのアカウントの利用状況、および、前記広告主向けの管理画面に対する当該広告主のアクセス状況の少なくともいずれかが含まれる
ことを特徴とする請求項1または2に記載の広告主評価装置。 Information about the advertiser includes:
Examination history for the past trafficking of the advertisement information, contained before Symbol usage of the account to traffic ads information, and, at least one of the advertiser's access status to the management screen of the Advertiser is The advertiser evaluation apparatus according to claim 1 or 2 , wherein
前記評価スコアが所定範囲である場合に、前記広告情報の入稿を拒否する
ことを特徴とする請求項1、2または3に記載の広告主評価装置。 The determination unit
If the evaluation score is given range, advertiser evaluation apparatus according to claim 1, 2 or 3, characterized in that deny traffic of the advertisement information.
前記評価スコアが所定範囲である場合に、前記広告主からの入稿を拒否する
ことを特徴とする請求項1、2または3に記載の広告主評価装置。 The determination unit
If the evaluation score is given range, advertiser evaluation apparatus according to claim 1, 2 or 3, characterized in that deny traffic from the advertiser.
前記評価部に対し、前記評価スコアに応じて当該評価スコアに対応する前記広告主の次回からの評価レベルを変更させる
ことを特徴とする請求項1〜5のいずれか一つに記載の広告主評価装置。 The determination unit
The advertiser according to any one of claims 1 to 5, wherein the evaluation unit is caused to change a next evaluation level of the advertiser corresponding to the evaluation score according to the evaluation score. Evaluation device.
広告主から広告情報の入稿を受信する受信工程と、
前記広告情報を入稿した前記広告主に関する情報に含まれる、前記広告主による前記広告情報の入稿パターンの要素および前記広告情報を入稿した後の前記広告主の行動パターンを示す要素を少なくともパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを示す評価スコアを算出する評価工程と、
前記評価スコアが所定範囲である場合に、前記広告主が前記不正者であると判定する判定工程と、
を含むことを特徴とする広告主評価方法。 An advertiser evaluation method performed by a computer,
A receiving process for receiving trafficking of advertising information from advertisers,
At least an element of the advertising information submission pattern by the advertiser and an element of the advertiser behavior pattern after the advertising information has been submitted, included in the information about the advertiser that has submitted the advertising information Based on an evaluation model as a parameter, an evaluation step for calculating an evaluation score indicating a degree that the advertiser is a malicious fraud,
A determination step of determining that the advertiser is the unauthorized person when the evaluation score is within a predetermined range;
An advertiser evaluation method characterized by including:
広告主から広告情報の入稿を受信する受信手順と、
前記広告情報を入稿した前記広告主に関する情報に含まれる、前記広告主による前記広告情報の入稿パターンの要素および前記広告情報を入稿した後の前記広告主の行動パターンを示す要素を少なくともパラメータとする評価モデルに基づいて、当該広告主が悪意ある不正者である度合いを示す評価スコアを算出する評価手順と、
前記評価スコアが所定範囲である場合に、前記広告主が前記不正者であると判定する判定手順と、
を実行させることを特徴とする広告主評価プログラム。 On the computer,
A receiving procedure for receiving trafficking of advertising information from advertisers,
At least an element of the advertising information submission pattern by the advertiser and an element of the advertiser behavior pattern after the advertising information has been submitted, included in the information about the advertiser that has submitted the advertising information Based on an evaluation model as a parameter, an evaluation procedure for calculating an evaluation score indicating a degree of the malicious person being a malicious fraud,
A determination procedure for determining that the advertiser is the fraudster when the evaluation score is within a predetermined range;
An advertiser evaluation program characterized in that
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051512A JP6463400B2 (en) | 2017-03-16 | 2017-03-16 | Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051512A JP6463400B2 (en) | 2017-03-16 | 2017-03-16 | Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015057944A Division JP6114329B2 (en) | 2015-03-20 | 2015-03-20 | Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017126362A JP2017126362A (en) | 2017-07-20 |
JP6463400B2 true JP6463400B2 (en) | 2019-01-30 |
Family
ID=59365571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017051512A Active JP6463400B2 (en) | 2017-03-16 | 2017-03-16 | Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6463400B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7092703B2 (en) * | 2019-03-20 | 2022-06-28 | ヤフー株式会社 | Decision device, decision method and decision program |
JP7018907B2 (en) * | 2019-03-20 | 2022-02-14 | ヤフー株式会社 | Calculation device, calculation method and calculation program |
CN110557661B (en) * | 2019-09-12 | 2021-09-28 | 北京字节跳动网络技术有限公司 | Method, device, equipment and medium for determining delivery grade |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020017038A (en) * | 2000-08-28 | 2002-03-07 | 곽봉열 | Method for servicing free advertisements and a free call on the internet and system therefor |
JP2002259818A (en) * | 2001-03-05 | 2002-09-13 | Fuji Xerox Co Ltd | Information presenting system, method, device and program, and computer-readable recording medium |
JP2003331189A (en) * | 2002-05-17 | 2003-11-21 | Kishi Tanaka | System and program for publishing banner advertisement |
JP2006350667A (en) * | 2005-06-15 | 2006-12-28 | Nippon Telegr & Teleph Corp <Ntt> | Advertisement information distribution system and its program |
US8452656B2 (en) * | 2005-06-29 | 2013-05-28 | Google Inc. | Prioritizing ad review, by using expected revenue for example, in an advertising system |
JP2008269537A (en) * | 2007-04-19 | 2008-11-06 | Dynasoft Corp | Method and system for supplying relevant advertisement |
JP5507622B2 (en) * | 2012-06-25 | 2014-05-28 | ヤフー株式会社 | Advertisement billing amount determination device, advertisement billing amount determination method and program |
-
2017
- 2017-03-16 JP JP2017051512A patent/JP6463400B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017126362A (en) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11232452B2 (en) | Systems and methods for dynamically detecting and preventing consumer fraud | |
US8935797B1 (en) | System and method for online data processing | |
Bakos et al. | Does Anyone Read the Fine Print? Testing a Law and Economics Approach toStandard Form Contracts | |
US20120226579A1 (en) | Fraud detection based on social data | |
US10037546B1 (en) | Honeypot web page metrics | |
CN111095863B (en) | Blockchain-based systems and methods for communicating, storing, and processing data over a blockchain network | |
JP2009500729A (en) | Website suitability review for participation in advertising networks | |
AU2011340289A1 (en) | Internet transaction analysis system and method | |
US20170011409A1 (en) | Systems and methods for detecting and eliminating unauthorized digital communications | |
JP2012212438A (en) | Facilitating content generation via participant interactions | |
JP6114329B2 (en) | Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program | |
JP6463400B2 (en) | Advertiser evaluation apparatus, advertiser evaluation method, and advertiser evaluation program | |
CN111046078A (en) | Block chain-based credit investigation query method and device and electronic equipment | |
Farooqi et al. | Understanding incentivized mobile app installs on google play store | |
KR102373711B1 (en) | Transaction Brokerage System Based on Block Chain | |
US11062340B2 (en) | Post sale referral tracking | |
JP6329285B1 (en) | Update apparatus, update method, and update program | |
US20150221024A1 (en) | Data bidding system and method | |
TW202025067A (en) | Order checkout device, recording medium and order checkout method capable of simplifying order checkout and improving user convenience | |
US11062329B1 (en) | Cross device tracking of e-commerce sales | |
KR101837726B1 (en) | Method and apparatus for blocking illegal reservation | |
An et al. | Identification and estimation of online price competition with an unknown number of firms | |
KR102090822B1 (en) | Marketing brokerage platform system between marketer and advertiser | |
JP2020518067A (en) | System, method, and computer program for providing a card-linked offer network that allows consumers to link the same payment card to the same offer at multiple issuer sites. | |
US20200265452A1 (en) | Computer-implemented referral network and system and method for rewarding users providing referrals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6463400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |