JP6664588B1 - 算出装置、算出方法及び算出プログラム - Google Patents
算出装置、算出方法及び算出プログラム Download PDFInfo
- Publication number
- JP6664588B1 JP6664588B1 JP2018238853A JP2018238853A JP6664588B1 JP 6664588 B1 JP6664588 B1 JP 6664588B1 JP 2018238853 A JP2018238853 A JP 2018238853A JP 2018238853 A JP2018238853 A JP 2018238853A JP 6664588 B1 JP6664588 B1 JP 6664588B1
- Authority
- JP
- Japan
- Prior art keywords
- advertisement
- examination
- content
- information
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 238000012216 screening Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 18
- 238000011179 visual inspection Methods 0.000 claims description 7
- 238000012552 review Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 abstract description 217
- 239000000284 extract Substances 0.000 abstract description 27
- 238000010586 diagram Methods 0.000 abstract description 21
- 230000000007 visual effect Effects 0.000 description 47
- 238000011156 evaluation Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 4
- 230000003203 everyday effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1を用いて、本実施形態の情報処理装置等により実現される情報処理を説明する。図1は、実施形態に係る情報処理の一例を示す図である。図1に示す例において、情報処理システム1は、情報処理装置100、広告主端末10、審査者端末20及びユーザ端末30を有する。情報処理装置100と、広告主端末10と、審査者端末20と、ユーザ端末30とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図1に示す情報処理システム1は、複数台の情報処理装置100や、複数台の広告主端末10や、複数台の審査者端末20や、複数台のユーザ端末30が含まれてもよい。また、図1では、本願に係る算出装置が、情報処理装置100に含まれる場合を例に挙げて説明を行う。
次に、上述した情報処理を実現するための情報処理システム1について図2を用いて説明する。図2は、実施形態に係る情報処理システムの構成例を示す図である。図2に示すように、実施形態に係る情報処理システム1は、情報処理装置100と、広告主端末10と、審査者端末20と、ユーザ端末30とを含む。情報処理装置100、広告主端末10、審査者端末20及びユーザ端末30は、ネットワークNを介して有線または無線により相互に通信可能に接続される。なお、ネットワークNは、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等の通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図2に示す情報処理システム1には、複数台の情報処理装置100や、複数台の広告主端末10、複数台の審査者端末20、複数台のユーザ端末30が含まれてもよい。
次に、図3を用いて、情報処理装置100の構成について説明する。図3は、実施形態に係る情報処理装置の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、広告主端末10、審査者端末20、ユーザ端末30等との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図3に示すように、記憶部120は、広告情報記憶部121と、第1モデル記憶部122と、第2モデル記憶部123と、広告配信履歴情報記憶部124と、サンプル広告情報記憶部125とを有する。
広告情報記憶部121は、広告に関する情報を記憶する。ここで、図4を用いて、広告情報記憶部121が記憶するクエリに関する情報の一例を説明する。図4は、実施形態に係る広告情報記憶部の一例を示す図である。図4の例では、広告情報記憶部121は、「広告ID」、「広告情報」、「広告単価」、「第1モデル審査結果」、「第1目視審査結果」、「第2モデル審査結果」、「第2目視審査結果」といった項目を有する。
第1モデル記憶部122は、第1モデルに関する情報を記憶する。ここで、図5を用いて、第1モデル記憶部122が記憶する第1モデルに関する情報の一例を説明する。図5は、実施形態に係る第1モデル記憶部の一例を示す図である。図5の例では、第1モデル記憶部122は、「モデルID」、「カテゴリ」、「モデル情報」といった項目を有する。
第2モデル記憶部123は、第2モデルに関する情報を記憶する。ここで、図6を用いて、第2モデル記憶部123が記憶する第2モデルに関する情報の一例を説明する。図6は、実施形態に係る第2モデル記憶部の一例を示す図である。図6の例では、第2モデル記憶部123は、「モデルID」、「カテゴリ」、「モデル情報」といった項目を有する。
広告配信履歴情報記憶部124は、広告主によって入稿された各広告の配信履歴に関する情報を記憶する。ここで、図7を用いて、広告配信履歴情報記憶部124が記憶する各広告の配信履歴に関する情報の一例を説明する。図7は、実施形態に係る広告配信履歴情報記憶部の一例を示す図である。図7の例では、広告配信履歴情報記憶部124は、「広告ID」、「配信開始日」、「日付」、「ユーザID」、「インプレッション数」といった項目を有する。
サンプル広告情報記憶部125は、第1モデル及び第2モデルを用いた審査の精度を示す指標値を算出する際、サンプルとして抽出した広告に関する情報を記憶する。ここで、図8を用いて、サンプル広告情報記憶部125が記憶する情報の一例を説明する。図8は、実施形態に係るサンプル広告情報記憶部の一例を示す図である。図8の例では、サンプル広告情報記憶部125は、「サンプル数」、「期間」、「対象日」、「広告ID」、「広告情報」、「広告単価」、「審査結果」といった項目を有する。
制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。実施形態に係る制御部130は、図3に示すように、審査部131と、配信部132と、抽出部133と、算出部134と、評価部135と、取得部136と、学習部137とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
審査部131は、広告主が利用する広告主端末10からコンテンツ(広告)の入稿を受け付け、受け付けた広告に関する情報を広告情報記憶部121に格納する。そして、審査部131は、広告情報記憶部121に格納された広告の審査を行う。例えば、図1の例において、審査部131は、第1モデルを用いて配信前広告を審査する。具体的には、図1の例において、審査部131は、配信前広告の広告情報を第1モデルに入力し、入力した広告情報が有する特徴量に基づいて、配信前広告が適切であるか否かを示すスコアを出力する。そして、審査部131は、出力したスコアに基づいて、配信前広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部131は、配信前広告の審査結果が「適切」または「不適切」である場合、配信前広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部121の「第1モデル審査結果」の項目に格納する。
配信部132は、審査部131によるコンテンツ(広告)の審査結果に基づいて、広告をユーザ端末30に配信する。例えば、図1の例において、配信部132は、第1モデルを用いた審査において「適切」と判定された広告をユーザ端末30に配信する。また、配信部132は、第1モデルを用いた審査において「判別不可」と判定された広告のうち、目視による広告の審査において「適切」と判定された広告をユーザ端末30に配信する。そして、配信部132は、各広告の配信履歴に関する情報をユーザ端末30から収集し、広告配信履歴情報記憶部124に格納する。
抽出部133は、第1審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。言い換えると、抽出部133は、所定の期間内において抽出される第1コンテンツの総数が所定の数を満たすように抽出する。例えば、抽出部133は、モデル審査広告から、所定の期間内において抽出される広告(第1コンテンツ)の総数が所定の数を満たすように複数の広告を抽出する。
算出部134は、抽出部133が抽出したコンテンツに対する第2審査の結果に基づいて、第1審査の精度を示す指標値を算出する。例えば、算出部134は、コンテンツに対する目視による審査の結果に基づいて、指標値を算出する。
評価部135は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。例えば、評価部135は、第4コンテンツの配信に関する情報と、第5コンテンツの配信に関する情報とに基づいて、第4コンテンツ及び第5コンテンツを配信する配信サービスを評価する。例えば、評価部135は、偽陰性広告及び偽陽性広告に対応付けられて広告情報記憶部121に格納されている情報や、広告配信履歴情報記憶部124に格納されている情報に基づいて、情報処理装置100が提供する配信サービスを評価する。
取得部136は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。例えば、取得部136は、目視による審査が行われた広告の審査結果及び当該広告に関する情報を学習データとして取得する。
学習部137は、取得部136が取得した学習データに基づいてモデルの学習を行う。例えば、学習部137は、取得部136が取得した目視による審査が行われた広告の審査結果及び当該広告に関する情報に基づいて、第1モデル及び第2モデルの学習を行う。
ここで、図10を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図10は、実施形態に係る情報処理の手順の一例を示すフローチャートである。
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
上述の実施形態において、広告を対象として情報処理装置100の情報処理の例を示した。しかしながら、情報処理装置100は、広告に限らず、種々のコンテンツを対象として情報処理を行ってもよい。例えば、情報処理装置100は、広告が表示される配信面を対象として、上述した情報処理を行ってもよい。
上述の実施形態では、情報処理装置100がモデルを用いて審査された広告に対し、目視による審査を行う例を示した。しかしながら、情報処理装置100は、目視による審査に限らず、種々の手法を用いてもよい。例えば、情報処理装置100は、モデルを用いた審査よりも精度が高く、且つ、モデルを用いた審査よりも審査の速度が遅い審査の手法を用いて、広告の審査を行う。
上述した図1の実施形態では、情報処理装置100が、第1モデルまたは第2モデルを用いた審査おいて「適切」と判定された広告をサンプルとして抽出し、偽陰性広告の割合を指標値として算出する例を示した。情報処理装置100は、偽陽性広告の割合を指標値として算出してもよい。例えば、情報処理装置100は、第1モデルまたは第2モデルを用いた審査おいて「不適切」と判定された広告を必要なサンプル数を満たすように抽出する。そして、情報処理装置100は、抽出したサンプルのうち、目視による審査において「適切」と判定された広告の総サンプル数に対する割合を指標値として算出する。
上述してきたように、実施形態に係る情報処理装置100は、審査部131と、配信部132と、抽出部133と、算出部134と、評価部135と、取得部136と、学習部137とを有する。審査部131は、コンテンツの審査を行う。配信部132は、審査部131によるコンテンツの審査結果に基づいて、コンテンツをユーザに配信する。抽出部133は、第1審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。算出部134は、抽出部133が抽出したコンテンツに対する第2審査の結果に基づいて、第1審査の精度を示す指標値を算出する。評価部135は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。取得部136は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。学習部137は、取得部136が取得した学習データに基づいてモデルの学習を行う。
また、上述してきた各実施形態に係る情報処理装置は、例えば図12に示すような構成のコンピュータ1000によって実現される。以下、情報処理装置100を例に挙げて説明する。図12は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
20 審査者端末
30 ユーザ端末
100 情報処理装置
110 通信部
120 記憶部
121 広告情報記憶部
122 第1モデル記憶部
123 第2モデル記憶部
124 広告配信履歴情報記憶部
125 サンプル広告情報記憶部
130 制御部
131 審査部
132 配信部
133 抽出部
134 算出部
135 評価部
136 取得部
137 学習部
Claims (8)
- 第1審査の精度を示す指標値の信頼度に基づいて決定されるサンプル数と、第2審査に要する時間とに基づいてコンテンツを抽出する期間を決定し、前記第1審査を経たコンテンツから、前記期間内において抽出されるコンテンツの総数が前記サンプル数を満たすように複数のコンテンツを抽出する抽出部と、
前記抽出部が抽出したコンテンツに対する前記第2審査の結果に基づいて、前記第1審査の前記指標値を算出する算出部と
を備えたことを特徴とする算出装置。 - 前記算出部は、
前記抽出部が抽出したコンテンツのうち、前記第1審査における第1審査基準を満たすと判定されたコンテンツであって、前記第2審査における第2審査基準を満たさないと判定されたコンテンツの前記総数に対する割合に基づいて、前記指標値を算出する
ことを特徴とする請求項1に記載の算出装置。 - 前記抽出部は、
前記期間を分割した複数の分割期間ごとに抽出される前記コンテンツの総数が前記サンプル数を満たすように、前記分割期間ごとに抽出する前記コンテンツの数を決定する
ことを特徴とする請求項1または2に記載の算出装置。 - 前記抽出部は、
前記期間において配信される前記コンテンツを抽出する
ことを特徴とする請求項1から3のいずれか一つに記載の算出装置。 - 前記算出部は、
前記コンテンツに対する目視による審査の結果に基づいて、前記指標値を算出する
ことを特徴とする請求項1から4のいずれか一つに記載の算出装置。 - 前記抽出部は、
所定のカテゴリに分類されるコンテンツを抽出する
ことを特徴とする請求項1から5のいずれか一つに記載の算出装置。 - コンピュータが実行する算出方法であって、
第1審査の精度を示す指標値の信頼度に基づいて決定されるサンプル数と、第2審査に要する時間とに基づいてコンテンツを抽出する期間を決定し、前記第1審査を経たコンテンツから、前記期間内において抽出されるコンテンツの総数が前記サンプル数を満たすように複数のコンテンツを抽出する抽出工程と、
前記抽出工程が抽出したコンテンツに対する前記第2審査の結果に基づいて、前記第1審査の前記指標値を算出する算出工程と
を含むことを特徴とする算出方法。 - 第1審査の精度を示す指標値の信頼度に基づいて決定されるサンプル数と、第2審査に要する時間とに基づいてコンテンツを抽出する期間を決定し、前記第1審査を経たコンテンツから、前記期間内において抽出されるコンテンツの総数が前記サンプル数を満たすように複数のコンテンツを抽出する抽出手順と、
前記抽出手順が抽出したコンテンツに対する前記第2審査の結果に基づいて、前記第1審査の前記指標値を算出する算出手順と
をコンピュータに実行させることを特徴とする算出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018238853A JP6664588B1 (ja) | 2018-12-20 | 2018-12-20 | 算出装置、算出方法及び算出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018238853A JP6664588B1 (ja) | 2018-12-20 | 2018-12-20 | 算出装置、算出方法及び算出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6664588B1 true JP6664588B1 (ja) | 2020-03-13 |
JP2020101937A JP2020101937A (ja) | 2020-07-02 |
Family
ID=70000335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018238853A Active JP6664588B1 (ja) | 2018-12-20 | 2018-12-20 | 算出装置、算出方法及び算出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6664588B1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010146160A (ja) * | 2008-12-17 | 2010-07-01 | Kureo:Kk | 通信管理装置、通信管理方法、およびプログラム |
JP5608400B2 (ja) * | 2010-03-29 | 2014-10-15 | 積水化学工業株式会社 | 広告表示サーバ及び広告表示システム |
JP4767355B1 (ja) * | 2010-06-16 | 2011-09-07 | 株式会社サンゼ | シミュレーション装置およびそのプログラム |
US8788442B1 (en) * | 2010-12-30 | 2014-07-22 | Google Inc. | Compliance model training to classify landing page content that violates content item distribution guidelines |
US20170222960A1 (en) * | 2016-02-01 | 2017-08-03 | Linkedin Corporation | Spam processing with continuous model training |
JP6253745B1 (ja) * | 2016-11-04 | 2017-12-27 | ヤフー株式会社 | 情報解析装置、情報解析方法、および情報解析プログラム |
-
2018
- 2018-12-20 JP JP2018238853A patent/JP6664588B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020101937A (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7523138B2 (en) | Content monitoring in a high volume on-line community application | |
JP6182279B2 (ja) | データ分析システム、データ分析方法、データ分析プログラム、および、記録媒体 | |
WO2020001106A1 (zh) | 分类模型的训练方法、店铺分类的方法及装置 | |
JP7295173B2 (ja) | コンテンツ管理装置、プログラム、コンテンツ管理システム、及びコンテンツ管理方法 | |
WO2020217414A1 (ja) | 情報処理装置 | |
JP2019053668A (ja) | 特典付与装置、特典付与方法及び特典付与プログラム | |
CN112995690A (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
JP6113213B2 (ja) | 広告審査支援装置、広告審査支援方法および広告審査支援プログラム | |
JP7042768B2 (ja) | 付与装置、付与方法および付与プログラム | |
JP7042767B2 (ja) | 決定装置、決定方法および決定プログラム | |
JP6664588B1 (ja) | 算出装置、算出方法及び算出プログラム | |
JP7239124B1 (ja) | 地域関心度測定システム、地域関心度測定方法及びプログラム | |
JP2017201543A (ja) | データ分析システム、データ分析方法、データ分析プログラム、および、記録媒体 | |
JP6907179B2 (ja) | 算出装置、算出方法及び算出プログラム | |
JPWO2020217415A1 (ja) | 情報処理装置 | |
JP2020190776A (ja) | 判定装置、判定方法及び判定プログラム | |
JP2019200713A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP2020101940A (ja) | 学習装置、学習方法及び学習プログラム | |
JP7139270B2 (ja) | 推定装置、推定方法及び推定プログラム | |
JP7042787B2 (ja) | 判定装置、判定方法、および判定プログラム | |
Langer | The importance of probability-based sampling methods for drawing valid inferences | |
JP7092703B2 (ja) | 決定装置、決定方法および決定プログラム | |
Eckstein et al. | Designing a Smart Service for Customer Need Identification in B2B Ticketing Systems | |
JP7260439B2 (ja) | 抽出装置、抽出方法及び抽出プログラム | |
JP2020181564A (ja) | 情報処理装置及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190208 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190208 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191107 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6664588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |