JP7042767B2

JP7042767B2 - Decision device, decision method and decision program

Info

Publication number: JP7042767B2
Application number: JP2019053443A
Authority: JP
Inventors: 京子秋田; 有代盛城; 優美遠藤; 宗大前田; 正也酒井
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2022-03-28
Anticipated expiration: 2039-03-20
Also published as: JP2020154824A

Description

本発明は、決定装置、決定方法および決定プログラムに関する。 The present invention relates to a determination device, a determination method and a determination program.

従来、コンテンツを所定の基準に基づいて評価する技術が提供されている。例えば、画像等を含むコンテンツの入稿を受け付け、受け付けたコンテンツについて審査基準に基づいて審査を行う技術が提供されている（例えば、特許文献１参照）。 Conventionally, a technique for evaluating content based on a predetermined standard has been provided. For example, there is provided a technique for accepting submissions of contents including images and examining the accepted contents based on examination criteria (see, for example, Patent Document 1).

特開２００９－２７１６６１号公報Japanese Unexamined Patent Publication No. 2009-271661

しかしながら、従来技術では、審査効率を向上させる点において、改善の余地があった。すなわち、例えば、従来技術では、審査を行う順番については考慮されていなかった。 However, in the prior art, there is room for improvement in terms of improving the examination efficiency. That is, for example, in the prior art, the order in which the examinations are performed is not considered.

本願は、上記に鑑みてなされたものであって審査効率を向上させることができる決定装置、決定方法および決定プログラムを提供することを目的とする。 It is an object of the present application to provide a determination device, a determination method and a determination program which are made in view of the above and can improve the examination efficiency.

本願に係る決定装置は、算出部と、決定部とを備える。前記算出部は、審査対象となるコンテンツの訴求力の指標を示す訴求指標を算出する。前記決定部は、前記算出部によって算出された前記訴求指標に基づいて前記コンテンツを審査する優先順位を決定する。 The determination device according to the present application includes a calculation unit and a determination unit. The calculation unit calculates an appeal index indicating an index of appealing power of the content to be examined. The determination unit determines the priority for examining the content based on the appeal index calculated by the calculation unit.

実施形態の一態様によれば、審査効率を向上させることができる。 According to one aspect of the embodiment, the examination efficiency can be improved.

図１は、実施形態に係る情報処理の説明図である。FIG. 1 is an explanatory diagram of information processing according to an embodiment. 図２は、実施形態に係る情報処理システムの構成例を示す図である。FIG. 2 is a diagram showing a configuration example of an information processing system according to an embodiment. 図３は、実施形態に係る情報処理装置の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of the information processing apparatus according to the embodiment. 図４は、実施形態に係る広告情報記憶部の一例を示す図である。FIG. 4 is a diagram showing an example of an advertisement information storage unit according to an embodiment. 図５は、実施形態に係る審査モデル記憶部の一例を示す図である。FIG. 5 is a diagram showing an example of the examination model storage unit according to the embodiment. 図６は、実施形態に係る広告配信履歴情報記憶部の一例を示す図である。FIG. 6 is a diagram showing an example of an advertisement distribution history information storage unit according to an embodiment. 図７は、実施形態に係るスコア情報記憶部の一例を示す図である。FIG. 7 is a diagram showing an example of a score information storage unit according to an embodiment. 図８は、実施形態に係る情報処理の手順の一例を示すフローチャートである。FIG. 8 is a flowchart showing an example of the information processing procedure according to the embodiment. 図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 9 is a hardware configuration diagram showing an example of a computer that realizes the functions of the information processing device.

以下に、本願に係る決定装置、決定方法および決定プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る決定装置、決定方法および決定プログラムが限定されるものではない。 Hereinafter, a determination device, a determination method, and an embodiment for implementing the determination program (hereinafter referred to as “embodiment”) according to the present application will be described in detail with reference to the drawings. It should be noted that this embodiment does not limit the determination device, determination method and determination program according to the present application.

〔１．情報処理〕
図１を用いて、本実施形態の情報処理装置等により実現される情報処理を説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す例において、情報処理システム１は、情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０を有する。情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す情報処理システム１は、複数台の情報処理装置１００や、複数台の広告主端末１０や、複数台の審査者端末２０や、複数台のユーザ端末３０が含まれてもよい。また、図１では、本願に係る決定装置が、情報処理装置１００に含まれる場合を例に挙げて説明を行う。 [1. Information processing]
The information processing realized by the information processing apparatus and the like of the present embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of information processing according to an embodiment. In the example shown in FIG. 1, the information processing system 1 includes an information processing device 100, an advertiser terminal 10, an examiner terminal 20, and a user terminal 30. The information processing device 100, the advertiser terminal 10, the examiner terminal 20, and the user terminal 30 are connected to each other via a predetermined communication network (not shown) so as to be communicable by wire or wirelessly. The information processing system 1 shown in FIG. 1 may include a plurality of information processing devices 100, a plurality of advertiser terminals 10, a plurality of examiner terminals 20, and a plurality of user terminals 30. good. Further, in FIG. 1, a case where the determination device according to the present application is included in the information processing device 100 will be described as an example.

図１に示す情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザＵ１が利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。例えば、情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報を広告情報記憶部１２１に格納する。また、情報処理装置１００は、広告主端末１０から受け付けた広告を審査し、審査に関する情報（審査結果）を広告情報記憶部１２１に格納する。また、情報処理装置１００は、ユーザ端末３０に配信した広告の配信期間や、インプレッション数等の情報を収集し、記憶部に格納する。 The information processing device 100 shown in FIG. 1 is a server device that manages advertisements submitted from the advertiser terminal 10 used by the advertiser and provides a distribution service for delivering the advertisement to the user terminal 30 used by the user U1. be. For example, the information processing apparatus 100 stores information about an advertisement received from the advertiser terminal 10 in the advertisement information storage unit 121. Further, the information processing apparatus 100 examines the advertisement received from the advertiser terminal 10 and stores the information (examination result) related to the examination in the advertisement information storage unit 121. Further, the information processing apparatus 100 collects information such as the distribution period of the advertisement delivered to the user terminal 30 and the number of impressions, and stores the information in the storage unit.

なお、図１の例において、広告の審査とは、広告に含まれるテキスト、画像、動画や、広告のリンク先（ランディングページ）等が適切であるか否か（例えば、誇張表現や虚偽の内容の有無、各種法律（薬事法、著作権法、不正表示防止法、など）の規定に違反しているか否か、公序良俗に反しているか否か、など）を審査することを示す。 In the example of FIG. 1, the examination of the advertisement means whether or not the text, image, video, the link destination (landing page) of the advertisement, etc. included in the advertisement are appropriate (for example, exaggerated expression or false content). It indicates whether or not it violates the provisions of various laws (Pharmaceutical Affairs Law, Copyright Law, Fraudulent Labeling Prevention Law, etc.), whether it violates public order and morals, etc.).

図１に示す広告主端末１０は、広告主によって利用される情報処理装置である。例えば、広告主端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。なお、図１に示す例において、広告主端末１０は、広告主によって利用されるノート型ＰＣである場合を示す。 The advertiser terminal 10 shown in FIG. 1 is an information processing device used by an advertiser. For example, the advertiser terminal 10 is a desktop PC (Personal Computer), a notebook PC, a tablet terminal, a mobile phone, a PDA (Personal Digital Assistant), or the like. The advertiser terminal 10 submits an advertisement to the information processing apparatus 100 according to the operation of the advertiser. In the example shown in FIG. 1, the advertiser terminal 10 is a notebook PC used by the advertiser.

図１に示す審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。例えば、審査者端末２０は、デスクトップ型ＰＣや、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ等である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。なお、図１に示す例において、審査者端末２０は、審査者によって利用されるノート型ＰＣである場合を示す。 The examiner terminal 20 shown in FIG. 1 is an information processing device used by an examiner who visually examines an advertisement. For example, the examiner terminal 20 is a desktop PC, a notebook PC, a tablet terminal, a mobile phone, a PDA, or the like. The examiner terminal 20 receives the advertisement information of the advertisement to be examined, and transmits the examination result indicating whether or not the advertisement is appropriate to the information processing apparatus 100 according to the operation of the examiner. In the example shown in FIG. 1, the examiner terminal 20 is a notebook PC used by the examiner.

図１に示すユーザ端末３０は、ユーザＵ１によって利用される情報処理装置である。ユーザ端末３０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、ユーザ端末３０は、情報処理装置１００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、ユーザ端末３０は、情報処理装置１００によって配信される情報の表示処理を実現する制御情報を情報処理装置１００から受け取った場合には、制御情報に従って表示処理を実現する。なお、図１に示す例において、ユーザ端末３０は、ユーザＵ１によって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。 The user terminal 30 shown in FIG. 1 is an information processing device used by the user U1. The user terminal 30 is realized by, for example, a smartphone, a tablet terminal, a notebook PC, a desktop PC, a mobile phone, a PDA, or the like. Further, the user terminal 30 displays the information distributed by the information processing apparatus 100 by a web browser or an application. Further, when the user terminal 30 receives the control information from the information processing apparatus 100 that realizes the display processing of the information distributed by the information processing apparatus 100, the user terminal 30 realizes the display processing according to the control information. In the example shown in FIG. 1, the user terminal 30 is a smart device such as a smartphone or a tablet used by the user U1.

以下、図１を用いて、情報処理装置１００が行う情報処理について説明する。なお、以下の説明において、広告主端末１０から入稿された広告に対して、広告主端末１０から入稿された広告を審査するための審査モデルが、情報処理装置１００の審査モデル記憶部１２２に格納されているものとする。また、以下の説明において、審査者端末２０は、広告の審査基準に関する情報を情報処理装置１００から受け付け、審査者に通知しているものとする。 Hereinafter, the information processing performed by the information processing apparatus 100 will be described with reference to FIG. In the following description, the screening model for screening the advertisement submitted from the advertiser terminal 10 for the advertisement submitted from the advertiser terminal 10 is the screening model storage unit 122 of the information processing apparatus 100. It is assumed that it is stored in. Further, in the following description, it is assumed that the examiner terminal 20 receives information regarding the examination criteria of the advertisement from the information processing apparatus 100 and notifies the examiner.

まず、情報処理装置１００は、広告主Ｃ１が利用する広告主端末１０から配信前の広告の入稿を受け付ける（ステップＳ１１）。例えば、図１の例において、情報処理装置１００は、広告を構成するテキスト情報、画像情報、動画情報や、リンク先に関する情報を含む広告情報を受け付け、広告情報記憶部１２１に格納する。 First, the information processing apparatus 100 accepts the submission of the advertisement before distribution from the advertiser terminal 10 used by the advertiser C1 (step S11). For example, in the example of FIG. 1, the information processing apparatus 100 receives text information, image information, moving image information, and advertisement information including information about a link destination, which constitutes an advertisement, and stores the advertisement information in the advertisement information storage unit 121.

続いて、情報処理装置１００は、ステップＳ１１にて受け付けた審査対象となる広告について、訴求指標を算出する（ステップＳ１２）。ここで、訴求指標とは、広告の訴求力を示す指標である。すなわち、訴求指標が高いほど、訴求力が高いことを示す。 Subsequently, the information processing apparatus 100 calculates an appeal index for the advertisement to be examined received in step S11 (step S12). Here, the appeal index is an index showing the appeal power of the advertisement. That is, the higher the appeal index, the higher the appeal power.

例えば、情報処理装置１００は、審査対象となる広告の入札キーワードや、広告に含まれる入稿キーワード等に基づいて、訴求指標を算出する。ここで、入札キーワードとは、検索サービスにおいて広告主が入札を行ったキーワードを示し、入稿キーワードとは、例えば、広告内に表示されるキーワード（単語）を示す。 For example, the information processing apparatus 100 calculates an appeal index based on a bid keyword of an advertisement to be examined, a submitted keyword included in the advertisement, and the like. Here, the bid keyword indicates a keyword for which the advertiser has made a bid in the search service, and the submitted keyword indicates, for example, a keyword (word) displayed in the advertisement.

情報処理装置１００は、例えば、入札キーワードや、入稿キーワードに対する過去の閲覧実績等に基づいて、訴求指標をスコアとして算出する。ここで、閲覧実績には、インプレッション数、クリック率（ＣＴＲ（Click Through Rate））、コンバージョン率（ＣＶＲ（Conversion Rate））等を含む。 The information processing apparatus 100 calculates an appeal index as a score based on, for example, a bid keyword, a past browsing record for a submitted keyword, and the like. Here, the browsing record includes the number of impressions, the click rate (CTR (Click Through Rate)), the conversion rate (CVR (Conversion Rate)), and the like.

すなわち、情報処理装置１００は、入札キーワードや、入稿キーワードに対するインプレッション数、クリック率（ＣＴＲ（Click Through Rate））、コンバージョン率（ＣＶＲ（Conversion Rate））等に基づいて訴求指標を算出することとなる。 That is, the information processing apparatus 100 calculates the appeal index based on the bid keyword, the number of impressions for the submitted keyword, the click rate (CTR (Click Through Rate)), the conversion rate (CVR (Conversion Rate)), and the like. Become.

続いて、情報処理装置１００は、ステップＳ１２において算出した訴求指標に基づいて、広告を審査する優先順位を決定する（ステップＳ１３）。情報処理装置１００は、例えば、訴求指標が高い広告が優先的に審査されるように、優先順位を決定する。 Subsequently, the information processing apparatus 100 determines the priority for examining the advertisement based on the appeal index calculated in step S12 (step S13). The information processing apparatus 100 determines the priority order so that, for example, an advertisement having a high appeal index is preferentially examined.

換言すれば、訴求指標が高く、配信数が多くなると予測される広告について優先的に審査を行うことになる。 In other words, ads that have a high appeal index and are expected to be delivered in large numbers will be prioritized for screening.

続いて、情報処理装置１００は、ステップＳ１３にて決定した優先順位に基づいて、広告を審査する（ステップＳ１４）。図１の例において、審査モデル記憶部１２２に格納された審査モデルを用いて、広告を審査する場合と、審査者Ｅ１による目視によって審査を行う場合とを示す。 Subsequently, the information processing apparatus 100 examines the advertisement based on the priority determined in step S13 (step S14). In the example of FIG. 1, the case where the advertisement is examined by using the examination model stored in the examination model storage unit 122 and the case where the examination is performed visually by the examiner E1 are shown.

情報処理装置１００は、例えば、優先順位が高い順からランダムに所定数の広告を抽出して審査に回す。特に、目視による審査（以下、目視審査と記載する）については、審査可能な広告数に限りがある。 For example, the information processing apparatus 100 randomly extracts a predetermined number of advertisements in descending order of priority and sends them for examination. In particular, the number of advertisements that can be examined is limited for visual examination (hereinafter referred to as visual examination).

このため、優先順位に基づいて審査を行う広告を抽出することで、審査者Ｅ１による審査に優先順位が高い広告を割り当てることができる。なお、この場合に、情報処理装置１００は、審査に回されなかった広告については、配信前に審査を行わないことにしてもよい。この場合、広告の配信後において、さらにランダムに抽出して、配信後に審査を行うことにしてもよい。 Therefore, by extracting the advertisement to be examined based on the priority, it is possible to assign the advertisement having a high priority to the examination by the examiner E1. In this case, the information processing apparatus 100 may not perform the examination before the distribution of the advertisement that has not been sent to the examination. In this case, after the advertisement is delivered, it may be further randomly extracted and examined after delivery.

続いて、情報処理装置１００は、審査モデルまたは審査者端末２０から広告の審査結果を受け付ける（ステップＳ１５）。例えば、図１の例において、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として受け付け、受け付けた情報を広告に対応付けて広告情報記憶部１２１に格納する。 Subsequently, the information processing apparatus 100 receives the examination result of the advertisement from the examination model or the examiner terminal 20 (step S15). For example, in the example of FIG. 1, the information processing apparatus 100 uses either information indicating that the advertisement is "appropriate" or information indicating that the advertisement is "inappropriate" as information related to visual examination. The received information is associated with the advertisement and stored in the advertisement information storage unit 121.

続いて、情報処理装置１００は、ユーザ端末３０に広告を配信する（ステップＳ１６）。例えば、図１の例において、情報処理装置１００は、ステップＳ１４における審査において「適切」と審査された広告をユーザ端末３０に配信する。そして、情報処理装置１００は、ユーザ端末３０における各広告の表示（インプレッション）の有無や、各広告の配信期間に関する情報（以下、「広告配信履歴情報」と記載する場合がある）をユーザ端末３０から収集し、記憶部に格納する。 Subsequently, the information processing apparatus 100 delivers the advertisement to the user terminal 30 (step S16). For example, in the example of FIG. 1, the information processing apparatus 100 delivers an advertisement judged as “appropriate” in the examination in step S14 to the user terminal 30. Then, the information processing apparatus 100 provides information regarding the presence / absence of display (impression) of each advertisement on the user terminal 30 and the distribution period of each advertisement (hereinafter, may be referred to as "advertisement distribution history information"). Collect from and store in storage.

以上のように、情報処理装置１００は、広告主端末１０から受け付けた広告に対して、訴求指標を算出し、算出した訴求指標に基づいて審査を行う優先順位を決定する。したがって、情報処理装置１００は、審査効率を向上させることができる。 As described above, the information processing apparatus 100 calculates an appeal index for the advertisement received from the advertiser terminal 10, and determines the priority for examining the advertisement based on the calculated appeal index. Therefore, the information processing apparatus 100 can improve the examination efficiency.

〔２．情報処理システムの構成〕
次に、上述した情報処理を実現するための情報処理システム１について図２を用いて説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とを含む。情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す情報処理システム１には、複数台の情報処理装置１００や、複数台の広告主端末１０、複数台の審査者端末２０、複数台のユーザ端末３０が含まれてもよい。 [2. Information processing system configuration]
Next, the information processing system 1 for realizing the above-mentioned information processing will be described with reference to FIG. FIG. 2 is a diagram showing a configuration example of an information processing system according to an embodiment. As shown in FIG. 2, the information processing system 1 according to the embodiment includes an information processing device 100, an advertiser terminal 10, an examiner terminal 20, and a user terminal 30. The information processing device 100, the advertiser terminal 10, the examiner terminal 20, and the user terminal 30 are connected to each other via a network N so as to be able to communicate with each other by wire or wirelessly. The network N is a communication network such as a LAN (Local Area Network), a WAN (Wide Area Network), a telephone network (mobile telephone network, fixed telephone network, etc.), a regional IP (Internet Protocol) network, and the Internet. The network N may include a wired network or may include a wireless network. Further, the information processing system 1 shown in FIG. 2 may include a plurality of information processing devices 100, a plurality of advertiser terminals 10, a plurality of examiner terminals 20, and a plurality of user terminals 30. ..

情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報、並びに、当該広告の審査に関する情報（審査結果）を管理する。また、情報処理装置１００は、ユーザ端末３０における各広告の表示の有無や、各広告の配信期間に関する情報をユーザ端末３０から収集する。情報処理装置１００の構成は後述する。 The information processing device 100 is a server device that manages advertisements submitted from the advertiser terminal 10 used by the advertiser and provides a distribution service for delivering the advertisement to the user terminal 30 used by the user. The information processing apparatus 100 manages information related to the advertisement received from the advertiser terminal 10 and information related to the examination of the advertisement (examination result). Further, the information processing apparatus 100 collects information from the user terminal 30 regarding the presence / absence of display of each advertisement on the user terminal 30 and the delivery period of each advertisement. The configuration of the information processing apparatus 100 will be described later.

広告主端末１０は、広告主によって利用される情報処理装置である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。 The advertiser terminal 10 is an information processing device used by the advertiser. The advertiser terminal 10 submits an advertisement to the information processing apparatus 100 according to the operation of the advertiser.

審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。 The examiner terminal 20 is an information processing device used by an examiner who visually examines an advertisement. The examiner terminal 20 receives the advertisement information of the advertisement to be examined, and transmits the examination result indicating whether or not the advertisement is appropriate to the information processing apparatus 100 according to the operation of the examiner.

ユーザ端末３０は、ユーザによって利用される情報処理装置である。ユーザ端末３０は、情報処理装置１００から配信される各広告の表示に関する情報を情報処理装置１００に送信する。 The user terminal 30 is an information processing device used by the user. The user terminal 30 transmits information regarding the display of each advertisement delivered from the information processing device 100 to the information processing device 100.

〔３．情報処理装置の構成〕
次に、図３を用いて、情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。 [3. Information processing device configuration]
Next, the configuration of the information processing apparatus 100 will be described with reference to FIG. FIG. 3 is a diagram showing a configuration example of the information processing apparatus according to the embodiment. As shown in FIG. 3, the information processing apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130.

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、広告主端末１０、審査者端末２０、ユーザ端末３０等との間で情報の送受信を行う。 (About communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the advertiser terminal 10, the examiner terminal 20, the user terminal 30, and the like.

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、広告情報記憶部１２１と、審査モデル記憶部１２２と、広告配信履歴情報記憶部１２３と、スコア情報記憶部１２４とを有する。 (About the storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 120 includes an advertisement information storage unit 121, an examination model storage unit 122, an advertisement distribution history information storage unit 123, and a score information storage unit 124.

（広告情報記憶部１２１について）
広告情報記憶部１２１は、広告に関する情報を記憶する。ここで、図４を用いて、広告情報記憶部１２１が記憶するクエリに関する情報の一例を説明する。図４は、実施形態に係る広告情報記憶部の一例を示す図である。図４の例では、広告情報記憶部１２１は、「広告ＩＤ」、「広告主ＩＤ」「広告情報」、「第１審査結果」、「第２審査結果」といった項目を有する。 (About the advertisement information storage unit 121)
The advertisement information storage unit 121 stores information related to the advertisement. Here, an example of information regarding a query stored in the advertisement information storage unit 121 will be described with reference to FIG. FIG. 4 is a diagram showing an example of an advertisement information storage unit according to an embodiment. In the example of FIG. 4, the advertisement information storage unit 121 has items such as "advertisement ID", "advertiser ID", "advertisement information", "first examination result", and "second examination result".

「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告主ＩＤ」は、広告主を識別するための識別情報を示す。「広告情報」は、広告主が入稿した広告を示す。なお、図４では、「広告情報」に「広告情報１１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。 The "advertisement ID" indicates identification information for identifying an advertisement. The "advertiser ID" indicates identification information for identifying the advertiser. "Advertisement information" indicates an advertisement submitted by an advertiser. Although FIG. 4 shows an example in which conceptual information such as "advertisement information 11" is stored in "advertisement information", in reality, specific images, videos, link destinations, etc. related to texts and advertisements are shown. Information, or a file path name, URL, etc. indicating the storage location are stored.

「第１審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、審査モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「第２審査結果」は、対応付けられた「広告ＩＤ」が示す広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。 The "first examination result" indicates whether the advertisement indicated by the associated "advertisement ID" is determined to be "appropriate" or "inappropriate" in the examination using the examination model. The "second examination result" indicates whether the advertisement indicated by the associated "advertisement ID" is determined to be "appropriate" or "inappropriate" in the visual examination.

すなわち、図４では、広告ＩＤ「Ａ１１」によって識別される広告は、広告主ＩＤ「Ａ１０１」、広告情報「広告情報１１」が格納され、当該広告が第２審査結果において「適切」と判定されている例を示す。 That is, in FIG. 4, the advertisement identified by the advertisement ID "A11" stores the advertiser ID "A101" and the advertisement information "advertisement information 11", and the advertisement is determined to be "appropriate" in the second examination result. Here is an example.

（審査モデル記憶部１２２について）
審査モデル記憶部１２２は、審査モデルに関する情報を記憶する。ここで、図５を用いて、審査モデル記憶部１２２が記憶する審査モデルに関する情報の一例を説明する。図５は、実施形態に係る審査モデル記憶部の一例を示す図である。図６の例では、審査モデル記憶部１２２は、「モデルＩＤ」、「審査カテゴリ」、「モデル情報」といった項目を有する。 (About the examination model storage unit 122)
The review model storage unit 122 stores information about the review model. Here, an example of information regarding the examination model stored in the examination model storage unit 122 will be described with reference to FIG. FIG. 5 is a diagram showing an example of the examination model storage unit according to the embodiment. In the example of FIG. 6, the examination model storage unit 122 has items such as “model ID”, “examination category”, and “model information”.

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「審査カテゴリ」は、対応付けられた「モデルＩＤ」が示す審査モデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。 The "model ID" indicates identification information for identifying the model. The "examination category" indicates the category of the advertisement to be examined in the examination using the examination model indicated by the associated "model ID". The "model information" indicates information on a model for outputting a score indicating whether or not the advertisement is appropriate.

すなわち、図５では、モデルＩＤ「Ｍ２１」によって識別される審査モデルのモデル情報「モデル情報２１」が格納され、当該審査モデルが「医薬品」に分類される広告の審査に用いられる例を示す。 That is, FIG. 5 shows an example in which the model information “model information 21” of the examination model identified by the model ID “M21” is stored and the examination model is used for the examination of advertisements classified as “pharmaceutical products”.

（広告配信履歴情報記憶部１２３について）
広告配信履歴情報記憶部１２３は、広告主によって入稿された各広告の配信履歴に関する情報を記憶する。ここで、図６を用いて、広告配信履歴情報記憶部１２３が記憶する各広告の配信履歴に関する情報の一例を説明する。図６は、実施形態に係る広告配信履歴情報記憶部１２３の一例を示す図である。図６の例では、広告配信履歴情報記憶部１２３は、「広告ＩＤ」、「配信開始日」、「日付」、「ユーザＩＤ」、「インプレッション数」といった項目を有する。 (About the advertisement distribution history information storage unit 123)
The advertisement distribution history information storage unit 123 stores information regarding the distribution history of each advertisement submitted by the advertiser. Here, with reference to FIG. 6, an example of information regarding the distribution history of each advertisement stored in the advertisement distribution history information storage unit 123 will be described. FIG. 6 is a diagram showing an example of the advertisement distribution history information storage unit 123 according to the embodiment. In the example of FIG. 6, the advertisement distribution history information storage unit 123 has items such as "advertisement ID", "delivery start date", "date", "user ID", and "number of impressions".

「広告ＩＤ」は、広告を識別するための識別情報を示す。「配信開始日」は、対応付けられた「広告ＩＤ」が示す広告の配信が開始された日付を示す。「日付」は、対応付けられた「広告ＩＤ」が示す広告の表示（インプレッション）があった日付を示す。「ユーザＩＤ」は、対応付けられた「広告ＩＤ」が示す広告が表示されたユーザを識別するための識別情報を示す。「インプレッション数」は、対応付けられた「広告ＩＤ」が示す広告の総インプレッション数を示す。 The "advertisement ID" indicates identification information for identifying an advertisement. The "delivery start date" indicates the date on which the delivery of the advertisement indicated by the associated "advertisement ID" is started. The "date" indicates the date on which the advertisement (impression) indicated by the associated "advertisement ID" was displayed. The "user ID" indicates identification information for identifying the user who displayed the advertisement indicated by the associated "advertisement ID". The “number of impressions” indicates the total number of impressions of the advertisement indicated by the associated “advertisement ID”.

すなわち、図６では、広告ＩＤ「Ａ１１」によって識別される広告の配信開始日が「２０ＸＸ／１／１５」であり、当該広告が「２０ＸＸ／２／１」にユーザＩＤ「ユーザＵ１」によって識別されるユーザに表示され、総インプレッション数が「１０００」である例を示す。 That is, in FIG. 6, the delivery start date of the advertisement identified by the advertisement ID “A11” is “20XX / 1/15”, and the advertisement is identified as “20XX / 2/1” by the user ID “User U1”. An example is shown in which the total number of impressions is "1000".

（スコア情報記憶部１２４について）
スコア情報記憶部１２４は、訴求指標を算出するためのスコアに関する情報を記憶する。ここで、図７を用いて、スコア情報記憶部１２４が記憶するスコアに関する情報の一例を説明する。図７は、実施形態に係るスコア情報記憶部１２４の一例を示す図である。図７の例では、スコア情報記憶部１２４は、「キーワード」、「ＣＴＲ」、「ＣＶＲ」、「Ｉｍｐｓ」、「ＮＧ率」といった項目を有する。 (About the score information storage unit 124)
The score information storage unit 124 stores information regarding the score for calculating the appeal index. Here, an example of information regarding the score stored in the score information storage unit 124 will be described with reference to FIG. 7. FIG. 7 is a diagram showing an example of the score information storage unit 124 according to the embodiment. In the example of FIG. 7, the score information storage unit 124 has items such as "keyword", "CTR", "CVR", "Imps", and "NG rate".

「キーワード」は、入札キーワードを示す。ＣＴＲは、対応するキーワードを有する広告のクリック数を示す。ＣＶＲは、対応するキーワードを有する広告を配信した回数に対して、コンバージョン（商品購入や資料請求などの、広告上から獲得できる最終成果）に至った回数の割合を示す。「Ｉｍｐｓ」は、インプレッション数（表示回数）を示す。 "Keyword" indicates a bid keyword. The CTR indicates the number of clicks on the advertisement having the corresponding keyword. CVR indicates the ratio of the number of times that conversion (final result that can be obtained from the advertisement such as product purchase or document request) is reached to the number of times that the advertisement having the corresponding keyword is delivered. "Imps" indicates the number of impressions (number of impressions).

「ＮＧ率」は、対応するキーワードを有する広告において、総審査数における「不適切」と審査された広告数の割合を示す。図７の例において、キーワードごとに、「ＣＴＲ」、「ＣＶＲ」、「Ｉｍｐｓ」、「ＮＧ率」に対して、それぞれ異なる数値が格納される。例えば、「ＣＴＲ」、「ＣＶＲ」および「Ｉｍｐｓ」が示す数値の総和に対して、「ＮＧ率」が示す係数を乗算することで、対応するキーワードのスコアが算出されるものとする。 The "NG rate" indicates the ratio of the number of advertisements judged as "inappropriate" to the total number of reviews in the advertisement having the corresponding keyword. In the example of FIG. 7, different numerical values are stored for "CTR", "CVR", "Imps", and "NG rate" for each keyword. For example, it is assumed that the score of the corresponding keyword is calculated by multiplying the sum of the numerical values indicated by "CTR", "CVR" and "Imps" by the coefficient indicated by "NG rate".

なお、ここでは、「キーワード」が入札キーワードである場合について説明したが、これに限定されるものではない。「キーワード」は、入稿キーワードであってもよい。この場合、入札キーワードおよび入稿キーワードでそれぞれ異なるスコアを対応付けることにしてもよい。 Although the case where the "keyword" is a bid keyword has been described here, the present invention is not limited to this. The "keyword" may be a trafficking keyword. In this case, different scores may be associated with the bid keyword and the submitted keyword.

（制御部１３０について）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部１３０は、図３に示すように、取得部１３１と、算出部１３２と、決定部１３３と、抽出部１３４と、審査部１３５と、配信部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。 (About control unit 130)
The control unit 130 is a controller, and for example, various programs stored in a storage device inside the information processing device 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like have a RAM as a work area. It is realized by executing as. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). As shown in FIG. 3, the control unit 130 according to the embodiment includes an acquisition unit 131, a calculation unit 132, a determination unit 133, an extraction unit 134, an examination unit 135, and a distribution unit 136. Realize or execute the functions and actions of information processing described in.

（取得部１３１について）
取得部１３１は、審査の対象となるコンテンツ（広告）に関する広告情報を取得する。取得部１３１は、通信部１１０を介して、広告主端末１０から配信前の広告に関する広告情報を取得する。取得部１３１は、取得した広告情報を広告情報記憶部１２１へ格納する。なお、取得部１３１は、配信後の広告に関する広告情報を取得することにしてもよい。この場合、情報処理装置１００では、配信後の広告について再度審査を行うことができる。すなわち、取得部１３１は、審査後に広告のリンク先が書き換えられた場合であっても、書き換え後のリンク先を審査に回すことができる。 (About acquisition unit 131)
The acquisition unit 131 acquires advertisement information related to the content (advertisement) to be examined. The acquisition unit 131 acquires advertisement information related to the advertisement before distribution from the advertiser terminal 10 via the communication unit 110. The acquisition unit 131 stores the acquired advertisement information in the advertisement information storage unit 121. The acquisition unit 131 may acquire advertisement information related to the advertisement after distribution. In this case, the information processing apparatus 100 can re-examine the advertisement after distribution. That is, even if the link destination of the advertisement is rewritten after the examination, the acquisition unit 131 can send the rewritten link destination to the examination.

（算出部１３２について）
算出部１３２は、審査対象となるコンテンツ（広告）の訴求力の指標を示す訴求指標を算出する。算出部１３２は、審査対象となる広告の広告情報を広告情報記憶部１２１から取得し、訴求指標を算出する。 (About calculation unit 132)
The calculation unit 132 calculates an appeal index indicating an index of appeal of the content (advertisement) to be examined. The calculation unit 132 acquires the advertisement information of the advertisement to be examined from the advertisement information storage unit 121, and calculates the appeal index.

具体的には、算出部１３２は、例えば、広告情報に含まれる入札キーワードに基づき、スコア情報記憶部１２４を参照し、訴求指標のスコアを算出する。ここで、算出部１３２は、複数の入札キーワードが含まれる場合、複数の入札キーワードそれぞれについてスコアを算出し、かかるスコアの総和を訴求指標として算出する。 Specifically, the calculation unit 132 refers to the score information storage unit 124 based on, for example, the bid keyword included in the advertisement information, and calculates the score of the appeal index. Here, when a plurality of bid keywords are included, the calculation unit 132 calculates a score for each of the plurality of bid keywords, and calculates the sum of the scores as an appeal index.

また、算出部１３２は、入札キーワードに加えて、入札キーワードの入札価格、入稿キーワードに基づいて訴求指標のスコアを算出することにしてもよい。なお、入札価格は、１クリック当たりに広告主が支払う単価を示す。例えば、算出部１３２は、入札金額が高いほど、評価指数を高く算出する。 Further, the calculation unit 132 may calculate the score of the appeal index based on the bid price of the bid keyword and the submitted keyword in addition to the bid keyword. The bid price indicates the unit price paid by the advertiser per click. For example, the calculation unit 132 calculates the evaluation index higher as the bid amount increases.

また、算出部１３２は、広告に起用されたキャラクター（例えば、有名人やスポーツ選手、アニメの登場人物など）に基づいて、評価指数を算出することもできる。この場合、算出部１３２は、広告に起用されたキャラクターのＣＴＲが高いほど、評価指数を高く算出する。また、この場合、算出部１３２は、例えば、ＳＮＳ（Social Networking Service）におけるフォロー数に基づいて訴求指標を算出することにしてもよい。 In addition, the calculation unit 132 can also calculate the evaluation index based on the character appointed in the advertisement (for example, a celebrity, an athlete, a character in an animation, etc.). In this case, the calculation unit 132 calculates the evaluation index higher as the CTR of the character appointed for the advertisement is higher. Further, in this case, the calculation unit 132 may calculate the appeal index based on the number of follow-ups in the SNS (Social Networking Service), for example.

また、算出部１３２は、任意の技術を採用することにより、広告情報に含まれる画像情報や動画情報が有する特徴量を抽出し、抽出した特徴量に基づいて訴求指標を算出することにしてもよい。 Further, the calculation unit 132 may extract the feature amount of the image information and the moving image information included in the advertisement information by adopting an arbitrary technique, and calculate the appeal index based on the extracted feature amount. good.

この場合、例えば、算出部１３２は、画像情報や動画情報をモデルに入力することで、評価指数を示すスコアを得ることができる。ここで言うモデルとは、訴求指標を算出するためのモデルであり、例えば、広告情報のクリック数等を画像情報や動画情報に基づいて算出するモデルである。 In this case, for example, the calculation unit 132 can obtain a score indicating the evaluation index by inputting image information or moving image information into the model. The model referred to here is a model for calculating an appeal index, for example, a model for calculating the number of clicks of advertising information based on image information and video information.

また、算出部１３２は、広告配信履歴情報記憶部１２３に記憶された広告配信情報に基づいて、所定の周期でスコア情報記憶部１２４を更新することも可能である。算出部１３２は、広告配信情報に基づいて、所定の周期で図７に示した「キーワード」ごとに、「ＣＴＲ」、「ＣＶＲ」、「Ｉｍｐｓ」の数値を所定の演算式に基づいて算出する。また、算出部１３２は、図７に示した「ＮＧ率」の数値については、対応するキーワードにおけるＮＧ率を算出し、数値を更新する。 Further, the calculation unit 132 can update the score information storage unit 124 at a predetermined cycle based on the advertisement distribution information stored in the advertisement distribution history information storage unit 123. The calculation unit 132 calculates the numerical values of "CTR", "CVR", and "Imps" for each "keyword" shown in FIG. 7 at a predetermined cycle based on the advertisement distribution information based on a predetermined calculation formula. .. Further, the calculation unit 132 calculates the NG rate for the corresponding keyword for the numerical value of the “NG rate” shown in FIG. 7, and updates the numerical value.

（決定部１３３について）
決定部１３３は、算出部１３２によって算出された訴求指標に基づいてコンテンツ（広告）を審査する優先順位を決定する。具体的には、決定部１３３は、訴求指標が高い広告の優先順位が高くなるように決定する。このとき、決定部１３３は、例えば、訴求指標に基づいて優先順位のクラス分けを行うようにしてもよい。 (About decision unit 133)
The determination unit 133 determines the priority for examining the content (advertisement) based on the appeal index calculated by the calculation unit 132. Specifically, the decision unit 133 determines that the priority of the advertisement having a high appeal index is high. At this time, the determination unit 133 may, for example, classify the priorities based on the appeal index.

例えば、決定部１３３は、訴求指標が第１閾値を超える広告について「第１クラス」、第１閾値未満であり第１閾値よりも低い第２閾値以上である広告について「第２クラス」等、複数のクラスに振り分ける。なお、クラスは、２つであっても、３つ以上であってもよい。 For example, the determination unit 133 may use the "first class" for advertisements whose appeal index exceeds the first threshold value, the "second class" for advertisements that are less than the first threshold value and are equal to or higher than the second threshold value, and the like. Divide into multiple classes. The number of classes may be two or three or more.

そして、決定部１３３は、例えば、クラスに応じたフラグを立てることで、広告情報記憶部１２１を更新する。 Then, the determination unit 133 updates the advertisement information storage unit 121, for example, by setting a flag according to the class.

（抽出部１３４について）
抽出部１３４は、決定部１３３によって決定された優先順位に基づいて審査を行うコンテンツ（広告）を抽出する。例えば、抽出部１３４は、各クラスにおいて、それぞれ設定された数の広告をランダムに抽出し、抽出した広告を審査部１３５による審査（自動審査）または目視審査に回す。 (About the extraction unit 134)
The extraction unit 134 extracts the content (advertisement) to be examined based on the priority determined by the determination unit 133. For example, the extraction unit 134 randomly extracts a set number of advertisements in each class, and sends the extracted advertisements to examination (automatic examination) or visual examination by the examination unit 135.

このとき、抽出部１３４は、例えば、優先順位が高いクラスほど、多くの数の広告を抽出し、優先順位が低いクラスほど、少ない数の広告を抽出する。また、抽出部１３４は、優先順位が高いクラスの広告については、目視審査に回し、優先順位が低いクラスの広告については、自動審査に回すようにしてもよい。 At this time, for example, the extraction unit 134 extracts a larger number of advertisements in a class having a higher priority, and extracts a smaller number of advertisements in a class having a lower priority. Further, the extraction unit 134 may send the advertisement of the high priority class to the visual examination and the advertisement of the low priority class to the automatic examination.

つまり、優先順位が高い広告をなるべく目視審査に回すことで、訴求指標が高い広告ほど、厳密な審査が受けられるようにする。これにより、審査者は、訴求指標が高い広告を優先的に審査することになるので、審査者の時間を有効に活用することができる。 In other words, by sending advertisements with high priority to visual examination as much as possible, advertisements with higher appeal index can be subject to strict examination. As a result, the examiner preferentially examines the advertisement having a high appeal index, so that the examiner's time can be effectively utilized.

なお、抽出部１３４は、抽出した広告を一旦、自動審査に回し、その後、自動審査の審査結果に応じて、目視審査に回す広告を抽出することにしてもよい。言い換えれば、抽出部１３４は、自動審査の審査結果に基づいて、目視審査に回す広告を絞り込むことにしてもよい。 The extraction unit 134 may temporarily send the extracted advertisement to the automatic examination, and then extract the advertisement to be sent to the visual examination according to the examination result of the automatic examination. In other words, the extraction unit 134 may narrow down the advertisements to be sent to the visual examination based on the examination result of the automatic examination.

例えば、抽出部１３４は、自動審査の審査結果が「適切」または「不適切」であるものを除いて、目視審査に回すことにしてもよい。すなわち、抽出部１３４は、自動審査の審査結果が「判別不可」であり、優先順位が高い広告を目視審査に回すことにしてもよい。この場合、さらに絞り込みを行ったうえで、目視審査に回すことができるので、審査効率をさらに向上させることができる。 For example, the extraction unit 134 may be sent to the visual inspection except that the examination result of the automatic examination is “appropriate” or “inappropriate”. That is, the extraction unit 134 may send the advertisement having a high priority to the visual examination because the examination result of the automatic examination is "undecidable". In this case, it is possible to further narrow down the examination and then send it to the visual examination, so that the examination efficiency can be further improved.

（審査部１３５について）
審査部１３５は、抽出部１３４によって抽出された広告情報について審査を行う。審査部１３５は、審査モデルを用いて類似広告または新規広告を審査する。審査部１３５は、抽出部１３４によって抽出された広告の広告情報を審査モデルに入力し、入力した広告情報が有する特徴量に基づいて、類似広告または新規広告が適切であるか否かを示すスコアを出力する。 (About Examination Department 135)
The examination unit 135 examines the advertisement information extracted by the extraction unit 134. The examination unit 135 examines similar advertisements or new advertisements using the examination model. The examination unit 135 inputs the advertisement information of the advertisement extracted by the extraction unit 134 into the examination model, and a score indicating whether or not a similar advertisement or a new advertisement is appropriate based on the feature amount of the input advertisement information. Is output.

審査部１３５は、出力したスコアに基づいて、広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３５は、審査結果が「適切」または「不適切」である場合、「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「第１審査結果」の項目に格納する。 The examination unit 135 classifies the advertisement into one of "appropriate", "inappropriate", and "indistinguishable" examination results based on the output score. Here, when the examination result is "appropriate" or "inappropriate", the examination unit 135 provides information indicating that the examination result is "appropriate" or "inappropriate" to the "first examination result" of the advertisement information storage unit 121. Store in the item.

（配信部１３６について）
配信部１３６は、審査部１３５によるコンテンツ（広告）の審査結果に基づいて、広告をユーザ端末３０に配信する。例えば、配信部１３６は、広告情報記憶部１２１を参照し、第１審査または第２審査のいずれかの審査結果が適切である広告をユーザ端末３０に配信する。そして、配信部１３６は、各広告の配信履歴に関する情報をユーザ端末３０から収集し、広告配信履歴情報記憶部１２３に格納する。 (About distribution unit 136)
The distribution unit 136 distributes the advertisement to the user terminal 30 based on the examination result of the content (advertisement) by the examination unit 135. For example, the distribution unit 136 refers to the advertisement information storage unit 121, and distributes an advertisement to which the examination result of either the first examination or the second examination is appropriate to the user terminal 30. Then, the distribution unit 136 collects information on the distribution history of each advertisement from the user terminal 30 and stores it in the advertisement distribution history information storage unit 123.

〔４．情報処理のフロー〕
ここで、図８を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図８は、実施形態に係る情報処理の手順の一例を示すフローチャートである。 [4. Information processing flow]
Here, the procedure of information processing of the information processing apparatus according to the embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing an example of the information processing procedure according to the embodiment.

図８に示すように、情報処理装置１００は、まず、審査対象となる対象広告の広告情報を取得すると（ステップＳ１０１）、広告情報について訴求指標を算出する（ステップＳ１０２）。 As shown in FIG. 8, when the information processing apparatus 100 first acquires the advertisement information of the target advertisement to be examined (step S101), the information processing apparatus 100 calculates an appeal index for the advertisement information (step S102).

続いて、情報処理装置１００は、訴求指標に基づいて審査を行う優先順位を決定し（ステップＳ１０３）、優先順位に基づいて審査を行う広告を抽出する（ステップＳ１０４）。 Subsequently, the information processing apparatus 100 determines the priority to be examined based on the appeal index (step S103), and extracts the advertisement to be examined based on the priority (step S104).

続いて、情報処理装置１００は、抽出した広告について審査を行い（ステップＳ１０５）、審査結果を更新して（ステップＳ１０６）、処理を終了する。なお、ステップＳ１０５の処理においては、目視審査であることが好ましいが、自動審査であってもよい。 Subsequently, the information processing apparatus 100 examines the extracted advertisement (step S105), updates the examination result (step S106), and ends the process. In the process of step S105, a visual inspection is preferable, but an automatic inspection may be performed.

〔５．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。 [5. Modification example]
The above embodiment shows an example, and various modifications and applications are possible.

〔５－１．コンテンツについて〕
上述の実施形態において、広告を対象として情報処理装置１００の情報処理の例を示した。しかしながら、情報処理装置１００は、広告に限らず、種々のコンテンツを対象として情報処理を行ってもよい。例えば、情報処理装置１００は、広告が表示される配信面を対象として、上述した情報処理を行ってもよい。 [5-1. About content]
In the above-described embodiment, an example of information processing of the information processing apparatus 100 is shown for advertisements. However, the information processing apparatus 100 may perform information processing not only for advertisements but also for various contents. For example, the information processing apparatus 100 may perform the above-mentioned information processing on the distribution surface on which the advertisement is displayed.

〔５－２．目視による審査について〕
上述の実施形態では、情報処理装置１００がモデルを用いて審査された広告に対し、目視による審査を行う例を示した。しかしながら、情報処理装置１００は、目視による審査に限らず、種々の手法を用いてもよい。例えば、情報処理装置１００は、モデルを用いた審査よりも精度が高く、且つ、モデルを用いた審査よりも審査の速度が遅い審査の手法を用いて、広告の審査を行う。 [5-2. Visual examination]
In the above-described embodiment, an example is shown in which the information processing apparatus 100 visually examines an advertisement examined using a model. However, the information processing apparatus 100 is not limited to the visual examination, and various methods may be used. For example, the information processing apparatus 100 examines an advertisement by using an examination method having higher accuracy than examination using a model and slower examination speed than examination using a model.

〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、算出部１３２と、決定部１３３とを備える。算出部１３２は、審査対象となるコンテンツの訴求力の指標を示す訴求指標を算出する。決定部１３３は、算出部１３２によって算出された訴求指標に基づいてコンテンツを審査する優先順位を決定する。 [6. effect〕
As described above, the information processing apparatus 100 according to the embodiment includes a calculation unit 132 and a determination unit 133. The calculation unit 132 calculates an appeal index indicating an index of appealing power of the content to be examined. The determination unit 133 determines the priority for examining the content based on the appeal index calculated by the calculation unit 132.

したがって、実施形態に係る情報処理装置１００は、訴求指標に応じた優先順位でコンテンツを審査することができるので、審査効率を向上させることができる。 Therefore, the information processing apparatus 100 according to the embodiment can examine the contents in the order of priority according to the appeal index, so that the examination efficiency can be improved.

また、実施形態に係る情報処理装置１００において、算出部１３２は、コンテンツに対応付けられた入札キーワードに基づいて訴求指標を算出する。 Further, in the information processing apparatus 100 according to the embodiment, the calculation unit 132 calculates the appeal index based on the bid keyword associated with the content.

したがって、実施形態に係る情報処理装置１００は、訴求指標を適切に算出することができる。 Therefore, the information processing apparatus 100 according to the embodiment can appropriately calculate the appeal index.

また、実施形態に係る情報処理装置１００において、算出部１３２は、入札キーワード毎の閲覧実績に基づいて訴求指標を算出する。 Further, in the information processing apparatus 100 according to the embodiment, the calculation unit 132 calculates the appeal index based on the browsing record for each bid keyword.

したがって、実施形態に係る情報処理装置１００は、閲覧実績が反映された、精度の高い訴求指標を算出することができる。 Therefore, the information processing apparatus 100 according to the embodiment can calculate a highly accurate appeal index that reflects the browsing record.

また、実施形態に係る情報処理装置１００において、入札キーワード毎のコンテンツのクリック率、コンバージョン率、表示回数の少なくとも一つに基づいて訴求指標を算出する。 Further, in the information processing apparatus 100 according to the embodiment, the appeal index is calculated based on at least one of the click rate, the conversion rate, and the number of impressions of the content for each bid keyword.

したがって、実施形態に係る情報処理装置１００は、精度の高い訴求指標を算出することができる。 Therefore, the information processing apparatus 100 according to the embodiment can calculate an appeal index with high accuracy.

また、実施形態に係る情報処理装置１００において、算出部１３２は、入札キーワード毎のコンテンツの審査結果に基づいて訴求指標を算出する。 Further, in the information processing apparatus 100 according to the embodiment, the calculation unit 132 calculates the appeal index based on the examination result of the content for each bid keyword.

したがって、実施形態に係る情報処理装置１００は、審査結果に基づいて優先順位を決定することができるので、例えば、ＮＧ率が高い入札キーワードについて、優先的に審査を行うなど、審査結果に応じて適切な優先順位を決定することができる。 Therefore, the information processing apparatus 100 according to the embodiment can determine the priority order based on the examination result. Therefore, for example, the bid keyword having a high NG rate is preferentially examined, depending on the examination result. Appropriate priorities can be determined.

また、実施形態に係る情報処理装置１００において、コンテンツに含まれる入稿キーワードに基づいて訴求指標を算出する。 Further, in the information processing apparatus 100 according to the embodiment, the appeal index is calculated based on the submitted keyword included in the content.

したがって、実施形態に係る情報処理装置１００は、入稿キーワードに基づいて、適切な訴求指標を算出することができる。 Therefore, the information processing apparatus 100 according to the embodiment can calculate an appropriate appeal index based on the submitted keyword.

また、実施形態に係る情報処理装置１００において、算出部１３２は、コンテンツに掲載されたキャラクターに基づいて訴求指標を算出する。 Further, in the information processing apparatus 100 according to the embodiment, the calculation unit 132 calculates the appeal index based on the character posted in the content.

したがって、実施形態に係る情報処理装置１００は、キャラクターに基づいて、適切な訴求指標を算出することができる。 Therefore, the information processing apparatus 100 according to the embodiment can calculate an appropriate appeal index based on the character.

〔７．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。 [7. Hardware configuration]
Further, the information processing apparatus according to each of the above-described embodiments is realized by, for example, a computer 1000 having a configuration as shown in FIG. Hereinafter, the information processing apparatus 100 will be described as an example. FIG. 9 is a hardware configuration diagram showing an example of a computer that realizes the functions of the information processing device. The computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。 The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each part. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。 The HDD 1400 stores a program executed by the CPU 1100, data used by such a program, and the like. The communication interface 1500 receives data from another device via the communication network 500 (corresponding to the network N of the embodiment) and sends the data to the CPU 1100, and the communication interface 1500 receives data generated by the CPU 1100 via the communication network 500 to another device. Send to the device.

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。 The CPU 1100 controls an output device such as a display or a printer, and an input device such as a keyboard or a mouse via the input / output interface 1600. The CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the data generated via the input / output interface 1600 to the output device.

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The media interface 1700 reads a program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200. The CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、情報処理装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。 For example, when the computer 1000 functions as the information processing apparatus 100, the CPU 1100 of the computer 1000 realizes the function of the control unit 130 by executing the program loaded on the RAM 1200. Further, each data in the storage device of the information processing device 100 is stored in the HDD 1400. The CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them, but as another example, these programs may be acquired from another device via a predetermined communication network.

〔８．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 [8. others〕
Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the invention. It is possible to carry out the present invention in other modified forms.

また、上述した情報処理装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。 Further, the configuration of the above-mentioned information processing apparatus 100 can be flexibly changed, such as by calling an external platform or the like by API (Application Programming Interface), network computing, or the like depending on the function.

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、審査部は、審査手段や審査回路に読み替えることができる。 Further, the "part" described in the claims can be read as "means" or "circuit". For example, the examination department can be read as an examination means or an examination circuit.

１０広告主端末
２０審査者端末
３０ユーザ端末
１００情報処理装置
１１０通信部
１２０記憶部
１２１広告情報記憶部
１２２審査モデル記憶部
１２３広告配信履歴情報記憶部
１２４スコア情報記憶部
１３０制御部
１３１取得部
１３２算出部
１３３決定部
１３４抽出部
１３５審査部
１３６配信部 10 Advertiser terminal 20 Examiner terminal 30 User terminal 100 Information processing device 110 Communication unit 120 Storage unit 121 Advertisement information storage unit 122 Examination model storage unit 123 Advertisement distribution history information storage unit 124 Score information storage unit 130 Control unit 131 Acquisition unit 132 Calculation department 133 Decision department 134 Extraction department 135 Examination department 136 Distribution department

Claims

An acquisition unit that acquires content information related to the content to be examined and stores it in the storage unit,
A calculation unit that calculates an appeal index indicating an index of the appeal power of the content based on the correspondence between the content information acquired by the acquisition unit and a preset score .
A determination unit that determines the rank of priority for examining the content so that the content having a high appeal index calculated by the calculation unit is preferentially examined.
An extraction unit that randomly extracts a preset number of the contents for each rank of the priority determined by the determination unit and sends the extracted contents to the examination.
A determination device characterized by comprising.

The calculation unit
It is characterized in that the appeal index is calculated based on the score regarding at least one of the click rate, the conversion rate, and the number of impressions of the content predicted from the past browsing record for the bid keyword associated with the content. The determination device according to claim 1.

The calculation unit
The determination device according to claim 2, wherein the appeal index is calculated based on the score regarding the examination result of the content for each bid keyword.

The calculation unit
A claim characterized by calculating the appeal index based on the score for at least one of the click rate, conversion rate, and impression count of the content predicted from the past browsing record for the submitted keyword included in the content. The determination device according to any one of Items 1 to 3 .

The calculation unit
The invention according to any one of claims 1 to 4 , wherein the appeal index is calculated based on the score regarding the number of clicks of the content predicted from the number of clicks of the character posted on the content in the past. Determining device.

It ’s a decision method that a computer makes.
The acquisition process of acquiring content information related to the content to be examined and storing it in the storage unit,
A calculation process for calculating an appeal index indicating an index of appealing power of content based on a correspondence relationship between the content information acquired by the acquisition process and a preset score, and a calculation process.
A determination process for determining a priority rank for examining the content so that the content having a high appeal index calculated by the calculation process is preferentially examined .
An extraction step of randomly extracting a preset number of the contents for each rank of the priority determined by the determination step and sending the extracted contents to the examination.
A determination method characterized by including.

The acquisition procedure for acquiring content information related to the content to be examined and storing it in the storage unit,
A calculation procedure for calculating an appeal index indicating an index of appealing power of content based on a correspondence relationship between the content information acquired by the acquisition procedure and a preset score, and a calculation procedure.
A determination procedure for determining a priority rank for examining the content so that the content having a high appeal index calculated by the calculation procedure is preferentially examined, and a determination procedure.
An extraction procedure in which a preset number of the contents are randomly extracted for each rank of the priority determined by the determination procedure, and the extracted contents are sent to the examination.
A decision program characterized by having a computer execute.