JP7018907B2 - 算出装置、算出方法および算出プログラム - Google Patents

Description

本発明は、算出装置、算出方法および算出プログラムに関する。

近年、インターネットなどのネットワークを介した広告配信が盛んに行われている。かかる広告配信を行うにあたり、例えば、ウェブページに掲載する広告であるコンテンツの入稿を広告主から受け付け、受け付けた広告が配信にふさわしい適切なものであるか否かを審査する技術が種々提案されている（例えば特許文献１参照）。

特開２０１６－１７７６００号公報

ところで、例えば、配信後のコンテンツの品質を一定に保つため、配信後のコンテンツに対して審査が行われることがある。かかる審査の際、例えば、コンテンツの品質の良し悪しに応じて、審査対象となるコンテンツの数量や審査頻度などを増減させることで、審査の効率化を図ることが可能になる。そのため、コンテンツの品質を定量的に判定することができる技術が望まれていた。

本願は、上記に鑑みてなされたものであって、コンテンツの品質を定量的に判定することができる算出装置、算出方法および算出プログラムを提供することを目的とする。

本願に係る算出装置は、取得部と、算出部とを備える。取得部は、第１コンテンツに対する審査の過去の実績に基づいて設定される実績情報を取得する。算出部は、前記取得部によって取得された前記実績情報に基づいて、配信後の第２コンテンツに審査基準を満たさないと推定される第３コンテンツが含まれる度合いを示す指標値を算出する。

実施形態の一態様によれば、コンテンツの品質を定量的に判定することができる。

図１は、実施形態に係る情報処理の一例を示す図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示すブロック図である。 図４は、実施形態に係る広告情報記憶部の一例を示す図である。 図５は、実施形態に係る審査モデル記憶部の一例を示す図である。 図６は、実施形態に係る実績情報記憶部の一例を示す図である。 図７は、実施形態に係る情報処理装置における情報処理の流れの一例を示すフローチャートである。 図８は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る算出装置、算出方法および算出プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る算出装置、算出方法および算出プログラムが限定されるものではない。

（実施形態）
〔１．情報処理〕
まず、図１を用いて、本実施形態の情報処理装置等により実現される情報処理を説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す例において、情報処理システム１は、情報処理装置１００、広告主端末１０、審査者端末２０およびユーザ端末３０を有する。情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す情報処理システム１は、複数台の情報処理装置１００や、複数台の広告主端末１０や、複数台の審査者端末２０や、複数台のユーザ端末３０が含まれてもよい。また、図１では、本願に係る算出装置が、情報処理装置１００に含まれる場合を例に挙げて説明を行う。

図１に示す情報処理装置１００は、広告主Ｃ１が利用する広告主端末１０から入稿された広告を管理し、ユーザＵ１が利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。例えば、情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報を広告情報記憶部１２１に格納する。また、情報処理装置１００は、広告主端末１０から受け付けた広告を審査し、審査に関する情報（審査結果）を広告情報記憶部１２１に格納する。また、情報処理装置１００は、ユーザ端末３０に配信した広告の配信期間や、インプレッション数等の情報を収集し、記憶部に格納してもよい。

なお、図１の例において、広告の審査とは、広告に含まれるテキスト、画像、動画や、広告のリンク先（ランディングページ）等が適切であるか否か（例えば、誇張表現や虚偽の内容の有無、各種法律（薬事法、著作権法、不正表示防止法、など）の規定に違反しているか否か、公序良俗に反しているか否か、など）を審査することを示す。また、広告は、コンテンツの一例である。

図１に示す広告主端末１０は、広告主Ｃ１によって利用される情報処理装置である。例えば、広告主端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。広告主端末１０は、広告主Ｃ１の操作に応じて広告を情報処理装置１００に入稿する。なお、図１に示す例において、広告主端末１０は、広告主Ｃ１によって利用されるノート型ＰＣである場合を示す。

図１に示す審査者端末２０は、広告を目視により審査する審査者Ｅ１によって利用される情報処理装置である。例えば、審査者端末２０は、デスクトップ型ＰＣや、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ等である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者Ｅ１の操作に応じて情報処理装置１００に送信する。なお、図１に示す例において、審査者端末２０は、審査者Ｅ１によって利用されるノート型ＰＣである場合を示す。

図１に示すユーザ端末３０は、ユーザＵ１によって利用される情報処理装置である。ユーザ端末３０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、ユーザ端末３０は、情報処理装置１００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、ユーザ端末３０は、情報処理装置１００によって配信される情報の表示処理を実現する制御情報を情報処理装置１００から受け取った場合には、制御情報に従って表示処理を実現する。なお、図１に示す例において、ユーザ端末３０は、ユーザＵ１によって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。

以下、図１を用いて、情報処理装置１００が行う情報処理について説明する。なお、以下の説明において、ユーザ端末３０へ配信されていない広告（以下、「配信前広告」と記載する場合がある）や、ユーザ端末３０へ配信された後の広告（以下、「配信後広告」と記載する場合がある）を審査するための審査モデルが、情報処理装置１００の審査モデル記憶部１２２に格納されているものとする。また、以下の説明において、審査者端末２０は、広告の審査基準に関する情報を情報処理装置１００から受け付け、審査者Ｅ１に通知しているものとする。

まず、情報処理装置１００は、広告主Ｃ１が利用する広告主端末１０から広告（配信前広告）の入稿を受け付ける（ステップＳ１１）。例えば、図１の例において、情報処理装置１００は、広告を構成するテキスト情報、画像情報、動画情報や、リンク先に関する情報を含む広告情報を受け付け、広告情報記憶部１２１に格納する。

続いて、情報処理装置１００は、審査モデルを用いて配信前広告を審査する（ステップＳ１２）。例えば、図１の例において、情報処理装置１００は、ステップＳ１１において受け付けた広告情報を審査モデルに入力し、入力した広告情報が有する特徴量に基づいて、広告情報に対応する広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、広告を審査基準を満たす「適切」（ユーザ端末３０へ配信可能である広告）、審査基準を満たさない「不適切」（ユーザ端末３０へ配信不可能である広告）、「判別不可」（目視により審査されるべき広告）のいずれかの審査結果に分類する。

そして、情報処理装置１００は、広告の審査結果を広告に対応付けて広告情報記憶部１２１に格納する（ステップＳ１３）。例えば、情報処理装置１００は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、モデルを用いた審査に関する情報として、広告に対応付けて広告情報記憶部１２１に格納する。

なお、本実施形態において、情報処理装置１００は、広告情報に含まれるテキスト情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、テキスト情報から特徴量を抽出してもよい。また、情報処理装置１００は、任意の技術を採用することにより、広告情報に含まれる画像情報や動画情報が有する特徴量を抽出してもよい。

ここで、ステップＳ１１において受け付けた広告の審査結果が「判別不可」である場合、情報処理装置１００は、目視による広告の審査を行う（ステップＳ１４）。例えば、図１の例において、情報処理装置１００は、目視の審査対象の広告に対応する広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。

続いて、情報処理装置１００は、審査者端末２０から広告の審査結果を受け付ける（ステップＳ１５）。例えば、図１の例において、情報処理装置１００は、広告が審査基準を満たす「適切」であることを示す情報、または、広告が審査基準を満たさない「不適切」であることを示す情報のいずれかを目視による審査に関する情報として受け付け、受け付けた情報を広告に対応付けて広告情報記憶部１２１に格納する。

続いて、情報処理装置１００は、ユーザ端末３０に広告を配信する（ステップＳ１６）。例えば、図１の例において、情報処理装置１００は、ステップＳ１２における審査またはステップＳ１４における審査において「適切」と判定された広告をユーザ端末３０に配信する。なお、情報処理装置１００は、ユーザ端末３０における各広告の表示（インプレッション）の有無や、各広告の配信期間に関する情報をユーザ端末３０から収集し、記憶部に格納してもよい。

ここで、配信後の広告（コンテンツ）に対して、広告の品質を一定に保つため、言い換えると、広告の品質を確認するため、審査が行われることがある。

なお、配信後の広告に対する審査は、モデルを用いた審査であっても、目視による審査であってもよい。また、配信後に審査対象となる広告は、上記した配信前にモデルや目視による審査を経た広告に限られず、例えば、配信前にモデルや目視による審査を経ていない広告、すなわち審査を受けていない広告であってもよい。

上記した配信後の広告に対する審査の際、例えば、配信された複数の広告の中から審査対象となる広告を所定の数量抜き出して審査したり、所定の審査頻度で審査したりする場合がある。かかる場合、配信後の広告の品質の良し悪しに応じて、審査対象となる広告の数量や審査頻度などを増減させることで、審査の効率化を図ることが可能になる。例えば、配信後の広告の品質が比較的良い場合には審査対象となる広告の数量を減らす一方、品質が比較的悪い場合には審査対象となる広告の数量を増やすなどすることで、配信後の審査を効率良く行うことが可能になる。

そこで、本実施形態に係る情報処理装置１００にあっては、配信後の広告の品質を定量的に判定することができるような構成とし、かかる判定結果に応じて配信後の審査を行うことで、審査の効率化を図るようにした。

詳しく説明すると、情報処理装置１００は、広告に対する審査の過去の実績に基づいて実績情報を予め設定し、設定された実績情報を実績情報記憶部１２３に格納する（ステップＳ１７）。かかる実績情報には、例えば「リスクキーワード」や「リジェクト率」などが含まれる。

実績情報のリスクキーワードやリジェクト率の設定について具体的に説明すると、例えば、情報処理装置１００は、審査の過去の実績に基づき、審査を経た広告に含まれるキーワード、言い換えると、審査を経た広告で使用されているキーワードである「使用キーワード」を抽出する。情報処理装置１００は、抽出された使用キーワードと、使用キーワードが含まれる広告に対する審査結果とに基づき、リスクキーワードやリジェクト率を設定する。

例えば、情報処理装置１００は、抽出された使用キーワードのうち、使用キーワードに対応する広告が審査基準を満たさずに「不適切」であると審査される傾向を有する使用キーワードを「リスクキーワード」として設定する。なお、リスクキーワードは、複数であるが、これに限られず、１つであってもよい。

また、情報処理装置１００は、審査を経た広告からリスクキーワードが含まれる広告を抽出し、抽出された広告のうち審査基準を満たさないと審査された広告が含まれる割合を「リジェクト率」として設定する。すなわち、例えば、リスクキーワードとして「タバコ」が設定されている場合、審査を経た広告から「タバコ」が含まれる広告が抽出され、リジェクト率は、かかる「タバコ」が含まれる広告のうち審査基準を満たさないと審査された広告が含まれる割合である。

そして、リスクキーワードとリジェクト率とは、互いに対応付けられて実績情報として実績情報記憶部１２３に格納される。なお、リスクキーワードは、所定ワードの一例であり、リジェクト率は、所定割合の一例である。

実績情報が上記のようにして予め設定された後、情報処理装置１００は、配信後の広告からサンプルとなる広告（以下、「サンプル広告」と記載する場合がある）を抽出する（ステップＳ１８）。例えば、情報処理装置１００は、配信後の広告から、所定数の広告をサンプル広告としてランダムに抽出する。

次いで、情報処理装置１００は、実績情報に基づいて、配信後の広告に審査基準を満たさないと推定される広告が含まれる度合いを示す指標値を算出する（ステップＳ１９）。かかる指標値は、配信後の広告の品質を判定するための値である。

例えば、情報処理装置１００は、実績情報のリスクキーワードやリジェクト率に基づいて、配信後の広告であるサンプル広告のうちの審査基準を満たさないと推定される広告（以下、「推定不適切広告」と記載する場合がある）の数量を算出する。具体的には、情報処理装置１００は、サンプル広告の中からリスクキーワードが含まれる広告を抽出し、抽出された広告の数量にリスクキーワードと対応するリジェクト率を乗算することで、推定不適切広告の数量を算出する。

続いて、情報処理装置１００は、算出された推定不適切広告の数量とリスクキーワードの数量とに基づいて所定係数を算出する。例えば、情報処理装置１００は、推定不適切広告の数量をリスクキーワードの数量で除算することで、所定係数を算出する。

そして、情報処理装置１００は、算出された所定係数とサンプル広告の数量とに基づいて指標値を算出する。例えば、情報処理装置１００は、サンプル広告の数量に所定係数を乗算することで、配信後の広告に推定不適切広告が含まれる度合いを示す指標値を算出する。

このように、本実施形態に係る情報処理装置１００にあっては、配信後の広告に、審査基準を満たさないと推定される広告（推定不適切広告）が含まれる度合いを示す指標値を算出することで、広告（コンテンツ）の品質を定量的に判定することができる。

例えば、上記した指標値が比較的低い場合、配信後の広告における推定不適切広告が比較的少ないことを意味するため、配信後の広告の品質は比較的良いと判定することができる。他方、指標値が比較的高い場合、配信後の広告における推定不適切広告が比較的多いことを意味するため、配信後の広告の品質は比較的悪いと判定することができる。すなわち、指標値の変動により、配信後の広告の品質の良し悪しを判定することができる。

続いて、情報処理装置１００は、算出された指標値に応じて、配信後の広告の審査を行う（ステップＳ２０）。これにより、本実施形態に係る情報処理装置１００にあっては、配信後の審査を効率良く行うことが可能になる。

すなわち、例えば、情報処理装置１００は、算出された指標値が比較的低く、配信後の広告の品質は比較的良いと判定されるような場合、配信後の広告から審査対象として抜き出す広告の数量を減らすことができる。一方、情報処理装置１００は、算出された指標値が比較的高く、配信後の広告の品質は比較的悪いと判定されるような場合、審査対象として抜き出す広告の数量を増やすことができる。このように、指標値に応じて、審査対象となる広告の数量を増減させることで、審査の効率化を図ることが可能になる。

なお、ここでは、指標値に応じて審査対象となる広告の数量を増減させる場合を例に挙げて説明したが、これに限られず、例えば配信後の広告に対する審査頻度などを増減するようにしてもよい。

〔２．情報処理システムの構成〕
次に、上述した情報処理を実現するための情報処理システム１について図２を用いて説明する。図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とを含む。情報処理装置１００、広告主端末１０、審査者端末２０およびユーザ端末３０は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す情報処理システム１には、複数台の情報処理装置１００や、複数台の広告主端末１０、複数台の審査者端末２０、複数台のユーザ端末３０が含まれてもよい。

情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報、並びに、当該広告の審査に関する情報（審査結果）を管理する。また、情報処理装置１００は、ユーザ端末３０における各広告の表示の有無や、各広告の配信期間に関する情報をユーザ端末３０から収集してもよい。なお、情報処理装置１００の構成は、図３を用いて後述する。

広告主端末１０は、広告主によって利用される情報処理装置である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。

審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。

ユーザ端末３０は、ユーザによって利用される情報処理装置である。ユーザ端末３０は、情報処理装置１００から配信される各広告を表示する表示処理など各種の処理を実行する。

〔３．情報処理装置の構成〕
次に、図３を用いて、情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示すブロック図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。

〔３．１．通信部１１０〕
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、広告主端末１０、審査者端末２０、ユーザ端末３０等との間で情報の送受信を行う。

〔３．２．記憶部１２０〕
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、広告情報記憶部１２１と、審査モデル記憶部１２２と、実績情報記憶部１２３とを備える。

〔３．２．１．広告情報記憶部１２１〕
広告情報記憶部１２１は、広告に関する情報を記憶する。ここで、図４を用いて、広告情報記憶部１２１が記憶する広告に関する情報について説明する。図４は、実施形態に係る広告情報記憶部１２１の一例を示す図である。図４の例では、広告情報記憶部１２１には、「広告ＩＤ」、「広告情報」、「モデル審査結果」、「目視審査結果」および「使用キーワード」などの項目が含まれ、これらの項目は互いに関連付けられている。

「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告情報」は、広告主が入稿した広告を示す。なお、図４では、「広告情報」に「広告情報Ｂ１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。以下、他の情報についても概念的に記載する場合があるが、これについても具体的な情報が格納されるものとする。

「モデル審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「目視審査結果」は、対応付けられた「広告ＩＤ」が示す広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。

「使用キーワード」は、広告に含まれるキーワードを示す、言い換えると、広告で使用されているキーワードを示す。なお、使用キーワードとしては、例えば形態素解析等の自然言語処理技術を行うことによって抽出される特徴語を用いることができるが、これに限定されるものではない。

すなわち、図４では、広告ＩＤ「Ａ１１」によって識別される広告の広告情報「広告情報Ｂ１」が格納され、当該広告がモデルを用いた審査において「適切」と判定され、使用キーワードが「タバコ」等である例を示す。また、図４では、広告ＩＤ「Ａ１２」によって識別される広告の広告情報「広告情報Ｂ２」が格納され、当該広告が目視による審査において「不適切」と判定され、使用キーワードが「タバコ」等である例を示す。このように、広告情報Ｂ１および広告情報Ｂ２において、同じ使用キーワード（ここではタバコ）を含む場合であっても、広告情報Ｂ１は審査基準を満たし、広告情報Ｂ２は審査基準を満たさないと判定されるなど、審査結果が異なることがある。

また、図４では、広告ＩＤ「Ａ１３」によって識別される広告の広告情報「広告情報Ｂ３」が格納され、当該広告が目視による審査において「適切」と判定され、使用キーワードが「バスト」等である例を示す。また、図４では、広告ＩＤ「Ａ１４」によって識別される広告の広告情報「広告情報Ｂ４」が格納され、当該広告がモデルを用いた審査において「不適切」と判定され、使用キーワードが「病名１」等である例を示す。また、図４では、広告ＩＤ「Ａ１５」によって識別される広告の広告情報「広告情報Ｂ５」が格納され、当該広告はモデルや目視による審査を経ていない広告、すなわち審査を受けていない広告であり、使用キーワードが「タバコ」等である例を示す。なお、広告情報Ｂ５は、配信後広告であるが、これに限られず、配信前広告であってもよい。

〔３．２．２．審査モデル記憶部１２２〕
審査モデル記憶部１２２は、審査モデルに関する情報を記憶する。ここで、図５を用いて、審査モデル記憶部１２２が記憶する審査モデルに関する情報について説明する。図５は、実施形態に係る審査モデル記憶部１２２の一例を示す図である。図５の例では、審査モデル記憶部１２２は、「モデルＩＤ」、「カテゴリ」および「モデル情報」などの項目が含まれ、これらの項目は互いに関連付けられている。

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「カテゴリ」は、対応付けられた「モデルＩＤ」が示すモデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。

すなわち、図５では、モデルＩＤ「Ｆ１１」によって識別される審査モデルのモデル情報「モデル情報Ｇ１」が格納され、当該審査モデルが「医薬品」のカテゴリに分類される広告の審査に用いられる例を示す。

〔３．２．３．実績情報記憶部１２３〕
実績情報記憶部１２３は、広告に対する審査の過去の実績に関する情報を記憶する。ここで、図６を用いて、実績情報記憶部１２３が記憶する審査の過去の実績に関する情報について説明する。図６は、実施形態に係る実績情報記憶部１２３の一例を示す図である。図６の例では、実績情報記憶部１２３は、「ワードＩＤ」、「リスクキーワード」および「リジェクト率」などの項目が含まれ、これらの項目は互いに関連付けられている。

「ワードＩＤ」は、リスクキーワードを識別するための識別情報を示す。「リスクキーワード」は、対応付けられた「ワードＩＤ」が示すリスクキーワードを示す。例えば、リスクキーワードは、上記した使用キーワードのうち、使用キーワードに対応する広告が審査基準を満たさずに「不適切」であると審査される傾向を有する使用キーワードが「リスクキーワード」として設定される。

具体的に説明すると、例えば、同じ使用キーワード（図５の例ではタバコ）が含まれる広告（図５の例では広告情報Ｂ１，Ｂ２）には、審査で適切と判定される広告と、不適切と判定される広告とが混在するものがある。リスクキーワードとしては、このような広告に含まれる使用キーワードが設定され、また、対応する広告が審査で不適切と判定される傾向が比較的高い使用キーワードが設定されるが、これに限定されるものではない。

「リジェクト率」は、審査を経た広告からリスクキーワードが含まれる広告を抽出し、抽出された広告のうち、審査基準を満たさない、すなわち不適切と審査された広告が含まれる割合を示す。なお、上記した「審査を経た広告」は、第１コンテンツの一例であり、「リスクキーワードが含まれる広告」は、第４コンテンツの一例であり、「不適切と審査された広告」は、第５コンテンツの一例である。

すなわち、図５では、ワードＩＤ「Ｈ１１」によって識別されるリスクキーワード「タバコ」が格納され、当該リスクキーワードのリジェクト率が「３０％」である例を示す。また、図５では、ワードＩＤ「Ｈ１２」によって識別されるリスクキーワード「バスト」が格納され、当該リスクキーワードのリジェクト率が「２０％」である例を示し、ワードＩＤ「Ｈ１３」によって識別されるリスクキーワード「病名１」が格納され、当該リスクキーワードのリジェクト率が「１５％」である例を示す。このように、複数のリスクキーワードに対してそれぞれリジェクト率が設定される。

〔３．３．制御部１３０〕
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

実施形態に係る制御部１３０は、図３に示すように、審査部１３１と、配信部１３２と、取得部１３３と、抽出部１３４と、算出部１３５と、変更部１３６とを備え、以下に説明する情報処理の機能や作用を実現または実行する。

〔３．３．１．審査部１３１〕
審査部１３１は、広告主が利用する広告主端末１０（図１参照）からコンテンツ（広告）の入稿を受け付け、受け付けた広告に関する情報を広告情報記憶部１２１に格納する。そして、審査部１３１は、広告情報記憶部１２１に格納された広告の審査を行う。例えば、図１の例において、審査部１３１は、審査モデル記憶部１２２に含まれるモデルを用いて配信前広告を審査する。具体的には、図１の例において、審査部１３１は、配信前広告の広告情報をモデルに入力し、入力した広告情報が有する特徴量に基づいて、配信前広告が適切であるか否かを示すスコアを出力する。そして、審査部１３１は、出力したスコアに基づいて、配信前広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３１は、配信前広告の審査結果が「適切」または「不適切」である場合、配信前広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「モデル審査結果」の項目に格納する。

また、審査部１３１は、モデルを用いた審査において、審査結果が「判別不可」である配信前広告に対し、目視による審査を行う。例えば、図１の例において、審査部１３１は、審査結果が「判別不可」である配信前広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、配信前広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報を広告情報記憶部１２１の「目視審査結果」の項目に格納する。

また、審査部１３１は、広告主端末１０から入稿を受け付けた広告や審査を経た広告などから、広告で使用されている使用キーワードを抽出し、抽出された使用キーワードを広告情報記憶部１２１の「使用キーワード」の項目に格納する。

また、審査部１３１は、審査の過去の実績に基づき、実績情報記憶部１２３の実績情報を設定することができる。例えば、審査部１３１は、審査の過去の実績に基づき、上記したリスクキーワードとリジェクト率とを設定し、リスクキーワードおよびリジェクト率を示す情報を、実績情報記憶部１２３の「リスクキーワード」および「リジェクト率」の項目に格納する。

また、審査部１３１は、配信後の広告の品質を一定に保つため、配信後の広告を審査することができる。例えば、審査部１３１は、配信後広告の中から審査対象となる広告を所定の数量抜き出して審査することができる。ここでの審査は、モデルを用いた審査であっても、目視による審査であってもよい。そして、審査部１３１は、配信後広告の審査結果を、広告情報記憶部１２１の「モデル審査結果」や「目視審査結果」の項目に格納する。

また、審査部１３１は、配信後広告に対する審査を、後述する算出部１３５によって算出される指標値に応じて行うようにしてもよい。

例えば、審査部１３１は、算出された指標値が第１所定値未満で比較的低く、配信後広告の品質が比較的良いと判定されるような場合、配信後広告から審査対象として抜き出す広告の数量を、指標値の算出前の数量に比べて減少させて審査することができる。一方、審査部１３１は、算出された指標値が第２所定値以上で比較的高く、配信後広告の品質が比較的悪いと判定されるような場合、審査対象として抜き出す広告の数量を、指標値の算出前の数量に比べて増加させて審査することができる。このように、審査部１３１にあっては、指標値に応じて、審査対象となる広告の数量を増減させることで、配信後広告に対する審査の効率化を図ることが可能になる。

なお、上記した第１所定値と第２所定値とは、同じ値であっても、互いに異なる値であってもよい。また、例えば、第１所定値と第２所定値とが互いに異なる場合、第２所定値は第１所定値より大きい値となるが、これに限られない。

〔３．３．２．配信部１３２〕
配信部１３２は、審査部１３１によるコンテンツ（広告）の審査結果に基づいて、広告をユーザ端末３０に配信する。例えば、図１の例において、配信部１３２は、モデルを用いた審査において「適切」と判定された広告をユーザ端末３０に配信する。また、配信部１３２は、モデルを用いた審査において「判別不可」と判定された広告のうち、目視による広告の審査において「適切」と判定された広告をユーザ端末３０に配信する。

また、配信部１３２は、配信後広告に対する審査において「不適切」と判定された広告の配信を停止してもよい。これにより、「不適切」と判定された広告を配信後広告から排除することができ、よって配信後広告の品質を向上させることができる。

〔３．３．３．取得部１３３〕
取得部１３３は、広告に対する審査の過去の実績に基づいて設定される実績情報を取得する。例えば、取得部１３３は、実績情報記憶部１２３にアクセスして、リスクキーワード（所定ワード）とリジェクト率（所定割合）とを実績情報として取得する。そして、取得部１３３は、取得された実績情報を算出部１３５へ通知する。

〔３．３．４．抽出部１３４〕
抽出部１３４は、配信後の広告からサンプル広告を抽出し、抽出されたサンプル広告を算出部１３５へ通知する。かかるサンプル広告は、後述する指標値の算出処理に用いられる。

例えば、抽出部１３４は、配信後広告から所定数の広告をサンプル広告としてランダムに抽出することができる。なお、上記では、サンプル広告は、ランダムで抽出されるようにしたが、これに限定されるものではなく、例えば、所定の者によって指定された広告や、配信後に所定期間が経過した広告、所定のカテゴリの広告など、その他の基準で抽出されるようにしてもよい。また、上記した所定数は、例えば１０００件であるが、これに限られず、任意の値に設定することができる。また、サンプル広告は、上記したように配信後の広告であり、また第２コンテンツの一例である。

〔３．３．５．算出部１３５〕
算出部１３５は、実績情報に基づいて、配信後広告に審査基準を満たさないと推定される広告（推定不適切広告）が含まれる度合いを示す指標値を算出する。なお、上記した配信後の広告であって審査基準を満たさないと推定される広告、すなわち推定不適切広告は、第３コンテンツの一例である。

このように、本実施形態にあっては、配信後の広告に推定不適切広告が含まれる度合いを示す指標値を算出することで、広告（コンテンツ）の品質を定量的に判定することができる。

詳しくは、算出部１３５は、実績情報に含まれるリスクキーワードとリジェクト率とに基づいて指標値を算出する。これにより、本実施形態にあっては、指標値を精度良く算出することができる。

すなわち、リスクキーワードおよびリジェクト率は、過去の審査の傾向、言い換えると、所定のキーワード（リスクキーワード）が含まれる広告が過去の審査において不適切と判定される傾向を示す情報であり、かかる情報を用いることで、配信後広告に推定不適切広告が含まれる度合いを示す指標値を精度よく算出することができる。

ここで、指標値の算出についてより詳しく説明する。算出部１３５はまず、リスクキーワードとリジェクト率とに基づいて、サンプル広告（第２コンテンツ）のうちの推定不適切広告（第３コンテンツ）の数量を算出する。

具体的には、例えば、算出部１３５は、サンプル広告の中からリスクキーワードが含まれる広告を抽出する。図６に示す実績情報を例にとると、ここでは、例えば１０００件のサンプル広告の中から、リスクキーワード「タバコ」が含まれる広告が１００件、「バスト」が含まれる広告が２００件、「病名１」が含まれる広告が１００件抽出されるものとする。

続いて、算出部１３５は、下記の式１～式３に示すように、サンプル広告から抽出された広告の数量に、リスクキーワードと対応するリジェクト率を乗算することで、推定不適切広告の数量を算出する。
推定不適切広告の数量＝（タバコが含まれる広告）１００件×（リジェクト率）３０％
＝３０件 ・・・（式１）
推定不適切広告の数量＝（バストが含まれる広告）２００件×（リジェクト率）２０％
＝４０件 ・・・（式２）
推定不適切広告の数量＝（病名１が含まれる広告）１００件×（リジェクト率）１５％
＝１５件 ・・・（式３）

このように、算出部１３５は、リスクキーワードごとに推定不適切広告の数量を算出する。なお、推定不適切広告は、例えば、審査で不適切と判定されるべき広告が遺漏して配信されたと推定できることから、上記した推定不適切広告の数量は、遺漏した広告の件数、すなわち遺漏件数であるともいえる。

続いて、算出部１３５は、算出された推定不適切広告（第３コンテンツ）の数量とリスクキーワード（所定ワード）の数量とに基づいて所定係数を算出する。例えば、算出部１３５は、推定不適切広告の数量、正確には推定不適切広告の合計（総数）を求め、推定不適切広告の合計をリスクキーワードの数量で除算することで、所定係数を算出する（式４参照）。
所定係数＝（推定不適切広告の合計）８５件／（リスクキーワードの数量）１００件
＝０．８５ ・・・（式４）

なお、上記した式４の例では、リスクキーワードの数量が１００件であるものとする。かかるリスクキーワードの数量は、例えば、後述する変更部１３６によって変更されることがある。また、式４の例では、理解の便宜のため、タバコ、バストおよび病名１以外のリスクキーワードについては、サンプル広告に含まれておらず、推定不適切広告がなかったものとする。

そして、算出部１３５は、算出された所定係数（ここでは０．８５）とサンプル広告の数量（ここでは１０００件）とに基づいて指標値を算出する。例えば、算出部１３５は、下記の式５に示すように、サンプル広告の数量に所定係数を乗算することで、配信後の広告に推定不適切広告が含まれる度合いを示す指標値を算出する。
指標値＝（サンプル広告の数量）１０００件×（所定係数）０．８５
＝８５０ ・・・（式５）

このように、本実施形態にあっては、リスクキーワードとリジェクト率とに基づいてサンプル広告のうちの推定不適切広告の数量を算出し、算出された推定不適切広告の数量とリスクキーワードの数量とに基づいて所定係数を算出し、算出された所定係数とサンプル広告の数量とを用いることで、指標値をより精度良く算出することができる。

なお、上記したように、所定係数および指標値は、遺漏件数に基づいて算出されることから、所定係数は遺漏係数、指標値は遺漏指標値であるともいえる。

また、算出部１３５は、上記した指標値の算出処理を定期的あるいは不定期に実行するが、これに限定されるものではない。

また、算出部１３５は、算出された指標値を審査部１３１に通知することができる。これにより、審査部１３１において指標値に応じた審査が行われることは、既に述べた通りである。

〔３．３．６．変更部１３６〕
変更部１３６は、実績情報記憶部１２３に格納されるリスクキーワードを変更する。例えば、審査において広告が不適切であると判定されるキーワードの内容や数量は、広告に対する審査の積み重ねや、広告における市場の動向などに応じて変動する。

そこで、変更部１３６は、例えば、審査の積み重ね（審査の実績）によって、対応する広告が不適切であると審査される傾向を有する使用キーワードが新たに検出される場合、かかる使用キーワードを新たなリスクキーワードとして実績情報記憶部１２３に格納し、実績情報記憶部１２３のリスクキーワードを変更する。このとき、変更部１３６は、新たなリスクキーワードに対応するリジェクト率についても実績情報記憶部１２３に格納するものとする。

このように、本実施形態にあっては、リスクキーワードを変更することで、例えばリスクキーワードを現在の審査の傾向に応じたキーワードにすることが可能になり、結果としてリスクキーワードの情報を用いる指標値をより一層精度良く算出することができる。なお、変更部１３６は、実績情報記憶部１２３に格納されるリジェクト率など他の実績情報を変更してもよい。

〔４．情報処理装置１００の処理フロー〕
次に、情報処理装置１００における情報処理の手順について説明する。図７は、実施形態に係る情報処理装置１００における情報処理の流れの一例を示すフローチャートである。

図７に示すように、情報処理装置１００の制御部１３０は、広告主から広告の入稿を受け付ける（ステップＳ１０１）。続いて、制御部１３０は、モデルや目視により広告を審査する（ステップＳ１０２）。

次いで、制御部１３０は、審査結果に応じて広告をユーザに配信する（ステップＳ１０３）。例えば、制御部１３０は、モデルや目視による審査において審査基準を満たす広告を配信する。

次いで、制御部１３０は、審査の過去の実績に基づき、実績情報を設定する（ステップＳ１０４）。例えば、制御部１３０は、審査の過去の実績に基づき、リスクキーワードとリジェクト率とを設定し、実績情報記憶部１２３に格納する。

次いで、制御部１３０は、配信後の広告からサンプル広告を抽出する（ステップＳ１０５）。続いて、制御部１３０は、抽出されたサンプル広告と、実績情報記憶部１２３から取得されるリスクキーワードやリジェクト率を含む実績情報とに基づいて指標値を算出する（ステップＳ１０６）。

そして、制御部１３０は、算出される指標値に応じて配信後広告の審査を行う（ステップＳ１０７）。

〔５．効果〕
情報処理装置１００は、取得部１３３と、算出部１３５とを備える。取得部１３３は、第１コンテンツ（広告）に対する審査の過去の実績に基づいて設定される実績情報を取得する。算出部１３５は、取得部１３３によって取得された実績情報に基づいて、配信後の第２コンテンツ（サンプル広告）に審査基準を満たさないと推定される第３コンテンツ（推定不適切広告）が含まれる度合いを示す指標値を算出する。

これにより、配信後のコンテンツ（広告）の品質を定量的に判定することができる。

取得部１３３は、審査の過去の実績に基づいて設定される、所定ワード（リスクキーワード）と、第１コンテンツ（広告）から抽出され所定ワードが含まれる第４コンテンツ（広告）のうち審査基準を満たさないと審査された第５コンテンツ（広告）が含まれる所定割合（リジェクト率）とを実績情報として取得する。また、算出部１３５は、取得部１３３によって取得された所定ワードと所定割合とに基づいて指標値を算出する。これにより、指標値を精度良く算出することができる。

算出部１３５は、所定ワード（リスクキーワード）と所定割合（リジェクト率）とに基づいて第２コンテンツ（サンプル広告）のうちの第３コンテンツ（広告）の数量を算出し、算出された第３コンテンツの数量と所定ワードの数量とに基づいて所定係数を算出する。そして、算出部１３５は、算出された所定係数と第２コンテンツの数量とに基づいて指標値を算出する。これにより、指標値をより精度良く算出することができる。

また、情報処理装置１００は、変更部１３６を備える。変更部１３６は、所定ワード（リスクキーワード）を変更する。これにより、例えばリスクキーワードを現在の審査の傾向に応じたキーワードにすることが可能になり、結果としてリスクキーワードの情報を用いる指標値をより一層精度良く算出することができる。

また、情報処理装置１００は、審査部１３１を備える。審査部１３１は、算出部１３５によって算出された指標値に応じて、コンテンツ（広告）、詳しくは配信後のコンテンツ（広告）を審査する。これにより、審査部１３１にあっては、指標値に応じて、審査対象となる広告の数量を増減させることが可能となり、結果として配信後広告に対する審査の効率化を図ることが可能になる。

〔６．ハードウェア構成〕
上述した実施形態における情報処理装置１００は、例えば図８に示すような構成のコンピュータ１０００がプログラムを実行することによって実現される。

図８は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１１００、ＲＡＭ（Random Access Memory）１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信部１１０に対応し、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、ネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、当該プログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、図３に示す審査部１３１、配信部１３２、取得部１３３、抽出部１３４、算出部１３５および変更部１３６の各機能を実現する。

コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、ネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔７．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、審査部１３１は、審査手段や審査回路に読み替えることができる。

１ 情報処理システム
１０ 広告主端末
２０ 審査者端末
３０ ユーザ端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 広告情報記憶部
１２２ 審査モデル記憶部
１２３ 実績情報記憶部
１３０ 制御部
１３１ 審査部
１３２ 配信部
１３３ 取得部
１３４ 抽出部
１３５ 算出部
１３６ 変更部

Claims (6)

1. 第１コンテンツに対する審査の過去の実績に基づいて設定される実績情報を取得する取得部と、
   前記取得部によって取得された前記実績情報に基づいて、配信後の第２コンテンツに審査基準を満たさないと推定される第３コンテンツが含まれる度合いを示す指標値を算出する算出部と
   を備え、
   前記取得部は、
   前記審査の過去の実績に基づいて設定される、所定ワードと、前記第１コンテンツから抽出され前記所定ワードが含まれる第４コンテンツのうち審査基準を満たさないと審査された第５コンテンツが含まれる所定割合とを前記実績情報として取得し、
   前記算出部は、
   前記取得部によって取得された前記所定ワードと前記所定割合とに基づいて前記指標値を算出する
   ことを特徴とする算出装置。
2. 前記算出部は、
   前記所定ワードと前記所定割合とに基づいて前記第２コンテンツのうちの前記第３コンテンツの数量を算出し、算出された前記第３コンテンツの数量と前記所定ワードの数量とに基づいて所定係数を算出し、算出された前記所定係数と前記第２コンテンツの数量とに基づいて前記指標値を算出する
   ことを特徴とする請求項１に記載の算出装置。
3. 前記所定ワードを変更する変更部
   をさらに備えることを特徴とする請求項１または２に記載の算出装置。
4. 前記算出部によって算出された前記指標値に応じて、コンテンツを審査する審査部
   をさらに備えることを特徴とする請求項１～３のいずれか一つに記載の算出装置。
5. コンピュータが実行する算出方法であって、
   第１コンテンツに対する審査の過去の実績に基づいて設定される実績情報を取得する取得工程と、
   前記取得工程によって取得された前記実績情報に基づいて、第２コンテンツに審査基準を満たさないと推定される第３コンテンツが含まれる度合いを示す指標値を算出する算出工程と
   を含み、
   前記取得工程は、
   前記審査の過去の実績に基づいて設定される、所定ワードと、前記第１コンテンツから抽出され前記所定ワードが含まれる第４コンテンツのうち審査基準を満たさないと審査された第５コンテンツが含まれる所定割合とを前記実績情報として取得し、
   前記算出工程は、
   前記取得工程によって取得された前記所定ワードと前記所定割合とに基づいて前記指標値を算出する
   ことを特徴とする算出方法。
6. 第１コンテンツに対する審査の過去の実績に基づいて設定される実績情報を取得する取得手順と、
   前記取得手順によって取得された前記実績情報に基づいて、第２コンテンツに審査基準を満たさないと推定される第３コンテンツが含まれる度合いを示す指標値を算出する算出手順と
   をコンピュータに実行させ、
   前記取得手順は、
   前記審査の過去の実績に基づいて設定される、所定ワードと、前記第１コンテンツから抽出され前記所定ワードが含まれる第４コンテンツのうち審査基準を満たさないと審査された第５コンテンツが含まれる所定割合とを前記実績情報として取得し、
   前記算出手順は、
   前記取得手順によって取得された前記所定ワードと前記所定割合とに基づいて前記指標値を算出する
   ことを特徴とする算出プログラム。

Images