JP6907179B2 - 算出装置、算出方法及び算出プログラム - Google Patents

Description

本発明は、算出装置、算出方法及び算出プログラムに関する。

従来、所定の基準に基づいてコンテンツの審査を行う技術が提案されている。例えば、広告主が入稿した広告と、過去の審査の履歴情報とを対比することにより、当該広告が適切であるか否かを審査する技術が提案されている。

特開２０１７−５００２２号公報

しかしながら、上記の従来技術では、コンテンツの審査結果を活用できるとは限らない。例えば、上記の従来技術では、審査の履歴情報に基づいて広告を審査しているに過ぎず、コンテンツの審査結果を活用できるとは限らない。

本願は、上記に鑑みてなされたものであって、コンテンツの審査結果を活用できる算出装置、算出方法及び算出プログラムを提供することを目的とする。

本願に係る算出装置は、第１審査基準に基づく審査を経た第１コンテンツのうち、前記第１審査基準を満たすと判定された第２コンテンツと、前記第１審査基準を満たさないと判定された第３コンテンツとを抽出する抽出部と、前記抽出部が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの前記第１コンテンツに対する割合と、前記抽出部が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの前記第１コンテンツに対する割合とを算出する算出部とを備えたことを特徴とする。

実施形態の一態様によれば、コンテンツの審査結果を活用できるという効果を奏する。

図１は、実施形態に係る情報処理の一例を示す図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係る広告情報記憶部の一例を示す図である。 図５は、実施形態に係る第１モデル記憶部の一例を示す図である。 図６は、実施形態に係る第２モデル記憶部の一例を示す図である。 図７は、実施形態に係る広告配信履歴情報記憶部の一例を示す図である。 図８は、実施形態に係るサンプル広告情報記憶部の一例を示す図である。 図９は、サンプルの抽出処理の一例を示す図である。 図１０は、実施形態に係る情報処理の手順の一例を示すフローチャートである。 図１１は、実施形態に係る情報処理の手順の一例を示すフローチャートである。 図１２は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に本願に係る算出装置、算出方法及び算出プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る算出装置、算出方法及び算出プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．実施形態〕
図１を用いて、本実施形態の情報処理装置等により実現される情報処理を説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す例において、情報処理システム１は、情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０を有する。情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す情報処理システム１は、複数台の情報処理装置１００や、複数台の広告主端末１０や、複数台の審査者端末２０や、複数台のユーザ端末３０が含まれてもよい。また、図１では、本願に係る算出装置が、情報処理装置１００に含まれる場合を例に挙げて説明を行う。

図１に示す情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。例えば、情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報を広告情報記憶部１２１に格納する。また、情報処理装置１００は、広告主端末１０から受け付けた広告を審査し、審査に関する情報（審査結果）を広告情報記憶部１２１に格納する。また、情報処理装置１００は、ユーザ端末３０に配信した広告の配信期間や、インプレッション数等の情報を収集し、記憶部に格納する。

なお、図１の例において、広告の審査とは、広告に含まれるテキスト、画像、動画や、広告のリンク先（ランディングページ）等が適切であるか否か（例えば、誇張表現や虚偽の内容の有無、各種法律（薬事法、著作権法、不正表示防止法、など）の規定に違反しているか否か、公序良俗に反しているか否か、など）を審査することを示す。

図１に示す広告主端末１０は、広告主によって利用される情報処理装置である。例えば、広告主端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。なお、図１に示す例において、広告主端末１０は、広告主によって利用されるノート型ＰＣである場合を示す。

図１に示す審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。例えば、審査者端末２０は、デスクトップ型ＰＣや、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ等である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。なお、図１に示す例において、審査者端末２０は、審査者によって利用されるノート型ＰＣである場合を示す。

図１に示すユーザ端末３０は、ユーザよって利用される情報処理装置である。ユーザ端末３０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、ユーザ端末３０は、情報処理装置１００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、ユーザ端末３０は、情報処理装置１００によって配信される情報の表示処理を実現する制御情報を情報処理装置１００から受け取った場合には、制御情報に従って表示処理を実現する。なお、図１に示す例において、ユーザ端末３０は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。

以下、図１を用いて、情報処理装置１００が行う情報処理について説明する。なお、以下の説明において、ユーザ端末３０へ配信されていない広告（以下、「配信前広告」と記載する場合がある）を審査するためのモデル（以下、「第１モデル」と記載する場合がある）が、情報処理装置１００の第１モデル記憶部１２２に格納されているものとする。また、以下の説明において、ユーザ端末３０へ配信済みの広告（以下、「配信済広告」と記載する場合がある）を審査するためのモデル（以下、「第２モデル」と記載する場合がある）が、情報処理装置１００の第２モデル記憶部１２３に格納されているものとする。また、以下の説明において、第１モデルを用いた広告の審査、並びに、第２モデルを用いた広告の審査は、同一の審査基準により行われるものとする。また、以下の説明において、審査者端末２０は、広告の審査基準に関する情報を情報処理装置１００から受け付け、審査者に通知しているものとする。

まず、情報処理装置１００は、広告主Ｃ１が利用する広告主端末１０から広告（配信前広告）の入稿を受け付ける（ステップＳ１１）。例えば、図１の例において、情報処理装置１００は、広告を構成するテキスト情報、画像情報、動画情報や、リンク先に関する情報を含む広告情報を受け付け、広告情報記憶部１２１に格納する。

続いて、情報処理装置１００は、第１モデルを用いて配信前広告を審査する（ステップＳ１２）。例えば、図１の例において、情報処理装置１００は、ステップＳ１１において受け付けた広告情報を第１モデルに入力し、入力した広告情報が有する特徴量に基づいて、広告情報に対応する広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、広告を「適切」（ユーザ端末３０へ配信可能である広告）、「不適切」（ユーザ端末３０へ配信不可能である広告）、「判別不可」（目視により審査されるべき広告）のいずれかの審査結果に分類する。情報処理装置１００は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、第１モデルを用いた審査に関する情報として、広告に対応付けて広告情報記憶部１２１に格納する。

なお、本実施形態において、情報処理装置１００は、広告情報に含まれるテキスト情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、テキスト情報から特徴量を抽出してもよい。また、情報処理装置１００は、任意の技術を採用することにより、広告情報に含まれる画像情報や動画情報が有する特徴量を抽出してもよい。

ここで、本実施形態において、ステップＳ１１において受け付けた広告の審査結果が「判別不可」であるものとする。この場合、情報処理装置１００は、目視による広告の審査を行う（ステップＳ１３）。例えば、図１の例において、情報処理装置１００は、審査対象の広告に対応する広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。すなわち、情報処理装置１００は、目視による審査の対象である広告に関する情報を、審査者端末２０に送信する。

続いて、情報処理装置１００は、審査者端末２０から広告の審査結果を受け付ける（ステップＳ１４）。例えば、図１の例において、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として受け付け、受け付けた情報を広告に対応付けて広告情報記憶部１２１に格納する。

続いて、情報処理装置１００は、ユーザ端末３０に広告を配信する（ステップＳ１５）。例えば、図１の例において、情報処理装置１００は、ステップＳ１２における審査またはステップＳ１３における審査において「適切」と審査された広告をユーザ端末３０に配信する。そして、情報処理装置１００は、ユーザ端末３０における各広告の表示（インプレッション）の有無や、各広告の配信期間に関する情報（以下、「広告配信履歴情報」と記載する場合がある）をユーザ端末３０から収集し、記憶部に格納する。

続いて、情報処理装置１００は、第２モデルを用いて配信済広告を審査する（ステップＳ１６）。例えば、図１の例において、情報処理装置１００は、ステップＳ１５において配信された広告（配信済広告）に対応する広告情報を第２モデルに入力し、入力した広告情報が有する特徴量に基づいて、広告情報に対応する広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、配信済広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。情報処理装置１００は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、第２モデルを用いた審査に関する情報として、広告に対応付けて広告情報記憶部１２１に格納する。

なお、ステップＳ１７における処理は、配信済広告の審査を行う点を除き、ステップＳ１３と同様の処理であるため、説明を省略する。また、ステップＳ１８における処理は、配信済広告の審査結果を受け付ける点を除き、ステップＳ１４と同様の処理であるため、説明を省略する。

続いて、情報処理装置１００は、サンプルとなる広告を抽出する（ステップＳ１９）。具体的には、情報処理装置１００は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、指標値に期待する信頼度を担保するうえで必要なサンプル数を満たすように所定の期間中に広告を抽出する。ここで、本実施形態において、情報処理装置１００は、所定の期間を複数の期間（以下、「分割期間」と記載する場合がある）に分割し、分割期間ごとに抽出される広告の総数が必要なサンプル数を満たすように、分割期間ごとに抽出する広告のサンプル数を決定する。例えば、図１の例において、必要なサンプル数が「１０００」であり、所定の期間が「１０日」であるものとする。この場合、情報処理装置１００は、分割期間を「１日」とし、１日ごとに抽出するサンプル数を「１００」と決定する。

なお、図１の例において、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて、「適切」と分類（判定）された広告（第１モデルを用いた審査に関する情報または第２モデルを用いた審査に関する情報と対応付けられた広告）に関する情報を広告情報記憶部１２１から１日ごとに１００件抽出し、サンプル広告情報記憶部１２５に格納する。

続いて、情報処理装置１００は、サンプルとして抽出した広告を審査する（ステップＳ２０）。例えば、図１の例において、情報処理装置１００は、サンプルとして抽出した広告に対応する広告情報を１日ごとに審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う（すなわち、情報処理装置１００は、広告に関する情報を、審査者端末２０に送信し、審査者Ｅ１による目視の審査結果を審査者端末２０から受け付ける）。言い換えると、情報処理装置１００は、分割期間ごとに抽出するサンプル数に対応する数の広告の審査を分割期間ごとに行う。そして、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として審査者端末２０から受け付け、受け付けた情報を広告に対応付けてサンプル広告情報記憶部１２５に格納する。

ここで、図１の例において、所定の期間が経過し、サンプルとして抽出した１０００件の広告の審査が完了したものとする。この場合、情報処理装置１００は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する（ステップＳ２１）。例えば、図１の例において、情報処理装置１００は、サンプルとして抽出した広告の総数に対する、ステップＳ２０における審査結果が「不適切」である広告（言い換えると、本来「不適切」と分類（判定）されるべきであるにもかかわらず「適切」と判定され、ユーザ端末３０に配信された広告。以下、「偽陰性広告」と記載する場合がある）の数の割合を指標値として算出する。

続いて、情報処理装置１００は、情報処理装置１００が提供する配信サービスを評価する（ステップＳ２２）。例えば、図１の例において、情報処理装置１００は、偽陰性広告に対応する広告配信履歴情報に基づいて、配信サービスを評価する。例えば、情報処理装置１００は、偽陰性広告の配信期間や、配信期間における偽陰性広告のインプレッション数に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。

続いて、情報処理装置１００は、第１モデル及び第２モデルの学習を行うための学習データを取得する（ステップＳ２３）。例えば、図１の例において、情報処理装置１００は、ステップＳ１３及びステップＳ１７において目視による審査が行われた広告に関する情報を学習データとして取得する。また、情報処理装置１００は、偽陰性広告に関する情報を学習データとして取得する。

なお、情報処理装置１００は、算出した指標値の値や、配信サービスの評価に応じて学習データを取得してもよい。例えば、情報処理装置１００は、サンプルとして抽出した広告の総数に対する偽陰性広告の数の割合が所定の閾値以上である場合や、配信サービスにおける広告配信の品質低下の度合いが所定の閾値以上である場合、偽陰性広告に関する情報や、ステップＳ１３及びステップＳ１７における審査結果が「適切」である広告に関する情報を学習データとして取得する。

続いて、情報処理装置１００は、取得した学習データを用いて、第１モデル及び第２モデルの学習を行う（ステップＳ２４）。ここで、第１モデル及び第２モデルの学習（機械学習）においては、線形回帰、ロジスティック回帰、サポートベクターマシン、決定木、ハザード分析等の種々の手法が利用されてもよい。

なお、上記の実施形態において、情報処理装置１００は、第１モデル及び第２モデルを用いたルールベースの広告の審査を行ってもよい。

また、上記の実施形態において、情報処理装置１００は、偽陰性広告及び偽陽性広告（本来「適切」と判定されるべきであるにもかかわらず「不適切」と判定され、ユーザ端末３０に配信されなかった広告）に基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出してもよい。

例えば、図１の例において、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて、「適切」または「不適切」と判定された広告（言い換えると、目視による審査が行われていない広告。以下、「モデル審査広告」と記載する場合がある）に関する情報を広告情報記憶部１２１から必要なサンプル数を満たすよう抽出する。そして、情報処理装置１００は、サンプルとして抽出したモデル審査広告の目視による審査を行う。ここで、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定され、目視による審査において「不適切」と判定されたモデル審査広告を偽陰性広告として特定する。また、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定され、目視による審査において「適切」と判定されたモデル審査広告を偽陽性広告として特定する。

そして、情報処理装置１００は、サンプルとして抽出したモデル審査広告の総数に対する偽陰性広告の数の割合と、サンプルとして抽出したモデル審査広告の総数に対する偽陽性広告の割合の数の割合とに基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する。

以上のように、実施形態に係る情報処理装置１００は、広告の審査結果を用いて、審査の精度を示す指標値を算出し、広告の配信サービスの評価を行うことができる。また、実施形態に係る情報処理装置１００は、広告の審査結果に応じて、当該広告に関する情報を審査に用いるモデルの学習データとして利用することができる。すなわち、実施形態に係る情報処理装置１００は、コンテンツの審査結果を活用できる。

〔２．情報処理システムの構成〕
次に、上述した情報処理を実現するための情報処理システム１について図２を用いて説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とを含む。情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す情報処理システム１には、複数台の情報処理装置１００や、複数台の広告主端末１０、複数台の審査者端末２０、複数台のユーザ端末３０が含まれてもよい。

情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報、並びに、当該広告の審査に関する情報（審査結果）を管理する。また、情報処理装置１００は、ユーザ端末３０における各広告の表示の有無や、各広告の配信期間に関する情報をユーザ端末３０から収集する。情報処理装置１００の構成は後述する。

広告主端末１０は、広告主によって利用される情報処理装置である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。

審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。

ユーザ端末３０は、ユーザよって利用される情報処理装置である。ユーザ端末３０は、情報処理装置１００から配信される各広告の表示に関する情報を情報処理装置１００に送信する。

〔３．情報処理装置の構成〕
次に、図３を用いて、情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、広告主端末１０、審査者端末２０、ユーザ端末３０等との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、広告情報記憶部１２１と、第１モデル記憶部１２２と、第２モデル記憶部１２３と、広告配信履歴情報記憶部１２４と、サンプル広告情報記憶部１２５とを有する。

（広告情報記憶部１２１について）
広告情報記憶部１２１は、広告に関する情報を記憶する。ここで、図４を用いて、広告情報記憶部１２１が記憶するクエリに関する情報の一例を説明する。図４は、実施形態に係る広告情報記憶部の一例を示す図である。図４の例では、広告情報記憶部１２１は、「広告ＩＤ」、「広告情報」、「広告単価」、「第１モデル審査結果」、「第１目視審査結果」、「第２モデル審査結果」、「第２目視審査結果」といった項目を有する。

「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告情報」は、広告主が入稿した広告を示す。なお、図４では、「広告情報」に「広告情報１１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。

「広告単価」は、広告を配信する対価として、広告主に課金する課金額を示す。「第１モデル審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、第１モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「第１目視審査結果」は、対応付けられた「広告ＩＤ」が示す広告の配信前に、当該広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。

「第２モデル審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、第２モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「第２目視審査結果」は、対応付けられた「広告ＩＤ」が示す広告の配信後に、当該広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。

すなわち、図４では、広告ＩＤ「Ａ１１」によって識別される広告の広告情報「広告情報１１」が格納され、広告単価が「１００」と設定され、当該広告が第１モデルを用いた審査及び第２モデルを用いた審査において「適切」と判定されている例を示す。

（第１モデル記憶部１２２について）
第１モデル記憶部１２２は、第１モデルに関する情報を記憶する。ここで、図５を用いて、第１モデル記憶部１２２が記憶する第１モデルに関する情報の一例を説明する。図５は、実施形態に係る第１モデル記憶部の一例を示す図である。図５の例では、第１モデル記憶部１２２は、「モデルＩＤ」、「カテゴリ」、「モデル情報」といった項目を有する。

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「カテゴリ」は、対応付けられた「モデルＩＤ」が示す第１モデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。

すなわち、図５では、モデルＩＤ「Ｍ１１」によって識別される第１モデルのモデル情報「モデル情報１１」が格納され、当該第１モデルが「医薬品」に分類される広告の審査に用いられる例を示す。

（第２モデル記憶部１２３について）
第２モデル記憶部１２３は、第２モデルに関する情報を記憶する。ここで、図６を用いて、第２モデル記憶部１２３が記憶する第２モデルに関する情報の一例を説明する。図６は、実施形態に係る第２モデル記憶部の一例を示す図である。図６の例では、第２モデル記憶部１２３は、「モデルＩＤ」、「カテゴリ」、「モデル情報」といった項目を有する。

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「カテゴリ」は、対応付けられた「モデルＩＤ」が示す第２モデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。

すなわち、図６では、モデルＩＤ「Ｍ２１」によって識別される第２モデルのモデル情報「モデル情報２１」が格納され、当該第２モデルが「医薬品」に分類される広告の審査に用いられる例を示す。

（広告配信履歴情報記憶部１２４について）
広告配信履歴情報記憶部１２４は、広告主によって入稿された各広告の配信履歴に関する情報を記憶する。ここで、図７を用いて、広告配信履歴情報記憶部１２４が記憶する各広告の配信履歴に関する情報の一例を説明する。図７は、実施形態に係る広告配信履歴情報記憶部の一例を示す図である。図７の例では、広告配信履歴情報記憶部１２４は、「広告ＩＤ」、「配信開始日」、「日付」、「ユーザＩＤ」、「インプレッション数」といった項目を有する。

「広告ＩＤ」は、広告を識別するための識別情報を示す。「配信開始日」は、対応付けられた「広告ＩＤ」が示す広告の配信が開始された日付を示す。「日付」は、対応付けられた「広告ＩＤ」が示す広告の表示（インプレッション）があった日付を示す。「ユーザＩＤ」は、対応付けられた「広告ＩＤ」が示す広告が表示されたユーザを識別するための識別情報を示す。「インプレッション数」は、対応付けられた「広告ＩＤ」が示す広告の総インプレッション数を示す。

すなわち、図７では、広告ＩＤ「Ａ１１」によって識別される広告の配信開始日が「２０ＸＸ／１／１５」であり、当該広告が「２０ＸＸ／２／１」にユーザＩＤ「ユーザＵ１」によって識別されるユーザに表示され、総インプレッション数が「１０００」である例を示す。

（サンプル広告情報記憶部１２５について）
サンプル広告情報記憶部１２５は、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、サンプルとして抽出した広告に関する情報を記憶する。ここで、図８を用いて、サンプル広告情報記憶部１２５が記憶する情報の一例を説明する。図８は、実施形態に係るサンプル広告情報記憶部の一例を示す図である。図８の例では、サンプル広告情報記憶部１２５は、「サンプル数」、「期間」、「対象日」、「広告ＩＤ」、「広告情報」、「広告単価」、「審査結果」といった項目を有する。

「サンプル数」は、指標値に期待する信頼度を担保するうえで必要なサンプル数を示す。「期間」は、サンプルとなる広告を抽出する期間を示す。「対象日」は、サンプルとなる広告を抽出した日付を示す。「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告情報」は、対応付けられた「広告ＩＤ」が示す広告を示す。なお、図８では、「広告情報」に「広告情報１１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。

「広告単価」は、対応付けられた「広告ＩＤ」が示す広告を配信する対価として、広告主に課金する課金額を示す。「審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、サンプルとして抽出された後の再審査において「適切」と判定されたか、「不適切」と判定されたかを示す。

すなわち、図８では、指標値に期待する信頼度を担保するうえで必要なサンプル数「１０００」を「２０ＸＸ／２／１〜２０ＸＸ／２／１０」の期間中に抽出し、対象日「２０ＸＸ／２／１」に広告ＩＤ「Ａ１１」によって識別され、広告情報「広告情報１１」、広告単価「１００」である広告の再審査の結果が「不適切」である例を示す。

（制御部１３０について）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部１３０は、図３に示すように、審査部１３１と、配信部１３２と、抽出部１３３と、算出部１３４と、評価部１３５と、取得部１３６と、学習部１３７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（審査部１３１について）
審査部１３１は、広告主が利用する広告主端末１０からコンテンツ（広告）の入稿を受け付け、受け付けた広告に関する情報を広告情報記憶部１２１に格納する。そして、審査部１３１は、広告情報記憶部１２１に格納された広告の審査を行う。例えば、図１の例において、審査部１３１は、第１モデルを用いて配信前広告を審査する。具体的には、図１の例において、審査部１３１は、配信前広告の広告情報を第１モデルに入力し、入力した広告情報が有する特徴量に基づいて、配信前広告が適切であるか否かを示すスコアを出力する。そして、審査部１３１は、出力したスコアに基づいて、配信前広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３１は、配信前広告の審査結果が「適切」または「不適切」である場合、配信前広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「第１モデル審査結果」の項目に格納する。

また、審査部１３１は、第１モデルを用いた審査において、審査結果が「判別不可」である配信前広告に対し、目視による審査を行う。例えば、図１の例において、審査部１３１は、審査結果が「判別不可」である配信前広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、配信前広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報を広告情報記憶部１２１の「第１目視審査結果」の項目に格納する。

また、審査部１３１は、第２モデルを用いて配信済広告を審査する。例えば、図１の例において、情報処理装置１００は、後述する配信部１３２が配信した広告である配信済広告の広告情報を第２モデルに入力し、入力した広告情報が有する特徴量に基づいて、配信済広告が適切であるか否かを示すスコアを出力する。そして、情報処理装置１００は、出力したスコアに基づいて、配信済広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３１は、広告の審査結果が「適切」または「不適切」である場合、配信済広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「第２モデル審査結果」の項目に格納する。

また、審査部１３１は、第２モデルを用いた審査において、審査結果が「判別不可」である配信済広告に対し、目視による審査を行う。例えば、図１の例において、審査部１３１は、審査結果が「判別不可」である配信済広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、配信済広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報を広告情報記憶部１２１の「第２目視審査結果」の項目に格納する。

また、審査部１３１は、サンプルとして抽出した広告を審査する。例えば、図１の例において、審査部１３１は、サンプル広告情報記憶部１２５に格納された広告の広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。そして、審査部１３１は、審査者端末２０から審査結果を受け付け、サンプルとして抽出した広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報をサンプル広告情報記憶部１２５の「審査結果」の項目に格納する。

（配信部１３２について）
配信部１３２は、審査部１３１によるコンテンツ（広告）の審査結果に基づいて、広告をユーザ端末３０に配信する。例えば、図１の例において、配信部１３２は、第１モデルを用いた審査において「適切」と判定された広告をユーザ端末３０に配信する。また、配信部１３２は、第１モデルを用いた審査において「判別不可」と判定された広告のうち、目視による広告の審査において「適切」と判定された広告をユーザ端末３０に配信する。そして、配信部１３２は、各広告の配信履歴に関する情報をユーザ端末３０から収集し、広告配信履歴情報記憶部１２４に格納する。

（抽出部１３３について）
抽出部１３３は、第１審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。言い換えると、抽出部１３３は、所定の期間内において抽出される第１コンテンツの総数が所定の数を満たすように抽出する。例えば、抽出部１３３は、モデル審査広告から、所定の期間内において抽出される広告（第１コンテンツ）の総数が所定の数を満たすように複数の広告を抽出する。

また、抽出部１３３は、指標値の信頼度に基づいて、所定の数及び所定の期間を決定してもよい。例えば、抽出部１３３は、後述する算出部１３４が第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する際、指標値に期待する信頼度を担保するうえで必要なサンプル数を決定する。そして、抽出部１３３は、決定したサンプル数に応じて、サンプルを抽出する期間を決定する。例えば、抽出部１３３は、サンプルとして抽出する広告の審査（例えば、図１のステップＳ２０における目視による審査）に要する時間に基づいて、サンプルを抽出する期間を決定する。

また、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出されるコンテンツの総数が所定の数を満たすように、分割期間ごとに抽出するコンテンツの数を決定してもよい。言い換えると、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出される第１コンテンツの総数が所定の数を満たすように、分割期間ごとに抽出する第１コンテンツの数を決定してもよい。例えば、図１の例において、抽出部１３３は、所定の期間「１０日」に抽出するサンプルの総数が「１０００」を満たすように、分割期間「１日」ごとに抽出するサンプル数を「１００」と決定する。そして、抽出部１３３は、モデル審査広告に関する情報を広告情報記憶部１２１から１日ごとに１００件抽出し、サンプル広告情報記憶部１２５に格納する。

なお、抽出部１３３は、分割期間において審査が可能な広告の数に基づいて、分割期間ごとに抽出するサンプル数、並びに、サンプルを抽出する期間を決定してもよい。例えば、分割期間「１日」ごとに審査（例えば、図１のステップＳ２０における目視による審査）が可能な広告の数が「１００」であり、必要なサンプル数が「１０００」であるものとする。この場合、抽出部１３３は、分割期間「１日」ごとに抽出するサンプル数を「１００」とし、サンプルを抽出する期間を「１０日」と決定する。

また、抽出部１３３は、所定の期間において配信されるコンテンツを抽出してもよい。例えば、抽出部１３３は、広告配信履歴情報記憶部１２４を参照し、所定の期間においてユーザに表示された広告をサンプルとして抽出し、サンプル広告情報記憶部１２５に格納する。ここで、図９を用いて、サンプルの抽出処理を説明する。図９は、サンプルの抽出処理の一例を示す図である。なお、図１に示す例では、必要なサンプル数が「１０００」であるものとする。

図９に示すように、まず、抽出部１３３は、必要なサンプル数に応じて、分割期間「１日」ごとに取得するサンプル数を「１００」とし、サンプルを取得する期間を「１０日」と決定する。そして、抽出部１３３は、分割期間「１日」ごとに取得するサンプル数に応じて、１時間ごとに取得するサンプル数を「５」と決定する。そして、抽出部１３３は、１時間の間にインプレッションが発生した広告のうち、「５」にバッファを持たせた一定量の広告をサンプルとして抽出する。

また、抽出部１３３は、第１審査基準に基づく審査を経た第１コンテンツのうち、第１審査基準を満たすと判定された第２コンテンツと、第１審査基準を満たさないと判定された第３コンテンツとを抽出してもよい。例えば、抽出部１３３は、モデルを用いた審査を経た第１コンテンツのうち、モデルの審査基準を満たすと判定された第２コンテンツと、当該審査基準を満たさないと判定された第３コンテンツを抽出する。例えば、図１の例において、抽出部１３３は、サンプルとして抽出したモデル審査広告（第１コンテンツ）のうち、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定された広告（第２コンテンツ）を抽出する。そして、抽出部１３３は、第１コンテンツのうち、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定された広告（第３コンテンツ）を抽出する。

また、抽出部１３３は、所定のカテゴリに分類されるコンテンツを抽出してもよい。例えば、抽出部１３３は、モデル審査広告のうち、広告情報等に基づいて所定のカテゴリ（例えば、「医薬品」、「不動産」等）に分類される広告（第１コンテンツ）を抽出する。そして、抽出部１３３は、所定のカテゴリに分類される第１コンテンツから第２コンテンツ及び第３コンテンツを抽出する。

（算出部１３４について）
算出部１３４は、抽出部１３３が抽出したコンテンツに対する第２審査の結果に基づいて、第１審査の精度を示す指標値を算出する。例えば、算出部１３４は、コンテンツに対する目視による審査の結果に基づいて、指標値を算出する。

また、算出部１３４は、抽出部１３３が抽出したコンテンツのうち、第１審査における第１審査基準を満たすと判定されたコンテンツであって、第２審査における第２審査基準を満たさないと判定されたコンテンツの総数に対する割合に基づいて、指標値を算出する。例えば、図１の例において、審査部１３１は、抽出部１３３は、第１モデルまたは第２モデルを用いた審査おいて「適切」と分類された広告を、必要なサンプルの数を満たすように広告情報記憶部１２１から抽出する。そして、算出部１３４は、抽出部１３３が抽出した広告のうち、目視による審査において「不適切」と判定された広告の総サンプル数に対する割合を、第１モデル及び第２モデルを用いた審査の精度を示す指標値として算出する。

なお、算出部１３４は、抽出部１３３が広告配信履歴情報記憶部１２４からサンプルとして抽出した広告の目視による審査結果に基づいて、指標値を算出してもよい。

また、算出部１３４は、抽出部１３３が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの第１コンテンツに対する割合と、抽出部１３３が抽出した第３コンテンツのうち、第２審査基準を満たすと判定された第５コンテンツの第１コンテンツに対する割合とを算出してもよい。すなわち、算出部１３４は、第１コンテンツに対する第４コンテンツの割合と、第１コンテンツに対する第５コンテンツの割合とを算出する。

例えば、図１の例において、算出部１３４は、抽出部１３３がモデル審査広告からサンプルとして抽出した広告（第１コンテンツ）のうち、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定され、目視による審査において「不適切」と判定された広告を偽陰性広告（第４コンテンツ）として特定し、第４コンテンツの第１コンテンツに対する割合を算出する。また、算出部１３４は、第１コンテンツのうち、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定され、目視による審査において「適切」と判定された広告を偽陽性広告（第５コンテンツ）として特定し、第５コンテンツの第１コンテンツに対する割合を算出する。

また、算出部１３４は、第４コンテンツの第１コンテンツの総数に対する割合と、第５コンテンツの第１コンテンツの総数に対する割合とに基づいて、第１審査基準に基づく審査の精度を示す指標値を算出する。例えば、図１の例において、算出部１３４は、サンプルとして抽出したモデル審査広告の総数に対する偽陰性広告の数の割合と、サンプルとして抽出したモデル審査広告の総数に対する偽陽性広告の割合の数の割合とに基づいて、第１モデル及び第２モデルを用いた審査の精度を示す指標値を算出する。

（評価部１３５について）
評価部１３５は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。例えば、評価部１３５は、第４コンテンツの配信に関する情報と、第５コンテンツの配信に関する情報とに基づいて、第４コンテンツ及び第５コンテンツを配信する配信サービスを評価する。例えば、評価部１３５は、偽陰性広告及び偽陽性広告に対応付けられて広告情報記憶部１２１に格納されている情報や、広告配信履歴情報記憶部１２４に格納されている情報に基づいて、情報処理装置１００が提供する配信サービスを評価する。

また、評価部１３５は、一定期間における第４コンテンツのインプレッション数に基づいて、配信サービスを評価してもよい。例えば、評価部１３５は、偽陰性広告に対応付けられて広告配信履歴情報記憶部１２４に格納されている当該偽陰性広告のインプレッション数に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。

また、評価部１３５は、第４コンテンツの配信開始から配信停止までの期間に基づいて、配信サービスを評価してもよい。例えば、評価部１３５は、偽陰性広告に対応付けられて広告配信履歴情報記憶部１２４に格納されている当該偽陰性広告の配信開始日に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。

また、評価部１３５は、第４コンテンツの同一ユーザに対するインプレッション数に基づいて、配信サービスを評価してもよい。例えば、評価部１３５は、偽陰性広告に対応付けられて広告配信履歴情報記憶部１２４に格納されている当該偽陰性広告のユーザＩＤ（偽陰性広告が表示されたユーザに関する情報）に基づいて、配信サービスにおける広告配信の品質低下の度合いを評価する。具体的には、評価部１３５は、同一のユーザに偽陰性広告が表示された回数が多いほど、配信サービスを低く評価する。

また、評価部１３５は、第５コンテンツを配信した場合の売上に関する売上情報と、第５コンテンツが配信されなかった期間とに基づいて、配信サービスを評価してもよい。例えば、配信サービスが、オークション形式で広告を配信する場合、評価部１３５は、偽陽性広告の代替として配信された広告の売上と、偽陽性広告を配信した場合の売上との差分に基づいて、配信サービスにおける売上の機会損失の度合いを評価する。また、配信サービスが非オークション形式である場合、評価部１３５は、偽陽性広告の配信開始後の一定期間の売上に基づいて、配信サービスにおける売上の機会損失の度合いを評価する。

（取得部１３６について）
取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。例えば、取得部１３６は、目視による審査が行われた広告の審査結果及び当該広告に関する情報を学習データとして取得する。

また、取得部１３６は、モデルを用いた審査において、目視により審査されるべきと判定されたコンテンツの目視による審査の結果に関する情報を学習データとして取得してもよい。例えば、取得部１３６は、第１モデルまたは第２モデルを用いた審査において「判別不可」と判定された広告の目視による審査結果及び当該広告に関する情報を学習データとして取得する。

また、取得部１３６は、抽出部１３３が抽出した第２コンテンツのうち、目視による審査の審査基準を満たさないと判定された第４コンテンツに関する情報と、抽出部１３３が抽出した第３コンテンツのうち、目視による審査の審査基準を満たすと判定された第５コンテンツに関する情報とを、学習データとして取得してもよい。例えば、取得部１３６は、偽陰性広告に関する情報及び偽陽性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。

また、取得部１３６は、第１コンテンツに対する第４コンテンツの割合が所定の閾値以上である場合に第４コンテンツに関する情報を学習データとして取得し、第１コンテンツに対する第５コンテンツの割合が所定の閾値以上である場合に第５コンテンツに関する情報を学習データとして取得する。例えば、取得部１３６は、算出部１３４が算出した、サンプルとして抽出した広告（第１コンテンツ）に対する偽陰性広告（第４コンテンツ）割合が所定の閾値以上である場合に偽陰性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。また、取得部１３６は、算出部１３４が算出した第１コンテンツに対する偽陽性広告（第５コンテンツ）割合が所定の閾値以上である場合に偽陽性広告に関する情報を学習データとして広告情報記憶部１２１から取得する。

また、取得部１３６は、コンテンツのカテゴリごとに学習データを取得してもよい。例えば、取得部１３６は、広告情報等に基づいて広告をカテゴリごとに分類し、当該広告に関する情報を対応するカテゴリが設定されているモデルの学習データとして取得する。具体的には、広告がカテゴリ「医薬品」に分類される場合、取得部１３６は、当該広告に関する情報を、カテゴリ「医薬品」に対応付けられて第１モデル記憶部１２２及び第２モデル記憶部１２３に格納されているモデルの学習データとして取得する。

また、取得部１３６は、配信前のコンテンツの目視による審査の結果を第１学習データとして取得し、配信後のコンテンツの目視による審査の結果を第２学習データとして取得してもよい。例えば、取得部１３６は、コンテンツの配信前において、第１モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第１学習データとして取得し、コンテンツの配信後において、第２モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第２学習データとして取得する。

（学習部１３７について）
学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。例えば、学習部１３７は、取得部１３６が取得した目視による審査が行われた広告の審査結果及び当該広告に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。

また、学習部１３７は、学習データに基づいて、カテゴリごとにモデルの学習を行ってもよい。例えば、取得部１３６がカテゴリ「医薬品」に分類される広告に関する情報を取得した場合、学習部１３７は、当該情報に基づいて、カテゴリ「医薬品」に対応付けられて第１モデル記憶部１２２及び第２モデル記憶部１２３に格納されているモデルの学習を行う。

また、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、モデルの学習を行ってもよい。例えば、学習部１３７は、広告の配信前におけるモデルを用いた審査に関する情報、並びに、広告の配信後におけるモデルを用いた審査に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。

また、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、第１モデル及び第２モデルの学習を行ってもよい。例えば、学習部１３７は、第１モデルを用いた審査に関する情報、並びに、第２モデルを用いた審査に関する情報に基づいて、第１モデル及び第２モデルの学習を行う。

〔４．情報処理のフロー〕
ここで、図１０を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図１０は、実施形態に係る情報処理の手順の一例を示すフローチャートである。

図１０に示すように、情報処理装置１００は、広告主から広告の入稿を受け付ける（ステップＳ１０１）。続いて、情報処理装置１００は、第１モデルを用いて広告を審査する（ステップＳ１０２）。続いて、第１モデルを用いた審査において、広告が目視による審査対象と判定した場合（ステップＳ１０３；Ｙｅｓ）、情報処理装置１００は、目視により広告を審査する。そして、情報処理装置１００は、広告が目視による審査の審査基準を満たす場合（ステップＳ１０４；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１０６）。一方、情報処理装置１００は、広告が目視による審査の審査基準を満たさない場合（ステップＳ１０４；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。

また、第１モデルを用いた審査において、広告が目視による審査対象ではないと判定した場合（ステップＳ１０３；Ｎｏ）、情報処理装置１００は、広告が第１モデルの審査基準を満たすか判定する。そして、情報処理装置１００は、広告が第１モデルの審査基準を満たす場合（ステップＳ１０５；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１０６）。一方、情報処理装置１００は、広告が第１モデルの審査基準を満たさない場合（ステップＳ１０５；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。

続いて、情報処理装置１００は、第２モデルを用いて、ユーザに配信した広告を審査する（ステップＳ１０７）。続いて、第２モデルを用いた審査において、広告が目視による審査対象と判定した場合（ステップＳ１０８；Ｙｅｓ）、情報処理装置１００は、目視により広告を審査する。そして、情報処理装置１００は、広告が目視による審査の審査基準を満たす場合（ステップＳ１０９；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１１０）。一方、情報処理装置１００は、広告が目視による審査の審査基準を満たさない場合（ステップＳ１０９；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。

また、第２モデルを用いた審査において、広告が目視による審査対象ではないと判定した場合（ステップＳ１０８；Ｎｏ）、情報処理装置１００は、広告が第２モデルの審査基準を満たすか判定する。そして、情報処理装置１００は、広告が第２モデルの審査基準を満たす場合（ステップＳ１１０；Ｙｅｓ）、広告をユーザに配信する（ステップＳ１１１）。一方、情報処理装置１００は、広告が第２モデルの審査基準を満たさない場合（ステップＳ１１０；Ｎｏ）、当該広告に関する情報を学習データとして取得する（ステップＳ１１２）。

続いて、情報処理装置１００は、ユーザに配信した広告に関する情報を学習データとして取得する（ステップＳ１１２）。続いて、情報処理装置１００は、取得した学習データに基づいて第１モデル及び第２モデルの学習を行い（ステップＳ１１３）、処理を終了する。

次に、図１１を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図１１は、実施形態に係る情報処理の手順の一例を示すフローチャートである。

図１１に示すように、情報処理装置１００は、モデルを用いた審査の精度を示す指標値に期待する信頼度に基づいて、サンプルとして抽出する広告の数（サンプル数）、並びに、広告を抽出する期間を決定する（ステップＳ２０１）。続いて、情報処理装置１００は、モデルの審査基準を満たすと判定された広告、並びに、モデルの審査基準を満たさないと判定された広告を、決定した期間中にサンプル数を満たすように抽出する（ステップＳ２０２）。続いて、情報処理装置１００は、抽出した広告を審査する（ステップＳ２０３）。例えば、情報処理装置１００は、抽出した広告に対し、目視による審査を行う。

続いて、情報処理装置１００は、指標値を算出する（ステップＳ２０４）。例えば、情報処理装置１００は、モデルの審査基準を満たすと判定された広告のうち、目視による審査基準を満たさない広告（偽陰性広告）のサンプル数に対する割合を算出する。また、情報処理装置１００は、モデルの審査基準を満さないと判定された広告のうち、目視による審査基準を満たす広告（偽陽性広告）のサンプル数に対する割合を算出する。そして、情報処理装置１００は、算出した割合に基づいて、指標値を算出する。

続いて、情報処理装置１００は、広告配信サービスを評価する（ステップＳ２０５）。例えば、情報処理装置１００は、偽陰性広告及び偽陽性広告の配信に関する情報に基づいて、広告配信サービスを評価する。

続いて、情報処理装置１００は、学習データを取得する（ステップＳ２０６）。例えば、情報処理装置１００は、偽陰性広告に関する情報、並びに、偽陽性広告に関する情報を学習データとして取得する。続いて、情報処理装置１００は、学習データを用いてモデルの学習を行い（ステップＳ２０７）、処理を終了する。

〔５．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

〔５−１．コンテンツについて〕
上述の実施形態において、広告を対象として情報処理装置１００の情報処理の例を示した。しかしながら、情報処理装置１００は、広告に限らず、種々のコンテンツを対象として情報処理を行ってもよい。例えば、情報処理装置１００は、広告が表示される配信面を対象として、上述した情報処理を行ってもよい。

〔５−２．目視による審査について〕
上述の実施形態では、情報処理装置１００がモデルを用いて審査された広告に対し、目視による審査を行う例を示した。しかしながら、情報処理装置１００は、目視による審査に限らず、種々の手法を用いてもよい。例えば、情報処理装置１００は、モデルを用いた審査よりも精度が高く、且つ、モデルを用いた審査よりも審査の速度が遅い審査の手法を用いて、広告の審査を行う。

〔５−３．偽陽性広告について〕
上述した図１の実施形態では、情報処理装置１００が、第１モデルまたは第２モデルを用いた審査おいて「適切」と判定された広告をサンプルとして抽出し、偽陰性広告の割合を指標値として算出する例を示した。情報処理装置１００は、偽陽性広告の割合を指標値として算出してもよい。例えば、情報処理装置１００は、第１モデルまたは第２モデルを用いた審査おいて「不適切」と判定された広告を必要なサンプル数を満たすように抽出する。そして、情報処理装置１００は、抽出したサンプルのうち、目視による審査において「適切」と判定された広告の総サンプル数に対する割合を指標値として算出する。

〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、審査部１３１と、配信部１３２と、抽出部１３３と、算出部１３４と、評価部１３５と、取得部１３６と、学習部１３７とを有する。審査部１３１は、コンテンツの審査を行う。配信部１３２は、審査部１３１によるコンテンツの審査結果に基づいて、コンテンツをユーザに配信する。抽出部１３３は、第１審査を経たコンテンツから、所定の期間内において抽出されるコンテンツの総数が所定の数を満たすように複数のコンテンツを抽出する。算出部１３４は、抽出部１３３が抽出したコンテンツに対する第２審査の結果に基づいて、第１審査の精度を示す指標値を算出する。評価部１３５は、コンテンツの配信に関する情報に基づいて、コンテンツを配信する配信サービスを評価する。取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。

これにより、実施形態に係る情報処理装置１００は、コンテンツの審査結果を用いて、審査の精度を示す指標値の算出、配信サービスの評価、並びに、モデルの学習を行うことができるため、コンテンツの審査結果を活用できる。

また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、抽出部１３３が抽出したコンテンツのうち、第１審査における第１審査基準を満たすと判定されたコンテンツであって、第２審査における第２審査基準を満たさないと判定されたコンテンツの総数に対する割合に基づいて、指標値を算出する。

これにより、実施形態に係る情報処理装置１００は、コンテンツの審査結果を用いて、審査の精度を示す指標値を算出することができるため、コンテンツの審査結果を活用できる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、指標値の信頼度に基づいて、所定の数及び所定の期間を決定する。

これにより、実施形態に係る情報処理装置１００は、期待する指標値の信頼度に応じてサンプルを抽出する期間及びサンプル数を決定できるため、利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出されるコンテンツの総数が所定の数を満たすように、分割期間ごとに抽出するコンテンツの数を決定する。

これにより、実施形態に係る情報処理装置１００は、コンテンツの抽出処理を複数に分けて行うことができるため、処理の負担を軽減できる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間において配信されるコンテンツを抽出する。

これにより、実施形態に係る情報処理装置１００は、配信されたコンテンツを抽出するため、本来配信されるべきでなかったコンテンツに基づいて指標値を算出することができる。

また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、コンテンツに対する目視による審査の結果に基づいて、指標値を算出する。

これにより、実施形態に係る情報処理装置１００は、目視による審査の結果用いることにより、信頼度の高い指標値を算出することができる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定のカテゴリに分類されるコンテンツを抽出する。

これにより、実施形態に係る情報処理装置１００は、コンテンツのカテゴリごとに指標値を算出できるため、利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、第１審査基準に基づく審査を経た第１コンテンツのうち、第１審査基準を満たすと判定された第２コンテンツと、第１審査基準を満たさないと判定された第３コンテンツとを抽出する。そして、算出部１３４は、抽出部１３３が抽出した第２コンテンツのうち、第２審査基準を満たさないと判定された第４コンテンツの第１コンテンツに対する割合と、抽出部１３３が抽出した第３コンテンツのうち、第２審査基準を満たすと判定された第５コンテンツの第１コンテンツに対する割合とを算出する。

これにより、実施形態に係る情報処理装置１００は、第１審査基準を満たし、第２審査基準を満たさない第４コンテンツの割合と、第１審査基準を満たさず、第２審査基準を満たさす第５コンテンツの割合を把握できる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定のカテゴリに分類される第１コンテンツから第２コンテンツ及び第３コンテンツを抽出する。

これにより、実施形態に係る情報処理装置１００は、コンテンツのカテゴリごとに第４コンテンツの割合及び第５コンテンツの割合を算出できるため、利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間内において抽出される前記第１コンテンツの総数が所定の数を満たすように抽出する。そして、算出部１３４は、第４コンテンツの第１コンテンツの総数に対する割合と、第５コンテンツの第１コンテンツの総数に対する割合とに基づいて、第１審査基準に基づく審査の精度を示す指標値を算出する。

これにより、実施形態に係る情報処理装置１００は、指標値に期待する信頼度に応じて第１コンテンツを抽出する数を決定できるため、利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、所定の期間を分割した複数の分割期間ごとに抽出される第１コンテンツの総数が所定の数を満たすように、分割期間ごとに抽出する前記第１コンテンツの数を決定する。

これにより、実施形態に係る情報処理装置１００は、コンテンツの抽出処理を複数に分けて行うことができるため、処理の負担を軽減できる。

また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第４コンテンツの配信に関する情報と、第５コンテンツの配信に関する情報とに基づいて、第４コンテンツ及び第５コンテンツを配信する配信サービスを評価する。

これにより、実施形態に係る情報処理装置１００は、配信に関する情報に基づいて配信サービスを評価するため、適切な評価をすることができる。

また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、一定期間における第４コンテンツのインプレッション数に基づいて、配信サービスを評価する。

これにより、実施形態に係る情報処理装置１００は、インプレッション数に基づいて配信サービスを評価するため、配信サービスの品質の度合いを評価することができる。

また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第４コンテンツの配信開始から配信停止までの期間に基づいて、配信サービスを評価する。

これにより、実施形態に係る情報処理装置１００は、配信期間に基づいて配信サービスを評価するため、配信サービスの品質の度合いを評価することができる。

また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第４コンテンツの同一ユーザに対するインプレッション数に基づいて、配信サービスを評価する。

これにより、実施形態に係る情報処理装置１００は、配信先のユーザに基づいて配信サービスを評価するため、配信サービスの品質の度合いを評価することができる。

また、実施形態に係る情報処理装置１００において、例えば、評価部１３５は、第５コンテンツを配信した場合の売上に関する売上情報と、第５コンテンツが配信されなかった期間とに基づいて、配信サービスを評価する。

これにより、実施形態に係る情報処理装置１００は、売上情報に基づいて配信サービスを評価するため、配信サービスの機会損失の度合いを評価することができる。

また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得する。そして、学習部１３７は、取得部１３６が取得した学習データに基づいてモデルの学習を行う。

これにより、実施形態に係る情報処理装置１００は、目視による審査結果に基づいてモデルの学習を行うことができるため、モデルの精度を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、モデルを用いた審査において、目視により審査されるべきと判定されたコンテンツの目視による審査の結果に関する情報を学習データとして取得する。

これにより、実施形態に係る情報処理装置１００は、モデルによって審査できなかったコンテンツの目視による審査結果をモデルの学習に用いることができるため、モデルの精度を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、抽出部１３３は、モデルを用いた審査を経た第１コンテンツのうち、モデルの審査基準を満たすと判定された第２コンテンツと、当該審査基準を満たさないと判定された第３コンテンツを抽出する。そして、取得部１３６は、抽出部１３３が抽出した第２コンテンツのうち、目視による審査の審査基準を満たさないと判定された第４コンテンツに関する情報と、抽出部１３３が抽出した第３コンテンツのうち、目視による審査の審査基準を満たすと判定された第５コンテンツに関する情報とを、学習データとして取得する。

これにより、実施形態に係る情報処理装置１００は、モデルによって誤った判定がされたコンテンツに関する情報に基づいてモデルの学習を行うことができるため、モデルの精度を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、算出部１３４は、第１コンテンツに対する第４コンテンツの割合と、第１コンテンツに対する第５コンテンツの割合とを算出する。そして、取得部１３６は、第１コンテンツに対する第４コンテンツの割合が所定の閾値以上である場合に第４コンテンツに関する情報を学習データとして取得し、第１コンテンツに対する第５コンテンツの割合が所定の閾値以上である場合に第５コンテンツに関する情報を学習データとして取得する。

これにより、実施形態に係る情報処理装置１００は、モデルを用いた審査の精度に応じてモデルの学習を行うことができるため、利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、コンテンツのカテゴリごとに学習データを取得する。そして、学習部１３７は、学習データに基づいて、カテゴリごとにモデルの学習を行う。

これにより、実施形態に係る情報処理装置１００は、カテゴリに応じてモデルの学習を行うことができるため、利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、配信前のコンテンツの目視による審査の結果を第１学習データとして取得し、配信後のコンテンツの目視による審査の結果を第２学習データとして取得する。そして、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、モデルの学習を行う。

これにより、実施形態に係る情報処理装置１００は、配信前のコンテンツ及び配信前のコンテンツに関する情報に基づいてモデルの学習を行うことができるため、モデルの精度を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、取得部１３６は、コンテンツの配信前において、第１モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第１学習データとして取得し、コンテンツの配信後において、第２モデルを用いたコンテンツの審査の後に行われる審査であって、当該コンテンツの目視による審査の結果を第２学習データとして取得する。そして、学習部１３７は、取得部１３６が取得した第１学習データ及び第２学習データに基づいて、第１モデル及び第２モデルの学習を行う。

これにより、実施形態に係る情報処理装置１００は、配信前のコンテンツの審査に用いられるモデル、並びに、配信後のコンテンツの審査に用いられるモデルの学習を行うことができるため、コンテンツの審査の精度を向上させることができる。

〔７．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図１２は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、情報処理装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔８．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した情報処理装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、審査部は、審査手段や審査回路に読み替えることができる。

１０ 広告主端末
２０ 審査者端末
３０ ユーザ端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 広告情報記憶部
１２２ 第１モデル記憶部
１２３ 第２モデル記憶部
１２４ 広告配信履歴情報記憶部
１２５ サンプル広告情報記憶部
１３０ 制御部
１３１ 審査部
１３２ 配信部
１３３ 抽出部
１３４ 算出部
１３５ 評価部
１３６ 取得部
１３７ 学習部

Claims (11)

1. 配信前のコンテンツについて配信対象とするか否かを判定する第１審査における基準である第１審査基準に基づく審査を経た第１コンテンツのうち、前記第１審査基準を満たすと判定された第２コンテンツと、前記第１審査基準を満たさないと判定された第３コンテンツとを抽出する抽出部と、
   前記抽出部が抽出した第２コンテンツのうち、配信済みのコンテンツに対して配信対象とするか否かを判定する第２審査における基準である第２審査基準を満たさないと判定された第４コンテンツの数の前記第１コンテンツの数に対する割合と、前記抽出部が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの数の前記第１コンテンツの数に対する割合とを算出する算出部と
   を備えたことを特徴とする算出装置。
2. 前記抽出部は、
   所定のカテゴリに分類される前記第１コンテンツから前記第２コンテンツ及び前記第３コンテンツを抽出する
   ことを特徴とする請求項１に記載の算出装置。
3. 前記抽出部は、
   所定の期間内において抽出される前記第１コンテンツの総数が所定の数を満たすように抽出し、
   前記算出部は、
   前記第４コンテンツの前記第１コンテンツの総数に対する割合と、前記第５コンテンツの前記第１コンテンツの総数に対する割合とに基づいて、前記第１審査基準に基づく審査の精度を示す指標値を算出する
   ことを特徴とする請求項１または２に記載の算出装置。
4. 前記抽出部は、
   前記所定の期間を分割した複数の分割期間ごとに抽出される前記第１コンテンツの総数が前記所定の数を満たすように、前記分割期間ごとに抽出する前記第１コンテンツの数を決定する
   ことを特徴とする請求項３に記載の算出装置。
5. 前記第４コンテンツのインプレッション数、もしくは配信開始から配信停止までの期間と、前記第５コンテンツの配信に関する情報とに基づいて、前記第４コンテンツ及び前記第５コンテンツを配信する配信サービスを評価する評価部
   をさらに備えたことを特徴とする請求項１から４のいずれか一つに記載の算出装置。
6. 前記評価部は、
   一定期間における前記第４コンテンツのインプレッション数に基づいて、前記配信サービスを評価する
   ことを特徴とする請求項５に記載の算出装置。
7. 前記評価部は、
   前記第４コンテンツの配信開始から配信停止までの期間に基づいて、前記配信サービスを評価する
   ことを特徴とする請求項５または６に記載の算出装置。
8. 前記評価部は、
   前記第４コンテンツの同一ユーザに対するインプレッション数に基づいて、前記配信サービスを評価する
   ことを特徴とする請求項５から７のいずれか一つに記載の算出装置。
9. 前記評価部は、
   前記第５コンテンツを配信した場合の売上に関する売上情報と、前記第５コンテンツが配信されなかった期間とに基づいて、前記配信サービスを評価する
   ことを特徴とする請求項５から８のいずれか一つに記載の算出装置。
10. コンピュータが実行する算出方法であって、
    配信前のコンテンツについて配信対象とするか否かを判定する第１審査における基準である第１審査基準に基づく審査を経た第１コンテンツのうち、前記第１審査基準を満たすと判定された第２コンテンツと、前記第１審査基準を満たさないと判定された第３コンテンツとを抽出する抽出工程と、
    前記抽出工程が抽出した第２コンテンツのうち、配信済みのコンテンツに対して配信対象とするか否かを判定する第２審査における基準である第２審査基準を満たさないと判定された第４コンテンツの数の前記第１コンテンツの数に対する割合と、前記抽出工程が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの数の前記第１コンテンツの数に対する割合とを算出する算出工程と
    を備えたことを特徴とする算出方法。
11. 配信前のコンテンツについて配信対象とするか否かを判定する第１審査における基準である第１審査基準に基づく審査を経た第１コンテンツのうち、前記第１審査基準を満たすと判定された第２コンテンツと、前記第１審査基準を満たさないと判定された第３コンテンツとを抽出する抽出手順と、
    前記抽出手順が抽出した第２コンテンツのうち、配信済みのコンテンツに対して配信対象とするか否かを判定する第２審査における基準である第２審査基準を満たさないと判定された第４コンテンツの数の前記第１コンテンツの数に対する割合と、前記抽出手順が抽出した第３コンテンツのうち、前記第２審査基準を満たすと判定された第５コンテンツの数の前記第１コンテンツの数に対する割合とを算出する算出手順と
    をコンピュータに実行させることを特徴とする算出プログラム。

Images