JP7042768B2 - 付与装置、付与方法および付与プログラム - Google Patents

Description

本発明は、付与装置、付与方法および付与プログラムに関する。

従来、コンテンツを所定の基準に基づいて評価する技術が提供されている。例えば、画像等を含むコンテンツの入稿を受け付け、受け付けたコンテンツについて審査カテゴリ毎に設けられた審査基準に基づいて審査を行う技術が提供されている（例えば、特許文献１参照）。

特開２００９－２７１６６１号公報

しかしながら、従来技術では、コンテンツの審査効率を向上させる点において改善の余地があった。例えば、従来技術では、複数の審査カテゴリについてそれぞれ設けられた審査基準を満たすか否かを判定する必要があった。

本願は、上記に鑑みてなされたものであって、コンテンツの審査効率を向上させることができる付与装置、付与方法および付与プログラムを提供することを目的とする。

本願に係る付与装置は、取得部と、付与部とを備える。前記取得部は、配信対象とするか否かの審査であって、カテゴリごとに異なる条件が設定される審査の対象となるコンテンツを取得する。前記付与部は、前記取得部によって取得された前記コンテンツの内容が所定の条件を満たすか否かに基づいて審査用のカテゴリを付与する。

実施形態の一態様によれば、コンテンツの審査効率を向上させることができる。

図１は、実施形態に係る情報処理の説明図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係る広告情報記憶部の一例を示す図である。 図５は、実施形態に係る第２モデル記憶部の一例を示す図である。 図６は、実施形態に係る広告配信履歴情報記憶部の一例を示す図である。 図７は、実施形態に係る広告主情報記憶部の一例を示す図である。 図８は、実施形態に係る情報処理の手順の一例を示すフローチャートである。 図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る付与装置、付与方法および付与プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る付与装置、付与方法および付与プログラムが限定されるものではない。

〔１．情報処理〕
図１を用いて、本実施形態の情報処理装置等により実現される情報処理を説明する。図１は、実施形態に係る情報処理の一例を示す図である。図１に示す例において、情報処理システム１は、情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０を有する。情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図１に示す情報処理システム１は、複数台の情報処理装置１００や、複数台の広告主端末１０や、複数台の審査者端末２０や、複数台のユーザ端末３０が含まれてもよい。また、図１では、本願に係る付与装置が、情報処理装置１００に含まれる場合を例に挙げて説明を行う。

図１に示す情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザＵ１が利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。例えば、情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報を広告情報記憶部１２１に格納する。また、情報処理装置１００は、広告主端末１０から受け付けた広告を審査し、審査に関する情報（審査結果）を広告情報記憶部１２１に格納する。また、情報処理装置１００は、ユーザ端末３０に配信した広告の配信期間や、インプレッション数等の情報を収集し、記憶部に格納する。

なお、図１の例において、広告の審査とは、広告に含まれるテキスト、画像、動画や、広告のリンク先（ランディングページ）等が適切であるか否か（例えば、誇張表現や虚偽の内容の有無、各種法律（薬事法、著作権法、不正表示防止法、など）の規定に違反しているか否か、公序良俗に反しているか否か、など）を審査することを示す。

図１に示す広告主端末１０は、広告主によって利用される情報処理装置である。例えば、広告主端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。広告主端末１０は、広告主Ｃ１の操作に応じて広告を情報処理装置１００に入稿する。なお、図１に示す例において、広告主端末１０は、広告主Ｃ１によって利用されるノート型ＰＣである場合を示す。

図１に示す審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。例えば、審査者端末２０は、デスクトップ型ＰＣや、ノート型ＰＣや、タブレット端末や、携帯電話機や、ＰＤＡ等である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。なお、図１に示す例において、審査者端末２０は、審査者によって利用されるノート型ＰＣである場合を示す。

図１に示すユーザ端末３０は、ユーザＵ１によって利用される情報処理装置である。ユーザ端末３０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、ユーザ端末３０は、情報処理装置１００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、ユーザ端末３０は、情報処理装置１００によって配信される情報の表示処理を実現する制御情報を情報処理装置１００から受け取った場合には、制御情報に従って表示処理を実現する。なお、図１に示す例において、ユーザ端末３０は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。

以下、図１を用いて、情報処理装置１００が行う情報処理について説明する。なお、以下の説明において、広告主端末１０から入稿された広告に対して、審査カテゴリを付与するためのモデル（以下、「第１モデル」と記載する場合がある）が、情報処理装置１００の第１モデル記憶部１２２に格納されているものとする。また、以下の説明において、広告主端末１０から入稿された広告を審査するためのモデル（以下、「第２モデル」と記載する場合がある）が、情報処理装置１００の第２モデル記憶部１２３に格納されているものとする。また、以下の説明において、審査者端末２０は、広告の審査基準に関する情報を情報処理装置１００から受け付け、審査者Ｅ１に通知しているものとする。

まず、情報処理装置１００は、広告主Ｃ１が利用する広告主端末１０から広告の入稿を受け付ける（ステップＳ１１）。例えば、図１の例において、情報処理装置１００は、広告を構成するテキスト情報、画像情報、動画情報や、リンク先に関する情報を含む広告情報を受け付け、広告情報記憶部１２１に格納する。

続いて、情報処理装置１００は、広告情報に対応する広告に対して第１モデルを用いて審査用のカテゴリである審査カテゴリを付与する（ステップＳ１２）。例えば、図１の例において、情報処理装置１００は、ステップＳ１１において受け付けた広告情報を第１モデルに入力し、入力した広告が有する特徴量に基づいて審査カテゴリを付与する。

ここで、審査カテゴリとは、広告の審査基準に準じたカテゴリを示し、審査カテゴリごとに異なる審査基準が設けられる。審査カテゴリの一例として、ファッションや、医薬品、食品などが挙げられる。

なお、本実施形態において、情報処理装置１００は、広告情報に含まれるテキスト情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、テキスト情報から特徴量を抽出してもよい。また、情報処理装置１００は、任意の技術を採用することにより、広告情報に含まれる画像情報や動画情報が有する特徴量を抽出してもよい。また、情報処理装置１００は、広告主Ｃ１の業種や業態に基づいて広告情報に審査カテゴリを付与することにしてもよい。なお、広告主Ｃ１の業種や業態については、アカウント情報として、情報処理装置１００内に格納される。

続いて、情報処理装置１００は、第２モデルを用いて、審査カテゴリが付与された広告情報を審査する（ステップＳ１３）。例えば、図１の例において、情報処理装置１００は、ステップＳ１２において審査カテゴリが付与された広告情報を第２モデルに入力し、入力した広告情報が有する特徴量に基づいて、広告情報に対応する広告が適切であるか否かを示すスコアを出力する。

まず、情報処理装置１００は、ステップＳ１２において付与した審査カテゴリに基づいて、かかる審査カテゴリ用の審査基準に基づく第２モデルを第２モデル記憶部１２３から選択する。続いて、情報処理装置１００は、選択した第２モデルに広告情報を入力することで、広告情報を審査する。

つまり、情報処理装置１００は、審査の前処理として予め審査カテゴリを付与しておくことで、審査カテゴリに対応する審査基準を満たすか否かを判定する。これにより、情報処理装置１００では、広告の内容に沿って、適切な審査基準で審査を行うことが可能となる。

そして、情報処理装置１００は、出力したスコアに基づいて、広告を「適切」（ユーザ端末３０へ配信可能である広告）、「不適切」（ユーザ端末３０へ配信不可能である広告）、「判別不可」（目視により審査されるべき広告）のいずれかの審査結果に分類する。

情報処理装置１００は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、第２モデルを用いた審査に関する情報として、広告に対応付けて広告情報記憶部１２１に格納する。

ここで、本実施形態において、ステップＳ１１において受け付けた広告の審査結果が「判別不可」であるものとする。この場合、情報処理装置１００は、目視による審査を行う。図１の例において、情報処理装置１００は、審査対象の広告に対応する広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う（ステップＳ１４）。すなわち、情報処理装置１００は、目視による審査の対象である広告に関する情報を、審査者端末２０に送信する。

また、情報処理装置１００は、ステップＳ１２において、例えば、審査カテゴリが付与できなかった広告情報や、広告主が所定条件を満たす広告情報については、第２モデルを用いた審査を行わず、目視による広告の審査を行うことにしてもよい。

続いて、情報処理装置１００は、審査者端末２０から広告の審査結果を受け付ける（ステップＳ１５）。例えば、図１の例において、情報処理装置１００は、広告が「適切」であることを示す情報、または、広告が「不適切」であることを示す情報のいずれかを目視による審査に関する情報として受け付け、受け付けた情報を広告に対応付けて広告情報記憶部１２１に格納する。

このとき、審査者Ｅ１は、ステップＳ１２において、審査カテゴリが付与されなかった広告情報については、手動で審査カテゴリを付与し、情報処理装置１００は、審査者端末２０を介して、審査カテゴリに関する情報を取得する。

続いて、情報処理装置１００は、ユーザ端末３０に広告を配信する（ステップＳ１６）。例えば、図１の例において、情報処理装置１００は、ステップＳ１２における審査またはステップＳ１４における審査において「適切」と審査された広告をユーザ端末３０に配信する。そして、情報処理装置１００は、ユーザ端末３０における各広告の表示（インプレッション）の有無や、各広告の配信期間に関する情報（以下、「広告配信履歴情報」と記載する場合がある）をユーザ端末３０から収集し、記憶部に格納する。

続いて、情報処理装置１００は、広告情報記憶部１２１から第１モデルおよび第２モデルの学習を行うための学習データを取得する（ステップＳ１７）。情報処理装置１００は、第１モデルの学習データとして、審査カテゴリが付与された広告情報を取得し、第２モデルの学習データとして、ステップＳ１４において目視による審査が行われた広告に関する情報を取得する。

続いて、情報処理装置１００は、取得した学習データを用いて、第１モデル及び第２モデルの学習を行う（ステップＳ１８）。ここで、第１モデル及び第２モデルの学習（機械学習）においては、線形回帰、ロジスティック回帰、サポートベクターマシン、決定木、ハザード分析等の種々の手法が利用されてもよい。なお、上記の実施形態において、情報処理装置１００は、第１モデルまたは第２モデルの少なくとも一方をルールベースにすることにしてもよい。

以上のように、情報処理装置１００は、広告主端末１０から受け付けた広告に対して、予め審査カテゴリを付与したうえで審査を行うことで、広告の内容に即した審査基準で広告を審査することができる。したがって、実施形態に係る情報処理装置１００は、コンテンツの審査効率を向上させることができる。

〔２．情報処理システムの構成〕
次に、上述した情報処理を実現するための情報処理システム１について図２を用いて説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、情報処理装置１００と、広告主端末１０と、審査者端末２０と、ユーザ端末３０とを含む。情報処理装置１００、広告主端末１０、審査者端末２０及びユーザ端末３０は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。なお、ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図２に示す情報処理システム１には、複数台の情報処理装置１００や、複数台の広告主端末１０、複数台の審査者端末２０、複数台のユーザ端末３０が含まれてもよい。

情報処理装置１００は、広告主が利用する広告主端末１０から入稿された広告を管理し、ユーザが利用するユーザ端末３０に広告を配信する配信サービスを提供するサーバ装置である。情報処理装置１００は、広告主端末１０から受け付けた広告に関する情報、並びに、当該広告の審査に関する情報（審査結果）を管理する。また、情報処理装置１００は、ユーザ端末３０における各広告の表示の有無や、各広告の配信期間に関する情報をユーザ端末３０から収集する。情報処理装置１００の構成は後述する。

広告主端末１０は、広告主によって利用される情報処理装置である。広告主端末１０は、広告主の操作に応じて広告を情報処理装置１００に入稿する。

審査者端末２０は、広告を目視により審査する審査者によって利用される情報処理装置である。審査者端末２０は、審査対象の広告の広告情報を受け付け、当該広告が適切であるか否かを示す審査結果を審査者の操作に応じて情報処理装置１００に送信する。

ユーザ端末３０は、ユーザよって利用される情報処理装置である。ユーザ端末３０は、情報処理装置１００から配信される各広告の表示に関する情報を情報処理装置１００に送信する。

〔３．情報処理装置の構成〕
次に、図３を用いて、情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、広告主端末１０、審査者端末２０、ユーザ端末３０等との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、広告情報記憶部１２１と、第１モデル記憶部１２２と、第２モデル記憶部１２３と、広告配信履歴情報記憶部１２４と、広告主情報記憶部１２５とを有する。

（広告情報記憶部１２１について）
広告情報記憶部１２１は、広告に関する情報を記憶する。ここで、図４を用いて、広告情報記憶部１２１が記憶するクエリに関する情報の一例を説明する。図４は、実施形態に係る広告情報記憶部の一例を示す図である。図４の例では、広告情報記憶部１２１は、「広告ＩＤ」、「広告主ＩＤ」「広告情報」、「審査カテゴリ」「第１審査結果」、「第２審査結果」といった項目を有する。

「広告ＩＤ」は、広告を識別するための識別情報を示す。「広告主ＩＤ」は、広告を識別するための識別情報を示す。「広告情報」は、広告主が入稿した広告を示す。なお、図４では、「広告情報」に「広告情報１１」といった概念的な情報が格納される例を示したが、実際には、テキストや広告に関連する画像、動画、リンク先等の具体的な情報、または、その格納場所を示すファイルパス名、ＵＲＬなどが格納される。

「審査カテゴリ」は、対応付けられた「広告ＩＤ」が示す広告の審査用のカテゴリを示す。「第１審査結果」は、対応付けられた「広告ＩＤ」が示す広告が、第２モデルを用いた審査において「適切」と判定されたか、「不適切」と判定されたかを示す。「第２審査結果」は、対応付けられた「広告ＩＤ」が示す広告が目視による審査において「適切」と判定されたか、「不適切」と判定されたかを示す。

すなわち、図４では、広告ＩＤ「Ａ１１」によって識別される広告は、広告主ＩＤ「Ａ１０１」、審査カテゴリ「ファッション」であり、広告情報「広告情報１１」が格納され、当該広告が第２審査結果において「適切」と判定されている例を示す。

（第１モデル記憶部１２２について）
第１モデル記憶部１２２は、第１モデルに関する情報を記憶する。対応する審査カテゴリに関連するキーワードが紐付けられており、広告に表示される表示テキストに含まれるワードそれぞれに重み付けを行うことによって、審査カテゴリである確率を示すスコアを出力する。なお、第１モデルは、画像や動画に基づいてスコアを出力するものであってもよく、表示テキストと画像や動画とを組み合わせてスコアを出力するものであってもよい。

（第２モデル記憶部１２３について）
第２モデル記憶部１２３は、第２モデルに関する情報を記憶する。ここで、図５を用いて、第２モデル記憶部１２３が記憶する第２モデルに関する情報の一例を説明する。図５は、実施形態に係る第２モデル記憶部の一例を示す図である。図５の例では、第２モデル記憶部１２３は、「モデルＩＤ」、「審査カテゴリ」、「モデル情報」といった項目を有する。

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「審査カテゴリ」は、対応付けられた「モデルＩＤ」が示す第２モデルを用いた審査において、審査対象となる広告のカテゴリを示す。「モデル情報」は、広告が適切であるか否かを示すスコア出力するためのモデルの情報を示す。

すなわち、図５では、モデルＩＤ「Ｍ２１」によって識別される第２モデルのモデル情報「モデル情報２１」が格納され、当該第２モデルが「医薬品」に分類される広告の審査に用いられる例を示す。

（広告配信履歴情報記憶部１２４について）
広告配信履歴情報記憶部１２４は、広告主によって入稿された各広告の配信履歴に関する情報を記憶する。ここで、図６を用いて、広告配信履歴情報記憶部１２４が記憶する各広告の配信履歴に関する情報の一例を説明する。図６は、実施形態に係る広告配信履歴情報記憶部１２４の一例を示す図である。図６の例では、広告配信履歴情報記憶部１２４は、「広告ＩＤ」、「配信開始日」、「日付」、「ユーザＩＤ」、「インプレッション数」といった項目を有する。

「広告ＩＤ」は、広告を識別するための識別情報を示す。「配信開始日」は、対応付けられた「広告ＩＤ」が示す広告の配信が開始された日付を示す。「日付」は、対応付けられた「広告ＩＤ」が示す広告の表示（インプレッション）があった日付を示す。「ユーザＩＤ」は、対応付けられた「広告ＩＤ」が示す広告が表示されたユーザを識別するための識別情報を示す。「インプレッション数」は、対応付けられた「広告ＩＤ」が示す広告の総インプレッション数を示す。

すなわち、図６では、広告ＩＤ「Ａ１１」によって識別される広告の配信開始日が「２０ＸＸ／１／１５」であり、当該広告が「２０ＸＸ／２／１」にユーザＩＤ「ユーザＵ１」によって識別されるユーザに表示され、総インプレッション数が「１０００」である例を示す。

（広告主情報記憶部１２５について）
広告主情報記憶部１２５は、広告主に関する情報を記憶する。ここで、図７を用いて、広告主情報記憶部１２５が記憶する広告主に関する情報の一例を説明する。図７は、実施形態に係る広告主情報記憶部１２５の一例を示す図である。図７の例では、広告主情報記憶部１２５は、「広告主ＩＤ」、「業種」、「違反率」、「ユーザＩＤ」、「第２審査付フラグ」といった項目を有する。

「広告主ＩＤ」は、広告主を識別するための識別情報を示す。業種は、対応する広告主の業種を示す。「違反率」は、対応する広告主の広告のうち、審査を通過できなかった広告が占める割合を示す。「第２審査付フラグ」は、対応する広告主について、第２審査が必要か否かを示す。例えば、違反率が所定値（例えば、９０％）を超える場合、第２審査フラグが「１」、違反率が所定値以下である場合、第２審査フラグが「０」となる。

第２審査フラグが「１」である広告主については、例えば、第２審査（目視審査）を行うようにすることで、審査を厳しくことができる。

（制御部１３０について）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部１３０は、図３に示すように、取得部１３１と、付与部１３２と、審査部１３３と、配信部１３４と、学習部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（取得部１３１について）
取得部１３１は、配信対象とするか否かの審査であって、カテゴリごとに異なる条件が設定される審査の対象となる広告を取得する。取得部１３１は、通信部１１０を介して、広告主端末１０から配信前の広告に関する広告情報を取得する。取得部１３１は、取得した広告情報を広告情報記憶部１２１へ格納する。この場合、情報処理装置１００では、配信後の広告について再度審査を行うことができる。すなわち、取得部１３１は、審査後に広告のリンク先が書き換えられた場合であっても、書き換え後のリンク先を審査に回すことができる。

（付与部１３２について）
付与部１３２は、取得部１３１によって取得された広告の内容が所定の条件を満たすか否かに基づいて審査用のカテゴリを付与する。付与部１３２は、取得部１３１によって取得された広告情報を広告情報記憶部１２１から読み出して、第１モデル記憶部１２２に格納された第１モデルに入力する。

例えば、第１モデルでは、入力された広告情報に対応する広告に含まれるテキスト、画像、動画や、広告のリンク先（ランディングページ）に表示される表示テキストに基づいて、各審査カテゴリである確率を示すスコアを出力する。

例えば、第１モデルでは、広告情報の表示テキストについて、審査カテゴリ毎に紐付けられたキーワードの出現回数等に基づいてスコアを算出する。付与部１３２は、第１モデルの出力スコアに基づいて、広告情報に対して、審査カテゴリを付与する。例えば、付与部１３２は、最もスコアが高い審査カテゴリを広告情報に付与し、図４に示した「審査カテゴリ」を更新する。

なお、付与部１３２は、ルールベースに基づいて審査カテゴリを付与することにしてもよい。この場合、例えば、付与部１３２は、広告情報の表示テキストにおいて、各審査カテゴリのうちに紐付けられたキーワードの出現回数が所定数を超える審査カテゴリを付与する。なお、キーワードは、１つであってもよく、複数であってもよい。また、付与部１３２は、キーワードを複数とする場合、キーワード毎に所定の重み付けを行ったうえで、出現回数をカウントすることにしてもよい。

また、付与部１３２は、広告主に基づいて審査カテゴリを付与することにしてもよい。この場合、例えば、付与部１３２は、広告主ＩＤに基づいて、広告主情報記憶部１２５から広告主の業種に関する情報を参照し、かかる業種に応じた審査カテゴリを付与する。

また、付与部１３２は、全ての審査カテゴリにおいて、共通して使用が禁止された禁止ワードが表示テキストに含まれる広告について、審査部１３３による審査対象から除外することも可能である。

ここで、禁止ワードには、差別用語などが含まれる。付与部１３２は、表示テキストから禁止ワードを抽出した場合、その時点で、審査結果を「不適切」とする。すなわち、付与部１３２は、審査部１３３による審査前の事前審査によって、審査の足きりを行う。

つまり、付与部１３２は、簡易審査により、審査部１３３による審査対象を絞り込むことで、審査部１３３による処理負荷を軽減することができる。なお、付与部１３２は、審査カテゴリを判別できなかった広告については、審査部１３３による審査を経ずに、第２審査（目視審査）に回すことにしてもよい。

（審査部１３３について）
審査部１３３は、付与部１３２によって付与された審査カテゴリに基づいてコンテンツ（広告）を審査する。審査部１３３は、広告情報記憶部１２１に格納された広告について、第２モデルを用いて審査を行う。

審査部１３３は、広告情報記憶部１２１から今回審査を行う広告の審査カテゴリに基づいて、第２モデルの審査カテゴリを選択する。次いで、審査部１３３は、審査カテゴリに基づいて選択した第２モデルに広告情報を入力した広告情報が有する特徴量に基づいて、広告が適切であるか否かを示すスコアを出力する。そして、審査部１３３は、出力したスコアに基づいて、広告を「適切」、「不適切」、「判別不可」のいずれかの審査結果に分類する。ここで、審査部１３３は、広告の審査結果が「適切」または「不適切」である場合、広告が「適切」または「不適切」であることを示す情報を、広告情報記憶部１２１の「第１審査結果」の項目に格納する。

このとき、第２モデルでは、対応する審査カテゴリにおいて、予め設定された文字列であるリスクワードを含む広告のスコアが上記の「不適切」に分類されるようにスコアを算出する。ここで、リスクワードは、特定の審査カテゴリにおいて、使用が禁止されているワードを示す。

また、第２モデルでは、１の審査カテゴリ（ここではギャンブルとする）において、リスクワードであるものの、２の審査カテゴリ（ここではファッションとする）において許可された許可ワードが、１の審査カテゴリおよび２の審査カテゴリとは別の審査カテゴリにおいて使用される場合に、「判別不可」となるスコアを算出する。

具体的には、「レース」というキーワードは、ギャンブルの審査カテゴリにおいて、リスクワードであるものの、ファッションの審査カテゴリにおいては、使用が許可された許可ワードである。

一方で、「レース」といキーワードが、ギャンブルやファッション以外の審査カテゴリにおいて使用された場合に、リスクワードまたは許可ワードの識別が容易ではない。このため、かかる場合に、審査部１３３は、上記の条件を満たす場合においては、第２審査（目視審査）に回す。

この場合、審査部１３３は、審査結果が「判別不可」である広告情報を審査者端末２０に送信し、審査者Ｅ１に審査させることにより、目視による広告の審査を行う。

（配信部１３４について）
配信部１３４は、審査部１３３によるコンテンツ（広告）の審査結果に基づいて、広告をユーザ端末３０に配信する。例えば、図１の例において、配信部１３４は、広告情報記憶部１２１を参照し、第１審査または第２審査のいずれかの審査結果が適切である広告をユーザ端末３０に配信する。そして、配信部１３４は、各広告の配信履歴に関する情報をユーザ端末３０から収集し、広告配信履歴情報記憶部１２４に格納する。

（学習部１３５について）
学習部１３５は、審査カテゴリ毎に紐付けられたキーワードを学習する。例えば、学習部１３５は、広告情報記憶部１２１から所定数の学習データを取得し、取得した学習データを用いて審査カテゴリ毎に紐付けられたキーワードを学習する。第１モデルの学習（機械学習）においては、線形回帰、ロジスティック回帰、サポートベクターマシン、決定木、ハザード分析等の種々の手法が利用されてもよい。

つまり、学習部１３５によって第１モデルが更新されることとなる。これにより、付与部１３２によって付与される審査カテゴリの精度を向上させることができる。また、学習部１３５は、上記のキーワードに加えて、広告情報に含まれる画像や、動画を学習データとして取得し、第１モデルの学習を行うことにしてもよい。

この場合、付与部１３２は、広告情報に含まれる画像や、動画等に基づいて審査カテゴリの識別が可能となり、かかる画像や、動画等に基づいて審査カテゴリを付与することができる。

また、学習部１３５は、第２モデルを学習することも可能である。この場合、例えば、学習部１３５は、第２審査（目視審査）が行われた広告情報を学習データとして取得し、第２モデルを学習する。これにより、第２モデルによる審査の精度を向上させることが可能となる。

〔４．情報処理のフロー〕
ここで、図８を用いて、実施形態に係る情報処理装置の情報処理の手順について説明する。図８は、実施形態に係る情報処理の手順の一例を示すフローチャートである。

図８に示すように、情報処理装置１００は、まず、審査対象となる広告情報を取得すると（ステップＳ１０１）、広告情報に対して審査カテゴリを付与する（ステップＳ１０２）。

続いて、情報処理装置１００は、ステップＳ１０２の結果、審査カテゴリが未付与か否か、すなわち、審査カテゴリを識別できなかった否かを判定する（ステップＳ１０３）。情報処理装置１００は、ステップＳ１０３の判定処理において、審査カテゴリを付与できていた場合（ステップＳ１０３，Ｙｅｓ）、広告情報に禁止ワードが有るか否かを判定する（ステップＳ１０４）。

情報処理装置１００は、広告情報に禁止ワードがないと判定した場合（ステップＳ１０４，Ｎｏ）、第２モデルを用いて第１審査を行う（ステップＳ１０５）。続いて、情報処理装置１００は、ステップＳ１０５の第１審査の結果が判別不可か否かを判定する（ステップＳ１０６）。

情報処理装置１００は、第１審査の結果が判別不可である場合（ステップＳ１０６，Ｙｅｓ）、第２審査（目視審査）を行う（ステップＳ１０７）。続いて、情報処理装置１００は、広告情報記憶部１２１の審査結果を更新して（ステップＳ１０８）、処理を終了する。

また、情報処理装置１００は、ステップＳ１０３の判定処理において、審査カテゴリが見付与であった場合（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０７の処理へ移行する。また、情報処理装置１００は、ステップＳ１０４の判定処理において、禁止ワードがあった場合（ステップＳ１０４，Ｙｅｓ）、ステップＳ１０８の処理へ移行する。なお、この場合における審査結果は「不適切」となる。

〔５．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

〔５－１．コンテンツについて〕
上述の実施形態において、広告を対象として情報処理装置１００の情報処理の例を示した。しかしながら、情報処理装置１００は、広告に限らず、種々のコンテンツを対象として情報処理を行ってもよい。例えば、情報処理装置１００は、広告が表示される配信面を対象として、上述した情報処理を行ってもよい。

〔５－２．目視による審査について〕
上述の実施形態では、情報処理装置１００がモデルを用いて審査された広告に対し、目視による審査を行う例を示した。しかしながら、情報処理装置１００は、目視による審査に限らず、種々の手法を用いてもよい。例えば、情報処理装置１００は、モデルを用いた審査よりも精度が高く、且つ、モデルを用いた審査よりも審査の速度が遅い審査の手法を用いて、広告の審査を行う。

〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、付与部１３２とを備える。取得部１３１は、配信対象とするか否かの審査であって、カテゴリごとに異なる条件が設定される審査の対象となるコンテンツを取得する。付与部１３２は、取得部１３１によって取得されたコンテンツの内容が所定の条件を満たすか否かに基づいて審査用のカテゴリを付与する。

これにより、実施形態に係る情報処理装置１００は、付与した審査用のカテゴリに応じた審査基準でコンテンツを審査することができるので、審査効率を向上させることが可能となる。

また、実施形態に係る情報処理装置１００において、例えば、付与部１３２は、コンテンツとして表示される表示テキストに基づいてカテゴリを付与する。

これにより、実施形態に係る情報処理装置１００は、コンテンツに対して、容易に審査カテゴリを付与することができる。

また、実施形態に係る情報処理装置１００において、例えば、付与部１３２は、カテゴリに紐付けられたキーワードに基づいてカテゴリを付与する。

これにより、実施形態に係る情報処理装置１００は、コンテンツに対して、容易かつ、精度よく審査カテゴリを付与することができる。

また、実施形態に係る情報処理装置１００において、例えば、付与部１３２は、表示テキストに全てのカテゴリに共通して使用が禁止された禁止ワードが含まれるコンテンツについて、審査部１３３による審査対象から除外する。

これにより、実施形態に係る情報処理装置１００は、簡易な審査で、基準を満たさないコンテンツを審査対象から除外することができる。

また、実施形態に係る情報処理装置１００において、例えば、カテゴリ毎に紐付けられたキーワードを学習する学習部１３５をさらに備え、付与部１３２は、学習部１３５による学習結果に基づいてカテゴリを付与する。

これにより、実施形態に係る情報処理装置１００は、付与部１３２によって付与される審査カテゴリの信頼性を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、付与部１３２は、コンテンツの広告主のアカウント情報に基づいてカテゴリを付与する。

これにより、実施形態に係る情報処理装置１００は、審査カテゴリを予め絞り込んだ状態で付与することができるので、処理負荷を抑えつつ、審査カテゴリを付与することができる。

また、実施形態に係る情報処理装置１００において、例えば、付与部１３２によって付与されたカテゴリに基づいてコンテンツを審査する審査部１３３を備える。

これにより、実施形態に係る情報処理装置１００は、付与された審査カテゴリに基づく審査基準を満たすか否かの審査を行うので、審査の処理負荷を抑えつつ、審査の精度を向上させることができる。

また、実施形態に係る情報処理装置１００において、例えば、審査部１３３は、付与されたカテゴリにおいて、予め設定された文字列であるリスクワードを含むコンテンツについて審査基準を満たさないと判定する。

これにより、実施形態に係る情報処理装置１００は、精度よく審査を行うことが可能となる。

また、実施形態に係る情報処理装置１００において、例えば、審査部１３３は、１のカテゴリにおいてリスクワードであり、２のカテゴリにおいて、使用が許可された許可ワードについて、１のカテゴリおよび２のカテゴリとは別のカテゴリで使用される場合に、第２審査へ回す。

これにより、実施形態に係る情報処理装置１００は、審査基準を満たすか否かの判別が困難なコンテンツについて、目視審査を行うことになるので、審査の信頼度を向上させることができる。

〔７．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置は、例えば図９に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、情報処理装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔８．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した情報処理装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、審査部は、審査手段や審査回路に読み替えることができる。

１０ 広告主端末
２０ 審査者端末
３０ ユーザ端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 広告情報記憶部
１２２ 第１モデル記憶部
１２３ 第２モデル記憶部
１２４ 広告配信履歴情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 付与部
１３３ 審査部
１３４ 配信部
１３５ 学習部

Claims (10)

1. 配信対象とするか否かの審査であって、カテゴリごとに異なる条件が設定される審査の対象となるコンテンツを取得する取得部と、
   前記取得部によって取得された前記コンテンツの内容が審査用のカテゴリごとにそれぞれ設定された条件を満たすか否かに基づき、当該コンテンツに対し審査用のカテゴリを付与する付与部と、
   前記付与部によって付与された前記審査用のカテゴリに対応する審査モデルを記憶部から選択し、当該審査モデルを用いて、前記コンテンツを審査する審査部と
   備えることを特徴とする付与装置。
2. 前記付与部は、
   前記コンテンツとして表示される表示テキストに基づいて前記カテゴリを付与すること
   を特徴とする請求項１に記載の付与装置。
3. 前記付与部は、
   前記カテゴリに紐付けられたキーワードに基づいて前記カテゴリを付与すること
   を特徴とする請求項２に記載の付与装置。
4. 前記付与部は、
   前記表示テキストに全ての前記カテゴリに共通して使用が禁止された禁止ワードが含まれる前記コンテンツについて、審査対象から除外すること
   を特徴とする請求項２または３に記載の付与装置。
5. 前記カテゴリごとに紐付けられたキーワードを学習する学習部
   をさらに備え、
   前記付与部は、
   前記学習部による学習結果に基づいて前記カテゴリを付与すること
   を特徴とする請求項３または４に記載の付与装置。
6. 前記付与部は、
   前記コンテンツの配信主のアカウント情報に基づいて前記カテゴリを付与すること
   を特徴とする請求項１～５のいずれか一つに記載の付与装置。
7. 前記審査部は、
   付与された前記カテゴリにおいて、予め設定された文字列であるリスクワードを含む前記コンテンツについて審査基準を満たさないと判定すること
   を特徴とする請求項１～６のいずれか一つに記載の付与装置。
8. 前記審査部は、
   １のカテゴリにおいて前記リスクワードであり、２のカテゴリにおいて、使用が許可されたキーワードについて、前記１のカテゴリおよび前記２のカテゴリとは別のカテゴリで使用される場合に、第２審査へ回すこと
   を特徴とする請求項７に記載の付与装置。
9. コンピュータが実行する付与方法であって、
   配信対象とするか否かの審査であって、カテゴリごとに異なる条件が設定される審査の対象となるコンテンツを取得する取得工程と、
   前記取得工程によって取得された前記コンテンツの内容が審査用のカテゴリごとにそれぞれ設定された条件を満たすか否かに基づき、当該コンテンツに対し審査用のカテゴリを付与する付与工程と、
   前記付与工程によって付与された前記審査用のカテゴリに対応する審査モデルを記憶部から選択し、当該審査モデルを用いて、前記コンテンツを審査する審査工程と
   を含むことを特徴とする付与方法。
10. 配信対象とするか否かの審査であって、カテゴリごとに異なる条件が設定される審査の対象となるコンテンツを取得する取得手順と、
    前記取得手順によって取得された前記コンテンツの内容が審査用のカテゴリごとにそれぞれ設定された条件を満たすか否かに基づき、当該コンテンツに対し審査用のカテゴリを付与する付与手順と、
    前記付与手順によって付与された前記審査用のカテゴリに対応する審査モデルを記憶部から選択し、当該審査モデルを用いて、前記コンテンツを審査する審査手順と
    をコンピュータに実行させることを特徴とする付与プログラム。

Images