JP7145443B1 - ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM - Google Patents

ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM Download PDF

Info

Publication number
JP7145443B1
JP7145443B1 JP2022027991A JP2022027991A JP7145443B1 JP 7145443 B1 JP7145443 B1 JP 7145443B1 JP 2022027991 A JP2022027991 A JP 2022027991A JP 2022027991 A JP2022027991 A JP 2022027991A JP 7145443 B1 JP7145443 B1 JP 7145443B1
Authority
JP
Japan
Prior art keywords
examination
video
advertisement
screening
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022027991A
Other languages
Japanese (ja)
Other versions
JP2023124306A (en
Inventor
敏之 河崎
朋 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2022027991A priority Critical patent/JP7145443B1/en
Priority to JP2022094470A priority patent/JP2023124762A/en
Application granted granted Critical
Publication of JP7145443B1 publication Critical patent/JP7145443B1/en
Publication of JP2023124306A publication Critical patent/JP2023124306A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化する広告審査システム等を提供する。【解決手段】広告審査システムの広告審査用サーバ3において、第2の審査前処理部61は、映像に含まれる複数の映像構成要素を抽出する。第2の映像審査部63は、抽出された複数の映像構成要素の各々について、学習モデルに基づき広告としての適否を判定することにより、映像に関する判定結果を生成する。第2の審査結果出力部65は、第2の映像審査部63によって不適切と判定された映像構成要素である不適切要素を含む静止画像を表示する画像表示エリアと、静止画像に関し、不適切要素の各々に対する判定結果を表示する第1の審査結果表示エリアと、静止画像に関し不適切要素の各々に対する審査者によるコメントが入力される第2の審査結果表示エリアを含む審査結果画面を出力する。【選択図】図5The present invention provides an advertisement screening system and the like that streamlines the screening of advertisement videos by making it possible for examiners to easily use screening results based on a learning model of advertisement videos. A second pre-examination processing unit (61) in an advertisement examination server (3) of an advertisement examination system extracts a plurality of image components included in an image. The second video screening unit 63 generates a video-related determination result by determining whether each of the plurality of extracted video components is appropriate as an advertisement based on the learning model. The second examination result output unit 65 displays an image display area for displaying a still image including an inappropriate element that is a video component judged to be inappropriate by the second video examination unit 63. outputting a review result screen including a first review result display area for displaying the determination result for each of the elements and a second review result display area for inputting comments by the reviewer for each of the inappropriate elements regarding the still image; . [Selection drawing] Fig. 5

Description

本開示は、広告用に制作された映像の広告としての適否を審査する広告審査システム、広告審査方法、及び広告審査プログラムに関する。 The present disclosure relates to an advertisement examination system, an advertisement examination method, and an advertisement examination program for examining whether a video produced for advertisement is suitable as an advertisement.

公共施設や商業施設における交通機関、建物、及び野外スペース等では、液晶ディスプレイなどのデジタルサイネージに広告用に制作された映像が放映される。そのような広告用の映像は、広告媒体を所有する媒体社(メディアオーナー)によって、事前に広告としての適否を審査される。 In transportation facilities, buildings, outdoor spaces, etc. in public facilities and commercial facilities, images produced for advertisement are broadcast on digital signage such as liquid crystal displays. A media company (media owner) that owns the advertising media examines in advance whether or not it is suitable as an advertisement.

広告用の映像の審査は、人(審査者)によって行なわれることが一般的である。例えば、審査者は、映像の全体を実際に視聴し、予め設定された広告用のルールに違反している内容が含まれているか否かを判断する必要がある。そのような映像の審査は、長時間に及ぶため、審査者にとって作業負荷が高いことが知られている。 Judging of videos for advertisement is generally performed by a person (jury). For example, the examiner must actually view the entire video and determine whether or not it contains content that violates preset advertising rules. It is known that the examination of such videos takes a long time and thus imposes a heavy workload on the examiners.

そこで、従来、機械学習によって生成された学習モデルを利用して広告用の映像の審査を行う技術が開発されている。例えば、広告用の映像の審査時間を短縮するために、広告用の映像に含まれる画像、文字又は音声の少なくとも1つが所定の審査条件に合格するか否かの合否情報を取得し、それら映像及び合否情報を教師データとして学習モデルを学習させる技術が知られている(特許文献1参照)。 Therefore, conventionally, a technique has been developed for judging advertisement videos using a learning model generated by machine learning. For example, in order to shorten the screening time for advertising videos, pass/fail information on whether or not at least one of the images, characters, or sounds contained in the advertising video passes predetermined screening conditions is acquired, and the videos are and a technique of learning a learning model using pass/fail information as teacher data (see Patent Document 1).

また、コンテンツ(広告)の審査結果を有効に活用するために、モデルを用いたコンテンツの審査の後に、当該コンテンツの目視による審査の結果に関する情報を学習データとして取得し、その取得した学習データに基づいてモデルの学習を行う技術が知られている(特許文献2参照)。 In addition, in order to make effective use of the content (advertisement) screening results, after the content screening using the model, information on the results of the visual screening of the content is acquired as learning data, and the acquired learning data is used. There is known a technique of learning a model based on this (see Patent Literature 2).

特開2020-4248号公報Japanese Patent Application Laid-Open No. 2020-4248 特開2020-101940号公報Japanese Patent Application Laid-Open No. 2020-101940

ところで、特許文献1、2に開示されたような学習モデルに基づく映像の審査のみでは、広告用に制作された映像の広告としての適否を精度良く審査することが難しい場合がある。そこで、学習モデルに基づく審査に加え、審査者が映像を審査することが考えられる。その場合、審査者が審査を行う際に、学習モデルに基づく映像の審査結果を審査者が容易に利用(すなわち、参照)できるようにすれば、広告用の映像の審査を効率化できる可能性がある。 By the way, it may be difficult to accurately examine the suitability of a video produced for advertisement as an advertisement only by examining the video based on the learning model disclosed in Patent Documents 1 and 2. Therefore, in addition to the examination based on the learning model, it is conceivable that the judges examine the videos. In that case, if the reviewers can easily use (i.e. refer to) the review results of the video based on the learning model when performing the review, it may be possible to streamline the review of the video for advertisement. There is

しかしながら、上記従来技術では、学習モデルに基づく映像の審査結果を審査者が利用することについて特段の配慮はなされていない。 However, in the conventional technology described above, no special consideration is given to the examiner's use of the examination result of the video based on the learning model.

そこで、本開示は、広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化することができる広告審査システム、広告審査方法、及び広告審査プログラムを提供することを主な目的とする。 Therefore, the present disclosure provides an advertisement examination system and an advertisement examination that can improve the efficiency of examination of advertisement images by making examination results based on learning models of advertisement images easily available to examiners. The main purpose is to provide a method and an advertisement review program.

本開示の広告審査システムは、広告用に制作された映像を審査する広告審査システムであって、審査対象の映像を取得する映像取得部と、前記映像の広告としての適否に関する審査用の学習モデルを記憶する記憶部と、前記映像に含まれる複数の映像構成要素を抽出する審査前処理部と、前記審査前処理部によって抽出された前記複数の映像構成要素の各々について、前記学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成する映像審査部と、前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力する審査結果出力部と、を備え、前記審査結果画面は、前記映像審査部によって不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、を含み、前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される構成とする。 The advertisement examination system of the present disclosure is an advertisement examination system that examines a video produced for advertisement, and includes a video acquisition unit that acquires a video to be reviewed, and a learning model for reviewing whether the video is appropriate as an advertisement. , a pre-examination processing unit that extracts a plurality of video components included in the video, and a plurality of video components extracted by the pre-examination processing unit, based on the learning model A video examination unit that generates a judgment result regarding the video by judging whether it is suitable as an advertisement, and a examination result output unit that outputs a examination result screen including the judgment result to an examiner involved in advertising examination of the video. and an image display area for displaying a still image showing, in an identifiable form, the inappropriate elements, which are the video constituent elements determined to be inappropriate by the video review section, on the examination result screen. , a first examination result display area for displaying the judgment results for each of the inappropriate elements with respect to the still image; 2 examination result display area , wherein a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area, and the second examination result is displayed. Third symbols corresponding to each of the first symbols are displayed in the display area in association with comments by the examiner corresponding to each of the inappropriate elements .

本開示の広告審査方法は、広告用に制作された映像を審査する広告審査システムによる広告審査方法であって、審査対象の映像を取得し、前記映像に含まれる複数の映像構成要素の各々を抽出し、抽出された前記複数の映像構成要素の各々について、審査用の学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成し、前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力し、前記審査結果画面は、不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、を含み、前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される構成とする。 The advertisement examination method of the present disclosure is an advertisement examination method by an advertisement examination system that examines a video produced for advertisement. extracting and judging whether each of the plurality of extracted video components is appropriate as an advertisement based on a learning model for examination, thereby generating a judgment result regarding the video, and conducting examination related to advertising examination of the video and outputting a screening result screen including the judgment result to the person, and the screening result screen shows a still image showing the inappropriate element, which is the video component judged to be inappropriate, in an identifiable form. an image display area to be displayed; a first examination result display area for displaying the judgment results for each of the inappropriate elements with respect to the still image; a second examination result display area in which comments are input , wherein a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area; Third symbols corresponding to each of the first symbols are displayed in the second examination result display area in association with comments by the examiner corresponding to each of the inappropriate elements. .

本開示の広告審査プログラムは、広告用に制作された映像を審査する広告審査プログラムであって、審査対象の映像を取得する映像取得処理と、前記映像に含まれる複数の映像構成要素を抽出する審査前処理と、前記審査前処理によって抽出された前記複数の映像構成要素の各々について、審査用の学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成する映像審査処理と、前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力する審査結果出力処理と、をコンピュータに実行させ、前記審査結果画面は、不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、を含み、前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される構成とする。 An advertisement screening program of the present disclosure is an advertisement screening program for screening a video produced for an advertisement, and includes a video acquisition process for acquiring a video to be reviewed and a plurality of video components included in the video. Pre-examination processing, and video examination for generating a judgment result regarding the video by judging whether each of the plurality of video components extracted by the pre-examination processing is appropriate as an advertisement based on a learning model for examination. and a review result output process of outputting a review result screen including the determination result to the reviewer involved in reviewing the video advertisement, and determining that the review result screen is inappropriate. a first image display area for displaying a still image showing inappropriate elements, which are said video constituent elements, in an identifiable form; and a second examination result display area in which comments by the examiner on each of the inappropriate elements are input with respect to the still image , wherein the image display area contains the still image. are superimposed and displayed, and in the second examination result display area, third symbols corresponding to each of the first symbols are displayed in the It is configured to be displayed in association with the comments by the examiner corresponding to each of the inappropriate elements .

本開示によれば、広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化することができる。 According to the present disclosure, it is possible to improve the efficiency of the examination of advertising videos by making it possible for examiners to easily use the examination results based on the learning model of advertising videos.

本実施形態に係る広告審査システムの全体構成図Overall configuration diagram of an advertisement screening system according to the present embodiment 図1に示した広告審査システムにおける映像の予備審査の概要を示す説明図Explanatory diagram showing an overview of preliminary screening of video in the advertisement screening system shown in FIG. 図2に示した予備審査の変形例を示す説明図Explanatory diagram showing a modification of the preliminary examination shown in FIG. 図1に示した広告審査システムにおける映像の本審査の概要を示す説明図Explanatory diagram showing the outline of the main examination of the video in the advertisement examination system shown in Fig. 1 図1に示した広告審査用サーバの機能ブロック図Functional block diagram of the advertisement screening server shown in FIG. 図5に示した広告審査用サーバによる予備審査処理の流れを示すフロー図Flow chart showing the flow of preliminary examination processing by the advertisement examination server shown in FIG. 図6に示した広告審査用サーバによる予備審査処理の変形例を示すフロー図Flow chart showing a modified example of preliminary examination processing by the advertisement examination server shown in FIG. 図5に示した広告審査用サーバによる本審査処理の流れを示すフロー図Flow chart showing the flow of main examination processing by the advertisement examination server shown in FIG. ユーザが利用する入稿画面の一例を示す説明図Explanatory diagram showing an example of a manuscript submission screen used by a user ユーザが利用する審査結果表示画面の一例を示す説明図Explanatory diagram showing an example of an examination result display screen used by a user 審査者が利用する本審査画面を示す説明図Explanatory diagram showing the final examination screen used by the examiner 審査者が利用する審査結果表示画面の一例を示す説明図Explanatory diagram showing an example of an examination result display screen used by an examiner 審査者が審査履歴を参照する際に利用する審査履歴表示画面の一例を示す説明図Explanatory diagram showing an example of the review history display screen used by the reviewer to refer to the review history 図1に示した広告審査システムの変形例を示す全体構成図Overall configuration diagram showing a modification of the advertisement screening system shown in FIG.

前記課題を解決するためになされた第1の発明は、広告用に制作された映像を審査する広告審査システムであって、審査対象の映像を取得する映像取得部と、前記映像の広告としての適否に関する審査用の学習モデルを記憶する記憶部と、前記映像に含まれる複数の映像構成要素を抽出する審査前処理部と、前記審査前処理部によって抽出された前記複数の映像構成要素の各々について、前記学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成する映像審査部と、前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力する審査結果出力部と、を備え、前記審査結果画面は、前記映像審査部によって不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、を含み、前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される構成とする。 A first invention made to solve the above-mentioned problems is an advertisement screening system for screening a video produced for an advertisement, comprising a video acquisition unit for acquiring a video to be reviewed, and an advertisement for the video. A storage unit that stores a learning model for examination regarding propriety, a pre-examination processing unit that extracts a plurality of image constituent elements included in the image, and each of the plurality of image constituent elements extracted by the pre-examination processing unit. , a video examination unit that generates a judgment result regarding the video by judging whether it is suitable as an advertisement based on the learning model, and an examination result screen that includes the judgment result for an examiner involved in advertising examination of the video wherein the screening result screen is a still image showing, in an identifiable form, the inappropriate elements, which are the video constituent elements determined to be inappropriate by the video screening section. a first examination result display area for displaying the judgment results for each of the inappropriate elements with respect to the still image; and the examiner for each of the inappropriate elements with respect to the still image and a second examination result display area in which a comment is input , wherein a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area. , in the second examination result display area, a third symbol corresponding to each of the first symbols is displayed in association with the comment by the examiner corresponding to each of the inappropriate elements; do.

これによると、広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化することができる。 According to this, it is possible to improve the efficiency of the examination of advertisement images by making it possible for the examiner to easily use the examination results based on the learning model of the advertisement images.

また、第2の発明は、前記画像表示エリアには、前記不適切要素を識別可能な形態で示した静止画像として、前記不適切要素を識別するための枠を重畳した静止画像が表示される構成とする In a second aspect of the invention, a still image superimposed with a frame for identifying the inappropriate element is displayed in the image display area as a still image showing the inappropriate element in an identifiable form. Configuration .

また、第の発明は、前記第1の審査結果表示エリアには、前記第1の記号の各々に対応する第2の記号が、前記不適切要素の各々に対応する前記判定結果に関連づけて表示される構成とする。これによると、審査者は、第1の記号及びそれに対応する第2の記号を参照することにより、広告用の映像の審査を効率的に実行することができる。 In the third invention , in the first examination result display area, second symbols corresponding to each of the first symbols are associated with the judgment results corresponding to each of the inappropriate elements. It is configured to be displayed as follows. According to this, the examiner can efficiently examine the advertisement video by referring to the first symbol and the corresponding second symbol.

また、第の発明は、前記審査前処理部は、前記映像構成要素としての音声を文字に変換して抽出し、前記画像表示エリアには、前記音声から変換された前記文字が、対応する前記静止画像に重畳して表示される構成とする。これによると、審査者は、映像構成要素としての音声に関する審査を適切に実行することができる。 In a fourth aspect of the invention, the pre-examination processing unit converts voice as the video component into characters and extracts them, and the characters converted from the voice correspond to the image display area. It is configured to be superimposed on the still image and displayed. According to this, the examiner can appropriately execute the examination regarding the sound as the video component.

また、第の発明は、前記学習モデルは、予め設定された複数の業界についてそれぞれ定められた業界ルールに基づき前記業界毎に生成された複数の業界学習モデル、前記映像を配信する媒体社について定められた媒体社ルールに基づき生成された媒体社学習モデル、及び前記複数の業界および前記媒体社に関わらず定められた共通ルールに基づき生成された共通学習モデルを含み、前記映像審査部は、前記複数の業界のうち前記映像の広告対象が属する少なくとも1つの業界に対応する前記業界学習モデル、前記媒体社学習モデル、及び前記共通学習モデルに基づき、前記判定結果を生成する構成とする。 In a fifth aspect of the invention, the learning model includes a plurality of industry learning models generated for each industry based on industry rules respectively defined for a plurality of preset industries, and a media company distributing the video. including a media company learning model generated based on defined media company rules, and a common learning model generated based on common rules defined regardless of the plurality of industries and the media companies, wherein the video screening unit, The determination result is generated based on the industry learning model, the media company learning model, and the common learning model corresponding to at least one industry to which the advertisement target of the video belongs among the plurality of industries.

これによると、広告用の映像の審査に適した複数の学習モデルに基づき、広告用の映像の審査を適切に実行することができる。 According to this, it is possible to properly examine the advertisement video based on a plurality of learning models suitable for the examination of the advertisement video.

また、第の発明は、広告用に制作された映像を審査する広告審査システムによる広告審査方法であって、審査対象の映像を取得し、前記映像に含まれる複数の映像構成要素の各々を抽出し、抽出された前記複数の映像構成要素の各々について、審査用の学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成し、前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力し、前記審査結果画面は、不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、を含み、前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される構成とする。 A sixth aspect of the invention is an advertisement screening method by an advertisement screening system for screening a video produced for advertisement, wherein the video to be reviewed is acquired, and each of a plurality of video components contained in the video is evaluated. extracting and judging whether each of the plurality of extracted video components is appropriate as an advertisement based on a learning model for examination, thereby generating a judgment result regarding the video, and conducting examination related to advertising examination of the video and outputting a screening result screen including the judgment result to the person, and the screening result screen shows a still image showing the inappropriate element, which is the video component judged to be inappropriate, in an identifiable form. an image display area to be displayed; a first examination result display area for displaying the judgment results for each of the inappropriate elements with respect to the still image; a second examination result display area in which comments are input , wherein a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area; Third symbols corresponding to each of the first symbols are displayed in the second examination result display area in association with comments by the examiner corresponding to each of the inappropriate elements. .

これによると、広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化することができる。 According to this, it is possible to improve the efficiency of the examination of advertisement images by making it possible for the examiner to easily use the examination results based on the learning model of the advertisement images.

また、第の発明は、広告用に制作された映像を審査する広告審査プログラムであって、審査対象の映像を取得する映像取得処理と、前記映像に含まれる複数の映像構成要素を抽出する審査前処理と、前記審査前処理によって抽出された前記複数の映像構成要素の各々について、審査用の学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成する映像審査処理と、前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力する審査結果出力処理と、をコンピュータに実行させ、前記審査結果画面は、不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、を含み、前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される構成とする。 A seventh aspect of the invention is an advertisement screening program for screening a video produced for an advertisement, comprising: a video acquisition process for acquiring a video to be reviewed; and extracting a plurality of video components contained in the video. Pre-examination processing, and video examination for generating a judgment result regarding the video by judging whether each of the plurality of video components extracted by the pre-examination processing is appropriate as an advertisement based on a learning model for examination. and a review result output process of outputting a review result screen including the determination result to the reviewer involved in reviewing the video advertisement, and determining that the review result screen is inappropriate. a first image display area for displaying a still image showing inappropriate elements, which are said video constituent elements, in an identifiable form; and a second examination result display area in which comments by the examiner on each of the inappropriate elements are input with respect to the still image , wherein the image display area contains the still image. are superimposed and displayed, and in the second examination result display area, third symbols corresponding to each of the first symbols are displayed in the It is configured to be displayed in association with the comments by the examiner corresponding to each of the inappropriate elements .

これによると、広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化することができる。 According to this, it is possible to improve the efficiency of the examination of advertisement images by making it possible for the examiner to easily use the examination results based on the learning model of the advertisement images.

以下、本開示の実施の形態を、図面を参照しながら説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.

図1は、本実施形態に係る広告審査システム1の全体構成図である。 FIG. 1 is an overall configuration diagram of an advertisement screening system 1 according to this embodiment.

広告審査システム1は、広告審査用サーバ3、ユーザ端末5、及び審査者端末7を含む。広告審査用サーバ3、ユーザ端末5、及び審査者端末7は、インターネット等の公知の通信ネットワーク9にそれぞれ接続されている。 The advertisement screening system 1 includes an advertisement screening server 3 , a user terminal 5 and an examiner terminal 7 . The advertisement screening server 3, user terminals 5, and examiner terminals 7 are each connected to a known communication network 9 such as the Internet.

広告審査用サーバ3は、広告用に制作された映像の広告としての適否を判定するための処理を実行する情報処理装置である。広告審査用サーバ3は、プロセッサ(CPU、MPU等)、メモリ、ディスプレイ、入力機器、ネットワークインタフェース、及びストレージ等の公知のハードウェアを適宜備える。なお、広告審査システム1で扱われる広告用の映像には、動画のみならず、複数の静止画(例えば、静止画をアニメーション化したもの)が含まれる。広告用の映像は、広告主からの依頼にしたがって広告会社によって製作される。その制作された映像は、広告審査用サーバ3による審査対象となる。 The advertisement screening server 3 is an information processing device that executes processing for determining whether a video produced for advertisement is appropriate as an advertisement. The advertisement screening server 3 appropriately includes known hardware such as a processor (CPU, MPU, etc.), memory, display, input device, network interface, and storage. Note that the advertisement images handled by the advertisement examination system 1 include not only moving images but also a plurality of still images (for example, animated still images). Advertising images are produced by advertising companies according to requests from advertisers. The produced video is subject to examination by the server 3 for advertisement examination.

ユーザ端末5は、広告会社(広告代理店)における広告用の映像の制作者等(以下、ユーザという。)によって使用される。ユーザ端末5としては、デスクトップPC(Personal Computer)、ノートPC、タブレット端末、及びスマートフォンなどの通信機能を有する公知のコンピュータが用いられる。なお、ユーザ端末5は、広告主によって利用されてもよい。 The user terminal 5 is used by an advertising video creator or the like (hereinafter referred to as a user) in an advertising company (advertising agency). As the user terminal 5, a known computer having a communication function such as a desktop PC (Personal Computer), a notebook PC, a tablet terminal, and a smart phone is used. Note that the user terminal 5 may be used by an advertiser.

審査者端末7は、媒体社(メディアオーナー)における審査者(広告審査の担当者)によって使用される。媒体社は、広告サービスを提供する(すなわち、広告用の映像を放映する)ための広告媒体を所有する。また、媒体社では、放映対象の映像について広告としての適否が審査される。審査者端末7としては、デスクトップPC、ノートPC、タブレット端末、及びスマートフォンなどの公知のコンピュータが用いられる。なお、審査者端末7は、広告審査システム1の管理者によって使用されてもよい。なお、ここでは、広告用の映像を審査するということから「放映」という用語を使用しているが、用語「放映」は、不特定多数の視聴者に向けたコンテンツを配信することも含み、本願における権利解釈を限定するものではない。 The examiner terminal 7 is used by an examiner (person in charge of advertisement examination) at a media company (media owner). A media company owns advertising media for providing advertising services (that is, broadcasting videos for advertising). In addition, the media company examines the adequacy of the video to be aired as an advertisement. As the examiner terminal 7, a known computer such as a desktop PC, a notebook PC, a tablet terminal, and a smart phone is used. Note that the examiner terminal 7 may be used by an administrator of the advertisement examination system 1 . The term "broadcasting" is used here because it refers to the screening of advertisement videos, but the term "broadcasting" also includes the distribution of content to an unspecified number of viewers. It is not intended to limit the interpretation of rights in this application.

広告審査システム1において、広告審査用サーバ3、ユーザ端末5、及び審査者端末7の数や配置は、適宜変更可能である。また、広告審査用サーバ3は、必ずしも1つの装置で構成される必要はない。つまり、広告審査用サーバ3は、その複数の機能(例えば、後述する予備審査および本審査に関する処理)をそれぞれ実現可能な複数の装置(コンピュータ等)によって構成されてもよい。 In the advertisement examination system 1, the number and arrangement of the advertisement examination server 3, the user terminals 5, and the examiner terminals 7 can be changed as appropriate. Further, the advertisement screening server 3 does not necessarily have to be configured by one device. In other words, the advertisement screening server 3 may be composed of a plurality of devices (computers, etc.) each capable of implementing a plurality of functions thereof (for example, processes related to preliminary screening and main screening, which will be described later).

以下に説明するように、広告審査用サーバ3は、ユーザに事前に審査結果の少なくとも一部を知らせるために、映像の広告としての適否を予備的に審査する予備審査を実行することができる。また、広告審査用サーバ3は、予備審査によって審査済みの映像(以下、予備審査済み映像という。)について、審査者による判断を加えて広告としての適否を審査する本審査を実行することができる。通常、予備審査済み映像では、上述の予備審査で不適切であると判定された映像構成要素(審査対象の映像を構成する要素)の少なくとも一部はユーザによって修正済みである。映像構成要素には、静止画像、文字、及び音声のうちの少なくとも1つが含まれる。 As will be described below, the advertisement screening server 3 can perform a preliminary screening for preliminarily screening the suitability of a video as an advertisement in order to notify the user of at least a part of the screening results in advance. In addition, the advertisement screening server 3 can carry out a final examination for judging whether or not a video that has been screened by a preliminary screening (hereinafter referred to as a pre-screened video) is judged as an advertisement by an examiner. . Typically, in a pre-screened video, at least some of the video components (elements that make up the video to be screened) that were determined to be inappropriate in the above-described preliminary screening have been modified by the user. The video component includes at least one of still images, text, and audio.

広告審査用サーバ3における予備審査の処理は、予め準備された複数の学習モデル(またはそれらから選択された少なくとも1つの学習モデル)に基づいて実行される。学習モデルは、機械学習によって生成することができる。機械学習には、ニューラルネットワーク、サポートベクターマシン、ロジスティック回帰、ランダムフォレスト、及び線形回帰などの公知のアルゴリズムが用いられ得る。また、広告審査用サーバ3における本審査の処理(審査者による審査を除く)は、予備審査の処理と同様に、複数の学習モデルに基づいて実行される。 The preliminary screening process in the advertisement screening server 3 is executed based on a plurality of prepared learning models (or at least one learning model selected from them). A learning model can be generated by machine learning. Machine learning may use known algorithms such as neural networks, support vector machines, logistic regression, random forests, and linear regression. Further, the main examination process (excluding the examination by the examiner) in the advertisement examination server 3 is executed based on a plurality of learning models, like the preliminary examination process.

図2は、図1に示した広告審査システム1における映像の予備審査の概要を示す説明図である。 FIG. 2 is an explanatory diagram showing an overview of preliminary screening of video in the advertisement screening system 1 shown in FIG.

広告審査システム1の予備審査では、ユーザから入稿された(例えば、ユーザ端末5から広告審査用サーバ3に送信された)審査対象の映像に対して、共通ルール審査(ST1001)が実施される。共通ルール審査は、共通学習モデルを用いて実行される。 In the preliminary screening of the advertisement screening system 1, the common rule screening (ST1001) is performed on the video to be screened submitted by the user (for example, transmitted from the user terminal 5 to the advertisement screening server 3). . Common rule screening is performed using a common learning model.

共通学習モデルは、共通ルールに関するデータセットを教師データとした学習によって生成される。共通ルールは、広告主(または広告対象の商品・サービス)が属する業界や、媒体社(または広告媒体)に関わらず一般的に守るべきルールを含む。例えば、共通ルールは、法令違反であること、公の秩序または善良の風俗に反すること、特定の政治、思想、又は宗教に関すること、虚偽または誇大な表現により誤認を与えること、侮辱的または差別的な表現であること、及びプライバシーの侵害にあたることなどを回避する(すなわち、広告として不適切であると判断する)ために設定される。 A common learning model is generated by learning using a data set related to common rules as teacher data. Common rules include rules that should be generally observed regardless of the industry to which the advertiser (or advertised product or service) belongs or the media company (or advertising medium). For example, common rules include things that violate laws and regulations, things that go against public order or good morals, things that are related to specific politics, ideas, or religions, things that mislead people with false or exaggerated expressions, and things that are insulting or discriminatory. It is set in order to avoid inappropriate expressions and to avoid infringement of privacy (that is, it is determined to be inappropriate as an advertisement).

次に、共通ルール審査の結果が判定される(ST1002)。そこで、共通ルール審査の結果、審査対象の映像が広告として適切であると判定された場合には、続いて業界ルール審査(ST1003)が実施される。業界ルール審査は、映像の広告対象が属する業界に対応する業界学習モデルを用いて実行される。つまり、業界学習モデルは、業界毎に準備された複数の学習モデルのうち、映像の広告対象が属する業界に対応する業界ルールに基づき生成された業界学習モデルである。業界ルール審査では、例えば、A業界に関する広告については、A業界用の学習モデルに基づくA業界ルール審査が実施され、また、B業界に関する広告については、B業界用の学習モデルに基づくB業界ルール審査が実施される。 Next, the result of common rule examination is judged (ST1002). Therefore, when it is determined that the image to be examined is appropriate as an advertisement as a result of the common rule examination, the industry rule examination (ST1003) is subsequently carried out. Industry rule screening is performed using an industry learning model corresponding to the industry to which the video's advertising target belongs. That is, the industry learning model is an industry learning model generated based on the industry rule corresponding to the industry to which the video advertisement target belongs, among the plurality of learning models prepared for each industry. In industry rule screening, for example, advertisements related to industry A are screened for industry A rules based on the learning model for industry A, and advertisements for industry B are screened for industry B rules based on the learning model for industry B. A review is carried out.

業界学習モデルは、業界について定められた業界ルールに関するデータセットを教師データとした学習によって生成される。そのような業界には、例えば、医薬品業界、医療機器業界、化粧品業界、不動産業界、教育業界、金融業界、通信販売業界、及び旅行業界などが含まれる。 The industry learning model is generated by learning using a data set related to industry rules defined for the industry as training data. Such industries include, for example, the pharmaceutical industry, the medical device industry, the cosmetics industry, the real estate industry, the education industry, the financial industry, the mail order industry, and the travel industry.

例えば、化粧品に関する広告用の映像は、化粧品業界の業界ルールに関するデータセットを教師データとして生成された学習モデルに基づき審査される。化粧品業界の業界ルールには、承認や許可を受けていない販売名を使用すること、一般的名称以外の名称を使用すること、効能効果等に関する表現について未承認であることなどを回避するために設定されたルールが含まれる。他の業界の学習モデルについても、各業界特有のルールの違いがあることを除けば化粧品業界の場合と同様である。 For example, advertisement videos about cosmetics are judged based on a learning model generated using a data set about industry rules of the cosmetics industry as training data. To avoid the use of brand names that have not been approved or permitted, the use of names other than generic names, and unapproved expressions regarding efficacy and effects, etc. Contains the configured rules. The learning models for other industries are similar to those for the cosmetics industry, except that there are differences in the rules specific to each industry.

次に、業界ルール審査の結果が判定される(ST1004)。そこで、業界ルール審査の結果、審査対象の映像が広告として適切であると判定された場合には、続いて媒体社ルール審査(ST1005)が実施される。媒体社ルール審査は、媒体社学習モデルを用いて実行される。 Next, the result of industry rule examination is judged (ST1004). As a result of industry rule examination, therefore, when it is determined that the image to be examined is appropriate as an advertisement, media company rule examination (ST1005) is carried out. The publisher rule review is performed using the publisher learning model.

媒体社学習モデルは、広告を放映する媒体社によって定められた媒体社ルールに関するデータセットを教師データとした学習によって生成される。例えば、媒体社ルールには、各広告媒体が設置された場所に応じて、特定の業界の広告の放映を禁止するためのルールや、特定の商品・サービスに関する広告の放映を禁止するためのルールなどが含まれる。なお、媒体社学習モデルは、広告を放映する媒体社毎に準備される。広告審査用サーバ3では、複数の媒体社にそれぞれ対応する媒体社学習モデルが予め格納されてもよい。 The media company learning model is generated by learning using, as training data, a data set related to media company rules established by the media company that broadcasts the advertisement. For example, media company rules include rules for prohibiting the airing of advertisements for specific industries and rules for prohibiting the airing of advertisements for specific products and services depending on the location where each advertising medium is installed. and so on. Note that the media company learning model is prepared for each media company that broadcasts advertisements. In the advertisement screening server 3, media company learning models corresponding to a plurality of media companies may be stored in advance.

次に、媒体社ルール審査の結果が判定される(ST1006)。その後、審査結果処理(ST1007)が実施される。審査結果処理では、共通ルール審査、業界ルール審査、及び、媒体社ルール審査の結果がアーカイブされる(ST1008)。また、それらの審査結果は、映像を入稿したユーザに通知される(ST1009)。さらに、共通ルール審査、業界ルール審査、及び媒体社ルール審査のいずれかにおいて、映像構成要素の少なくとも一部が広告として適切であると判定された場合には、審査結果の通知と共に、ユーザに映像の修正を促すための再入稿指示(ST1010)がなされる。 Next, the result of media company rule examination is determined (ST1006). Thereafter, examination result processing (ST1007) is performed. In examination result processing, the results of common rule examination, industry rule examination, and media company rule examination are archived (ST1008). In addition, the results of these examinations are notified to the user who submitted the video (ST1009). Furthermore, if at least a part of the video component is judged to be appropriate as an advertisement in any of the common rule review, industry rule review, and media company rule review, the video will be sent to the user along with notification of the review results. A re-submitting instruction (ST1010) is issued to prompt correction of the .

なお、共通ルール審査または業界ルール審査において、映像構成要素の少なくとも一部が広告として適切であると判定された場合には、次の審査に進むことなく審査結果処理(ST1007)が行われてもよい(図2中の破線の矢印を参照)。これにより、ユーザは、全ての審査結果を待つことなく、広告用の映像の修正に着手することが可能となる。 It should be noted that if at least a part of the video component is determined to be appropriate as an advertisement in the common rule examination or the industry rule examination, even if examination result processing (ST1007) is performed without proceeding to the next examination. good (see dashed arrow in FIG. 2). This allows the user to start modifying the advertising video without waiting for all review results.

図2では、共通ルール審査、業界ルール審査、及び媒体社ルール審査の順に実施される例を示したが、これに限らず、それらの審査の順序は適宜変更することができる。 FIG. 2 shows an example in which common rule examination, industry rule examination, and media company rule examination are performed in this order, but the order of these examinations can be changed as appropriate.

本開示では広告用の映像の審査に適した学習モデルとして共通ルールに関する共通学習モデル、業界ルールに関する業界学習モデル、及び媒体社ルールに関する媒体社学習モデルを適例として挙げているが、広告用の映像の審査が可能な所定のルールに基づく学習モデルであれば、これらに限定されない。 In this disclosure, a common learning model for common rules, an industry learning model for industry rules, and a media company learning model for media company rules are cited as examples of learning models suitable for judging videos for advertising. The learning model is not limited to these as long as it is a learning model based on a predetermined rule that allows video screening.

図3は、図2に示した予備審査の変形例を示す説明図である。図3では、図2に示したものと同様の構成要素については、同一の符号が付されている。また、変形例に関し、以下で特に言及しない事項については、上述と同様であるため、詳細な説明を省略する。 FIG. 3 is an explanatory diagram showing a modification of the preliminary examination shown in FIG. In FIG. 3, the same symbols are attached to the same components as those shown in FIG. In addition, regarding the modified examples, details that are not specifically mentioned below are the same as those described above, and detailed description thereof will be omitted.

図3に示すように、ユーザは、審査対象の映像を入稿する際に、共通ルール審査、業界ルール審査、及び媒体社ルール審査のうちの1つを選択して予備審査を実行することができる。 As shown in FIG. 3, when submitting a video to be reviewed, the user can select one of common rule review, industry rule review, and media company rule review to perform a preliminary review. can.

例えば、ユーザが、共通ルールおよび広告が属する業界の業界ルールを十分に把握している場合、製作された映像は、共通ルール審査および業界ルール審査において不適切であると判定される映像構成要素を含む可能性は低い。そのような場合、ユーザは、媒体社ルール審査を選択し、その審査結果のみを取得することができる。仮に、製作された映像が、共通ルール審査および業界ルール審査に関して不適切な映像構成要素を含む場合であっても、それらの不適切な映像構成要素は、後の本審査において抽出され得る。 For example, if the user fully understands the common rules and the industry rules of the industry to which the advertisement belongs, the produced video will include video components that are determined to be inappropriate in the common rules review and the industry rules review. unlikely to contain. In such a case, the user can select publisher rule review and obtain only the result of that review. Even if the produced video contains video components inappropriate for the common rules review and the industry rules review, those inappropriate video components may be extracted later in the main review.

このように、変形例では、ユーザが選択した1つの学習モデルに基づき審査が実行されることにより、予備審査がより効率化される。 Thus, in the modified example, the preliminary examination is made more efficient by performing the examination based on one learning model selected by the user.

図4は、図1に示した広告審査システムにおける映像の本審査の概要を示す説明図である。 FIG. 4 is an explanatory diagram showing the outline of the main examination of the video in the advertisement examination system shown in FIG.

広告審査システム1の本審査では、ユーザから入稿された予備審査済み映像に対して、審査スルー判定(ST2001)が実施される。審査スルー判定では、過去に広告として放映実績のある映像が、審査対象から除外される(すなわち、広告として適切であると判定される)。審査スルー判定は、必要に応じて審査者が実行してもよい。 In the main examination by the advertisement examination system 1, the examination through judgment (ST2001) is performed on the pre-examined video submitted by the user. In screening through determination, videos that have been aired as advertisements in the past are excluded from screening (that is, they are determined to be appropriate as advertisements). Examination through determination may be performed by the examiner as necessary.

過去に広告として放映実績のない映像については、続いて掲出規制判定(ST2002)が実施される。掲出規制判定では、広告としての品位や倫理観に基づき、広告として不適切な映像が放映対象から除外される。掲出規制判定は、必要に応じて審査者が実行してもよい。 For videos that have not been aired as advertisements in the past, display restriction determination (ST2002) is subsequently carried out. In the publication regulation determination, videos inappropriate as advertisements are excluded from broadcasting targets based on the dignity and ethics of advertisements. The posting restriction determination may be performed by the examiner as necessary.

掲出規制判定において適切であると判定された映像については、予備審査における共通ルール審査(ST1001)及び共通ルール結果判定(ST1002)とそれぞれ同様に、共通ルール審査(ST2003)が実行され、その共通ルール審査の結果が判定される(ST2004)。更に、予備審査における業界ルール審査(ST1003)及び業界ルール結果判定(ST1004)、並びに媒体社ルール審査(ST1005)及び媒体社ルール結果判定(ST1006)とそれぞれ同様に、業界ルール審査(ST2005)及び業界ルール結果判定(ST2006)、並びに媒体社ルール審査(ST2007)及び媒体社ルール結果判定(ST2008)が実行される。 For videos determined to be appropriate in the posting regulation determination, the common rule review (ST2003) is executed in the same manner as the common rule review (ST1001) and the common rule result determination (ST1002) in the preliminary review, and the common rule is determined. The examination result is determined (ST2004). Furthermore, industry rule examination (ST2005) and industry rule examination (ST2005) and industry rule examination (ST1005) and industry rule examination (ST1005) and industry rule examination (ST1004) and media company rule examination (ST1005) and media company rule examination (ST1006), respectively, in the preliminary examination. Rule result determination (ST2006), media company rule examination (ST2007), and media company rule result determination (ST2008) are executed.

その後、共通ルール結果判定、業界ルール結果判定、及び媒体社ルール結果判定の結果をまとめる総合判定(ST2009)が実行される。その後、その総合判定の結果(すなわち、各学習モデルに基づく審査によって不適切であると判定された映像構成要素の有無)を参照しながら、審査者による審査(映像の視聴)が実施される(ST2010)。 After that, comprehensive judgment (ST2009) is executed to summarize the results of common rule result judgment, industry rule result judgment, and media company rule result judgment. After that, the examiner reviews (views the video) while referring to the results of the overall judgment (that is, the presence or absence of video components determined to be inappropriate by the review based on each learning model). ST2010).

審査者による審査で映像が承認される(すなわち、広告として適切であると判断される)と、総量規制判定(ST2011)が実行される。総量規制判定では、審査対象となる映像が、同時期に放映される他の広告用の映像を含めて、広告の放映時間や放映量(数)に関する総量判定基準の上限を超えているか否かが判定される。ここで、審査対象の映像が総量判定基準を満たさない場合、広告として適切な映像であっても、放映対象からは除外される。総量規制判定は、必要に応じて審査者が実行してもよい。 If the video is approved by the reviewer (that is, determined to be appropriate as an advertisement), total volume restriction determination (ST2011) is executed. In judging the total volume regulation, whether or not the video subject to examination, including other advertising videos aired at the same time, exceeds the upper limit of the total volume judging criteria regarding the advertisement airing time and airing volume (number). is determined. Here, if the video to be screened does not satisfy the total amount criteria, even if the video is suitable as an advertisement, it is excluded from being broadcast. The total volume control determination may be performed by the examiner as necessary.

その後、予備審査における審査結果処理(ST1007)と同様に、審査結果処理(ST2012)が実施される。審査結果処理では、予備審査と同様の審査結果のアーカイブ(ST2013)、審査結果通知(ST2014)、及び再入稿指示(ST2015)が実行される。加えて、本審査における審査結果処理では、学習データ生成(ST2016)が実行される。なお、審査者による審査において、広告として不適切な映像構成要素(以下、不適切要素という。)が抽出された場合、総量規制判定が実行されることなく、審査結果処理がなされてもよい(図4中の破線の矢印を参照)。 Thereafter, examination result processing (ST2012) is performed in the same manner as the examination result processing (ST1007) in the preliminary examination. In the examination result processing, archiving of examination results (ST2013), notification of examination results (ST2014), and resubmission instruction (ST2015) are executed as in the preliminary examination. In addition, learning data generation (ST2016) is executed in the examination result processing in the main examination. In the examination by the examiner, if video components inappropriate for advertisement (hereinafter referred to as "inappropriate elements") are extracted, examination result processing may be performed without execution of total volume control judgment ( See dashed arrow in FIG. 4).

学習データ生成では、アーカイブされた審査結果(例えば、本審査において広告として不適切と判定された映像構成要素)のデータに基づき、各学習モデルに対する教師データが生成される。学習データ生成では、共通ルール審査、業界ルール審査、及び媒体社ルール審査の結果が、それぞれ共通学習モデル、業界学習モデル、媒体社学習モデルのための教師モデルの生成に利用される。そのような教師データを利用して各学習モデルが適宜再学習されることにより、予備審査および本審査をより精度よく実行することが可能となる。 In the learning data generation, teacher data for each learning model is generated based on data of archived examination results (for example, video components determined to be inappropriate as advertisements in the final examination). In learning data generation, the results of the common rule review, industry rule review, and media company rule review are used to generate teacher models for the common learning model, industry learning model, and media company learning model, respectively. By appropriately relearning each learning model using such teaching data, it becomes possible to perform the preliminary examination and the main examination with higher accuracy.

図4では、予備審査で使用した全ての学習モデルを用いて本審査が実行される例が示されている。ただし、本審査はそのような態様には限定されない。 FIG. 4 shows an example in which the main examination is performed using all the learning models used in the preliminary examination. However, this examination is not limited to such a mode.

本審査では、予め準備された複数の学習モデルのうち予備審査で使用されていない全ての学習モデルが用いられてもよい。例えば、媒体社学習モデルのみを使用して予備審査が実施された場合(すなわち、予備審査において媒体社ルール審査のみが実施された場合)、本審査では、予備審査において使用されていない学習モデルである共通学習モデル及び業界学習モデルを全て使用する(すなわち、共通ルール審査および業界ルール審査を実施する)ことができる。或いは、本審査では、予備審査において使用されていない学習モデルの一部が用いられてもよい(例えば、予備審査で実施されていない共通ルール審査および業界ルール審査の一方が実施されてもよい)。また、予備審査において使用されていない少なくとも1つの学習モデルと共に予備審査において使用された学習モデルとを合わせて用いてもよい。(例えば、媒体社学習モデルのみを使用して予備審査が実施された場合、本審査では、予備審査で使用された媒体社学習モデルと予備審査において使用されていない学習モデルである共通学習モデルまたは業界学習モデルとを合わせて使用することができる)。 In the final screening, all learning models that have not been used in the preliminary screening may be used among the multiple learning models prepared in advance. For example, if the preliminary screening was conducted using only the publisher learning model (i.e., if only the publisher rule screening was conducted in the preliminary screening), the learning model that was not used in the preliminary screening will be used in the main screening. Certain common learning models and industry learning models can all be used (i.e., perform common rules review and industry rules review). Alternatively, part of the learning model that was not used in the preliminary examination may be used in the main examination (for example, one of the common rule examination and the industry rule examination that were not conducted in the preliminary examination may be conducted). . Also, at least one learning model not used in the preliminary screening may be used in combination with the learning model used in the preliminary screening. (For example, if the preliminary screening was conducted using only the media company learning model, in the main screening, the learning model used in the preliminary screening and the common learning model, which is the learning model not used in the preliminary screening, or (can be used in conjunction with industry learning models).

図5は、図1に示した広告審査用サーバ3の機能ブロック図である。 FIG. 5 is a functional block diagram of the advertisement screening server 3 shown in FIG.

広告審査用サーバ3は、通信部11、記憶部13、及び制御部15を有する。 The advertisement screening server 3 has a communication section 11 , a storage section 13 and a control section 15 .

通信部11は、通信ネットワーク9を介して他の装置(ここでは、ユーザ端末5および審査者端末7)と通信を行うためのネットワークインタフェースを備える。広告審査用サーバ3は、ユーザ端末5や審査者端末7と通信することにより、審査対象となる映像データの送受信や、審査結果の送受信等を行うことができる。 The communication unit 11 includes a network interface for communicating with other devices (the user terminal 5 and the examiner terminal 7 here) via the communication network 9 . By communicating with the user terminal 5 and the examiner terminal 7, the advertisement examination server 3 can transmit and receive image data to be examined, transmit and receive examination results, and the like.

記憶部13は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの記憶装置を含む。記憶部13には、学習モデル21、審査対象映像23、予備審査結果25、及び本審査結果27等の情報やデータが格納される。学習モデル21には、共通学習モデル31、業界学習モデル33、及び媒体社学習モデル35等の複数の学習モデルが含まれる。 The storage unit 13 includes storage devices such as HDDs (Hard Disk Drives) and SSDs (Solid State Drives). The storage unit 13 stores information and data such as a learning model 21, a video to be screened 23, a preliminary screening result 25, a final screening result 27, and the like. The learning model 21 includes a plurality of learning models such as a common learning model 31 , an industry learning model 33 , and a media company learning model 35 .

制御部15は、映像取得部41、予備審査部43、本審査部45、及び学習データ生成部47を備える。 The control unit 15 includes an image acquisition unit 41 , a preliminary examination unit 43 , a main examination unit 45 and a learning data generation unit 47 .

映像取得部41は、ユーザ端末5から送信される広告用の映像(予備審査済み映像を含む)を取得し、審査対象映像23として記憶部13に記憶する。 The image acquisition unit 41 acquires advertisement images (including pre-screened images) transmitted from the user terminal 5 and stores them in the storage unit 13 as images 23 to be screened.

予備審査部43は、第1の審査前処理部51、第1の映像審査部53、第1の審査結果出力部55、及び第1の審査結果通知部57を備える。 The preliminary examination section 43 includes a first examination preprocessing section 51 , a first video examination section 53 , a first examination result output section 55 , and a first examination result notification section 57 .

第1の審査前処理部51は、審査対象の映像を構成する各フレーム(静止画像)に含まれる画像および文字や、映像中の音声を抽出する処理を実行する。映像から画像、文字、及び音声を抽出する処理には、公知の手法を用いることができる。それらのフレーム、それに含まれる画像および文字、ならびに音声は、審査対象の映像の映像構成要素である。更に、第1の審査前処理部51は、抽出した音声をテキスト情報に変換する処理を行い、その変換したテキスト情報を映像構成要素として取得することができる。そのような映像構成要素は、それぞれ画像、文字、及び音声等に関する特徴量の情報として取得されてもよい。 The first pre-examination processing unit 51 executes a process of extracting images and characters included in each frame (still image) constituting a video to be examined, and audio in the video. A known method can be used for the process of extracting images, characters, and sounds from video. Those frames, the images and text they contain, and the audio are the visual components of the video being judged. Furthermore, the first pre-examination processing unit 51 can convert the extracted voice into text information, and acquire the converted text information as a video component. Such video components may be obtained as information of feature amounts related to images, characters, sounds, and the like.

第1の映像審査部53は、学習モデル21に基づく映像の審査(以下、AI審査という。)を実行する。そのような映像の審査には、上述の共通ルール審査、業界ルール審査、及び媒体社ルール審査が含まれる。第1の映像審査部53は、第1の審査前処理部51によって取得された各映像構成要素について、広告としての適否を判定することにより、その判定結果(AI審査の結果またはAI審査結果とも言う。以下同じ)を含む審査結果(予備審査結果25)を生成する。ここで用いられる学習モデルは、実行される審査の種類(ここでは、共通ルール審査、業界ルール審査、媒体社ルール審査のいずれか)に応じて適宜変更される。例えば、共通ルール審査(図2参照)では、共通学習モデル31を用いて各映像構成要素の広告としての適否が判定される。 The first video screening unit 53 performs video screening (hereinafter referred to as AI screening) based on the learning model 21 . Reviews of such videos include common rule reviews, industry rule reviews, and publisher rule reviews as described above. The first video examination unit 53 determines whether each video component acquired by the first pre-examination processing unit 51 is appropriate as an advertisement, and obtains the judgment result (AI examination result or AI examination result). The same shall apply hereinafter) to generate an examination result (preliminary examination result 25). The learning model used here is appropriately changed according to the type of examination to be executed (here, either common rule examination, industry rule examination, or media company rule examination). For example, in the common rule examination (see FIG. 2), the common learning model 31 is used to determine the adequacy of each video component as an advertisement.

第1の審査結果出力部55は、第1の映像審査部53によって広告として不適切であると判定された映像構成要素に関する情報を、ユーザに確認可能な態様で審査結果として出力する。例えば、第1の審査結果出力部55は、第1の審査前処理部51による判定結果を含む審査結果画面を生成し、予備審査結果25の一部として記憶部13に記憶する。ユーザは、広告審査用サーバ3にアクセスすることにより、その審査結果画面をユーザ端末5に表示させることができる。 The first screening result output unit 55 outputs, as screening results, information on video constituent elements that have been determined by the first video screening unit 53 to be inappropriate as advertisements in a user-confirmable manner. For example, the first examination result output unit 55 generates an examination result screen including the judgment result by the first examination preprocessing unit 51 and stores it in the storage unit 13 as part of the preliminary examination result 25 . The user can display the screening result screen on the user terminal 5 by accessing the advertisement screening server 3 .

第1の審査結果通知部57は、第1の審査前処理部51による審査結果に関する情報を含む審査結果通知を生成する。第1の審査結果通知部57は、電子メール等の公知のコミュニケーションツールを利用して、その審査結果通知をユーザ端末5に対して送信する(すなわち、ユーザに通知する)ことができる。第1の審査結果通知部57は、電子メールを利用する場合、予め設定されたアドレスに対して審査結果通知を送信することができる。また、例えばSNS(Social Networking Service)のメッセージやチャットアプリ等の電子的な手段を利用する場合、予め設定された宛先(アカウント)に対して審査結果通知を送ることができる。 The first examination result notification unit 57 generates an examination result notification including information on the examination result by the first pre-examination processing unit 51 . The first examination result notification unit 57 can transmit the examination result notification to the user terminal 5 (that is, notify the user) using a known communication tool such as e-mail. When using e-mail, the first examination result notification unit 57 can transmit an examination result notification to a preset address. Further, for example, when electronic means such as SNS (Social Networking Service) messages or chat applications are used, it is possible to send examination result notifications to preset destinations (accounts).

なお、第1の映像審査部53は、複数の学習モデル(ここでは、共通学習モデル31、業界学習モデル33、及び媒体社学習モデル35)に基づく審査を予め設定された所定の順序で実行することにより、それら学習モデル毎の予備審査結果を生成してもよい。このとき、第1の審査結果出力部55は、ユーザに対して学習モデル毎の予備審査結果を順次出力することができる。例えば、第1の審査結果出力部55は、学習モデル毎の予備審査結果の1つに映像構成要素が広告として不適切であることを示す情報(判定結果)が含まれる場合には、当該予備審査結果(不適切な映像構成要素に関する情報を含む)を、直ちに(すなわち、他の学習モデルに基づく予備審査結果の生成が完了しているか否かに拘わらず)ユーザに対して出力することができる。また、このとき、第1の審査結果通知部57は、学習モデル毎の予備審査結果に関する情報を含む審査結果通知を生成し、それをユーザに対して順次送信することができる。例えば、第1の審査結果通知部57は、学習モデル毎の予備審査結果の1つに映像構成要素が広告として不適切であることを示す情報が含まれる場合には、当該予備審査結果に関する情報を含む審査結果通知を直ちに(すなわち、他の学習モデルに基づく予備審査結果の生成が完了しているか否かに拘わらず)生成し、それをユーザに対して直ちに送信することができる。 Note that the first video examination unit 53 executes examination based on a plurality of learning models (here, the common learning model 31, the industry learning model 33, and the media company learning model 35) in a predetermined order set in advance. By doing so, a preliminary examination result for each of these learning models may be generated. At this time, the first screening result output unit 55 can sequentially output preliminary screening results for each learning model to the user. For example, if one of the preliminary examination results for each learning model includes information (judgment result) indicating that the video component is inappropriate as an advertisement, the first examination result output unit 55 Judging results (including information about inappropriate video components) can be output to the user immediately (i.e., whether or not the generation of preliminary judging results based on other learning models has been completed). can. Also, at this time, the first examination result notification unit 57 can generate an examination result notification including information on the preliminary examination result for each learning model and sequentially transmit it to the user. For example, if one of the preliminary screening results for each learning model includes information indicating that the video component is inappropriate as an advertisement, the first screening result notifying unit 57 provides information about the preliminary screening result. immediately (i.e., regardless of whether or not the generation of preliminary screening results based on other learning models has been completed) and immediately send it to the user.

また、第1の映像審査部53は、審査対象の映像において少なくとも1つの映像構成要素を広告として不適切であると判定した場合、審査対象の映像における全ての映像構成要素の判定が終了する前に予備審査結果を生成してもよい。このとき、第1の審査結果出力部55は、ユーザに対して映像構成要素毎の予備審査結果を順次出力することができる。例えば、第1の審査結果出力部55は、予備審査結果に映像構成要素が広告として不適切であることを示す情報(判定結果)が含まれる場合には、当該予備審査結果(不適切な映像構成要素に関する情報を含む)を、直ちにユーザに対して出力することができる。また、このとき、第1の審査結果通知部57は、映像構成要素毎に予備審査結果に関する情報を含む審査結果通知を生成し、それをユーザに対して順次送信することができる。例えば、第1の審査結果通知部57は、予備審査結果に映像構成要素が広告として不適切であることを示す情報が含まれる場合には、直ちに当該予備審査結果に関する情報を含む審査結果通知を生成し、それをユーザに対して直ちに送信することができる。 In addition, if the first video screening unit 53 determines that at least one video component in the video to be reviewed is inappropriate as an advertisement, the first video screening unit 53 may generate a preliminary examination result. At this time, the first screening result output unit 55 can sequentially output preliminary screening results for each video component to the user. For example, if the preliminary screening result includes information (determination result) indicating that the video component is inappropriate as an advertisement, the first screening result output unit 55 outputs the preliminary screening result (inappropriate video (including information about the components) can be immediately output to the user. Also, at this time, the first screening result notification unit 57 can generate screening result notification including information on the preliminary screening result for each video component and sequentially transmit it to the user. For example, if the preliminary examination result includes information indicating that the video component is inappropriate as an advertisement, the first examination result notification unit 57 immediately notifies the examination result including the information regarding the preliminary examination result. can be generated and sent to the user immediately.

本審査部45は、第2の審査前処理部61、第2の映像審査部63、第2の審査結果出力部65、及び第2の審査結果通知部67を備える。これら第2の審査前処理部61、第2の映像審査部63、第2の審査結果出力部65、及び第2の審査結果通知部67は、以下で言及する事項を除けば、予備審査部43における第1の審査前処理部51、第1の映像審査部53、第1の審査結果出力部55、及び第1の審査結果通知部57とそれぞれ同様の機能を有する。 The main examination section 45 includes a second examination preprocessing section 61 , a second image examination section 63 , a second examination result output section 65 and a second examination result notification section 67 . The second examination preprocessing section 61, the second image examination section 63, the second examination result output section 65, and the second examination result notification section 67 are the preliminary examination section except for the matters mentioned below. It has the same functions as the first examination preprocessing section 51, the first image examination section 53, the first examination result output section 55, and the first examination result notification section 57 in 43, respectively.

本審査部45では、予備審査済み映像が審査対象となる。予備審査済み映像は、ユーザ端末5から送信され、映像取得部41によって取得される。ただし、予備審査において、指摘事項がない場合(すなわち、審査対象の映像が不適切要素を含まないと判定された場合)には、ユーザからの予備審査済み映像の送信が省略され、予備審査後の映像がそのまま審査対象とされてもよい。また、入稿において過去に予備審査済みの映像が少なくとも一部含まれる場合、入稿ユーザの判断で予備審査を行わないで本審査から開始してもよい。 In the main examination section 45, the pre-examined video is subject to examination. The pre-screened video is transmitted from the user terminal 5 and acquired by the video acquisition unit 41 . However, if there are no items pointed out in the preliminary screening (that is, if it is determined that the video to be reviewed does not contain inappropriate elements), the transmission of the pre-screened video from the user will be omitted, and after the preliminary screening The video may be used as it is for judging. In addition, if at least part of a video that has been preliminarily screened in the past is included in the manuscript submission, the manuscript submission user may decide to skip the preliminary screening and start from the main screening.

第2の映像審査部63は、第1の映像審査部53と同様に、予備審査済み映像についてAI審査を実行する。また、第2の映像審査部63は、AI審査に加え、予備審査結果の情報を含む本審査画面(図11参照)を利用して審査者に映像の審査を実行させることができる。また、第2の映像審査部63は、審査スルー判定、掲出規制判定、及び総量規制判定(図4参照)を適宜実行することができる。 The second video examination section 63 performs AI examination on the pre-screened video in the same manner as the first video examination section 53 . In addition to the AI examination, the second video examination section 63 can also allow the examiner to perform the examination of the video using the main examination screen (see FIG. 11) including information on the results of the preliminary examination. In addition, the second image examination section 63 can appropriately execute examination through judgment, notice regulation judgment, and total volume regulation judgment (see FIG. 4).

第2の審査結果出力部65は、第2の映像審査部63によって広告として不適切であると判定された映像構成要素に関する情報を、審査者に確認可能な態様で審査結果として出力する。例えば、第2の審査結果出力部65は、第2の映像審査部63によるAI審査の結果を含む本審査画面(図11参照)を生成し、審査者からの要求に応じてそれを出力(例えば、審査者端末7に表示)することができる。第2の審査結果出力部65は、AI審査および審査者による審査の結果を含む審査結果画面を生成し、本審査結果27として記憶部13に記憶する。 The second screening result output unit 65 outputs information on the video components determined by the second video screening unit 63 to be inappropriate as an advertisement as a screening result in a manner that can be confirmed by the reviewers. For example, the second examination result output unit 65 generates a main examination screen (see FIG. 11) including the result of the AI examination by the second video examination unit 63, and outputs it (see FIG. 11) in response to a request from the examiner. For example, it can be displayed on the examiner terminal 7). The second examination result output unit 65 generates an examination result screen including the results of the AI examination and the examination by the examiner, and stores it in the storage unit 13 as the final examination result 27 .

第2の審査結果通知部67は、第2の映像審査部63によるAI審査の結果に関する情報を含む審査結果通知を生成する。第2の審査結果通知部67は、電子メール等の公知のコミュニケーションツールを利用して、その審査結果通知を審査者端末7に対して送信する(すなわち、審査者に通知する)ことができる。第2の審査結果通知部67は、例えばSNS(Social Networking Service)のメッセージやチャットアプリ等の電子的な手段をコミュニケーションツールとして用いることができる。 The second examination result notification unit 67 generates an examination result notification including information on the results of AI examination by the second video examination unit 63 . The second examination result notification unit 67 can use a known communication tool such as e-mail to transmit the examination result notification to the examiner terminal 7 (that is, notify the examiner). The second examination result notification unit 67 can use electronic means such as SNS (Social Networking Service) messages and chat applications as communication tools.

学習データ生成部47は、本審査結果27に基づき、各学習モデルに対する教師データを生成する。生成された教師データは、学習モデル21と共に記憶部13に格納される。学習データ生成部47は、本審査結果27における共通ルール審査、業界ルール審査、及び媒体社ルール審査の結果を、それぞれ対応する共通学習モデル31、業界学習モデル33、及び媒体社学習モデル35のための教師モデルの生成に使用する。なお、学習データ生成部47は、生成した教師モデルのデータを用いて共通学習モデル31、業界学習モデル33、及び媒体社学習モデル35を更新(すなわち、再学習)する処理をおこなう再学習部として機能してもよい。 The learning data generation unit 47 generates teacher data for each learning model based on the final examination result 27 . The generated teacher data is stored in the storage unit 13 together with the learning model 21 . The learning data generation unit 47 uses the results of the common rule examination, the industry rule examination, and the media company rule examination in the main examination results 27 for the corresponding common learning model 31, industry learning model 33, and media company learning model 35. used to generate a teacher model for The learning data generation unit 47 is a re-learning unit that performs processing for updating (that is, re-learning) the common learning model 31, the industry learning model 33, and the media company learning model 35 using the generated teacher model data. may function.

制御部15は、ハードウェアとしての1以上のプロセッサ(CPU、MPU、GPUなど)を含む。上述の制御部15における各部の機能は、所定の制御プログラムをプロセッサが実行することで実現される。また、制御部15の機能の少なくとも一部は、プロセッサ以外の他のハードウェアと協働して実現され得る。 The control unit 15 includes one or more processors (CPU, MPU, GPU, etc.) as hardware. The function of each part in the control part 15 described above is realized by the processor executing a predetermined control program. Also, at least part of the functions of the control unit 15 can be realized in cooperation with hardware other than the processor.

図6は、図5に示した広告審査用サーバ3による予備審査処理の流れを示すフロー図である。 FIG. 6 is a flowchart showing the flow of preliminary examination processing by the advertisement examination server 3 shown in FIG.

広告審査用サーバ3は、審査対象の映像を取得すると(ST101)、共通学習モデル31に基づく審査(共通ルール審査)を実行する(ST102)。 When the advertisement examination server 3 acquires a video to be examined (ST101), it executes examination (common rule examination) based on the common learning model 31 (ST102).

ステップST102の審査において指摘事項がない(すなわち、広告として不適切であると判定された映像構成要素がない)場合(ST103でNo)、続いて、広告審査用サーバ3は、業界学習モデル33に基づく審査(業界ルール審査)を実行する(ST104)。 If there are no indications in the examination in step ST102 (that is, there is no video component that has been determined to be inappropriate as an advertisement) (No in ST103), then the advertisement examination server 3 instructs the industry learning model 33 to (ST104).

ステップST104の審査において指摘事項がない場合(ST105でNo)、続いて、広告審査用サーバ3は、媒体社学習モデル35に基づく審査(媒体社ルール審査)を実行する(ST106)。 If there are no indications in the examination of step ST104 (No in ST105), then the advertisement examination server 3 executes examination (media company rule examination) based on the media company learning model 35 (ST106).

ステップST106の審査において指摘事項がない場合(ST107でNo)、続いて、広告審査用サーバ3は、それらの審査結果をアーカイブする(ST108)。このとき、ステップST102、ST104、及びST106の審査で得られた結果が、予備審査結果25として記憶部13に格納される。その後、広告審査用サーバ3は、審査対象の映像を入稿したユーザ(例えば、ユーザ端末5)に対して審査結果を通知する(ST109)。この場合、審査結果の通知には、審査対象の映像が広告として適切であることを示す情報(例えば、メッセージ)が含まれる。 If there are no indications in the examination in step ST106 (No in ST107), then the advertisement examination server 3 archives those examination results (ST108). At this time, the results obtained in the examinations in steps ST102, ST104, and ST106 are stored in the storage section 13 as preliminary examination results 25. FIG. After that, the advertisement examination server 3 notifies the examination result to the user (for example, the user terminal 5) who submitted the image to be examined (ST109). In this case, the examination result notification includes information (for example, a message) indicating that the image to be examined is appropriate as an advertisement.

なお、ステップST103、ST105、及びST107において指摘事項がある場合(Yes)においても、ステップST108と同様に、それらの審査結果(指摘事項を含む)がアーカイブされる構成としてもよい。 Note that even if there are any indications in steps ST103, ST105, and ST107 (Yes), the examination results (including the indications) may be archived in the same manner as in step ST108.

一方、ステップST102の審査において指摘事項がある場合(ST103でYes)、広告審査用サーバ3は、残りの審査(ここでは、ステップST104、ST105)を実行することなく、審査対象の映像を入稿したユーザに対して審査結果を通知する(ST109)。この場合、審査対象の映像には、広告として不適切であると判定された映像構成要素が含まれている。したがって、審査結果の通知には、ユーザに映像の再入稿を指示する(すなわち、映像を修正して再審査する必要があることを知らせる)情報(例えば、メッセージ)が含まれる。 On the other hand, if there are items pointed out in the examination in step ST102 (Yes in ST103), the advertisement examination server 3 submits the video to be examined without executing the remaining examinations (here, steps ST104 and ST105). The examination result is notified to the user who has done so (ST109). In this case, the video under review includes video components that have been determined to be inappropriate for advertising. Therefore, the examination result notification includes information (for example, a message) instructing the user to resubmit the video (that is, notifying that the video needs to be corrected and re-examined).

なお、ステップST102、ST104、及びST106の審査の順序は適宜変更され得る。 Note that the order of examination in steps ST102, ST104, and ST106 may be changed as appropriate.

図7は、図6に示した予備審査処理の変形例を示す説明図である。 FIG. 7 is an explanatory diagram showing a modification of the preliminary examination process shown in FIG.

広告審査用サーバ3は、審査対象の映像を取得すると(ST201)、ユーザの選択に基づき審査で利用する1つの学習モデルを選択する(ST202)。本実施形態では、審査で利用する学習モデルとして、共通学習モデル31、業界学習モデル33、及び媒体社学習モデル35のいずれかが選択される。 When the advertisement examination server 3 acquires the video to be examined (ST201), it selects one learning model to be used in examination based on the user's selection (ST202). In this embodiment, one of the common learning model 31, the industry learning model 33, and the media company learning model 35 is selected as the learning model used in the examination.

次に、広告審査用サーバ3は、選択した学習モデルに基づく審査を実行する(ST203)。ここでは、ステップST203の審査における指摘事項の有無に拘わらず、その審査結果がアーカイブされる(ST204)。このとき、審査結果は、予備審査結果25として記憶部13に格納される。その後、広告審査用サーバ3は、図6のステップST109と同様に、審査対象の映像を入稿したユーザに対して審査結果を通知する(ST205)。 Next, advertisement examination server 3 executes examination based on the selected learning model (ST203). Here, the results of the examination are archived (ST204), regardless of whether or not there are items pointed out in the examination of step ST203. At this time, the examination result is stored in the storage unit 13 as the preliminary examination result 25 . After that, the advertisement examination server 3 notifies the examination result to the user who submitted the video to be examined (ST205), as in step ST109 of FIG.

図7に示す変形例では、ユーザは、選択した学習モデルに基づく審査結果を迅速に取得することができるため、広告として不適切であると判定された映像(映像構成要素)の修正や、本審査への移行を速やかに行うことができる。 In the modified example shown in FIG. 7, the user can quickly obtain the examination result based on the selected learning model, so that it is possible to correct the video (video component) that is determined to be inappropriate as an advertisement, The transition to examination can be performed quickly.

図8は、図5に示した本審査部45による本審査処理の流れを示すフロー図である。 FIG. 8 is a flow chart showing the flow of final examination processing by the final examination section 45 shown in FIG.

広告審査用サーバ3は、審査対象の映像を取得すると(ST301)、共通学習モデル31に基づく審査、業界学習モデル33に基づく審査、及び媒体社学習モデル35に基づく審査を順次実行する(ST302-ST304)。 When the advertisement screening server 3 acquires a video to be screened (ST301), it sequentially executes screening based on the common learning model 31, industry learning model 33, and media company learning model 35 (ST302- ST304).

それらの審査において指摘事項(すなわち、広告として不適切であると判定された映像構成要素)がない場合(ST305でNo)、広告審査用サーバ3は、審査者による映像の視聴確認を実行する(ST306)。このとき、広告審査用サーバ3は、審査者からの要求に基づき審査を行うための本審査画面(図11参照)を審査者端末7に表示することができる。審査者は、その本審査画面を利用して映像の少なくとも一部(特に、学習モデルによる判定が難しいと考えられる部分)を視聴することにより、不適切要素が含まれていないかを簡単に確認する。 If there are no indications (that is, video components that are determined to be inappropriate as an advertisement) in these examinations (No in ST305), the advertisement examination server 3 confirms the viewing of the video by the examiner ( ST306). At this time, the advertisement examination server 3 can display a main examination screen (see FIG. 11) for examination based on a request from the examiner on the examiner terminal 7 . The judges can easily check whether inappropriate elements are included by viewing at least a part of the video (especially the part that is considered difficult to judge by the learning model) using the main examination screen. do.

その後、審査対象の映像が審査者によって承認されると(ST307でYes)、広告審査用サーバ3は、総量規制判定を実行する(ST308)。 After that, when the video to be reviewed is approved by the reviewer (Yes in ST307), the advertisement review server 3 executes the total amount restriction determination (ST308).

その後、広告審査用サーバ3は、ステップST302-ST304における審査結果をアーカイブし(ST309)、審査対象の映像を入稿したユーザに対して審査結果を通知する(ST310)。 After that, the advertisement screening server 3 archives the screening results in steps ST302 to ST304 (ST309), and notifies the screening result to the user who submitted the video to be screened (ST310).

一方、ステップST302-ST304の審査のいずれかにおいて指摘事項がある場合(ST305でYes)、広告審査用サーバ3は、審査者による映像の視聴判定を実行する(ST311)。このとき、広告審査用サーバ3は、上述の視聴確認と同様に、審査者からの要求に基づき本審査画面を審査者端末7に表示することができる。審査者は、その本審査画面利用して映像の少なくとも一部(特に、学習モデルによる判定が難しいと考えられる部分に加え、学習モデルによって不適切であると判定された映像構成要素)を視聴することにより、AI審査の結果が適切であるか否かを詳細に確認する。 On the other hand, if any of the examinations in steps ST302 to ST304 indicates an item to be pointed out (Yes in ST305), the advertisement examination server 3 executes the judgment of video viewing by the examiner (ST311). At this time, the advertisement examination server 3 can display the main examination screen on the examiner terminal 7 based on a request from the examiner, in the same manner as the viewing confirmation described above. Judges will use the final screening screen to view at least a portion of the video (especially the parts that are considered difficult to judge by the learning model, as well as the video components judged to be inappropriate by the learning model). By doing so, we will confirm in detail whether the results of the AI examination are appropriate.

その後、審査対象の映像が審査者によって承認されると(ST312でYes)、広告審査用サーバ3は、上述の場合と同様に、総量規制判定(ST308)、審査結果のアーカイブ(ST309)、及び審査結果通知(ST310)を順次実行する。 After that, when the video to be reviewed is approved by the reviewer (Yes in ST312), the advertisement review server 3 determines the total volume restriction (ST308), archives the review result (ST309), and Examination result notification (ST310) is sequentially executed.

なお、ステップST310では、審査結果は、審査者(例えば、審査端末等)やその管理者に対して通知されてもよい。その場合、広告審査用サーバ3は、公知のコミュニケーションツールを利用し、予め設定された媒体社のアカウント(電子メールアドレス等)に対して審査結果を通知することができる。 In step ST310, the examination result may be notified to the examiner (for example, examination terminal, etc.) or its manager. In that case, the advertisement screening server 3 can use a known communication tool to notify the screening results to a preset media company account (e-mail address, etc.).

そのような審査結果の通知タイミングとしては、本審査処理(例えば、ステップST309またはステップST310)の完了直後または完了と同時、本審査処理の完了から所定時間または所定日数が経過した後、及び放映日(または広告用の映像の完成期限日)から所定時間前または所定日数前のうちの少なくとも1つのタイミングであるとよい。さらに、本審査処理の完了から所定時間または所定日数が経過した後の審査結果の通知は、異なるタイミングで複数回行われてもよい。例えば、本審査処理の完了から1日後に審査結果の通知がなされ、さらに、本審査処理の完了から2日後に審査結果の通知がなされ得る。同様に、放映日(または広告用の映像の完成期限日)から所定時間前または所定日数前の審査結果の通知は、異なるタイミングで複数回行われてもよい。 The notification timing of such examination results is immediately after or at the same time as the completion of the main examination process (for example, step ST309 or step ST310), after a predetermined time or a predetermined number of days have passed since the completion of the main examination process, and on the broadcast date. (or the due date for completion of the advertising video) may be at least one timing of a predetermined time or a predetermined number of days before. Further, the examination results may be notified multiple times at different timings after a predetermined period of time or a predetermined number of days have elapsed since the completion of the main examination process. For example, the examination results may be notified one day after the completion of the main examination process, and further two days after the completion of the main examination process. Similarly, the notification of the examination results a predetermined time or days before the broadcast date (or the deadline for completion of the advertising video) may be made multiple times at different timings.

図9は、ユーザが審査対象の映像の入稿に利用する入稿画面の一例を示す説明図である。 FIG. 9 is an explanatory diagram showing an example of a manuscript submission screen used by a user to submit a video to be reviewed.

広告審査システム1では、ユーザは、ユーザ端末5から広告審査用サーバ3にアクセスすることにより、広告審査に関するユーザ用の操作画面を表示させることができる。ユーザ端末5では、その操作画面の表示を、汎用のブラウザや専用のアプリケーションを利用して行うことが可能である。図9に示すように、操作画面において入稿タブ71が選択されると、ユーザが審査対象の映像(予備審査済み映像を含む)を入稿するための入稿画面が表示される。 In the advertisement screening system 1 , the user can access the advertisement screening server 3 from the user terminal 5 to display an operation screen for the user regarding advertisement screening. The user terminal 5 can display the operation screen using a general-purpose browser or a dedicated application. As shown in FIG. 9, when the manuscript submission tab 71 is selected on the operation screen, a manuscript submission screen for the user to submit a video to be reviewed (including pre-screened video) is displayed.

入稿画面では、ユーザは、ファイル選択ボタン73を押下することにより、ユーザ端末5に保存された審査対象の映像を広告審査用サーバ3にアップロードする操作を行うことができる。 By pressing the file selection button 73 on the manuscript submission screen, the user can perform an operation of uploading the image to be screened stored in the user terminal 5 to the advertisement screening server 3 .

ユーザは、入稿画面の映像情報入力エリア75において、入稿目的(予備審査または本審査)、広告タイトル、広告対象の商品またはサービスが属する業界名称、広告主名称、審査対象の映像の他媒体での放映予定、審査対象の映像の放映実績(過去に広告として放映されたことがあるか否か)、媒体社名称、広告対象の商品名(またはサービス名)、放映期間、及び補足コメントなどを入力(または選択)することが可能である。 In the video information input area 75 of the submission screen, the user enters the purpose of submission (preliminary screening or final screening), advertisement title, industry name to which the product or service to be advertised belongs, advertiser name, video to be screened and other media broadcast schedule, broadcast performance of the video to be screened (whether or not it has been broadcast as an advertisement in the past), media company name, advertised product name (or service name), broadcast period, supplementary comments, etc. can be entered (or selected).

ユーザは、映像のアップロードおよび必要な情報入力を完了した後に、入稿ボタン77を押下することにより、映像の入稿処理が完了する。これにより、広告審査用サーバ3は、ユーザ端末5から入稿された映像について、予備審査処理または本審査処理を開始する。 After the user has completed uploading the video and inputting necessary information, the user presses the submission button 77 to complete the video submission process. As a result, the advertisement screening server 3 starts preliminary screening processing or main screening processing for the video submitted from the user terminal 5 .

図10は、ユーザが審査結果を参照する際に利用する審査結果表示画面の一例を示す説明図である。 FIG. 10 is an explanatory diagram showing an example of an examination result display screen used when the user refers to examination results.

図9と同様の操作画面において審査結果タブ81が選択されると、図10に示すように、ユーザが映像の審査結果(または審査状況)を確認するための審査結果表示画面が表示される。 When the examination result tab 81 is selected on the operation screen similar to that of FIG. 9, an examination result display screen is displayed for the user to confirm the examination result (or examination status) of the video as shown in FIG.

ユーザは、審査結果表示画面の検索情報入力エリア83において、ユーザID、広告タイトル、業界名称、広告主名称、審査対象の映像の他媒体での放映予定、審査対象の映像の放映実績、媒体社名称、フリーキーワード、及びステータスなどを含む検索条件の少なくとも一部を、入力(または選択)することができる。これにより、その検索条件に対応した映像の審査状況が審査状況表示エリア85に表示される。 In the search information input area 83 of the screening result display screen, the user enters a user ID, an advertisement title, an industry name, an advertiser name, a schedule for broadcasting the image to be screened on other media, a track record of broadcasting the video to be screened, a media company, etc. At least part of the search criteria including name, free keyword, status, etc. can be entered (or selected). As a result, the review status of the video corresponding to the search condition is displayed in the review status display area 85 .

ユーザは、審査状況表示エリア85に表示された各映像に対応するチェックボックス86を選択することにより、選択した映像についてより詳細な審査結果を表示させることができる。そのような審査結果には、例えば、広告に不適切であると判定された複数の映像構成要素に関する情報と、それらに対応する判定理由の情報の一覧が含まれる。 By selecting a check box 86 corresponding to each video displayed in the review status display area 85, the user can display more detailed review results for the selected video. Such review results include, for example, a list of information about multiple video components that have been determined to be inappropriate for the advertisement and their corresponding information about the reason for the determination.

図11は、審査者が利用する本審査画面を示す説明図である。 FIG. 11 is an explanatory diagram showing a final examination screen used by an examiner.

広告審査システム1では、審査者は、審査者端末7から広告審査用サーバ3にアクセスすることにより、広告審査に関する審査者用の操作画面を表示させることができる。審査者端末7では、操作画面の表示を、汎用のブラウザや専用のアプリケーションを利用して行うことが可能である。図11に示すように、操作画面において本審査タブ91が選択されると、審査者が審査を行うべき予備審査済み映像に関する本審査画面が表示される。審査者は、本審査画面を利用して、予備審査済み映像の本審査を実施することができる。 In the advertisement examination system 1 , the examiner accesses the advertisement examination server 3 from the examiner terminal 7 to display an operation screen for the examiner regarding advertisement examination. In the examiner terminal 7, it is possible to display the operation screen using a general-purpose browser or a dedicated application. As shown in FIG. 11, when the main examination tab 91 is selected on the operation screen, the main examination screen regarding the pre-examined video to be examined by the examiner is displayed. The judges can use the main judging screen to conduct the main judging of the pre-judged videos.

本審査画面には、画像表示エリア92、AI審査結果表示エリア93(第1の審査結果表示エリア)、及び担当者審査結果表示エリア94(第2の審査結果表示エリア)が含まれる。 The main examination screen includes an image display area 92, an AI examination result display area 93 (first examination result display area), and a person in charge examination result display area 94 (second examination result display area).

画像表示エリア92では、審査対象の映像の一部が静止画像として表示される。この静止画像は、審査対象の映像における所定タイミング(すなわち、映像開始からの所定経過時間)のフレームに対応する。また、その静止画像において、不適切要素(ここでは、画像の一部や文字)の各々を識別するための記号200A-203A(第1の記号)が重畳して表示されている。映像構成要素が、静止画像の一部のエリアに対応する画像領域である場合、その画像領域を画定する所定形状の枠(ここでは、矩形の枠)が表示され、その枠に対して記号(ここでは、記号200A)が付される。 In the image display area 92, a part of the image to be judged is displayed as a still image. This still image corresponds to a frame at a predetermined timing (that is, a predetermined elapsed time from the start of the video) in the video to be judged. Also, in the still image, symbols 200A to 203A (first symbols) for identifying each of the inappropriate elements (here, part of the image and characters) are superimposed and displayed. When the video component is an image region corresponding to a partial area of a still image, a frame of a predetermined shape (here, a rectangular frame) demarcating the image region is displayed, and a symbol ( Here, the symbol 200A) is attached.

また、画像表示エリア92には、音声表示エリア95が含まれる。音声表示エリア95には、静止画像のタイミングを含む所定の時間帯において出力される音声が変換されたテキスト情報(文字)が表示される。音声表示エリア95のテキスト情報が広告として不適切である場合には、上述の記号200A-203Aと同様に、それを識別するための記号が重畳して表示される。 The image display area 92 also includes an audio display area 95 . The audio display area 95 displays text information (characters) obtained by converting the audio output in a predetermined time period including the timing of the still image. If the text information in the audio display area 95 is inappropriate as an advertisement, a symbol for identifying it is superimposed and displayed in the same manner as the symbols 200A to 203A described above.

画像表示エリア92には、審査者が、表示される静止画像の映像における時間的位置を変更するための再生ボタン、巻戻しボタン、早送りボタン、及び早戻しボタン等を含む操作エリア96が付設されている。 The image display area 92 is provided with an operation area 96 including a play button, a rewind button, a fast forward button, a fast rewind button, etc. for the judge to change the temporal position of the displayed still image in the video. ing.

また、画像表示エリア92の下方には、審査対象の映像に関する情報(映像ID、業界、企業名、広告会社、広告対象商品・サービス、放映期間、入稿締切日、最終入稿日など)を示す映像情報表示エリア97が配置される。 Further, below the image display area 92, information related to the video to be reviewed (video ID, industry, company name, advertising company, advertised product/service, broadcast period, submission deadline, final submission date, etc.) is displayed. A video information display area 97 shown is arranged.

AI審査結果表示エリア93では、本審査におけるAI審査の結果が表示される。AI審査の結果には、各映像構成要素について広告として不適切であることの理由を示すコメントが含まれる。それらのコメントには、画像表示エリア92の記号200A-202Aにそれぞれ対応する記号200B-202B(第2の記号)が付される。これにより、審査者は、画像表示エリア92における不適切要素の各々がどのような理由で不適切であるのかを、対応づけられたコメントから理解することができる。 In the AI examination result display area 93, the result of the AI examination in the main examination is displayed. The results of the AI review include comments indicating the reason why each video component is inappropriate as an advertisement. These comments are marked with symbols 200B-202B (second symbols) corresponding to the symbols 200A-202A in the image display area 92, respectively. This allows the examiner to understand why each of the inappropriate elements in the image display area 92 is inappropriate from the associated comments.

審査者は、AI審査結果表示エリア93におけるコメントを参照し、それらが適切であると判断した場合には、その審査結果をそのまま採用する(すなわち、コメントの表示を維持する)ことができる。また、AI審査の結果コメントに対して、審査者のコメントをさらに付けることもできる。審査者のコメントがついた場合、それに対応する記号の色や形が変わる等により、AI審査の結果コメントに対応する記号と識別することができる。一方、審査者は、AI審査結果表示エリア93におけるコメントの少なくとも一部を不適切であると判断した場合には、当該コメント及びそれに対応する記号(画像表示エリア92の記号を含む)を削除することが可能である。また、上述のAI審査の結果コメントに対して、審査者のコメントを付けない場合は修正の対象にしないで視聴確認時の参考とする運用も可能である。 The examiner refers to the comments in the AI examination result display area 93, and if he/she determines that they are appropriate, can adopt the examination result as it is (that is, maintain the display of the comment). In addition, comments from the examiner can be added to the comments as a result of AI examination. When an examiner's comment is added, the color or shape of the corresponding symbol changes, so that it can be distinguished from the symbol corresponding to the comment as a result of AI screening. On the other hand, if the examiner determines that at least part of the comments in the AI examination result display area 93 are inappropriate, the examiner deletes the comments and the corresponding symbols (including the symbols in the image display area 92). It is possible. In addition, if the reviewer's comment is not attached to the above-mentioned AI review result comment, it is possible to use it as a reference at the time of viewing confirmation without being subject to correction.

また、審査者は、画像表示エリア92において広告として不適切であると自らが判断した映像構成要素に対して、記号(ここでは、記号203A)を付す操作を行うことができる。また、審査者は、担当者審査結果表示エリア94において、各映像構成要素について広告として不適切であることの理由を示すコメントを入力することができる。それらのコメントには、画像表示エリア92で付した記号に対応する記号(ここでは、記号203B)が付される。 In addition, the examiner can perform an operation of attaching a symbol (here, symbol 203A) to a video component that he or she has judged to be inappropriate as an advertisement in the image display area 92 . In addition, the examiner can input a comment indicating the reason why each video component is inappropriate as an advertisement in the person-in-charge examination result display area 94 . A symbol (here, symbol 203B) corresponding to the symbol attached in the image display area 92 is attached to those comments.

本審査画面には、審査対象の映像が広告として適切であるか否かについて、審査者による最終的な判断結果(映像を承認するか否か)を示すための否認/承認決定エリア98が含まれる。 The final examination screen includes a disapproval/approval decision area 98 for indicating the final judgment result (whether or not to approve the video) by the examiner as to whether the video to be reviewed is appropriate as an advertisement. be

また、本審査画面には、審査者が補足的なコメントなどを入力するための補足コメントエリア99が含まれる。 The final examination screen also includes a supplementary comment area 99 for the examiner to input supplementary comments.

審査者は、最終的に映像の審査を終えると、審査結果送信ボタン100を押下することにより、審査結果が記憶部13に格納されると共に、ユーザ(例えば、ユーザ端末5)に対して送信される。 When the examiner finally finishes examining the video, the examiner presses the examination result transmission button 100 to store the examination result in the storage unit 13 and transmit it to the user (for example, the user terminal 5). be.

図12は、審査者が審査結果を参照する際に利用する審査結果表示画面の一例を示す説明図である。 FIG. 12 is an explanatory diagram showing an example of an examination result display screen used by an examiner to refer to examination results.

図11と同様の操作画面において審査結果タブ101が選択されると、審査者が映像の審査結果(または審査状況)を確認するための審査結果表示画面が表示される。 When the examination result tab 101 is selected on the operation screen similar to that of FIG. 11, an examination result display screen is displayed for the examiner to confirm the examination result (or examination status) of the video.

審査者は、図10と同様に、検索情報入力エリア102において、検索条件の少なくとも一部を入力(または選択)することができる。これにより、その検索条件に対応した映像の審査状況が審査状況表示エリア103に表示される。 The examiner can input (or select) at least part of the search conditions in the search information input area 102, as in FIG. As a result, the review status of the video corresponding to the search condition is displayed in the review status display area 103 .

審査者は、審査状況表示エリア103における予備審査中タブ104または本審査中タブ105のいずれかを選択し、予備審査中または本審査中の映像の一覧を表示させることができる。また、審査者は、審査状況表示エリア103に表示された各映像に対応するチェックボックス106を選択することにより、より詳細な審査結果を表示させることができる。そのような審査結果には、例えば、広告に不適切であると判定された複数の映像構成要素に関する情報と、それらに対応する判定理由の情報の一覧が含まれる。 The examiner can select either a tab 104 under preliminary examination or a tab 105 under final examination in the examination status display area 103 to display a list of videos under preliminary examination or under final examination. Also, the examiner can display more detailed examination results by selecting the check box 106 corresponding to each video displayed in the examination status display area 103 . Such review results include, for example, a list of information about multiple video components that have been determined to be inappropriate for the advertisement and their corresponding information about the reason for the determination.

図13は、審査者が審査履歴を参照する際に利用する審査履歴表示画面の一例を示す説明図である。 FIG. 13 is an explanatory diagram showing an example of an examination history display screen used by an examiner to refer to an examination history.

図12と同様の操作画面において審査履歴タブ110が選択されると、図12に示した映像の審査履歴を確認するための審査履歴表示画面が表示される。 When the examination history tab 110 is selected on the operation screen similar to that of FIG. 12, the examination history display screen for confirming the examination history of the video shown in FIG. 12 is displayed.

審査履歴表示画面には、対象の映像の基本情報を表示する基本情報表示エリア111と、対象の映像の審査経過の情報を表示する審査経過表示エリア112と、が含まれる。 The examination history display screen includes a basic information display area 111 that displays basic information of the target video, and an examination progress display area 112 that displays information on the progress of the review of the target video.

基本情報表示エリア111には、図11に示した映像情報表示エリア97と同様の情報(映像ID、業界、企業名、広告会社、広告対象商品・サービス、放映期間、入稿締切日、最終入稿日など)が表示される。 In the basic information display area 111, the same information as in the video information display area 97 shown in FIG. manuscript date, etc.) is displayed.

審査経過表示エリア112には、対象の映像に対して実施された各審査について、審査日、審査依頼日、審査目的(予備審査または本審査)、審査結果、指摘事項(広告として不適切であることの理由を示すコメント)等が含まれる。また、審査者は、所望の審査に関する結果ボタン113を押下することにより、より詳細な審査結果(例えば、図11の本審査画面に相当)を表示することができる。 In the examination progress display area 112, for each examination performed on the target video, examination date, examination request date, examination purpose (preliminary examination or main examination), examination result, indications (inappropriate as advertisement comments indicating the reason for this), etc. Further, the examiner can display a more detailed examination result (e.g., corresponding to the main examination screen in FIG. 11) by pressing a result button 113 related to the desired examination.

図14は、図1に示した広告審査システム1の変形例を示す全体構成図である。この変形例について、以下で特に言及しない事項については、上述の広告審査システム1と同様であるため、詳細な説明は省略する。 FIG. 14 is an overall configuration diagram showing a modification of the advertisement screening system 1 shown in FIG. Regarding this modified example, matters not specifically mentioned below are the same as those of the above-described advertisement screening system 1, so detailed description thereof will be omitted.

広告審査システム1は、上述の広告審査用サーバ3に加え、API(Application Programming Interface)サーバ120および広告運用CMS(Contents Management System)121を更に含む。 The advertisement screening system 1 further includes an API (Application Programming Interface) server 120 and an advertisement operation CMS (Contents Management System) 121 in addition to the advertisement screening server 3 described above.

APIサーバ120は、広告審査用サーバ3による広告審査の機能やそれが管理する審査に関するデータなどを、広告運用CMS121から呼び出して利用できるようにするための機能を有する。APIサーバ120は、プロセッサ、メモリ、ディスプレイ、入力機器、ネットワークインタフェース、及びストレージ等の公知のハードウェアを適宜備える。なお、APIサーバ120は、広告審査用サーバ3の機能の一部として実現されてもよい。 The API server 120 has a function for calling the advertisement examination function by the advertisement examination server 3 and the examination-related data managed by the advertisement examination server 3 from the advertisement operation CMS 121 and making it available. The API server 120 suitably comprises known hardware such as a processor, memory, display, input device, network interface and storage. Note that the API server 120 may be implemented as part of the functions of the advertisement screening server 3 .

広告運用CMS121は、ユーザによって利用され、広告用の映像のデータを管理し、その映像の入稿、放映条件の設定などを行うシステムである。広告運用CMS121は、APIサーバ120を利用することにより、映像の審査状況の取得、審査の完了情報の取得、審査結果の取得、及び審査履歴の取得などを適宜実行することができる。これにより、ユーザは、広告審査用サーバ3の機能やデータを必要に応じて利用することが可能となる。 The advertisement management CMS 121 is a system used by users to manage advertisement video data, submit the video, and set broadcast conditions. By using the API server 120, the advertisement operation CMS 121 can appropriately execute acquisition of video examination status, acquisition of examination completion information, acquisition of examination results, acquisition of examination history, and the like. This allows the user to use the functions and data of the advertisement screening server 3 as needed.

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, the embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like. Further, it is also possible to combine the constituent elements described in the above embodiments to create new embodiments.

本開示に係る広告審査システム、広告審査方法、及び広告審査プログラムは、広告用の映像の学習モデルに基づく審査結果を、審査者に容易に利用可能とすることにより、広告用の映像の審査を効率化することができるという効果を有し、広告用に制作された映像の広告としての適否を審査する広告審査システム、広告審査方法、及び広告審査プログラムなどとして有用である。 The advertisement review system, advertisement review method, and advertisement review program according to the present disclosure make it possible for the reviewer to easily use the review results based on the learning model of the video for advertisement, thereby reviewing the video for advertisement. It has an effect of improving efficiency, and is useful as an advertisement examination system, an advertisement examination method, an advertisement examination program, etc. for examining the suitability of a video produced for advertisement as an advertisement.

1 :広告審査システム
3 :広告審査用サーバ
5 :ユーザ端末
7 :審査者端末
9 :通信ネットワーク
21 :学習モデル
23 :審査対象映像
31 :共通学習モデル
33 :業界学習モデル
35 :媒体社学習モデル
41 :映像取得部
43 :予備審査部
45 :本審査部
47 :学習データ生成部
51 :第1の審査前処理部
53 :第1の映像審査部
55 :第1の審査結果出力部
57 :第1の審査結果通知部
61 :第2の審査前処理部
63 :第2の映像審査部
65 :第2の審査結果出力部
67 :第2の審査結果通知部
92 :画像表示エリア
93 :AI審査結果表示エリア(第1の審査結果表示エリア)
94 :担当者審査結果表示エリア(第2の審査結果表示エリア)
120:APIサーバ
1: Advertisement examination system 3: Advertisement examination server 5: User terminal 7: Examiner terminal 9: Communication network 21: Learning model 23: Examined video 31: Common learning model 33: Industry learning model 35: Media company learning model 41 : Image acquisition unit 43 : Preliminary examination unit 45 : Main examination unit 47 : Learning data generation unit 51 : First examination preprocessing unit 53 : First image examination unit 55 : First examination result output unit 57 : First Examination result notification unit 61 : Second examination preprocessing unit 63 : Second video examination unit 65 : Second examination result output unit 67 : Second examination result notification unit 92 : Image display area 93 : AI examination result Display area (first examination result display area)
94: Person in charge examination result display area (second examination result display area)
120: API server

Claims (7)

広告用に制作された映像を審査する広告審査システムであって、
審査対象の映像を取得する映像取得部と、
前記映像の広告としての適否に関する審査用の学習モデルを記憶する記憶部と、
前記映像に含まれる複数の映像構成要素を抽出する審査前処理部と、
前記審査前処理部によって抽出された前記複数の映像構成要素の各々について、前記学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成する映像審査部と、
前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力する審査結果出力部と、
を備え、
前記審査結果画面は、
前記映像審査部によって不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、
前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、
前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、
を含み、
前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、
前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される、広告審査システム。
An advertisement screening system for screening a video produced for advertisement,
a video acquisition unit that acquires a video to be reviewed;
a storage unit that stores a learning model for examination regarding suitability of the video as an advertisement;
A pre-examination processing unit that extracts a plurality of video components included in the video;
a video examination unit that generates a judgment result regarding the video by judging whether each of the plurality of video components extracted by the pre-examination processing unit is appropriate as an advertisement based on the learning model;
an examination result output unit that outputs an examination result screen including the judgment result to an examiner involved in examination of the video advertisement;
with
The examination result screen is
an image display area for displaying a still image showing, in an identifiable form, the inappropriate elements, which are the video constituent elements determined to be inappropriate by the video examination section;
a first examination result display area displaying the judgment result for each of the inappropriate elements with respect to the still image;
a second examination result display area in which the examiner's comments on each of the inappropriate elements regarding the still image are input;
including
a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area;
Advertisement screening , wherein third symbols corresponding to each of the first symbols are displayed in the second screening result display area in association with comments by the reviewer corresponding to each of the inappropriate elements. system.
前記画像表示エリアには、前記不適切要素を識別可能な形態で示した静止画像として、前記不適切要素を識別するための枠を重畳した静止画像が表示される、請求項1に記載の広告審査システム。 2. The advertisement according to claim 1, wherein a still image superimposed with a frame for identifying the inappropriate element is displayed as a still image showing the inappropriate element in an identifiable form in the image display area. examination system. 記第1の審査結果表示エリアには、前記第1の記号の各々に対応する第2の記号が、前記不適切要素の各々に対応する前記判定結果に関連づけて表示される、請求項1または請求項2に記載の広告審査システム。 2. A second symbol corresponding to each of said first symbols is displayed in said first examination result display area in association with said judgment result corresponding to each of said inappropriate elements. Or the advertisement screening system according to claim 2. 前記審査前処理部は、前記映像構成要素としての音声を文字に変換して抽出し、
前記画像表示エリアには、前記音声から変換された前記文字が、対応する前記静止画像に重畳して表示される、請求項1から請求項のいずれか1項に記載の広告審査システム。
The pre-examination processing unit converts the voice as the video component into text and extracts it,
The advertisement examination system according to any one of claims 1 to 3 , wherein the character converted from the voice is displayed in the image display area so as to be superimposed on the corresponding still image.
前記学習モデルは、
予め設定された複数の業界についてそれぞれ定められた業界ルールに基づき前記業界毎に生成された複数の業界学習モデル、
前記映像を配信する媒体社について定められた媒体社ルールに基づき生成された媒体社学習モデル、及び
前記複数の業界および前記媒体社に関わらず定められた共通ルールに基づき生成された共通学習モデルを含み、
前記映像審査部は、前記複数の業界のうち前記映像の広告対象が属する少なくとも1つの業界に対応する前記業界学習モデル、前記媒体社学習モデル、及び前記共通学習モデルに基づき、前記判定結果を生成する、請求項1から請求項のいずれか1項に記載の広告審査システム。
The learning model is
A plurality of industry learning models generated for each industry based on industry rules respectively defined for a plurality of preset industries,
A media company learning model generated based on media company rules stipulated for media companies distributing said video, and a common learning model generated based on common rules stipulated regardless of said multiple industries and said media company including
The video examination unit generates the determination result based on the industry learning model, the media company learning model, and the common learning model corresponding to at least one industry to which the advertising target of the video belongs among the plurality of industries. The advertisement screening system according to any one of claims 1 to 4 , wherein
広告用に制作された映像を審査する広告審査システムによる広告審査方法であって、
審査対象の映像を取得し、
前記映像に含まれる複数の映像構成要素の各々を抽出し、
抽出された前記複数の映像構成要素の各々について、審査用の学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成し、
前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力し、
前記審査結果画面は、
不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、
前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、
前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、
を含み、
前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、
前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される、広告審査方法。
An advertisement screening method by an advertisement screening system for screening a video produced for advertisement,
Acquire the video to be judged,
extracting each of a plurality of video components included in the video;
For each of the plurality of extracted video components, generating a determination result regarding the video by determining suitability as an advertisement based on a learning model for examination,
outputting an examination result screen including the judgment result to an examiner involved in judging the advertisement of the video;
The examination result screen is
an image display area for displaying a still image showing, in an identifiable form, the inappropriate element, which is the video component determined to be inappropriate;
a first examination result display area displaying the judgment result for each of the inappropriate elements with respect to the still image;
a second examination result display area in which the examiner's comments on each of the inappropriate elements regarding the still image are input;
including
a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area;
Advertisement screening , wherein third symbols corresponding to each of the first symbols are displayed in the second screening result display area in association with comments by the reviewer corresponding to each of the inappropriate elements. Method.
広告用に制作された映像を審査する広告審査プログラムであって、
審査対象の映像を取得する映像取得処理と、
前記映像に含まれる複数の映像構成要素を抽出する審査前処理と、
前記審査前処理によって抽出された前記複数の映像構成要素の各々について、審査用の学習モデルに基づき広告としての適否を判定することにより、前記映像に関する判定結果を生成する映像審査処理と、
前記映像の広告審査に関わる審査者に対して前記判定結果を含む審査結果画面を出力する審査結果出力処理と、
をコンピュータに実行させ、
前記審査結果画面は、
不適切であると判定された前記映像構成要素である不適切要素を識別可能な形態で示した静止画像を表示する画像表示エリアと、
前記静止画像に関し、前記不適切要素の各々に対する前記判定結果を表示する第1の審査結果表示エリアと、
前記静止画像に関し、前記不適切要素の各々に対する前記審査者によるコメントが入力される第2の審査結果表示エリアと、
を含み、
前記画像表示エリアには、前記静止画像における前記不適切要素の各々に関連づけられた第1の記号が重畳して表示され、
前記第2の審査結果表示エリアには、前記第1の記号の各々に対応する第3の記号が、前記不適切要素の各々に対応する前記審査者によるコメントに関連づけて表示される、広告審査プログラム。
An advertisement screening program for screening a video produced for advertisement,
image acquisition processing for acquiring images to be reviewed;
Pre-examination processing for extracting a plurality of video components included in the video;
a video examination process for generating a judgment result regarding the video by judging whether each of the plurality of video constituent elements extracted by the pre-examination process is suitable as an advertisement based on a learning model for examination;
examination result output processing for outputting an examination result screen including the judgment result to an examiner involved in examination of the video advertisement;
on the computer, and
The examination result screen is
an image display area for displaying a still image showing, in an identifiable form, the inappropriate element, which is the video component determined to be inappropriate;
a first examination result display area displaying the judgment result for each of the inappropriate elements with respect to the still image;
a second examination result display area in which the examiner's comments on each of the inappropriate elements regarding the still image are input;
including
a first symbol associated with each of the inappropriate elements in the still image is superimposed and displayed in the image display area;
Advertisement screening , wherein third symbols corresponding to each of the first symbols are displayed in the second screening result display area in association with comments by the reviewer corresponding to each of the inappropriate elements. program.
JP2022027991A 2022-02-25 2022-02-25 ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM Active JP7145443B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022027991A JP7145443B1 (en) 2022-02-25 2022-02-25 ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM
JP2022094470A JP2023124762A (en) 2022-02-25 2022-06-10 Advertisement reviewing system, advertisement reviewing method, and advertisement reviewing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022027991A JP7145443B1 (en) 2022-02-25 2022-02-25 ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022094470A Division JP2023124762A (en) 2022-02-25 2022-06-10 Advertisement reviewing system, advertisement reviewing method, and advertisement reviewing program

Publications (2)

Publication Number Publication Date
JP7145443B1 true JP7145443B1 (en) 2022-10-03
JP2023124306A JP2023124306A (en) 2023-09-06

Family

ID=83462262

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022027991A Active JP7145443B1 (en) 2022-02-25 2022-02-25 ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM
JP2022094470A Pending JP2023124762A (en) 2022-02-25 2022-06-10 Advertisement reviewing system, advertisement reviewing method, and advertisement reviewing program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022094470A Pending JP2023124762A (en) 2022-02-25 2022-06-10 Advertisement reviewing system, advertisement reviewing method, and advertisement reviewing program

Country Status (1)

Country Link
JP (2) JP7145443B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097888A (en) 2016-12-14 2017-06-01 ヤフー株式会社 Information processing apparatus, information processing method, and information processing program
JP2020061098A (en) 2018-10-12 2020-04-16 株式会社エヌケービー Advertisement information management method, advertisement information management device, and computer program
JP2020107281A (en) 2018-12-28 2020-07-09 株式会社電通国際情報サービス Information processing apparatus, information processing method, and information processing program
JP2020154685A (en) 2019-03-20 2020-09-24 ヤフー株式会社 Information processing device, information processing method, and information processing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097888A (en) 2016-12-14 2017-06-01 ヤフー株式会社 Information processing apparatus, information processing method, and information processing program
JP2020061098A (en) 2018-10-12 2020-04-16 株式会社エヌケービー Advertisement information management method, advertisement information management device, and computer program
JP2020107281A (en) 2018-12-28 2020-07-09 株式会社電通国際情報サービス Information processing apparatus, information processing method, and information processing program
JP2020154685A (en) 2019-03-20 2020-09-24 ヤフー株式会社 Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP2023124306A (en) 2023-09-06
JP2023124762A (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US8620742B2 (en) Advertisement approval
CN105631700B (en) Content creation, deployment collaboration, and tagging
US20130283307A1 (en) System and methods for providing user generated video reviews
US20130282611A1 (en) System and methods for providing user generated video reviews
US20120290405A1 (en) Monetizing social and content networks and ebooks through reference link driven advertising and reference pretargeting
US11562013B2 (en) Systems and methods for improvements to user experience testing
US20170004543A1 (en) Automatic approval of advertisements for a social networking system
Jensen et al. Prominence and interpretation of online conflict of interest disclosures
US20210407312A1 (en) Systems and methods for moderated user experience testing
US20230410144A1 (en) Methods and systems for automatic call routing with no caller intervention using anonymous online user behavior
EP3963435A1 (en) Systems and methods for improvements to user experience testing
JP7145443B1 (en) ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM
JP7122638B1 (en) ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM
JP7122637B1 (en) ADVERTISING REVIEW SYSTEM, ADVERTISING REVIEW METHOD, AND ADVERTISING REVIEW PROGRAM
Waecker et al. From content creation to content delivery: Partnering to improve e-book accessibility
Montoya E-detailing: information technology applied to pharmaceutical detailing
US20070299719A1 (en) Professional rating system and method
JP4362117B2 (en) Internet advertising system
US20240070699A1 (en) System and method for rewarding user activity
JP2009193304A (en) Information viewing system, information viewing method and information viewing program
Jiang et al. Developing Integrated Marketing Communication (IMC) in online communities: a conceptual perspective from search, experience and credence segmentation
Choy et al. Evaluation of Privacy Education Formats and Delivery Vectors
Begley Why video game movies rarely work.
TWI537844B (en) Certification Method and System of Service Standard Regulations
WO2024015159A1 (en) Automatic detection of sentiment based on electronic communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220907

R151 Written notification of patent or utility model registration

Ref document number: 7145443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151