JP6062474B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

近年、インターネットなどのネットワークの飛躍的な普及に伴い、ネットワークを介した広告配信が盛んに行われている。かかる広告配信を行うにあたり、例えば広告配信業者は、ウェブページなどに掲載する広告の入稿を広告主から受け付け、かかる広告が配信にふさわしい適切なものであるか否かを審査している。

なお、審査の手法としては、例えば、広告が掲載されるウェブページの内容を解析して、事前に不適切なテキストや画像などが登録された違反情報に照らし、違反の有無を判定する技術が知られている（例えば、特許文献１参照）。

特開２００２−１８９９２５号公報

しかしながら、上記従来の技術は、広告が掲載されるウェブページが適切であるか否かを確認するものに過ぎず、入稿される広告自体が適切かどうかを判断する場合の審査負担を軽減するものではない。

特に、近年のネットワークの高速化や大容量化に伴って動画広告が急速に普及しており、かかる動画広告の審査負担が大きくなっている。かかる課題は、動画広告を審査する場合に限らず、一般的な動画コンテンツを閲覧する場合の閲覧コストに関しても当てはまる共通の課題である。

本願は、上記に鑑みてなされたものであって、動画コンテンツの閲覧コストを削減することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、抽出部と、解析部と、表示処理部と、を備える。前記抽出部は、動画コンテンツにおけるシーンの切り替わりを検出し、各シーンの画像を前記動画コンテンツから抽出する。前記解析部は、前記動画コンテンツに含まれる音響情報の時間的推移を解析する。前記表示処理部は、前記抽出部によって抽出された前記各シーンの画像の一覧と、前記解析部によって解析された前記音響情報の時間的推移を示す画像とを表示部へ表示する。また、前記解析部は、前記音響情報の時間的推移として、前記動画コンテンツに含まれる音響信号の大きさおよび周波数のうち少なくとも一以上の時間的推移を解析する。また、前記表示処理部は、前記音響情報についての所定の推奨閾値を示すラインを前記時間的推移を示す画像に含ませて表示すると共に、前記時間的推移において前記ラインを超える箇所が存在する場合に、前記動画コンテンツの視聴に注意を要する旨を前記表示部へ強調表示する。

実施形態の一態様によれば、動画コンテンツの閲覧コストを削減することができる情報処理装置、情報処理方法および情報処理プログラムを提供することができる。

図１は、実施形態に係る広告審査システムおよび審査支援処理の説明図である。 図２は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図３Ａは、表示レイアウトの構成の一例を示す図（その１）である。 図３Ｂは、表示レイアウトの構成の一例を示す図（その２）である。 図４は、コマ割り情報の一例を示す図である。 図５は、実施形態に係る情報処理装置が実行する審査支援処理の処理手順を示すフローチャートである。 図６は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムの実施形態について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。

なお、以下においては、情報処理装置が、動画広告を審査する広告審査システムに含まれ、かかる情報処理装置は、情報処理として、審査対象となる審査動画を効率よく審査可能となるように表示する審査支援処理を行う場合を例に挙げて説明を行う。

〔１．広告審査システムおよび審査支援処理〕
まず、実施形態に係る広告審査システムおよび審査支援処理について説明する。図１は、実施形態に係る広告審査システムおよび審査支援処理の説明図である。

〔１．１．広告審査システム〕
図１に示すように、広告審査システム１は、広告主端末２−１，２−２と、広告審査管理装置３と、情報処理装置４とを備える。広告主端末２−１，２−２（以下、広告主端末２と総称する場合がある）は、それぞれ広告主ＳＡ，ＳＢ（以下、広告主Ｓと総称する場合がある）によって管理および運用される。また、広告審査管理装置３および情報処理装置４は、広告配信業者によって管理および運用される。

広告主端末２および広告審査管理装置３は、通信ネットワーク５を介して相互に通信可能に接続される。通信ネットワーク５は、例えばインターネットなどのＷＡＮ（Wide Area Network）である。また、広告審査管理装置３および情報処理装置４は、広告配信業者の社内インフラであるＬＡＮ（Local Area Network）を介して相互に通信可能に接続される。

なお、情報処理装置４は、通信ネットワーク５を介して広告主端末２および広告審査管理装置３と相互に通信可能に接続されてもよい。また、広告主端末２、広告審査管理装置３および情報処理装置４の通信方式は、それぞれ有線通信であっても無線通信であってもよい。また、図１に示す例では、２つの広告主ＳＡ，ＳＢを例に挙げているが、広告主Ｓの数は、１つでもよく、また、３つ以上であってもよい。

広告主Ｓは、広告配信業者へ広告の掲載を依頼する事業者であり、例えば動画広告を含む広告情報を制作し、広告配信業者へ入稿する。例えば図１には、広告主ＳＡからは広告入稿ａが、広告主ＳＢからは広告入稿ｂが、それぞれ行われた場合を示している。

広告入稿ａ，ｂは、通信ネットワーク５を介して広告審査管理装置３へ通知される。広告審査管理装置３は、かかる広告入稿ａ，ｂを受信し、入稿された広告情報をデータベース（以下、「ＤＢ」と記載する）へ登録する。

ここで、入稿された広告情報に動画広告が含まれる場合、広告審査管理装置３は、かかる動画広告を審査動画としてあわせてＤＢへ登録する。また、広告審査管理装置３は、情報処理装置４から取得要求を受けた審査動画を、情報処理装置４へ送信する。

〔１．２．情報処理装置〕
情報処理装置４は、表示部４１と、操作部４２とを備える。表示部４１は例えばディスプレイなどの表示デバイスであり、操作部４２は、例えばマウスやキーボードやタッチパッドといった入力デバイスである。

また、情報処理装置４は、制御部４４（図２以降を参照）を備える。制御部４４は、広告審査管理装置３から取得した審査動画に基づく情報処理としての審査支援処理を実行する。

〔１．３．審査支援処理〕
かかる審査支援処理の概要について説明する。まず、情報処理装置４の制御部４４は、審査動画におけるシーンの切り替わりを検出し、かかる切り替わり箇所に対応する各シーンの画像を抽出する（ステップＳ１）。以下では、かかる各シーン画像の抽出を「コマ割り」と記載する場合がある。なお、制御部４４は、シーンの切り替わりを、例えば審査動画におけるフレーム間の変化量に基づいて検出する。

また、制御部４４は、審査動画に含まれる音響情報の時間的推移を解析する（ステップＳ２）。かかる時間的推移の対象は、音響情報に含まれる音響に関する特性であればいずれでもよく、例えば音声レベルであってもよいし、周波数レベルであってもよい。

そして、制御部４４は、ステップＳ１で抽出した各シーン画像の一覧と、ステップＳ２で解析した音響情報の時間的推移を示す画像（例えば図１に示す音声レベル波形）とを、表示部４１へ表示する（ステップＳ３）。これにより、審査者は、例えば、各シーン画像の一覧によって、審査動画のあらすじを容易に把握することができる。また、審査者は、例えば不適切なシーンがあるか否かを目視で容易に確認することができる。すなわち、動画広告の審査業務を効率よく進めることが可能となり、審査コストを削減することができる。

また、審査者は、例えば音声レベル波形によって、審査動画のいずれの再生時刻位置で音声レベルがピークとなるか、またそのピークの音声レベルが審査における推奨閾値を超えるか否か、またそのピークがどれくらい続くのかといったことを容易に確認することができる。

すなわち、審査者が急に音声が大きくなるといった事態に対して備えることが可能となり、審査者を保護できる。また、審査基準の推奨閾値を超える音声レベルの確認などが容易に行えることで審査業務を効率よく進めることが可能となり、審査コストを削減することができる。

また、制御部４４は、各シーン画像の一覧と、音響情報の時間的推移を示す画像とが連動するように、これら各画像を表示部４１へ表示することができる。また、制御部４４は、表示部４１へ表示された各画像へ、操作部４２を介して審査者から所定の操作を受け付けた場合には、かかる操作に対応する審査を支援するための各機能を実行する。この点の詳細については、図３Ａ等を用いて後述する。

また、制御部４４は、上記した各画像を表示部４１へ表示すると共に、審査メモ機能を実行することができる。審査メモ機能は、審査の過程でメモを記録したい場合に用いることができる操作部品を提供する機能であり、例えば審査者に、審査の結果不適切と認められる箇所の再生時刻位置を記録させることができる。

これにより、審査動画における不適切な箇所を、例えば審査者から広告主Ｓへ正確に通知することが可能となる。すなわち、動画広告の審査業務の効率化に資することができ、審査コストを削減することができる。かかる審査メモ機能についても、図３Ａ等を用いて後述する。

このように、実施形態に係る情報処理装置４の審査支援処理では、審査動画におけるシーンの切り替わりを検出して各シーンの画像を抽出し、審査動画に含まれる音響情報の時間的推移を解析し、抽出した各シーンの画像の一覧と、音響情報の時間的推移を示す画像とを表示部４１へ表示する。

したがって、本実施形態に係る情報処理装置４によれば、動画広告の審査コストを削減することができる。以下、図２以降を用いて、実施形態に係る情報処理装置４についてさらに詳しく説明する。

〔２．情報処理装置の構成〕
次に、情報処理装置４の構成について具体的に説明する。図２は、実施形態に係る情報処理装置４の構成の一例を示すブロック図である。

なお、図２では、情報処理装置４の説明に必要となる構成要素のみを示しており、一般的な構成要素についての記載を省略している。また、既に説明済みの構成要素については、その説明を簡略化するか省略する場合がある。

図２に示すように、情報処理装置４は、表示部４１と、操作部４２と、通信部４３と、制御部４４と、記憶部４５とを備える。

記憶部４５は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、審査動画情報４５１と、コマ割り情報４５２と、音響解析情報４５３とを記憶する。

表示部４１および操作部４２については既に述べたため、ここでの説明を省略する。通信部４３は、例えばＮＩＣ（Network Interface Card）などのインターフェイスである。制御部４４は、通信部４３および前述のＬＡＮ等を介して、広告審査管理装置３との間で各種の情報を送受信可能である。

制御部４４は、図１を用いて説明した審査支援処理の実行についての全体制御を行う。具体的に、制御部４４は、例えばＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置４内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。また、制御部４４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部４４は、審査動画取得部４４１と、抽出部４４２と、解析部４４３と、表示処理部４４４と、シーン選択判定部４４５と、時間選択判定部４４６と、入力受付部４４７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４４の内部構成は、図２に示した構成に限られず、後述する情報処理を行うことのできる構成であれば他の構成であってもよい。また、制御部４４が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

審査動画取得部４４１は、通信部４３を介して広告審査管理装置３から審査対象となる審査動画を取得する。また、審査動画取得部４４１は、取得した審査動画を、記憶部４５の審査動画情報４５１へ格納する。

抽出部４４２は、審査動画情報４５１から審査動画を読み込んでシーンの切り替わりを検出し、検出されたシーンの切り替わり箇所（例えば、シーンの切り替わり直後）に対応する各シーンの画像を抽出する。なお、抽出部４４２は、シーンの切り替わりを、例えばフレーム間の変化量に基づいて検出する。フレーム間の変化量は、例えばフレームごとの画素のピクセル値の総和の変化量等に基づいて導くことができる。

また、抽出部４４２は、抽出した各シーンの画像を、対応する再生時刻位置（以下、「タイムスタンプ」と記載する場合がある）に紐づけて記憶部４５のコマ割り情報４５２へ格納する。

解析部４４３は、審査動画情報４５１の審査動画に含まれる音響情報の時間的推移を解析する。また、解析部４４３は、解析結果を記憶部４５の音響解析情報４５３へ格納する。音響解析情報４５３では、例えば審査動画の再生時刻位置ごとにかかる位置における音響信号の音声レベル値が紐付けられている。

表示処理部４４４は、審査動画情報４５１、コマ割り情報４５２および音響解析情報４５３に基づき、審査動画、コマ割りされた各シーンの画像の一覧、および、音響情報の時間的推移を示す画像を表示部４１へ表示する処理を行う。

〔２．１．表示レイアウトの構成〕
ここで、表示処理部４４４によって表示部４１へ表示される表示レイアウトの構成の一例について、図３Ａおよび図３Ｂを用いて説明しておく。図３Ａおよび図３Ｂは、表示レイアウトの構成の一例を示す図（その１）および（その２）である。

図３Ａに示すように、表示処理部４４４は、例えば「動画広告事前審査補助ツール」のタイトル名を有する表示画面４１１を、審査支援処理の処理画面として表示部４１へ表示する。表示画面４１１は例えば、動画再生領域４１２と、一覧表示領域４１３と、音響情報表示領域４１４と、審査メモ領域４１５とを有する。

動画再生領域４１２は、審査動画の再生領域である。一覧表示領域４１３は、抽出部４４２によって抽出され、コマ割り情報４５２へ格納された各シーンの画像の一覧を表示する領域である。ここで、図３Ｂに一覧表示領域４１３を拡大したものを示す。

図３Ｂに示すように、一覧表示領域４１３には、抽出された各シーンの画像の一覧が、例えば表示画面４１１に向かって左から右の順に、かつ、上段から下段の順に、それぞれ時系列に並ぶように表示される。また、表示される各シーンの画像のそれぞれには、対応するタイムスタンプがあわせて表示される。

なお、図３Ｂには一例として、審査動画が、車や鳥が順に横切るのどかな風景に突然の爆発シーン（閉曲線Ｃ１、Ｃ２参照）が入る「○×保険」の動画広告である場合を示した。また、説明の便宜上、シーンを特定するために閉曲線Ｃ１〜Ｃ４を記載している。

かかる図３Ｂの一例に示すように、一覧表示領域４１３に対して審査動画の各シーンの画像の一覧が表示されることで、審査者は審査動画の言わば「ダイジェスト」を閲覧可能になるので、審査者は審査動画のあらすじを容易に把握することができる。

また、審査者は、かかる「ダイジェスト」を閲覧可能になることで、審査動画の審査すべき特徴点を直感的に把握することができる。例えば閉曲線Ｃ１、Ｃ２に示す爆発シーンは、のどかな風景に突如現れるものであり、かかる閉曲線Ｃ１、Ｃ２のシーンが、注力して審査すべきシーンであると審査者は容易に把握することができる。

また、同じく閉曲線Ｃ１、Ｃ２に示すシーンでは背景が明滅しており、これがフラッシュ状に瞬間的に明滅するもので広告として不適切なものではないかとの推定を、審査者は直感的に働かせることができる。

また、閉曲線Ｃ３に示すシーンでは、「最高の保険を」との文言が大きく表示されることが明らかであることから、審査者は、審査動画が、いわゆる広告文における「最高最大表現」を含むものであり、広告として不適切なものであるとの推定を容易に働かせることができる。

また、閉曲線Ｃ４に示すシーンでは、審査動画のあらすじに無関係と思われる「ゴースト」の画像が突如挿入されていることから、審査者は、審査動画が、無関係な画像が瞬間的に挿入されたサブリミナル広告ではないかとの推定を容易に働かせることができる。

このように、表示処理部４４４が、一覧表示領域４１３へ、審査動画における各シーンの画像の一覧、言わば「ダイジェスト」を表示することで、審査者に審査業務を効率よく進めさせることが可能となる。すなわち、動画広告の審査コストを削減するのに資することができる。

図３Ａに戻り、次に音響情報表示領域４１４について説明する。音響情報表示領域４１４は、解析部４４３によって解析され、音響解析情報４５３へ格納された音響情報の時間的推移を示す画像が表示される領域である。

例えば図３Ａには、横軸が時間の推移であり、縦軸が音声レベルである音声レベル波形の画像が表示処理部４４４によって表示された例を示している。表示処理部４４４は、かかる画像に対し、あわせて音声レベルの推奨閾値ＴＨ１、ＴＨ２を示すラインを表示することができる。

なお、ここで、横軸の時間の推移は、一覧表示領域４１３における各シーンの画像のタイムスタンプに対応している。これにより、審査者は、例えば閉曲線Ｃ１に示す画像のシーンの音声が、図中にＴ１として示す時刻位置付近のものであり、音声レベルが推奨閾値ＴＨ１、ＴＨ２を超えるものであることを容易に把握することができる。

また、表示処理部４４４は、横軸の時間の推移に対し、動画再生領域４１２における審査動画の現在再生位置を示すマーカーＭ１をあわせて表示することができる。また、表示処理部４４４は、審査動画の現在再生位置に応じて、かかるマーカーＭ１を音声レベル波形の横軸に沿って移動させることができる。

これにより、審査者は、審査動画の再生位置に応じた例えば音声レベルを容易に把握することができる。すなわち、例えば推奨レベルを超える突然の大音量の音声を発するような審査動画であっても、審査者はかかる大音量の音声に対し事前にボリュームを絞る等、備えることができるので、審査者を保護することができる。

また、表示処理部４４４は、操作部４２を介して審査者から所定の操作を受け付けた場合に、かかる操作に対応する各機能を実行させつつ表示画面４１１を表示することができる。

例えば、表示処理部４４４は、操作部４２を介し、制御部４４が審査者から一覧表示領域４１３のいずれかの画像を選択する操作を受け付けた場合には、かかる選択された画像のシーンから審査動画を動画再生領域４１２において再生する。

また、例えば、表示処理部４４４は、操作部４２を介し、制御部４４が審査者から音響情報表示領域４１４のいずれかの一点をポインティングする操作を受け付けた場合には、ポインティングされた位置に対応する横軸の再生時刻位置から審査動画を動画再生領域４１２において再生する。

これにより、審査者は、見たいシーンや音声レベルを示す任意の再生位置から審査動画を再生させることができるので、例えば不適切ではないかと推定した再生位置から効率よく審査業務を進めることができる。すなわち、動画広告の審査コストを削減することができる。

審査メモ領域４１５は、前述の審査メモ機能を提供するための操作部品を含む領域であり、審査メモの入力欄４１６を有する。例えば図３Ａに示すように、音響情報表示領域４１４のマーカーＭ１の指す「００：３０」の再生時刻位置で審査動画の再生を止めて、動画再生領域４１２には前述のサブリミナル的な「ゴースト」の画像が表示されたままであるものとする。また、このときの「経過時間」は、図３Ａに示すように正確には「３０．０３」秒であるものとする。

かかる場合、審査者は、例えば入力欄４１６に「無関係な画像が瞬間的に挿入されている。」といった、審査の過程でメモとして記録したい文言を入力することができる。また、審査メモ領域４１５には、操作部品として「経過時間記録」ボタン４１７がさらに含まれる。審査者は、かかる「経過時間記録」ボタン４１７を操作部４２を介して押下することで、入力欄４１６へ入力された文言へ「経過時間」（ここでは、「３０．０３」秒）を紐付けることができる。

入力欄４１６の文言は、例えば審査メモ領域４１５に含まれる「コピー」ボタン４１８や「一時保存」ボタン４１９を審査者が操作部４２を介して押下することで、例えば情報処理装置４の有する一時記憶領域などに保存される。

これにより、審査動画の例えば不適切な画像の再生時刻位置を審査者以外の者と共有することが可能となる。具体的には、例えば、一時記憶領域に保存された内容を電子メールのメール文に貼り付けて広告主Ｓへ送付することなどが可能となるので、審査の結果不適切であると認められた箇所を広告主Ｓへ正確に通知することができる。

なお、審査メモの内容は、記憶部４５のコマ割り情報４５２に含まれる各画像に紐付けられてもよい。かかる場合の一例を図４に示す。図４は、コマ割り情報４５２の一例を示す図である。なお、図４では、これまで説明してきた審査動画に「００１」の動画ＩＤが割り振られているものとしている。

図４に示すように、「審査メモ」の内容は、「再生時刻位置」と、各シーンの「画像」とに紐付けられてもよい。かかる紐付けは、後述する入力受付部４４７によって実行される。例えば、「再生時刻位置」が「００：００：１８：０８４」である爆発シーンの画像（図３Ｂの閉曲線Ｃ１参照）に対しては、「のどかなシーンから突然の爆発シーンと推奨レベルを超える大音量。」との「審査メモ」を審査者が入力し、これを入力受付部４４７が紐付けることができる。

また例えば、「再生時刻位置」が「００：００：１９：０５２」である爆発シーンの画像（図３Ｂの閉曲線Ｃ２参照）に対しては、「背景が瞬間的に明滅。」との「審査メモ」を審査者が入力し、これを入力受付部４４７が紐付けることができる。

また例えば、図３Ａに示した例である、「再生時刻位置」が「００：００：３０：０３０」である「ゴースト」のシーンの画像に対しては、「無関係な画像が瞬間的に挿入されている。」との「審査メモ」を審査者が入力し、これを入力受付部４４７が紐付けることができる。

このように、審査メモの内容をコマ割り情報４５２へ画像へ紐付けて含むことで、例えば図４の一例の内容を出力して、審査結果の明細として用いることが可能となるので、審査業務を効率よく正確に進めるのに資することができる。すなわち、動画広告の審査コストを削減することができる。

（情報処理装置の構成のつづき）
図２の説明に戻り、次にシーン選択判定部４４５について説明する。シーン選択判定部４４５は、操作部４２を介し、審査者によって、表示部４１へ表示された一覧表示領域４１３におけるシーンの画像が選択されたか否かを判定する。また、シーン選択判定部４４５は、一覧表示領域４１３におけるシーンの画像のいずれかが選択されたと判定した場合に、選択されたシーンから審査動画を再生するように表示処理部４４４へ要求する。

表示処理部４４４は、かかる要求を受けた場合に、シーン選択判定部４４５によって画像が選択されたと判定されたシーンから審査動画を再生して表示部４１へ表示する。

時間選択判定部４４６は、操作部４２を介し、審査者によって、表示部４１へ表示された音響情報表示領域４１４における音響情報の時間的推移のうち一つの時刻位置が選択されたか否かを判定する。また、時間選択判定部４４６は、音響情報表示領域４１４における時間的推移のうち一つの時刻位置が選択されたと判定した場合に、選択された時刻位置から審査動画を再生するように表示処理部４４４へ要求する。

表示処理部４４４は、かかる要求を受けた場合に、時間選択判定部４４６によって選択されたと判定された時刻位置から審査動画を再生して表示部４１へ表示する。

入力受付部４４７は、操作部４２を介し、審査者によって、入力欄４１６へ審査メモが入力され、「コピー」ボタン４１８や「一時保存」ボタン４１９が押下されたなどの所定の操作を受け付けた場合に、例えば審査メモの内容を記憶部４５のコマ割り情報４５２に含まれる各シーンの画像へ紐付けて格納する（図４参照）。

また、入力受付部４４７は、これまで説明してきた所定の操作以外の操作を受け付けた場合に、かかる操作に対応する各機能を例えば表示処理部４４４に実行させる。例えば、マウスのマウスホイールを回転させる操作を受け付けた場合には、マウスホイールの回転量に応じて審査動画の再生速度を変化させる処理を、表示処理部４４４に実行させてもよい。

〔３．審査支援処理の処理手順〕
次に、実施形態に係る情報処理装置４が実行する情報処理としての審査支援処理の処理手順について説明する。図５は、実施形態に係る情報処理装置４が実行する審査支援処理の処理手順を示すフローチャートである。なお、ここでは、審査者から操作部４２を介して所定の終了操作を受け付けた場合に、情報処理装置４の制御部４４が審査支援処理を終了させるものとする。

図５に示すように、まず審査動画取得部４４１によって取得された審査動画から、抽出部４４２が、シーンの切り替わりを検出して各シーンの画像を抽出する（ステップＳ１０１）。

そして、解析部４４３が、審査動画に含まれる音響情報の時間的推移を解析する（ステップＳ１０２）。なお、ステップＳ１０１の抽出処理とステップＳ１０２の解析処理とは必ずしもいずれかが先に実行される必要はなく、例えば並列に処理されてもよい。

そして、表示処理部４４４が、各シーンの画像の一覧と、音響情報の解析結果を示す画像とを表示部４１へ表示する（ステップＳ１０３）。

つづいて、例えば入力受付部４４７が、審査者により所定の終了操作があったか否かを判定する（ステップＳ１０４）。ここで、終了操作がないと判定された場合（ステップＳ１０４，Ｎｏ）、シーン選択判定部４４５が、一覧表示領域４１３におけるシーンの画像のいずれかが選択されたか否かを判定する（ステップＳ１０５）。

ここで、シーンのいずれかが選択されたと判定された場合（ステップＳ１０５，Ｙｅｓ）、表示処理部４４４が選択されたシーンから動画を再生し（ステップＳ１０６）、制御部４４がステップＳ１０４へ制御を移す。

一方、ステップＳ１０５の判定条件を満たさなかった場合（ステップＳ１０５，Ｎｏ）、時間選択判定部４４６が、音響情報表示領域４１４における音響情報の時間的推移のうち一つの時刻位置が選択されたか否かを判定する（ステップＳ１０７）。

ここで、時刻位置のいずれかが選択されたと判定された場合（ステップＳ１０７，Ｙｅｓ）、表示処理部４４４が選択された時刻位置から動画を再生し（ステップＳ１０８）、制御部４４がステップＳ１０４へ制御を移す。

一方、ステップＳ１０７の判定条件を満たさなかった場合（ステップＳ１０７，Ｎｏ）、入力受付部４４７が、審査メモの入力（記録操作を含む）があったか否かを判定する（ステップＳ１０９）。

ここで、審査メモの入力があったと判定された場合（ステップＳ１０９，Ｙｅｓ）、入力受付部４４７が審査メモを対応するシーンへ紐付け（ステップＳ１１０）、制御部４４がステップＳ１０４へ制御を移す。

一方、ステップＳ１０９の判定条件を満たさなかった場合（ステップＳ１０９，Ｎｏ）、入力受付部４４７が、その他の操作があったか否かを判定する（ステップＳ１１１）。

ここで、その他の操作があったと判定された場合（ステップＳ１１１，Ｙｅｓ）、表示処理部４４４が、操作に対応する表示画面４１１における各機能を実行し（ステップＳ１１２）、制御部４４がステップＳ１０４へ制御を移す。

一方、ステップＳ１１１の判定条件を満たさなかった場合（ステップＳ１１１，Ｎｏ）、制御部４４がステップＳ１０４へ制御を移す。

なお、ステップＳ１０４において終了操作があったと判定された場合（ステップＳ１０４，Ｙｅｓ）、制御部４４は審査支援処理を終了する。

〔４．ハードウェア構成〕
なお、実施形態に係る情報処理装置４は、例えば図６に示すような構成のコンピュータ６０によって実現される。図６は、情報処理装置４の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ６０は、ＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＲＯＭ（Read Only Memory）６３、ＨＤＤ（Hard Disk Drive）６４、通信インターフェイス（Ｉ／Ｆ）６５、入出力インターフェイス（Ｉ／Ｆ）６６、およびメディアインターフェイス（Ｉ／Ｆ）６７を備える。

ＣＰＵ６１は、ＲＯＭ６３またはＨＤＤ６４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６３は、コンピュータ６０の起動時にＣＰＵ６１によって実行されるブートプログラムや、コンピュータ６０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ６４は、ＣＰＵ６１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェイス６５は、通信部４３に対応し、通信ネットワーク５を介して他の機器からデータを受信してＣＰＵ６１へ送り、ＣＰＵ６１が生成したデータを、通信ネットワーク５を介して他の機器へ送信する。

ＣＰＵ６１は、入出力インターフェイス６６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ６１は、入出力インターフェイス６６を介して、入力装置からデータを取得する。また、ＣＰＵ６１は、生成したデータを、入出力インターフェイス６６を介して出力装置へ出力する。

メディアインターフェイス６７は、記録媒体６８に格納されたプログラムまたはデータを読み取り、ＲＡＭ６２を介してＣＰＵ６１に提供する。ＣＰＵ６１は、当該プログラムを、メディアインターフェイス６７を介して記録媒体６８からＲＡＭ６２上にロードし、ロードしたプログラムを実行する。記録媒体６８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

コンピュータ６０が情報処理装置４として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、審査動画取得部４４１、抽出部４４２、解析部４４３、表示処理部４４４、シーン選択判定部４４５、時間選択判定部４４６および入力受付部４４７の各機能を実現する。また、ＨＤＤ６４は、記憶部４５の機能を実現し、審査動画情報４５１、コマ割り情報４５２および音響解析情報４５３などが格納される。

コンピュータ６０のＣＰＵ６１は、これらのプログラムを、記録媒体６８から読み取って実行するが、他の例として、他の装置から、通信ネットワーク５を介してこれらのプログラムを取得してもよい。

〔５．効果〕
実施形態にかかる広告審査システム１の情報処理装置４は、抽出部４４２と、解析部４４３と、表示処理部４４４と、を備える。抽出部４４２は、審査動画におけるシーンの切り替わりを検出し、各シーンの画像を審査動画から抽出する。解析部４４３は、審査動画に含まれる音響情報の時間的推移を解析する。表示処理部４４４は、抽出部４４２によって抽出された各シーンの画像の一覧と、解析部４４３によって解析された音響情報の時間的推移を示す画像とを表示部４１へ表示する。

これにより、審査者は、例えば各シーン画像の一覧によって、審査動画のあらすじを容易に把握することができる。また、審査者は、例えば不適切なシーンがあるか否かを目視で容易に確認することができる。すなわち、審査に注力すべき箇所を容易に把握して審査業務を効率よく進めることが可能となり、審査コストを削減することができる。また、審査者は、例えば音声レベル波形によって、審査動画のいずれの再生時刻位置で音声レベルがピークとなるか、またそのピークの音声レベルが推奨閾値ＴＨ１、ＴＨ２を超えるものか、またそのピークがどれくらい続くのかといったことを容易に確認することができる。すなわち、審査者が急に音声が大きくなるといった事態に対して事前に備えることが可能となり、審査者を保護することができる。また、推奨閾値ＴＨ１、ＴＨ２を超える音声レベルの確認などが容易に行えることで審査業務を効率よく進めることが可能となり、審査コストを削減することができる。

また、情報処理装置４は、シーン選択判定部４４５を備える。シーン選択判定部４４５は、表示部４１へ表示されたシーンの画像が選択されたか否かを判定する。表示処理部４４４は、シーン選択判定部４４５によって画像が選択されたと判定されたシーンから審査動画を再生して表示部４１へ表示する。

これにより、審査者が審査に注力したい任意のシーンから審査動画を再生させることができるので、審査者が効率的に審査業務を進めることが可能となる。

また、情報処理装置４は、時間選択判定部４４６を備える。時間選択判定部４４６は、表示部４１へ表示された音響情報の時間的推移のうち一つの時刻位置が選択されたか否かを判定する。また、表示処理部４４４は、時間選択判定部４４６によって選択されたと判定された一つの時刻位置から審査動画を再生して表示部４１へ表示する。

これにより、審査者が審査に注力したい任意の時刻位置から審査動画を再生させることができるので、審査者が効率的に審査業務を進めることが可能となる。

また、表示処理部４４４は、各シーンの画像に対応する審査動画の再生時刻位置を示す情報を音響情報の時間的推移を示す画像に設定して表示部４１へ表示する。

これにより、審査者が、各シーンの画像と音響情報の時間的推移とを関連付けて目視で直感的に両者の関係を把握することができるので、注力して審査すべき箇所などを審査者に容易に推定させることができ、審査業務を効率よく進めるのに資することができる。

また、表示処理部４４４は、審査者からの入力を受け付ける入力欄４１６を、各シーンの画像の一覧および音響情報の時間的推移を示す画像と共に表示部４１へ表示する。

これにより、審査者が審査の過程でメモを記録する必要がある場合に、各シーンの画像の一覧および音響情報の時間的推移を示す画像へ対応付けて記録することができるので、例えば審査動画において不適切な箇所などを正確に広告主Ｓへ通知することが可能となり、審査業務を効率よく進めるのに資することができる。

また、解析部４４３は、音響情報の時間的推移として、審査動画に含まれる音響信号の大きさおよび周波数のうち少なくとも一以上の時間的推移を解析する。

これにより、審査動画に含まれる音響信号が、推奨閾値ＴＨ１、ＴＨ２を超える大きさの音声レベルを含むような場合であっても、審査者に事前に備えさせることができるので、審査者を保護することができる。また、推奨レベルを超えて例えば不快な音声を響かせる周波数の音響信号を審査動画が含む場合も同様に、審査者に事前に備えさせ、審査者を保護することができる。また、審査者は、予め推奨閾値ＴＨ１、ＴＨ２を超える音響信号が含まれる審査動画の再生時刻位置を知ることができるので、審査者が効率よく審査業務を進めるのに資することができる。

〔６．その他〕
以上、本願の実施形態の一態様を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

例えば上述した情報処理装置４は、広告審査管理装置３から審査動画を取得したが、通信ネットワーク５を介して相互に通信可能に接続されたＷｅｂサーバなどから審査動画を取得可能な構成であってもよい。かかる場合、広告主Ｓ側も、通信ネットワーク５を介して、審査対象となる審査動画をこのＷｅｂサーバにアップロードしておけばよい。

また、上述した情報処理装置４は、タッチパネルを搭載したタブレット型端末などで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、上述した表示処理部４４４は、シーン選択判定部４４５によって画像が選択されたと判定されたシーンから審査動画を再生して表示部４１へ表示するが、他の処理を行うこともできる。例えば、表示処理部４４４は、シーン選択判定部４４５によって画像が選択されたと判定されたシーンに含まれる動画から複数の画像を抜き出して表示部４１へ一覧表示することもできる。これにより、審査者は、各シーンの確認を簡易的に行うことができ、審査業務を効率よく進めることが可能となる。なお、シーンに含まれる動画から複数の画像を抜き出す処理は、例えば、抽出部４４２によって行われる。抽出部４４２は、例えば、シーンの切り替わりを判定するフレーム間の変化量の閾値よりも小さな閾値を用いて直前フレームからの変化量が閾値を超えるフレームの画像をシーンに含まれる画像として抽出する。なお、抽出部４４２は、シーンに含まれる画像としてシーンの動画をＮ等分（Ｎは２以上整数）する再生時刻位置のＮ個の画像を抽出することもできる。

また、抽出部４４２は、審査動画情報４５１から審査動画を読み込んでシーンの切り替わりをフレーム間の変化量に基づいて検出するが、かかる変化量は、連続するフレーム間の変化量であってもよく、また、シーンの最初のフレームを基準とする変化量であってもよい。シーンの最初のフレームを基準とすることにより、シーンが緩やかに切り替わっていくような場合であっても、シーンの切り替わりを検出することができる。

また、抽出部４４２は、審査動画から画像解析により審査動画内のオブジェクトを検出し、かかるオブジェクトがでてくるタイミングやなくなるタイミングをシーンの切り替わりタイミングとして検出することができる。

また、上述した表示処理部４４４は、解析部４４３によって解析された音響情報の時間的推移を示す画像を表示部４１へ表示するが、音響信号が例えば上述の推奨閾値ＴＨ１、ＴＨ２を超えるような推奨外の値を示す時刻位置について強調表示することもできる。また、かかる場合に、一覧表示領域４１３の各シーンの画像の一覧のうち、上記推奨外の値を示す時刻位置に対応するシーンの画像を強調表示することもできる。

強調表示の態様は、審査者の注意を引くことが可能であればいかなる態様でもよく、例えば表示を明滅させたり、背景色を他の部分と異ならせたり、太めの輪郭線で囲ったり、これらを組み合わせたり、といったように種々の手法を用いてよい。また、表示処理部４４４は、このような強調表示を行う場合に、あわせて審査者へ向けた「視聴注意」などの注意を促すメッセージを、やはり強調させつつ表示することとしてもよい。例えば、図３Ａの表示レイアウトで言えば、タイトル名「動画広告事前審査補助ツール」右側の表示画面４１１の中央部に、「視聴注意」や「警告」などのメーセージを、目立つように明滅させつつ大きなフォント文字で表示したりしてもよい。

これにより、審査業務の補助ツールとして、審査者に対し、視聴に注意を要する点や心の準備を要する点を予め報知する機能を提供することができる。

また、上述した情報処理装置４は、広告審査システム１における動画広告の審査業務を支援する支援装置と位置付けて説明したが、業務の種別は審査業務に限定されない。したがって、動画も広告用に限らず、あらゆる動画コンテンツを閲覧する場合に適用可能である。

１ 広告審査システム
２ 広告主端末
３ 広告審査管理装置
４ 情報処理装置
５ 通信ネットワーク
４１ 表示部
４２ 操作部
４３ 通信部
４４ 制御部
４５ 記憶部
４４１ 審査動画取得部
４４２ 抽出部
４４３ 解析部
４４４ 表示処理部
４４５ シーン選択判定部
４４６ 時間選択判定部
４４７ 入力受付部
４５１ 審査動画情報
４５２ コマ割り情報
４５３ 音響解析情報

Claims (8)

1. 動画コンテンツにおけるシーンの切り替わりを検出し、各シーンの画像を前記動画コンテンツから抽出する抽出部と、
   前記動画コンテンツに含まれる音響情報の時間的推移を解析する解析部と、
   前記抽出部によって抽出された前記各シーンの画像の一覧と、前記解析部によって解析された前記音響情報の時間的推移を示す画像とを表示部へ表示する表示処理部と、
   を備え、
   前記解析部は、
   前記音響情報の時間的推移として、前記動画コンテンツに含まれる音響信号の大きさおよび周波数のうち少なくとも一以上の時間的推移を解析すると共に、
   前記表示処理部は、
   前記音響情報についての所定の推奨閾値を示すラインを前記時間的推移を示す画像に含ませて表示すると共に、前記時間的推移において前記ラインを超える箇所が存在する場合に、前記動画コンテンツの視聴に注意を要する旨を前記表示部へ強調表示する
   ことを特徴とする情報処理装置。
2. 前記表示部へ表示された前記シーンの画像が選択されたか否かを判定するシーン選択判定部を備え、
   前記表示処理部は、
   前記シーン選択判定部によって画像が選択されたと判定された前記シーンから前記動画コンテンツを再生して前記表示部へ表示する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示部へ表示された前記音響情報の時間的推移のうち一つの時刻位置が選択されたか否かを判定する時間選択判定部を備え、
   前記表示処理部は、
   前記時間選択判定部によって選択されたと判定された前記一つの時刻位置から前記動画コンテンツを再生して前記表示部へ表示する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示処理部は、
   前記各シーンの画像に対応する前記動画コンテンツの再生時刻位置を示す情報を前記音響情報の時間的推移を示す画像に設定して前記表示部へ表示する
   ことを特徴とする請求項１〜３のいずれか一つに記載の情報処理装置。
5. 前記表示処理部は、
   利用者からの入力を受け付ける入力欄を、前記各シーンの画像の一覧および前記音響情報の時間的推移を示す画像と共に前記表示部へ表示する
   ことを特徴とする請求項１〜４のいずれか一つに記載の情報処理装置。
6. 前記表示処理部は、
   前記音響情報の時間的推移を示す画像において前記音響信号が前記推奨閾値を超える値を示す時刻位置について強調表示すると共に、前記各シーンの画像の一覧のうち前記推奨閾値を超える値を示す時刻位置に対応する前記シーンの画像を強調表示する
   ことを特徴とする請求項１〜５のいずれか一つに記載の情報処理装置。
7. コンピュータが実行する情報処理方法であって、
   動画コンテンツにおけるシーンの切り替わりを検出し、各シーンの画像を前記動画コンテンツから抽出する抽出工程と、
   前記動画コンテンツに含まれる音響情報の時間的推移を解析する解析工程と、
   前記抽出工程によって抽出した前記各シーンの画像の一覧と、前記解析工程によって解析された前記音響情報の時間的推移を示す画像とを表示部へ表示する表示処理工程と、
   を含み、
   前記解析工程は、
   前記音響情報の時間的推移として、前記動画コンテンツに含まれる音響信号の大きさおよび周波数のうち少なくとも一以上の時間的推移を解析すると共に、
   前記表示処理工程は、
   前記音響情報についての所定の推奨閾値を示すラインを前記時間的推移を示す画像に含ませて表示すると共に、前記時間的推移において前記ラインを超える箇所が存在する場合に、前記動画コンテンツの視聴に注意を要する旨を前記表示部へ強調表示する
   ことを特徴とする情報処理方法。
8. コンピュータに、
   動画コンテンツにおけるシーンの切り替わりを検出し、各シーンの画像を前記動画コンテンツから抽出する抽出手順と、
   前記動画コンテンツに含まれる音響情報の時間的推移を解析する解析手順と、
   前記抽出手順によって抽出した前記各シーンの画像の一覧と、前記解析手順によって解析された前記音響情報の時間的推移を示す画像とを表示部へ表示する表示処理手順と、
   を実行させ、
   前記解析手順は、
   前記音響情報の時間的推移として、前記動画コンテンツに含まれる音響信号の大きさおよび周波数のうち少なくとも一以上の時間的推移を解析すると共に、
   前記表示処理手順は、
   前記音響情報についての所定の推奨閾値を示すラインを前記時間的推移を示す画像に含ませて表示すると共に、前記時間的推移において前記ラインを超える箇所が存在する場合に、前記動画コンテンツの視聴に注意を要する旨を前記表示部へ強調表示する
   ことを特徴とする情報処理プログラム。

Images