JP7011170B2 - 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム - Google Patents

提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム Download PDF

Info

Publication number
JP7011170B2
JP7011170B2 JP2018108007A JP2018108007A JP7011170B2 JP 7011170 B2 JP7011170 B2 JP 7011170B2 JP 2018108007 A JP2018108007 A JP 2018108007A JP 2018108007 A JP2018108007 A JP 2018108007A JP 7011170 B2 JP7011170 B2 JP 7011170B2
Authority
JP
Japan
Prior art keywords
credit display
provided credit
program
learning
day
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018108007A
Other languages
English (en)
Other versions
JP2019213065A (ja
Inventor
康智 大石
隆仁 川西
薫 平松
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018108007A priority Critical patent/JP7011170B2/ja
Priority to PCT/JP2019/018883 priority patent/WO2019235137A1/ja
Priority to US15/734,864 priority patent/US12028573B2/en
Publication of JP2019213065A publication Critical patent/JP2019213065A/ja
Application granted granted Critical
Publication of JP7011170B2 publication Critical patent/JP7011170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4784—Supplemental services, e.g. displaying phone caller identification, shopping application receiving rewards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、番組における、その番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムに関する。
非特許文献１には、動画像に対する画像解析を行い、動画像に映る様々なイベントを検出する技術が開示されている。この技術では、動画像の撮影された場所、動画像に登場する物体、人などの情報を数値化して特徴ベクトルとして表現し、その特徴ベクトルを用いて、動画像に映る様々なイベント（誕生日会、タイヤ交換、料理、パレードなど）を検出する。
M. Merler, B. Huang, L. Xie, G. Hua, and A. Natsev, "Semantic Model Vectors for Complex Video Event Recognition", IEEE Transactions on Multimedia, vol.14, no.1, 586, pp.88-101, 2012.
例えば、テレビ放送などにより放送される番組には、コマーシャル（以下、「ＣＭ」（Commercial Message）と称する）及びその番組のスポンサーを示す提供クレジット表示が含まれることがある。近年、ＣＭの効果の測定などのために、番組におけるＣＭを特定してカウントすることが求められている。また、特定したＣＭが、番組のスポンサーによるＣＭ（以下、「タイムＣＭ」と称する）であるか、放送局が定めた放送枠で放送されるＣＭ（以下、「スポットＣＭ」と称する）であるかを区別することが求められている。タイムＣＭは、番組に紐づけられたＣＭであるのに対し、スポットＣＭは、番組に紐づけられたＣＭではない。そのため、番組に含まれるタイムＣＭとスポットＣＭとを区別するためには、番組のスポンサーを示す提供クレジット表示を検出することが有用である。
従来は、作業者の目視による提供クレジット表示の確認が行われており、コストの増加を招いていた。また、提供クレジット表示には様々なバリエーションが存在し、非特許文献１に記載の技術では、様々なバリエーションの提供クレジット表示を高精度に検出することは困難であった。
上記のような問題点に鑑みてなされた本発明の目的は、番組における提供クレジット表示の検出の高精度化を図ることができる提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムを提供することにある。
上記課題を解決するため、本発明に係る提供クレジット表示検出装置は、番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置であって、前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示が表示された静止画と、前記提供クレジット表示が表示されていない静止画とを学習データとして作成する学習データ作成部と、前記学習データ作成部により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部と、前記学習部により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部と、を備え、前記学習データ作成部は、曜日ごとの前記提供クレジット表示が検出済みの番組から、曜日ごとに前記学習データを作成し、前記学習部は、前記学習データ作成部により作成された曜日ごとの学習データを用いて、前記パラメータを曜日ごとに学習し、前記提供クレジット表示検出部は、前記認識対象の番組が放送される曜日について学習されたパラメータを前記検出モデルに適用して、前記認識対象の番組における提供クレジット表示を検出する。
また、上記課題を解決するため、本発明に係る提供クレジット表示検出方法は、番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置における提供クレジット表示検出方法であって、前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示ありの静止画と、前記提供クレジット表示なしの静止画とを学習データとして作成するステップと、前記作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習するステップと、前記学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出するステップと、を含み、前記作成するステップでは、曜日ごとの前記提供クレジット表示が検出済みの番組から、曜日ごとに前記学習データを作成し、前記学習するステップでは、前記作成された曜日ごとの学習データを用いて、前記パラメータを曜日ごとに学習し、前記検出するステップでは、前記認識対象の番組が放送される曜日について学習されたパラメータを前記検出モデルに適用して、前記認識対象の番組における提供クレジット表示を検出する。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の提供クレジット表示検出装置として機能させる。
本発明に係る提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムによれば、番組における提供クレジット表示の検出の高精度化を図ることができる。
本発明の第１の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。 図１に示す提供クレジット表示検出装置における提供クレジット表示検出方法の一例を示すフローチャートである。 本発明の第２の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。 図３に示す提供クレジット表示検出装置における、曜日ごとの学習データを用いた再学習と、提供クレジット表示の検出精度の評価について説明するための図である。 図３に示す提供クレジット表示検出装置による、提供クレジット表示の検出の再現率（Ｒｅｃａｌｌ）の評価結果を示す図である。 図３に示す提供クレジット表示検出装置による、提供クレジット表示の検出の適合率（Ｐｒｅｃｉｓｉｏｎ）の評価結果を示す図である。 本発明の第３の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る提供クレジット表示検出装置１００の構成例を示す図である。本実施形態に係る提供クレジット表示検出装置１００は、番組における、その番組のスポンサーを示す提供クレジット表示を検出するものである。
図１に示す提供クレジット表示検出装置１００は、放送映像／音声信号蓄積部１１０と、正解メタデータ蓄積部１２０と、パラメータ蓄積部１３０と、学習データ作成部１４０と、学習部１５０と、検出用画像データ作成部１６０と、提供クレジット表示検出部１７０とを備える。提供クレジット表示検出部１７０は、信号生成部１７１と、時刻情報出力部１７２とを備える。
放送映像／音声信号蓄積部１１０は、放送された番組を固定時間長（例えば、６５分）でエンコードした放送映像／音声信号を蓄積する。放送映像／音声信号蓄積部１１０は、例えば、番組の映像信号をＨ．２６４方式でエンコードした信号と、番組の音声信号をＡＡＣ（Advanced Audio Coding）方式でエンコードした信号とをＭＰ４ファイル形式で格納する。放送映像／音声信号蓄積部１１０は、例えば、作業者などにより提供クレジット表示が表示される時刻が検出済みの番組（以下、「提供クレジット表示が検出済みの番組」と称する）、及び、提供クレジット表示の検出対象の番組（以下、「認識対象の番組」と称する）の放送映像／音声信号を蓄積する。なお、放送映像／音声信号蓄積部１１０は、放送用の番組の映像／音声信号に限られず、インターネット配信用の番組の映像／音声信号を蓄積してもよい。
正解メタデータ蓄積部１２０は、番組における、提供クレジット表示が表示された時刻を示す時刻情報を蓄積する。提供クレジット表示が表示された時刻は、例えば、予め作業者により目視により確認され、正解メタデータ蓄積部１２０に蓄積される。
パラメータ蓄積部１３０は、後述する、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを蓄積する。検出モデルは、例えば、畳み込みニューラルネットワークを用いたモデルである。詳細な説明は省略するが、畳み込みニューラルネットワークは、一般に、入力側から、畳み込み層とプーリング層とがこの順に、複数回繰り返して配置され、その後、全結合層が配置された構成を有する。畳み込み層では、入力画像に対して畳み込みフィルタを適用する処理が行われる。プーリング層では、畳み込み層の出力に対して、矩形フィルタを順次ずらしていきながら適用し、矩形フィルタ内の最大の値を取り出して新しい画像を生成する処理が行われる。全結合層では、畳み込み層及びプーリング層により特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換された値を出力する処理が行われる。パラメータ蓄積部１３０は、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、各層で適用するフィルタのフィルタ重み、及び、畳み込み層の出力に加算するバイアスパラメータなどを蓄積する。
学習データ作成部１４０は、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部１４０は、その番組において提供クレジット表示が表示された時刻を示す時刻情報を正解メタデータ蓄積部１２０から取得する。学習データ作成部１４０は、提供クレジット表示が検出済みの番組から、提供クレジット表示が表示された静止画（以下、「提供クレジット表示ありの静止画」と称する）と、提供クレジットが表示されていない静止画（以下、「提供クレジット表示なしの静止画」と称する）とを学習データとして作成する。
具体的には、学習データ作成部１４０は、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。なお、静止画は、画面内符号化が行われたＩフレームのみを用いて作成してもよい。例えば、学習データ作成部１４０は、１秒ごとに静止画を作成する。この場合、学習データ作成部１４０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
次に、学習データ作成部１４０は、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、学習データ作成部１４０は、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。学習データ作成部１４０は、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。学習データ作成部１４０は、例えば、提供クレジット表示が検出済みの番組の放送時間が６５分である場合、複数の番組に対して上述した処理を行い、必要数の静止画を抽出する。学習データ作成部１４０は、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を学習データとして学習部１５０に出力する。
学習部１５０は、学習データ作成部１４０により作成された学習データ（提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、学習部１５０は、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。学習部１５０は、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
検出用画像データ作成部１６０は、放送映像／音声信号蓄積部１１０から、認識対象の番組の映像信号を取得する。検出用画像データ作成部１６０は、取得した認識対象の番組の映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、検出用画像データ作成部１６０は、１秒ごとに静止画を作成する。この場合、検出用画像データ作成部１６０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。検出用画像データ作成部１６０は、作成した時系列的に連続する静止画を信号生成部１７１に出力する。
提供クレジット表示検出部１７０は、学習部１５０により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する。上述したように、提供クレジット表示検出部１７０は、信号生成部１７１と、時刻情報出力部１７２とを備える。
信号生成部１７１は、検出用画像データ作成部１６０から出力された、検出用画像データ（認識対象の番組の時系列的に連続する静止画）を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、信号生成部１７１は、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジットの有無を時系列的に示す時系列信号を生成する。ここで、信号生成部１７１は、パラメータ蓄積部１３０に蓄積されたパラメータを検出モデルに適用する。
具体的には、信号生成部１７１は、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、パラメータ蓄積部１３０に蓄積されたパラメータを固定値としたネットワーク（検出モデル）を構築する。信号生成部１７１は、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定し、例えば、信号「１」を出力する。また、信号生成部１７１は、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定し、例えば、信号「０」を出力する。信号生成部１７１は、認識対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、各静止画での提供クレジット表示の有無を、信号「０」又は信号「１」で示すバイナリ時系列信号を生成し、時刻情報出力部１７２に出力する。
時刻情報出力部１７２は、信号生成部１７１により生成されたバイナリ時系列信号において、提供クレジット表示ありと判定された静止画が所定時間以上連続する区間を、提供クレジット表示が表示された提供クレジット表示区間として検出する。そして、時刻情報出力部１７２は、検出した提供クレジット表示区間の時刻情報を出力する。
具体的には、時刻情報出力部１７２は、ノイズ除去を目的として、信号生成部１７１により生成されたバイナリ時系列信号に対して、中央値フィルタを適用する。そして、時刻情報出力部１７２は、中央値フィルタ処理後の時系列信号において、提供クレジット表示ありと判定された静止画が所定時間以上連続する区間、上述した例では、信号「１」が所定時間以上連続して並ぶ区間を、提供クレジット表示区間として検出する。静止画が１秒間隔で作成された場合、例えば、３００番目から３１０番目に信号「１」が連続して並んでいれば、時刻情報出力部１７２は、５分００秒から５分１０秒の区間を提供クレジット表示区間として検出し、時刻情報を出力する。
次に、本実施形態に係る提供クレジット表示検出装置１００における提供クレジット表示検出方法について、図２に示すフローチャートを参照して説明する。
まず、学習データ作成部１４０は、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画と、提供クレジットなしの静止画とを学習データとして作成する（ステップＳ１０１）。
次に、学習部１５０は、作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する（ステップＳ１０２）。
次に、検出用画像データ作成部１６０は、認識対象の番組から、認識対象の番組の時系列的に連続する静止画を検出用画像データとして作成する（ステップＳ１０３）。
次に、提供クレジット表示検出部１７０は、検出用画像データ作成部１６０により検出用画像データとして作成された認識対象の番組の時系列的に連続する静止画を、学習されたパラメータを適用した検出モデルに入力して、認識対象の番組における提供クレジット表示を検出する（ステップＳ１０４）。
提供クレジット表示では、スポンサー名を示す文字として、黒枠で縁取られた白文字、カラー文字などが用いられることがある。また、提供クレジット表示では、スポンサー名を示す文字として、種々のフォントの文字が用いられることがある。また、提供クレジット表示であっても、「提供」という文字が含まれる場合と、「提供」という文字が含まれない場合がある。また、提供クレジット表示が、スポンサーロゴのみを含む場合もある。さらに、提供クレジット表示の位置が、画面全体、右下、左下、右上、左上あるいは中央下である場合もある。このように、提供クレジット表示には、様々なバリエーションが存在する。このような様々なバリエーションの提供クレジット表示を、例えば、画像に登場する物体の特徴ベクトルなどを用いて検出することは困難である。
この点、本実施形態においては、提供クレジット表示検出装置１００は、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画と、提供クレジット表示なしの静止画とを学習データとして作成する学習データ作成部１４０と、学習データ作成部１４０により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部１５０と、学習部１５０により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部１７０と、を備える。そのため、様々なバリエーションの提供クレジット表示を学習データとすることで、上述したような様々なバリエーションの提供クレジット表示の検出が可能となり、提供クレジット表示の検出の高精度化を図ることができる。
（第２の実施形態）
図３は、本発明の第２の実施形態に係る提供クレジット表示検出装置１００Ａの構成例を示す図である。図３において、図１と同様の構成については同じ符号を付し、説明を省略する。
一般に、同じ番組であれば、毎週、同じ曜日に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。本実施形態に係る提供クレジット表示検出装置１００Ａは、このような傾向を利用して、提供クレジット表示の検出の更なる高精度化を図るものである。
図３に示す提供クレジット表示検出装置１００Ａは、図１に示す提供クレジット表示検出装置１００と比較して、学習データ作成部１４０を学習データ作成部１４０Ａに変更した点と、学習部１５０を学習部１５０Ａに変更した点と、提供クレジット表示検出部１７０を提供クレジット表示検出部１７０Ａに変更した点とが異なる。
学習データ作成部１４０Ａは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部１４０Ａは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。学習データ作成部１４０Ａは、取得した提供クレジット表示が検出済みの各曜日の番組から、曜日ごとの学習データを作成し、学習部１５０Ａに出力する。学習データ作成部１４０Ａは、初期学習用学習データ作成部１４１Ａと、曜日別再学習用学習データ作成部１４２Ａとを備える。
初期学習用学習データ作成部１４１Ａは、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部１４１Ａは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部１４１Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、初期学習用学習データ作成部１４１Ａは、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
具体的には、初期学習用学習データ作成部１４１Ａは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、初期学習用学習データ作成部１４１Ａは、１秒ごとに静止画を作成する。この場合、初期学習用学習データ作成部１４１Ａは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
次に、初期学習用学習データ作成部１４１Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、初期学習用学習データ作成部１４１Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部１４１Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。初期学習用学習データ作成部１４１Ａは、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、検出モデルの初期学習用の学習データとして学習部１５０Ａに出力する。
曜日別再学習用学習データ作成部１４２Ａは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部１４２Ａは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部１４２Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、曜日別再学習用学習データ作成部１４２Ａは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
具体的には、曜日別再学習用学習データ作成部１４２Ａは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、曜日別再学習用学習データ作成部１４２Ａは、１秒ごとに静止画を作成する。この場合、曜日別再学習用学習データ作成部１４２Ａは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
次に、曜日別再学習用学習データ作成部１４２Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、曜日別再学習用学習データ作成部１４２Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部１４２Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、１０００枚程度、抽出する。曜日別再学習用学習データ作成部１４２Ａは、上述した処理を曜日ごとに行う。そして、曜日別再学習用学習データ作成部１４２Ａは、曜日ごとに抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、曜日ごとの再学習用データとして学習部１５０Ａに出力する。
学習部１５０Ａは、学習データ作成部１４０Ａにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部１５０Ａは、初期学習部１５１Ａと、曜日別再学習部１５２Ａとを備える。
初期学習部１５１Ａは、初期学習用学習データ作成部１４１Ａにより作成された初期学習用の学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部１５１Ａは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部１５１Ａは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
曜日別再学習部１５２Ａは、曜日別再学習用学習データ作成部１４２Ａにより作成された曜日ごとの再学習用データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部１５２Ａは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。すなわち、曜日別再学習部１５２Ａは、曜日ごとに、検出モデルに適用するパラメータを学習し、パラメータ蓄積部１３０に蓄積する。曜日ごとの再学習用データを用いて検出モデルに適用するパラメータを学習（再学習）することで、曜日ごとの番組における提供クレジット表示の検出に適したパラメータを設定することができる。
提供クレジット表示検出部１７０Ａは、パラメータ蓄積部１３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用して、認識対象の番組における提供クレジット表示を検出する。提供クレジット表示検出部１７０Ａは、提供クレジット表示検出部１７０と比較して、信号生成部１７１を信号生成部１７１Ａに変更した点が異なる。
信号生成部１７１Ａは、検出用画像データ作成部１６０から出力された、認識対象の番組の時系列的に連続する静止画を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、信号生成部１７１Ａは、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジットの有無を時系列的に示す時系列信号を生成する。ここで、信号生成部１７１Ａは、パラメータ蓄積部１３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用する。
具体的には、信号生成部１７１Ａは、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、パラメータ蓄積部１３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを固定値としたネットワーク（検出モデル）を構築する。信号生成部１７１Ａは、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定し、例えば、信号「１」を出力する。また、信号生成部１７１Ａは、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定し、例えば、信号「０」を出力する。信号生成部１７１Ａは、認識対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、各静止画での提供クレジット表示の有無を、信号「０」又は信号「１」で示すバイナリ時系列信号を生成し、時刻情報出力部１７２に出力する。なお、信号生成部１７１Ａは、学習部１５０Ａにより曜日ごとに学習されたパラメータをそれぞれ適用した、曜日ごとの検出モデルを構築し、認識対象の番組が放送される曜日に対応する検出モデルを用いてもよい。
次に、本実施形態に係る提供クレジット表示検出装置１００Ａによる、提供クレジット表示の検出精度の評価結果について説明する。
図４は、提供クレジット表示検出装置１００Ａにおける、曜日ごとの学習データを用いた再学習と、提供クレジット表示の検出精度の評価について説明するための図である。
図４に示すように、まず、第Ｎ－１週の月曜日Ｍｏｎ(Ｎ－１)に、初期学習用データを用いて学習したパラメータを適用した検出モデル（初期モデル）を構築した。そして、この初期モデルを用いて、火曜日Ｔｕｅ（Ｎ－１）の番組を認識対象の番組として、提供クレジット表示の検出を行った。水曜日Ｗｅｄ（Ｎ－１）、木曜日Ｔｈｕ（Ｎ－１）、金曜日Ｆｒｉ（Ｎ－１）、土曜日Ｓａｔ（Ｎ－１）についても同様に、当日の番組を認識対象の番組として、提供クレジット表示の検出を行った。次に、火曜日Ｔｕｅ（Ｎ－１）、水曜日Ｗｅｄ（Ｎ－１）、木曜日Ｔｈｕ（Ｎ－１）、金曜日Ｆｒｉ（Ｎ－１）、土曜日Ｓａｔ（Ｎ－１）にそれぞれ、当日の番組から作成した曜日ごとの再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、初期モデルを更新した。
続いて、火曜日Ｔｕｅ（Ｎ－１）に構築した検出モデルを用いて、当日（火曜日Ｔｕｅ（Ｎ））の番組を認識対象の番組として、提供クレジット表示の検出を行った。水曜日Ｗｅｄ（Ｎ）、木曜日Ｔｈｕ（Ｎ）、金曜日Ｆｒｉ（Ｎ）、土曜日Ｓａｔ（Ｎ）についても同様に、当日の番組を認識対象の番組として、提供クレジット表示の検出を行った。そして、第Ｎ週の火曜日Ｔｕｅ（Ｎ）に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、第Ｎ－１週の火曜日Ｔｕｅ（Ｎ－１）に構築した検出モデルを更新した。第Ｎ週の水曜日Ｗｅｄ（Ｎ）、木曜日Ｔｈｕ（Ｎ）、金曜日Ｆｒｉ（Ｎ）、土曜日Ｓａｔ（Ｎ）についても同様に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、前週に構築した検出モデルを更新した。
続いて、火曜日Ｔｕｅ（Ｎ）に構築した検出モデルを用いて、当日（火曜日Ｔｕｅ（Ｎ＋１））の番組を認識対象の番組として、提供クレジット表示の検出を行った。水曜日Ｗｅｄ（Ｎ＋１）についても同様に、当日の番組を認識対象の番組として、提供クレジット表示の検出を行った。そして、第Ｎ＋１週の火曜日Ｔｕｅ（Ｎ＋１）に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、第Ｎ週の火曜日Ｔｕｅ（Ｎ）に構築した検出モデルを更新した。第Ｎ週の水曜日Ｗｅｄ（Ｎ）についても同様に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、前週に構築した検出モデルを更新した。
図５Ａは、提供クレジット表示検出装置１００Ａによる、提供クレジット表示の検出の再現率（Ｒｅｃａｌｌ）を、曜日ごとに第Ｎ－１週から第Ｎ＋１あるいは第Ｎ－１週から第Ｎ週で比較した結果を示す図である。また、図５Ｂは、提供クレジット表示検出装置１００Ａによる、提供クレジット表示の検出の適合率（Ｐｒｅｃｉｓｉｏｎ）を、曜日ごとに第Ｎ－１週から第Ｎ＋１あるいは第Ｎ－１週から第Ｎ週で比較した結果を示す図である。なお、再現率（Ｒｅｃａｌｌ）とは、検出されるべき提供クレジット表示のうち、実際に検出された提供クレジット表示の割合である。また、適合率（Ｐｒｅｃｉｓｉｏｎ）とは、提供クレジット表示として検出されたもののうち、正しく検出された提供クレジット表示の割合である。
図５Ａに示すように、いずれの曜日においても、再学習を繰り返すほど、再現率が向上している。また、図５Ｂに示すように、いずれの曜日においても、再学習を繰り返すほど、適合率が向上している。このように、学習部１５０Ａが、曜日ごとに、学習データ作成部１４０Ａにより作成された最新の学習データを用いて学習（再学習）し、検出モデルに適用するパラメータを更新することで、提供クレジット表示の検出精度の向上を図ることができる。
このように本実施形態においては、提供クレジット表示検出装置１００Ａは、提供クレジット表示が検出済みの各曜日の番組から、曜日ごとに学習データを作成する学習データ作成部１４０Ａと、学習データ作成部１４０Ａにより作成された曜日ごとの学習データを用いて、パラメータを曜日ごとに学習する学習部１５０Ａと、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用して、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部１７０Ａとを備える。
一般に、同じ番組であれば、毎週、同じ曜日に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、曜日ごとに学習データを作成し、その学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。なお、本実施形態においては、曜日ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われる例を用いて説明したが、これに限られるものではない。例えば、平日と、土曜日と、日曜日とに分けて、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。また、例えば、番組ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。
また、本実施形態においては、学習部１５０Ａは、各曜日について、学習データ作成部１４０Ａにより作成された最新の学習データを用いて学習（再学習）し、検出モデルに適用するパラメータを更新する。最新の学習データを用いて、学習（再学習）を繰り返すことで、提供クレジット表示の検出精度の更なる向上を図ることができる。
（第３の実施形態）
図６は、本発明の第３の実施形態に係る提供クレジット表示検出装置１００Ｂの構成例を示す図である。図６において、図１，３と同様の構成については同じ符号を付し、説明を省略する。
一般に、同じ番組であれば、毎週、同じ曜日の同じ時間帯に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。本実施形態に係る提供クレジット表示検出装置１００Ｂは、このような傾向を利用して、提供クレジット表示の検出の更なる高精度化を図るものである。
図６に示す提供クレジット表示検出装置１００Ｂは、図３に示す提供クレジット表示検出装置１００Ａと比較して、学習データ作成部１４０Ａを学習データ作成部１４０Ｂに変更した点と、学習部１５０Ａを学習部１５０Ｂに変更した点とが異なる。
学習データ作成部１４０Ｂは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部１４０Ｂは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。学習データ作成部１４０Ｂは、曜日ごとに取得した提供クレジット表示が検出済みの番組から、曜日ごとの学習データを作成し、学習部１５０Ｂに出力する。具体的には、学習データ作成部１４０Ｂは、曜日ごとに、提供クレジット表示が検出済みの番組及び提供クレジット表示の時刻情報から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成する。学習データ作成部１４０Ｂは、学習データ作成部１４０Ａと比較して、初期学習用学習データ作成部１４１Ａを初期学習用学習データ作成部１４１Ｂに変更した点と、曜日別再学習用学習データ作成部１４２Ａを曜日別再学習用学習データ作成部１４２Ｂに変更した点とが異なる。
初期学習用学習データ作成部１４１Ｂは、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部１４１Ｂは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部１４１Ｂは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、初期学習用学習データ作成部１４１Ｂは、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
具体的には、初期学習用学習データ作成部１４１Ｂは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、初期学習用学習データ作成部１４１Ｂは、１秒ごとに静止画を作成する。この場合、初期学習用学習データ作成部１４１Ｂは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
次に、初期学習用学習データ作成部１４１Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を、その静止画が放送された時刻とペアにして抽出する。また、初期学習用学習データ作成部１４１Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部１４１Ｂは、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアをそれぞれ、例えば、８０００ペア程度、抽出する。初期学習用学習データ作成部１４１Ｂは、抽出した提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、検出モデルの初期学習用の学習データとして学習部１５０Ｂに出力する。
曜日別再学習用学習データ作成部１４２Ｂは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部１４２Ｂは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部１４２Ｂは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、曜日別再学習用学習データ作成部１４２Ｂは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
具体的には、曜日別再学習用学習データ作成部１４２Ｂは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、曜日別再学習用学習データ作成部１４２Ｂは、１秒ごとに静止画を作成する。この場合、曜日別再学習用学習データ作成部１４２Ｂは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
次に、曜日別再学習用学習データ作成部１４２Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を、その静止画が放送された時刻とペアにして抽出する。また、曜日別再学習用学習データ作成部１４２Ｂは、生成した静止画から、提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部１４２Ｂは、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアをそれぞれ、例えば、１０００ペア程度、抽出する。曜日別再学習用学習データ作成部１４２Ｂは、上述した処理を、曜日ごとに行う。そして、曜日別再学習用学習データ作成部１４２Ｂは、曜日ごとに抽出した、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、曜日ごとの再学習用データとして学習部１５０Ｂに出力する。
学習部１５０Ｂは、学習データ作成部１４０Ｂにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部１５０Ｂは、初期学習部１５１Ｂと、曜日別再学習部１５２Ｂとを備える。
初期学習部１５１Ｂは、初期学習用学習データ作成部１４１Ｂにより作成された初期学習用の学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部１５１Ｂは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部１５１Ｂは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
曜日別再学習部１５２Ｂは、曜日別再学習用学習データ作成部１４２Ｂにより作成された曜日ごとの再学習用データ（曜日ごとの、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部１５２Ｂは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
なお、本実施形態においては、学習データ作成部１４０Ｂは、曜日ごとに、学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を作成し、学習部１５０Ｂは、学習データ作成部１４０Ｂにより作成された学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習する例を用いて説明したが、これに限られるものではない。学習データ作成部１４０Ｂは、曜日は区別することなく、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを学習データとして作成してもよい。すなわち、学習データ作成部１４０Ｂは、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成してもよい。また、学習部１５０Ｂは、曜日は区別することなく、学習データ作成部１４０Ｂにより作成された学習データを用いて、検出モデルに適用するパラメータを学習してもよい。
このように本実施形態においては、提供クレジット表示検出装置１００Ｂは、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成する学習データ作成部１４０Ｂを備える。
一般に、同じ番組であれば、毎週、同じ曜日の同じ時間帯に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成し、その学習データを用いて、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。
なお、上述した第１から第３の実施形態においては、検出モデルは、畳み込みニューラルネットワークを用いて構築される例を説明したが、これに限られるものではない。提供クレジット表示の有無を検出する検出モデルは、例えば、ＳＶＭ（Support Vector Machine）などを用いて構築してもよい。
以上、提供クレジット表示検出装置１００，１００Ａ，１００Ｂについて説明したが、提供クレジット表示検出装置１００，１００Ａ，１００Ｂとして機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、提供クレジット表示検出装置１００，１００Ａ，１００Ｂの各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１００，１００Ａ，１００Ｂ 提供クレジット表示検出装置
１１０ 放送映像／音声信号蓄積部
１２０ 正解メタデータ蓄積部
１３０ パラメータ蓄積部
１４０，１４０Ａ，１４０Ｂ 学習データ作成部
１４１Ａ，１４１Ｂ 初期学習用データ作成部
１４２Ａ，１４２Ｂ 曜日別再学習データ作成部
１５０，１５０Ａ，１５０Ｂ 学習部
１５１Ａ，１５１Ｂ 初期学習部
１５２Ａ，１５２Ｂ 曜日別再学習部
１６０ 検出用画像データ作成部
１７０，１７０Ａ クレジット表示検出部
１７１，１７１Ａ 信号生成部
１７２ 時刻情報出力部

Claims (6)

  1. 番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置であって、
    前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示が表示された静止画と、前記提供クレジット表示が表示されていない静止画とを学習データとして作成する学習データ作成部と、
    前記学習データ作成部により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部と、
    前記学習部により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部と、
    を備え、
    前記学習データ作成部は、曜日ごとの前記提供クレジット表示が検出済みの番組から、曜日ごとに前記学習データを作成し、
    前記学習部は、前記学習データ作成部により作成された曜日ごとの学習データを用いて、前記パラメータを曜日ごとに学習し、
    前記提供クレジット表示検出部は、前記認識対象の番組が放送される曜日について学習されたパラメータを前記検出モデルに適用して、前記認識対象の番組における提供クレジット表示を検出することを特徴とする提供クレジット表示検出装置。
  2. 請求項１に記載の提供クレジット表示検出装置において、
    前記提供クレジット表示検出部は、
    前記認識対象の番組の静止画を前記検出モデルに時系列的に入力し、各静止画に対する前記検出モデルの出力値に基づき、各静止画における提供クレジット表示の有無を時系列的に示す時系列信号を生成する信号生成部と、
    前記信号生成部により生成された時系列信号において、前記提供クレジット表示ありと判定された静止画が所定時間以上連続する区間を、前記提供クレジット表示が表示された提供クレジット表示区間として検出し、該検出した提供クレジット表示区間の時刻情報を出力する時刻情報出力部と、
    を備えることを特徴とする提供クレジット表示検出装置。
  3. 請求項１または２に記載の提供クレジット表示検出装置において、
    前記学習部は、曜日ごとに、前記学習データ作成部により作成された最新の学習データを用いて学習し、前記検出モデルに適用するパラメータを更新することを特徴とする提供クレジット表示検出装置。
  4. 請求項１から３のいずれか一項に記載の提供クレジット表示検出装置において、
    前記学習データ作成部は、前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示ありの静止画と、該静止画が放送された時刻を基に抽出された前記提供クレジット表示なしの静止画とを学習データとして作成することを特徴とする提供クレジット表示検出装置。
  5. 番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置における提供クレジット表示検出方法であって、
    前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示ありの静止画と、前記提供クレジット表示なしの静止画とを学習データとして作成するステップと、
    前記作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習するステップと、
    前記学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出するステップと、
    を含み、
    前記作成するステップでは、曜日ごとの前記提供クレジット表示が検出済みの番組から、曜日ごとに前記学習データを作成し、
    前記学習するステップでは、前記作成された曜日ごとの学習データを用いて、前記パラメータを曜日ごとに学習し、
    前記検出するステップでは、前記認識対象の番組が放送される曜日について学習されたパラメータを前記検出モデルに適用して、前記認識対象の番組における提供クレジット表示を検出することを特徴とする提供クレジット表示検出方法。
  6. コンピュータを、請求項１から４のいずれか一項に記載の提供クレジット表示検出装置として機能させるプログラム。
JP2018108007A 2018-06-05 2018-06-05 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム Active JP7011170B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018108007A JP7011170B2 (ja) 2018-06-05 2018-06-05 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
PCT/JP2019/018883 WO2019235137A1 (ja) 2018-06-05 2019-05-13 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
US15/734,864 US12028573B2 (en) 2018-06-05 2019-05-13 Device and method for detecting display of provided credit, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108007A JP7011170B2 (ja) 2018-06-05 2018-06-05 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019213065A JP2019213065A (ja) 2019-12-12
JP7011170B2 true JP7011170B2 (ja) 2022-01-26

Family

ID=68770871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108007A Active JP7011170B2 (ja) 2018-06-05 2018-06-05 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム

Country Status (3)

Country Link
US (1) US12028573B2 (ja)
JP (1) JP7011170B2 (ja)
WO (1) WO2019235137A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441107B2 (ja) 2020-04-21 2024-02-29 日本放送協会 学習装置、代表画像抽出装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050718A1 (fr) 2006-10-26 2008-05-02 Nec Corporation Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme
WO2008081596A1 (ja) 2006-12-27 2008-07-10 Dentsu Inc. リスティング広告送出装置及び方法
WO2010058509A1 (ja) 2008-11-21 2010-05-27 日本電気株式会社 情報処理装置
WO2010079559A1 (ja) 2009-01-06 2010-07-15 日本電気株式会社 クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム
JP2014060642A (ja) 2012-09-19 2014-04-03 Sharp Corp 表示装置及び表示システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712123B2 (en) * 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP4332988B2 (ja) * 2000-04-27 2009-09-16 ソニー株式会社 信号処理装置及び方法
JP2002010237A (ja) * 2000-06-22 2002-01-11 Sony Corp 情報送受信システム及び方法、情報処理装置及び方法
US20020184623A1 (en) * 2001-05-30 2002-12-05 Hodge Gregory A. Methods and apparatus for interactive television
JP2003308328A (ja) * 2002-04-16 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> コンテンツ連携再生装置、方法、プログラムおよび記録媒体
JP2004180272A (ja) * 2002-08-21 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置及び情報提供方法並びに情報提供プログラム及び情報提供プログラムを記録した記録媒体
US8712831B2 (en) * 2004-11-19 2014-04-29 Repucom America, Llc Method and system for quantifying viewer awareness of advertising images in a video source
JP2007142785A (ja) * 2005-11-18 2007-06-07 Hitachi Ltd 記録再生装置
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
KR101428504B1 (ko) * 2010-02-22 2014-08-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 비트스트림에 임베딩된 메타데이터를 이용하는 렌더링 제어부를 갖는 비디오 디스플레이
US9533526B1 (en) * 2012-06-15 2017-01-03 Joel Nevins Game object advances for the 3D printing entertainment industry
EP2796952B1 (de) * 2013-04-25 2016-01-20 Siemens Aktiengesellschaft Numerische Steuerung mit Möglichkeit zur Änderung des Teileprogramms
US20150262255A1 (en) * 2014-03-12 2015-09-17 Netseer, Inc. Search monetization of images embedded in text
EP3516583B1 (en) * 2016-09-21 2023-03-01 Gumgum, Inc. Machine learning models for identifying objects depicted in image or video data
GB201616588D0 (en) * 2016-09-29 2016-11-16 Satellite Information Services Limited Automated production of live events
JP6966706B2 (ja) * 2018-06-05 2021-11-17 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
JP6966705B2 (ja) * 2018-06-05 2021-11-17 日本電信電話株式会社 Ｃｍ区間検出装置、ｃｍ区間検出方法、及びプログラム
JP6713229B2 (ja) * 2018-06-05 2020-06-24 日本電信電話株式会社 Ｃｍ情報生成装置、ｃｍ情報生成方法、及びプログラム
JP6966707B2 (ja) * 2018-06-05 2021-11-17 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法、及びプログラム
JP7208499B2 (ja) * 2019-02-13 2023-01-19 日本電信電話株式会社 検出装置、検出方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050718A1 (fr) 2006-10-26 2008-05-02 Nec Corporation Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme
WO2008081596A1 (ja) 2006-12-27 2008-07-10 Dentsu Inc. リスティング広告送出装置及び方法
WO2010058509A1 (ja) 2008-11-21 2010-05-27 日本電気株式会社 情報処理装置
WO2010079559A1 (ja) 2009-01-06 2010-07-15 日本電気株式会社 クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム
JP2014060642A (ja) 2012-09-19 2014-04-03 Sharp Corp 表示装置及び表示システム

Also Published As

Publication number Publication date
US20210240993A1 (en) 2021-08-05
US12028573B2 (en) 2024-07-02
JP2019213065A (ja) 2019-12-12
WO2019235137A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
US11893782B2 (en) Recurrent deep neural network system for detecting overlays in images
Rajaram et al. Video influencers: Unboxing the mystique
JP6966705B2 (ja) Ｃｍ区間検出装置、ｃｍ区間検出方法、及びプログラム
JP2019144916A (ja) 広告効果予測システム、方法およびプログラム
US20150317687A1 (en) System and method for analytics-based advertising
CN111402583A (zh) 一种交通事件的感知方法、设备及存储介质
US20230216598A1 (en) Detection device
JP7011170B2 (ja) 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
Willi et al. Recurrent neural processes
Liang et al. Exploring large language models for human mobility prediction under public events
Jin et al. A visual analytics system for improving attention-based traffic forecasting models
CN112270319B (zh) 一种事件标注方法、装置及电子设备
CN112364852A (zh) 融合全局信息的动作视频段提取方法
CN116933204A (zh) 基于视频的事件图谱与知识图谱融合生成的方法及装置
JP6966706B2 (ja) 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
JP6713229B2 (ja) Ｃｍ情報生成装置、ｃｍ情報生成方法、及びプログラム
US11645845B2 (en) Device and method for detecting display of provided credit, and program
CN115527080A (zh) 生成视频动作识别模型的方法及电子设备
CN111695670A (zh) 神经网络模型训练方法及装置
CN114692022A (zh) 基于时空行为模式的位置预测方法及系统
CN108881950B (zh) 一种视频处理的方法和装置
CN103279677A (zh) 一种基于协同过滤的预测值校正方法
CN114092524A (zh) 物体轨迹的生成方法、相关装置和分类模型的构建方法
Santarcangelo et al. Positive developmental video classification for children

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7011170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150