JP7420134B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

従来から、画像内の所定のオブジェクトを検出する技術が提案されている。例えば、下記特許文献１には、ディープラーニングによる学習を利用したオブジェクト検出技術が記載されている。

国際公開２０１７／０７３３４４号公報

特許文献１に記載の技術では、毎回、学習を行うことにより処理にかかるコストが増大してしまうという問題がある。

本開示は、学習を行なわずに所定の画像における情報を抽出することができる情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。

本開示は、例えば、
テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得する取得部と、
入力画像とテンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に、入力画像における画像領域に対応する対象領域の画像に対して、画像領域に関連づけられた解析処理内容に対応する解析処理として、対象領域の画像をカテゴリ毎に分類する処理を行う画像処理部と
を有する情報処理装置である。

本開示は、例えば、
取得部が、テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得し、
画像処理部が、入力画像とテンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に、入力画像における画像領域に対応する対象領域の画像に対して、画像領域に関連づけられた解析処理内容に対応する解析処理として、対象領域の画像をカテゴリ毎に分類する処理を行う
情報処理方法である。

本開示は、例えば、
取得部が、テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得し、
画像処理部が、入力画像とテンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に、入力画像における画像領域に対応する対象領域の画像に対して、画像領域に関連づけられた解析処理内容に対応する解析処理として、対象領域の画像をカテゴリ毎に分類する処理を行う
情報処理方法をコンピュータに実行させるプログラムである。

図１は、第１の実施形態の概要を説明する際に参照される図である。 図２は、第１の実施形態にかかる情報処理装置の構成例を説明するためのブロック図である。 図３は、第１の実施形態にかかる、テンプレート画像を使用して設定情報を入力するためのＵＩの一例を示す図である。 図４Ａ及び図４Ｂは、第１の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図５Ａ及び図５Ｂは、第１の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図６Ａ及び図６Ｂは、第１の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図７は、第１の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図８Ａ及び図８Ｂは、第１の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図９は、第１の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図１０は、第１の実施形態にかかる情報処理装置の動作例を説明するためのフローチャートである。 図１１は、第１の実施形態にかかる表示情報に対応する表示の一例を示す図である。 図１２は、第１の実施形態にかかる表示情報に対応する表示の一例を示す図である。 図１３は、第２の実施形態にかかるテロップ画像の一例を示す図である。 図１４は、第２の実施形態にかかる、テンプレート画像を使用して設定情報を入力するためのＵＩの一例を示す図である。 図１５は、第２の実施形態にかかる情報処理装置の動作例を説明するためのフローチャートである。 図１６は、第２の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図１７は、第２の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図１８は、第２の実施形態にかかる情報処理装置の動作例を説明する際に参照される図である。 図１９は、第２の実施形態にかかる表示情報に対応する表示の一例を示す図である。 図２０は、変形例を説明するための図である。 図２１は、変形例を説明するための図である。 図２２Ａ及び図２２Ｂは、変形例を説明するための図である。 図２３は、変形例を説明するための図である。

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜第１の実施形態＞
＜第２の実施形態＞
＜変形例＞
＜応用例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

＜第１の実施形態＞
［第１の実施形態の概要］
始めに、図１を参照して、第１の実施形態の概要について説明する。図１は、野球スポーツの映像の中における一画像を示している。コンテンツの一つである野球の映像は、例えば、放送により放映されたり、インターネットにより配信される映像である。図１に示すように、野球の映像等のコンテンツには、広告が表示される。図示の例では、例えば、「ＡＡ」という広告１Ａ、「ＢＢエアコン」という広告１Ｂ、「ＣＣスポーツ」という広告１Ｃ、「株式会社ＤＤ」という広告１Ｄ、「ＥＥカメラ」という広告１Ｅ、「お弁当ＦＦ」という広告１Ｆ、「グループＧＧ」という広告１Ｇが表示されている。これらの広告は、野球スタジアムの所定位置に設置されたディスプレイに表示される。

一般に、広告が表示される広告枠は、設置場所やディスプレイの大きさ等に応じて定められた価格により販売される。しかしながら、一つの野球のコンテンツの中で、広告が時間的にどれだけ表示されているかが不明であるため、広告枠の購入者にとっては、広告による宣伝効果がどれだけあるのかがわかりづらいという問題があった。そこで、第１の実施形態では、例えば野球の映像、具体的には、野球の開始から終了までの映像又は放送時間枠における野球の映像の中における広告を抽出し、広告が実際に表示された時間を演算することにより、広告の表示箇所の価値を定量化する。また、かかる処理が、機械学習を行うことなく、比較的、簡易な処理により行われるようにする。以下、第１の実施形態について詳細に説明する。

［情報処理装置の構成例］
図２は、第１の実施形態にかかる情報処理装置（情報処理装置１０）の構成例を説明するための図である。情報処理装置１０は、取得部１０１、画像処理部１０２及び演算部１０３を有している。画像処理部１０２は、その機能として、類似度比較部１０２Ａ、特徴点マッチング部１０２Ｂ、射影変換部１０２Ｃ、領域抽出部１０２Ｄ、画像分類部１０２Ｅ、及び、ＯＣＲ(Optical Character Recognition/Reader)１０２Ｆを有している。

取得部１０１は、テンプレート画像、設定情報及び入力画像（以下、テンプレート画像等と称する場合がある）を取得する。設定情報は、任意のテンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた情報である。取得部１０１の具体的構成は、テンプレート画像等を取得する態様に応じて適宜な構成とすることができる。テンプレート画像等が、情報処理装置１０に内蔵されたメモリや情報処理装置１０に着脱自在とされるメモリに記憶されている場合には、取得部１０１は、それらのメモリから読み出し処理を行う構成を有する。また、テンプレート画像等がインターネットや放送により配信される場合には、取得部１０１は、配信元と通信を行うための構成を有する。取得部１０１により取得されたテンプレート画像等が、画像処理部１０２に出力される。

画像処理部１０２は、入力画像における画像領域に対応する対象領域の画像に対して、画像領域に関連づけられた解析処理内容に対応する解析処理を行う。

類似度比較部１０２Ａは、テンプレート画像と入力画像との類似度を判断する。類似度比較部１０２Ａは、例えば、両画像のそれぞれの特徴量ベクトルを検出し、検出した特徴量ベクトルの差分に基づいて、テンプレート画像と入力画像との類似度を比較し、類似度を判断する。

特徴点マッチング部１０２Ｂは、類似度比較部１０２Ａにより、テンプレート画像と入力画像との類似度が一定以上であると判断された場合に、更に、テンプレート画像と入力画像との類似度を詳細に判断する。特徴点マッチング部１０２Ｂは、テンプレート画像に含まれる特徴点に対応する特徴点が入力画像に閾値以上の数だけ含まれるか否かに応じて、テンプレート画像と入力画像との類似度を判断する。閾値は、後述する射影変換部１０２Ｃによる射影変換を可能とする値に設定される。即ち、特徴点マッチング部１０２Ｂにより、入力画像を射影変換することが可能であるか否かが判断されることになる。閾値の具体例としては、カメラの動きを規定する６次元のパラメータ（Ｘ軸方向の動き、Ｙ軸方向の動き、Ｚ軸方向の動き、Ｘ軸周りの回転運動（ピッチ）、Ｙ軸周りの回転運動（ロール）Ｚ軸周りの回転運動（ヨー））に対応して、６個に設定される。

射影変換部１０２Ｃは、特徴点マッチング部１０２Ｂにより射影可能と判断されると、入力画像の画角をテンプレート画像の画角と同じにする射影変換を行う。射影変換部１０２Ｃによる処理により、テンプレート画像の画角と入力画像の画角が同じとされる。

領域抽出部１０２Ｄは、入力画像における、設定情報により設定された画像領域に対応する対象領域の画像を抽出する（切り出す）。抽出された画像が出力される。抽出された対象領域の画像に対しては、設定情報において画像領域に関連付けられた解析処理内容に対応する解析処理が行われる。解析処理は、画像分類処理と、文字及び数字の少なくとも一方を認識する処理（以下、文字認識処理と適宜、称する）である。即ち、領域抽出部１０２Ｄは、抽出した画像の領域に関連付けられている解析処理内容が画像分類処理である場合には、当該抽出した対象領域の画像を画像分類部１０２Ｅに出力する。また、領域抽出部１０２Ｄは、抽出した対象領域の画像の領域に関連付けられている解析処理内容が文字認識処理である場合には、当該抽出した画像をＯＣＲ１０２Ｆに出力する。

画像分類部１０２Ｅは、対象領域の画像をカテゴリ毎に分類する処理を行う。具体的には、画像分類部１０２Ｅは、現在の対象領域の画像と、時間的に前の入力画像における対象領域の画像との類似度を判断し、判断結果に応じて、現在の対象領域の画像を所定のカテゴリに分類する。更に具体的には、画像分類部１０２Ｅは、現在の対象領域の画像が、時間的に前の入力画像における対象領域の画像と一定以上の類似度である場合には、当該画像と同一のカテゴリに現在の対象領域の画像を分類する。また、画像分類部１０２Ｅは、現在の対象領域の画像が、時間的に前の入力画像における対象領域の画像と一定以上の類似度でない場合には、新たに設定したカテゴリに現在の対象領域の画像を分類する。

ＯＣＲ１０２Ｆは、対象領域の画像に対して文字認識処理を行う。ＯＣＲ１０２Ｆによる認識処理結果が、例えば、時系列に沿って記憶される。

なお、画像処理部１０２は、画像分類部１０２ＥやＯＣＲ１０２Ｆによる解析処理の結果を時間軸に沿って表示する表示情報を生成するようにしても良い。

演算部１０３は、画像処理部１０２による処理の結果を使用した演算を行う。演算部１０３は、例えば、１つの野球のコンテンツにおいて所定の広告が表示された時間を演算する。

以上、情報処理装置１０の構成例について説明した。上述した情報処理装置１０の構成は一例であり、他の構成が適宜追加されても良い。例えば、情報処理装置１０を統括的に制御する制御部や、各種情報を記憶するメモリ等があっても良い。また、設定情報が情報処理装置１０により入力されても良く、この場合、設定情報を入力するための適宜な操作入力部（キーボードやタッチパネル等）を情報処理装置１０が有していても良い。

［設定情報について］
次に、設定情報の具体例について説明する。なお、以下では、放送コンテンツである野球のコンテンツを構成する映像の中で、所定周期（例えば、１秒とする）で入力される画像を入力画像とした説明がなされる。

図３は、テンプレート画像を使用して設定情報を入力するためのＵＩ(User Interface)の一例を示す図である。なお、上述したように、設定情報は、情報処理装置１０で入力されても良いし、情報処理装置１０とは異なる他の機器で入力されても良い。

図３に示すように、ディスプレイＤＰの左側には、テンプレート画像ＴＩＭが表示されている。テンプレート画像ＴＩＭは、例えば、広告が表示されている野球の一場面の画像である。広告は、例えば、上述した広告１Ａ、広告１Ｂ、広告１Ｃ、広告１Ｄ、広告１Ｅ、広告１Ｆ及び広告１Ｇである。テンプレート画像ＴＩＭにより示される野球の試合は、入力画像における野球の試合と同一である必要はないが、広告の表示位置は野球スタジアムで異なるため、同じ野球スタジアムでの野球の試合であることが必要である。

テンプレート画像ＴＩＭが参照されながら、設定情報が入力される。設定情報は、例えば、互いに関連付けられた、ネーム情報２１、解析処理内容に対応するタイプ２２、及び、領域情報２３を含む。ネーム情報２１は、任意に設定される名称である。本例では、ネーム情報２１として「ｔｅｌｏｐ」、「ｂｏａｒｄ１」～「ｂｏａｒｄ７」が設定されている。そして、各ネーム情報に対して解析処理内容が関連付けられている。「ｔｅｌｏｐ」に対応するタイプ２２として「Ｔｅｌｏｐ」が関連付けられている。解析処理内容「Ｔｅｌｏｐ」とは、テンプレート画像ＴＩＭに含まれるテロップ３１を公知の画像認識方法で検出する処理である。

「ｂｏａｒｄ１」～「ｂｏａｒｄ７」には、タイプ２２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ＩｍａｇｅＣｌａｓｓｉｆｙ」は、領域情報２３で指定される領域の画像に対して、画像分類部１０２Ｅによる処理を行うことが指示されていることを意味する。

領域情報２３は、テンプレート画像ＴＩＭ内の領域を指定する情報である。領域情報２３としては、例えば、広告が表示されている領域が指定される。例えば、「ｂｏａｒｄ１」は広告１Ａに対応しているとする。「ｂｏａｒｄ１」の領域情報２３として、広告１Ａが表示される領域、具体的には、ｘ座標が「７６」、ｙ座標が「３０」である箇所を起点として、幅が「１００」で高さが「２８」の領域が指定される。なお、「ｂｏａｒｄ２」～「ｂｏａｒｄ７」は、広告１Ｂ～広告１Ｇに対応している。そして、「ｂｏａｒｄ２」～「ｂｏａｒｄ７」のそれぞれには、広告１Ｂ～広告１Ｇが表示される領域が領域情報２３として指定される。このように、本例では、テンプレート画像ＴＩＭに基づいて７個の設定情報が入力されている。

なお、別のアングル、例えば、バッターボックスに立つ打者が正面から写るアングルで撮影される範囲に、広告が表示されるディスプレイやフェンスが存在する場合もある。この場合は、同じアングルのテンプレート画像を用意し、当該テンプレート画像に基づいて設定情報が入力される。即ち、テンプレート画像は、複数あっても良い。そして、複数のテンプレート画像毎の設定情報が用意され、設定情報に基づく処理がパラレルに行われても良い。

［情報処理装置の動作例］
次に、情報処理装置１０の動作例について説明する。図４Ａに示すように、情報処理装置１０の取得部１０１により、野球のコンテンツの入力画像が取得される。例えば、１秒毎に５フレームの入力画像（ＩＭ１０～ＩＭ１４）が取得される。なお、一つの野球のコンテンツの放送時間は実際には数時間程度あるため入力画像も多数取得されるが、ここでは説明を簡単にするために、５個の入力画像としている。図４Ｂは、テンプレート画像の一例（テンプレート画像ＴＩＭ）を示している。また、取得部１０１により、テンプレート画像ＴＩＭに基づいて設定された設定情報が取得される。テンプレート画像ＴＩＭ、テンプレート画像ＴＩＭに対応する設定情報、及び、入力画像が画像処理部１０２に入力される。

類似度比較部１０２Ａは、特徴量ベクトルを使用して入力画像とテンプレート画像との類似度を比較し、判断する。図５Ａに示すように、類似度比較部１０２Ａは、例えば入力画像ＩＭ１２の特徴量ベクトルとして５×５×５１２の特徴量ベクトルを公知の方法により検出する。なお、特徴量ベクトルの各値は、縦、横、奥行（次元）をそれぞれ示している。また、図５Ｂに示すように、類似度比較部１０２Ａは、テンプレート画像ＴＩＭについても同様に、５×５×５１２の特徴量ベクトルを検出する。

各入力画像に対して特徴量ベクトルが検出される。本例では、図６Ａに模式的に示すようにして、５個の入力画像のそれぞれの特徴量ベクトルが検出される。また、図６Ｂに模式的に示すように、テンプレート画像ＴＩＭの特徴量ベクトルが検出される。

類似度比較部１０２Ａは、各入力画像の特徴量ベクトルとテンプレート画像ＴＩＭの特徴量ベクトルとの差分を算出する。そして、類似度比較部１０２Ａは、差分が所定の閾値以下であれば、入力画像とテンプレート画像ＴＩＭが、類似度が一定以上であり類似しているものと判断する。また、類似度比較部１０２Ａは、差分が所定の閾値より大きければ、入力画像とテンプレート画像ＴＩＭが、類似度が一定より小さく類似していないものと判断する。類似度比較部１０２Ａは、判断結果を特徴点マッチング部１０２Ｂに出力する。

特徴点マッチング部１０２Ｂは、特徴点検出を行う。特徴点マッチング部１０２Ｂは、例えば、２つの画像（テンプレート画像ＴＩＭと類似度比較部１０２Ａによりテンプレート画像ＴＩＭと類似すると判断された入力画像）の特徴点の類似度が２番目の候補よりも大きく距離が離れているとき、即ち、画像内でその特徴点が特徴的なとき、図７に示すように、その特徴点のペアを抽出する。特徴点のペアが６個以上抽出されると、テンプレート画像ＴＩＭと入力画像とが類似されると判断される。上述したように、テンプレート画像ＴＩＭと入力画像とが類似するということは、射影変換が可能であることを意味する。特徴点マッチング部１０２Ｂは、判断結果を射影変換部１０２Ｃに出力する。

射影変換部１０２Ｃは、特徴点マッチング部１０２Ｂにより類似すると判断された入力画像に対して位置合わせの一例である射影変換を行い、当該入力画像の画角をテンプレート画像ＴＩＭの画角に合わせる。図８Ａは、射影変換がなされた入力画像ＩＭ１２が示されている。射影変換により、例えば、左側に黒い箇所が生じ得る。射影変換が行われることにより、図８Ａに示す入力画像ＩＭ１２の画角と、図８Ｂに示すテンプレート画像ＴＩＭの画角とが同じとなる。そして、射影変換部１０２Ｃは、射影変換後の入力画像を領域抽出部１０２Ｄに出力する。

類似度比較部１０２Ａ及び特徴点マッチング部１０２Ｂによりテンプレート画像ＴＩＭと類似していると判断された入力画像には、テンプレート画像ＴＩＭと同様に広告が表示されている可能性が高い。また、射影変換部１０２Ｃにより、入力画像の画角がテンプレート画像ＴＩＭの画角に合わせられている。そこで、領域抽出部１０２Ｄは、射影変換後の入力画像から、設定情報の領域情報２３で指定されている領域を抽出する。

例えば、領域抽出部１０２Ｄは、「ｂｏａｒｄ１」に対応する領域情報２３に基づいて画像は抽出する。「ｂｏａｒｄ１」に対応するタイプ２２としては、抽出された画像をカテゴリに分類する処理が指定されている。そこで、領域抽出部１０２Ｄは、切り出した画像を画像分類部１０２Ｅに出力する。

画像分類部１０２Ｅは、領域抽出部１０２Ｄから供給された画像に対して、「ｂｏａｒｄ１」に対応するタイプ２２に対応する解析処理、即ち、抽出された画像をカテゴリに分類する処理を行う。抽出された画像は、例えば、広告１Ａに対応する画像である。勿論、「ｂｏａｒｄ１」に対応する領域情報２３に表示される広告は、時間の経過に伴って、広告１Ａと異なる広告に変更される可能性もある。そこで、画像分類部１０２Ｅは、抽出された画像（以下、現在対象画像と適宜、称する）と、時間的に前に（過去に）抽出された画像（以下、過去対象画像と適宜、称する）との類似度が判断する。類似度の判断は、例えば、特徴点マッチング部１０２Ｂにより行われるが、画像分類部１０２Ｅが、特徴点マッチング部１０２Ｂによる判断方法と同様の方法により行っても良い。なお、過去対象画像は、１個だけでなく複数個あり得る。その場合には、現在対象画像と複数の過去対象画像のそれぞれとの類似度が判断される。

画像分類部１０２Ｅは、現在対象画像と過去対象画像との類似度が一定以上である場合には、現在対象画像を当該過去対象画像と同じカテゴリに分類する。画像分類部１０２Ｅは、現在対象画像と類似度が一定以上である過去対象画像が存在しない場合には、新たなカテゴリを設定し、設定したカテゴリに現在対象画像を分類する。カテゴリは、ＩＤ（Identifier）により識別される。

例えば、始めの現在対象画像として広告１Ａに対応する画像が領域抽出部１０２Ｄに抽出されたとする。過去対象画像は存在しないことから、ＩＤ１としてカテゴリ１が設定される。次に、同じ入力画像から別の現在対象画像として広告１Ｂに対応する画像が領域抽出部１０２Ｄに抽出されたとする。広告１Ａに対応する画像と広告１Ｂに対応する画像とは類似しないことから、ＩＤ２としてカテゴリ２が新たに設定され、カテゴリ２に広告１Ｂに対応する画像が分類される。図９に示すように、次に入力された入力画像から、広告１Ａに対応する画像が抽出されると、当該画像は画像分類部１０２Ｅによりカテゴリ１に分類され、カテゴリ１に画像が追加される。広告１Ｂ及びその他の広告に対応する画像が抽出された場合も同様にして所定のカテゴリに分類される。

情報処理装置１０の動作例を図１０のフローチャートを参照して説明する。処理が開始されると、ステップＳＴ１１では、類似度比較部１０２Ａにより、テンプレート画像の特徴量ベクトルと入力画像の特徴量ベクトルとが検出される。なお、テンプレート画像の特徴量ベクトルは、処理の度に検出されるようにしても良いし、一度検出された特徴量ベクトルを記憶しておきその特徴量ベクトルが処理の度に読み出されるようにしても良い。入力画像は、所定の周期（例えば、１秒）で入力される。そして、処理がステップＳＴ１２に進む。

ステップＳＴ１２では、類似度比較部１０２Ａが、テンプレート画像の特徴量ベクトルと入力画像の特徴量ベクトルとの差分を求め、差分に応じて類似度を判断する。具体的には、類似度比較部１０２Ａは、差分が閾値以下であればテンプレート画像と入力画像とが類似していると判断し、差分が閾値より大きい場合にはテンプレート画像と入力画像とが類似していないと判断する。そして、処理がステップＳＴ１３に進む。

ステップＳＴ１３では、テンプレート画像と入力画像との類似度に関する判断結果が、類似度比較部１０２Ａから出力される。テンプレート画像と入力画像との類似度が一定以上ない場合には処理がステップＳＴ１１に戻る。テンプレート画像と入力画像との類似度が一定ある場合には処理がステップＳＴ１４に進む。

ステップＳＴ１４では、特徴点マッチング部１０２Ｂにより、テンプレート画像と入力画像との間の特徴点マッチングが行われる。具体的には、両画像に含まれる特徴点のペアが閾値（例えば、６個）以上の個数、存在するか否かが判断される。特徴点のペアが閾値以上の個数、存在する場合には、入力画像の画角をテンプレート画像の画角に合わせる射影変換が可能と判断される。特徴点のペアの個数が閾値未満である場合には、射影変換ができないと判断される。そして、処理がステップＳＴ１５に進む。

ステップＳＴ１５では、特徴点マッチング部１０２Ｂによる判断結果が出力される。特徴点のペアの個数が閾値未満である場合には、処理がステップＳＴ１１に戻る。特徴点のペアの個数が閾値以上である場合は、処理がステップＳＴ１６に進む。

ステップＳＴ１６では、射影変換部１０２Ｃによる射影変換が行われ、入力画像の画角がテンプレート画像の画角と同じ画角に射影される。そして、処理がステップＳＴ１７に進む。

ステップＳＴ１７では、領域抽出部１０２Ｄにより、設定情報で指定されている領域、即ち、広告の箇所の画像が抽出され、これにより現在対象画像が得られる。そして、処理がステップＳＴ１８に進む。

ステップＳＴ１８では、特徴点マッチング部１０２Ｂにより、現在対象画像と、領域抽出部１０２Ｄにより過去に抽出された過去対象画像との類似度が判断される。そして、処理がステップＳＴ１９に進む。

ステップＳＴ１９では、特徴点マッチング部１０２Ｂによる判断結果が画像分類部１０２Ｅに出力される。現在対象画像と過去対象画像との間に存在する特徴点のペアの個数が閾値以上である場合、即ち、射影変換が可能である場合は、処理がステップＳＴ２０に進む。現在対象画像と過去対象画像との間に存在する特徴点のペアの個数が閾値未満である場合、即ち、射影変換ができない場合は、処理がステップＳＴ２１に進む。

ステップＳＴ２０では、特徴点のペアの個数が閾値以上であることから、現在対象画像と類似する過去対象画像が存在することになる。従って、画像分類部１０２Ｅは、現在対象画像を類似する過去対象画像と同じカテゴリに分類する。そして、処理がステップＳＴ２２に進む。

ステップＳＴ２１では、特徴点のペアの個数が閾値未満であることから、現在対象画像が類似する過去対象画像が存在しないことになる。従って、画像分類部１０２Ｅは、新たなカテゴリを設定し、設定したカテゴリに現在対象画像を分類する。そして、処理がステップＳＴ２２に進む。

ステップＳＴ２２では、上述したようにして、領域抽出部１０２Ｄにより抽出された画像がカテゴリ毎に分類される。

なお、図１０では図示を省略しているが、更に、演算部１０３による処理が行われても良い。例えば、カテゴリ１に、広告１Ａに対応する画像が３００個分、分類されたとする。入力画像が１秒毎に入力される例では、画像３００個が３００秒、即ち、一つの野球のコンテンツ内で全体として５分、表示されていたことになる。このように、一つの野球コンテンツの中で、ある広告がどれだけ表示されているのかが定量的に示されるので、広告が表示される広告枠の価値を、広告枠の購買者に対して説得力がある形で示すことが可能となる。

勿論、野球の試合展開に応じて、野球のコンテンツに含まれる場面（アングル）も様々になるため、広告の表示時間も変動し得る。しかしながら、野球の試合展開の内容が、毎試合大幅に変わる可能性は少ないので、広告の表示時間も大幅に異なることはない。なお、演算部１０３は、かかる点を考慮して、今回演算された広告の表示時間と過去に演算された広告の表示時間との平均等を算出するようにしても良い。

なお、上述した処理例では、類似度比較部１０２Ａが特徴量ベクトルを使用した類似度比較を行うようにしていたが、かかる処理が行われなくても良い。しかしながら、事前に特徴量ベクトルを使用した類似度比較を行うことで、後段の処理の負荷を軽くすることができ、全体として効率的な処理を行うことが可能となる。

なお、複数のテンプレートがある場合には、上述した一連の処理がパラレルに行われる。また、上述した処理は、放送中若しくは配信中の野球のコンテンツのデータに対してリアルタイムで行われても良いし、一旦、記憶された野球のコンテンツのデータに対して行われても良い。

［広告検出結果に対応する表示情報の例］
画像処理部１０２は、広告検出結果を可視化する表示情報を生成しても良い。情報処理装置１０が表示部を有する構成とし、当該表示部に、画像処理部１０２により生成された表示情報が表示されても良い。

図１１は、画像処理部１０２により生成された表示情報に対応する表示の一例を示している。なお、図１１及び後述する図１２では、図示のスペースの関係上、画像を矩形により簡略化して示している。

図中、「サムネイル」と表示されている箇所の右側には、１秒毎に入力される入力画像に対応するサムネイル画像が表示される。サムネイル画像は、時間の経過に沿うように表示される。「サムネイル」の下側には、「テンプレート１」及び「テンプレート２」が表示されている。即ち、本例は、「テンプレート１」及び「テンプレート２」の２個のテンプレート画像が使用されている例である。「テンプレート１」に対応するテンプレート画像は、例えば、上述したテンプレート画像ＴＩＭである。「テンプレート１」及び「テンプレート２」の右側には、時間軸ＴＬ１及び時間軸ＴＬ２がそれぞれ表示される。

各時間軸の所定箇所には、矩形のマークＭＫが表示されている。例えば、時間軸ＴＬ１上の２箇所に、マークＭＫ１及びマークＭＬ２が表示されている。また、時間軸ＴＬ２上に、マークＭＫ３が表示されている。マークＭＫの意味は、マークＭＫが表示されている箇所に対応する入力画像が、テンプレート画像と類似していると判断されたことを示している。例えば、マークＭＫ１は、マークＭＫ１に対応する入力画像ＩＭ２１及び入力画像ＩＭ２２が、テンプレート１に対応するテンプレート画像と類似していると、類似度比較部１０２Ａ及び特徴点マッチング部１０２Ｂにより判断されたことを示している。また、マークＭＫ２は、マークＭＫ２に対応する入力画像ＩＭ２６～入力画像ＩＭ２８が、テンプレート１に対応するテンプレート画像と類似していると、類似度比較部１０２Ａ及び特徴点マッチング部１０２Ｂにより判断されたことを示している。また、マークＭＫ３は、マークＭＫ３に対応する入力画像ＩＭ３１及び入力画像ＩＭ３２が、テンプレート２に対応するテンプレート画像と類似していると、類似度比較部１０２Ａ及び特徴点マッチング部１０２Ｂにより判断されたことを示している。

「テンプレート２」の下側には「広告１Ａ」～「広告１Ｇ」が順に表示されている。そして、「テンプレート１」に対応するテンプレート画像又は「テンプレート２」に対応するテンプレート画像に類似していると判断された入力画像から抽出された広告の画像が、各マークＭＫの下側に表示される。なお、図１１では、マークＭＫ３の下側に「広告１Ａ」から「広告１Ｇ」の画像が表示されているが、「テンプレート２」に対応するテンプレート画像の内容によっては、他の広告の画像が表示される場合もある。

例えば、時間軸ＴＬ１上で、テンプレート画像と入力画像とが類似しない箇所を除去する操作がなされると、画面内容が図１１から図１２に遷移する。図１２に示す表示情報も画像処理部１０２により生成される。テンプレート画像と入力画像とが類似しない箇所を除去する操作は、例えば、マークＭＫ１若しくはマークＭＫ２を指定する操作である。

図１２では、野球のコンテンツの代表的な代表画面ＭＩが表示されている。代表画面ＭＩは、任意の画面とすることができる。そして、代表画面ＭＩの下側に、「映像」、「広告１Ａ」、「広告１Ｂ」・・・「広告１Ｇ」との文字が表示される。「映像」の右側には、テンプレート画像ＴＩＭと類似されると判断された入力画像のサムネイル画像が表示される。また、「広告１Ａ」の右側には「広告１Ａ」に対応する画像が表示される。「広告１Ｂ」から「広告１Ｇ」までのそれぞれについても同様である。そして、「映像」、「広告１Ａ」～「広告１Ｇ」の文字の右側には、広告が検出された時間の合計、即ち、一つの野球のコンテンツ内で広告が表示された時間（図示の例では２８５０秒）が表示される。

なお、例えば、広告１Ｅの表示箇所の全てが、野球のプレイヤーの身体により隠れてしまった場合には、ユニホームの画像がサムネイル画像として表示される。図１２で広告のカテゴリを表現するために、サムネイルをカテゴリ毎の色がついた枠で表示したり、カテゴリの数字がオーバレイで表示されても良い。

以上、説明した情報処理装置１０によれば、学習を行う必要がなく、比較的、処理コストがかからない方法によって広告を検出することができる。
また、テンプレート画像ＴＩＭを使用することにより、予め領域を指定することができ、更に、当該領域に行うべき解析処理の内容を指定することができる。
また、一つのコンテンツにおける広告の表示時間が演算されることで、広告が表示される広告枠の価値を定量化することができる。

＜第２の実施形態＞
次に、第２の実施形態について説明する。なお、第２の実施形態の説明において、上述した説明における同一又は同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。また、特に断らない限り、第１の実施形態で説明した事項は第２の実施形態に対して適用することができる。例えば、第２の実施形態にかかる情報処理装置は、第１の実施形態で説明した情報処理装置１０を適用することができる。

第１の実施形態では、１フレームの画像をテンプレート画像とした例を説明したが、第２の実施形態では、図１３に示すテロップ画像ＴＥがテンプレート画像の一例とされる。テロップ画像とは、スポーツの経過途中を当該スポーツのルールに従って表した情報である。勿論、スポーツだけでなく、将棋や囲碁等でもテロップ画像は表示され得る。

図１３に示すように、テロップ画像ＴＥは、チーム名６１（具体例として「チームＨＨ」）及びチーム名６２（具体例として「チームＪＪ」）が上下２段に渡って表示されている。各チーム名の左側には、どちらのチームが攻撃であるのかを示す矩形のマークが表示される。例えば、チーム名６１の左側に矩形のマーク６３が表示され、チーム名６２の左側に矩形のマーク６４が表示される。攻撃中のチームのマークが着色表示される。

また、チーム名６１の右側には、チームＨＨが獲得した点数であるスコア６５が表示される。チーム名６２の右側には、チームＪＪが獲得した点数であるスコア６６が表示される。また、スコア６５及びスコア６６の右側には、イニング６７、イニング６７の「表」又は「裏」を示す表示６７Ａ、及び、３個のベースマーク（１塁のベースマーク６８Ａ、２塁のベースマーク６８Ｂ、３塁のベースマーク６８Ｃ）が表示される。ランナーがいるベースマークが着色表示される。

また、テロップ画像ＴＥの下側左寄りには、ボールと判定された球の数であるボール数７１が表示される。また、ボール数７１の右側には、ストライクと判定された球の数であるストライク数７２が表示される。また、ストライク数７２の右側には、アウトの数であるアウト数７３が表示される。ボール数７１、ストライク数７２及びアウト数７３は、丸印の中が着色表示されることでカウント数が表示される。

図１４は、テンプレート画像であるテロップ画像を使用して設定情報を入力するためのＵＩの一例を示す図である。なお、上述したように、設定情報は、情報処理装置１０で入力されても良いし、情報処理装置１０とは異なる他の機器で入力されても良い。

図１４に示すように、ディスプレイＤＰの左側には、テロップ画像ＴＥが表示されている。テロップ画像ＴＥが参照されながら、設定情報が入力される。設定情報は、例えば、ネーム情報５１、解析処理内容に対応するタイプ５２及び領域情報５３を含む。ネーム情報５１は、任意に設定される名称である。本例では、テロップ画像ＴＥに基づいて、１２個の設定情報が入力されている。

例えば、ネーム情報５１の一つとして「ｏｆｆｅｎｃｅ１」が指定されている。「ｏｆｆｅｎｃｅ１」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が設定されている。「ＩｍａｇｅＣｌａｓｓｉｆｙ」は、第１の実施形態と同様で、画像分類部１０２Ｅによる処理を行うことが指示されていることを意味する。「ｏｆｆｅｎｃｅ１」には、領域情報５３として、テロップ画像ＴＥにおけるｘ座標が「１０」、ｙ座標が「１２」である箇所を起点として、幅が「２０」で高さが「８０」である領域が指定される。かかる領域情報５３で指定される領域は、上述したマーク６３に対応する領域である。

また、ネーム情報５１の一つとして「ｏｆｆｅｎｃｅ２」が指定されている。「ｏｆｆｅｎｃｅ２」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｏｆｆｅｎｃｅ２」に関連付けられている領域情報５３で指定される領域は、上述したマーク６４に対応する領域である。

また、ネーム情報５１の一つとして「ｓｃｏｒｅ１」が指定されている。「ｓｃｏｒｅ１」には、タイプ５２として「Ｎｕｍｂｅｒ」が関連付けられている。「Ｎｕｍｂｅｒ」は、ＯＣＲ１０２Ｆにより文字認識処理を行うことが指示されていることを意味する。「ｓｃｏｒｅ１」に関連付けられている領域情報５３で指定される領域は、上述したスコア６５に対応する領域である。

また、ネーム情報５１の一つとして「ｓｃｏｒｅ２」が指定されている。「ｓｃｏｒｅ２」には、タイプ５２として「Ｎｕｍｂｅｒ」が関連付けられている。上述したように、「Ｎｕｍｂｅｒ」は、ＯＣＲ１０２Ｆにより文字認識処理を行うことが指示されていることを意味する。「ｓｃｏｒｅ２」に関連付けられている領域情報５３で指定される領域は、上述したスコア６６に対応する領域である。

また、ネーム情報５１の一つとして「ｉｎｎｉｎｇ」が指定されている。「ｉｎｎｉｎｇ」には、タイプ５２として「Ｎｕｍｂｅｒ」が関連付けられている。「ｉｎｎｉｎｇ」に関連付けられている領域情報５３で指定される領域は、上述したイニング６７に対応する領域である。

また、ネーム情報５１の一つとして「ｔｏｐ＿ｂｏｔｔｏｍ」が指定されている。「ｔｏｐ＿ｂｏｔｔｏｍ」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｔｏｐ＿ｂｏｔｔｏｍ」に関連付けられている領域情報５３で指定される領域は、上述したイニング６７の「表」又は「裏」の表示７１に対応する領域である。「ｔｏｐ＿ｂｏｔｔｏｍ」の領域には「表」又は「裏」の何れかしか表示されないことから、「ｔｏｐ＿ｂｏｔｔｏｍ」の領域に関連付けられるタイプ５２は「Ｎｕｍｂｅｒ」でも良い。

また、ネーム情報５１の一つとして「ｂａｓｅ１」が指定されている。「ｂａｓｅ１」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｂａｓｅ１」に関連付けられている領域情報５３で指定される領域は、上述した１塁のベースマーク６８Ａに対応する領域である。

また、ネーム情報５１の一つとして「ｂａｓｅ２」が指定されている。「ｂａｓｅ２」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｂａｓｅ２」に関連付けられている領域情報５３で指定される領域は、上述した２塁のベースマーク６８Ｂに対応する領域である。

また、ネーム情報５１の一つとして「ｂａｓｅ３」が指定されている。「ｂａｓｅ３」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｂａｓｅ３」に関連付けられている領域情報５３で指定される領域は、上述した３塁のベースマーク６８Ｃに対応する領域である。

また、ネーム情報５１の一つとして「ｂａｌｌｓ」が指定されている。「ｂａｌｌｓ」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｂａｌｌｓ」に関連付けられている領域情報５３で指定される領域は、上述したボール数７１に対応する領域である。

また、ネーム情報５１の一つとして「ｓｔｒｉｋｅｓ」が指定されている。「ｓｔｒｉｋｅｓ」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｓｔｒｉｋｅｓ」に関連付けられている領域情報５３で指定される領域は、上述したストライク数７２に対応する領域である。

また、ネーム情報５１の一つとして「ｏｕｔｓ」が指定されている。「ｏｕｔｓ」には、タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が関連付けられている。「ｏｕｔｓ」に関連付けられている領域情報５３で指定される領域は、上述したアウト数７３に対応する領域である。

［情報処理装置の動作例］
次に、情報処理装置１０の第２の実施形態における動作例について、図１５に示すフローチャートを参照して説明する。処理が開始されると、ステップＳＴ３１では、画像処理部１０２（例えば、領域抽出部１０２Ｄ）により、入力画像におけるテロップ領域の画像が切り出される。一般に、テロップ画像が表示される領域はスポーツ毎に略決まっており、かかる箇所を予め指定しておくことで、入力画像が入力される度にテロップ領域の画像が切り出されるようにすることができる。そして、処理がステップＳＴ３２に進む。

ステップＳＴ３２では、類似度比較部１０２Ａにより、テンプレート画像であるテロップ画像ＴＥの特徴量ベクトルと、入力画像におけるテロップ画像の特徴量ベクトルとが検出される。そして、両特徴量ベクトルの間の差分により、テロップ画像ＴＥと入力画像におけるテロップ画像との間の類似度が判断される。具体的な判断方法は、第１の実施形態で説明した判断方法を適用することができる。そして、処理がステップＳＴ３３に進む。

ステップＳＴ３３では、類似度比較部１０２Ａの判断結果が出力される。テロップ画像ＴＥと、入力画像におけるテロップ画像との間の類似度が一定以上でない場合は、処理がステップＳＴ３１に戻る。また、テロップ画像ＴＥと、入力画像におけるテロップ画像との間の類似度が一定以上である場合は、処理がステップＳＴ３４に進む。即ち、ステップＳＴ３１～ＳＴ３３までの処理が行われることにより、入力画像にテロップ画像が含まれているか否かが判断される。

ステップＳＴ３４では、領域抽出部１０２Ｄにより、入力画像からテロップ画像が抽出される処理が行われる。この処理により、例えば、図１６に示すテロップ画像ＴＥ１が取得される。そして、処理がステップＳＴ３５に進む。

ステップＳＴ３５では、領域抽出部１０２Ｄにより、矩形マーク、スコア、イニング等のテロップ画像ＴＥ１の構成要素が抽出される。具体的には、上述した設定情報の領域情報５３で指定された領域の画像が抽出される。図１７Ａ～図１７Ｌは、抽出されるテロップ画像ＴＥ１の構成要素の画像を示している。これらの画像は、現在対象画像に対応する。また、過去に抽出されるテロップ画像ＴＥ１の構成要素の画像が、過去対象画像に対応する。そして、処理がステップＳＴ３６に進む。

ステップＳＴ３６では、切り出された画像に対応するタイプ５２が判断される。タイプ５２として「Ｎｕｍｂｅｒ」が指定されている場合には、テロップ画像ＴＥ１の構成要素の画像がＯＣＲ１０２Ｆに供給される。そして、処理がステップＳＴ３７に進み、ＯＣＲ１０２Ｆにより文字認識処理が行われる。

タイプ５２として「ＩｍａｇｅＣｌａｓｓｉｆｙ」が指定されている場合には、テロップ画像ＴＥ１の構成要素の画像が類似度比較部１０２Ａに供給される。そして、処理がステップＳＴ３８に進む。

ステップＳＴ３８では、現在対象画像の特徴量ベクトルと過去対象画像の特徴量ベクトルとがそれぞれ検出される。そして、処理がステップＳＴ３９に進む。

ステップＳＴ３９では、現在対象画像の特徴量ベクトルと過去対象画像の特徴量ベクトルとの差分が算出され、差分に応じて類似度が判断される。そして、判断結果が出力される。類似度が一定以上である場合は、処理がステップＳＴ４０に進み、画像分類部１０２Ｅにより、現在対象画像が過去対象画像と同じカテゴリに分類される。また、類似度が一定以上でない場合は、処理がステップＳＴ４１に進み、画像分類部１０２Ｅにより新たなカテゴリが設定され、現在対象画像が当該新たなカテゴリに分類される。図１８に示すように、例えば、ボール数７１の場合は、着色表示がなされる数によって、各画像が違うカテゴリに分類される。そして、処理がステップＳＴ４２に進む。

ステップＳＴ４２では、テロップ画像ＴＥ１の各構成要素に対する解析結果が蓄積される。例えば、文字認識処理の結果や画像のカテゴリ毎の分類結果が、入力画像に対応するようにして時系列に蓄積される。そして、処理が終了する。

なお、所定の周期（例えば１秒）で次の入力画像が供給された場合には、同様の処理が行われる。

［解析結果の可視化する例］
画像処理部１０２は、テロップ画像の解析結果を可視化する表示情報を生成しても良い。図１９は、かかる表示情報に対応する表示の一例を示す図である。例えば、スコア６５及びスコア６６の箇所に表示される数字が例えば１秒毎に蓄積されるのでその変化点を検出し、検出した変化点に基づいて、図１９に示すように得点が変化した箇所を表示することができる。また、図１９に示すように、ボール数７１やストライク数７２の画像に対する画像分類部１０２Ｅによる分類結果に基づいて変化点を検出し、検出した変化点を表示することができる。図１９に示す情報が表示されることで、例えば、ある野球のコンテンツにおけるスコアが「３－１で２ストライク」の場面等、任意の場面を検索することが可能となる。また、例えば、野球スタジアムにあるスコアボードの所定の領域（例えば、球速の表示領域）を切り出し、上述した技術を適用することでテロップ画像を自動で作成することも可能となる。

また、設定情報により解析処理内容が指定できるので、数字や文字に対しては、比較的処理コストが小さい文字認識処理を適用することができ、全体として効率的な処理を行うことができる。

＜変形例＞
以上、本開示の実施形態について説明したが、本開示は、上述した実施形態に限定されることはなく、本開示の趣旨を逸脱しない範囲で種々の変形が可能である。

［本開示の他の適用例］
（適用例１）
本開示は、スポーツのコンテンツ画像以外も適用することができる。例えば、商品の欠品管理システムに本開示を適用することができる。図２０を参照して、欠品管理に本開示を適用した例について説明する。図２０における点線は、商品棚を示している。予め商品が置かれていないで撮影された画像をテンプレート画像として記憶し、当該テンプレート画像に基づいて、各商品棚が存在する領域を領域情報として指定した設定情報を登録しておく。具体的には、商品棚７５の領域は、始めは何も置かれていない画像が抽出される。次に、商品棚７５にパン７６が置かれると、新たなカテゴリが設定され、当該カテゴリに商品棚７５にパン７６が置かれた画像が分類される。そして、パン７６が購入されると、商品棚７５に何も置かれていない画像が抽出される。この画像は、以前に撮影された、商品棚７５に何も置かれていない画像と同じカテゴリに分類される。当該カテゴリに画像が追加されたタイミングが、ＰＯＳ(Point Of Sale System)等により店員に報知される。店員は、パン７６が欠品になったことを認識し、パン７６を補充する。勿論、本開示は、パン以外の商品の欠品管理に対しても適用することができる。

（適用例２）
本開示は、物品管理システムに対しても適用することができる。図２１を参照して、物品管理システムに本開示を適用した例について説明する。図２１に示すように、例えば、４個の工具（工具８１～工具８４）が壁に吊り下げられ、貸し出し可能とされる例を考える。各工具の吊り下げ箇所が点線で示されている。始めに、全ての工具が揃っている状態で撮影が行われる。設定情報には、各工具の保管場所を区画する領域（図２１で点線で示される領域）が指定されている。

本例では、理解を容易とするために、工具８１を例にして説明する。始めに、工具８１がある画像が例えばＩＤ１００のカテゴリに分類される。工具８１が貸し出されると、工具８１がなくなることから、工具８１の保管場所の画像、即ち、工具８１が存在しない画像は、新たに設定される例えばＩＤ１０１のカテゴリに分類される。また、工具８１が戻されると、工具８１がある画像がＩＤ１００のカテゴリに追加される。このタイミングが例えば管理者に報知されることで、管理者は、工具８１が返却されたことを認識することができる。若し、工具８１の保管場所に別の工具が返却されると、当該工具を含む画像が、新たなに設定された別のＩＤのカテゴリに分類される。この場合は、「工具の返却場所が違います」等の案内放送が再生されるようにしても良い。このように、本開示は、様々なシステムに対して適用することができる。

［その他の変形例］
テンプレート画像及び当該テンプレート画像に基づく設定情報は、所定のスポーツが行われるスタジアム毎に登録しておくことも可能である。例えば、図２２Ａに示すように、スタジアムＡＢに対して、２個のテンプレート画像（テンプレート画像ＡＣ及びテンプレート画像ＡＤ）及び各テンプレート画像に基づく設定情報を登録しておくことが可能である。そして、図２２Ｂに模式的に示すように、スタジアムＡＢを使用した映像に対して、テンプレート画像ＡＣ及びテンプレート画像ＡＤに基づく抽出結果が得られる。スタジアムの選択は、本開示を実現するシステムにログインするときに行われるようにしても良い。

また、スポーツ毎にテンプレート画像が登録されても良い。例えば、図２３に示すように、あるスポーツＢＢに対して、２個のテンプレート画像（テンプレート画像ＡＦ及びテンプレート画像ＡＧ）及び各テンプレート画像に基づく設定情報を登録しておくことが可能である。この場合のテンプレート画像ＡＦ及びテンプレート画像ＡＧは、テロップ画像でも良い。スポーツの選択は、本開示を実現するシステムにログインするときに行われるようにしても良い。

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。

なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。

本開示は、以下の構成も採ることができる。
（１）
テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得する取得部と、
入力画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理を行う画像処理部と
を有する情報処理装置。
（２）
前記画像処理部は、前記入力画像と前記テンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に前記解析処理を行う
（１）に記載の情報処理装置。
（３）
前記画像処理部は、前記解析処理として、前記対象領域の画像をカテゴリ毎に分類する処理を行う
（２）に記載の情報処理装置。
（４）
前記対象領域の画像が、時間的に前の入力画像における対象領域の画像との類似度に応じて、所定のカテゴリに分類される
（３）に記載の情報処理装置。
（５）
前記対象領域の画像が、時間的に前の入力画像における対象領域の画像と一定以上の類似度である場合には当該画像と同一のカテゴリに分類され、時間的に前の入力画像における対象領域の画像と一定以上の類似度でない場合には、新たに設定されたカテゴリに分類される
（４）に記載の情報処理装置。
（６）
複数の前記対象領域の画像に対するカテゴリ毎の分類結果に応じて、所定のカテゴリに対応する画像の表示時間を演算する演算部を有する
（３）から（５）までの何れかに記載の情報処理装置。
（７）
前記画像処理部は、前記入力画像の特徴量ベクトルと前記テンプレート画像の特徴量ベクトルとに基づいて類似度が一定以上であるか否かを判断する第１判断処理を行い、第１判断処理の結果、類似度が一定以上と判断された場合に、更に、特徴点マッチングに基づいて類似度が一定以上であるか否かを判断する第２判断処理を行うことにより、前記入力画像と前記テンプレート画像との類似度が一定以上であるか否かを判断する
（２）から（６）までの何れかに記載の情報処理装置。
（８）
前記画像処理部は、前記第２判断処理の結果、前記テンプレート画像の特徴点に対応する前記所定の画像の特徴点の数が閾値以上存在する場合に、前記テンプレート画像と前記所定の画像との位置合わせを行い、位置合わせ後の画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理を行う
（７）に記載の情報処理装置。
（９）
前記閾値は、カメラの動きを規定するパラメータ数に応じた値である
（８）に記載の情報処理装置。
（１０）
前記画像処理部は、前記解析処理として、文字及び数字の少なくとも一方を認識する処理を行う
（２）から（９）までの何れかに記載の情報処理装置。
（１１）
前記入力画像は、所定の周期で入力される１フレーム画像又はテロップの画像である
（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記取得部は、前記テンプレート画像に基づいて設定された複数の設定情報を取得する
（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
前記取得部は、複数のテンプレート画像のそれぞれに対して設定された前記設定情報を取得する
（１）から（１２）までの何れかに記載の情報処理装置。
（１４）
前記画像処理部は、前記解析処理の結果を、時間の経過に沿って表示する表示情報を生成する
（１）から（１３）までの何れかに記載の情報処理装置。
（１５）
前記画像領域は、広告又はテロップを構成する要素が表示される領域である
（１）から（１４）までの何れかに記載の情報処理装置。
（１６）
取得部が、テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得し、
画像処理部が、入力画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理を行う情報処理方法。
（１７）
取得部が、テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得し、
画像処理部が、入力画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理を行う情報処理方法をコンピュータに実行させるプログラム。

１Ａ～１Ｇ・・・広告、１０・・・情報処理装置、１０１・・・取得部、１０２・・・画像処理部、１０２Ａ・・・類似度比較部、１０２Ｂ・・・特徴点マッチング部、１０２Ｃ・・・射影変換部、１０２Ｄ・・・領域抽出部、１０２Ｅ・・・画像分類部、１０２Ｆ・・・ＯＣＲ、１０３・・・演算部、ＴＩＭ・・・テンプレート画像

Claims (15)

1. テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得する取得部と、
   入力画像と前記テンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に、前記入力画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理として、前記対象領域の画像をカテゴリ毎に分類する処理を行う画像処理部と
   を有する情報処理装置。
2. 前記対象領域の画像が、時間的に前の入力画像における対象領域の画像との類似度に応じて、所定のカテゴリに分類される
   請求項１に記載の情報処理装置。
3. 前記対象領域の画像が、時間的に前の入力画像における対象領域の画像と一定以上の類似度である場合には当該画像と同一のカテゴリに分類され、時間的に前の入力画像における対象領域の画像と一定以上の類似度でない場合には、新たに設定されたカテゴリに分類される
   請求項２に記載の情報処理装置。
4. 複数の前記対象領域の画像に対するカテゴリ毎の分類結果に応じて、所定のカテゴリに対応する画像の表示時間を演算する演算部を有する
   請求項１に記載の情報処理装置。
5. 前記画像処理部は、前記入力画像の特徴量ベクトルと前記テンプレート画像の特徴量ベクトルとに基づいて類似度が一定以上であるか否かを判断する第１判断処理を行い、第１判断処理の結果、類似度が一定以上と判断された場合に、更に、特徴点マッチングに基づいて類似度が一定以上であるか否かを判断する第２判断処理を行うことにより、前記入力画像と前記テンプレート画像との類似度が一定以上であるか否かを判断する
   請求項１に記載の情報処理装置。
6. 前記画像処理部は、前記第２判断処理の結果、前記テンプレート画像の特徴点に対応する前記入力画像の特徴点の数が閾値以上存在する場合に、前記テンプレート画像と前記入力画像との位置合わせを行い、位置合わせ後の画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理を行う
   請求項５に記載の情報処理装置。
7. 前記閾値は、カメラの動きを規定するパラメータ数に応じた値である
   請求項６に記載の情報処理装置。
8. 前記画像処理部は、前記解析処理として、文字及び数字の少なくとも一方を認識する処理を行う
   請求項１に記載の情報処理装置。
9. 前記入力画像は、所定の周期で入力される１フレーム画像又はテロップの画像である
   請求項１に記載の情報処理装置。
10. 前記取得部は、前記テンプレート画像に基づいて設定された複数の設定情報を取得する
    請求項１に記載の情報処理装置。
11. 前記取得部は、複数のテンプレート画像のそれぞれに対して設定された前記設定情報を取得する
    請求項１に記載の情報処理装置。
12. 前記画像処理部は、前記解析処理の結果を、時間の経過に沿って表示する表示情報を生成する
    請求項１に記載の情報処理装置。
13. 前記画像領域は、広告又はテロップを構成する要素が表示される領域である
    請求項１に記載の情報処理装置。
14. 取得部が、テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得し、
    画像処理部が、入力画像と前記テンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に、前記入力画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理として、前記対象領域の画像をカテゴリ毎に分類する処理を行う
    情報処理方法。
15. 取得部が、テンプレート画像に基づいて設定された、画像領域と解析処理内容とが関連付けられた設定情報を取得し、
    画像処理部が、入力画像と前記テンプレート画像との類似度が一定以上であるか否かを判断し、類似度が一定以上である場合に、前記入力画像における前記画像領域に対応する対象領域の画像に対して、前記画像領域に関連づけられた解析処理内容に対応する解析処理として、前記対象領域の画像をカテゴリ毎に分類する処理を行う
    情報処理方法をコンピュータに実行させるプログラム。

Images