JP4695582B2 - 映像抽出装置及び映像抽出プログラム - Google Patents

Description

本発明は、映像に付加された音声や字幕等に基づいて、映像から一部分を抽出する映像抽出装置及び映像抽出プログラムに関する。

大量に蓄積された映像からユーザが所望の映像を選択する方法として、録画時に付与した放送時間や番組タイトルなどの情報に基づいて選択する方法がある。ここで選択された映像が本当に所望のものかを確認するためには、早送りや巻き戻しなどの操作によって映像の内容を確認する必要がある。

更に、ユーザがタイトルなどの情報を覚えていない場合には、映像をひとつずつ確認するしかない。そして、従来、ユーザに対して複数の映像を表示画面上において一覧提示する方法として、画面内に各番組映像の代表フレームを並べて表示するものがある。また、代表フレームの代わりに、番組の冒頭部分の数分間の映像を再生して表示する方法もある。これらの方法は、冒頭部分のフレームや、冒頭から所定の時間間隔の映像のように、予め設定された単純な物理量に基づいて選択された番組映像の一部分のみを表示するものである。更に、番組映像の一部ではなく、内容全体を効率的に提示する方法として、映像の動き情報に基づいて一部のシーンを早送りしながら映像全体を再生するものがある（非特許文献１参照）。
「プラットフォームビジネスアリーナ 情報大航海」カタログ、ｐ．６、２００６年１０月３日〜７日、ＣＥＡＴＥＣ ＪＡＰＡＮ ２００６で配布

しかしながら、代表フレームや冒頭の映像を提示するものでは、提示される画像や映像は、映像の内容を考慮して抽出されたものではないため、当該映像の内容を示す画像や映像にはならないことも多い。そのため、ユーザが、提示された画像や映像から番組の内容を勘案して映像を選択することができなかった。

また、一部を早送りして映像全体を再生する方法では、各番組について、表示される映像の長さが長くなるため、所望の番組を確認するまでに時間がかかってしまう。また、早送りするシーンの選択は、映像の動きベクトルの大きさという物理量に基づくため、番組の意味や内容は考慮されないという問題がある。更に、番組の選択のための提示において映像全体を再生してしまっては、改めて番組映像を視聴する意味が薄れてしまう。また、同時に複数の番組を並べて提示する装置においては、１番組当たりの情報量が多くなるため、計算負荷が大きいという問題もある。

本発明は、前記従来技術の問題を解決するために成されたもので、映像の内容に基づいて、当該映像の一部分の画像もしくは映像を抽出した映像を生成することができる映像抽出装置及び映像抽出プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の映像抽出装置は、映像を入力し、当該映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、当該映像の一部分を抽出する映像抽出装置であって、映像付加単位データ生成手段と、他映像類似度算出手段と、部分映像抽出手段と、テロップ単位データ生成手段と、テロップ類似度算出手段とを備え、前記部分映像抽出手段が、前記他映像類似度算出手段によって算出された他映像類似度と、前記テロップ類似度算出手段によって算出されたテロップ類似度とに基づいて前記映像付加単位データを選定する構成とした。

かかる構成によれば、映像抽出装置は、映像付加単位データ生成手段によって、映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに映像における区間に対応させた映像付加単位データを生成する。

また、映像抽出装置は、他映像類似度算出手段によって、映像付加単位データについて所定の特徴量を解析する。そして、映像抽出装置は、他映像類似度算出手段によって、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示すテキストデータである他映像要約テキストデータについて解析された所定の特徴量の解析結果とに基づいて、他映像要約テキストデータと特徴量が類似する度合いを示す他映像類似度を算出する。更に、映像抽出装置は、部分映像抽出手段によって、他映像類似度に基づいて映像付加単位データを選定して、この映像付加単位データに対応する映像の区間を検出し、この区間の映像を抽出する。

これによって、映像抽出装置は、他映像要約テキストデータとの所定の特徴量の類似度に基づいて映像付加単位データを選定し、この映像付加単位データに対応する区間の映像を抽出した映像を生成することができる。

これによって、映像抽出装置は、他映像要約テキストデータとの所定の特徴量の類似度、及び、対応する映像区間内に表示されたテロップとスポット映像内のテロップとの所定の特徴量の類似度に基づいて、映像付加単位データを選定し、この映像付加単位データに対応する区間の映像を抽出した映像を生成することができる。

更に、請求項２に記載の映像抽出プログラムは、映像を入力し、当該映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、当該映像の一部分を抽出するためにコンピュータを、映像付加単位データ生成手段、他映像類似度算出手段、部分映像抽出手段、テロップ単位データ生成手段、テロップ類似度算出手段として機能させることとした。

かかる構成によれば、映像抽出プログラムは、映像付加単位データ生成手段によって、映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに映像における区間に対応させた映像付加単位データを生成する。また、映像抽出プログラムは、他映像類似度算出手段によって、映像付加単位データについて所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示すテキストデータである他映像要約テキストデータについて解析された所定の特徴量の解析結果とに基づいて、他映像要約テキストデータと特徴量が類似する度合いを示す他映像類似度を算出する。更に、映像抽出プログラムは、部分映像抽出手段によって、他映像類似度に基づいて映像付加単位データを選定して、この映像付加単位データに対応する映像の区間を検出し、この区間の映像を抽出する。

これによって、映像抽出プログラムは、他映像要約テキストデータとの所定の特徴量の類似度に基づいて映像付加単位データを選定し、この映像付加単位データに対応する区間の映像を抽出した映像を生成することができる。

本発明に係る映像抽出装置及び映像抽出プログラムでは、以下のような優れた効果を奏する。
請求項１及び請求項２に記載の発明によれば、複数の他の映像の要約を示すテキストデータの所定の特徴量が類似する箇所を音声や字幕のテキストデータから抽出し、この箇所に対応する区間の映像を抽出した映像を生成することができる。ここで、映像の要約文では、具体的な数値を示したり、シーンの内容を強調したりするために、特徴的な用語や言い回しが用いられることが多い。そのため、映像内の音声や字幕において要約文に類似する用語や言い回しが使用される箇所に、この映像の要約に相当するシーンが含まれることが想定される。これによって、入力された映像から、音声や字幕のテキストデータにおいて、複数の他の映像の要約を示すテキストデータと比較して所定の特徴量が類似する部分を抽出して、当該映像の要約に相当する映像を生成することができる。

更に、入力された映像の要約のテキストデータがなくても、当該映像の要約映像を自動で生成することができるとともに、もとの映像の一部のみを抽出して要約映像を生成するため、ユーザに対して短時間で要約を提示することができる要約映像を自動で生成できる。また、複数の映像についての要約映像を提示する場合にも情報量が少なくなり、計算負荷を減らすことができる。

そして、映像内の音声又は字幕の情報に加えて、テロップの情報も利用して、当該映像の要約に相当する映像を生成することができる。そのため、人手によって生成された要約映像（スポット映像）に近い要約映像を自動で生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［映像抽出装置の構成］
まず、図１を参照して、本発明における映像抽出装置１の構成について説明する。図１は、本発明における映像抽出装置の構成を示したブロック図である。

映像抽出装置１は、番組紹介文に基づいて、当該映像に付加された字幕（ＣＣ；クローズドキャプション）のテキストデータ（以下、ＣＣテキストデータと言う）、当該映像の音声データを音声変換したテキストデータ（以下、音声テキストデータと言う）もしくは映像内のテロップ（文字スーパ）のテキストデータ（以下、テロップテキストデータと言う）のうち、当該番組紹介文に類似する部分のテキストデータに対応する区間の映像を番組紹介映像として抽出して、番組紹介映像を生成するものである。ここで、映像抽出装置１は、字幕情報抽出手段１０と、音声認識手段１１と、テロップ抽出手段１２と、電子番組表取得手段１３と、番組紹介映像生成手段１４とを備える。

字幕情報抽出手段（映像付加単位データ生成手段）１０は、外部から入力された映像に付加されたＣＣのテキストデータを抽出するものである。ここで抽出されたＣＣテキストデータは、番組紹介映像生成手段１４の紹介文類似度算出部１４ａに出力される。このＣＣテキストデータは、複数のＣＣ文（映像付加単位データ）に分割され、各ＣＣ文には、タイムコードの情報が対応付けられている。そして、この各ＣＣ文は、タイムコードによって示される時刻を始点とする映像の音声のテキストデータである。なお、この字幕情報抽出手段１０は、入力された映像にＣＣテキストデータが付加されていないと判断した場合には、入力された映像の音声を音声認識手段１１に出力する。

音声認識手段（映像付加単位データ生成手段）１１は、字幕情報抽出手段１０から入力された音声を認識処理し、ＣＣテキストデータの代替情報となる音声テキストデータを生成するものである。ここで生成された音声テキストデータは、番組紹介映像生成手段１４の紹介文類似度算出部１４ａに出力される。ここでは、音声認識手段１１は、音声認識した音声テキストデータを複数の文字列［以下、音声認識文（映像付加単位データ）と言う］に分割して、各音声認識文には当該音声が再生される開始時刻及び終了時刻の情報を対応付けることとした。なお、音声テキストデータは、１文ごとに分割されることとしてもよいし、１文が所定の字数を超えた場合には更に途中の文節で分割されることとしてもよい。

テロップ認識手段１２は、映像中に表示されるテロップの認識を行うものである。このテロップ認識手段１２は、映像中にテロップが表示されたときに、表示された文字映像に対してＯＣＲ（Optical Character Reader）処理を行い、処理結果の各文字列（以下、テロップ認識文と言う）に、このテロップが表示された時刻の情報を対応付ける。ここで生成された処理結果であるテロップテキストデータは、番組紹介映像生成手段１４の紹介文類似度算出部１４ａに出力される。

電子番組表取得手段１３は、録画時にユーザによって入力された映像の番組タイトル、放送時刻、放送チャンネルなどの情報から、電子番組表の情報を取得するものである。ここで、電子番組表取得手段１３は、電子番組表から該当する番組の番組紹介文の情報［以下、ＥＰＧテキストデータ（要約テキストデータ）と言う］を取得する。ここで取得されたＥＰＧテキストデータは、番組紹介映像生成手段１４の紹介文類似度算出部１４ａに出力される。

ここでは、電子番組表取得手段１３は、ユーザから映像の番組タイトル、放送時刻、放送チャンネルなどの情報が入力されなかった場合には、テロップ認識手段１２で認識された情報（例えば、番組タイトル）に基づいて、電子番組表を取得することとした。電子番組表取得手段１３は、入力ストリームから電子番組表を取得することとしてもよいし、そこから取得できない場合には、インターネット等を介して取得することとしてもよい。そして、電子番組表取得手段１３は、ＥＰＧテキストデータが取得できなかった場合には、番組紹介映像生成手段１４の紹介文類似度算出部１４ａにＥＰＧテキストデータを取得できなかった旨を通知する信号を出力する。

番組紹介映像生成手段１４は、番組紹介文の情報と、字幕情報抽出手段１０、音声認識手段１１及びテロップ認識手段１２から入力されたＣＣテキストデータ、音声テキストデータ及びテロップテキストデータとに基づいて、外部から入力された映像の一部を抽出して番組紹介映像を生成するものである。番組紹介映像生成手段１４は、紹介文類似度算出部１４ａ、他番組紹介文類似度算出部１４ｂ及び番組紹介映像抽出部１４ｃを備える。

紹介文類似度算出部（類似度算出手段）１４ａは、字幕情報抽出手段１０、音声認識手段１１及びテロップ認識手段１２から入力されたＣＣテキストデータ、音声テキストデータ及びテロップテキストデータにおいて、電子番組表取得手段１３で取得されたＥＰＧテキストデータに含まれる単語（形態素）の出現する頻度に基づいて、ＥＰＧテキストデータと、各ＣＣ文、音声認識文及びテロップ認識文とが類似する度合いを示す類似度を算出するものである。ここで算出された類似度は、番組紹介映像抽出部１４ｃに出力される。なお、紹介文類似度算出部１４ａは、電子番組表取得手段１３からＥＰＧテキストデータを取得できなかった旨を通知する信号を入力した場合には、ＣＣテキストデータ、音声テキストデータ及びテロップテキストデータを他番組紹介文類似度算出部１４ｂに出力する。

以下、紹介文類似度算出部１４ａが類似度を算出する方法の例について説明する。ここでは、紹介文類似度算出部１４ａは、字幕情報抽出手段１０からＣＣテキストデータが入力された場合には、テロップ認識手段１２から入力されたテロップテキストデータから、当該ＣＣテキストデータの各ＣＣ文に対応する映像の区間内に表示されたテロップ認識文を探索して、ＣＣ文とテロップ認識文との組を生成する。なお、紹介文類似度算出部１４ａは、各ＣＣ文の区間の終了時間を、例えば、話速に基づいて、ＣＣ文の字数から当該区間の時間を算出して、対応付けられたタイムコードによって示される当該区間の開始時間に加算することで求めることが可能である。このとき、紹介文類似度算出部１４ａは、ＣＣテキストデータから１つの文が所定の字数を超え、所定の字数以内に分割されたＣＣ文を選択し、このＣＣ文のタイムコードと、当該ＣＣ文の字数と、次のＣＣ文のタイムコードとに基づいて、この２つのタイムコードによって示される時刻の間にこの字数分の音声が出力されることとして話速を算出することができる。

また、ここでは、紹介文類似度算出部１４ａに字幕情報抽出手段１０からＣＣテキストデータが入力されない場合には音声認識手段１１から音声テキストデータが入力され、紹介文類似度算出部１４ａは、テロップ認識手段１２から入力されたテロップテキストデータから、当該音声テキストデータの各音声認識文に対応する映像の区間内に表示されたテロップ認識文を探索して、音声認識文とテロップ認識文との組を生成する。

そして、紹介文類似度算出部１４ａは、ＣＣ文とテロップ認識文との組もしくは音声認識文とテロップ認識文との組について、ＥＰＧテキストデータを構成する各文（以下、ＥＰＧ文と言う）に含まれるそれぞれの単語の出現頻度に基づいて類似度を算出する。ここでは、紹介文類似度算出部１４ａは、ＴＦＩＤＦ［ＴＦ；Term Frequency（語彙頻度）、ＩＤＦ；Inverse Document Frequency（文書頻度の逆数）］値を要素とした特徴ベクトルの余弦を用いて類似度を算出することとした。以下、紹介文類似度算出部１４ａが、ＣＣ文とテロップ認識文との組について類似度を算出する場合について説明するが、紹介文類似度算出部１４ａは、音声認識文とテロップ認識文との組について類似度を算出する場合には、ＣＣ文を音声認識文と置き換えて同様に算出することができる。

ここで、特徴ベクトルのｉ番目の要素は、ある単語ｗ_ｉのＴＦＩＤＦ値となる。ここで、ある文Ｓ１の特徴ベクトルをｖ_１、ある文Ｓ２の特徴ベクトルをｖ_２としたとき、文Ｓ１と文Ｓ２の類似度δ（ｖ_１，ｖ_２）は以下の式（１）のように算出することができる。

ここで、ｖ_ｊｉは、特徴ベクトルｖ_ｊのｉ番目の要素を表す。また、ある単語ｗ_ｉのＴＦＩＤＦ値ｔｆｉｄｆ（ｗ_ｉ）は、以下の式（２）によって算出することができる。

ここで、ｔｆ（ｗ_ｉ）は文に含まれる単語ｗ_ｉの総数、ｄｆ（ｗ_ｉ）は単語ｗ_ｉが含まれるＣＣ文の総数、ＮはＣＣ文の総数を表す。そして、あるＣＣ文と、その映像の区間内に表示されたテロップのテロップ認識文とについて、あるＥＰＧ文との類似度Ｓｉｍは、以下の式（３）によって算出することができる。

ここで、ｖ_ｃｃ、ｖ_ｓｐ及びｖ_ｅｐｇは、それぞれＣＣ文、テロップ認識文及びＥＰＧ文から作成した特徴ベクトルを表す。以上のようにして、紹介文類似度算出部１４ａは、ＥＰＧ文と、ＣＣ文及びテロップ認識文の組との類似度を算出することができる。

なお、紹介文類似度算出部１４ａによる類似度の算出方法はこの方法に限定されず、例えば、特徴ベクトルの要素を頻度（ＴＦ）として類似度を算出することとしてもよいし、特徴ベクトルの距離を用いて類似度を算出することとしてもよい。更に、紹介文類似度算出部１４ａは、各単語について予め重みを設定しておき、それぞれ重みを付けて類似度を算出することとしてもよい。このように重みを設定すると、紹介文類似度算出部１４ａは、例えば、助詞や助動詞や句読点のようにその映像の内容とは関連性が低いことが想定される単語の重みを小さくし、予め重要性が高いと判断された単語の重みを大きく設定することで、単語の重要性を考慮して類似度を算出することができる。

他番組紹介文類似度算出部（他映像類似度算出手段）１４ｂは、外部から入力された複数の他の映像の番組紹介文である他番組紹介文（他映像要約テキストデータ）の特徴量に基づいて、字幕情報抽出手段１０及び音声認識手段１１から入力された各ＣＣ文及び音声認識文と、他番組紹介文との特徴量が類似する度合いを示す類似度（他映像類似度）を算出するものである。更に、他番組紹介文類似度算出部（テロップ類似度算出手段）１４ｂは、外部から入力された複数の他の映像のスポット映像（番組紹介映像）の特徴量に基づいて、テロップ認識手段１２から入力された各テロップ文及び当該テロップ文に対応する区間の映像のテロップと、スポット映像内のテロップとの特徴量が類似する度合いを示す類似度（テロップ類似度）を算出するものでもある。更に、ここでは、他番組紹介文類似度算出部１４ｂは、他番組紹介文と類似する度合いを示す類似度と、スポット映像内のテロップとの特徴量が類似する度合いを示す類似度とを統合した類似度を算出することとした。ここで算出された類似度は、番組紹介映像抽出部１４ｃに出力される。

ここで、電子番組表等の番組紹介文は、通常、番組の魅力的なシーンについての内容を紹介するように記述されている。そして、その番組紹介文においては、具体的な数値を示したり、魅力的なシーンであることを強調したりするために、特徴的な用語や言い回しが用いられる。そこで、番組内において他番組紹介文に類似する用語や言い回しが使用される箇所には魅力的なシーンが含まれていると仮定して、このようなシーンを選択することとした。そのため、他番組紹介文類似度算出部１４ｂは、他番組紹介文に用いられる特徴的な表現を示す特徴量を解析し、この結果に基づいて、ＣＣ文もしくは音声認識文と他番組紹介文との特徴量が類似するかを示す類似度を算出し、番組紹介映像抽出部１４ｃが、この類似度に基づいて、他番組紹介文に類似するＣＣ文もしくは音声認識文に対応する箇所の映像を番組紹介映像として抽出することとした。

更に、他番組紹介文類似度算出部１４ｂは、過去の番組のスポット映像でテロップが使用されていたシーンにおいて、どのようなテロップが表示されていたかを学習して、類似度の算出に利用することとした。そして、他番組紹介文類似度算出部１４ｂは、ＣＣ文もしくは音声認識文に基づいて算出された類似度と、テロップ文に基づいて算出された類似度との重み付き和を用いて、最終的な類似度を算出することとした。

このように、他番組紹介文類似度算出部１４ｂは、外部から入力された映像についてのＥＰＧテキストデータが電子番組表取得手段１３によって取得することができなかった場合でも、過去の映像についての複数の番組紹介文の特徴量に基づいて類似度を算出することができる。これによって、ＥＰＧテキストデータがなかったり、番組タイトルや放送日が取得できなかったりして、映像のＥＰＧテキストデータが取得できなくても、後記する番組紹介映像抽出部１４ｃによって、当該映像を紹介するための番組紹介映像を生成することができる。

以下、他番組紹介文類似度算出部１４ｂが類似度を算出する方法の例について説明する。ここでは、他番組紹介文類似度算出部１４ｂは、ＡｄａＢｏｏｓｔ（[Freund 1996] Y. Freund and R. E. Schapire, "A decision-theoretic generalization of on-line learning and application to boosting", Journal of Computer and System Science, Vol.55, No.1, pp.119-139, 1996）による機械学習を予め行い、所定の特徴量を解析する複数の弱識別器（図示せず）を構成することとした。

ここで、他番組紹介文類似度算出部１４ｂは、紹介文類似度算出部１４ａからＣＣテキストデータとテロップテキストデータとが入力された場合には、テロップテキストデータから、ＣＣテキストデータの各ＣＣ文に対応する映像の区間内に表示されたテロップ認識文を探索して、ＣＣ文とテロップ認識文（テロップ単位データ）との組を生成する。また、他番組紹介文類似度算出部１４ｂは、紹介文類似度算出部１４ａから音声テキストデータとテロップテキストデータが入力された場合には、テロップテキストデータから、音声テキストデータの各音声認識文に対応する映像の区間内に表示されたテロップ認識文を探索して、音声認識文とテロップ認識文（テロップ単位データ）との組を生成する。なお、特許請求の範囲に記載のテロップ単位データ生成手段は、テロップ認識手段１２と、他番組紹介文類似度算出部１４ｂとに相当する。

まず、他番組紹介文類似度算出部１４ｂがＣＣ文もしくは音声認識文に基づいて類似度を算出する方法について説明する。ここでは、他番組紹介文類似度算出部１４ｂは、複数の過去の番組の番組紹介文の各文を正例、ＣＣの各文を負例としてＡｄａＢｏｏｓｔによって学習し、弱識別器を生成することとした。入力された複数の過去の番組の番組紹介文及びＣＣの各文に対して、形態素数（文長）が所定の閾値以上か閾値未満か、所定の品詞が含まれるか否か、所定の索引語が含まれるか否か、及び、所定の固有表現が含まれるか否かの４つの特徴量を解析して、その特徴量に基づいて番組紹介文かＣＣかを識別する弱識別器を構成するとことした。ここで、索引語は、形態素と品詞の組とする。また、固有表現は、ＩＲＥＸ（Information Retrieval and Extraction Exercise）で定義された組織名、人名、地名、固有物名、日付表現、時間表現、金額表現及び割合表現の８種類とした。

以下、ＡｄａＢｏｏｓｔの学習アルゴリズムについて説明する。ここで、他番組紹介文類似度算出部１４ｂに、学習データとして（ｘ_１、ｙ_１）、…、（ｘ_ｉ、ｙ_ｉ）、…、（ｘ_ｎ、ｙ_ｎ）が入力されたとする。ここで、ｘ_ｉ（ｉ＝１〜ｎ）は、過去の番組の番組紹介文及びＣＣの各文であり、ｘ_ｉが正例のときはｙ_ｉ＝１、負例のときはｙ_ｉ＝０である。そうすると、他番組紹介文類似度算出部１４ｂは、弱識別器の候補ｈ_ｔ，１、ｈ_ｔ，２、…、ｈ_ｔ，ｍを生成する。ここでは、弱識別器の候補ｈ_ｔ，ｊ（ｊ＝１〜ｍ）は、以下の式（４）のように表される。なお、ｆ_ｊはｊ番目の特徴量、θ_ｊは閾値を表す。更に、ｓ_ｊは不等号の向きを制御する値で｛１，−１｝である。ここで、他番組紹介文類似度算出部１４ｂは、重みｗ_１，ｉ←１／ｎに初期化して、ｔ＝１とする。

そして、他番組紹介文類似度算出部１４ｂは、以下の式（５）に示すようにｗ_ｔ，ｉを正規化する。そして、他番組紹介文類似度算出部１４ｂは、各弱識別器の候補ｈ_ｔ，１、ｈ_ｔ，２、…、ｈ_ｔ，ｍのエラー率ε_ｔ，ｊ（ｊ＝１〜ｍ）を以下の式（６）によって算出して、エラー率ε_ｔ，ｊ（ｊ＝１〜ｍ）の最小値となる弱識別器を選択する。ここで、エラー率ε_ｔ，ｊ（ｊ＝１〜ｍ）の最小値をε_ｔ、このときの弱識別器をｈ_ｔとする。これによって、最もエラーの少ない弱識別器ｈ_ｔが選ばれる。更に、他番組紹介文類似度算出部１４ｂは、以下の式（７）に従って重みｗ_{ｔ＋１，ｉ}を算出して、選択された弱識別器において誤ったデータに対して大きな重みを与える。

そして、他番組紹介文類似度算出部１４ｂは、この処理をｔ＝１〜Ｔまで繰り返す。これによって、他番組紹介文類似度算出部１４ｂは、Ｔ個の弱識別器ｈ_ｔ（ｔ＝１〜Ｔ）を選択し、それぞれの弱識別器ｈ_ｔの信頼度α_ｔの値を算出することができる。そして、Ｔ個の弱識別器ｈ_ｔ（ｔ＝１〜Ｔ）から構成される識別器ｈ（ｘ）は、以下の式（８）によって示される。

ここでは、他番組紹介文類似度算出部１４ｂは、紹介文類似度算出部１４ａから入力されたＣＣ文もしくは音声認識文を入力し、前記の学習によって生成された弱識別器を用いてそれぞれの弱識別器ｈ_ｔの信頼度α_ｔを算出し、信頼度α_ｔの和をＣＣ文もしくは音声認識文に基づく類似度（他映像類似度）とした。

続いて、他番組紹介文類似度算出部１４ｂがテロップ文に基づいて類似度を算出する方法について説明する。他番組紹介文類似度算出部１４ｂは、テロップによる類似度の算出についても、ＡｄａＢｏｏｓｔによって学習して弱識別器を生成することとした。学習データには、複数の過去の番組のスポット映像で使用された映像区間とその際に表示されたテロップを正例、スポット映像に使用されなかった映像区間とその際に表示されたテロップを負例として使用する。

ここでは、他番組紹介文類似度算出部１４ｂは、過去の番組の各映像区間に対して、テロップが表示されているか否か、テロップで表示された文字列がタイトルもしくはサブタイトルに含まれるか否か、文字列の大きさが閾値以上か閾値未満か、文字数が閾値以上か閾値未満か、及び、文字の表示座標が閾値以上か閾値未満かの５つの特徴量を解析して、前記の式（４）〜（８）に基づいて、スポット映像に用いられた映像区間を識別する弱識別器を構成する。

ここでは、他番組紹介文類似度算出部１４ｂは、紹介文類似度算出部１４ａから入力されたテロップ文を入力し、前記の学習によって生成された弱識別器を用いてそれぞれの弱識別器ｈ_ｔの信頼度α_ｔを算出し、信頼度α_ｔの和をテロップ文に基づく類似度（テロップ類似度）とした。

そして、他番組紹介文類似度算出部１４ｂは、ＣＣ文もしくは音声認識文に基づく類似度をＦ_ｅ、テロップに基づく類似度をＦ_ｓとすると、これらを組み合わせた類似度Ｆは、以下の式（９）のようになる、

ここで、ａ、ｂは重みであり、それぞれの識別器の識別能力によって決定することとした。具体的には、重みａは、番組紹介文を識別する識別器をｈ_ｅｐｇとしたとき、以下の式（１０）によって算出できる。

ここで、ｘ_ｔは学習データを表し、ｘ_ｔが正例ならｙ_ｔ＝１、負例ならｙ_ｔ＝０とする。式（１０）では、誤って識別された学習データの数によって重みａを決定している。重みｂも、スポット映像を識別する識別器について同様にして算出することができる。なお、重みａ、ｂは所定値とすることとしてもよい。

なお、他番組紹介文類似度算出部１４ｂは、このＡｄａＢｏｏｓｔによる学習での弱識別器に限定されず、例えば、サポートベクタマシーン（SVM；V. N. Vapnik, "The nature of statistical learning theory", Springer-Verlag, 1995）による機械学習を予め行い、所定の特徴量を解析する複数の超平面を構成することとしてもよい。

番組紹介映像抽出部（部分映像抽出手段）１４ｃは、紹介文類似度算出部１４ａもしくは他番組紹介文類似度算出部１４ｂによって算出された類似度に基づいて、外部から入力された映像からその一部を抽出して番組紹介映像を生成するものである。ここで生成された番組紹介映像は外部に出力される。

ここで、番組紹介映像抽出部１４ｃは、電子番組表取得手段１３によってＥＰＧテキストデータが抽出された場合には、各ＥＰＧ文について、紹介文類似度算出部１４ａで算出された類似度が最大のＣＣ文とテロップ認識文との組もしくは音声認識文とテロップ認識文との組を選択し、それらに対応する映像区間を外部から入力された映像から抽出して、番組紹介映像を生成する。また、番組紹介映像抽出部１４ｃは、電子番組表取得手段１３によってＥＰＧテキストデータが抽出されない場合には、ＣＣ文とテロップ認識文との組もしくは音声認識文とテロップ認識文との組のうち、他番組紹介文類似度算出部１４ｂで算出された類似度の大きいものから順にｎ個選択し、それらに対応する映像区間を外部から入力された映像から抽出して、番組紹介映像を生成する。選択数ｎは、生成される番組紹介映像の長さが予め決めた長さに達するまでとしてもよいし、予め定めた固定値としてもよい。なお、番組紹介映像抽出部１４ｃは、選択された映像区間の各々から更に一部分の区間の映像、もしくは、静止画像を抽出して、番組抽出映像を生成することとしてもよい。

以上によって、映像抽出装置１は、映像の内容を示すＣＣテキストデータもしくは音声テキストデータに基づいて番組紹介映像を生成することができる。なお、映像抽出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、映像抽出プログラムとして動作させることも可能である。

［映像抽出装置の動作］
次に、図２から図４を参照して、映像抽出装置１の動作について説明する。まず、図２を参照（適宜図１参照）して、映像抽出装置１の動作について説明する。図２は、本発明の映像抽出装置が番組紹介映像を生成する動作を示したフローチャートである。

映像抽出装置１は、字幕情報抽出手段１０、テロップ認識手段１２及び番組紹介映像生成手段１４によって、外部から映像を入力するとともに、電子番組表取得手段１３によって映像の番組タイトル、放送時刻、放送チャンネルなどの情報を入力する（ステップＳ１０）。続いて、映像抽出装置１は、字幕情報抽出手段１０によって、ステップＳ１０において入力された映像にＣＣテキストデータが付加されているかを判断する（ステップＳ１１）。そして、付加されている場合には（ステップ１１でＹｅｓ）、映像抽出装置１は、字幕情報抽出手段１０によってＣＣテキストデータを抽出するとともに、テロップ認識手段１２によってテロップテキストデータを抽出する（ステップＳ１２）。

一方、付加されていない場合には（ステップ１１でＮｏ）、映像抽出装置１は、音声認識手段１１によって音声認識して音声テキストデータを生成するとともに、テロップ認識手段１２によってテロップテキストデータを抽出する（ステップＳ１３）。

続いて、映像抽出装置１は、電子番組表取得手段１３によって、ステップＳ１０において入力された映像の番組タイトル、放送時刻、放送チャンネルなどの情報に基づいて、ＥＰＧテキストデータを取得できるか否かを判断する（ステップＳ１４）。そして、取得できる場合（ステップＳ１４でＹｅｓ）には、映像抽出装置１は、電子番組表取得手段１３によって、ＥＰＧテキストデータを取得する（ステップＳ１５）。そして、映像抽出装置１は、紹介文類似度算出部１４ａ及び番組紹介映像抽出部１４ｃによって、後記するＥＰＧ番組紹介映像生成動作によって番組紹介映像を生成する（ステップＳ１６）。

一方、取得できない場合（ステップＳ１４でＮｏ）には、映像抽出装置１は、他番組紹介文類似度算出部１４ｂ及び番組紹介映像抽出部１４ｃによって、後記する番組紹介映像生成動作によって番組紹介映像を生成する（ステップＳ１７）。

そして、映像抽出装置１は、番組紹介映像抽出部１４ｃによって、ステップＳ１６もしくはステップＳ１７において生成された番組紹介映像を外部に出力し（ステップＳ１８）、動作を終了する。

（ＥＰＧ番組紹介映像生成動作）
続いて、図３を参照（適宜図１及び図２参照）して、紹介文類似度算出部１４ａ及び番組紹介映像抽出部１４ｃによって番組紹介文を生成する動作（ＥＰＧ番組紹介映像生成動作）について説明する。図３は、ＥＰＧ番組紹介映像生成動作を示したフローチャートである。

映像抽出装置１は、紹介文類似度算出部１４ａによって、ステップＳ１５（図２参照）において取得されたすべてのＥＰＧ文について番組紹介映像の抽出が終了したかを判断する（ステップＳ３０）。そして、終了した場合には（ステップ３０でＹｅｓ）、そのまま動作を終了する。一方、終了していない場合には（ステップ３０でＮｏ）、映像抽出装置１は、紹介文類似度算出部１４ａによって、ステップＳ１５において取得されたＥＰＧテキストデータからひとつのＥＰＧ文を選択する（ステップＳ３１）。

そして、映像抽出装置１は、紹介文類似度算出部１４ａによって、すべてのＣＣ文もしくは音声認識文について、ステップＳ３１において選択されたＥＰＧ文についての類似度の算出が終了したかを判断する（ステップＳ３２）。そして、終了していない場合には（ステップ３２でＮｏ）、映像抽出装置１は、紹介文類似度算出部１４ａによって、ステップＳ１２又はステップＳ１３（図２参照）において抽出されたＣＣテキストデータ又は音声テキストデータからひとつのＣＣ文又は音声認識文を選択する（ステップＳ３４）。続いて、映像抽出装置１は、紹介文類似度算出部１４ａによって、選択されたＣＣ文又は音声認識文の映像区間内に対応する、ステップＳ１２又はステップＳ１３において抽出されたテロップ文を選択する（ステップＳ３５）。

そして、映像抽出装置１は、ステップＳ３４及びステップＳ３５において選択されたＣＣ文又は音声認識文とテロップ文とについて、ステップＳ３１において選択されたＥＰＧ文に対する類似度を算出し（ステップＳ３６）、ステップＳ３２に戻って、すべてのＣＣ文もしくは音声認識文について、選択されたＥＰＧ文についての類似度の算出が終了したかを判断する動作以降の動作を行う。

一方、ステップＳ３２において終了したと判断された場合には（ステップ３２でＹｅｓ）、映像抽出装置１は、番組紹介映像抽出部１４ｃによって、ステップＳ３６において算出された類似度のうち最大の類似度のＣＣ文とテロップ認識文との組もしくは音声認識文とテロップ認識文との組を選択し、それらに対応する映像区間を、ステップＳ１０（図２参照）において入力された映像から抽出して、番組紹介映像に追加し（ステップＳ３３）、ステップＳ３０に戻って、すべてのＥＰＧ文について番組紹介映像の抽出が終了したかを判断する動作以降の動作を行う。

（番組紹介映像生成動作）
続いて、図４を参照（適宜図１及び図２参照）して、他番組紹介文類似度算出部１４ｂ及び番組紹介映像抽出部１４ｃによって番組紹介文を生成する動作（番組紹介映像生成動作）について説明する。図４は、番組紹介映像生成動作を示したフローチャートである。なお、ここでは、他番組紹介文類似度算出部１４ｂのＡｄａＢｏｏｓｔの学習による識別器がすでに生成されていることとする。

映像抽出装置１は、他番組紹介文類似度算出部１４ｂによって、すべてのＣＣ文もしくは音声認識文について、類似度の算出が終了したかを判断する（ステップＳ５０）。そして、終了していない場合には（ステップ５０でＮｏ）、映像抽出装置１は、他番組紹介文類似度算出部１４ｂによって、ステップＳ１２又はステップＳ１３（図２参照）において抽出されたＣＣテキストデータ又は音声テキストデータからひとつのＣＣ文又は音声認識文を選択する（ステップＳ５１）。続いて、映像抽出装置１は、他番組紹介文類似度算出部１４ｂによって、選択されたＣＣ文又は音声認識文の映像区間内に対応する、ステップＳ１２又はステップＳ１３において抽出されたテロップ文を選択する（ステップＳ５２）。

そして、映像抽出装置１は、ステップＳ５１及びステップＳ５２において選択されたＣＣ文又は音声認識文とテロップ文とについて、過去の番組の番組紹介文及びスポット映像に対する類似度を算出し（ステップＳ５３）、ステップＳ５０に戻って、すべてのＣＣ文もしくは音声認識文について類似度の算出が終了したかを判断する動作以降の動作を行う。

一方、ステップＳ５０において終了したと判断された場合には（ステップ５０でＹｅｓ）、映像抽出装置１は、番組紹介映像抽出部１４ｃによって、ステップＳ５３において算出された類似度をソートし（ステップ５４）、類似度の大きいものから順にｎ個のＣＣ文とテロップ認識文との組もしくは音声認識文とテロップ認識文との組を選択して、それらに対応する映像区間を、ステップＳ１０において入力された映像から抽出して、番組紹介映像を生成し（ステップＳ５５）、そのまま動作を終了する。

［映像抽出装置の利用例］
ここで、図５を参照して、映像抽出装置１の利用例について説明する。図５は、本発明の映像抽出装置を備える映像検索装置の構成を示したブロック図である。

映像検索装置２は、ユーザから入力された検索条件の情報に基づいて、検索条件に適合する映像の番組紹介映像を検索結果として提示する表示画面の映像を生成するものである。この映像検索装置２には、検索結果を表示するための表示装置Ｄが外部に接続されている。ここでは、映像検索装置２は、映像抽出装置１と、映像検索手段３と、映像蓄積手段４と、紹介映像蓄積手段５と、映像表示手段６とを備える。

映像抽出装置１は、映像検索手段３から入力された映像と、番組タイトル、放送時刻、放送チャンネルなどの情報に基づいて、この映像の番組紹介映像を生成するものである。ここで生成された番組紹介映像は、紹介映像蓄積手段５に出力される。なお、この映像抽出装置１は、図１に示した映像抽出装置１と同一のものである。

映像検索手段３は、ユーザから入力される検索条件の情報に基づいて、映像蓄積手段４から、検索条件に適合する映像を読み出すものである。ここで読み出された映像と、当該映像の情報とは、映像抽出装置１に出力される。

ここで、図６を参照（適宜図５参照）して、検索条件の情報を入力する表示画面の例について説明する。図６は、検索条件の情報を入力する表示画面の例を模式的に示した模式図である。図６（ａ）に示すように、表示画面Ｗ１は、放送日の開始日を入力する領域Ｆ１と、終了日を入力する領域Ｆ２と、録画日の開始日を入力する領域Ｆ３と、終了日を入力する領域Ｆ４と、チャンネルを入力する領域Ｆ５と、番組名を入力する領域Ｆ６と、番組の出演者を入力する領域Ｆ７と、検索のキーワードを入力する領域Ｆ８とを有する。そして、ユーザが図示しないキーボード等によって、これらの領域Ｆ１〜Ｆ８に放送日の期間、録画日の期間、チャンネル、番組名、出演者やキーワードを入力することで、これらの情報が映像検索手段３に検索条件の情報として入力される。

更に、図６（ｂ）に示すように、表示画面Ｗ２にジャンルの情報が提示され、ユーザが図示しないマウスやリモコン等によって、カーソルＣ１を動かしてジャンルを指定することで、これらの情報が映像検索手段３に検索条件の情報として入力されることとしてもよい。

そして、映像検索手段３は、入力された検索条件の情報に基づいて、映像蓄積手段４から検索条件に適合する映像を読み出す。なお、各映像の放送日、チャンネル、番組名、出演者、ジャンル等の情報は、予め映像蓄積手段４において映像に対応付けられて蓄積されていることとしてもよいし、映像検索手段３が、電子番組表やクローズドキャプション等から取得することとしてもよい。

映像蓄積手段４は、複数の番組映像を蓄積するもので、ハードディスク等の一般的な記憶手段である。紹介映像蓄積手段５は、映像抽出装置１によって生成された複数の番組紹介映像を蓄積するもので、ハードディスク等の一般的な記憶手段である。

映像表示手段６は、映像検索手段３によって検索された映像の番組紹介映像を、検索結果として提示する表示画面の映像を生成するものである。ここで、映像表示手段６は、紹介映像蓄積手段５に蓄積された番組紹介映像を読み出し、これらの番組紹介映像を提示する表示画面の映像を生成する。ここで生成された映像は、表示装置Ｄに出力される。

ここで、図７を参照（適宜図５参照）して、映像表示手段６によって生成される検索結果を提示する表示画面の例について説明する。図７は、検索結果を提示する表示画面の例を模式的に示した模式図である。図７（ａ）に示すように、表示画面Ｗ３は、番組ごとに番組紹介映像を一覧で提示する画面であり、複数の映像の小画面Ｉ、Ｉ、…を有する。ひとつの小画面Ｉがひとつの番組に対応しており、映像表示手段６は、この小画面Ｉの枠内に、映像抽出装置１によって生成された番組紹介映像を再生して表示する。そして、ここでは、映像表示手段６は、小画面Ｉの番組紹介映像の再生が終わると、再び先頭に戻り繰り返し再生することとした。更に、ここでは、映像表示手段６は、表示画面Ｗ３内のすべての小画面Ｉの番組紹介映像を同時に再生して提示することとした。なお、小画面Ｉに提示する内容は、静止画像としてもよい。

そして、ユーザが、図示しないリモコンやマウス等のインタフェース機器によってカーソルＣ２を移動させて、一覧の中から視聴したい番組の小画面Ｉを選択して再生ボタンＢ１を押下すると、選択された映像を再生する指令が、図示しない映像再生手段に入力される。そうすると、この映像再生手段は、選択された映像を映像蓄積手段４から読み出して再生し、表示装置Ｄに出力する。ここで、映像表示手段６は、紹介映像蓄積手段５に蓄積されているすべての番組をひとつの表示画面に提示することが難しい場合には、複数の画面に分けて表示することとした。図７（ａ）では、表示画面Ｗ３の下部の「前の一覧へ」及び「次の一覧へ」のボタンＢ２、Ｂ３をユーザが押下すると、映像表示手段６は、一覧画面を遷移させる。

また、表示画面Ｗ３の小画面Ｉ、Ｉ、…の各々に複数の番組からなる番組集合の番組紹介映像を提示することとしてもよい。このとき、ひとつの小画面Ｉがひとつの番組集合に対応しており、映像表示手段６は、この小画面Ｉの枠内に、番組集合に含まれる番組の番組紹介映像を順次再生して表示する。番組集合は、数話で完結するドラマ番組の集合としたり、あるタレントが出演している番組の集合としたりしてもよい。この番組集合は、ユーザが手動で設定することとしてもよいし、電子番組表などから取得できる番組タイトル、出演者、放送日時、チャンネルなどの情報をもとに、映像表示手段６が生成することとしてもよい。

更に、図７（ｂ）に示すように、表示画面Ｗ４は、番組紹介映像を時間軸方向に展開して提示する画面である。表示画面Ｗ４において、横一列の小画面Ｉ１〜Ｉｍ、Ｉ１１〜Ｉ１ｍのそれぞれがひとつの番組紹介映像に対応しており、右に行くほど番組の再生時間が進んだ映像区間の映像が提示される。そして、列内の小画面Ｉ１、Ｉ２、…に提示する内容は、番組紹介映像におけるショット切替点や、所定の時間間隔を基準に分割した部分映像としてもよいし、静止画像としてもよい。

以上のように、映像抽出装置１によってＣＣや、映像の音声の認識結果に基づいて生成された番組紹介映像を並べて提示することで、一覧提示された複数の映像からユーザがひとつの映像を選択する場合に、映像の内容を反映した番組紹介映像を提示することができる。また、映像抽出装置１によれば、例えば、一時間程度の番組映像に対して数十秒程度の紹介映像を生成することができ、一覧画面で同時に再生しても、ユーザは番組選択に必要な情報を短時間で得ることができる。

なお、映像検索装置２では、ユーザによって入力された検索条件によって検索された映像の映像紹介映像を提示することとしたが、本発明の映像抽出装置１が、例えば、映像蓄積手段４に蓄積されたすべての映像の番組紹介映像を生成して、映像表示手段６がすべての映像の番組紹介映像を表示装置Ｄに表示させることとしてもよい。

本発明における映像抽出装置の構成を示したブロック図である。 本発明の映像抽出装置が番組紹介映像を生成する動作を示したフローチャートである。 本発明の映像抽出装置の紹介文類似度算出部１４ａ及び番組紹介映像抽出部１４ｃによって番組紹介文を生成する動作（ＥＰＧ番組紹介映像生成動作）を示したフローチャートである。 本発明の映像抽出装置の他番組紹介文類似度算出部１４ｂ及び番組紹介映像抽出部１４ｃによって番組紹介文を生成する動作（番組紹介映像生成動作）を示したフローチャートである。 本発明の映像抽出装置を備える映像検索装置の構成を示したブロック図である。 本発明の映像抽出装置を備える映像検索装置の検索条件の情報を入力する表示画面の例を模式的に示した模式図である。 本発明の映像抽出装置を備える映像検索装置の検索結果を提示する表示画面の例を模式的に示した模式図である。

符号の説明

１ 映像抽出装置
１０ 字幕情報抽出手段（映像付加単位データ生成手段）
１１ 音声認識手段（映像付加単位データ生成手段）
１２ テロップ認識手段
１３ 電子番組表取得手段
１４ 番組紹介映像生成手段
１４ａ 紹介文類似度算出部（類似度算出手段）
１４ｂ 他番組紹介文類似度算出部（他映像類似度算出手段、テロップ類似度算出手段）
１４ｃ 番組紹介映像抽出部（部分映像抽出手段）

Claims (2)

1. 映像を入力し、当該映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、当該映像の一部分を抽出する映像抽出装置であって、
   前記映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに前記映像における区間に対応させた映像付加単位データを生成する映像付加単位データ生成手段と、
   この映像付加単位データ生成手段によって生成された映像付加単位データについて所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示すテキストデータである他映像要約テキストデータについて解析された前記所定の特徴量の解析結果とに基づいて、前記他映像要約テキストデータと特徴量が類似する度合いを示す他映像類似度を算出する他映像類似度算出手段と、
   この他映像類似度算出手段によって算出された他映像類似度に基づいて前記映像付加単位データを選定して、当該映像付加単位データに対応する前記映像の区間を検出し、この区間の映像を抽出する部分映像抽出手段と、
   映像内のテロップを抽出してテキストデータとし、前記映像付加単位データの前記区間に対応付けたテロップ単位データを生成するテロップ単位データ生成手段と、
   このテロップ単位データ生成手段によって生成されたテロップ単位データ及び当該テロップ単位データに対応付けられた前記区間の映像について所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示す映像であるスポット映像について解析された前記所定の特徴量の解析結果とに基づいて、前記スポット映像と特徴量が類似する度合いを示すテロップ類似度を算出するテロップ類似度算出手段と、を備え、
   前記部分映像抽出手段が、前記他映像類似度算出手段によって算出された他映像類似度と、前記テロップ類似度算出手段によって算出されたテロップ類似度とに基づいて前記映像付加単位データを選定することを特徴とする映像抽出装置。
2. 映像を入力し、当該映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、当該映像の一部分を抽出するためにコンピュータを、
   前記映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに前記映像における区間に対応させた映像付加単位データを生成する映像付加単位データ生成手段、
   この映像付加単位データ生成手段によって生成された映像付加単位データについて所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示すテキストデータである他映像要約テキストデータについて解析された前記所定の特徴量の解析結果とに基づいて、前記他映像要約テキストデータと特徴量が類似する度合いを示す他映像類似度を算出する他映像類似度算出手段、
   この他映像類似度算出手段によって算出された他映像類似度に基づいて前記映像付加単位データを選定して、当該映像付加単位データに対応する前記映像の区間を検出し、この区間の映像を抽出する部分映像抽出手段、
   映像内のテロップを抽出してテキストデータとし、前記映像付加単位データの前記区間に対応付けたテロップ単位データを生成するテロップ単位データ生成手段、
   このテロップ単位データ生成手段によって生成されたテロップ単位データ及び当該テロップ単位データに対応付けられた前記区間の映像について所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示す映像であるスポット映像について解析された前記所定の特徴量の解析結果とに基づいて、前記スポット映像と特徴量が類似する度合いを示すテロップ類似度を算出するテロップ類似度算出手段、として機能させ、
   前記部分映像抽出手段が、前記他映像類似度算出手段によって算出された他映像類似度と、前記テロップ類似度算出手段によって算出されたテロップ類似度とに基づいて前記映像付加単位データを選定することを特徴とする映像抽出プログラム。

Images