JP4456573B2 - 映像抽出装置及び映像抽出プログラム - Google Patents

Description

本発明は、映像の内容の一部を示す情報に基づいて、映像からこの情報に対応する部分を抽出する映像抽出装置及び映像抽出プログラムに関する。

従来、ある分野の映像に対して、その映像の一部分を抽出して要約映像や、番組紹介のためのスポット映像を生成することが行われている。これらの技術において、映像の一部分を抽出する際には、その分野の映像から人手によって抽出する場合の知識を利用している。例えば、野球の映像において、スロー映像の前は得点シーンなどの重要なプレーの映像である可能性が高く、また、この位置に文字スーパーが表示されたときは得点が入ったときである、というような映像上の知識を利用している。更に、スポーツの映像においては、歓声の大きい区間は重要なシーンである、という音声情報を利用している。

また、映像から要約映像を生成する技術が開示されている（特許文献１参照）。ここでは、ユーザの嗜好に関するキーワードが、映像のメタデータ内の、映像内で発生した事象をイベントとして列挙したイベント列にどれだけ含まれているかに基づいてイベントの重要度を算出し、重要度の高いイベントに対応する区間の映像を抽出して要約映像とする。
特開２００４−２８９５１３号公報（段落番号００２２〜００７４）

しかしながら、人手によって抽出する場合の知識を利用して要約映像を生成する場合に、様々な分野の映像に対応するためには、様々な分野の映像について要約映像を生成するための知識を有している必要がある。また、それらは、人手によって感覚的に抽出する場合がほとんどであり、抽出のための規則が明確ではない。更に、どの知識がどの程度の重要性を持つのかを決定する方法も明確でなく、ある分野の映像に複数の抽出方法があった場合に、どの抽出方法を優先するかを決定することができない。また、特許文献１に記載の技術では、映像に対応するメタデータがない場合には適用できないという問題があった。

本発明は、前記従来技術の問題を解決するために成されたもので、様々な分野の映像に対応し、人手によって抽出する場合の知識やメタデータを利用せず、映像の内容の一部を示す情報から、この情報に対応する映像を抽出することができる映像抽出装置及び映像抽出プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の映像抽出装置は、映像と、前記映像に対応する音声のテキストデータである音声テキストデータと、前記映像の一部分の内容を示す抽出映像内容情報とを入力し、前記抽出映像内容情報に対応する前記映像の一部分を抽出する映像抽出装置であって、形態素確率情報記憶手段と、類似度算出手段と、区間検出手段と、区間映像抽出手段とを備える構成とした。

かかる構成によれば、映像抽出装置は、形態素確率情報記憶手段に、複数の他の映像に対応する音声のテキストデータである他音声テキストデータに含まれる各々の形態素の、複数の他音声テキストデータにおける出現確率を示す出現確率情報と、当該形態素とを対応させた形態素確率情報を記憶する。

更に、映像抽出装置は、類似度算出手段によって、形態素確率情報において、抽出映像内容情報に含まれる各々の形態素に対応する出現確率情報と、音声テキストデータを複数の区分に分割した音声区分データの各々に当該形態素が出現する頻度とに基づいて、抽出映像内容情報と、音声区分データとが類似する度合いを示す類似度を算出する。ここで、出現確率の高い形態素は、様々な映像に対応する音声に出現するものであるため、映像の特徴を示すものではなく、一方、出現確率の低い形態素は特定の映像や特定の区間の映像に対応する音声のみに出現するものであるため、その映像の特徴を示している可能性が高い。そのため、出現確率の低い形態素を、抽出映像内容情報と音声区分データとが共通して多く含むほど、この抽出映像内容情報と音声区分データとの各々によって示される映像の内容の特徴が類似する。これによって、映像抽出装置は、抽出映像内容情報に含まれる各々の形態素の出現確率情報と、当該形態素が各々の音声区分データに出現する頻度とに基づいて、各々の音声区分データと抽出映像内容情報の類似度を算出することができる。

また、映像抽出装置は、区間検出手段によって、類似度に基づいて、抽出映像内容情報に対応する音声区分データを選定し、当該音声区分データに対応する映像の区間を検出し、区間映像抽出手段によって、この検出された区間の映像を抽出する。これによって、映像抽出装置は、抽出映像内容情報によって示される内容の映像を、入力された映像から抽出することができる。

また、請求項２に記載の映像抽出装置は、請求項１に記載の映像抽出装置において、前記区間映像抽出手段によって抽出された映像をカットに分割するカット分割手段を備える構成とした。

これによって、映像抽出装置は、区間映像抽出手段によって抽出された、音声区分データに対応する区間の映像の途中で映像が大きく切り替わる場合に、連続して撮影された映像区間であるカットの映像に分割することができる。

また、請求項３に記載の映像抽出プログラムは、映像と、前記映像に対応する音声のテキストデータである音声テキストデータと、複数の形態素から構成され、前記映像の一部分の内容を示す抽出映像内容情報とを入力し、形態素確率情報記憶装置に記憶された、複数の他の映像に対応する音声のテキストデータである他音声テキストデータに含まれる各々の形態素の、複数の前記他音声テキストデータにおける出現確率を示す出現確率情報と、当該形態素とを対応させた形態素確率情報に基づいて、前記抽出映像内容情報に対応する前記映像の一部分を抽出するためにコンピュータを、類似度算出手段、区間検出手段、区間映像抽出手段として機能させることとした。

かかる構成によれば、映像抽出プログラムは、類似度算出手段によって、形態素確率情報において、抽出映像内容情報に含まれる各々の形態素に対応する出現確率情報と、音声テキストデータを複数の区分に分割した音声区分データの各々に当該形態素が出現する頻度とに基づいて、抽出映像内容情報と、音声区分データとが類似する度合いを示す類似度を算出する。また、映像抽出プログラムは、区間検出手段によって、類似度に基づいて、抽出映像内容情報に対応する音声区分データを選定し、当該音声区分データに対応する映像の区間を検出し、区間映像抽出手段によって、この検出された区間の映像を抽出する。これによって、抽出映像内容情報によって示される内容の映像を、入力された映像から抽出することができる。

本発明に係る映像抽出装置及び映像抽出プログラムでは、以下のような優れた効果を奏する。請求項１及び請求項３に記載の発明によれば、映像の分野を問わず、かつ、人手によって抽出する場合の知識やメタデータを利用せずに、入力された映像から、抽出映像内容情報によって示される内容の映像を抽出することができる。これによって、抽出したい映像の内容を示す自然文や形態素の羅列を入力するだけで、様々な分野の映像から要約映像や紹介映像等を容易に生成したり、映像の候補を出力することができ、要約映像や紹介映像等を制作する制作者の作業量を軽減することができる。

請求項２に記載の発明によれば、区間映像抽出手段によって抽出された映像は、音声区分データに対応する区間の映像であるため、音声の切れ目と映像の切れ目が一致せずに途中で映像が切り替わり別のシーンの映像が混ざって抽出される場合もあるが、この映像をカットに分割することで、連続して撮影された部分だけを取り出すことができる。

以下、本発明の実施の形態について図面を参照して説明する。
［映像抽出装置の構成］
まず、図１を参照して、本発明における映像抽出装置５を備えるスポット映像生成装置１の構成について説明する。図１は、本発明における映像抽出装置を備えるスポット映像生成装置の構成を模式的に示した模式図である。

スポット映像生成装置１は、外部から入力された紹介文に対応し、入力された映像の一部分から構成されるスポット映像を生成するものである。ここで、スポット映像生成装置１は、形態素希少度算出装置３と、映像抽出装置５とを備える。

形態素希少度算出装置３は、複数の映像に対応する音声のテキストデータ（クローズドキャプション；ＣＣ）である放送映像ＣＣ（他音声テキストデータ）に含まれる各形態素の希少度（出現確率情報）を算出するものである。なお、希少度とは、複数の放送映像ＣＣにおいて、ある形態素がどれだけ偏って特定の番組の放送映像ＣＣに含まれているかを示すもので、特定の番組の放送映像ＣＣに、ある形態素が偏って多く含まれるほど高い値となる。ここでは、対象となる映像を過去の放送番組の映像としたが、例えば、インターネット等のネットワークから入力される映像であってもよいし、放送波等を介して入力される映像であってもよい。また、ここでは、音声のテキストデータを、当該映像に付加されるＣＣとしたが、当該映像に対応する音声を音声認識した結果であってもよい。ここで、形態素希少度算出装置３は、放送映像ＣＣ記憶手段３０と、形態素解析手段３１と、希少度算出手段３２と、形態素頻度記憶手段３３とを備える。

放送映像ＣＣ記憶手段３０は、複数の放送映像ＣＣを記憶するもので、ハードディスク等の一般的な記憶手段である。ここで記憶された放送映像ＣＣは、放送映像ＣＣを形態素解析手段３１によって参照されて用いられる。

ここで、図２を参照して、ＣＣの構成について説明する。図２は、ＣＣの例を示した説明図である。なお、図２では、説明の都合上、ＣＣの各行の左側に行番号を付している。図２に示すように、ＣＣの各行は、タイムコード情報Ｄ１と、発話内容情報（以下、ＣＣ文Ｄ２という）とから構成される。ＣＣ文Ｄ２は、映像に対応する音声のテキストデータである。ここで、ＣＣ内の１つの文が所定の字数以内である場合にはその文が１つのＣＣ文Ｄ２となり、１つの文が所定の字数を超える場合には、所定の字数以内に分割されて、それぞれがＣＣ文Ｄ２、Ｄ２、…となる［例えば、（４）〜（５）行目］。また、タイムコード情報Ｄ１は、ＣＣ文Ｄ２に対応する映像の始点を示す情報である。

図１に戻って説明を続ける。形態素解析手段３１は、放送映像ＣＣ記憶手段３０に記憶された放送映像ＣＣの各々のＣＣ文を形態素解析するものである。ここで、形態素解析手段３１は、放送映像ＣＣ記憶手段３０に記憶された複数の放送映像ＣＣから１つの放送映像ＣＣを選択する。そして、形態素解析手段３１は、選択した放送映像ＣＣ内のＣＣ文を順次形態素解析する。そして、１つの放送映像ＣＣのすべてのＣＣ文について形態素解析が終了したら、形態素解析手段３１は、順次放送映像ＣＣを選択して各ＣＣ文について形態素解析を行う。ここで解析された形態素の情報（形態素、品詞、当該形態素が含まれる放送映像ＣＣの番組名等）は、希少度算出手段３２に出力される。なお、形態素解析手段３１は、一般的な形態素解析システムによって実現することができる。

希少度算出手段３２は、形態素解析手段３１によって解析された各々の形態素の希少度を算出するものである。ここで算出された希少度は、映像抽出装置５の希少度データ記憶手段５６に記憶される。

以下、希少度算出手段３２による、ある形態素の希少度の算出方法について説明する。ここで、放送映像ＣＣは複数のＣＣ文から構成され、各々のＣＣ文は形態素の集合から構成される。そして、希少度算出手段３２には、それぞれの放送映像ＣＣの各ＣＣ文の形態素が入力される。そうすると、希少度算出手段３２は、各々の形態素がＣＣ文中に出現する頻度を求め、各々の形態素と、品詞、頻度及び番組名とを対応させて形態素頻度記憶手段３３に記憶する。そして、すべての放送映像ＣＣの各ＣＣ文についての各々の形態素の頻度の解析が終了したら、各々の形態素についてエントロピを算出する。このエントロピは、形態素が、放送映像ＣＣ記憶手段３０に記憶されるすべての放送映像ＣＣにおいて、どの程度偏って出現しているかを示す。

希少度算出手段３２は、ある形態素ｔ_ｊがある放送映像ＣＣｇ_ｉに含まれる確率Ｐ（ｔ_ｊ，ｇ_ｉ）を、以下の式（１）によって算出する。ここで、放送映像ＣＣｇ_ｉは、複数のＣＣ文の集合で表され、Ｇは、放送映像ＣＣ記憶手段３０に記憶される放送映像ＣＣの集合を表し、ｔｆ（ｔ、ｌ）は、ＣＣ文ｌ中に出現する形態素ｔの頻度を表す。

そして、希少度算出手段３２は、形態素ｔ_ｊのエントロピＨ（ｔ_ｊ）を、以下の式（２）によって算出する。このエントロピＨ（ｔ_ｊ）の値が小さいほど、特定の番組に偏って出現している形態素ということができる。

そして、ここで、希少度算出手段３２は、偏って出現している形態素に対して大きな値を与えるようにするため、エントロピＨ（ｔ_ｊ）の増減を逆にした希少度Ｓ（ｔ_ｊ）を、以下の式（３）によって算出する。なお、ここで、｜Ｇ｜は、放送映像ＣＣ記憶手段３０に記憶される放送映像ＣＣの総数を示す。

希少度算出手段３２は、各々の形態素の希少度Ｓ（ｔ_ｊ）を求め、各々の形態素と、品詞及び希少度Ｓ（ｔ_ｊ）とを対応させて映像抽出装置５の希少度データ記憶手段５６に記憶する。なお、この希少度Ｓ（ｔ_ｊ）は、過去の放送番組において、あらゆる番組で幅広く使用されている形態素では低い値に、特定の番組においてのみ使用される、あるいは、過去の放送番組でほとんど使用されていない形態素では高い値になる。そして、この形態素希少度算出装置３による形態素の希少度の算出は、事前に一度だけ行い、映像抽出装置５の希少度データ記憶手段５６に記憶しておけばよい。

形態素頻度記憶手段３３は、複数の放送映像ＣＣに含まれる形態素と、品詞と、当該形態素のＣＣ文における頻度と、番組名とを対応させて記憶するもので、ハードディスク等の一般的な記憶手段である。ここで記憶された頻度のデータは、希少度算出手段３２によって希少度を算出する際に参照されて用いられる。

映像抽出装置５は、映像と、当該映像に対応する音声のテキストデータであるＣＣ（音声テキストデータ）と、当該映像の紹介文とを入力し、当該紹介文に対応する映像であるスポット映像を生成するものである。ここでは、音声のテキストデータを当該映像に付加されるＣＣとしたが、単に当該映像に対応する音声を音声認識した結果であってもよい。ここで、映像抽出装置５は、紹介文入力手段５０と、ＣＣ入力手段５１と、映像入力手段５２と、形態素解析手段５３と、形態素解析手段５４と、類似度算出手段５５と、希少度データ記憶手段５６と、候補区間検出手段５７と、区間映像分割手段５８と、スポット映像出力手段５９とを備える。

紹介文入力手段５０は、映像入力手段５２から入力される映像の内容の一部を示す紹介文を外部から入力するものである。ここで入力された紹介文は、形態素解析手段５３に出力される。ここでは、紹介文入力手段５０は、電子番組表等に記載される番組紹介文を入力することとした。なお、この番組紹介文は通常複数の文から構成されているため、ここでは紹介文が複数の文（抽出映像内容情報）から構成されている場合について説明する。

ＣＣ入力手段５１は、映像入力手段５２から入力される映像に対応する音声のテキストデータであるＣＣを外部から入力するものである。ここでは、音声のテキストデータを、当該映像に付加されるＣＣとしたが、当該映像に対応する音声を音声認識した結果であってもよい。ここで入力されたＣＣは、形態素解析手段５４に出力される。

映像入力手段５２は、映像を外部から入力するものである。ここでは、映像入力手段５２は、外部から放送番組の映像を入力することとした。しかし、入力される映像は、例えば、インターネット等のネットワークから入力される映像であってもよいし、放送波等を介して入力される映像であってもよい。ここで入力された映像は、区間映像分割手段５８に出力される。

形態素解析手段５３は、紹介文入力手段５０から入力された紹介文の各文を形態素解析するものである。ここで、形態素解析手段５３は、紹介文に含まれる文を順次形態素解析する。ここで解析された形態素の情報（形態素、品詞等）は、類似度算出手段５５に出力される。なお、形態素解析手段５３は、一般的な形態素解析システムによって実現することができる。

形態素解析手段５４は、ＣＣ入力手段５１から入力されたＣＣの各ＣＣ文（音声区分データ）を形態素解析するものである。ここで、形態素解析手段５４は、ＣＣに含まれるＣＣ文を順次形態素解析する。ここで解析された形態素の情報（形態素、品詞等）は、類似度算出手段５５に出力される。なお、形態素解析手段５４は、一般的な形態素解析システムによって実現することができる。

類似度算出手段５５は、紹介文入力手段５０から入力された紹介文の各文と、ＣＣ入力手段５１から入力されたＣＣの各ＣＣ文との類似度を算出するものである。ここで算出された類似度は、候補区間検出手段５７に出力される。

以下、類似度算出手段５５による類似度の算出方法について説明する。類似度算出手段５５は、紹介文中のある文ｑと、ＣＣ中のＣＣ文ｄ_ｉとの類似度Ｓｉｍ（ｑ，ｄ_ｉ）を、以下の式（４）によって算出することができる。

ここで、Ｑは、紹介文中の文ｑに含まれる形態素の集合、Ｄは、ＣＣに含まれるＣＣ文ｄ_ｉの集合、｜Ｄ｜は、ＣＣに含まれるＣＣ文ｄ_ｉの総数を示す。ここで、類似度算出手段５５は、形態素解析手段５３から入力された紹介文中の文ｑに含まれる各々の形態素ｔに対応する希少度Ｓ（ｔ）を、希少度データ記憶手段５６から読み出すとともに、形態素解析手段５４から入力された各々の形態素ｔがＣＣ文ｄ_ｉ中に出現する頻度ｔｆ（ｔ，ｄ_ｉ）を求め、前記の式（４）によって類似度Ｓｉｍ（ｑ，ｄ_ｉ）を算出する。

ここで、図３を参照して、各形態素と希少度との関係を、具体例を用いて説明する。図３は、特定の番組の紹介文に含まれる形態素の希少度の具体例を示す説明図である。ここでは、希少度の高い順に、形態素と、当該形態素の品詞と、希少度とが同じ列に示されている。図３に示すように、複数の放送映像ＣＣにわずかしか含まれない形態素（例えば、「鉱害」、「鉱毒」）の希少度は高く設定され、複数の放送映像ＣＣの多くに含まれる形態素（例えば、「て」、「。」）の希少度は低く設定されている。そして、複数の放送映像ＣＣの一部に含まれる形態素（例えば、「探る」、「回復」）の希少度はその中間の値に設定されている。

このように、紹介文やＣＣには、映像の特徴を示す形態素のみでなく、助詞、助動詞や句読点のような映像の特徴を示さない形態素も多く含まれているため、単に形態素が一致する確率のみで紹介文の各文とＣＣ文の示す内容が類似しているかを評価することはできない。しかし、希少度に基づいてそれぞれの形態素の重要性を考慮することで、紹介文の各文とＣＣ文の示す内容が類似しているかを評価することが可能になる。

つまり、希少度の高い形態素は、特定の番組のＣＣに偏って含まれる形態素であり、その映像の特徴を示すものである可能性が高い。一方、希少性の低い形態素は、例えば、助詞や助動詞や句読点のように、その映像の内容とは関連性が低く一般的な文章に多く含まれる形態素である可能性が高い。そのため、紹介文中の文に含まれている、希少度が高い形態素が、ＣＣ中のあるＣＣ文に多く含まれている場合には、映像の特徴を示す形態素が、共通してこの文とこのＣＣ文とに多く含まれ、内容が類似していることになる。そこで、類似度算出手段５５が、希少度を用いて、紹介文中の文に含まれる形態素のうち希少度の高い形態素が多く含まれるＣＣ文に対して、この紹介文中の文との類似度を高く算出することで、映像の特徴を示す形態素を共通して含むＣＣ文と紹介文中の文との類似度を高く算出することができる。

なお、式（４）では、紹介文中の形態素の希少度の和によって類似度を正規化しているが、これを行わずに、例えば、以下の式（５）のように、長い文ほど類似度が高くなるような方法で類似度を算出することとしてもよい。これは、紹介文中の文において、短い文に重要度の高い形態素が１つある場合よりも、長い文にある程度重要な形態素が多く含まれているほうが重要と考えられる場合に有効である。

また、類似度算出手段５５は、紹介文の各文ｑとＣＣ文ｄ_ｉとのそれぞれを、紹介文及びＣＣ文に含まれる形態素ｔのベクトルと考え、その距離を利用して、以下の式（６）によって、類似度Ｓｉｍ（ｑ，ｄ_ｉ）を算出することとしてもよい。なお、Ｒは、紹介文及びＣＣ文に含まれる形態素の集合を示す。

更に、類似度算出手段５５は、距離の代わりに余弦を利用して、以下の式（７）によって、類似度Ｓｉｍ（ｑ，ｄ_ｉ）を算出することとしてもよい。

希少度データ記憶手段（形態素確率情報記憶手段、形態素確率情報記憶装置）５６は、複数の放送映像ＣＣに含まれる形態素と、形態素希少度算出装置３の希少度算出手段３２によって算出された当該形態素の希少度と、品詞とを対応させたデータ（形態素確率情報）を記憶するもので、ハードディスク等の一般的な記憶手段である。ここで記憶された希少度のデータは、類似度算出手段５５によって参照されて用いられる。

候補区間検出手段（区間検出手段）５７は、類似度算出手段５５によって算出された類似度に基づいてＣＣ文を選定し、当該ＣＣ文に対応する映像の区間を検出するものである。ここで、候補区間検出手段５７は、類似度算出手段５５によって算出された類似度の高いＣＣ文に対応する映像の区間を、スポット映像を構成する映像の区間として検出する。ここで検出された区間の情報は、区間映像分割手段５８に出力される。ここでは、候補区間検出手段５７は、紹介文に含まれる各々の文ついて、類似度の高い複数のＣＣ文を選定し、当該ＣＣ文に対応する複数の映像を、スポット映像を構成する映像の候補として、当該複数の映像の区間を検出することとした。しかし、候補区間検出手段５７は、紹介文に含まれる各々の文ついて、最も類似度の高いＣＣ文を１つ選定し、当該ＣＣ文に対応する映像の区間を検出することとしてもよい。

ここで、候補区間検出手段５７は、抽出する映像の区間の開始時間を、選定されたＣＣ文に付加されたタイムコード情報に基づいて決定することができる。また、候補区間検出手段５７は、当該区間の終了時間を、例えば、話速に基づいて、ＣＣ文の字数から当該区間の時間を算出して求めることが可能である。このとき、候補区間検出手段５７は、例えば、図２の（４）行目のＣＣ文Ｄ２のように、ＣＣにおいて１つの文が所定の字数を超え、所定の字数以内に分割されたＣＣ文Ｄ２のタイムコード情報Ｄ１と、当該ＣＣ文Ｄ２の字数と、次の行のタイムコード情報Ｄ１とに基づいて、この２つのタイムコード情報Ｄ１によって示される時刻の間にこの字数分の音声が出力されることとして、話速を算出することができる。

区間映像分割手段５８は、映像入力手段５２から入力された映像から、候補区間検出手段５７によって検出された区間の映像を抽出し、当該映像からスポット映像を生成するものである。ここでは、区間映像分割手段５８は、区間映像抽出部５８ａと、カット分割部５８ｂと、分割部５８ｃと、映像選定部５８ｄとから構成される。

区間映像抽出部（区間映像抽出手段）５８ａは、映像入力手段５２から入力された映像から、候補区間検出手段５７によって検出された区間の映像を抽出するものである。ここで抽出された映像は、カット分割部５８ｂに出力される。

カット分割部（カット分割手段）５８ｂは、区間映像抽出部５８ａによって抽出された映像をカットに分割するものである。ここで、カットとは、一台のカメラで連続して撮影された映像区間をいう。この映像区間の切れ目では映像が大きく切り替わるため、カット分割部５８ｂは、例えば、区間映像抽出部５８ａによって抽出された映像を構成する前後のフレーム画像間の色の差分をとり、差分の値が大きいときに映像を分割することで、抽出された映像をカットに分割することができる。ここで分割されたカットの映像は、分割部５８ｃに出力される。なお、カット分割部５８ｂは、例えば、フレーム画像間の周波数特徴の差分をとり、差分が大きい場合に映像を分割することとしてもよいし、また、フレーム画像を複数の小領域に分割し、各小領域が次のフレーム画像においてどの位置に移動したのかを調べるブロックマッチングを行い、移動先が特定できなかった小領域数が所定値より多い場合に映像を分割することとしてもよい。

分割部５８ｃは、カット分割部５８ｂから入力されたカットの映像のうち、カット長が閾値以上の映像を、映像の動きに基づいて更に分割するものである。ここで分割された映像は、映像選定部５８ｄに出力される。なお、閾値は、あらかじめ設定された値（例えば、これまでに作成されたスポット映像において使用されているカットの平均長）であってもよいし、図示しない入力手段から入力されたスポット映像の長さの情報と、紹介文に含まれる文の数とに基づいて算出された値としてもよい。

ここで、図４を参照して、分割部５８ｃが、カットを更に分割する方法の例について説明する。図４は、分割部が、カットを更に分割する方法の例を説明するための説明図である。まず、分割部５８ｃは、カット分割部５８ｂから入力されたカットの映像のカット長が閾値以上であるかを判定する。そして、閾値以上である場合には、この映像に基づいて、当該映像を撮影したカメラ（図示せず）の動きを判定する。なお、ここでは、分割部５８ｃは、カメラの動きの判定を、ブロックマッチングによる動きベクトルの解析によって行うこととした。

図４（ａ）に示すように、カットの映像が、カメラが静止した状態で撮影された区間Ｚ１と、カメラが動いている状態で撮影された区間Ｚ２とから構成される場合、分割部５８ｃは、カメラが動き出す少し前で分割、つまり、区間Ｚ１と区間Ｚ２との境界の少し前（所定時間前）で分割する。このように、区間Ｚ１の一部を削除することで、カメラが静止し、同じ映像が長時間続いている部分を一部残して除去することができる。

また、図４（ｂ）に示すように、カットの映像が、カメラが動いている状態で撮影された区間Ｚ２と、カメラが静止した状態で撮影された区間Ｚ１とから構成される場合、分割部５８ｃは、カメラが静止する少し前で分割、つまり、区間Ｚ２と区間Ｚ１との境界の少し前（所定時間前）で分割する。

ここで、カメラが静止している状態から、カメラが動き出してすぐ別のカットに変わる映像や、カメラが動いている状態からカメラが静止してすぐ別のカットに変わる映像は、視聴者から見て不自然な映像となるが、このように、静止した状態からカメラが動き出す少し前、あるいは、動いている状態から静止する少し前で分割することで、視聴者から見て自然な映像となるように分割することができる。

更に、図４（ｃ）、（ｄ）、（ｅ）に示すように、カットの映像が、カメラが少し動いてから静止した状態で撮影された場合や、カメラが少し静止してから動いた状態で撮影された場合や、カメラが静止し続ける状態で撮影された場合、動き続けた状態で撮影された場合には、分割部５８ｃは、所定の長さで分割する。更に、分割部５８ｃは、所定の長さで分割して最後に残った区間が所定の長さより短い場合には、この区間を除去することとした。そして、これらの方法で分割して得られた映像の長さが閾値以上である場合には、分割部５８ｃは、更に前記の方法で分割することとした。

映像選定部５８ｄは、分割部５８ｃから入力された映像から、スポット映像を構成する映像を選定するものである。ここで選定された映像はつなぎ合わされて、スポット映像としてスポット映像出力手段５９に出力される。

ここで、映像選定部５８ｄは、映像の動きベクトルの方向が同じものが連続しないように、また、同じ色調の映像が連続しないように、類似度の高いものから優先して映像を選定する。そして、選定した映像をつなぎ合わせてスポット映像を生成する。

スポット映像出力手段５９は、区間映像分割手段５８の映像選定部５８ｄから入力されたスポット映像を外部に出力するものである。

なお、本発明の映像抽出装置５の紹介文入力手段５０から入力される紹介文は１つの文から構成されることとしてもよいし、複数の形態素の羅列（抽出映像内容情報）であってもよい。また、特許請求の範囲に記載の抽出映像内容情報は、当該映像の内容の一部を示すものであればよく、紹介文ではなく、例えば、要約文であってもよい。更に、ここでは、映像抽出装置５が、紹介文の各々の文について、対応する映像を抽出することとしたが、紹介文全体に対して、対応する映像を抽出することとしてもよい。このとき、特許請求の範囲に記載の抽出映像内容情報は、紹介文に相当する。また、映像抽出装置５が、紹介文を、例えば、字数や時間長などに基づいて分割した文字列の各々に対して、対応する映像を抽出することとしてもよい。このとき、特許請求の範囲に記載の抽出映像内容情報は、この文字列に相当する。

また、ここでは形態素希少度算出装置３によって希少度を算出し、映像抽出装置５の希少度データ記憶手段５６に記憶することとしたが、例えば、形態素希少度算出装置３が形態素のエントロピを算出して、希少度データ記憶手段５６に記憶することとしてもよい。このとき、特許請求の範囲に記載の出現確率情報はエントロピに相当し、映像抽出装置５は、類似度算出手段５５によって、偏って出現する形態素に対して大きな値を与えるようにエントロピの増減を逆にして類似度を算出すればよい。

更に、形態素希少度算出装置３及び映像抽出装置５は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、形態素希少度算出プログラム及び映像抽出プログラムとして動作させることも可能である。

［スポット映像生成装置の動作］
次に、図５及び図６を参照して、スポット映像生成装置１の動作について説明する。図５は、形態素希少度算出装置が、本発明の映像抽出装置の希少度データ記憶手段に記憶される形態素の希少度を算出する動作を示したフローチャートである。図６は、本発明の映像抽出装置が紹介文の各文とＣＣ文の類似度を算出して、紹介文に対応するスポット映像を生成する動作を示したフローチャートである。

（形態素希少度算出装置の動作）
まず、図５を参照（適宜図１参照）して、形態素希少度算出装置３の動作（希少度算出動作）について説明する。

形態素希少度算出装置３は、形態素解析手段３１によって、放送映像ＣＣ記憶手段３０に記憶された複数の放送映像ＣＣのうちの１つの放送映像ＣＣを読み出す（ステップＳ３１）。続いて、形態素希少度算出装置３は、形態素解析手段３１によって、ステップＳ３１において読み出した放送映像ＣＣの１つのＣＣ文の形態素解析を行う（ステップＳ３２）。

更に、形態素希少度算出装置３は、希少度算出手段３２によって、ステップＳ３２における形態素解析結果に基づいてＣＣ文に含まれる各々の形態素の出現する頻度を求め、形態素と、品詞と、頻度と、番組名とを対応させて形態素頻度記憶手段３３に記憶する（ステップＳ３３）。そして、形態素希少度算出装置３は、形態素解析手段３１によって、ステップＳ３１において読み出されたすべてのＣＣ文について終了したかを判断する（ステップＳ３４）。そして、終了していない場合（ステップＳ３４でＮｏ）には、ステップＳ３２に戻って、形態素希少度算出装置３が、形態素解析手段３１によって、次のＣＣ文の形態素解析を行う動作以降の動作を行う。

また、終了した場合（ステップＳ３４でＹｅｓ）には、形態素希少度算出装置３は、形態素解析手段３１によって、ステップＳ３１においてすべての放送映像ＣＣを読み出したかを判断する（ステップＳ３５）。そして、すべての放送映像ＣＣを読み出していない場合（ステップＳ３５でＮｏ）には、ステップＳ３１に戻って、形態素希少度算出装置３が、形態素解析手段３１によって、次の放送映像ＣＣを読み出す動作以降の動作を行う。

また、すべての放送映像ＣＣを読み出した場合（ステップＳ３５でＹｅｓ）には、形態素希少度算出装置３は、希少度算出手段３２によって、ステップＳ３３において形態素頻度記憶手段３３に記憶された頻度に基づいて各々の形態素の希少度を算出し、形態素と、品詞と、希少度とを対応させて映像抽出装置５の希少度データ記憶手段５６に記憶して（ステップＳ３６）、動作を終了する。

以上の動作によって、形態素希少度算出装置３は、放送映像ＣＣ記憶手段３０に記憶された複数の放送映像ＣＣに含まれる形態素の希少度を算出し、映像抽出装置５の希少度データ記憶手段５６に記憶する。

（映像抽出装置の動作）
続いて、図６を参照（適宜図１参照）して、映像抽出装置５の動作（映像抽出動作）について説明する。

映像抽出装置５は、紹介文入力手段５０によって紹介文を、ＣＣ入力手段５１によってＣＣを、映像入力手段５２によって映像を外部から入力する（ステップＳ５１）。続いて、映像抽出装置５は、形態素解析手段５３によって、ステップＳ５１において入力された紹介文の１つ文の形態素解析を行う（ステップＳ５２）。

更に、映像抽出装置５は、形態素解析手段５４によって、ステップＳ５１において入力されたＣＣの１つのＣＣ文の形態素解析を行う（ステップＳ５３）。そして、映像抽出装置５は、類似度算出手段５５によって、ステップＳ５２において形態素解析した紹介文の文と、ステップＳ５３において形態素解析したＣＣ文との類似度を算出する（ステップＳ５４）。

そして、映像抽出装置５は、形態素解析手段５４によって、ステップＳ５１において入力されたすべてのＣＣ文について終了したかを判断する（ステップＳ５５）。そして、終了していない場合（ステップＳ５５でＮｏ）には、ステップＳ５３に戻って、映像抽出装置５が、形態素解析手段５４によって、次のＣＣ文の形態素解析を行う動作以降の動作を行う。

また、終了した場合（ステップＳ５５でＹｅｓ）には、映像抽出装置５は、候補区間検出手段５７によって、ステップＳ５４において算出された類似度の高いＣＣ文を選定し（ステップＳ５６）、当該ＣＣ文に対応する映像の区間を検出する（ステップＳ５７）。そして、映像抽出装置５は、形態素解析手段５３によって、ステップＳ５１において入力された紹介文のすべての文について終了したかを判断する（ステップＳ５８）。そして、終了していない場合（ステップＳ５８でＮｏ）には、ステップＳ５２に戻って、映像抽出装置５が、形態素解析手段５３によって、紹介文の次の文の形態素解析を行う動作以降の動作を行う。

また、終了した場合（ステップＳ５８でＹｅｓ）には、映像抽出装置５は、区間映像分割手段５８の区間映像抽出部５８ａによって、ステップＳ５７において検出された区間の映像を、ステップＳ５１において入力された映像から抽出する（ステップＳ５９）。そして、映像抽出装置５は、区間映像分割手段５８のカット分割部５８ｂによって、ステップＳ５９において抽出された映像をカットに分割し、分割部５８ｃによって、カット長が閾値以上の映像を、映像の動きに基づいて更に分割して、映像の区間の調整をする（ステップＳ６０）。

続いて、映像抽出装置５は、区間映像分割手段５８の映像選定部５８ｄによって、ステップＳ６０において区間が調整された映像から、映像の動きや色調、類似度に基づいて映像を選定してつなぎ合わせ、スポット映像を生成する（ステップＳ６１）。更に、映像抽出装置５は、スポット映像出力手段５９によって、ステップＳ６１において生成されたスポット映像を出力する（ステップＳ６２）。

以上の動作によって、映像抽出装置５は、形態素希少度算出装置３によって算出された各々の形態素の希少度に基づいて、外部から入力された紹介文の各々の文と、ＣＣ文との類似度を算出することができる。そして、類似度の高いＣＣ文に対応する区間の映像を抽出してスポット映像を生成することができる。

［映像抽出装置の応用例］
映像抽出装置５は、図示しない映像表示手段を有し、この映像表示手段によって、スポット映像とともに、区間の情報や、紹介文や、類似度等の情報を図示しない表示手段に出力して表示画面に表示することとしてもよい。更に、映像抽出装置５は、図示しないスポット映像編集手段を有し、このスポット映像編集手段によって、図示しない指令入力手段から入力された操作者の指令に基づいて、スポット映像を編集することとしてもよい。

ここで、図７を参照して、映像抽出装置５の応用例について説明する。図７は、映像抽出装置によって生成されたスポット映像の編集画面の例を模式的に示した模式図である。操作者が、映像と、当該映像のＣＣと、紹介文とを映像抽出装置５に入力すると、映像抽出装置５は、当該紹介文の各々の文に対応する映像を抽出する。そして、映像抽出装置５は、図７に示すように、図示しない映像表示手段によって、表示画面に、操作者によって編集されたスポット映像Ｖａと、操作者によって候補の映像から選択され、編集される素材となる映像Ｖｂと、当該スポット映像を構成する映像の区間の情報Ｖｃと、紹介文を構成する文Ｖｄ１、Ｖｄ２、Ｖｄ３、…と、文Ｖｄ１、Ｖｄ２、Ｖｄ３、…に対応し、類似度の高い順に並べられた映像Ｖｅ、Ｖｅ、…とを表示する。そして、図示しないスポット映像編集手段によって、スポット映像にタイムライン上でカットの長さを調整したり、その他の候補の画像Ｖｅと入れ替えたりするなどの手直しを加えることで、操作者は紹介文に対応するスポット映像を容易に制作することができる。

更に、映像抽出装置５は、インターネットなどの映像の検索に適用することとしてもよい。例えば、インターネットの映像の検索に適用する場合には、映像抽出装置５は、インターネットに接続され、紹介文入力手段５０から入力されたテキストデータ及びＣＣ入力手段５１から入力されたインターネットの映像のＣＣに基づいて、映像入力手段５２から入力されたインターネットの映像から、当該テキストデータの内容を示す映像を選定する。ここでは、図８（ａ）に示すように、紹介文入力手段５０から、テキストデータとして、紹介文の代わりに操作者によって複数の形態素ｔ１、ｔ２が入力され、映像抽出装置５は、希少度に基づいて、紹介文入力手段５０から入力された当該形態素ｔ１、ｔ２と、ＣＣ入力手段５１から入力されたＣＣのＣＣ文との類似度を算出して、類似度の高い区間の映像を選定する。

そして、図８（ｂ）に示すように、映像表示手段によって、表示画面に、類似度の高い区間の映像Ｖｅ、Ｖｅ、…と、当該映像Ｖｅ、Ｖｅ、…の類似度の情報Ｖｆ、Ｖｆ、…とを、検索結果として表示する。なお、図８は、発明の映像抽出装置を、インターネットの映像の検索に適用した場合の表示画面の例を模式的に示した模式図、（ａ）は、検索する映像の内容を示す形態素を入力する入力画面の例を示した模式図、（ｂ）は、検索された映像を表示する画面の例を示した模式図である。

本発明における映像抽出装置を備えるスポット映像生成装置の構成を模式的に示した模式図である。 本発明における映像抽出装置を備えるスポット映像生成装置に用いられるＣＣの例を示した説明図である。 本発明における映像抽出装置を備えるスポット映像生成装置によって算出された、特定の番組の紹介文に含まれる形態素の希少度の具体例を示す説明図である。 本発明における映像抽出装置の分割部が、カットを更に分割する方法の例を説明するための説明図である。 本発明における映像抽出装置を備えるスポット映像生成装置の形態素希少度算出装置が、本発明の映像抽出装置の希少度データ記憶手段に記憶される形態素の希少度を算出する動作を示したフローチャートである。 本発明の映像抽出装置が紹介文の各文とＣＣ文の類似度を算出して、紹介文に対応するスポット映像を生成する動作を示したフローチャートである。 本発明の映像抽出装置によって生成されたスポット映像の編集画面の例を模式的に示した模式図である。 本発明の映像抽出装置を、インターネットの映像の検索に適用した場合の表示画面の例を模式的に示した模式図、（ａ）は、検索する映像の内容を示す形態素を入力する入力画面の例を示した模式図、（ｂ）は、検索された映像を表示する画面の例を示した模式図である。

符号の説明

５ 映像抽出装置
５５ 類似度算出手段
５６ 希少度データ記憶手段（形態素確率情報記憶手段）
５７ 候補区間検出手段（区間検出手段）
５８ａ 区間映像抽出部（区間映像抽出手段）
５８ｂ カット分割部（カット分割手段）

Claims (3)

1. 映像と、前記映像に対応する音声のテキストデータである音声テキストデータと、複数の形態素から構成され、前記映像の一部分の内容を示す抽出映像内容情報とを入力し、前記抽出映像内容情報に対応する前記映像の一部分を抽出する映像抽出装置であって、
   複数の他の映像に対応する音声のテキストデータである他音声テキストデータに含まれる各々の形態素の、複数の前記他音声テキストデータにおける出現確率を示す出現確率情報と、当該形態素とを対応させた形態素確率情報を記憶する形態素確率情報記憶手段と、
   前記形態素確率情報記憶手段に記憶された形態素確率情報において、前記抽出映像内容情報に含まれる各々の形態素に対応する前記出現確率情報と、前記音声テキストデータを複数の区分に分割した音声区分データの各々に当該形態素が出現する頻度とに基づいて、前記抽出映像内容情報と、前記音声区分データとが類似する度合いを示す類似度を算出する類似度算出手段と、
   この類似度算出手段によって算出された類似度に基づいて、前記抽出映像内容情報に対応する前記音声区分データを選定し、当該音声区分データに対応する前記映像の区間を検出する区間検出手段と、
   この区間検出手段によって検出された区間の映像を抽出する区間映像抽出手段と、
   を備えることを特徴とする映像抽出装置。
2. 前記区間映像抽出手段によって抽出された映像をカットに分割するカット分割手段を備えることを特徴とする請求項１に記載の映像抽出装置。
3. 映像と、前記映像に対応する音声のテキストデータである音声テキストデータと、複数の形態素から構成され、前記映像の一部分の内容を示す抽出映像内容情報とを入力し、形態素確率情報記憶装置に記憶された、複数の他の映像に対応する音声のテキストデータである他音声テキストデータに含まれる各々の形態素の、複数の前記他音声テキストデータにおける出現確率を示す出現確率情報と、当該形態素とを対応させた形態素確率情報に基づいて、前記抽出映像内容情報に対応する前記映像の一部分を抽出するためにコンピュータを、
   前記形態素確率情報記憶装置に記憶された形態素確率情報において、前記抽出映像内容情報に含まれる各々の形態素に対応する前記出現確率情報と、前記音声テキストデータを複数の区分に分割した音声区分データの各々に当該形態素が出現する頻度とに基づいて、前記抽出映像内容情報と、前記音声区分データとが類似する度合いを示す類似度を算出する類似度算出手段、
   この類似度算出手段によって算出された類似度に基づいて、前記抽出映像内容情報に対応する前記音声区分データを選定し、当該音声区分データに対応する前記映像の区間を検出する区間検出手段、
   この区間検出手段によって検出された区間の映像を抽出する区間映像抽出手段として機能させることを特徴とする映像抽出プログラム。

Images