JP4825815B2 - 要約映像作成装置、要約映像作成方法、要約映像作成プログラム、映像解析装置、映像解析方法及び映像解析プログラム - Google Patents

Description

本発明は、テレビ放送などの映像データから要約映像を作成する要約作成装置、要約作成方法、要約作成プログラム、及び映像コンテンツを解析する映像解析装置、映像解析方法、映像解析プログラムに関する。

近年、デジタル放送の開始や映像データを録画・再生するビデオ機器等の記録装置の普及により、テレビドラマなど複数話で構成される番組において、各話の要約を自動作成し、その要約を視聴することにより大まかな映像の内容を把握するための方法及び装置が提案されている。例えば、従来の要約映像作成技術としては、連続するドラマ映像の第ｎ回の放送における重要なシーンは第ｎ−１回の放送において次回予告として用いられていることを利用する技術がある（例えば、特許文献１参照）。すなわち、第ｎ−１回目の次回予告を抽出し、その情報を基に第ｎ回の番組要約を自動作成する。これにより、要約を作成できる。
特開２００３−１６３８８１公報

しかしながら、特許文献１に開示された技術では、過去の次回予告のみから番組の要約を作成するため、要約としては不完全になる場合が多い、という問題があった。通常、次回予告とは、視聴者を引き付けるための導入部であり、各話の終盤、結論部分が含まれるものでは無い。そのため、特許文献１に開示された技術で作成される要約は、番組の前半の内容のみ含まれ、番組の核心部分が含まれない場合が多い。
本発明は上記の点に鑑みてなされたものであり、その目的は、ドラマなどの連続する映像データにおいて、各話の番組として重要なシーンを逃すことなく、要約を作成することにある。

本発明は上記の課題を解決するためになされたものであり、ドラマなどの複数話から構成される番組においては、ｎ＋１話の本編の前に、前回の粗筋やクライマックスが挿入される場合が多いという性質を利用する。本発明の一態様は、映像データの要約を生成する要約映像作成装置において、第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出部と、前記抽出された「前回の粗筋映像」を用いて第ｎ話の要約データを生成する要約映像作成部と、を備えることを特徴とする要約映像作成装置である。

この発明によれば、要約映像生成装置において、粗筋映像抽出部により、要約を作成する対象となる映像よりも未来の映像から、「前回の粗筋映像」を取得する。これにより、従来の次回予告のみから要約を作成する際に不足していた、各話のクライマックスまで含めた、全体を通しての要約の作成が可能となる。

また、本発明の一態様は、上記の要約映像作成装置において、前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別部を備え、前記要約映像作成部は、前記抽出された「前回の粗筋映像」のうち前記第ｎ話固有の「前回の粗筋映像」のみを用いる、ことを特徴とする。

この発明によれば、「前回の粗筋映像」を抽出する際に、粗筋映像判別部により、第ｎ話だけではなくそれ以前の各話も参照し、回想シーンや番組開始前の案内であるアイキャッチなどの、各話に共通のシーンを取り除き、実際に第ｎ話の特徴であるシーンのみを抽出することを可能とした。この特徴により、「前回の粗筋映像」の検出精度を向上させ、正確な要約作成が可能となる。

また、本発明の一態様は、上記の要約映像作成装置において、前記要約映像作成部は、第ｎ−１話の映像データから抽出した予告映像も用いて、第ｎ話の要約データを生成することを特徴とする。

この発明によれば、要約映像生成装置において、要約映像作成部により、「前回の粗筋映像」に加えて、過去の映像から取得した「予告映像」を用いている。これにより、各話のクライマックスに加えて、視聴者を引き付けるための導入部も含まれた、より正確な要約作成が可能となる。

また、本発明の一態様は、上記の要約映像作成装置において、前記粗筋映像抽出部は、連続して抽出された「前回の粗筋映像」の長さを判定し、第ｎ話固有で無い映像を除去する、ことを特徴とする。

この発明によれば、（１）主題歌、（２）シーンチェンジの際の一瞬の黒画、といった第ｎ話固有で無い映像を除去し、正確に第ｎ話固有の映像のみを抽出することができる。

また、本発明の一態様は、上記の要約映像作成装置において、前記粗筋映像抽出部は、第ｎ＋１話の冒頭のＣＭを抽出し、前記抽出されたＣＭの直後から「前回の粗筋映像」の抽出処理を開始することを特徴とする。

この発明によれば、「前回の粗筋映像」は番組の冒頭に配置されるため、その直前はＣＭであるという特徴を用いて、ＣＭの直後から「前回の粗筋映像」の抽出処理を開始するので、「前回の粗筋映像」を短時間で発見することができる。

また、本発明の一態様は、映像コンテンツを解析する映像解析装置において、第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出部と、前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別部と、を備えることを特徴とする映像解析装置。

また、本発明の一態様は、映像データの要約を生成する要約映像作成方法において、第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、前記抽出された「前回の粗筋映像」を用いて第ｎ話の要約データを生成する要約映像作成ステップと、を有することを特徴とする要約映像作成方法である。

また、本発明の一態様は、上記の要約映像作成方法において、前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップを有し、前記要約映像作成ステップは、前記抽出された「前回の粗筋映像」のうち前記第ｎ話固有の「前回の粗筋映像」のみを用いる、ことを特徴とする。

また、本発明の一態様は、上記の要約映像作成方法において、前記要約映像作成ステップは、第ｎ−１話の映像データから抽出した予告映像も用いて、第ｎ話の要約データを生成することを特徴とする。

また、本発明の一態様は、上記の要約映像作成方法の前記粗筋映像抽出ステップにおいて、連続して抽出された「前回の粗筋映像」の長さを判定し、第ｎ話固有で無い映像を除去する、ことを特徴とする。

また、本発明の一態様は、上記の要約映像作成方法の粗筋映像抽出ステップにおいて、第ｎ＋１話の冒頭のＣＭを抽出するステップと、抽出されたＣＭの直後から「前回の粗筋映像」の抽出処理を開始するステップと、を備えることを特徴とする。

また、本発明の一態様は、映像コンテンツを解析する映像解析方法において、第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップと、を有することを特徴とする映像解析方法である。

また、本発明の一態様は、映像データの要約を生成するためのプログラムであって、第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、前記抽出された「前回の粗筋映像」を用いて第ｎ話の要約データを生成する要約映像作成ステップと、をコンピュータに実行させるためのプログラムである。

また、本発明の一態様は、上記のプログラムにおいて、前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップを有し、前記要約映像作成ステップは、前記抽出された「前回の粗筋映像」のうち前記第ｎ話固有の「前回の粗筋映像」のみを用いる、ことを特徴とする。

また、本発明の一態様は、上記のプログラムにおいて、前記要約映像作成ステップは、第ｎ−１話の映像データから抽出した予告映像も用いて、第ｎ話の要約データを生成することを特徴とする。

また、本発明の一態様は、上記のプログラムの前記粗筋映像抽出ステップにおいて、連続して抽出された「前回の粗筋映像」の長さを判定し、第ｎ話固有で無い映像を除去する、ことを特徴とする。

また、本発明の一態様は、上記のプログラムの粗筋映像抽出ステップにおいて、第ｎ＋１話の冒頭のＣＭを抽出するステップと、抽出されたＣＭの直後から「前回の粗筋映像」の抽出処理を開始するステップと、を備えることを特徴とする。

また、本発明の一態様は、映像コンテンツを解析するためのコンピュータプログラムであって、第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、要約映像生成装置において、粗筋映像抽出部により、要約を作成する対象となる映像よりも未来の映像から、「前回の粗筋映像」を取得する。これにより、従来の次回予告のみから要約を作成する際に不足していた、各話のクライマックスまで含めた、全体を通しての要約の作成が可能となる。
また、本発明によれば、「前回の粗筋映像」を抽出する際に、粗筋映像判別部により、第ｎ話だけではなくそれ以前の各話も参照し、回想シーンや、各話に共通のシーンを取り除き、実際に第ｎ話の特徴であるシーンのみを抽出することを可能とした。この特徴により、「前回の粗筋映像」の検出精度を向上させ、正確な要約作成が可能となる。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による要約作成装置の構成を示すブロック図である。
要約作成装置１は、映像受信部１０１と、映像蓄積部１０２と、ＣＭ検出部１０３と、粗筋映像抽出部１０４と、候補シーン保存部１０５と、粗筋映像判別部１０６と、要約映像作成部１０７と、映像を視聴者に表示する表示部１０８と、を含んで構成される。要約作成装置１は、ユーザからの明示的な入力、あるいは、あらかじめ設定してある番組要約の処理開始タイミングに応じて、第ｎ＋１話の映像データから「前回の粗筋映像」を取得し、取得した「前回の粗筋映像」に基づいて第ｎ話の要約映像を作成する処理機能を備えている。「前回の粗筋映像」とは、ドラマなどにおいて、冒頭で前回のシーンやこれまでのあらすじがおさらいされるシーンのことである。

映像受信部１０１は、デジタルＴＶ放送や、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）通信等で番組の映像データを受信する。なお、映像データは複数のフレームから構成される。映像蓄積部１０２には、予約情報やユーザの趣向に応じて映像受信部１０１で受信した番組の映像データが保存される。また、保存した番組が第何話にあたるかについては、番組録画の予約時のＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ／電子番組ガイド）情報に基づいて得られるものとする。
ＣＭ検出部１０３は、映像データの中からＣＭ（コマーシャル）データを検出する。ＣＭデータの検出方法については、例えば特開平８−３３９３７９に示されるような方法を用いる。

粗筋映像抽出部１０４は、映像蓄積部１０２から第ｎ＋１話の映像データを取得し、取得した第ｎ＋１話の映像データから「前回の粗筋映像」の抽出を行う。
候補シーン保存部１０５は、粗筋映像抽出部１０４にて抽出した「前回の粗筋映像」を「前回の粗筋映像」候補として保存する。候補シーン保存部１０５は、自己の実メモリ上に保存しても良いし、映像蓄積部１０２に映像を保存しても良い。

粗筋映像判別部１０６は、第ｎ＋１話の映像データから抽出した「前回の粗筋映像」候補を候補シーン保存部１０５から取得し、取得した「前回の粗筋映像」候補と第ｎ話よりも以前の各話の映像との比較を行うことで、第ｎ話の粗筋として適切な「前回の粗筋映像」を抽出する。
要約映像作成部１０７は、粗筋映像判別部１０６によって抽出された「前回の粗筋映像」を基に、第ｎ話の要約映像（要約データ）を作成する。

図２は、粗筋映像抽出部１０４における処理の流れの一例を表すフローチャートである。「前回の粗筋映像」はその性質上、番組の冒頭に配置される。また、一般的な番組構成として以下のケースが考えられる。
（ａ）ＣＭ → 「前回の粗筋映像」 → 主題歌 → ＣＭ → 本編
（ｂ）ＣＭ → 主題歌 → ＣＭ → 「前回の粗筋映像」 → 本編
（ｃ）ＣＭ → 「前回の粗筋映像」 → 本編
（ｄ）ＣＭ → 主題歌 → ＣＭ → 本編(「前回の粗筋映像」が無い番組)
（ｅ）ＣＭ → 本編(「前回の粗筋映像」が無い番組)
「前回の粗筋映像」が入る（ａ）から（ｃ）のケースにおいては、常にＣＭの後に「前回の粗筋映像」が入る。そこで、本発明においては、録画された映像データの冒頭にあるＣＭを検知し、その直後のデータに対して、「前回の粗筋映像」の抽出を行う。

ここで、第ｎ＋１話の「前回の粗筋映像」を抽出する場合を例に説明する。粗筋映像抽出部１０４は、あらかじめ映像蓄積部１０２から第ｎ＋１話の映像データを取得し、取得した映像データの冒頭のフレームを抽出しておく。ここで抽出する映像のフレーム数は映像全体の長さに応じて定められる（例えば、６０分のドラマに対して冒頭の１０分に相当するフレーム数など）。次に、粗筋映像抽出部１０４は、抽出した冒頭のフレームにあるＣＭデータの開始点と終了点をＣＭ検出部１０３から取得する。

粗筋映像抽出部１０４は、ＣＭデータの終了点から一致するフレームの検出を開始する（ステップＳ１）。ここで、一致するフレームとは、抽出した冒頭のフレームを、第ｎ話中の各フレームと比較し、第ｎ話中に存在するフレームである。この際、粗筋映像抽出部１０４は、検出開始から一定時間（事前に定められた閾値 t₁秒）以上一致するフレームが検出されなかった場合（ステップＳ２）、検出を終了する。この場合は、「前回の粗筋映像」ではないと判断するためである。また、粗筋映像抽出部１０４は、検出中にＣＭ検出部１０３にて検出されたＣＭデータの開始点に到達した場合（ステップＳ３）、検出を終了する。この場合、「前回の粗筋映像」が終了したものと判断している。

粗筋映像抽出部１０４は、前述のステップによって検出された一致するフレームが連続しているか否かを判断する（ステップＳ４）。連続していない場合（ステップＳ４：Ｎｏ）には、粗筋映像抽出部１０４は、次のフレームに移動し、ステップＳ２の処理を行う。

連続したフレームがある場合（ステップＳ４：Ｙｅｓ）、粗筋映像抽出部１０４は、フレームが事前に定められた閾値t₂秒以上継続して一致するか否かを判定する（ステップＳ５）。シーンチェンジや映像のつなぎの際の黒画を除去するため、t₂秒以上継続して一致しないフレームは「前回の粗筋映像」として採用しない。その場合（ステップＳ５：Ｎｏ）、粗筋映像抽出部１０４は、次のフレームに移動し、ステップＳ３の処理を行う。ここで、t₂は非常に短い閾値であり、数百ミリ秒程度を想定する。
また、粗筋映像抽出部１０４は、一致したフレームが、閾値t₃秒以上連続するか否かを判定する（ステップＳ６）。「前回の粗筋映像」は、前回の各シーンのつなぎ合わせであり、個々のシーンは非常に短い。そのため、t₃秒以上の長さの映像が前回の映像と一致した場合は、それは、主題歌のような各話の共通部分であるとし、「前回の粗筋映像」として採用しない。その場合、粗筋映像抽出部１０４は、次のフレームに移動し、ステップＳ３の処理を行う。ここで閾値t₃は数十秒程度を想定し、t₂＜t₃ の関係が成り立つものとする。

連続したフレームがt₂秒以上、t₃秒未満の場合には、その連続したフレームから構成される映像データを「前回の粗筋映像」として採用する。採用された映像データは、候補シーン保存部１０５にて、それぞれ「前回の粗筋映像」候補として保存される（ステップＳ７）。

粗筋映像抽出部１０４は、この様な手順を繰り返し、「前回の粗筋映像」候補を保存する。この処理は、ステップＳ２により、t₁秒以上一致するフレームが検出されなかった場合（ステップＳ２：Ｙｅｓ）に終了する。このようにして、粗筋映像抽出部１０４は「前回の粗筋映像」候補を抽出する。保存される「前回の粗筋映像」候補の数は任意である。

図３は、粗筋映像判別部１０６における処理の一例を表す概念図である。
特開２００３−１６３８８１に記載の従来技術においては、次回予告を用いて要約を作成している。次回予告においては、第ｎ−１話で放送される次回予告で用いられる映像は、全て第ｎ話の映像であることが期待できる。一方、本発明において使用する「前回の粗筋映像」においては、第ｎ＋１話の「前回の粗筋映像」で用いられる映像は、必ずしも第ｎ話の映像のみではなく、さらにそれ以前の回の映像が含まれる場合がある。また、仮に第ｎ話に出現した映像であっても、それが以前のシーンの回想シーンであるような場合、そのシーンは第ｎ話の特徴を表しておらず、要約映像に用いることは適切でない。そこで、本発明においては、粗筋映像抽出部１０４で「前回の粗筋映像」候補を抽出した後に、粗筋映像判別部１０６で第ｎ話よりも以前の各話の映像と比較を行うことで、適切な「前回の粗筋映像」に含まれるシーンを抽出する。ここで、「前回の粗筋映像」候補は複数のシーンで構成されており、各シーンは複数のフレームから構成される。

図３は、第ｎ話の要約を第ｎ＋１話の「前回の粗筋映像」から生成する場合を例にしている。第ｎ＋１話の画像から、「前回の粗筋映像」候補としてシーン（１）、（３）、（４）が抽出されたとする。ただし、ここで（１）は第ｎ−２話のシーンであり、第ｎ話におけるシーン（１）’は、シーン（１）の回想シーンとする。この場合、シーン（１）’は粗筋映像抽出部１０４にて第ｎ話の粗筋として抽出されてしまうが、実際には、シーン（１）は、第ｎ話の特徴を表すシーンではない。そこで、粗筋映像判別部１０６は、「前回の粗筋映像」候補のシーンそれぞれに対して、第ｎ話よりも以前の各話の映像と比較を行う。

粗筋映像判別部１０６は、候補シーン保存部１０５より、「前回の粗筋映像」候補を取得する。粗筋映像判別部１０６は、取得した「前回の粗筋映像」候補それぞれについて、過去の番組データ（第ｎ話よりも以前の各話）との比較を行う。ここで、比較の方法は、各シーンに対して一致するフレームを検出する。連続した一致するフレームがt₂秒以上、t₃秒未満の場合には、粗筋映像判別部１０６は、そのシーンを「第ｎ話及びそれ以前の話に出現するシーン」に分類する。粗筋映像判別部１０６は、「前回の粗筋映像」候補を「第ｎ話のみに出現するシーン」と「第ｎ話及びそれ以前の話に出現するシーン」に分類する（図の例では、（３）、（４）は「第ｎ話のみに出現するシーン」、（１）は「第ｎ話及びそれ以前の話に出現するシーン」）。粗筋映像判別部１０６は、「第ｎ話のみに出現するシーン」を、「前回の粗筋映像」として要約映像作成部１０７へ出力する。

要約映像作成部１０７は、粗筋映像判別部１０６によって選択された「前回の粗筋映像」を基に、要約映像を作成する。
作成する要約映像の長さは、ユーザからの入力や、システムの固定値によって決定される。要約映像作成部１０７は、この長さを粗筋映像判別部１０６によって抽出されたシーンの数で等分することで１シーンをどのくらいの長さにするかを決定する。

要約映像作成部１０７は、第ｎ話の本編のうち、第ｎ＋１話の「前回の粗筋映像」として抽出されたシーン各点の開始点（またはその前後）を起点として、シーン取得を行う（ステップＳ３１）。具体的には、映像動きベクトルや、無音区間の抽出によってシーンチェンジを検出し、起点から検出したシーンチェンジ点までを１シーンとして取得する。要約映像作成部１０７は、検出されたシーンの長さを、決定された１シーンの長さと比較し、長さが足りないようであれば、その長さになるまで、繰り返しシーン取得を行う。

次に、要約映像作成部１０７は、取得したシーンをつなぎ合わせ、要約映像とする（ステップＳ３２）。この際、要約映像作成部１０７は、つなぎ合わせた長さと予め決定された要約映像の長さが合わない場合は、フェード処理等で調整する。
このようにして、要約映像作成部１０７は、要約映像を作成する。

このように、本実施形態によれば、要約映像生成装置１において、粗筋映像抽出部１０４により、要約を作成する対象となる映像よりも未来の映像から、「前回の粗筋映像」を取得する。これにより、従来の次回予告のみから要約を作成する際に不足していた、各話のクライマックスまで含めた、全体を通しての要約の作成が可能となる。
また、「前回の粗筋映像」を抽出する際に、粗筋映像判別部１０８により、第ｎ話だけではなくそれ以前の各話も参照し、回想シーンや、各話に共通のシーンを取り除き、実際に第ｎ話の特徴であるシーンのみを抽出することを可能とした。この特徴により、「前回の粗筋映像」の検出精度を向上させ、正確な要約作成が可能となる。

次に、この発明の第二の実施形態による要約映像作成装置２について説明する。
図４は、第二の実施形態による要約作成装置２の構成を示すブロック図である。第一の実施形態では、要約映像作成部１０７は、「前回の粗筋映像」のみを用いて番組の要約を作成したが、本実施形態では、「前回の粗筋映像」に加えて、「予告映像」を用いて番組の要約を作成する。そこで、本実施形態の要約作成装置２は予告映像抽出部１０９を更に有する。予約映像抽出部１０９は、第ｎ−１話の「予告映像」を抽出する。ここで、「予告映像」の抽出方法は、特開２００３−１６３８８１に記載の従来技術などを用いる。他の構成は第一の実施形態と同様なので説明を省略する。

図５は、第二の実施形態における要約映像作成部１０７の処理一例を表す概念図である。この図では、第ｎ話の要約映像を作成する際に、第ｎ＋１話の「前回の粗筋映像」の他に、第ｎ−１話の「予告映像」を用いる場合について、示している。「予告映像」で抽出されたシーン（図の例ではシーンＡ、Ｂ、Ｃ）と、「前回の粗筋映像」として抽出されたシーン（図の例ではシーン（３）、（４））の双方に対して、上記ステップＳ３１及びＳ３２に記載の処理を行うことで、第ｎ話全体に基づいた要約を実現する。

このように、本実施形態によれば、要約映像生成装置２において、要約映像作成部１０７により、「前回の粗筋映像」に加えて、過去の映像から取得した「予告映像」を用いている。これにより、各話のクライマックスに加えて、視聴者を引き付けるための導入部も含まれた、より正確な要約作成が可能となる。

また、図５における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、要約映像作成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、粗筋映像抽出部１０４及び粗筋映像判別部１０５で行う処理を映像コンテンツを解析する映像解析装置またはプログラムに備えても良い。

本発明の一実施形態による要約作成装置の構成を示すブロック図である。 本実施形態による粗筋映像抽出部における処理の流れの一例を表すフローチャートである。 本実施形態による粗筋映像判別部における処理の一例を表す概念図である。 第二の実施形態における要約作成装置の構成を示すブロック図である。 第二の実施形態における要約映像作成部の処理の一例を表す概念図である。

符号の説明

１…要約映像作成装置 ２…要約映像作成装置 １０１…映像受信部 １０２…映像蓄積部 １０３…ＣＭ検出部 １０４…粗筋映像抽出部 １０５…候補シーン保存部 １０６…粗筋映像判別部 １０７…要約映像作成部 １０８…表示部 １０９…予告映像抽出部

Claims (18)

1. 映像データの要約を生成する要約映像作成装置において、
   第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出部と、
   前記抽出された「前回の粗筋映像」を用いて、第ｎ話の要約データを生成する要約映像作成部と、
   を備えることを特徴とする要約映像作成装置。
2. 前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別部を備え、
   前記要約映像作成部は、前記抽出された「前回の粗筋映像」のうち前記第ｎ話固有の「前回の粗筋映像」のみを用いる、
   ことを特徴とする請求項１に記載の要約映像作成装置。
3. 前記要約映像作成部は、第ｎ−１話の映像データから抽出した予告映像も用いて、第ｎ話の要約データを生成することを特徴とする請求項１または２に記載の要約映像作成装置。
4. 前記粗筋映像抽出部は、連続して抽出された「前回の粗筋映像」の長さを判定し、第ｎ話固有で無い映像を除去する、ことを特徴とする請求項１に記載の要約映像作成装置。
5. 前記粗筋映像抽出部は、第ｎ＋１話の冒頭のＣＭを抽出し、前記抽出されたＣＭの直後から「前回の粗筋映像」の抽出処理を開始することを特徴とする請求項１に記載の要約映像作成装置。
6. 映像コンテンツを解析する映像解析装置において、
   第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出部と、
   前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別部と、
   を備えることを特徴とする映像解析装置。
7. 映像データの要約を生成する要約映像作成方法において、
   第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、
   前記抽出された「前回の粗筋映像」を用いて第ｎ話の要約データを生成する要約映像作成ステップと、を有することを特徴とする要約映像作成方法。
8. 前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップを有し、
   前記要約映像作成ステップは、前記抽出された「前回の粗筋映像」のうち前記第ｎ話固有の「前回の粗筋映像」のみを用いる、
   ことを特徴とする請求項７に記載の要約映像作成方法。
9. 前記要約映像作成ステップは、第ｎ−１話の映像データから抽出した予告映像も用いて、第ｎ話の要約データを生成することを特徴とする請求項７または８に記載の要約映像作成方法。
10. 前記粗筋映像抽出ステップにおいて、連続して抽出された「前回の粗筋映像」の長さを判定し、第ｎ話固有で無い映像を除去する、
    ことを特徴とする請求項７に記載の要約映像作成方法。
11. 第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する前記粗筋映像抽出ステップにおいて、
    第ｎ＋１話の冒頭のＣＭを抽出するステップと、
    抽出されたＣＭの直後から「前回の粗筋映像」の抽出処理を開始するステップと、
    を備えることを特徴とする請求項７に記載の要約映像作成方法。
12. 映像コンテンツを解析する映像解析方法において、
    第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、
    前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップと、
    を有することを特徴とする映像解析方法。
13. 映像データの要約を生成するためのプログラムであって、
    第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、
    前記抽出された「前回の粗筋映像」を用いて第ｎ話の要約データを生成する要約映像作成ステップと、
    をコンピュータに実行させるためのプログラム。
14. 前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップを有し、
    前記要約映像作成ステップは、前記抽出された「前回の粗筋映像」のうち前記第ｎ話固有の「前回の粗筋映像」のみを用いる、
    ことを特徴とする請求項１３に記載のプログラム。
15. 前記要約映像作成ステップは、第ｎ−１話の映像データから抽出した予告映像も用いて、第ｎ話の要約データを生成することを特徴とする請求項１３または１４に記載のプログラム。
16. 前記粗筋映像抽出ステップにおいて、連続して抽出された「前回の粗筋映像」の長さを判定し、第ｎ話固有で無い映像を除去する、
    ことを特徴とする請求項１３に記載のプログラム。
17. 第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する前記粗筋映像抽出ステップにおいて、
    第ｎ＋１話の冒頭のＣＭを抽出するステップと、
    抽出されたＣＭの直後から「前回の粗筋映像」の抽出処理を開始するステップと、
    を備えることを特徴とする請求項１３に記載のプログラム。
18. 映像コンテンツを解析するためのプログラムであって、
    第ｎ＋１話の映像データを、第ｎ話の映像データと比較し、第ｎ＋１話の映像データから第ｎ話の映像データである「前回の粗筋映像」を抽出する粗筋映像抽出ステップと、
    前記抽出された「前回の粗筋映像」に対して、第ｎ話よりも以前の各話の映像データと比較を行い、前記「前回の粗筋映像」の中から第ｎ話固有の「前回の粗筋映像」のみを判別する粗筋映像判別ステップと、
    をコンピュータに実行させるためのプログラム。

Images