JP4426743B2 - 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム - Google Patents
映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム Download PDFInfo
- Publication number
- JP4426743B2 JP4426743B2 JP2001304359A JP2001304359A JP4426743B2 JP 4426743 B2 JP4426743 B2 JP 4426743B2 JP 2001304359 A JP2001304359 A JP 2001304359A JP 2001304359 A JP2001304359 A JP 2001304359A JP 4426743 B2 JP4426743 B2 JP 4426743B2
- Authority
- JP
- Japan
- Prior art keywords
- video information
- information
- partial
- same
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、映像情報における要約再生装置の技術分野に属し、より詳細には、予告情報に基づいて要約再生時に抽出すべき部分映像情報を決定する技術分野に属する。
【0002】
【従来の技術】
近年、テレビジョン放送による番組などの映像情報を録画・再生するVTR(Video Tape Recorder)などの記録装置が普及するにつれて、記録された映像情報を全て見ることなく当該映像情報を短時間に要約した映像情報(以下、要約情報という)を提供するダイジェスト再生(要約再生)が実用に供されるようになっている。
【0003】
このような要約再生を行う方法としては、主に映像情報そのものに着目して、例えば、場面が転換された部分(シーンチェンジ)を検出して要約再生を行う方法と、映像情報に付帯される音声情報に着目して、当該映像情報に付帯される音声情報の振幅と継続時間を利用した要約再生を行う方法がある。音声情報に着目して要約再生を行う要約再生を行う方法の代表的なものに特開平10−32776号公報に記載されたものがある。
【0004】
同公報に記載の要約再生装置1は、図7に示すように、通信回線または電波などによって提供された音声情報が付帯されている映像情報の音声レベルを検出する音声レベル検出手段3と、その音声レベルと基準音声レベルとを比較する比較器4と、音声レベルが基準音声レベルより大きい継続時間を得る継続時間タイマ5と、継続時間タイマ5によって得られた継続時間からダイジェスト部分のアドレスを生成するダイジェストアドレス生成手段8と、そのアドレスを記録する記録再生手段9と、記録したアドレスを再生するダイジェストアドレス再生手段11と、そのアドレスに基づいてダイジェスト部分の音声映像情報を再生させる再生制御手段10とを備えている。
【0005】
この構成より、この要約再生装置1は、入力された映像情報が基準音声レベルより大きい部分で予め設定された時間継続した場合に、その基準音声レベルより大きい部分のアドレスを記録し、このアドレスに基づいて当該基準音声レベルより大きいレベルの部分を抽出して音声映像情報の要約再生を行うようになっている。
【0006】
【発明が解決しようとする課題】
しかしながら、上述のような映像情報に付帯される音声情報に着目して要約再生を行う方法では、ドラマなどストーリー性(連続性)を有する映像情報において、当該映像情報の内容が理解されないと適切な要約再生を行うことができないという問題を有していた。
【0007】
通常、スポーツ番組では、音声レベルが大きい音声部分は、映像情報の盛り上がった部分を示し、映像情報の特徴部分を構成しているとともに、ニュース番組では、音声の無い無音部分は、場面が転換された、または、内容が切り替わった部分を示し、映像情報の特徴部分を構成している。
【0008】
しかしながら、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させる連続性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【0009】
したがって、上述のような要約再生方法では、ドラマなどの映像情報においては、抽出した部分が映像情報における重要な部分でない場合も多いため、適切な要約再生を行うことができないという問題を有していた。
【0010】
本発明は、上記の各問題点に鑑みて為されたもので、その課題は、ドラマなどの連続性を有する映像情報においてもより適切に操作者が映像情報を把握することのできる要約情報を提供することにある。
【0011】
【課題を解決するための手段】
上記の課題を解決するために、請求項1に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段と、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、を備えた構成を有している。
【0012】
この構成により、請求項1に記載の発明では、取得手段が入力された映像情報における予告情報を取得し、検出手段が入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出するとともに、決定手段がこの同一部分情報に基づいて部分映像情報を決定し、生成手段がこの部分映像情報に基づいて要約情報を生成する。
【0013】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【0014】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0015】
また、請求項2に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段と、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、を備えた構成を有している。
【0016】
この構成により、請求項2に記載の発明では、取得手段が入力された映像情報における少なくとも予告情報を有する映像情報を取得し、検出手段が入力された映像情報と他の映像情報とを比較して同一の部分情報を当該入力された映像情報から検出するとともに、決定手段がこの同一部分情報に基づいて部分映像情報を決定し、生成手段がこの部分映像情報に基づいて要約情報を生成する。
【0017】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【0018】
したがって、要約対象となる映像情報(例えば、複数回の映像情報の何れかの映像情報)と他の映像情報(例えば、要約対象となる映像情報における前回の映像情報)を比較することによって各映像情報で同一となる部分情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0019】
また、請求項3に記載の発明は、請求項2に記載の映像情報要約装置において、前記検出手段が予め設定された時間長を有する前記同一部分情報を検出する構成を備えている。
【0020】
この構成により、請求項3に記載の発明では、検出手段が予め設定された時間長を有する同一部分情報を検出する。
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、1つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度(例えば、5秒程度)の時間長を有するに留まる。
【0021】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【0022】
また、請求項4に記載の発明は、請求項2または3に記載の映像情報要約装置において、前記検出手段によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記検出手段が、検出した前記同一部分情報を当該検出結果より除外するとともに、前記決定手段が、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定する構成を有している。
【0023】
この構成により、請求項4に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、検出手段が当該検出した同一部分情報を検出結果より除外するとともに、決定手段がこの検出結果に基づいて部分映像情報を決定する。
【0024】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【0025】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【0026】
また、請求項5に記載の発明は、請求項1乃至4の何れか一項に記載の映像情報要約装置において、前記検出手段によって検出された前記同一部分情報の当該入力された映像情報における時間的位置と他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的に接しているとき、前記検出手段が、前記時間的に接する同一部分情報を検出結果より除外するとともに、前記決定手段が、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定する構成を有している。
【0027】
この構成により、請求項5に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、検出手段が時間的に接する同一部分情報を検出結果より除外するとともに、決定手段がこの検出結果に基づいて部分映像情報を決定する。
【0028】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【0029】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【0030】
また、請求項6に記載の発明は、請求項1乃至5の何れか一項に記載の映像情報要約装置において、前記映像情報の識別情報を取得する識別情報取得手段を設け、前記識別情報取得手段によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記決定手段が、前記検出手段によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定する構成を有している。
【0031】
この構成により、請求項6に記載の発明では、映像情報の識別情報を取得する識別情報取得手段を設け、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、決定手段がこの検出された同一部分情報に基づいて部分映像情報を決定する。
【0032】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【0033】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0034】
また、請求項7に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得処理工程と、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、を含む構成を有している。
【0035】
この構成により、請求項7に記載の発明では、取得処理工程によって入力された映像情報における予告情報が取得され、検出処理工程によって入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報が検出されるとともに、決定処理工程によってこの同一部分情報に基づいて部分映像情報が決定され、生成処理工程によってこの部分映像情報に基づいて要約情報が生成される。
【0036】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【0037】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0038】
また、請求項8に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得処理工程と、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、を含む構成を有している。
【0039】
この構成により、請求項8に記載の発明では、取得処理工程によって入力された映像情報における少なくとも予告情報を有する映像情報が取得され、検出処理工程によって入力された映像情報と他の映像情報とが比較されて同一の前記部分情報が当該入力された映像情報から検出されるとともに、決定処理工程によってこの同一部分情報に基づいて抽出されるべき部分映像情報が決定され、生成処理工程によってこの部分映像情報に基づいて要約情報が生成される。
【0040】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【0041】
したがって、要約対象となる映像情報(例えば、複数回の映像情報の何れかの映像情報)と他の映像情報(例えば、要約対象となる映像情報における前回の映像情報)を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることになるので、当該予告情報に基づいて要約情報を生成することができ、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0042】
また、請求項9に記載の発明は、請求項8に記載の映像情報要約方法において、前記検出処理工程においては予め設定された時間長を有する前記同一部分情報を検出する構成を備えている。
【0043】
この構成により、請求項9に記載の発明では、検出処理工程によって予め設定された時間長を有する同一部分情報を検出する。
【0044】
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、1つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度(例えば、5秒程度)の時間長を有するに留まる。
【0045】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【0046】
また、請求項10に記載の発明は、請求項8または9に記載の映像情報要約方法において、前記検出処理工程によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記検出処理工程においては、検出された前記同一部分情報を当該検出結果より除外するとともに、前記決定処理工程においては、前記予め定められた時間的範囲内で一致した前記同一部分映像情報を除外した検出結果に基づいて抽出されるべき前記部分映像情報を決定する構成を有している。
【0047】
この構成により、請求項10に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、検出処理工程によって当該検出された同一部分情報が検出結果より除外されるとともに、決定処理工程によってこの検出結果に基づいて部分映像情報が決定される。
【0048】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【0049】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【0050】
また、請求項11に記載の発明は、請求項7乃至10の何れか一項に記載の映像情報要約方法において、前記検出処理工程によって検出された前記同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置と時間的に接しているとき、前記検出処理工程においては、前記時間的に接する同一部分情報を検出結果より除外するとともに、前記決定処理工程においては、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する構成を有している。
【0051】
この構成により、請求項11に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、検出処理工程によって時間的に接する同一部分情報を検出結果より除外させるとともに、決定処理工程によってこの検出結果に基づいて部分映像情報を決定させる。
【0052】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【0053】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【0054】
また、請求項12に記載の発明は、請求項7乃至11の何れか一項に記載の映像情報要約方法において、前記映像情報の識別情報を取得する識別情報取得処理工程を含み、前記識別情報取得処理工程によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記決定処理工程においては、前記検出処理工程によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定する構成を有している。
【0055】
この構成により、請求項12に記載の発明では、映像情報の識別情報を取得する識別情報取得処理工程を含み、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、決定処理工程によってこの検出された同一部分情報に基づいて部分映像情報を決定させる。
【0056】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【0057】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0058】
また、請求項13に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、前記コンピュータを、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、として機能させる構成を有している。
【0059】
この構成により、請求項13に記載の発明では、コンピュータによって、入力された映像情報における予告情報を取得し、入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出するとともに、この同一部分情報に基づいて部分映像情報を決定し、この部分映像情報に基づいて要約情報を生成する。
【0060】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【0061】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0062】
また、請求項14に記載の発明は、コンピュータによって、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、前記コンピュータを、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、として機能させる構成を有している。
【0063】
この構成により、請求項14に記載の発明では、コンピュータによって、入力された映像情報における少なくとも予告情報を有する映像情報が取得され、入力された映像情報と他の映像情報とが比較されて同一の前記部分情報が当該入力された映像情報から検出されるとともに、この同一部分情報に基づいて部分映像情報が決定され、この部分映像情報に基づいて要約情報が生成される。
【0064】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【0065】
したがって、要約対象となる映像情報(例えば、複数回の映像情報の何れかの映像情報)と他の映像情報(例えば、要約対象となる映像情報における前回の映像情報)を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができ、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0066】
また、請求項15に記載の発明は、請求項14に記載の映像情報要約プログラムにおいて、前記コンピュータを、予め設定された時間長を有する前記同一部分情報を検出する検出手段として機能させる構成を備えている。
【0067】
この構成により、請求項15に記載の発明では、コンピュータによって、予め設定された時間長を有する同一部分情報を検出する。
【0068】
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、1つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度(例えば、5秒程度)の時間長を有するに留まる。
【0069】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【0070】
また、請求項16に記載の発明は、請求項14または15に記載の映像情報要約プログラムにおいて、前記検出された同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記コンピュータを、前記検出した同一部分情報を検出結果より除外する検出手段、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、として機能させる構成を有している。
【0071】
この構成により、請求項16に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、コンピュータによって、当該検出した同一部分情報を検出結果より除外するとともに、この検出結果に基づいて部分映像情報を決定する。
【0072】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【0073】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【0074】
また、請求項17に記載の発明は、請求項13乃至16の何れか一項に記載の映像情報要約プログラムにおいて、前記検出された同一部分映像情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置と時間的に接しているとき、前記コンピュータを、前記時間的に接する同一部分情報を検出結果より除外する検出手段、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、として機能させる構成を有している。
【0075】
この構成により、請求項17に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、コンピュータによって、時間的に接する同一部分情報を検出結果より除外するとともに、この検出結果に基づいて部分映像情報を決定する。
【0076】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【0077】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【0078】
また、請求項18に記載の発明は、請求項1乃至5の何れか一項に記載の映像情報要約プログラムにおいて、前記コンピュータを前記映像情報の識別情報を取得する識別情報取得手段として機能させるとともに、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記検出された同一部分情報に基づいて前記抽出すべき部分映像情報を決定する決定手段として機能させる構成を有している。
【0079】
この構成により、請求項18に記載の発明では、コンピュータによって、映像情報の識別情報を取得し、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、この検出された同一部分情報に基づいて部分映像情報を決定する。
【0080】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【0081】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0082】
【発明の実施の形態】
次に、本発明に好適な実施の形態について、図面に基づいて説明する。
【0083】
本実施形態は、通信回線または電波などによって提供されるテレビジョン放送の番組などの音声映像情報を要約再生する要約再生装置に対して本発明を適用した場合の実施形態である。
【0084】
まず、図1、図2を用いて本実施形態における要約再生装置の全体の構成および概要動作について説明する。
【0085】
なお、図1は本実施形態の要約再生装置の概要構成を示すブロック図であり、図2はフレームにおける映像情報の特徴量の抽出原理を説明するための図である。
【0086】
図1に示す本実施形態の要約再生装置100は、通信回線から送信された、または、図示しない受信部によって受信されたデジタル音声映像情報(以下、単に音声映像情報という)を入力するようになっており、この入力されたデジタル信号である各音声映像情報を復号化するとともに、復号化された各音声映像情報から各シーン毎の映像情報における特徴量を抽出し、当該デジタル音声映像情報における予告情報を用いることによって要約再生に際して抽出すべき部分映像情報(以下、要約セグメントという)を決定するようになっている。
【0087】
この予告情報は、入力されたデジタル音声映像情報の複数の特徴的なシーンにおける短い映像部分(以下、ショット(部分情報)という)が連続的に結合されたものであり、音声映像情報の制作者である人間が音声映像情報の内容を理解して編集され、当該音声映像情報を簡易に要約した映像情報である。
【0088】
通常、ドラマなどの連続性を有する映像情報、すなわち、シナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立する映像情報は、複数回に亘って映像情報が提供されて当該音声映像情報における内容が完結すること、各音声映像情報は一度に提供されることがほとんどなく、各音声映像情報の提供には時間的なずれが生ずること、各回の音声映像情報に次回の予告映像が含まれ、提供されること、などの特徴を有している。
【0089】
このような特徴に鑑み、本実施形態では、連続性のある複数回の音声映像情報を、それぞれ、録画などによって蓄積して各音声映像情報の特徴量を抽出し、要約再生を行う場合には、要約再生の対象となる音声映像情報(例えば、N回目(以下、対象音声映像情報という))と、対象音声映像情報における予告情報を有する音声映像情報(例えば、N−1回目(以下、非対象音声映像情報という))とを比較するとともに、同一のショットを対象音声映像情報から検出し、この同一ショットに基づいて抽出すべき要約セグメントを決定するようになっている。
【0090】
本実施形態の要約再生装置100は、図1に示すように、取得された音声映像情報から映像情報および当該映像情報における識別情報(以下、ジャンル情報という)を有する情報(以下、付帯情報という)を分離するデマルチプレクサ101と、各音声映像情報の特徴量を抽出する特徴量抽出部102と、取得された音声映像情報から各シーンのシーンチェンジを検出するシーンチェンジ検出部103と、付帯情報からジャンル情報を取得するジャンル情報取得部104と、各回の音声映像情報を蓄積するとともに、各音声映像情報において取得された特徴量およびジャンル情報を蓄積する蓄積部105と、音声映像情報から当該音声映像情報における予告情報と同一のショットを検出する予告部分推定部106と、各部の操作を行うとともに、音声映像情報を要約する時間長を入力する操作部107と、蓄積された音声映像情報の要約再生を行う再生部108と、同一ショットに基づいて蓄積された音声映像情報における要約セグメントを決定するとともに再生部108を制御する制御部109と、要約再生された映像信号を音声信号とともに表示・出力する表示部110と、連続性のある複数回の音声映像情報の録画予約を行う録画予約制御部111とを備えている。
【0091】
なお、予告部分推定部106は、本発明に係る検出手段を構成し、さらに、蓄積部105とともに、本発明に係る取得手段を構成する。また、制御部109は、再生部108とともに本発明に係る生成手段を構成し、さらに、制御部109は本発明に係る決定手段および生成手段を構成する。
【0092】
デマルチプレクサ101には、通信回線から送出された若しくは図示しない受信部によって受信された音声映像情報、または、既に蓄積部105に蓄積された音声映像情報が入力されるようになっており、デマルチプレクサ101は、この入力されたデジタル音声映像情報から映像情報および付帯情報を分離して、映像情報を特徴量抽出部102およびシーンチェンジ検出部103に、付帯情報をジャンル情報取得部104に出力するようになっている。
【0093】
この付帯情報は、例えば、ニュース番組、スポーツ観戦番組、映画、ドラマ、歌番組およびバラエティ番組などのジャンル情報を一部に有しており、BS(BroadcastingSatellite)デジタル放送では、番組配列情報(Service Information)がこの付帯情報に当たる。この場合、デマルチプレクサ101は番組配列情報をジャンル情報取得部104に出力するようになっている。
【0094】
特徴量抽出部102にはデマルチプレクサ101から出力された映像情報が入力されるようになっており、この特徴量抽出部102は、入力された映像情報の全てのフレームにおける特徴量を抽出し、この抽出した特徴量を蓄積部105に出力するようになっている。
【0095】
例えば、本実施形態では、各フレーム毎に色平均を算出し、この色平均値を特徴量として抽出するようになっており、特に、本実施形態では、高速処理を行うため、図2に示すように、画面中央の一部分の色平均を各フレーム毎に算出するようになっている。
【0096】
この各フレーム毎の色平均を算出して当該映像情報の特徴量を抽出するという理論については、例えば、電子情報通信学会論文誌、D−II Vol.J81−D−II No.8 pp1831−1837 1998年8月発行の「時系列フレーム特徴の圧縮符号化に基づく映像シーンの高速分類方法」に記載されているものがあり、この文献に記載されている映像情報の特徴量を抽出する方法は、各フレーム毎の色平均を各RGB表色系の各成分について求め、それら3つの成分を組にして各フレームの特徴量とするようになっている。
【0097】
シーンチェンジ検出部103には、デマルチプレクサ101から出力された映像情報が入力されるようになっており、シーンチェンジ検出部103は、この入力された映像情報において、シーンチェンジ検出を行い、シーンチェンジが行われた時間的位置情報(以下、単に時間情報)を蓄積部105に出力するようになっている。
【0098】
例えば、このシーンチェンジの代表的な検出方法としては、特願平10−276435号公報記載のシーンチェンジ検出方法が知られており、この検出方法は、先行するシーンと後続するシーンのヒストグラムの類似程度に基づいて両シーンにおいてシーンチェンジが発生したか否かを判断するようになっている。
【0099】
ジャンル情報取得部104にはデマルチプレクサ101から出力された付帯情報(番組配列情報)が入力されるようになっており、このジャンル情報取得部104は、この入力された付帯情報(番組配列情報)に基づいて音声映像情報における映画、ニュース、ドラマなどジャンル情報を取得し、このジャンル情報を蓄積部105に出力するようになっている。
【0100】
なお、このジャンル情報は、入力された音声映像情報と別に取得するようにしてもよい。例えば、インターネットなどの通信回線を介して任意の場所に格納されている当該入力された音声映像情報に関するジャンル情報を取得するようにしてもよい。
【0101】
また、ジャンル情報を入力された音声映像情報から取得する代わりに、当該入力された音声映像情報における音声情報に基づいて推定するようにしてもよい。
【0102】
この場合、本実施形態に推定部を設け、この推定部によって入力された音声映像情報からジャンルを推定する。例えば、各ジャンルを特定するような特徴のあるテキスト情報を予め用意しておき、入力された音声映像情報から音声認識技術を用いて音声を抽出するとともに、その音声認識結果をテキスト情報として予め用意されたテキスト情報との一致度を算出し、この算出結果に基づいてジャンルを推定するようになっている。
【0103】
蓄積部105には入力された複数回の各音声映像情報、特徴量抽出部102によって抽出された各音声映像情報における映像情報の特徴量、シーンチェンジ検出部103によって検出された当該各音声映像情報におけるシーンチェンジが行われた時間情報およびジャンル情報取得部104によって取得された各音声映像情報のジャンル情報が各音声映像情報毎に関連付けられて蓄積されるようになっている。
【0104】
この蓄積部105は、後述する予告情報と同一のショットを検出するため制御部109の指示に基づいて、要約再生の対象となる対象音声映像情報および非対象音声映像情報並びに当該各対象および非対象音声映像情報の特徴量を予告部分推定部106に出力するようになっている。
【0105】
また、この蓄積部105は、この予告部分推定部106から出力される当該対象音声映像情報における予告情報と同一のショットの時間的位置情報(以下、時間情報という)を蓄積するようになっており、この予告情報と同一ショットの時間情報は対象音声映像情報に関連付けられて蓄積するようになっている。
【0106】
さらに、この蓄積部105は、抽出すべき要約セグメントを決定して要約再生を行うため、制御部109の指示に基づいて音声映像情報を再生部108に、シーンチェンジ情報および予告部分映像情報の時間情報を制御部109に出力するようになっている。
【0107】
予告部分推定部106には、対象音声映像情報と、非対象音声映像情報における予告情報を有する部分の音声映像情報の特徴量が入力されるようになっている。通常、予告情報は非対象音声映像情報の終了時刻前の10分間の区間に含まれていることがほとんどであるため、本実施形態では、予告部分推定部106には非対象音声映像情報の終了時刻前の10分間の区間を予告情報として入力するようになっている。
【0108】
この予告部分推定部106は、入力された対象音声映像情報と非対象音声映像情報の特徴量とを比較するとともに、同一のショットを対象音声映像情報から検出し、この検出されたショットの対象音声映像情報における時間情報を蓄積部105に出力するようになっている。なお、この同一ショットの検出原理および検出動作の詳細については後述する。
【0109】
再生部108には蓄積部105から出力された音声映像情報が入力されるようになっており、この再生部108は入力された多重化されている音声映像情報を映像情報および音声情報に分離するとともに復号し、制御部109の指示に基づいて要約再生を行うようになっている。また、この再生部108はこの再生された音声信号および映像信号を表示部110に出力するようになっている。
【0110】
制御部109は、操作部107によって入力された指示に基づいて蓄積部105における蓄積制御を行うとともに、予告部分推定部106によって検出された対象音声映像情報における予告情報の映像情報およびシーンチェンジ情報に基づいて要約セグメントを決定し(以下、要約セグメント決定処理という)、この決定した要約セグメントに基づいて再生部108の再生制御を行うようになっている。
【0111】
また、この要約セグメント決定処理においては、当該検出された同一ショットの対象音声映像情報における時間情報を含むシーンを、シーンチェンジ情報に基づいて抽出するようになっており、制御部109はこの抽出されたシーンを要約セグメントとして時間順に要約再生を行うようになっている。
【0112】
具体的には、後述するように、対象音声映像情報のシーンチェンジ情報を読み込むとともに、同一ショットの開始時刻前における最も近接したシーンチェンジ点から当該同一ショットの終了時刻後における最も近接したシーンチェンジ点までの区間を要約セグメントと決定するようになっている(図4参照)。
【0113】
表示部110には再生部108から出力された音声信号および映像信号が入力されるようになっており、この表示部110は、この入力された映像信号をモニター画面などに表示するとともに、音声信号をスピーカなどによって拡声するようになっている。
【0114】
録画予約制御部111は、制御部109を介して入力された操作部107における指示に基づいてテレビジョン放送などの番組(音声映像情報)またはテレビジョン放送などによって提供される全ての音声映像情報を蓄積部105に蓄積させるよう蓄積部105を制御するとともに、蓄積部105に音声映像情報を蓄積する際に、対象音声映像情報および非対象音声映像情報関連付けて格納するようになっている。
【0115】
特に、録画予約制御部111は、定期的に提供される連続性のある音声映像情報を録画する際に、対象音声映像情報における非対象音声映像情報を検索制御して、予告部分推定部106に予告部を推定させるようになっている。
【0116】
次に、図3、図4を用いて予告部分推定部106における対象音声映像情報の同一ショットの検出原理について説明する。
【0117】
なお、図3は同一ショットの検出原理を示すフローチャートであり、図4は一ショットの検出結果の一例である。また、ここでは、ドラマなどの連続性を有する連続テレビ番組を要約再生の対象として説明する。
【0118】
通常、N回目の要約再生の対象となる対象音声映像情報において、予告部分の映像情報である予告情報は、N−1回目の非対象音声映像情報における最後の10分程度の範囲に存在しており、この予告情報は、この予告情報における各ショットが有する時間長は短い(5秒程度)、この予告情報の各ショットと対応する対象音声映像情報における各ショットは、時間的に離れた位置に存在している、という特徴を有している。
【0119】
本実施形態では、予告情報における各ショットと対象音声映像情報における同一ショットの検出方法は、非対象音声映像情報の最後の10分間における予告部分の各ショットの映像特徴量と、対象音声映像情報の全てのショットにおける映像特徴量とを比較し、非対象音声映像情報の予告部分の特徴量と一致する対象音声映像情報における各ショットを検出するようになっている。
【0120】
具体的には、予告情報における各ショットの各フレーム毎に対象音声映像情報における同一フレームを検索するようになっている。例えば、連続して一致するフレームの長さが、予め設定されたフレーム数以上である場合に、対象音声映像情報における当該ショットを同一ショットとして検出するようになっている。
【0121】
以下に、図3のフローチャートを用いて検出原理を示す。
【0122】
まず、非対象音声映像情報における最終時刻から10分間の区間にある最初のショットの最初のフレームの映像情報特徴量を読み込み(ステップS1)、この最初の非対象音声映像情報における同一の特徴量を有する対象音声映像情報のフレームを検索する(ステップS2)。
【0123】
なお、この非対象音声映像情報における最終時刻から10分間の区間にある各ショットの各フレームを予告情報フレームという。
【0124】
次いで、対象音声映像情報に最初の予告情報のフレームと同一のフレームが有るか否かを判断する(ステップS3)。同一フレームが無い場合はステップS8に行く。また、予告情報のフレームと同一のフレームが有る場合には、以下に示す動作を行う。
【0125】
まず、同一フレームと判断されたフレーム(以下、同一ショット候補という)と、時間的に次の同一フレーム候補とを比較し、特徴量が一致するか否かを判断し、特徴量が同一のショット候補群を生成する(ステップS4)。この処理を全ての同一ショット候補について行う。
【0126】
例えば、ステップS3において予告情報フレームと同一のフレームがF1,F2,F3,F4,……,F10(同一ショット候補)とすると、F1とF2を、F2とF3の特徴量を比較していき、この同一ショット候補同士を比較して特徴量が一致するフレームがあった場合には、さらに、時間的に次の同一ショット候補と特徴量が同一か否か判断する。これを全ての同一ショット候補について行い、同一の特徴量を有するグループ、すなわち、同一ショット群を生成する。例えば、F1〜F3までが同一ショット群、F4〜F10までが同一ショット群というように同一ショット候補群を生成する。
【0127】
次いで、同一ショット群の時間長が最長のショット群を選択する(ステップS5)。上述の場合はF4〜F10の同一ショット候補群が選択される。
【0128】
次いで、この同一ショット群のフレーム数(ショット数)が30以上であるか否かを判断し(ステップS6)、30以下の場合は、ステップS8に行く。また、30以上の同一ショット群である場合には、ショットの時間的位置、時間長を記憶する(ステップS7)。
【0129】
次いで、予告情報フレームの次のフレームが有るか否か、または、次のショットがあるか否かを判断し(ステップS8)、次のフレームまたはショットがない場合は処理を終了させ、次のフレームまたはショットが有る場合にはステップS2に行き、予告情報フレームの次のフレームまたは次のショットの最初のフレームの特徴量を読み込み(ステップS1)、対象音声映像情報から同一フレームを検索する(ステップS2)。
【0130】
このように予告情報と同一ショットを検出することにより、当該検出された同一ショットの対象音声映像情報における時間情報を蓄積部105に出力するようになっている。
【0131】
なお、同一ショットの検出結果の一例を図4に示す。ここで、Tpは予告情報の各ショットを示し、TqはTpと同一のショットを示す。また、TpendおよびTqendは各音声映像情報におけるエンディング映像を示し、SはショットTqを有する要約セグメントを示す。
【0132】
以上のように、対象音声映像情報および非対象音声映像情報の同一ショットの検出原理は、基本的には、対象音声映像情報と非対象音声映像情報との同一フレームを検索することによって行っているが、上述のような検出原理のみでは、的確に予告情報のみを検出することができない。
【0133】
すなわち、非対象音声映像情報の予告情報の開始時刻、終了時刻などの時間的位置を検出するために、予告情報のある時間的範囲を予め予測して同一ショットの検出を行っている。そのため、偶然に一致するショットが検出される可能性があるとともに、エンディングなどの同じ映像情報が存在することも予想される(図3に示すTpendおよびTqend)。
【0134】
本実施形態では、このような偶然性一致するショットおよび予め予想される同一映像情報を排除するため、以下に示す条件を付加させて当該条件に該当する同一ショットは予告情報ではないとみなすようになっている。
【0135】
その一の条件としては、同一と判断されたショットが1秒以下のショットであることを条件としている。例えば、映像情報の特徴量を、高速処理を行うために比較的容易に取得するようになっているので、図4に示すTpnとN回目の連続テレビ番組の何れかのショットとが偶然的に同一と判断される場合があり、これを排除するための条件である。この条件により、1秒以下のショットは予告情報でないと判断することによって、予告情報のショットでないショットに一致するショットを排除するようになっている。
【0136】
その一の条件としては、同一と判断されたショットが5秒以上のショットであることを条件としている。一般的に、予告情報は複数のショットを短時間で提供するため、各ショットの時間長は短い。したがって、5秒以上、ショットが一致することは、予告情報における任意のショットが一致したものとは考えられないので、これを排除するための条件である。この条件により、各回の音声映像情報において終了を示すエンディング、CM(Commercials)などの各回の音声映像情報に共通の映像情報、予告情報以外で一致する部分を排除するようになっている。
【0137】
さらに、その一の条件としては、同一ショットとして判断されたショットが各対象音声映像情報および非対象音声映像情報における時間的位置が一致しないことを条件としている。この条件は、上述と同様に、各回の音声映像情報において終了を示すエンディング、CM(Commercials)などの各回の音声映像情報に共通の映像情報を排除するためのものである。ただし、本条件では、予め定められた時間的範囲内において一致すれば時間的位置が一致したものとして扱うようになっており、本実施形態では、この時間的範囲を30秒と設定している。
【0138】
さらにまた、その他の条件としては、各検出されたショットにおける時間的位置が連続的でないことを条件としている。予告情報の音声映像情報は対象音声映像情報における特徴的なショットが連続的に結合された音声映像情報の集合である。このため、予告情報の各ショットが時間的に離れているので、同一ショットとして検出された部分が時間的な位置において連続しているときは、何れかのショット、または、双方のショットとも予告情報のショットと異なることになるからである。本実施形態では、当該時間的位置が連続しているときは、双方のショットとも予告部分と同一のショットから排除するようになっている。
【0139】
このような各条件に基づいて同一ショットを検出するようになっているため、予め予告情報の時間的位置を設定することなく、当該予告情報と同一のショットを検出することができるようになっている。
【0140】
次に、図5を用いて予告部分推定部106における対象音声映像情報の同一ショットの検出動作(検出処理工程)について説明する。
【0141】
なお、図5は本実施形態における要約再生における要約セグメントの決定処理の動作を示すフローチャートであり、本動作では、複数回に亘って提供された音声映像情報、すなわち、対象音声映像情報および非対象音声映像情報の映像情報特徴量が既に蓄積部105に蓄積されているものとし、ユーザが要約再生を指示する前に、予め、または、指示したときに本動作を行うようになっている。
【0142】
まず、対象音声映像情報および非対象音声映像情報の特徴量データを読み出して(ステップS11)、非対象音声映像情報の最後の10分間の区間と対象音声映像情報をフレーム毎に比較し、対象音声映像情報から同一ショットを検出する(ステップS12)。
【0143】
次いで、検出された同一ショットが予め設定された時間長(例えば、1秒)以下であるか否かを判断し、当該条件に該当する同一ショットを検出結果より排除する(ステップS13)。
【0144】
次いで、検出された同一ショットが予め設定された時間長(例えば、5秒)以上であるか否かを判断し、当該条件に該当する同一ショットを検出結果より排除する(ステップS14)。
【0145】
次いで、同一ショットにおける非対象音声映像情報における時間的位置(Tp(n))と、対象音声映像情報における時間的位置(Tq(n))とが予め設定された時間以内(例えば、30秒)に存在するか否かを判断し、予め設定された時間内に存在する場合は、同一ショットを検出結果より排除する(ステップS15)。
【0146】
次いで、各同一ショットが対象音声映像情報における時間的位置において、他の同一ショットと隣接するか否かを判断し、他の同一ショットと隣接する場合は、同一ショットを検出結果より排除する(ステップS16)。
【0147】
最後に、同一ショットにおける対象音声映像情報における時間情報、例えば、同一ショットの開始時刻と終了時刻の時間的位置情報を蓄積部105に当該対象音声映像情報に関連付けて格納する(ステップS17)。
【0148】
このように、本実施形態では要約再生の対象となる対象音声映像情報から予告情報と同一ショットを検出するようになっている。
【0149】
次に、図6を用いて要約再生動作について説明する。
【0150】
なお、図6は本実施形態における要約再生動作示すフローチャートであり、本動作では本要約再生に必要な対象音声映像情報並びに当該対象音声映像情報および各音声映像情報のシーンチェンジ情報が既に蓄積部105に蓄積されているものとし、ユーザが要約再生を指示したときに、本動作を行うようになっている。
【0151】
まず、操作部107によってユーザから要約再生の指示が入力されると、制御部109は指示された音声映像情報のジャンル情報を取得する(ステップS21)。なお、ジャンル情報が連続性を有する音声映像情報でない場合には、本動作を終了させ、本動作以外の他の要約再生動作を行う。また、ジャンル情報が連続性を有する音声映像情報の場合は、以下の動作を行う。
【0152】
まず、指示された音声映像情報における同一ショットの検出処理が初めてであるか否かを判断し(ステップS22)、以前に同一ショットを検出したことがあると判断したときは、そのデータを蓄積部105から読み込む(ステップS23)。
【0153】
また、指示された音声映像情報における同一ショットの検出処理が初めてのときは、指示された対象音声映像情報の同一ショットを、前回の音声映像情報、すなわち、非対象音声映像情報を用いて図5に示した予告部分推定部106における上記検出動作を行う(検出処理工程(ステップS24))
次いで、ユーザによって指定された、または、予め設定された要約時間を読み込むと(ステップS25)、上述のように、制御部109は、予告部分推定部106によって検出された、または、蓄積部105から読み込まれた同一ショットの時間情報に基づいて抽出すべき要約セグメントを決定する(決定処理工程(ステップS26))。
【0154】
具体的には、上述のように、対象音声映像情報のシーンチェンジ情報を読み込むとともに、同一ショットの開始時刻前における最も近接したシーンチェンジ点から当該同一ショットの終了時刻後における最も近接したシーンチェンジ点までの区間を要約セグメントとする(図4参照)。
【0155】
最後に、制御部109は、この要約セグメントを要約時間に合致するように時間調整、例えば、要約セグメントの数で要約時間を均等分割し、各要約セグメントの時間長がこの分割した時間に合致するように当該各要約セグメントの時間長を調整して時間順に再生する(生成処理工程(ステップS27))。
【0156】
このように、要約再生時に要約セグメントを決定し、抽出すべき要約セグメントが決定されると、制御部109は、再生部108を制御して、要約再生を開始するとともに、この決定された要約セグメントに基づいて再生部108を制御して要約再生を行うようになっている。
【0157】
なお、本実施形態では、音声映像情報が複数回に亘って提供されない場合は、同一ショットの検出動作(ステップS23)において、非対象音声映像情報に含まれる予告情報の時間的範囲の設定や予め取得した予告情報の入力などを行うことにより、要約再生を行うことができるようにしてもよい。
【0158】
すなわち、本実施形態では、予告情報を有する非対象音声映像情報と要約再生の対象となる対象音声映像情報とを比較し、対象音声映像情報から予め予告情報を設定することなく予告情報と同一ショットを検出するとともに、当該予告情報をも検出するようになっているが、予め予告情報を入力し、または、予告情報の時間的位置を設定し、当該設定された予告情報の時間的範囲、または、入力された予告情報と対象音声映像情報とを比較して、同一のショットを検出するようにしてもよい。
【0159】
また、本実施形態では、ドラマなど連続性を有する音声映像情報であると、ジャンル情報を取得した場合に行うようになっているが、ジャンル情報がニュース番組である場合であっても、上述のように、予告情報の入力または予告情報の時間的範囲を設定することによって要約再生動作を行うようにしてもよい。
【0160】
以上説明したように、本実施形態では、要約再生の対象となる映像情報における予告情報に基づいて入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出することができるので、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0161】
また、要約対象となる映像情報(例えば、複数回の映像情報の何れかの映像情報)と他の映像情報(例えば、要約対象となる映像情報における前回の映像情報)を比較することによって各映像情報で同一となる部分情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0162】
なお、本実施形態では、予告部分の映像情報を有する音声映像情報、すなわち、(N−1)回目の非対象音声映像情報における最終の10分間の区間において同一ショットの検索を行うようになっているが、非対象音声映像情報における検索区間を予め設定しないで検索するようにしてもよい。これは、同一ショットの算出効率を良くするためである。したがたって、勿論、非対象音声映像情報の全てのショットと対象音声映像情報の全てのショットを比較して同一ショットを検出するようにしてもよい。
【0163】
また、本実施形態では、入力された映像情報に基づいてシーンチェンジを検出し、予告情報の同一ショットの時間情報とシーンチェンジの情報に基づいて要約セグメント候補を設定するようになっているが、予告情報と音声映像情報に付帯された音声情報の音声レベルに基づいて特徴部分を検出し、予告情報の同一ショットの時間情報を包含する当該検出された特徴部分に基づいて要約セグメント候補を設定するようにしてもよい。
【0164】
また、本実施形態において抽出された要約セグメントを抽出すべき要約セグメントの一つして、すなわち、要約再生に用いる要約セグメントの候補(以下、要約セグメント候補という)として決定し、要約時間、その要約セグメント候補の重要度などその他の要素を判断してこの要約セグメント候補から要約再生に用いる要約セグメントを決定するようにしてもよい。
【0165】
この場合、例えば、他の要約セグメントの候補を取得する方法としては、図7に示すような要約再生装置において、入力された音声映像情報が基準音声レベルより大きい(小さい)部分で予め設定された時間継続した場合に、その基準音声レベルより大きい(小さい)部分のアドレスを記録し、このアドレスに基づいて当該基準音声レベルより大きいレベル(小さいレベル)の部分を要約セグメント候補として取得する方法が考えられる。
【0166】
また、重要度の設定においては、このような音声レベルによって要約セグメント候補を検出した場合に、当該音声映像情報のジャンル情報を取得し、当該音声情報のジャンル情報に基づいて各音声区間の重要度を決定する方法などが考えられる。
【0167】
また、本実施形態では、要約再生装置100が、上述のようにジャンル情報取得部104、蓄積部105、予告部分推定部106、再生部108および制御部109などによって構成されているが、制御部109にコンピュータおよびハードディスクなどの記録媒体を備え、要約再生装置100の各部に対応する上記処理を行うプログラムを当該記録媒体に格納し、当該プログラムをコンピュータに読み取らせることによって、上述したジャンル情報取得部104、蓄積部105、予告部分推定部106、再生部108および制御部109など要約再生装置100の各部のそれぞれの動作を行うようにしてもよい。
この場合、上述した対象音声映像情報の同一ショットの検出動作および要約再生動作を行うときは、当該格納されたプログラムによりコンピュータを動作させることによって当該対象音声映像情報の同一ショットの検出動作および要約再生動作を行うようにする。また、この場合、制御部109は、本発明に係る識別情報取得手段、取得手段、検出手段、生成手段および決定手段を構成する。
【0168】
【発明の効果】
以上説明したように、請求項1に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0169】
また、請求項2に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0170】
また、請求項3に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【0171】
また、請求項4に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【0172】
また、請求項5に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【0173】
また、請求項6に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0174】
また、請求項7に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0175】
また、請求項8に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0176】
また、請求項9に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【0177】
また、請求項10に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【0178】
また、請求項11に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【0179】
また、請求項12に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0180】
また、請求項13に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0181】
また、請求項14に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【0182】
また、請求項15に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【0183】
また、請求項16に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【0184】
また、請求項17に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【0185】
また、請求項18に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【図面の簡単な説明】
【図1】本発明に係る要約再生装置の概要構成を示すブロック図である。
【図2】本実施形態において、フレームにおける映像情報の特徴量の抽出原理を説明するための図である。
【図3】本実施形態における予告情報と同一ショットを検出する検出動作を示すフローチャートである。
【図4】本実施形態における同一ショットの検出原理を説明するための図(同一ショットの検出結果の一例)である。
【図5】本実施形態における要約再生における要約セグメントの決定処理の動作を示すフローチャートである。
【図6】本実施形態における要約再生動作示すフローチャートである。
【図7】従来の要約再生装置の構成を示すブロック図である。
【符号の説明】
100 … 要約再生装置
101 … デマルチプレクサ
102 … 特徴量抽出部
103 … シーンチェンジ検出部
104 … ジャンル情報取得部(識別情報取得手段)
105 … 蓄積部(取得手段)
106 … 予告部分推定部(検出手段、取得手段)
107 … 操作部
108 … 再生部(生成手段)
109 … 制御部(識別情報取得手段、取得手段、検出手段、決定手段、生成手段)
110 … 表示部
Claims (18)
- 入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段と、
前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、
を備えたことを特徴とする映像情報要約装置。 - 入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段と、
前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、
を備えたことを特徴とする映像情報要約装置。 - 請求項2に記載の映像情報要約装置において、
前記検出手段が予め設定された時間長を有する前記同一部分情報を検出することを特徴とする映像情報要約装置。 - 請求項2または3に記載の映像情報要約装置において、
前記検出手段によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致する同一部分情報であるとき、
前記検出手段が、当該時間的範囲内に一致する同一部分情報を、当該検出手段によって検出された前記同一部分情報より除外するとともに、
前記決定手段が、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定することを特徴とする映像情報要約装置。 - 請求項1乃至4の何れか一項に記載の映像情報要約装置において、
前記検出手段によって検出された前記同一部分情報の当該入力された映像情報における時間的位置と他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的連続した同一部分情報であるとき、
前記検出手段が、当該時間的に連続した同一部分情報を、当該検出手段によって検出された前記同一部分情報より除外するとともに、
前記決定手段が、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定することを特徴とする映像情報要約装置。 - 請求項1乃至5の何れか一項に記載の映像情報要約装置において、
前記映像情報の識別情報を取得する識別情報取得手段を設け、
前記識別情報取得手段によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、
前記決定手段が、前記検出手段によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定することを特徴とする映像情報要約装置。 - 入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得処理工程と、
前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、
を含むことを特徴とする映像情報要約方法。 - 入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得処理工程と、
前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、
を含むことを特徴とする映像情報要約方法。 - 請求項8に記載の映像情報要約方法において、
前記検出処理工程においては予め設定された時間長を有する前記同一部分情報を検出することを特徴とする映像情報要約方法。 - 請求項8または9に記載の映像情報要約方法において、
前記検出処理工程によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致する同一部分情報であるとき、
前記検出処理工程においては、当該時間的範囲内に一致する同一部分情報を、当該検出処理工程によって検出された前記同一部分情報より除外するとともに、
前記決定処理工程においては、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて抽出されるべき前記部分映像情報を決定することを特徴とする映像情報要約方法。 - 請求項7乃至10の何れか一項に記載の映像情報要約方法において、
前記検出処理工程によって検出された前記同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的連続した同一部分情報であるとき、
前記検出処理工程においては、当該時間的に連続した同一部分情報を、当該検出処理工程によって検出された前記同一部分情報より除外する前記時間的に接する同一部分情報を検出結果より除外するとともに、
前記決定処理工程においては、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定することを特徴とする映像情報要約方法。 - 請求項7乃至11の何れか一項に記載の映像情報要約方法において、
前記映像情報の識別情報を取得する識別情報取得処理工程を含み、
前記識別情報取得処理工程によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、
前記決定処理工程においては、前記検出処理工程によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定することを特徴とする映像情報要約方法。 - 入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、
前記コンピュータを、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段、
前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、
として機能させることを特徴とする映像情報要約プログラム。 - コンピュータによって、入力された映像情報より当該映像情報の一部である部分映像情報を1または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、
前記コンピュータを、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段、
前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、
として機能させることを特徴とする映像情報要約プログラム。 - 請求項14に記載の映像情報要約プログラムにおいて、
前記コンピュータを、
予め設定された時間長を有する前記同一部分情報を検出する検出手段として機能させることを特徴とする映像情報要約プログラム。 - 請求項14または15に記載の映像情報要約プログラムにおいて、
前記検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致する同一部分情報であるとき、
前記コンピュータを、
当該時間的範囲内に一致する同一部分情報を、前記検出された前記同一部分情報より除外する検出手段、
前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、
として機能させることを特徴とする映像情報要約装置。 - 請求項13乃至16の何れか一項に記載の映像情報要約プログラムにおいて、
前記検出された同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的連続した同一部分情報であるとき、
前記コンピュータを、
当該時間的に連続した同一部分情報を、前記検出された前記同一部分情報より除外する検出手段、
前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、
として機能させることを特徴とする映像情報要約装置。 - 請求項1乃至5の何れか一項に記載の映像情報要約プログラムにおいて、
前記コンピュータを
前記映像情報の識別情報を取得する識別情報取得手段として機能させるとともに、
当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、
前記検出された同一部分情報に基づいて前記抽出すべき部分映像情報を決定する決定手段として機能させることを特徴とする映像情報要約プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001304359A JP4426743B2 (ja) | 2001-09-13 | 2001-09-28 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
EP02256125A EP1293914A3 (en) | 2001-09-13 | 2002-09-04 | Apparatus, method and processing program for summarizing image information |
US10/238,619 US7149365B2 (en) | 2001-09-13 | 2002-09-11 | Image information summary apparatus, image information summary method and image information summary processing program |
KR1020020055716A KR20030023576A (ko) | 2001-09-13 | 2002-09-13 | 영상 정보 요약 장치, 영상 정보 요약 방법 및 영상 정보요약 처리 프로그램 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001278504 | 2001-09-13 | ||
JP2001-278504 | 2001-09-13 | ||
JP2001304359A JP4426743B2 (ja) | 2001-09-13 | 2001-09-28 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003163881A JP2003163881A (ja) | 2003-06-06 |
JP4426743B2 true JP4426743B2 (ja) | 2010-03-03 |
Family
ID=26622168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001304359A Expired - Fee Related JP4426743B2 (ja) | 2001-09-13 | 2001-09-28 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US7149365B2 (ja) |
EP (1) | EP1293914A3 (ja) |
JP (1) | JP4426743B2 (ja) |
KR (1) | KR20030023576A (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763899B1 (ko) | 2004-02-20 | 2007-10-05 | 삼성전자주식회사 | 앵커 샷 검출 방법 및 장치 |
US20090208184A1 (en) * | 2004-12-03 | 2009-08-20 | Nec Corporation | Video content playback assistance method, video content playback assistance system, and information distribution program |
KR100681017B1 (ko) * | 2005-02-15 | 2007-02-09 | 엘지전자 주식회사 | 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법 |
JP2007199944A (ja) * | 2006-01-25 | 2007-08-09 | Sega Corp | シミュレーション映像のダイジェストを表示制御するプログラム |
JP4650288B2 (ja) * | 2006-02-01 | 2011-03-16 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
US8135699B2 (en) * | 2006-06-21 | 2012-03-13 | Gupta Puneet K | Summarization systems and methods |
JP2008228234A (ja) * | 2007-03-15 | 2008-09-25 | Victor Co Of Japan Ltd | コンテンツ再生装置およびコンテンツ再生プログラム |
US20080269924A1 (en) * | 2007-04-30 | 2008-10-30 | Huang Chen-Hsiu | Method of summarizing sports video and apparatus thereof |
JP2009021732A (ja) * | 2007-07-11 | 2009-01-29 | Nippon Hoso Kyokai <Nhk> | 蓄積型放送受信装置および要約映像再生プログラム |
JP4825815B2 (ja) * | 2008-01-11 | 2011-11-30 | Kddi株式会社 | 要約映像作成装置、要約映像作成方法、要約映像作成プログラム、映像解析装置、映像解析方法及び映像解析プログラム |
KR100921571B1 (ko) * | 2008-04-23 | 2009-10-13 | (주)올라웍스 | 오디오 신호를 분석하여 정보를 제공하기 위한 방법,시스템 및 컴퓨터 판독 가능한 기록 매체 |
JP2010062870A (ja) * | 2008-09-03 | 2010-03-18 | Toshiba Corp | 映像記録再生装置および映像記録再生方法 |
JP2009095055A (ja) * | 2008-12-26 | 2009-04-30 | Hitachi Ltd | 動画再生装置 |
JP4721079B2 (ja) | 2009-02-06 | 2011-07-13 | ソニー株式会社 | コンテンツ処理装置および方法 |
JP2011004197A (ja) * | 2009-06-18 | 2011-01-06 | Toshiba Corp | 録画再生装置及び再生方法 |
JP5515890B2 (ja) * | 2010-03-15 | 2014-06-11 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体 |
KR101378404B1 (ko) * | 2010-05-19 | 2014-03-27 | 에스케이플래닛 주식회사 | 요약 영상 검출 방법 및 장치 |
US9792502B2 (en) | 2014-07-23 | 2017-10-17 | Gopro, Inc. | Generating video summaries for a video using video summary templates |
US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
KR20230039934A (ko) | 2021-09-15 | 2023-03-22 | 씨제이올리브네트웍스 주식회사 | 멀티모달 분석 기반의 요약영상 생성 방법 및 이를 위한 연산장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
US5805733A (en) * | 1994-12-12 | 1998-09-08 | Apple Computer, Inc. | Method and system for detecting scenes and summarizing video sequences |
JP3367268B2 (ja) * | 1995-04-21 | 2003-01-14 | 株式会社日立製作所 | 映像のダイジェスト作成装置及び方法 |
JPH1032776A (ja) | 1996-07-18 | 1998-02-03 | Matsushita Electric Ind Co Ltd | 映像表示方法及び記録再生装置 |
JPH10276435A (ja) | 1997-03-28 | 1998-10-13 | Sanyo Electric Co Ltd | シーンチェンジ検出方法 |
JP4227241B2 (ja) * | 1999-04-13 | 2009-02-18 | キヤノン株式会社 | 画像処理装置及び方法 |
US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
US6925455B2 (en) * | 2000-12-12 | 2005-08-02 | Nec Corporation | Creating audio-centric, image-centric, and integrated audio-visual summaries |
KR100411340B1 (ko) * | 2001-03-09 | 2003-12-18 | 엘지전자 주식회사 | 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템 |
JP4615166B2 (ja) * | 2001-07-17 | 2011-01-19 | パイオニア株式会社 | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム |
US6956904B2 (en) * | 2002-01-15 | 2005-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Summarizing videos using motion activity descriptors correlated with audio features |
US7006945B2 (en) * | 2003-01-10 | 2006-02-28 | Sharp Laboratories Of America, Inc. | Processing of video content |
-
2001
- 2001-09-28 JP JP2001304359A patent/JP4426743B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-04 EP EP02256125A patent/EP1293914A3/en not_active Withdrawn
- 2002-09-11 US US10/238,619 patent/US7149365B2/en not_active Expired - Fee Related
- 2002-09-13 KR KR1020020055716A patent/KR20030023576A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
JP2003163881A (ja) | 2003-06-06 |
EP1293914A3 (en) | 2004-09-01 |
KR20030023576A (ko) | 2003-03-19 |
US20030048843A1 (en) | 2003-03-13 |
US7149365B2 (en) | 2006-12-12 |
EP1293914A2 (en) | 2003-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4426743B2 (ja) | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム | |
JP4615166B2 (ja) | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム | |
JP4546682B2 (ja) | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム | |
KR100833806B1 (ko) | 미리 설정된 기록 시간 간격에 앞서 또는 미리 설정된 기록 시간 간격을 넘어 프로그램들을 기록하기 위한 방법들 및 장치 | |
US7738767B2 (en) | Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data | |
JP4482829B2 (ja) | 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム | |
KR100547317B1 (ko) | 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치 | |
US9465996B1 (en) | Apparatus, systems and methods for control of media content event recording | |
US8260108B2 (en) | Recording and reproduction apparatus and recording and reproduction method | |
KR20060027826A (ko) | 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 | |
US20090196569A1 (en) | Video trailer | |
US20100259688A1 (en) | method of determining a starting point of a semantic unit in an audiovisual signal | |
JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
JP3821362B2 (ja) | インデックス情報生成装置、記録再生装置、及びインデックス情報生成方法 | |
JP4432823B2 (ja) | 特定条件区間検出装置および特定条件区間検出方法 | |
US8234278B2 (en) | Information processing device, information processing method, and program therefor | |
JP4198331B2 (ja) | 録画装置 | |
JP2007066409A (ja) | 記録再生装置および記録再生方法 | |
JP2008020767A (ja) | 記録再生装置および方法、プログラム、並びに記録媒体 | |
JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
JP5682167B2 (ja) | 映像音声記録再生装置、および映像音声記録再生方法 | |
Divakaran et al. | A video-browsing-enhanced personal video recorder | |
KR20020014857A (ko) | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 | |
JP2006139829A (ja) | 要約再生装置、要約再生方法、要約再生プログラムおよびそのプログラムが記録された情報記録媒体 | |
JP2000287156A (ja) | 情報記録再生装置および方法、並びに提供媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |