JP4426743B2 - 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム - Google Patents
映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム Download PDFInfo
- Publication number
- JP4426743B2 JP4426743B2 JP2001304359A JP2001304359A JP4426743B2 JP 4426743 B2 JP4426743 B2 JP 4426743B2 JP 2001304359 A JP2001304359 A JP 2001304359A JP 2001304359 A JP2001304359 A JP 2001304359A JP 4426743 B2 JP4426743 B2 JP 4426743B2
- Authority
- JP
- Japan
- Prior art keywords
- video information
- information
- partial
- same
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像情報における要約再生装置の技術分野に属し、より詳細には、予告情報に基づいて要約再生時に抽出すべき部分映像情報を決定する技術分野に属する。
【０００２】
【従来の技術】
近年、テレビジョン放送による番組などの映像情報を録画・再生するＶＴＲ（Video Tape Recorder）などの記録装置が普及するにつれて、記録された映像情報を全て見ることなく当該映像情報を短時間に要約した映像情報（以下、要約情報という）を提供するダイジェスト再生（要約再生）が実用に供されるようになっている。
【０００３】
このような要約再生を行う方法としては、主に映像情報そのものに着目して、例えば、場面が転換された部分（シーンチェンジ）を検出して要約再生を行う方法と、映像情報に付帯される音声情報に着目して、当該映像情報に付帯される音声情報の振幅と継続時間を利用した要約再生を行う方法がある。音声情報に着目して要約再生を行う要約再生を行う方法の代表的なものに特開平１０−３２７７６号公報に記載されたものがある。
【０００４】
同公報に記載の要約再生装置１は、図７に示すように、通信回線または電波などによって提供された音声情報が付帯されている映像情報の音声レベルを検出する音声レベル検出手段３と、その音声レベルと基準音声レベルとを比較する比較器４と、音声レベルが基準音声レベルより大きい継続時間を得る継続時間タイマ５と、継続時間タイマ５によって得られた継続時間からダイジェスト部分のアドレスを生成するダイジェストアドレス生成手段８と、そのアドレスを記録する記録再生手段９と、記録したアドレスを再生するダイジェストアドレス再生手段１１と、そのアドレスに基づいてダイジェスト部分の音声映像情報を再生させる再生制御手段１０とを備えている。
【０００５】
この構成より、この要約再生装置１は、入力された映像情報が基準音声レベルより大きい部分で予め設定された時間継続した場合に、その基準音声レベルより大きい部分のアドレスを記録し、このアドレスに基づいて当該基準音声レベルより大きいレベルの部分を抽出して音声映像情報の要約再生を行うようになっている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述のような映像情報に付帯される音声情報に着目して要約再生を行う方法では、ドラマなどストーリー性（連続性）を有する映像情報において、当該映像情報の内容が理解されないと適切な要約再生を行うことができないという問題を有していた。
【０００７】
通常、スポーツ番組では、音声レベルが大きい音声部分は、映像情報の盛り上がった部分を示し、映像情報の特徴部分を構成しているとともに、ニュース番組では、音声の無い無音部分は、場面が転換された、または、内容が切り替わった部分を示し、映像情報の特徴部分を構成している。
【０００８】
しかしながら、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させる連続性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【０００９】
したがって、上述のような要約再生方法では、ドラマなどの映像情報においては、抽出した部分が映像情報における重要な部分でない場合も多いため、適切な要約再生を行うことができないという問題を有していた。
【００１０】
本発明は、上記の各問題点に鑑みて為されたもので、その課題は、ドラマなどの連続性を有する映像情報においてもより適切に操作者が映像情報を把握することのできる要約情報を提供することにある。
【００１１】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段と、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、を備えた構成を有している。
【００１２】
この構成により、請求項１に記載の発明では、取得手段が入力された映像情報における予告情報を取得し、検出手段が入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出するとともに、決定手段がこの同一部分情報に基づいて部分映像情報を決定し、生成手段がこの部分映像情報に基づいて要約情報を生成する。
【００１３】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【００１４】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００１５】
また、請求項２に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段と、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、を備えた構成を有している。
【００１６】
この構成により、請求項２に記載の発明では、取得手段が入力された映像情報における少なくとも予告情報を有する映像情報を取得し、検出手段が入力された映像情報と他の映像情報とを比較して同一の部分情報を当該入力された映像情報から検出するとともに、決定手段がこの同一部分情報に基づいて部分映像情報を決定し、生成手段がこの部分映像情報に基づいて要約情報を生成する。
【００１７】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【００１８】
したがって、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００１９】
また、請求項３に記載の発明は、請求項２に記載の映像情報要約装置において、前記検出手段が予め設定された時間長を有する前記同一部分情報を検出する構成を備えている。
【００２０】
この構成により、請求項３に記載の発明では、検出手段が予め設定された時間長を有する同一部分情報を検出する。
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、１つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度（例えば、５秒程度）の時間長を有するに留まる。
【００２１】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００２２】
また、請求項４に記載の発明は、請求項２または３に記載の映像情報要約装置において、前記検出手段によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記検出手段が、検出した前記同一部分情報を当該検出結果より除外するとともに、前記決定手段が、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定する構成を有している。
【００２３】
この構成により、請求項４に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、検出手段が当該検出した同一部分情報を検出結果より除外するとともに、決定手段がこの検出結果に基づいて部分映像情報を決定する。
【００２４】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【００２５】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【００２６】
また、請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の映像情報要約装置において、前記検出手段によって検出された前記同一部分情報の当該入力された映像情報における時間的位置と他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的に接しているとき、前記検出手段が、前記時間的に接する同一部分情報を検出結果より除外するとともに、前記決定手段が、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定する構成を有している。
【００２７】
この構成により、請求項５に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、検出手段が時間的に接する同一部分情報を検出結果より除外するとともに、決定手段がこの検出結果に基づいて部分映像情報を決定する。
【００２８】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【００２９】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００３０】
また、請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の映像情報要約装置において、前記映像情報の識別情報を取得する識別情報取得手段を設け、前記識別情報取得手段によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記決定手段が、前記検出手段によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定する構成を有している。
【００３１】
この構成により、請求項６に記載の発明では、映像情報の識別情報を取得する識別情報取得手段を設け、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、決定手段がこの検出された同一部分情報に基づいて部分映像情報を決定する。
【００３２】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【００３３】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００３４】
また、請求項７に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得処理工程と、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、を含む構成を有している。
【００３５】
この構成により、請求項７に記載の発明では、取得処理工程によって入力された映像情報における予告情報が取得され、検出処理工程によって入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報が検出されるとともに、決定処理工程によってこの同一部分情報に基づいて部分映像情報が決定され、生成処理工程によってこの部分映像情報に基づいて要約情報が生成される。
【００３６】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【００３７】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００３８】
また、請求項８に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得処理工程と、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、を含む構成を有している。
【００３９】
この構成により、請求項８に記載の発明では、取得処理工程によって入力された映像情報における少なくとも予告情報を有する映像情報が取得され、検出処理工程によって入力された映像情報と他の映像情報とが比較されて同一の前記部分情報が当該入力された映像情報から検出されるとともに、決定処理工程によってこの同一部分情報に基づいて抽出されるべき部分映像情報が決定され、生成処理工程によってこの部分映像情報に基づいて要約情報が生成される。
【００４０】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【００４１】
したがって、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることになるので、当該予告情報に基づいて要約情報を生成することができ、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００４２】
また、請求項９に記載の発明は、請求項８に記載の映像情報要約方法において、前記検出処理工程においては予め設定された時間長を有する前記同一部分情報を検出する構成を備えている。
【００４３】
この構成により、請求項９に記載の発明では、検出処理工程によって予め設定された時間長を有する同一部分情報を検出する。
【００４４】
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、１つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度（例えば、５秒程度）の時間長を有するに留まる。
【００４５】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００４６】
また、請求項１０に記載の発明は、請求項８または９に記載の映像情報要約方法において、前記検出処理工程によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記検出処理工程においては、検出された前記同一部分情報を当該検出結果より除外するとともに、前記決定処理工程においては、前記予め定められた時間的範囲内で一致した前記同一部分映像情報を除外した検出結果に基づいて抽出されるべき前記部分映像情報を決定する構成を有している。
【００４７】
この構成により、請求項１０に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、検出処理工程によって当該検出された同一部分情報が検出結果より除外されるとともに、決定処理工程によってこの検出結果に基づいて部分映像情報が決定される。
【００４８】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【００４９】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【００５０】
また、請求項１１に記載の発明は、請求項７乃至１０の何れか一項に記載の映像情報要約方法において、前記検出処理工程によって検出された前記同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置と時間的に接しているとき、前記検出処理工程においては、前記時間的に接する同一部分情報を検出結果より除外するとともに、前記決定処理工程においては、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する構成を有している。
【００５１】
この構成により、請求項１１に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、検出処理工程によって時間的に接する同一部分情報を検出結果より除外させるとともに、決定処理工程によってこの検出結果に基づいて部分映像情報を決定させる。
【００５２】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【００５３】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００５４】
また、請求項１２に記載の発明は、請求項７乃至１１の何れか一項に記載の映像情報要約方法において、前記映像情報の識別情報を取得する識別情報取得処理工程を含み、前記識別情報取得処理工程によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記決定処理工程においては、前記検出処理工程によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定する構成を有している。
【００５５】
この構成により、請求項１２に記載の発明では、映像情報の識別情報を取得する識別情報取得処理工程を含み、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、決定処理工程によってこの検出された同一部分情報に基づいて部分映像情報を決定させる。
【００５６】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【００５７】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００５８】
また、請求項１３に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、前記コンピュータを、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、として機能させる構成を有している。
【００５９】
この構成により、請求項１３に記載の発明では、コンピュータによって、入力された映像情報における予告情報を取得し、入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出するとともに、この同一部分情報に基づいて部分映像情報を決定し、この部分映像情報に基づいて要約情報を生成する。
【００６０】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【００６１】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００６２】
また、請求項１４に記載の発明は、コンピュータによって、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、前記コンピュータを、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、として機能させる構成を有している。
【００６３】
この構成により、請求項１４に記載の発明では、コンピュータによって、入力された映像情報における少なくとも予告情報を有する映像情報が取得され、入力された映像情報と他の映像情報とが比較されて同一の前記部分情報が当該入力された映像情報から検出されるとともに、この同一部分情報に基づいて部分映像情報が決定され、この部分映像情報に基づいて要約情報が生成される。
【００６４】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【００６５】
したがって、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができ、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００６６】
また、請求項１５に記載の発明は、請求項１４に記載の映像情報要約プログラムにおいて、前記コンピュータを、予め設定された時間長を有する前記同一部分情報を検出する検出手段として機能させる構成を備えている。
【００６７】
この構成により、請求項１５に記載の発明では、コンピュータによって、予め設定された時間長を有する同一部分情報を検出する。
【００６８】
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、１つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度（例えば、５秒程度）の時間長を有するに留まる。
【００６９】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００７０】
また、請求項１６に記載の発明は、請求項１４または１５に記載の映像情報要約プログラムにおいて、前記検出された同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記コンピュータを、前記検出した同一部分情報を検出結果より除外する検出手段、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、として機能させる構成を有している。
【００７１】
この構成により、請求項１６に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、コンピュータによって、当該検出した同一部分情報を検出結果より除外するとともに、この検出結果に基づいて部分映像情報を決定する。
【００７２】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【００７３】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【００７４】
また、請求項１７に記載の発明は、請求項１３乃至１６の何れか一項に記載の映像情報要約プログラムにおいて、前記検出された同一部分映像情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置と時間的に接しているとき、前記コンピュータを、前記時間的に接する同一部分情報を検出結果より除外する検出手段、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、として機能させる構成を有している。
【００７５】
この構成により、請求項１７に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、コンピュータによって、時間的に接する同一部分情報を検出結果より除外するとともに、この検出結果に基づいて部分映像情報を決定する。
【００７６】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【００７７】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００７８】
また、請求項１８に記載の発明は、請求項１乃至５の何れか一項に記載の映像情報要約プログラムにおいて、前記コンピュータを前記映像情報の識別情報を取得する識別情報取得手段として機能させるとともに、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記検出された同一部分情報に基づいて前記抽出すべき部分映像情報を決定する決定手段として機能させる構成を有している。
【００７９】
この構成により、請求項１８に記載の発明では、コンピュータによって、映像情報の識別情報を取得し、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、この検出された同一部分情報に基づいて部分映像情報を決定する。
【００８０】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【００８１】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００８２】
【発明の実施の形態】
次に、本発明に好適な実施の形態について、図面に基づいて説明する。
【００８３】
本実施形態は、通信回線または電波などによって提供されるテレビジョン放送の番組などの音声映像情報を要約再生する要約再生装置に対して本発明を適用した場合の実施形態である。
【００８４】
まず、図１、図２を用いて本実施形態における要約再生装置の全体の構成および概要動作について説明する。
【００８５】
なお、図１は本実施形態の要約再生装置の概要構成を示すブロック図であり、図２はフレームにおける映像情報の特徴量の抽出原理を説明するための図である。
【００８６】
図１に示す本実施形態の要約再生装置１００は、通信回線から送信された、または、図示しない受信部によって受信されたデジタル音声映像情報（以下、単に音声映像情報という）を入力するようになっており、この入力されたデジタル信号である各音声映像情報を復号化するとともに、復号化された各音声映像情報から各シーン毎の映像情報における特徴量を抽出し、当該デジタル音声映像情報における予告情報を用いることによって要約再生に際して抽出すべき部分映像情報（以下、要約セグメントという）を決定するようになっている。
【００８７】
この予告情報は、入力されたデジタル音声映像情報の複数の特徴的なシーンにおける短い映像部分（以下、ショット（部分情報）という）が連続的に結合されたものであり、音声映像情報の制作者である人間が音声映像情報の内容を理解して編集され、当該音声映像情報を簡易に要約した映像情報である。
【００８８】
通常、ドラマなどの連続性を有する映像情報、すなわち、シナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立する映像情報は、複数回に亘って映像情報が提供されて当該音声映像情報における内容が完結すること、各音声映像情報は一度に提供されることがほとんどなく、各音声映像情報の提供には時間的なずれが生ずること、各回の音声映像情報に次回の予告映像が含まれ、提供されること、などの特徴を有している。
【００８９】
このような特徴に鑑み、本実施形態では、連続性のある複数回の音声映像情報を、それぞれ、録画などによって蓄積して各音声映像情報の特徴量を抽出し、要約再生を行う場合には、要約再生の対象となる音声映像情報（例えば、Ｎ回目（以下、対象音声映像情報という））と、対象音声映像情報における予告情報を有する音声映像情報（例えば、Ｎ−１回目（以下、非対象音声映像情報という））とを比較するとともに、同一のショットを対象音声映像情報から検出し、この同一ショットに基づいて抽出すべき要約セグメントを決定するようになっている。
【００９０】
本実施形態の要約再生装置１００は、図１に示すように、取得された音声映像情報から映像情報および当該映像情報における識別情報（以下、ジャンル情報という）を有する情報（以下、付帯情報という）を分離するデマルチプレクサ１０１と、各音声映像情報の特徴量を抽出する特徴量抽出部１０２と、取得された音声映像情報から各シーンのシーンチェンジを検出するシーンチェンジ検出部１０３と、付帯情報からジャンル情報を取得するジャンル情報取得部１０４と、各回の音声映像情報を蓄積するとともに、各音声映像情報において取得された特徴量およびジャンル情報を蓄積する蓄積部１０５と、音声映像情報から当該音声映像情報における予告情報と同一のショットを検出する予告部分推定部１０６と、各部の操作を行うとともに、音声映像情報を要約する時間長を入力する操作部１０７と、蓄積された音声映像情報の要約再生を行う再生部１０８と、同一ショットに基づいて蓄積された音声映像情報における要約セグメントを決定するとともに再生部１０８を制御する制御部１０９と、要約再生された映像信号を音声信号とともに表示・出力する表示部１１０と、連続性のある複数回の音声映像情報の録画予約を行う録画予約制御部１１１とを備えている。
【００９１】
なお、予告部分推定部１０６は、本発明に係る検出手段を構成し、さらに、蓄積部１０５とともに、本発明に係る取得手段を構成する。また、制御部１０９は、再生部１０８とともに本発明に係る生成手段を構成し、さらに、制御部１０９は本発明に係る決定手段および生成手段を構成する。
【００９２】
デマルチプレクサ１０１には、通信回線から送出された若しくは図示しない受信部によって受信された音声映像情報、または、既に蓄積部１０５に蓄積された音声映像情報が入力されるようになっており、デマルチプレクサ１０１は、この入力されたデジタル音声映像情報から映像情報および付帯情報を分離して、映像情報を特徴量抽出部１０２およびシーンチェンジ検出部１０３に、付帯情報をジャンル情報取得部１０４に出力するようになっている。
【００９３】
この付帯情報は、例えば、ニュース番組、スポーツ観戦番組、映画、ドラマ、歌番組およびバラエティ番組などのジャンル情報を一部に有しており、ＢＳ（BroadcastingSatellite）デジタル放送では、番組配列情報（Service Information）がこの付帯情報に当たる。この場合、デマルチプレクサ１０１は番組配列情報をジャンル情報取得部１０４に出力するようになっている。
【００９４】
特徴量抽出部１０２にはデマルチプレクサ１０１から出力された映像情報が入力されるようになっており、この特徴量抽出部１０２は、入力された映像情報の全てのフレームにおける特徴量を抽出し、この抽出した特徴量を蓄積部１０５に出力するようになっている。
【００９５】
例えば、本実施形態では、各フレーム毎に色平均を算出し、この色平均値を特徴量として抽出するようになっており、特に、本実施形態では、高速処理を行うため、図２に示すように、画面中央の一部分の色平均を各フレーム毎に算出するようになっている。
【００９６】
この各フレーム毎の色平均を算出して当該映像情報の特徴量を抽出するという理論については、例えば、電子情報通信学会論文誌、Ｄ−II Ｖｏｌ．Ｊ８１−Ｄ−II Ｎｏ．８ ｐｐ１８３１−１８３７ １９９８年８月発行の「時系列フレーム特徴の圧縮符号化に基づく映像シーンの高速分類方法」に記載されているものがあり、この文献に記載されている映像情報の特徴量を抽出する方法は、各フレーム毎の色平均を各ＲＧＢ表色系の各成分について求め、それら３つの成分を組にして各フレームの特徴量とするようになっている。
【００９７】
シーンチェンジ検出部１０３には、デマルチプレクサ１０１から出力された映像情報が入力されるようになっており、シーンチェンジ検出部１０３は、この入力された映像情報において、シーンチェンジ検出を行い、シーンチェンジが行われた時間的位置情報（以下、単に時間情報）を蓄積部１０５に出力するようになっている。
【００９８】
例えば、このシーンチェンジの代表的な検出方法としては、特願平１０−２７６４３５号公報記載のシーンチェンジ検出方法が知られており、この検出方法は、先行するシーンと後続するシーンのヒストグラムの類似程度に基づいて両シーンにおいてシーンチェンジが発生したか否かを判断するようになっている。
【００９９】
ジャンル情報取得部１０４にはデマルチプレクサ１０１から出力された付帯情報（番組配列情報）が入力されるようになっており、このジャンル情報取得部１０４は、この入力された付帯情報（番組配列情報）に基づいて音声映像情報における映画、ニュース、ドラマなどジャンル情報を取得し、このジャンル情報を蓄積部１０５に出力するようになっている。
【０１００】
なお、このジャンル情報は、入力された音声映像情報と別に取得するようにしてもよい。例えば、インターネットなどの通信回線を介して任意の場所に格納されている当該入力された音声映像情報に関するジャンル情報を取得するようにしてもよい。
【０１０１】
また、ジャンル情報を入力された音声映像情報から取得する代わりに、当該入力された音声映像情報における音声情報に基づいて推定するようにしてもよい。
【０１０２】
この場合、本実施形態に推定部を設け、この推定部によって入力された音声映像情報からジャンルを推定する。例えば、各ジャンルを特定するような特徴のあるテキスト情報を予め用意しておき、入力された音声映像情報から音声認識技術を用いて音声を抽出するとともに、その音声認識結果をテキスト情報として予め用意されたテキスト情報との一致度を算出し、この算出結果に基づいてジャンルを推定するようになっている。
【０１０３】
蓄積部１０５には入力された複数回の各音声映像情報、特徴量抽出部１０２によって抽出された各音声映像情報における映像情報の特徴量、シーンチェンジ検出部１０３によって検出された当該各音声映像情報におけるシーンチェンジが行われた時間情報およびジャンル情報取得部１０４によって取得された各音声映像情報のジャンル情報が各音声映像情報毎に関連付けられて蓄積されるようになっている。
【０１０４】
この蓄積部１０５は、後述する予告情報と同一のショットを検出するため制御部１０９の指示に基づいて、要約再生の対象となる対象音声映像情報および非対象音声映像情報並びに当該各対象および非対象音声映像情報の特徴量を予告部分推定部１０６に出力するようになっている。
【０１０５】
また、この蓄積部１０５は、この予告部分推定部１０６から出力される当該対象音声映像情報における予告情報と同一のショットの時間的位置情報（以下、時間情報という）を蓄積するようになっており、この予告情報と同一ショットの時間情報は対象音声映像情報に関連付けられて蓄積するようになっている。
【０１０６】
さらに、この蓄積部１０５は、抽出すべき要約セグメントを決定して要約再生を行うため、制御部１０９の指示に基づいて音声映像情報を再生部１０８に、シーンチェンジ情報および予告部分映像情報の時間情報を制御部１０９に出力するようになっている。
【０１０７】
予告部分推定部１０６には、対象音声映像情報と、非対象音声映像情報における予告情報を有する部分の音声映像情報の特徴量が入力されるようになっている。通常、予告情報は非対象音声映像情報の終了時刻前の１０分間の区間に含まれていることがほとんどであるため、本実施形態では、予告部分推定部１０６には非対象音声映像情報の終了時刻前の１０分間の区間を予告情報として入力するようになっている。
【０１０８】
この予告部分推定部１０６は、入力された対象音声映像情報と非対象音声映像情報の特徴量とを比較するとともに、同一のショットを対象音声映像情報から検出し、この検出されたショットの対象音声映像情報における時間情報を蓄積部１０５に出力するようになっている。なお、この同一ショットの検出原理および検出動作の詳細については後述する。
【０１０９】
再生部１０８には蓄積部１０５から出力された音声映像情報が入力されるようになっており、この再生部１０８は入力された多重化されている音声映像情報を映像情報および音声情報に分離するとともに復号し、制御部１０９の指示に基づいて要約再生を行うようになっている。また、この再生部１０８はこの再生された音声信号および映像信号を表示部１１０に出力するようになっている。
【０１１０】
制御部１０９は、操作部１０７によって入力された指示に基づいて蓄積部１０５における蓄積制御を行うとともに、予告部分推定部１０６によって検出された対象音声映像情報における予告情報の映像情報およびシーンチェンジ情報に基づいて要約セグメントを決定し（以下、要約セグメント決定処理という）、この決定した要約セグメントに基づいて再生部１０８の再生制御を行うようになっている。
【０１１１】
また、この要約セグメント決定処理においては、当該検出された同一ショットの対象音声映像情報における時間情報を含むシーンを、シーンチェンジ情報に基づいて抽出するようになっており、制御部１０９はこの抽出されたシーンを要約セグメントとして時間順に要約再生を行うようになっている。
【０１１２】
具体的には、後述するように、対象音声映像情報のシーンチェンジ情報を読み込むとともに、同一ショットの開始時刻前における最も近接したシーンチェンジ点から当該同一ショットの終了時刻後における最も近接したシーンチェンジ点までの区間を要約セグメントと決定するようになっている（図４参照）。
【０１１３】
表示部１１０には再生部１０８から出力された音声信号および映像信号が入力されるようになっており、この表示部１１０は、この入力された映像信号をモニター画面などに表示するとともに、音声信号をスピーカなどによって拡声するようになっている。
【０１１４】
録画予約制御部１１１は、制御部１０９を介して入力された操作部１０７における指示に基づいてテレビジョン放送などの番組（音声映像情報）またはテレビジョン放送などによって提供される全ての音声映像情報を蓄積部１０５に蓄積させるよう蓄積部１０５を制御するとともに、蓄積部１０５に音声映像情報を蓄積する際に、対象音声映像情報および非対象音声映像情報関連付けて格納するようになっている。
【０１１５】
特に、録画予約制御部１１１は、定期的に提供される連続性のある音声映像情報を録画する際に、対象音声映像情報における非対象音声映像情報を検索制御して、予告部分推定部１０６に予告部を推定させるようになっている。
【０１１６】
次に、図３、図４を用いて予告部分推定部１０６における対象音声映像情報の同一ショットの検出原理について説明する。
【０１１７】
なお、図３は同一ショットの検出原理を示すフローチャートであり、図４は一ショットの検出結果の一例である。また、ここでは、ドラマなどの連続性を有する連続テレビ番組を要約再生の対象として説明する。
【０１１８】
通常、Ｎ回目の要約再生の対象となる対象音声映像情報において、予告部分の映像情報である予告情報は、Ｎ−１回目の非対象音声映像情報における最後の１０分程度の範囲に存在しており、この予告情報は、この予告情報における各ショットが有する時間長は短い（５秒程度）、この予告情報の各ショットと対応する対象音声映像情報における各ショットは、時間的に離れた位置に存在している、という特徴を有している。
【０１１９】
本実施形態では、予告情報における各ショットと対象音声映像情報における同一ショットの検出方法は、非対象音声映像情報の最後の１０分間における予告部分の各ショットの映像特徴量と、対象音声映像情報の全てのショットにおける映像特徴量とを比較し、非対象音声映像情報の予告部分の特徴量と一致する対象音声映像情報における各ショットを検出するようになっている。
【０１２０】
具体的には、予告情報における各ショットの各フレーム毎に対象音声映像情報における同一フレームを検索するようになっている。例えば、連続して一致するフレームの長さが、予め設定されたフレーム数以上である場合に、対象音声映像情報における当該ショットを同一ショットとして検出するようになっている。
【０１２１】
以下に、図３のフローチャートを用いて検出原理を示す。
【０１２２】
まず、非対象音声映像情報における最終時刻から１０分間の区間にある最初のショットの最初のフレームの映像情報特徴量を読み込み（ステップＳ１）、この最初の非対象音声映像情報における同一の特徴量を有する対象音声映像情報のフレームを検索する（ステップＳ２）。
【０１２３】
なお、この非対象音声映像情報における最終時刻から１０分間の区間にある各ショットの各フレームを予告情報フレームという。
【０１２４】
次いで、対象音声映像情報に最初の予告情報のフレームと同一のフレームが有るか否かを判断する（ステップＳ３）。同一フレームが無い場合はステップＳ８に行く。また、予告情報のフレームと同一のフレームが有る場合には、以下に示す動作を行う。
【０１２５】
まず、同一フレームと判断されたフレーム（以下、同一ショット候補という）と、時間的に次の同一フレーム候補とを比較し、特徴量が一致するか否かを判断し、特徴量が同一のショット候補群を生成する（ステップＳ４）。この処理を全ての同一ショット候補について行う。
【０１２６】
例えば、ステップＳ３において予告情報フレームと同一のフレームがＦ１，Ｆ２，Ｆ３，Ｆ４，……，Ｆ１０（同一ショット候補）とすると、Ｆ１とＦ２を、Ｆ２とＦ３の特徴量を比較していき、この同一ショット候補同士を比較して特徴量が一致するフレームがあった場合には、さらに、時間的に次の同一ショット候補と特徴量が同一か否か判断する。これを全ての同一ショット候補について行い、同一の特徴量を有するグループ、すなわち、同一ショット群を生成する。例えば、Ｆ１〜Ｆ３までが同一ショット群、Ｆ４〜Ｆ１０までが同一ショット群というように同一ショット候補群を生成する。
【０１２７】
次いで、同一ショット群の時間長が最長のショット群を選択する（ステップＳ５）。上述の場合はＦ４〜Ｆ１０の同一ショット候補群が選択される。
【０１２８】
次いで、この同一ショット群のフレーム数（ショット数）が３０以上であるか否かを判断し（ステップＳ６）、３０以下の場合は、ステップＳ８に行く。また、３０以上の同一ショット群である場合には、ショットの時間的位置、時間長を記憶する（ステップＳ７）。
【０１２９】
次いで、予告情報フレームの次のフレームが有るか否か、または、次のショットがあるか否かを判断し（ステップＳ８）、次のフレームまたはショットがない場合は処理を終了させ、次のフレームまたはショットが有る場合にはステップＳ２に行き、予告情報フレームの次のフレームまたは次のショットの最初のフレームの特徴量を読み込み（ステップＳ１）、対象音声映像情報から同一フレームを検索する（ステップＳ２）。
【０１３０】
このように予告情報と同一ショットを検出することにより、当該検出された同一ショットの対象音声映像情報における時間情報を蓄積部１０５に出力するようになっている。
【０１３１】
なお、同一ショットの検出結果の一例を図４に示す。ここで、Ｔｐは予告情報の各ショットを示し、ＴｑはＴｐと同一のショットを示す。また、ＴｐｅｎｄおよびＴｑｅｎｄは各音声映像情報におけるエンディング映像を示し、ＳはショットＴｑを有する要約セグメントを示す。
【０１３２】
以上のように、対象音声映像情報および非対象音声映像情報の同一ショットの検出原理は、基本的には、対象音声映像情報と非対象音声映像情報との同一フレームを検索することによって行っているが、上述のような検出原理のみでは、的確に予告情報のみを検出することができない。
【０１３３】
すなわち、非対象音声映像情報の予告情報の開始時刻、終了時刻などの時間的位置を検出するために、予告情報のある時間的範囲を予め予測して同一ショットの検出を行っている。そのため、偶然に一致するショットが検出される可能性があるとともに、エンディングなどの同じ映像情報が存在することも予想される（図３に示すＴｐｅｎｄおよびＴｑｅｎｄ）。
【０１３４】
本実施形態では、このような偶然性一致するショットおよび予め予想される同一映像情報を排除するため、以下に示す条件を付加させて当該条件に該当する同一ショットは予告情報ではないとみなすようになっている。
【０１３５】
その一の条件としては、同一と判断されたショットが１秒以下のショットであることを条件としている。例えば、映像情報の特徴量を、高速処理を行うために比較的容易に取得するようになっているので、図４に示すＴｐｎとＮ回目の連続テレビ番組の何れかのショットとが偶然的に同一と判断される場合があり、これを排除するための条件である。この条件により、１秒以下のショットは予告情報でないと判断することによって、予告情報のショットでないショットに一致するショットを排除するようになっている。
【０１３６】
その一の条件としては、同一と判断されたショットが５秒以上のショットであることを条件としている。一般的に、予告情報は複数のショットを短時間で提供するため、各ショットの時間長は短い。したがって、５秒以上、ショットが一致することは、予告情報における任意のショットが一致したものとは考えられないので、これを排除するための条件である。この条件により、各回の音声映像情報において終了を示すエンディング、ＣＭ（Commercials）などの各回の音声映像情報に共通の映像情報、予告情報以外で一致する部分を排除するようになっている。
【０１３７】
さらに、その一の条件としては、同一ショットとして判断されたショットが各対象音声映像情報および非対象音声映像情報における時間的位置が一致しないことを条件としている。この条件は、上述と同様に、各回の音声映像情報において終了を示すエンディング、ＣＭ（Commercials）などの各回の音声映像情報に共通の映像情報を排除するためのものである。ただし、本条件では、予め定められた時間的範囲内において一致すれば時間的位置が一致したものとして扱うようになっており、本実施形態では、この時間的範囲を３０秒と設定している。
【０１３８】
さらにまた、その他の条件としては、各検出されたショットにおける時間的位置が連続的でないことを条件としている。予告情報の音声映像情報は対象音声映像情報における特徴的なショットが連続的に結合された音声映像情報の集合である。このため、予告情報の各ショットが時間的に離れているので、同一ショットとして検出された部分が時間的な位置において連続しているときは、何れかのショット、または、双方のショットとも予告情報のショットと異なることになるからである。本実施形態では、当該時間的位置が連続しているときは、双方のショットとも予告部分と同一のショットから排除するようになっている。
【０１３９】
このような各条件に基づいて同一ショットを検出するようになっているため、予め予告情報の時間的位置を設定することなく、当該予告情報と同一のショットを検出することができるようになっている。
【０１４０】
次に、図５を用いて予告部分推定部１０６における対象音声映像情報の同一ショットの検出動作（検出処理工程）について説明する。
【０１４１】
なお、図５は本実施形態における要約再生における要約セグメントの決定処理の動作を示すフローチャートであり、本動作では、複数回に亘って提供された音声映像情報、すなわち、対象音声映像情報および非対象音声映像情報の映像情報特徴量が既に蓄積部１０５に蓄積されているものとし、ユーザが要約再生を指示する前に、予め、または、指示したときに本動作を行うようになっている。
【０１４２】
まず、対象音声映像情報および非対象音声映像情報の特徴量データを読み出して（ステップＳ１１）、非対象音声映像情報の最後の１０分間の区間と対象音声映像情報をフレーム毎に比較し、対象音声映像情報から同一ショットを検出する（ステップＳ１２）。
【０１４３】
次いで、検出された同一ショットが予め設定された時間長（例えば、１秒）以下であるか否かを判断し、当該条件に該当する同一ショットを検出結果より排除する（ステップＳ１３）。
【０１４４】
次いで、検出された同一ショットが予め設定された時間長（例えば、５秒）以上であるか否かを判断し、当該条件に該当する同一ショットを検出結果より排除する（ステップＳ１４）。
【０１４５】
次いで、同一ショットにおける非対象音声映像情報における時間的位置（Ｔｐ（ｎ））と、対象音声映像情報における時間的位置（Ｔｑ（ｎ））とが予め設定された時間以内（例えば、３０秒）に存在するか否かを判断し、予め設定された時間内に存在する場合は、同一ショットを検出結果より排除する（ステップＳ１５）。
【０１４６】
次いで、各同一ショットが対象音声映像情報における時間的位置において、他の同一ショットと隣接するか否かを判断し、他の同一ショットと隣接する場合は、同一ショットを検出結果より排除する（ステップＳ１６）。
【０１４７】
最後に、同一ショットにおける対象音声映像情報における時間情報、例えば、同一ショットの開始時刻と終了時刻の時間的位置情報を蓄積部１０５に当該対象音声映像情報に関連付けて格納する（ステップＳ１７）。
【０１４８】
このように、本実施形態では要約再生の対象となる対象音声映像情報から予告情報と同一ショットを検出するようになっている。
【０１４９】
次に、図６を用いて要約再生動作について説明する。
【０１５０】
なお、図６は本実施形態における要約再生動作示すフローチャートであり、本動作では本要約再生に必要な対象音声映像情報並びに当該対象音声映像情報および各音声映像情報のシーンチェンジ情報が既に蓄積部１０５に蓄積されているものとし、ユーザが要約再生を指示したときに、本動作を行うようになっている。
【０１５１】
まず、操作部１０７によってユーザから要約再生の指示が入力されると、制御部１０９は指示された音声映像情報のジャンル情報を取得する（ステップＳ２１）。なお、ジャンル情報が連続性を有する音声映像情報でない場合には、本動作を終了させ、本動作以外の他の要約再生動作を行う。また、ジャンル情報が連続性を有する音声映像情報の場合は、以下の動作を行う。
【０１５２】
まず、指示された音声映像情報における同一ショットの検出処理が初めてであるか否かを判断し（ステップＳ２２）、以前に同一ショットを検出したことがあると判断したときは、そのデータを蓄積部１０５から読み込む（ステップＳ２３）。
【０１５３】
また、指示された音声映像情報における同一ショットの検出処理が初めてのときは、指示された対象音声映像情報の同一ショットを、前回の音声映像情報、すなわち、非対象音声映像情報を用いて図５に示した予告部分推定部１０６における上記検出動作を行う（検出処理工程（ステップＳ２４））
次いで、ユーザによって指定された、または、予め設定された要約時間を読み込むと（ステップＳ２５）、上述のように、制御部１０９は、予告部分推定部１０６によって検出された、または、蓄積部１０５から読み込まれた同一ショットの時間情報に基づいて抽出すべき要約セグメントを決定する（決定処理工程（ステップＳ２６））。
【０１５４】
具体的には、上述のように、対象音声映像情報のシーンチェンジ情報を読み込むとともに、同一ショットの開始時刻前における最も近接したシーンチェンジ点から当該同一ショットの終了時刻後における最も近接したシーンチェンジ点までの区間を要約セグメントとする（図４参照）。
【０１５５】
最後に、制御部１０９は、この要約セグメントを要約時間に合致するように時間調整、例えば、要約セグメントの数で要約時間を均等分割し、各要約セグメントの時間長がこの分割した時間に合致するように当該各要約セグメントの時間長を調整して時間順に再生する（生成処理工程（ステップＳ２７））。
【０１５６】
このように、要約再生時に要約セグメントを決定し、抽出すべき要約セグメントが決定されると、制御部１０９は、再生部１０８を制御して、要約再生を開始するとともに、この決定された要約セグメントに基づいて再生部１０８を制御して要約再生を行うようになっている。
【０１５７】
なお、本実施形態では、音声映像情報が複数回に亘って提供されない場合は、同一ショットの検出動作（ステップＳ２３）において、非対象音声映像情報に含まれる予告情報の時間的範囲の設定や予め取得した予告情報の入力などを行うことにより、要約再生を行うことができるようにしてもよい。
【０１５８】
すなわち、本実施形態では、予告情報を有する非対象音声映像情報と要約再生の対象となる対象音声映像情報とを比較し、対象音声映像情報から予め予告情報を設定することなく予告情報と同一ショットを検出するとともに、当該予告情報をも検出するようになっているが、予め予告情報を入力し、または、予告情報の時間的位置を設定し、当該設定された予告情報の時間的範囲、または、入力された予告情報と対象音声映像情報とを比較して、同一のショットを検出するようにしてもよい。
【０１５９】
また、本実施形態では、ドラマなど連続性を有する音声映像情報であると、ジャンル情報を取得した場合に行うようになっているが、ジャンル情報がニュース番組である場合であっても、上述のように、予告情報の入力または予告情報の時間的範囲を設定することによって要約再生動作を行うようにしてもよい。
【０１６０】
以上説明したように、本実施形態では、要約再生の対象となる映像情報における予告情報に基づいて入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出することができるので、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１６１】
また、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１６２】
なお、本実施形態では、予告部分の映像情報を有する音声映像情報、すなわち、（Ｎ−１）回目の非対象音声映像情報における最終の１０分間の区間において同一ショットの検索を行うようになっているが、非対象音声映像情報における検索区間を予め設定しないで検索するようにしてもよい。これは、同一ショットの算出効率を良くするためである。したがたって、勿論、非対象音声映像情報の全てのショットと対象音声映像情報の全てのショットを比較して同一ショットを検出するようにしてもよい。
【０１６３】
また、本実施形態では、入力された映像情報に基づいてシーンチェンジを検出し、予告情報の同一ショットの時間情報とシーンチェンジの情報に基づいて要約セグメント候補を設定するようになっているが、予告情報と音声映像情報に付帯された音声情報の音声レベルに基づいて特徴部分を検出し、予告情報の同一ショットの時間情報を包含する当該検出された特徴部分に基づいて要約セグメント候補を設定するようにしてもよい。
【０１６４】
また、本実施形態において抽出された要約セグメントを抽出すべき要約セグメントの一つして、すなわち、要約再生に用いる要約セグメントの候補（以下、要約セグメント候補という）として決定し、要約時間、その要約セグメント候補の重要度などその他の要素を判断してこの要約セグメント候補から要約再生に用いる要約セグメントを決定するようにしてもよい。
【０１６５】
この場合、例えば、他の要約セグメントの候補を取得する方法としては、図７に示すような要約再生装置において、入力された音声映像情報が基準音声レベルより大きい（小さい）部分で予め設定された時間継続した場合に、その基準音声レベルより大きい（小さい）部分のアドレスを記録し、このアドレスに基づいて当該基準音声レベルより大きいレベル（小さいレベル）の部分を要約セグメント候補として取得する方法が考えられる。
【０１６６】
また、重要度の設定においては、このような音声レベルによって要約セグメント候補を検出した場合に、当該音声映像情報のジャンル情報を取得し、当該音声情報のジャンル情報に基づいて各音声区間の重要度を決定する方法などが考えられる。
【０１６７】
また、本実施形態では、要約再生装置１００が、上述のようにジャンル情報取得部１０４、蓄積部１０５、予告部分推定部１０６、再生部１０８および制御部１０９などによって構成されているが、制御部１０９にコンピュータおよびハードディスクなどの記録媒体を備え、要約再生装置１００の各部に対応する上記処理を行うプログラムを当該記録媒体に格納し、当該プログラムをコンピュータに読み取らせることによって、上述したジャンル情報取得部１０４、蓄積部１０５、予告部分推定部１０６、再生部１０８および制御部１０９など要約再生装置１００の各部のそれぞれの動作を行うようにしてもよい。
この場合、上述した対象音声映像情報の同一ショットの検出動作および要約再生動作を行うときは、当該格納されたプログラムによりコンピュータを動作させることによって当該対象音声映像情報の同一ショットの検出動作および要約再生動作を行うようにする。また、この場合、制御部１０９は、本発明に係る識別情報取得手段、取得手段、検出手段、生成手段および決定手段を構成する。
【０１６８】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１６９】
また、請求項２に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７０】
また、請求項３に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７１】
また、請求項４に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【０１７２】
また、請求項５に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７３】
また、請求項６に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７４】
また、請求項７に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７５】
また、請求項８に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７６】
また、請求項９に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７７】
また、請求項１０に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【０１７８】
また、請求項１１に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７９】
また、請求項１２に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１８０】
また、請求項１３に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１８１】
また、請求項１４に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１８２】
また、請求項１５に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１８３】
また、請求項１６に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【０１８４】
また、請求項１７に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１８５】
また、請求項１８に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る要約再生装置の概要構成を示すブロック図である。
【図２】本実施形態において、フレームにおける映像情報の特徴量の抽出原理を説明するための図である。
【図３】本実施形態における予告情報と同一ショットを検出する検出動作を示すフローチャートである。
【図４】本実施形態における同一ショットの検出原理を説明するための図（同一ショットの検出結果の一例）である。
【図５】本実施形態における要約再生における要約セグメントの決定処理の動作を示すフローチャートである。
【図６】本実施形態における要約再生動作示すフローチャートである。
【図７】従来の要約再生装置の構成を示すブロック図である。
【符号の説明】
１００ … 要約再生装置
１０１ … デマルチプレクサ
１０２ … 特徴量抽出部
１０３ … シーンチェンジ検出部
１０４ … ジャンル情報取得部（識別情報取得手段）
１０５ … 蓄積部（取得手段）
１０６ … 予告部分推定部（検出手段、取得手段）
１０７ … 操作部
１０８ … 再生部（生成手段）
１０９ … 制御部（識別情報取得手段、取得手段、検出手段、決定手段、生成手段）
１１０ … 表示部
【発明の属する技術分野】
本発明は、映像情報における要約再生装置の技術分野に属し、より詳細には、予告情報に基づいて要約再生時に抽出すべき部分映像情報を決定する技術分野に属する。
【０００２】
【従来の技術】
近年、テレビジョン放送による番組などの映像情報を録画・再生するＶＴＲ（Video Tape Recorder）などの記録装置が普及するにつれて、記録された映像情報を全て見ることなく当該映像情報を短時間に要約した映像情報（以下、要約情報という）を提供するダイジェスト再生（要約再生）が実用に供されるようになっている。
【０００３】
このような要約再生を行う方法としては、主に映像情報そのものに着目して、例えば、場面が転換された部分（シーンチェンジ）を検出して要約再生を行う方法と、映像情報に付帯される音声情報に着目して、当該映像情報に付帯される音声情報の振幅と継続時間を利用した要約再生を行う方法がある。音声情報に着目して要約再生を行う要約再生を行う方法の代表的なものに特開平１０−３２７７６号公報に記載されたものがある。
【０００４】
同公報に記載の要約再生装置１は、図７に示すように、通信回線または電波などによって提供された音声情報が付帯されている映像情報の音声レベルを検出する音声レベル検出手段３と、その音声レベルと基準音声レベルとを比較する比較器４と、音声レベルが基準音声レベルより大きい継続時間を得る継続時間タイマ５と、継続時間タイマ５によって得られた継続時間からダイジェスト部分のアドレスを生成するダイジェストアドレス生成手段８と、そのアドレスを記録する記録再生手段９と、記録したアドレスを再生するダイジェストアドレス再生手段１１と、そのアドレスに基づいてダイジェスト部分の音声映像情報を再生させる再生制御手段１０とを備えている。
【０００５】
この構成より、この要約再生装置１は、入力された映像情報が基準音声レベルより大きい部分で予め設定された時間継続した場合に、その基準音声レベルより大きい部分のアドレスを記録し、このアドレスに基づいて当該基準音声レベルより大きいレベルの部分を抽出して音声映像情報の要約再生を行うようになっている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述のような映像情報に付帯される音声情報に着目して要約再生を行う方法では、ドラマなどストーリー性（連続性）を有する映像情報において、当該映像情報の内容が理解されないと適切な要約再生を行うことができないという問題を有していた。
【０００７】
通常、スポーツ番組では、音声レベルが大きい音声部分は、映像情報の盛り上がった部分を示し、映像情報の特徴部分を構成しているとともに、ニュース番組では、音声の無い無音部分は、場面が転換された、または、内容が切り替わった部分を示し、映像情報の特徴部分を構成している。
【０００８】
しかしながら、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させる連続性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【０００９】
したがって、上述のような要約再生方法では、ドラマなどの映像情報においては、抽出した部分が映像情報における重要な部分でない場合も多いため、適切な要約再生を行うことができないという問題を有していた。
【００１０】
本発明は、上記の各問題点に鑑みて為されたもので、その課題は、ドラマなどの連続性を有する映像情報においてもより適切に操作者が映像情報を把握することのできる要約情報を提供することにある。
【００１１】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段と、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、を備えた構成を有している。
【００１２】
この構成により、請求項１に記載の発明では、取得手段が入力された映像情報における予告情報を取得し、検出手段が入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出するとともに、決定手段がこの同一部分情報に基づいて部分映像情報を決定し、生成手段がこの部分映像情報に基づいて要約情報を生成する。
【００１３】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【００１４】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００１５】
また、請求項２に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段と、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、を備えた構成を有している。
【００１６】
この構成により、請求項２に記載の発明では、取得手段が入力された映像情報における少なくとも予告情報を有する映像情報を取得し、検出手段が入力された映像情報と他の映像情報とを比較して同一の部分情報を当該入力された映像情報から検出するとともに、決定手段がこの同一部分情報に基づいて部分映像情報を決定し、生成手段がこの部分映像情報に基づいて要約情報を生成する。
【００１７】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【００１８】
したがって、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００１９】
また、請求項３に記載の発明は、請求項２に記載の映像情報要約装置において、前記検出手段が予め設定された時間長を有する前記同一部分情報を検出する構成を備えている。
【００２０】
この構成により、請求項３に記載の発明では、検出手段が予め設定された時間長を有する同一部分情報を検出する。
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、１つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度（例えば、５秒程度）の時間長を有するに留まる。
【００２１】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００２２】
また、請求項４に記載の発明は、請求項２または３に記載の映像情報要約装置において、前記検出手段によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記検出手段が、検出した前記同一部分情報を当該検出結果より除外するとともに、前記決定手段が、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定する構成を有している。
【００２３】
この構成により、請求項４に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、検出手段が当該検出した同一部分情報を検出結果より除外するとともに、決定手段がこの検出結果に基づいて部分映像情報を決定する。
【００２４】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【００２５】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【００２６】
また、請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の映像情報要約装置において、前記検出手段によって検出された前記同一部分情報の当該入力された映像情報における時間的位置と他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的に接しているとき、前記検出手段が、前記時間的に接する同一部分情報を検出結果より除外するとともに、前記決定手段が、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定する構成を有している。
【００２７】
この構成により、請求項５に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、検出手段が時間的に接する同一部分情報を検出結果より除外するとともに、決定手段がこの検出結果に基づいて部分映像情報を決定する。
【００２８】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【００２９】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００３０】
また、請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の映像情報要約装置において、前記映像情報の識別情報を取得する識別情報取得手段を設け、前記識別情報取得手段によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記決定手段が、前記検出手段によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定する構成を有している。
【００３１】
この構成により、請求項６に記載の発明では、映像情報の識別情報を取得する識別情報取得手段を設け、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、決定手段がこの検出された同一部分情報に基づいて部分映像情報を決定する。
【００３２】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【００３３】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００３４】
また、請求項７に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得処理工程と、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、を含む構成を有している。
【００３５】
この構成により、請求項７に記載の発明では、取得処理工程によって入力された映像情報における予告情報が取得され、検出処理工程によって入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報が検出されるとともに、決定処理工程によってこの同一部分情報に基づいて部分映像情報が決定され、生成処理工程によってこの部分映像情報に基づいて要約情報が生成される。
【００３６】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【００３７】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００３８】
また、請求項８に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得処理工程と、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、を含む構成を有している。
【００３９】
この構成により、請求項８に記載の発明では、取得処理工程によって入力された映像情報における少なくとも予告情報を有する映像情報が取得され、検出処理工程によって入力された映像情報と他の映像情報とが比較されて同一の前記部分情報が当該入力された映像情報から検出されるとともに、決定処理工程によってこの同一部分情報に基づいて抽出されるべき部分映像情報が決定され、生成処理工程によってこの部分映像情報に基づいて要約情報が生成される。
【００４０】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【００４１】
したがって、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることになるので、当該予告情報に基づいて要約情報を生成することができ、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００４２】
また、請求項９に記載の発明は、請求項８に記載の映像情報要約方法において、前記検出処理工程においては予め設定された時間長を有する前記同一部分情報を検出する構成を備えている。
【００４３】
この構成により、請求項９に記載の発明では、検出処理工程によって予め設定された時間長を有する同一部分情報を検出する。
【００４４】
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、１つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度（例えば、５秒程度）の時間長を有するに留まる。
【００４５】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００４６】
また、請求項１０に記載の発明は、請求項８または９に記載の映像情報要約方法において、前記検出処理工程によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記検出処理工程においては、検出された前記同一部分情報を当該検出結果より除外するとともに、前記決定処理工程においては、前記予め定められた時間的範囲内で一致した前記同一部分映像情報を除外した検出結果に基づいて抽出されるべき前記部分映像情報を決定する構成を有している。
【００４７】
この構成により、請求項１０に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、検出処理工程によって当該検出された同一部分情報が検出結果より除外されるとともに、決定処理工程によってこの検出結果に基づいて部分映像情報が決定される。
【００４８】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【００４９】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【００５０】
また、請求項１１に記載の発明は、請求項７乃至１０の何れか一項に記載の映像情報要約方法において、前記検出処理工程によって検出された前記同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置と時間的に接しているとき、前記検出処理工程においては、前記時間的に接する同一部分情報を検出結果より除外するとともに、前記決定処理工程においては、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する構成を有している。
【００５１】
この構成により、請求項１１に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、検出処理工程によって時間的に接する同一部分情報を検出結果より除外させるとともに、決定処理工程によってこの検出結果に基づいて部分映像情報を決定させる。
【００５２】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【００５３】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００５４】
また、請求項１２に記載の発明は、請求項７乃至１１の何れか一項に記載の映像情報要約方法において、前記映像情報の識別情報を取得する識別情報取得処理工程を含み、前記識別情報取得処理工程によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記決定処理工程においては、前記検出処理工程によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定する構成を有している。
【００５５】
この構成により、請求項１２に記載の発明では、映像情報の識別情報を取得する識別情報取得処理工程を含み、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、決定処理工程によってこの検出された同一部分情報に基づいて部分映像情報を決定させる。
【００５６】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【００５７】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００５８】
また、請求項１３に記載の発明は、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、前記コンピュータを、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段、前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、として機能させる構成を有している。
【００５９】
この構成により、請求項１３に記載の発明では、コンピュータによって、入力された映像情報における予告情報を取得し、入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出するとともに、この同一部分情報に基づいて部分映像情報を決定し、この部分映像情報に基づいて要約情報を生成する。
【００６０】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない。
【００６１】
したがって、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００６２】
また、請求項１４に記載の発明は、コンピュータによって、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、前記コンピュータを、予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段、前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、として機能させる構成を有している。
【００６３】
この構成により、請求項１４に記載の発明では、コンピュータによって、入力された映像情報における少なくとも予告情報を有する映像情報が取得され、入力された映像情報と他の映像情報とが比較されて同一の前記部分情報が当該入力された映像情報から検出されるとともに、この同一部分情報に基づいて部分映像情報が決定され、この部分映像情報に基づいて要約情報が生成される。
【００６４】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報は、複数回に亘って映像情報が提供されることによって内容が完結する場合が多く、各回の映像情報に次回の予告映像が含まれ、提供される場合が多い。
【００６５】
したがって、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができ、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００６６】
また、請求項１５に記載の発明は、請求項１４に記載の映像情報要約プログラムにおいて、前記コンピュータを、予め設定された時間長を有する前記同一部分情報を検出する検出手段として機能させる構成を備えている。
【００６７】
この構成により、請求項１５に記載の発明では、コンピュータによって、予め設定された時間長を有する同一部分情報を検出する。
【００６８】
通常、予告情報として提供される映像情報は、予め定められた時間内に要約情報の生成の対象となる映像情報における特徴部分の短い映像情報を連続的に繋げた映像情報であり、１つのシーンにおいて、あまりにも短い部分映像情報は予告情報でない一方、最大であっても数秒程度（例えば、５秒程度）の時間長を有するに留まる。
【００６９】
したがって、時間長が短すぎる部分映像情報および数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分情報を検出することにより、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００７０】
また、請求項１６に記載の発明は、請求項１４または１５に記載の映像情報要約プログラムにおいて、前記検出された同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致するとき、前記コンピュータを、前記検出した同一部分情報を検出結果より除外する検出手段、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、として機能させる構成を有している。
【００７１】
この構成により、請求項１６に記載の発明では、検出された同一部分情報の、入力された映像情報における時間的位置と、他の映像情報における時間的位置と、が予め定められた範囲内で一致するとき、コンピュータによって、当該検出した同一部分情報を検出結果より除外するとともに、この検出結果に基づいて部分映像情報を決定する。
【００７２】
通常、ドラマなどのシナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立させるストーリー性を有する映像情報が複数の映像情報によって提供される場合、当該各映像情報にはオープニングまたはエンディングなど同一の部分が存在する。この部分は、映像情報としては同一ではあるが、当該映像情報の特徴部分にならない。
【００７３】
したがって、同一部分情報の時間的位置が予め定められた範囲で一致する同一部分情報を検出結果から除外することによって、同一部分情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分情報を検出することができ、この同一部分情報に基づいて部分映像情報を決定することができる。
【００７４】
また、請求項１７に記載の発明は、請求項１３乃至１６の何れか一項に記載の映像情報要約プログラムにおいて、前記検出された同一部分映像情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置と時間的に接しているとき、前記コンピュータを、前記時間的に接する同一部分情報を検出結果より除外する検出手段、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、として機能させる構成を有している。
【００７５】
この構成により、請求項１７に記載の発明は、同一部分情報の当該入力された映像情報における時間的位置が他の同一部分情報の時間的位置と時間的に接しているとき、コンピュータによって、時間的に接する同一部分情報を検出結果より除外するとともに、この検出結果に基づいて部分映像情報を決定する。
【００７６】
通常、予告情報は映像情報における特徴的な部分を連続的に結合し、短時間にまとめたものであるため、予告情報における各部分映像情報は、他の部分映像情報と時間的に接することはない。
【００７７】
したがって、時間的に接する同一部分情報を除外してこの同一部分情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分情報を検出することができる。
【００７８】
また、請求項１８に記載の発明は、請求項１乃至５の何れか一項に記載の映像情報要約プログラムにおいて、前記コンピュータを前記映像情報の識別情報を取得する識別情報取得手段として機能させるとともに、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、前記検出された同一部分情報に基づいて前記抽出すべき部分映像情報を決定する決定手段として機能させる構成を有している。
【００７９】
この構成により、請求項１８に記載の発明では、コンピュータによって、映像情報の識別情報を取得し、当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、この検出された同一部分情報に基づいて部分映像情報を決定する。
【００８０】
ドラマなどのストーリー性を有する映像情報では、必ずしも音声レベルが大きい音声部分または音声が無い無音部分が当該映像情報の特徴部分にならない一方、スポーツ番組やニュース番組などの映像情報では、予告情報が無い場合が多く、一般的には、当該映像情報に付帯されている音声情報に基づいて当該映像情報の特徴部分を検出することができる。
【００８１】
したがって、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【００８２】
【発明の実施の形態】
次に、本発明に好適な実施の形態について、図面に基づいて説明する。
【００８３】
本実施形態は、通信回線または電波などによって提供されるテレビジョン放送の番組などの音声映像情報を要約再生する要約再生装置に対して本発明を適用した場合の実施形態である。
【００８４】
まず、図１、図２を用いて本実施形態における要約再生装置の全体の構成および概要動作について説明する。
【００８５】
なお、図１は本実施形態の要約再生装置の概要構成を示すブロック図であり、図２はフレームにおける映像情報の特徴量の抽出原理を説明するための図である。
【００８６】
図１に示す本実施形態の要約再生装置１００は、通信回線から送信された、または、図示しない受信部によって受信されたデジタル音声映像情報（以下、単に音声映像情報という）を入力するようになっており、この入力されたデジタル信号である各音声映像情報を復号化するとともに、復号化された各音声映像情報から各シーン毎の映像情報における特徴量を抽出し、当該デジタル音声映像情報における予告情報を用いることによって要約再生に際して抽出すべき部分映像情報（以下、要約セグメントという）を決定するようになっている。
【００８７】
この予告情報は、入力されたデジタル音声映像情報の複数の特徴的なシーンにおける短い映像部分（以下、ショット（部分情報）という）が連続的に結合されたものであり、音声映像情報の制作者である人間が音声映像情報の内容を理解して編集され、当該音声映像情報を簡易に要約した映像情報である。
【００８８】
通常、ドラマなどの連続性を有する映像情報、すなわち、シナリオに基づいてその芸術的意図を達成するように様々なシーンを組み立てるとともに、物語として成立する映像情報は、複数回に亘って映像情報が提供されて当該音声映像情報における内容が完結すること、各音声映像情報は一度に提供されることがほとんどなく、各音声映像情報の提供には時間的なずれが生ずること、各回の音声映像情報に次回の予告映像が含まれ、提供されること、などの特徴を有している。
【００８９】
このような特徴に鑑み、本実施形態では、連続性のある複数回の音声映像情報を、それぞれ、録画などによって蓄積して各音声映像情報の特徴量を抽出し、要約再生を行う場合には、要約再生の対象となる音声映像情報（例えば、Ｎ回目（以下、対象音声映像情報という））と、対象音声映像情報における予告情報を有する音声映像情報（例えば、Ｎ−１回目（以下、非対象音声映像情報という））とを比較するとともに、同一のショットを対象音声映像情報から検出し、この同一ショットに基づいて抽出すべき要約セグメントを決定するようになっている。
【００９０】
本実施形態の要約再生装置１００は、図１に示すように、取得された音声映像情報から映像情報および当該映像情報における識別情報（以下、ジャンル情報という）を有する情報（以下、付帯情報という）を分離するデマルチプレクサ１０１と、各音声映像情報の特徴量を抽出する特徴量抽出部１０２と、取得された音声映像情報から各シーンのシーンチェンジを検出するシーンチェンジ検出部１０３と、付帯情報からジャンル情報を取得するジャンル情報取得部１０４と、各回の音声映像情報を蓄積するとともに、各音声映像情報において取得された特徴量およびジャンル情報を蓄積する蓄積部１０５と、音声映像情報から当該音声映像情報における予告情報と同一のショットを検出する予告部分推定部１０６と、各部の操作を行うとともに、音声映像情報を要約する時間長を入力する操作部１０７と、蓄積された音声映像情報の要約再生を行う再生部１０８と、同一ショットに基づいて蓄積された音声映像情報における要約セグメントを決定するとともに再生部１０８を制御する制御部１０９と、要約再生された映像信号を音声信号とともに表示・出力する表示部１１０と、連続性のある複数回の音声映像情報の録画予約を行う録画予約制御部１１１とを備えている。
【００９１】
なお、予告部分推定部１０６は、本発明に係る検出手段を構成し、さらに、蓄積部１０５とともに、本発明に係る取得手段を構成する。また、制御部１０９は、再生部１０８とともに本発明に係る生成手段を構成し、さらに、制御部１０９は本発明に係る決定手段および生成手段を構成する。
【００９２】
デマルチプレクサ１０１には、通信回線から送出された若しくは図示しない受信部によって受信された音声映像情報、または、既に蓄積部１０５に蓄積された音声映像情報が入力されるようになっており、デマルチプレクサ１０１は、この入力されたデジタル音声映像情報から映像情報および付帯情報を分離して、映像情報を特徴量抽出部１０２およびシーンチェンジ検出部１０３に、付帯情報をジャンル情報取得部１０４に出力するようになっている。
【００９３】
この付帯情報は、例えば、ニュース番組、スポーツ観戦番組、映画、ドラマ、歌番組およびバラエティ番組などのジャンル情報を一部に有しており、ＢＳ（BroadcastingSatellite）デジタル放送では、番組配列情報（Service Information）がこの付帯情報に当たる。この場合、デマルチプレクサ１０１は番組配列情報をジャンル情報取得部１０４に出力するようになっている。
【００９４】
特徴量抽出部１０２にはデマルチプレクサ１０１から出力された映像情報が入力されるようになっており、この特徴量抽出部１０２は、入力された映像情報の全てのフレームにおける特徴量を抽出し、この抽出した特徴量を蓄積部１０５に出力するようになっている。
【００９５】
例えば、本実施形態では、各フレーム毎に色平均を算出し、この色平均値を特徴量として抽出するようになっており、特に、本実施形態では、高速処理を行うため、図２に示すように、画面中央の一部分の色平均を各フレーム毎に算出するようになっている。
【００９６】
この各フレーム毎の色平均を算出して当該映像情報の特徴量を抽出するという理論については、例えば、電子情報通信学会論文誌、Ｄ−II Ｖｏｌ．Ｊ８１−Ｄ−II Ｎｏ．８ ｐｐ１８３１−１８３７ １９９８年８月発行の「時系列フレーム特徴の圧縮符号化に基づく映像シーンの高速分類方法」に記載されているものがあり、この文献に記載されている映像情報の特徴量を抽出する方法は、各フレーム毎の色平均を各ＲＧＢ表色系の各成分について求め、それら３つの成分を組にして各フレームの特徴量とするようになっている。
【００９７】
シーンチェンジ検出部１０３には、デマルチプレクサ１０１から出力された映像情報が入力されるようになっており、シーンチェンジ検出部１０３は、この入力された映像情報において、シーンチェンジ検出を行い、シーンチェンジが行われた時間的位置情報（以下、単に時間情報）を蓄積部１０５に出力するようになっている。
【００９８】
例えば、このシーンチェンジの代表的な検出方法としては、特願平１０−２７６４３５号公報記載のシーンチェンジ検出方法が知られており、この検出方法は、先行するシーンと後続するシーンのヒストグラムの類似程度に基づいて両シーンにおいてシーンチェンジが発生したか否かを判断するようになっている。
【００９９】
ジャンル情報取得部１０４にはデマルチプレクサ１０１から出力された付帯情報（番組配列情報）が入力されるようになっており、このジャンル情報取得部１０４は、この入力された付帯情報（番組配列情報）に基づいて音声映像情報における映画、ニュース、ドラマなどジャンル情報を取得し、このジャンル情報を蓄積部１０５に出力するようになっている。
【０１００】
なお、このジャンル情報は、入力された音声映像情報と別に取得するようにしてもよい。例えば、インターネットなどの通信回線を介して任意の場所に格納されている当該入力された音声映像情報に関するジャンル情報を取得するようにしてもよい。
【０１０１】
また、ジャンル情報を入力された音声映像情報から取得する代わりに、当該入力された音声映像情報における音声情報に基づいて推定するようにしてもよい。
【０１０２】
この場合、本実施形態に推定部を設け、この推定部によって入力された音声映像情報からジャンルを推定する。例えば、各ジャンルを特定するような特徴のあるテキスト情報を予め用意しておき、入力された音声映像情報から音声認識技術を用いて音声を抽出するとともに、その音声認識結果をテキスト情報として予め用意されたテキスト情報との一致度を算出し、この算出結果に基づいてジャンルを推定するようになっている。
【０１０３】
蓄積部１０５には入力された複数回の各音声映像情報、特徴量抽出部１０２によって抽出された各音声映像情報における映像情報の特徴量、シーンチェンジ検出部１０３によって検出された当該各音声映像情報におけるシーンチェンジが行われた時間情報およびジャンル情報取得部１０４によって取得された各音声映像情報のジャンル情報が各音声映像情報毎に関連付けられて蓄積されるようになっている。
【０１０４】
この蓄積部１０５は、後述する予告情報と同一のショットを検出するため制御部１０９の指示に基づいて、要約再生の対象となる対象音声映像情報および非対象音声映像情報並びに当該各対象および非対象音声映像情報の特徴量を予告部分推定部１０６に出力するようになっている。
【０１０５】
また、この蓄積部１０５は、この予告部分推定部１０６から出力される当該対象音声映像情報における予告情報と同一のショットの時間的位置情報（以下、時間情報という）を蓄積するようになっており、この予告情報と同一ショットの時間情報は対象音声映像情報に関連付けられて蓄積するようになっている。
【０１０６】
さらに、この蓄積部１０５は、抽出すべき要約セグメントを決定して要約再生を行うため、制御部１０９の指示に基づいて音声映像情報を再生部１０８に、シーンチェンジ情報および予告部分映像情報の時間情報を制御部１０９に出力するようになっている。
【０１０７】
予告部分推定部１０６には、対象音声映像情報と、非対象音声映像情報における予告情報を有する部分の音声映像情報の特徴量が入力されるようになっている。通常、予告情報は非対象音声映像情報の終了時刻前の１０分間の区間に含まれていることがほとんどであるため、本実施形態では、予告部分推定部１０６には非対象音声映像情報の終了時刻前の１０分間の区間を予告情報として入力するようになっている。
【０１０８】
この予告部分推定部１０６は、入力された対象音声映像情報と非対象音声映像情報の特徴量とを比較するとともに、同一のショットを対象音声映像情報から検出し、この検出されたショットの対象音声映像情報における時間情報を蓄積部１０５に出力するようになっている。なお、この同一ショットの検出原理および検出動作の詳細については後述する。
【０１０９】
再生部１０８には蓄積部１０５から出力された音声映像情報が入力されるようになっており、この再生部１０８は入力された多重化されている音声映像情報を映像情報および音声情報に分離するとともに復号し、制御部１０９の指示に基づいて要約再生を行うようになっている。また、この再生部１０８はこの再生された音声信号および映像信号を表示部１１０に出力するようになっている。
【０１１０】
制御部１０９は、操作部１０７によって入力された指示に基づいて蓄積部１０５における蓄積制御を行うとともに、予告部分推定部１０６によって検出された対象音声映像情報における予告情報の映像情報およびシーンチェンジ情報に基づいて要約セグメントを決定し（以下、要約セグメント決定処理という）、この決定した要約セグメントに基づいて再生部１０８の再生制御を行うようになっている。
【０１１１】
また、この要約セグメント決定処理においては、当該検出された同一ショットの対象音声映像情報における時間情報を含むシーンを、シーンチェンジ情報に基づいて抽出するようになっており、制御部１０９はこの抽出されたシーンを要約セグメントとして時間順に要約再生を行うようになっている。
【０１１２】
具体的には、後述するように、対象音声映像情報のシーンチェンジ情報を読み込むとともに、同一ショットの開始時刻前における最も近接したシーンチェンジ点から当該同一ショットの終了時刻後における最も近接したシーンチェンジ点までの区間を要約セグメントと決定するようになっている（図４参照）。
【０１１３】
表示部１１０には再生部１０８から出力された音声信号および映像信号が入力されるようになっており、この表示部１１０は、この入力された映像信号をモニター画面などに表示するとともに、音声信号をスピーカなどによって拡声するようになっている。
【０１１４】
録画予約制御部１１１は、制御部１０９を介して入力された操作部１０７における指示に基づいてテレビジョン放送などの番組（音声映像情報）またはテレビジョン放送などによって提供される全ての音声映像情報を蓄積部１０５に蓄積させるよう蓄積部１０５を制御するとともに、蓄積部１０５に音声映像情報を蓄積する際に、対象音声映像情報および非対象音声映像情報関連付けて格納するようになっている。
【０１１５】
特に、録画予約制御部１１１は、定期的に提供される連続性のある音声映像情報を録画する際に、対象音声映像情報における非対象音声映像情報を検索制御して、予告部分推定部１０６に予告部を推定させるようになっている。
【０１１６】
次に、図３、図４を用いて予告部分推定部１０６における対象音声映像情報の同一ショットの検出原理について説明する。
【０１１７】
なお、図３は同一ショットの検出原理を示すフローチャートであり、図４は一ショットの検出結果の一例である。また、ここでは、ドラマなどの連続性を有する連続テレビ番組を要約再生の対象として説明する。
【０１１８】
通常、Ｎ回目の要約再生の対象となる対象音声映像情報において、予告部分の映像情報である予告情報は、Ｎ−１回目の非対象音声映像情報における最後の１０分程度の範囲に存在しており、この予告情報は、この予告情報における各ショットが有する時間長は短い（５秒程度）、この予告情報の各ショットと対応する対象音声映像情報における各ショットは、時間的に離れた位置に存在している、という特徴を有している。
【０１１９】
本実施形態では、予告情報における各ショットと対象音声映像情報における同一ショットの検出方法は、非対象音声映像情報の最後の１０分間における予告部分の各ショットの映像特徴量と、対象音声映像情報の全てのショットにおける映像特徴量とを比較し、非対象音声映像情報の予告部分の特徴量と一致する対象音声映像情報における各ショットを検出するようになっている。
【０１２０】
具体的には、予告情報における各ショットの各フレーム毎に対象音声映像情報における同一フレームを検索するようになっている。例えば、連続して一致するフレームの長さが、予め設定されたフレーム数以上である場合に、対象音声映像情報における当該ショットを同一ショットとして検出するようになっている。
【０１２１】
以下に、図３のフローチャートを用いて検出原理を示す。
【０１２２】
まず、非対象音声映像情報における最終時刻から１０分間の区間にある最初のショットの最初のフレームの映像情報特徴量を読み込み（ステップＳ１）、この最初の非対象音声映像情報における同一の特徴量を有する対象音声映像情報のフレームを検索する（ステップＳ２）。
【０１２３】
なお、この非対象音声映像情報における最終時刻から１０分間の区間にある各ショットの各フレームを予告情報フレームという。
【０１２４】
次いで、対象音声映像情報に最初の予告情報のフレームと同一のフレームが有るか否かを判断する（ステップＳ３）。同一フレームが無い場合はステップＳ８に行く。また、予告情報のフレームと同一のフレームが有る場合には、以下に示す動作を行う。
【０１２５】
まず、同一フレームと判断されたフレーム（以下、同一ショット候補という）と、時間的に次の同一フレーム候補とを比較し、特徴量が一致するか否かを判断し、特徴量が同一のショット候補群を生成する（ステップＳ４）。この処理を全ての同一ショット候補について行う。
【０１２６】
例えば、ステップＳ３において予告情報フレームと同一のフレームがＦ１，Ｆ２，Ｆ３，Ｆ４，……，Ｆ１０（同一ショット候補）とすると、Ｆ１とＦ２を、Ｆ２とＦ３の特徴量を比較していき、この同一ショット候補同士を比較して特徴量が一致するフレームがあった場合には、さらに、時間的に次の同一ショット候補と特徴量が同一か否か判断する。これを全ての同一ショット候補について行い、同一の特徴量を有するグループ、すなわち、同一ショット群を生成する。例えば、Ｆ１〜Ｆ３までが同一ショット群、Ｆ４〜Ｆ１０までが同一ショット群というように同一ショット候補群を生成する。
【０１２７】
次いで、同一ショット群の時間長が最長のショット群を選択する（ステップＳ５）。上述の場合はＦ４〜Ｆ１０の同一ショット候補群が選択される。
【０１２８】
次いで、この同一ショット群のフレーム数（ショット数）が３０以上であるか否かを判断し（ステップＳ６）、３０以下の場合は、ステップＳ８に行く。また、３０以上の同一ショット群である場合には、ショットの時間的位置、時間長を記憶する（ステップＳ７）。
【０１２９】
次いで、予告情報フレームの次のフレームが有るか否か、または、次のショットがあるか否かを判断し（ステップＳ８）、次のフレームまたはショットがない場合は処理を終了させ、次のフレームまたはショットが有る場合にはステップＳ２に行き、予告情報フレームの次のフレームまたは次のショットの最初のフレームの特徴量を読み込み（ステップＳ１）、対象音声映像情報から同一フレームを検索する（ステップＳ２）。
【０１３０】
このように予告情報と同一ショットを検出することにより、当該検出された同一ショットの対象音声映像情報における時間情報を蓄積部１０５に出力するようになっている。
【０１３１】
なお、同一ショットの検出結果の一例を図４に示す。ここで、Ｔｐは予告情報の各ショットを示し、ＴｑはＴｐと同一のショットを示す。また、ＴｐｅｎｄおよびＴｑｅｎｄは各音声映像情報におけるエンディング映像を示し、ＳはショットＴｑを有する要約セグメントを示す。
【０１３２】
以上のように、対象音声映像情報および非対象音声映像情報の同一ショットの検出原理は、基本的には、対象音声映像情報と非対象音声映像情報との同一フレームを検索することによって行っているが、上述のような検出原理のみでは、的確に予告情報のみを検出することができない。
【０１３３】
すなわち、非対象音声映像情報の予告情報の開始時刻、終了時刻などの時間的位置を検出するために、予告情報のある時間的範囲を予め予測して同一ショットの検出を行っている。そのため、偶然に一致するショットが検出される可能性があるとともに、エンディングなどの同じ映像情報が存在することも予想される（図３に示すＴｐｅｎｄおよびＴｑｅｎｄ）。
【０１３４】
本実施形態では、このような偶然性一致するショットおよび予め予想される同一映像情報を排除するため、以下に示す条件を付加させて当該条件に該当する同一ショットは予告情報ではないとみなすようになっている。
【０１３５】
その一の条件としては、同一と判断されたショットが１秒以下のショットであることを条件としている。例えば、映像情報の特徴量を、高速処理を行うために比較的容易に取得するようになっているので、図４に示すＴｐｎとＮ回目の連続テレビ番組の何れかのショットとが偶然的に同一と判断される場合があり、これを排除するための条件である。この条件により、１秒以下のショットは予告情報でないと判断することによって、予告情報のショットでないショットに一致するショットを排除するようになっている。
【０１３６】
その一の条件としては、同一と判断されたショットが５秒以上のショットであることを条件としている。一般的に、予告情報は複数のショットを短時間で提供するため、各ショットの時間長は短い。したがって、５秒以上、ショットが一致することは、予告情報における任意のショットが一致したものとは考えられないので、これを排除するための条件である。この条件により、各回の音声映像情報において終了を示すエンディング、ＣＭ（Commercials）などの各回の音声映像情報に共通の映像情報、予告情報以外で一致する部分を排除するようになっている。
【０１３７】
さらに、その一の条件としては、同一ショットとして判断されたショットが各対象音声映像情報および非対象音声映像情報における時間的位置が一致しないことを条件としている。この条件は、上述と同様に、各回の音声映像情報において終了を示すエンディング、ＣＭ（Commercials）などの各回の音声映像情報に共通の映像情報を排除するためのものである。ただし、本条件では、予め定められた時間的範囲内において一致すれば時間的位置が一致したものとして扱うようになっており、本実施形態では、この時間的範囲を３０秒と設定している。
【０１３８】
さらにまた、その他の条件としては、各検出されたショットにおける時間的位置が連続的でないことを条件としている。予告情報の音声映像情報は対象音声映像情報における特徴的なショットが連続的に結合された音声映像情報の集合である。このため、予告情報の各ショットが時間的に離れているので、同一ショットとして検出された部分が時間的な位置において連続しているときは、何れかのショット、または、双方のショットとも予告情報のショットと異なることになるからである。本実施形態では、当該時間的位置が連続しているときは、双方のショットとも予告部分と同一のショットから排除するようになっている。
【０１３９】
このような各条件に基づいて同一ショットを検出するようになっているため、予め予告情報の時間的位置を設定することなく、当該予告情報と同一のショットを検出することができるようになっている。
【０１４０】
次に、図５を用いて予告部分推定部１０６における対象音声映像情報の同一ショットの検出動作（検出処理工程）について説明する。
【０１４１】
なお、図５は本実施形態における要約再生における要約セグメントの決定処理の動作を示すフローチャートであり、本動作では、複数回に亘って提供された音声映像情報、すなわち、対象音声映像情報および非対象音声映像情報の映像情報特徴量が既に蓄積部１０５に蓄積されているものとし、ユーザが要約再生を指示する前に、予め、または、指示したときに本動作を行うようになっている。
【０１４２】
まず、対象音声映像情報および非対象音声映像情報の特徴量データを読み出して（ステップＳ１１）、非対象音声映像情報の最後の１０分間の区間と対象音声映像情報をフレーム毎に比較し、対象音声映像情報から同一ショットを検出する（ステップＳ１２）。
【０１４３】
次いで、検出された同一ショットが予め設定された時間長（例えば、１秒）以下であるか否かを判断し、当該条件に該当する同一ショットを検出結果より排除する（ステップＳ１３）。
【０１４４】
次いで、検出された同一ショットが予め設定された時間長（例えば、５秒）以上であるか否かを判断し、当該条件に該当する同一ショットを検出結果より排除する（ステップＳ１４）。
【０１４５】
次いで、同一ショットにおける非対象音声映像情報における時間的位置（Ｔｐ（ｎ））と、対象音声映像情報における時間的位置（Ｔｑ（ｎ））とが予め設定された時間以内（例えば、３０秒）に存在するか否かを判断し、予め設定された時間内に存在する場合は、同一ショットを検出結果より排除する（ステップＳ１５）。
【０１４６】
次いで、各同一ショットが対象音声映像情報における時間的位置において、他の同一ショットと隣接するか否かを判断し、他の同一ショットと隣接する場合は、同一ショットを検出結果より排除する（ステップＳ１６）。
【０１４７】
最後に、同一ショットにおける対象音声映像情報における時間情報、例えば、同一ショットの開始時刻と終了時刻の時間的位置情報を蓄積部１０５に当該対象音声映像情報に関連付けて格納する（ステップＳ１７）。
【０１４８】
このように、本実施形態では要約再生の対象となる対象音声映像情報から予告情報と同一ショットを検出するようになっている。
【０１４９】
次に、図６を用いて要約再生動作について説明する。
【０１５０】
なお、図６は本実施形態における要約再生動作示すフローチャートであり、本動作では本要約再生に必要な対象音声映像情報並びに当該対象音声映像情報および各音声映像情報のシーンチェンジ情報が既に蓄積部１０５に蓄積されているものとし、ユーザが要約再生を指示したときに、本動作を行うようになっている。
【０１５１】
まず、操作部１０７によってユーザから要約再生の指示が入力されると、制御部１０９は指示された音声映像情報のジャンル情報を取得する（ステップＳ２１）。なお、ジャンル情報が連続性を有する音声映像情報でない場合には、本動作を終了させ、本動作以外の他の要約再生動作を行う。また、ジャンル情報が連続性を有する音声映像情報の場合は、以下の動作を行う。
【０１５２】
まず、指示された音声映像情報における同一ショットの検出処理が初めてであるか否かを判断し（ステップＳ２２）、以前に同一ショットを検出したことがあると判断したときは、そのデータを蓄積部１０５から読み込む（ステップＳ２３）。
【０１５３】
また、指示された音声映像情報における同一ショットの検出処理が初めてのときは、指示された対象音声映像情報の同一ショットを、前回の音声映像情報、すなわち、非対象音声映像情報を用いて図５に示した予告部分推定部１０６における上記検出動作を行う（検出処理工程（ステップＳ２４））
次いで、ユーザによって指定された、または、予め設定された要約時間を読み込むと（ステップＳ２５）、上述のように、制御部１０９は、予告部分推定部１０６によって検出された、または、蓄積部１０５から読み込まれた同一ショットの時間情報に基づいて抽出すべき要約セグメントを決定する（決定処理工程（ステップＳ２６））。
【０１５４】
具体的には、上述のように、対象音声映像情報のシーンチェンジ情報を読み込むとともに、同一ショットの開始時刻前における最も近接したシーンチェンジ点から当該同一ショットの終了時刻後における最も近接したシーンチェンジ点までの区間を要約セグメントとする（図４参照）。
【０１５５】
最後に、制御部１０９は、この要約セグメントを要約時間に合致するように時間調整、例えば、要約セグメントの数で要約時間を均等分割し、各要約セグメントの時間長がこの分割した時間に合致するように当該各要約セグメントの時間長を調整して時間順に再生する（生成処理工程（ステップＳ２７））。
【０１５６】
このように、要約再生時に要約セグメントを決定し、抽出すべき要約セグメントが決定されると、制御部１０９は、再生部１０８を制御して、要約再生を開始するとともに、この決定された要約セグメントに基づいて再生部１０８を制御して要約再生を行うようになっている。
【０１５７】
なお、本実施形態では、音声映像情報が複数回に亘って提供されない場合は、同一ショットの検出動作（ステップＳ２３）において、非対象音声映像情報に含まれる予告情報の時間的範囲の設定や予め取得した予告情報の入力などを行うことにより、要約再生を行うことができるようにしてもよい。
【０１５８】
すなわち、本実施形態では、予告情報を有する非対象音声映像情報と要約再生の対象となる対象音声映像情報とを比較し、対象音声映像情報から予め予告情報を設定することなく予告情報と同一ショットを検出するとともに、当該予告情報をも検出するようになっているが、予め予告情報を入力し、または、予告情報の時間的位置を設定し、当該設定された予告情報の時間的範囲、または、入力された予告情報と対象音声映像情報とを比較して、同一のショットを検出するようにしてもよい。
【０１５９】
また、本実施形態では、ドラマなど連続性を有する音声映像情報であると、ジャンル情報を取得した場合に行うようになっているが、ジャンル情報がニュース番組である場合であっても、上述のように、予告情報の入力または予告情報の時間的範囲を設定することによって要約再生動作を行うようにしてもよい。
【０１６０】
以上説明したように、本実施形態では、要約再生の対象となる映像情報における予告情報に基づいて入力された映像情報から予告情報を構成する特徴的な部分と同一の同一部分情報を検出することができるので、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１６１】
また、要約対象となる映像情報（例えば、複数回の映像情報の何れかの映像情報）と他の映像情報（例えば、要約対象となる映像情報における前回の映像情報）を比較することによって各映像情報で同一となる部分情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１６２】
なお、本実施形態では、予告部分の映像情報を有する音声映像情報、すなわち、（Ｎ−１）回目の非対象音声映像情報における最終の１０分間の区間において同一ショットの検索を行うようになっているが、非対象音声映像情報における検索区間を予め設定しないで検索するようにしてもよい。これは、同一ショットの算出効率を良くするためである。したがたって、勿論、非対象音声映像情報の全てのショットと対象音声映像情報の全てのショットを比較して同一ショットを検出するようにしてもよい。
【０１６３】
また、本実施形態では、入力された映像情報に基づいてシーンチェンジを検出し、予告情報の同一ショットの時間情報とシーンチェンジの情報に基づいて要約セグメント候補を設定するようになっているが、予告情報と音声映像情報に付帯された音声情報の音声レベルに基づいて特徴部分を検出し、予告情報の同一ショットの時間情報を包含する当該検出された特徴部分に基づいて要約セグメント候補を設定するようにしてもよい。
【０１６４】
また、本実施形態において抽出された要約セグメントを抽出すべき要約セグメントの一つして、すなわち、要約再生に用いる要約セグメントの候補（以下、要約セグメント候補という）として決定し、要約時間、その要約セグメント候補の重要度などその他の要素を判断してこの要約セグメント候補から要約再生に用いる要約セグメントを決定するようにしてもよい。
【０１６５】
この場合、例えば、他の要約セグメントの候補を取得する方法としては、図７に示すような要約再生装置において、入力された音声映像情報が基準音声レベルより大きい（小さい）部分で予め設定された時間継続した場合に、その基準音声レベルより大きい（小さい）部分のアドレスを記録し、このアドレスに基づいて当該基準音声レベルより大きいレベル（小さいレベル）の部分を要約セグメント候補として取得する方法が考えられる。
【０１６６】
また、重要度の設定においては、このような音声レベルによって要約セグメント候補を検出した場合に、当該音声映像情報のジャンル情報を取得し、当該音声情報のジャンル情報に基づいて各音声区間の重要度を決定する方法などが考えられる。
【０１６７】
また、本実施形態では、要約再生装置１００が、上述のようにジャンル情報取得部１０４、蓄積部１０５、予告部分推定部１０６、再生部１０８および制御部１０９などによって構成されているが、制御部１０９にコンピュータおよびハードディスクなどの記録媒体を備え、要約再生装置１００の各部に対応する上記処理を行うプログラムを当該記録媒体に格納し、当該プログラムをコンピュータに読み取らせることによって、上述したジャンル情報取得部１０４、蓄積部１０５、予告部分推定部１０６、再生部１０８および制御部１０９など要約再生装置１００の各部のそれぞれの動作を行うようにしてもよい。
この場合、上述した対象音声映像情報の同一ショットの検出動作および要約再生動作を行うときは、当該格納されたプログラムによりコンピュータを動作させることによって当該対象音声映像情報の同一ショットの検出動作および要約再生動作を行うようにする。また、この場合、制御部１０９は、本発明に係る識別情報取得手段、取得手段、検出手段、生成手段および決定手段を構成する。
【０１６８】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１６９】
また、請求項２に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７０】
また、請求項３に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７１】
また、請求項４に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【０１７２】
また、請求項５に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７３】
また、請求項６に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７４】
また、請求項７に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７５】
また、請求項８に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１７６】
また、請求項９に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７７】
また、請求項１０に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【０１７８】
また、請求項１１に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１７９】
また、請求項１２に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１８０】
また、請求項１３に記載の発明によれば、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができるので、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１８１】
また、請求項１４に記載の発明によれば、要約対象となる映像情報と他の映像情報を比較することによって各映像情報で同一となる部分映像情報を検出することができるので、特に、時間的位置など予告情報を指定しなくても、当該予告情報を有する映像情報を取得させることにより、当該予告情報に基づいて要約情報を生成することができるので、煩わしい操作が必要なく、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【０１８２】
また、請求項１５に記載の発明によれば、時間長が短すぎる部分映像情報数秒程度以上の部分映像情報は予告情報に基づいて検出されたものでないと判断することができるので、予め設定された時間長を有する同一部分映像情報を検出することにより、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１８３】
また、請求項１６に記載の発明によれば、同一部分映像情報の時間的位置が予め定められた範囲で一致する同一部分映像情報を検出結果から除外することによって、同一部分映像情報ではあるが、当該映像情報の特徴部分にならない部分を排除して的確に予告映像情報と同一の同一部分映像情報を検出することができ、この同一部分映像情報に基づいて部分映像情報を決定することができる。
【０１８４】
また、請求項１７に記載の発明によれば、時間的に接する同一部分映像情報を除外してこの同一部分映像情報を除外した検出結果に基づいて抽出されるべき部分映像情報を決定することができるので、的確に予告映像情報と同一の同一部分映像情報を検出することができる。
【０１８５】
また、請求項１８に記載の発明によれば、ドラマなどのストーリー性を有する映像情報であることが識別された場合には、映像情報の制作者によって、すなわち、人間が映像情報の内容を理解して編集された予告情報に基づいて要約情報を生成することができ、ユーザが短時間で内容を的確に把握することができるより適した要約情報を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る要約再生装置の概要構成を示すブロック図である。
【図２】本実施形態において、フレームにおける映像情報の特徴量の抽出原理を説明するための図である。
【図３】本実施形態における予告情報と同一ショットを検出する検出動作を示すフローチャートである。
【図４】本実施形態における同一ショットの検出原理を説明するための図（同一ショットの検出結果の一例）である。
【図５】本実施形態における要約再生における要約セグメントの決定処理の動作を示すフローチャートである。
【図６】本実施形態における要約再生動作示すフローチャートである。
【図７】従来の要約再生装置の構成を示すブロック図である。
【符号の説明】
１００ … 要約再生装置
１０１ … デマルチプレクサ
１０２ … 特徴量抽出部
１０３ … シーンチェンジ検出部
１０４ … ジャンル情報取得部（識別情報取得手段）
１０５ … 蓄積部（取得手段）
１０６ … 予告部分推定部（検出手段、取得手段）
１０７ … 操作部
１０８ … 再生部（生成手段）
１０９ … 制御部（識別情報取得手段、取得手段、検出手段、決定手段、生成手段）
１１０ … 表示部
Claims (18)
- 入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段と、
前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、
を備えたことを特徴とする映像情報要約装置。 - 入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約装置において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段と、
前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段と、
を備えたことを特徴とする映像情報要約装置。 - 請求項２に記載の映像情報要約装置において、
前記検出手段が予め設定された時間長を有する前記同一部分情報を検出することを特徴とする映像情報要約装置。 - 請求項２または３に記載の映像情報要約装置において、
前記検出手段によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致する同一部分情報であるとき、
前記検出手段が、当該時間的範囲内に一致する同一部分情報を、当該検出手段によって検出された前記同一部分情報より除外するとともに、
前記決定手段が、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定することを特徴とする映像情報要約装置。 - 請求項１乃至４の何れか一項に記載の映像情報要約装置において、
前記検出手段によって検出された前記同一部分情報の当該入力された映像情報における時間的位置と他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的連続した同一部分情報であるとき、
前記検出手段が、当該時間的に連続した同一部分情報を、当該検出手段によって検出された前記同一部分情報より除外するとともに、
前記決定手段が、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき前記部分映像情報を決定することを特徴とする映像情報要約装置。 - 請求項１乃至５の何れか一項に記載の映像情報要約装置において、
前記映像情報の識別情報を取得する識別情報取得手段を設け、
前記識別情報取得手段によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、
前記決定手段が、前記検出手段によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定することを特徴とする映像情報要約装置。 - 入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得処理工程と、
前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、
を含むことを特徴とする映像情報要約方法。 - 入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約方法において、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得処理工程と、
前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出処理工程と、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定処理工程と、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成処理工程と、
を含むことを特徴とする映像情報要約方法。 - 請求項８に記載の映像情報要約方法において、
前記検出処理工程においては予め設定された時間長を有する前記同一部分情報を検出することを特徴とする映像情報要約方法。 - 請求項８または９に記載の映像情報要約方法において、
前記検出処理工程によって検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致する同一部分情報であるとき、
前記検出処理工程においては、当該時間的範囲内に一致する同一部分情報を、当該検出処理工程によって検出された前記同一部分情報より除外するとともに、
前記決定処理工程においては、前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて抽出されるべき前記部分映像情報を決定することを特徴とする映像情報要約方法。 - 請求項７乃至１０の何れか一項に記載の映像情報要約方法において、
前記検出処理工程によって検出された前記同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的連続した同一部分情報であるとき、
前記検出処理工程においては、当該時間的に連続した同一部分情報を、当該検出処理工程によって検出された前記同一部分情報より除外する前記時間的に接する同一部分情報を検出結果より除外するとともに、
前記決定処理工程においては、前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定することを特徴とする映像情報要約方法。 - 請求項７乃至１１の何れか一項に記載の映像情報要約方法において、
前記映像情報の識別情報を取得する識別情報取得処理工程を含み、
前記識別情報取得処理工程によって当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、
前記決定処理工程においては、前記検出処理工程によって検出された前記同一部分情報に基づいて前記抽出すべき部分映像情報を決定することを特徴とする映像情報要約方法。 - 入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、
前記コンピュータを、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を取得する取得手段、
前記予告情報を構成する特徴的な部分と同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、
として機能させることを特徴とする映像情報要約プログラム。 - コンピュータによって、入力された映像情報より当該映像情報の一部である部分映像情報を１または複数個抽出し、当該抽出した部分映像情報に基づいて前記映像情報の時間長を短縮した要約情報を生成する映像情報要約プログラムであって、
前記コンピュータを、
予め生成され、前記入力された映像情報における特徴的な部分が連続的に結合された予告情報を少なくとも有する他の映像情報を取得する取得手段、
前記入力された映像情報と前記他の映像情報とを比較して部分的に同一の映像情報である同一部分情報を当該入力された映像情報から検出する検出手段、
前記検出された同一部分情報に基づいて抽出されるべき前記部分映像情報を決定する決定手段、
前記決定された部分映像情報を前記入力された映像情報から抽出して前記要約情報を生成する生成手段、
として機能させることを特徴とする映像情報要約プログラム。 - 請求項１４に記載の映像情報要約プログラムにおいて、
前記コンピュータを、
予め設定された時間長を有する前記同一部分情報を検出する検出手段として機能させることを特徴とする映像情報要約プログラム。 - 請求項１４または１５に記載の映像情報要約プログラムにおいて、
前記検出された前記同一部分情報の、前記入力された映像情報における時間的位置と、前記予告情報を有する他の映像情報における時間的位置と、が予め定められた時間的範囲内で一致する同一部分情報であるとき、
前記コンピュータを、
当該時間的範囲内に一致する同一部分情報を、前記検出された前記同一部分情報より除外する検出手段、
前記予め定められた時間的範囲内で一致した前記同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、
として機能させることを特徴とする映像情報要約装置。 - 請求項１３乃至１６の何れか一項に記載の映像情報要約プログラムにおいて、
前記検出された同一部分情報の当該入力された映像情報における時間的位置が他の前記同一部分情報の当該入力された映像情報における時間的位置とが時間的連続した同一部分情報であるとき、
前記コンピュータを、
当該時間的に連続した同一部分情報を、前記検出された前記同一部分情報より除外する検出手段、
前記時間的に接する同一部分情報を除外した検出結果に基づいて前記抽出されるべき部分映像情報を決定する決定手段、
として機能させることを特徴とする映像情報要約装置。 - 請求項１乃至５の何れか一項に記載の映像情報要約プログラムにおいて、
前記コンピュータを
前記映像情報の識別情報を取得する識別情報取得手段として機能させるとともに、
当該映像情報の識別情報がストーリー性を有する映像情報であることが識別された場合に、
前記検出された同一部分情報に基づいて前記抽出すべき部分映像情報を決定する決定手段として機能させることを特徴とする映像情報要約プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304359A JP4426743B2 (ja) | 2001-09-13 | 2001-09-28 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| EP02256125A EP1293914A3 (en) | 2001-09-13 | 2002-09-04 | Apparatus, method and processing program for summarizing image information |
| US10/238,619 US7149365B2 (en) | 2001-09-13 | 2002-09-11 | Image information summary apparatus, image information summary method and image information summary processing program |
| KR1020020055716A KR20030023576A (ko) | 2001-09-13 | 2002-09-13 | 영상 정보 요약 장치, 영상 정보 요약 방법 및 영상 정보요약 처리 프로그램 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001278504 | 2001-09-13 | ||
| JP2001-278504 | 2001-09-13 | ||
| JP2001304359A JP4426743B2 (ja) | 2001-09-13 | 2001-09-28 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003163881A JP2003163881A (ja) | 2003-06-06 |
| JP4426743B2 true JP4426743B2 (ja) | 2010-03-03 |
Family
ID=26622168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001304359A Expired - Fee Related JP4426743B2 (ja) | 2001-09-13 | 2001-09-28 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7149365B2 (ja) |
| EP (1) | EP1293914A3 (ja) |
| JP (1) | JP4426743B2 (ja) |
| KR (1) | KR20030023576A (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100763899B1 (ko) | 2004-02-20 | 2007-10-05 | 삼성전자주식회사 | 앵커 샷 검출 방법 및 장치 |
| US20090208184A1 (en) * | 2004-12-03 | 2009-08-20 | Nec Corporation | Video content playback assistance method, video content playback assistance system, and information distribution program |
| KR100681017B1 (ko) * | 2005-02-15 | 2007-02-09 | 엘지전자 주식회사 | 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법 |
| JP2007199944A (ja) * | 2006-01-25 | 2007-08-09 | Sega Corp | シミュレーション映像のダイジェストを表示制御するプログラム |
| JP4650288B2 (ja) * | 2006-02-01 | 2011-03-16 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
| US8135699B2 (en) * | 2006-06-21 | 2012-03-13 | Gupta Puneet K | Summarization systems and methods |
| JP2008228234A (ja) * | 2007-03-15 | 2008-09-25 | Victor Co Of Japan Ltd | コンテンツ再生装置およびコンテンツ再生プログラム |
| US20080269924A1 (en) * | 2007-04-30 | 2008-10-30 | Huang Chen-Hsiu | Method of summarizing sports video and apparatus thereof |
| JP2009021732A (ja) * | 2007-07-11 | 2009-01-29 | Nippon Hoso Kyokai <Nhk> | 蓄積型放送受信装置および要約映像再生プログラム |
| JP4825815B2 (ja) * | 2008-01-11 | 2011-11-30 | Ｋｄｄｉ株式会社 | 要約映像作成装置、要約映像作成方法、要約映像作成プログラム、映像解析装置、映像解析方法及び映像解析プログラム |
| KR100921571B1 (ko) * | 2008-04-23 | 2009-10-13 | (주)올라웍스 | 오디오 신호를 분석하여 정보를 제공하기 위한 방법,시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP2010062870A (ja) * | 2008-09-03 | 2010-03-18 | Toshiba Corp | 映像記録再生装置および映像記録再生方法 |
| JP2009095055A (ja) * | 2008-12-26 | 2009-04-30 | Hitachi Ltd | 動画再生装置 |
| JP4721079B2 (ja) | 2009-02-06 | 2011-07-13 | ソニー株式会社 | コンテンツ処理装置および方法 |
| JP2011004197A (ja) * | 2009-06-18 | 2011-01-06 | Toshiba Corp | 録画再生装置及び再生方法 |
| JP5515890B2 (ja) * | 2010-03-15 | 2014-06-11 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体 |
| KR101378404B1 (ko) * | 2010-05-19 | 2014-03-27 | 에스케이플래닛 주식회사 | 요약 영상 검출 방법 및 장치 |
| US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
| US9792502B2 (en) | 2014-07-23 | 2017-10-17 | Gopro, Inc. | Generating video summaries for a video using video summary templates |
| US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
| KR20230039934A (ko) | 2021-09-15 | 2023-03-22 | 씨제이올리브네트웍스 주식회사 | 멀티모달 분석 기반의 요약영상 생성 방법 및 이를 위한 연산장치 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| US5805733A (en) * | 1994-12-12 | 1998-09-08 | Apple Computer, Inc. | Method and system for detecting scenes and summarizing video sequences |
| JP3367268B2 (ja) * | 1995-04-21 | 2003-01-14 | 株式会社日立製作所 | 映像のダイジェスト作成装置及び方法 |
| JPH1032776A (ja) | 1996-07-18 | 1998-02-03 | Matsushita Electric Ind Co Ltd | 映像表示方法及び記録再生装置 |
| JPH10276435A (ja) | 1997-03-28 | 1998-10-13 | Sanyo Electric Co Ltd | シーンチェンジ検出方法 |
| JP4227241B2 (ja) * | 1999-04-13 | 2009-02-18 | キヤノン株式会社 | 画像処理装置及び方法 |
| US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
| US6925455B2 (en) * | 2000-12-12 | 2005-08-02 | Nec Corporation | Creating audio-centric, image-centric, and integrated audio-visual summaries |
| KR100411340B1 (ko) * | 2001-03-09 | 2003-12-18 | 엘지전자 주식회사 | 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템 |
| JP4615166B2 (ja) * | 2001-07-17 | 2011-01-19 | パイオニア株式会社 | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム |
| US6956904B2 (en) * | 2002-01-15 | 2005-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Summarizing videos using motion activity descriptors correlated with audio features |
| US7006945B2 (en) * | 2003-01-10 | 2006-02-28 | Sharp Laboratories Of America, Inc. | Processing of video content |
-
2001
- 2001-09-28 JP JP2001304359A patent/JP4426743B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-04 EP EP02256125A patent/EP1293914A3/en not_active Withdrawn
- 2002-09-11 US US10/238,619 patent/US7149365B2/en not_active Expired - Fee Related
- 2002-09-13 KR KR1020020055716A patent/KR20030023576A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| US20030048843A1 (en) | 2003-03-13 |
| JP2003163881A (ja) | 2003-06-06 |
| EP1293914A2 (en) | 2003-03-19 |
| US7149365B2 (en) | 2006-12-12 |
| KR20030023576A (ko) | 2003-03-19 |
| EP1293914A3 (en) | 2004-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4426743B2 (ja) | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム | |
| JP4615166B2 (ja) | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム | |
| JP4546682B2 (ja) | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム | |
| KR100833806B1 (ko) | 미리 설정된 기록 시간 간격에 앞서 또는 미리 설정된 기록 시간 간격을 넘어 프로그램들을 기록하기 위한 방법들 및 장치 | |
| US7738767B2 (en) | Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data | |
| JP4482829B2 (ja) | 嗜好抽出装置、嗜好抽出方法及び嗜好抽出プログラム | |
| KR100547317B1 (ko) | 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치 | |
| US9465996B1 (en) | Apparatus, systems and methods for control of media content event recording | |
| US8260108B2 (en) | Recording and reproduction apparatus and recording and reproduction method | |
| KR20060027826A (ko) | 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 | |
| US20090196569A1 (en) | Video trailer | |
| US20100259688A1 (en) | method of determining a starting point of a semantic unit in an audiovisual signal | |
| JP3821362B2 (ja) | インデックス情報生成装置、記録再生装置、及びインデックス情報生成方法 | |
| JP4432823B2 (ja) | 特定条件区間検出装置および特定条件区間検出方法 | |
| US8234278B2 (en) | Information processing device, information processing method, and program therefor | |
| JP4198331B2 (ja) | 録画装置 | |
| JP2007066409A (ja) | 記録再生装置および記録再生方法 | |
| JP2008020767A (ja) | 記録再生装置および方法、プログラム、並びに記録媒体 | |
| Divakaran et al. | A video-browsing-enhanced personal video recorder | |
| JP5682167B2 (ja) | 映像音声記録再生装置、および映像音声記録再生方法 | |
| KR20020014857A (ko) | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 | |
| JP2006139829A (ja) | 要約再生装置、要約再生方法、要約再生プログラムおよびそのプログラムが記録された情報記録媒体 | |
| JP2000287156A (ja) | 情報記録再生装置および方法、並びに提供媒体 | |
| JP2006303868A (ja) | 信号属性判定装置、信号属性判定方法、情報信号記録装置、情報信号記録方法、情報信号再生装置、情報信号再生方法、情報信号記録再生装置および情報信号記録再生方法並びに記録媒体 | |
| WO2004047109A1 (en) | Video abstracting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091211 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |