JP4511761B2 - 映像ダイジェスト生成方法 - Google Patents
映像ダイジェスト生成方法 Download PDFInfo
- Publication number
- JP4511761B2 JP4511761B2 JP2001135632A JP2001135632A JP4511761B2 JP 4511761 B2 JP4511761 B2 JP 4511761B2 JP 2001135632 A JP2001135632 A JP 2001135632A JP 2001135632 A JP2001135632 A JP 2001135632A JP 4511761 B2 JP4511761 B2 JP 4511761B2
- Authority
- JP
- Japan
- Prior art keywords
- digest
- video
- scene
- information
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法に関し、より詳細には、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現し、番組途中のある時点におけるダイジェストを動的に生成することが可能な映像ダイジェスト生成方法に関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、日本でも２０００年１２月からＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送が開始されており、地上デジタル放送も２００３年の開始を目処としている。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報が映像インデックスなどの番組付加情報として付加された番組映像を対象として、その番組付加情報を用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案した。このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えから映像内容の説明文生成処理を考えてきた。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲５▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
▲５▼ 橋本隆子、他：「サッカー番組のダイジェスト作成システムの試作」、第１１回データ工学ワークショップ（ＤＥＷＳ’００）予稿集ＣＤ−ＲＯＭ、２０００年。
【０００５】
本出願人は、これらの試作システムにおいて、番組映像に付加された基本的な補足情報としての番組付加情報を利用した映像内容の意味解析、利用者の嗜好を反映させた重要場面の判定および切り出し（映像の抽出）を可能とし、また、それに対する説明文の生成機能を実現している。
【０００６】
ところで、映像ダイジェストの生成は映像検索の応用の一つとして考えることができる。従来の映像検索のアプローチには、大きく分けて次の２種類が提案されている。
（Ａ）画像分析、音声解析などの認識技術を利用して、カメラカット、話者の変化などの検出を行い、映像の検索を行う方法。
（Ｂ）番組映像の内容を見ながら、手作業で映像の番組付加情報を付加し、その情報を利用して映像を検索する方法。
【０００７】
上記（Ａ）の方法の長所は、認識技術を利用しているため、人手を介さずに低コストで映像シーンが検索できることである。一方、短所は、画像や音声の特徴に強く関係する検索であるため、映像内容の意味に基づくシーン検索ができないことが挙げられる。
【０００８】
また、上記（Ｂ）の方法では、人手による番組付加情報を利用するため、内容に関係したシーンの検索が可能となるという長所があるが、反面、番組付加情報の付加に時間がかかるという短所がある。
【０００９】
本出願人が提案したダイジェスト生成方法も、映像上の事象情報（番組付加情報）を利用するものであり、上記（Ｂ）の方法に含まれるが、映像の補足情報の付加コストを下げるために、基本的かつ客観的な事象情報のみを対象として、ダイジェストを作成するものである。
【００１０】
ところが、これまで本出願人が提案してきたダイジェスト生成方法は、受信端末のＨＤ（ハードディスク）に予め蓄積された番組映像と番組付加情報を利用して映像の意味的重要度を算出し、重要シーンを抽出するものであり、リアルタイムに放送を受信しながら動的に重要度を算出し、シーンを抽出するということはできなかった。例えば、野球番組で、あるイニングにおいてヒットがあり、その後、ホームランによって逆転が起きた場合、逆転のきっかけとなったヒットの重要性は、結果として逆転が発生した時にさらに高くなるべきである。
【００１１】
しかし、これまでの方法では、リアルタイムに番組付加情報を受信しながら、逆転という状況を解析し、その結果に基づいて「きっかけとなったヒット」発生時点に時間を溯って、その時点における番組映像の重要性を動的に高める、ということはできなかった。これは、上記の方法が、予め蓄積された番組付加情報を対象としており、番組付加情報の受信をトリガーとした動的な重要度評価機能を持たなかったためである。動的な重要度評価機能があれば、番組映像と番組付加情報を受信しながら、その時点における重要シーンをリアルタイムに抽出し、ダイジェストを作成していくことも可能となる。
【００１２】
一方、ダイジェスト生成のアプリケーションの一つとして「追い付き視聴」がある。追い付き視聴とは、番組途中から視聴を開始した際に、以降の番組放送に追い付くためにそれまでの番組映像を早送りなどで視聴する受信端末の蓄積を利用した視聴方法である。
【００１３】
この追い付き視聴を、本出願人が提案しているダイジェスト生成方法に適用した場合、例えば、既に３回表まで経過している野球番組に対して、その時点までのダイジェストを作成して視聴する、ということが可能となる。しかし利用者がダイジェストを視聴している間に本編番組でホームランなどの重要な事象が起こった場合、利用者はその重要シーンを視聴することができないという事態が生じる。すなわち、従来の技術の組み合わせでは、「視聴に追い付くためにダイジェストを視聴している間に、本編番組で起きた重要シーンを見逃してしまう」という不具合が発生する。このように従来の技術の組み合わせのみでは、リアルタイムにダイジェストを生成する機能がないため、該当シーンをダイジェストに含めるには、再度、ダイジェスト生成処理を実行しなければならなかった。
【００１４】
【発明が解決しようとする課題】
そこで本発明では、上記従来技術のダイジェスト生成方法を拡張し、番組付加情報を受信しながら、映像上のある時点に対する動的な重要度を算出できる、追い付き視聴に対応可能なリアルタイム・ダイジェスト生成方法（追い付き視聴に対応可能な映像ダイジェスト生成方法）の提案を行う。
【００１５】
換言すれば、リアルタイム・ダイジェスト生成に対する要求仕様を以下の▲１▼〜▲３▼のように定義し、従来技術におけるこれらの問題点を認識して、解決する方法を提案する。
▲１▼映像上のある時点おける意味的な重要度判定ができること。
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲３▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
【００１６】
▲１▼映像上のある時点における意味的な重要度判定ができること。
従来の技術として、基本的な映像付加情報から内容の意味に基づくＳ時シーンを検索する技術が知られている。この技術によれば、映像上の事象を表現する事象列の正規表現によるシーン抽出を実現しており、野球中継番組ならばホームランシーンや松井の打席シーンなどの検索が可能となる。
【００１７】
ところが、このようなシーン検索だけではシーンの意味的な重要度判定はできない。ダイジェストを作成するためには、映像上のある時点における意味的重要度を解析し、より重要な時点を含む映像シーンを選択する、という機能が必要となる。例えば、野球番組の場合、同じホームランシーンであったとしても、先制や逆転といった意味的により重要なシーンから検索されなければならないし、松井の打席シーンに対しても、ヒットを打った場合と、三振の場合とでは、その重要性が自ずと異なってくる。
【００１８】
従来の方法だけでは、その意味的判定ができないため、映像上のある時点に対して意味的重要度を定義するための仕組みが必要であった。
【００１９】
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
従来の技術として、野球番組を対象として、想定されるダイジェストのシナリオをテンプレート化しておき、試合結果のスコア情報に従ってテンプレートを選択してダイジェストを作成する技術が知られている。この技術によれば、ストーリー性を重視したダイジェストを生成するのには効果的であるが、対象とするデータが番組終了後のものであり、番組途中のダイジェストが生成できず、追い付き視聴にも対応できないという問題点があった。
【００２０】
すなわち、番組途中でダイジェストを生成するためには、その時点における動的な重要度判定ができなければならない。例えば、逆転のきっかけとなったヒットのように、番組の経過によって、その重要度が変わってくるような場合でも、逆転発生後は、ダイジェスト映像として該当するヒットシーンの重要度が高まることが望ましい。そのためには、番組付加情報を受信しながら動的にその時点の重要度を算出する仕組みが必要となる。
【００２１】
▲３▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
従来の追い付き視聴の実現方法としては、人手による早送り再生が一般的である。しかし、野球のように全体で３時間以上かかる番組に対して、その３分の１にあたる１時間分を早送りで視聴したとしても、その視聴には２０分から３０分程度かかってしまう。また、野球番組にはイニングの切り替わりなどの冗長なシーンが多く、早送りで全体を視聴するのは無駄である。さらにデジタル放送で対象としているＭＰＥ２の場合、アナログ的な早送り処理を実現するにはコストがかかるという問題点もある。
【００２２】
そこでダイジェスト生成技術を追い付き視聴に適応し、その時点までの番組経過をダイジェストとして視聴して、以降の番組放送に追い付く、というアプリケーションが有効となる。その際、ダイジェスト視聴中に本編番組で発生した重要シーンを見逃さないために、ダイジェスト作成および視聴中にも番組付加情報を受信してリアルタイムに重要シーンを抽出し、視聴中のダイジェストに含めるという処理（リアルタイム・ダイジェスト生成処理）が必要となる。このリアルタイム・ダイジェスト生成処理は、ダイジェスト視聴中に本編番組で重要シーンが抽出されなくなるまで行う必要がある。
【００２３】
本発明は上記に鑑みてなされたものであって、映像上のある時点おける意味的な重要度判定ができると共に、番組付加情報を受信しながら重要度を動的に算出できる映像ダイジェスト生成方法を提供することを目的とする。
【００２４】
また、本発明は上記に鑑みてなされたものであって、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足する映像ダイジェスト生成方法を提供することを目的とする。
【００２７】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る映像ダイジェスト生成方法は、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法であって、前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成する抽出工程と、前記番組付加情報を受信すると、受信した複数の番組付加情報および前記抽出工程で生成された複合情報に基づいて、前記番組映像中におけるフレームに対して１つ以上の種類の意味的特徴量をフレーム毎に算出する意味的特徴量算出工程と、受信した番組映像、前記抽出工程で抽出したシーン、前記抽出工程で生成した複合情報および前記意味的特徴量算出工程で算出したフレームの意味的特徴量を蓄積する蓄積工程と、少なくとも前記番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、前記番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力する入力工程と、前記入力工程でダイジェスト生成ルールが入力されると、前記ダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、前記抽出工程で抽出したシーンのタイプおよび意味的特徴量算出工程で算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力する変更情報出力工程と、前記入力工程でダイジェスト生成ルールが入力されると、前記蓄積工程で蓄積した前記抽出したシーンおよびフレームの意味的特徴量を参照して、前記ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに前記変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに前記変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すダイジェスト生成・表示工程と、を含むことを特徴とする。
【００２８】
また、請求項２に係る映像ダイジェスト生成方法は、請求項１に記載の映像ダイジェスト生成方法において、前記抽出工程におけるシーンの抽出が、前記補足情報の正規表現により記述された抽出ルールによって定義されていることを特徴とする。
【００２９】
また、請求項３に係る映像ダイジェスト生成方法は、請求項１または２に記載の映像ダイジェスト生成方法において、前記入力工程が、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、前記ダイジェスト生成工程またはダイジェスト生成・表示工程が、前記重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、または前記ダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成することを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の映像ダイジェスト生成方法およびダイジェスト生成処理装置の一実施の形態について、
〔本発明の概要〕
〔本実施の形態のダイジェスト生成処理装置の概略構成〕
〔本実施の形態で使用する各データの定義〕
〔本実施の形態のダイジェスト生成処理〕
〔追い付き視聴可能なダイジェスト生成処理の動作〕
の順に、添付の図面を参照して詳細に説明する。
【００３１】
〔本発明の概要〕
放送のデジタル化に伴い、番組と共に放送される番組付加情報を利用して柔軟に番組を視聴する方法が各種研究されている。この場合、番組付加情報を利用した視聴方式の一つとしてダイジェスト生成がある。本発明の映像ダイジェスト生成方法およびダイジェスト生成処理装置では、基本的な番組付加情報を受信しながら動的に重要シーンの判定を行うリアルタイム・ダイジェスト生成処理を提供するものである。
【００３２】
リアルタイム・ダイジェスト生成処理では、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現している。このイベント駆動型ダイジェスト生成により、番組途中のある時点におけるダイジェストを動的に生成することができる。
【００３３】
さらに、ダイジェスト視聴中に本編番組で重要事象が発生した場合、そのシーンを抽出し視聴中のダイジェストに追加するという処理を実現することにより、「追い付き視聴中に本編番組で起きた重要事象を見逃す」という追い付き視聴の問題を解決するものである。
【００３４】
本発明では、次の▲１▼〜▲３▼のような要求仕様を満たすダイジェスト生成処理モデル（映像ダイジェスト生成方法）を提案する。
▲１▼映像上のある時点おける意味的な重要度判定ができること。
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲３▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
【００３５】
なお、上記▲１▼〜▲３▼の要求仕様を満足するために、本発明の映像ダイジェスト生成方法では、番組映像と共にその補足情報が番組付加情報として送信されてくる放送環境において、番組付加情報を受信するというイベントにより、番組内のシーンを動的に抽出する。また、シーンが抽出されると、シーン内の任意の番組付加情報に対して、その内容をより意味的に説明するアノテーション（補足説明：本発明の複合情報に相当する）が生成され付加される。
【００３６】
なお、この抽出およびアノテーション生成は、番組付加情報の受信イベントをトリガーとし、補足情報の正規表現により記述されるルールにより定義されているものとする。
【００３７】
また、番組付加情報受信イベントにより、番組の意味的特徴量（ステイタス・パラメタ）を動的に算出する。そのステイタス・パラメタ算出は、番組付加情報の受信イベント及びアノテーション生成のイベント（アノテーション生成イベント）をトリガーとしたステイタス・パラメタ算出ルールにより定義されているものとする。
【００３８】
また、上記ステイタス・パラメタの値に対して、抽出シーンの型、抽出に当たってのランキングのためのステイタス・パラメタの式（本発明の重要度式に相当する）、その式から算出される値（重要度値）の抽出指定値またはダイジェストの総時間を指定して、ダイジェストを生成するものとする。
【００３９】
さらに、ダイジェストを生成、表示中も、番組付加情報を受信し、ステイタス・パラメタの値を算出し、ダイジェスト生成に関連する情報に変更があったかをチェックし、あった場合には、その旨をダイジェスト関連情報変更イベントとして差分に対して再度重要度値を算出し、直前のダイジェスト生成における重要度の抽出指定値よりも高い重要度値があった場合は、その重要度値を含むシーンを抽出し、ダイジェストとして追加する。なお、この処理は追加すべきシーンがなくなるまで繰り返される。
【００４０】
〔本実施の形態のダイジェスト生成処理装置の概略構成〕
図１は、本実施の形態の映像ダイジェスト生成方法を適用したダイジェスト生成処理装置の概略構成を示し、同図（ａ）がダイジェスト生成処理装置１００の概観図を示し、同図（ｂ）がハード構成を示している。ダイジェスト生成処理装置１００のハード構成としては、後述するソフトウエアに基づく処理を実行するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行なうためのキーボード１０５およびマウス１０６と、ダイジェスト映像を表示するための表示画面を有したＣＲＴや液晶ディスプレイ等の表示装置１０４と、本実施の形態の映像ダイジェスト生成方法を実現するためのダイジェスト生成処理ソフト１０７等の各種アプリケーションプログラムやデータを記憶したハードディスク１０８と、有線または無線で放送される番組映像を受信するための受信部１０９と、上記各部を接続するバス１１０と、を備えている。
【００４１】
なお、このダイジェスト生成処理装置１００は、放送局などから放送された映像（ビデオデータ、例えばＭＰＥＧ２ストリーム）および番組付加情報を受信して、ダイジェスト映像を作成するためのハード構成を備えておればよく、上記の構成に限定されるものではない。
【００４２】
〔本実施の形態で使用する各データの定義〕
次に、本実施の形態のダイジェスト生成処理で使用する各データの定義について説明する。本実施の形態のダイジェスト生成処理は、リアルタイムにダイジェスト映像を生成するものあるため、以下、ＲＥＡＤ（リアルタイム・ダイジェスト生成方式：ＲＥＡｌ−ｔｉｍｅ Ｄｉｇｅｓｔ ｇｅｎｅｒａｔｉｏｎ ｓｃｈｅｍｅ）と記載することがある。
【００４３】
ＲＥＡＤは、イベント駆動型の処理方式に基づいた重要度判定により、映像上のある時点における重要度を動的に算出し、リアルタイムに重要シーン（Scene ）を抽出する方式である。
【００４４】
ＲＥＡＤの処理データは、以下に説明する番組映像であるFrame(f)と、番組付加情報であるPrimitive Descriptor(p) の２つである。この２つのデータは放送局により制作され放送される。ＲＥＡＤはこれらのデータを受信し、ダイジェストの作成を行う。
【００４５】
Frame(f)
番組映像は、静止画像である Frameｆi の列ｆ1 …ｆn である。各Frame は識別子となるフレーム番号ｆno、およびそのFrame が表現する経過時間（先頭Frame からの相対時間）を示すタイムコード timecode で構成される。以下では連続したFrame の部分列をFrame 列と呼ぶ。
【００４６】
Primitive Descriptor（p ）
放送局によって付加される基本的な番組付加情報をPrimitive Descriptor (以下P-Descriptorと略す) と呼ぶ。各 P-Descriptor ｐi はその記述情報の開始時点となるFrame ｆj に対応付けられる。各ｐは以下のような組で表現される。
【００４７】
【００４８】
上記P-Descriptorの型typeは番組付加情報の種類を示す。例えば、野球中継の場合、"game ＿start"、 "inning＿start"、 "at＿bat"などの試合の区切りや、"pitch" 、"hit" 、"home ＿run"、"out" や"at ＿bat"などの動作やプレイの種類を示すP-Descriptorの型が考えられる。
【００４９】
attr1, …, attrn で示される属性はP-Descriptorの型typeによって決まる属性であり、各ｐi の属性値が設定される。例えば：P-Descriptor "pitch"の場合、"pitcher＿name" 、"batter ＿name" 、スコア情報などが属性となる。このP-Descriptorの型によって決まる属性をP-Descriptorのスキーマと呼ぶ。
【００５０】
なお、Frame ｆj と P-Descriptor ｐi の関係は１対多となる。１つのFrame に対して複数のP-Descriptorが対応付けられることもあり、P-Descriptorが対応付けられないFrame もある。図２にFrame とP-Descriptorとの関係を示す。
【００５１】
次に、上記処理データを基に基づいてＲＥＡＤが生成するデータについて述べる。ＲＥＡＤが生成するデータは、Scene （シーン）、P-DescriptorのAnnotation（複合情報）、Status Parameter（意味的特徴量）である。図２にFrame 、P-Descriptor、 Scene、Annotation、Status Parameterの関係を示す。
【００５２】
Scene(s)
Scene （シーン）とは意味的にまとまりのあるFrame 列である。この意味的にまとまりのあるFrame 列は、ＲＥＡＤにおいて番組映像に付加されたP-Descriptorの状態遷移パターンとして指定可能であり、複合的な情報を表現することができる。Scene は以下のような組で表現できる。
【００５３】
【００５４】
ここで、Scene の型typeはScene の種類を示す。野球番組の場合、「イニング」 ("inning ＿start"イベントから次の"inning ＿start"イベントまで) 、「投球」("pitch"イベントから次の"pitch" まで) 、「逆転」などの各種のScene の型が考えられる。開始フレーム番号ffno、終了フレーム番号lfnoはScene に対応するFrame 列の先頭及び終端Frame を示す。
【００５５】
Annotation(a)
ＲＥＡＤは、複数のP-Descriptorの情報から、複合的な意味をもつ記述を自動的に生成し、特定の P-Descriptor の補足情報とする。これをAnnotation（複合情報）と呼ぶ。Annotation aは以下のような組で表現される。
【００５６】
【００５７】
Annotationの型typeは、Annotationの種類を表す。例えば野球番組の場合、「タイムリーヒット」、「逆転ホームラン」などのAnnotationが考えられる。それぞれP-Descriptor "hit"、"home ＿run"のAnnotationとなり、ｐidにはそのP-Descriptorを特定するためのIDが設定される。
【００５８】
Status Parameter(p)
Status Parameter （意味的特徴量）は映像上のある時点における重要度を示す指標であり、 P-Descriptor およびAnnotation情報に基づき算出される。番組の種別にもよるが一般に映像上の１つのFrame につき、Status Parameterは複数個算出される。
【００５９】
【００６０】
Status Parameterの型typeは、重要度（意味的特徴量）の種類を表す。例えば、野球番組の場合、攻撃的重要度を示す「攻撃レベル」、投手の調子を示す「投手レベル」などのStatus Parameter がある。fno で特定されるFrame のtimecodeで示される時点における重要度の値がvalue となる。
【００６１】
〔本実施の形態のダイジェスト生成処理〕
次に、本実施の形態のダイジェスト生成処理について説明する。図３は本実施の形態のダイジェスト生成処理の概要を示す説明図である。ダイジェスト生成処理の処理プロセスとしては、「Scene抽出・Annotation生成プロセス」と、「Status Parameter算出プロセス」と、「ダイジェスト生成プロセス」と、「ダイジェスト関連情報監視プロセス」と、がある。
【００６２】
また、ＲＥＡＤにおいて処理されるイベントには、「P-Descriptor受信イベント」と、「Scene抽出イベント」と、「Annotation生成イベント」と、「Status Parameter算出イベント」と、「ダイジェスト生成開始イベント」と、「ダイジェスト関連情報変更イベント」と、がある。
【００６３】
ここで、図３を参照して、ダイジェスト生成処理の処理概要を説明する。下記の番号と図中の番号は対応しており、それぞれダイジェスト生成処理を示している。
【００６４】
▲１▼ 放送局により放送されたP-Descriptorを受信すると、P-Descriptor受信イベントが発生する。
▲２▼ Scene抽出・Annotation生成プロセスにおいてScene抽出・Annotation生成ルールが発火する。またStatus Parameter算出プロセスにおいて、Status Parameter算出ルールが発火する。
▲３▼ Scene抽出・Annotation生成プロセスでは、Scene抽出を行い、Scene内のP-Descriptorに対するAnnotation生成を行う。
▲４▼ Annotationが生成されるとAnnotation生成イベントがStatus Parameter算出プロセスに発行され、Status Parameter算出ルールが発火する。
【００６５】
▲５▼ Status Parameter算出プロセスでは、P-Descriptor、Annotationの情報に基づき、Status Parameterの値を算出する。
▲６▼ Scene、Annotation、Status Parameter情報は、Frame情報、P-Descriptor情報とともに受信端末のＨＤに蓄積される。
▲７▼ 後述するダイジェスト生成ルール指定画面を介してダイジェスト生成が指定されると、ダイジェスト生成プロセスは、ダイジェスト生成開始イベントを発行し、ダイジェスト生成処理を開始する。
▲８▼ ダイジェスト生成開始イベントによりダイジェスト関連情報監視プロセスが生成される。
【００６６】
▲９▼ Scene抽出・Annotation生成プロセスは、Sceneが抽出されるとScene抽出イベントを、Status Parameter算出プロセスは、Status Parameter値が算出されると、Status Parameter算出イベントをそれぞれダイジェスト関連情報監視プロセスに発行する。
○10 ダイジェスト関連情報監視プロセスは、ダイジェスト生成に関連する情報の生成および値の変更があった場合に、ダイジェスト生成プロセスにダイジェスト関連情報変更イベントを発行する。
○11 ダイジェスト生成プロセスは、ダイジェストが生成され、その表示が終了した時に、ダイジェスト関連情報監視プロセスからダイジェスト関連情報変更イベントを受け取っていたかをチェックする。受け取っていた場合は、ダイジェスト生成開始イベントを再び発行してから、ＨＤに蓄積されている差分情報をチェックし、必要に応じて追加のダイジェストを作成する。
○12 以下、追加のダイジェスト関連情報変更イベントを受け取らなくなるまで、▲９▼，○10の処理を繰り返す。
【００６７】
次に、「Scene抽出・Annotation生成プロセス」、「Status Parameter算出プロセス」、「ダイジェスト生成プロセス」、「ダイジェスト関連情報監視プロセス」の順に詳細に説明する。
【００６８】
「Scene抽出・Annotation生成プロセス」
ＲＥＡＤでは、Sceneの抽出とAnnotationの生成を「Scene抽出・Annotation生成ルール」として与える。このルールは予め定義してデータベース化しておく。Scene抽出・Annotation生成ルールは、具体的には次のようなマークアップ言語で表現される。
【００６９】
ここで、Sceneタイプ、パターン、Annotation指定は非終端記号である。
【００７０】
ここで、開始P-Descriptor、終了P-Descriptor、P-Descriptorパターンは非
終端記号である。
【００７１】
ここで、Annotationタイプ、P-Descriptor位置は非終端記号である。
【００７２】
受信したP-Descriptorにおいてパターンが成立した場合、Sceneタイプで示される型のSceneが生成される。
開始P-Descriptor、終了P-Descriptorは、Scene抽出のためのマッチングの範囲を規定するものである。開始P-Descriptorを受信すると、P-Descriptorパターンのマッチングが開始される。終了P-Descriptorが発生する前にP-Descriptorパターンのマッチが完了すれば、Sceneは抽出される。
【００７３】
パターンマッチの前に終了P-Descriptorを受信してしまった場合は、パターンマッチ処理は中止となる。開始P-Descriptor、終了P-Descriptorが省略された場合は、番組の開始から終了までの範囲でP-Descriptorパターンのマッチング処理が実行されることになる。
【００７４】
P-Descriptorパターンは、P-Descriptor ｐi の正規表現で表される。P-Descriptorパターンには、演算の優先度を指定する括弧"()"、Sceneの開始及び終了P-Descriptorを表す """、 "$"も利用できる。また、P-Descriptorの属性データattrに関する各種の条件も角括弧 "［］" を用いて指定できる。イベントが１回以上発生することを示す演算子は"+"、０回以上の繰り返し演算子は"＊"。任意の型のイベントは"．”で表わす。
【００７５】
Scene抽出が完了すると、Annotation指定で指定されたAnnotationが、P-Descriptor位置で参照されているP-Descriptorに付加される。P-Descriptor位置の参照は、P-Descriptorパターンにおいて参照したいP-Descriptorを「\(… \)」で囲んでおき、その順番の番号で指定することとする。
【００７６】
以下にScene抽出ルールの例を示す。
【００７７】
上記の例は、逆転Sceneを生成するためのルールである。P-Descriptor "inning＿start"の後 に、"hit"、"four ＿ball"、"dead ＿ball" または "HR" を受信する。その際、攻撃チームの得点が守備チームより低く、その後、加点を示す"add＿score"を１回以上受信し、その直後のP-Descriptorにおいて攻撃チームの得点が高くなっているSceneを逆転Sceneとして抽出する。
【００７８】
Sceneが抽出されると、パターン内のP-Descriptor(hit、four＿ball 、dead＿ball またはHR、\1で参照される)にAnnotation「逆転のきっかけ」が生成付加される。さらに、次にマッチしたadd ＿score中で、最後のadd ＿score (\2[$]で参照される)にAnnotationが生成付加される。
【００７９】
このScene抽出およびAnnotation生成処理により、基本的な番組付加情報を受信しながら、映像の意味的なまとまりを発見し、複合的な意味を持つAnnotationを付加することが可能となる。また、Scene抽出ルールが補足情報の正規表現で定義されているので、Scene抽出を容易に行うことができる。また、抽出するSceneの指定および変更が容易であると共に、様々なSceneの抽出を行うことができる。
【００８０】
次に、「Status Parameter算出プロセス」について説明する。ＲＥＡＤでは、Status Parameterの算出を「Status Parameter算出ルール」として与える。このルールも予め定義してデータベース化しておく。
【００８１】
映像上のあるFrame ｆiの意味的重要度（意味的特徴量）を判定するためには、ｆiの重要度を示すStatus Parameter ｐ1、…ｐnを計算する。ここで、この計算処理について具体的に説明する。
【００８２】
Status Parameter ｐiの値は、以下のStatus Parameter算出ルールによって計算される。
ここで、トリガーイベント名、ルール指定は非終端記号である。
【００８３】
ここで、P-Descriptorタイプ、 Annotationタイプは非終端記号である。
【００８４】
ここで、Status Parameterタイプ、演算子、値|式は非終端記号である。
【００８５】
上記トリガーイベント名には、P-Descriptorタイプ、Annotationタイプを指定する。指定されたP-Descriptorの受信イベント、あるいはAnnotation生成イベントを受け取ると、以降に記述されているルールが発火する。
【００８６】
ルール指定には、Status Parameterタイプの名前とその算出式（演算子と値または式）を定義する。P-Descriptor受信イベントの場合、対応するFrameにおけるStatus Parameterの値を算出する。Annotation生成イベントの場合は、そのAnnotationが付加されているP-Descriptorに対応するFrameのStatus Parameterの値を算出する。演算子には、四則演算子を指定する。
【００８７】
このとき、該当Frameにおいて既にStatus Parameter値が算出されていた場合は、その値を基に新しい値を求める。算出されていない場合は、初期値０として値を求める。
【００８８】
以下にStatus Parameter算出ルールの例を示す。
【００８９】
【００９０】
上記は野球番組においてP-Descriptor "home＿run" の受信イベントとAnnotation「逆転のきっかけ」の生成イベントを受け取った場合のStatus Parameter算出手続きを記述した例である。"home ＿run"受信イベントを受け取ると、（例１）に示すように該当するFrameにおける「攻撃レベル」パラメタの値が５加算される。また「逆転」Sceneの抽出により「逆転のきっかけ」Annotationが生成されると、（例２）に示すように該当するFrameの攻撃レベルが２加算される。
【００９１】
このイベント駆動型のStatus Parameterの算出処理により、番組付加情報を受信しながら動的な重要度の算出が可能となる。
【００９２】
次に、「ダイジェスト生成プロセス」について説明する。ダイジェスト生成プロセスは、以下に示すようなダイジェスト生成ルールに基づき、ダイジェストを生成する。
【００９３】
ここで、ダイジェスト生成範囲、抽出Sceneの型、Status Parameter式、ダ
イジェスト総時間、抽出指定値は非終端記号である。
【００９４】
ここで、開始タイムコード、終了タイムコードは非終端記号である。
【００９５】
上記ダイジェスト生成ルールは、利用者がダイジェスト作成ルール指定画面を介してダイジェスト作成を指定すると自動的に作成される。ダイジェスト生成範囲には、対象とする映像においてダイジェストを生成するための範囲を指定する。終了タイムコードが省略されていた場合は、リアルタイムに受信しながらダイジェストを作成することを示す。抽出Sceneの型に従って、「ダイジェストの候補シーン」[si] が抽出される。
【００９６】
また、Status Parameterの式（本発明の重要度式に相当する）には、例えば次のような記述ができる。
（ア）攻撃レベル
（イ）攻撃レベル+ユーザ嗜好レベル*0.5
【００９７】
上記（ア）の指定は、攻撃レベル（ダイジェスト生成に使用する意味的特徴量の種類）だけを基にダイジェストを生成する指定となる。また、（イ）の指定は、攻撃レベルにユーザ嗜好レベル*0.5倍を足した値を基にダイジェストを生成する指定となる。
【００９８】
各候補シーン内のFrameに対して、Status Parameterの式に従って値を算出する。この値を各フレームの「重要度値」と呼ぶ。この重要度値に基づき以下の方針により、シーンが選択される。
【００９９】
ダイジェスト作成ルール指定画面でダイジェスト総時間が指定された場合は、指定されたダイジェスト総時間に等しくなるまで、より高い重要度値をもつSceneから順に選択される。
【０１００】
ダイジェスト作成ルール指定画面で抽出指定値が指定された場合は、指定された値以上の重要度値をもつシーンを選択し、時系列に再構成してダイジェストを生成する。
【０１０１】
「ダイジェスト関連情報監視プロセス」は、ダイジェスト生成プロセスが発行するダイジェスト生成開始イベントにより生成される。生成されたダイジェスト関連情報監視プロセスは、Scene抽出・Annotation生成プロセスが発行するScene抽出イベントと、Status Parameter算出プロセスが発行するStatus Parameter算出イベントを受け、その中からダイジェスト生成ルールにおいて抽出Sceneの型、Status Parameter式として記述されている情報のみダイジェスト関連情報変更イベントとして、ダイジェスト生成プロセスに発行する。
【０１０２】
ダイジェスト生成プロセスは、ダイジェストの生成および表示の終了後に、ダイジェスト関連情報監視プロセスから関連情報変更イベントを受け取っていたか否かをチェックする。受け取っていた場合は、ハードディスクに蓄積されている番組付加情報のうち、差分情報に関してダイジェスト生成処理を実行する。差分情報に対するシーン選択の方針はダイジェスト生成ルールにダイジェスト総時間が指定されているか、抽出指定値が指定されているかによって次のように変わる。
【０１０３】
ダイジェスト総時間が指定されている場合には、それまでに選択したシーンの内、重要度の最小値を基本として、それ以上の重要度値をもつシーンを選択する。一方、抽出指定値が指定されている場合には、指定された値以上の重要度値をもつシーンを選択する。
【０１０４】
このダイジェスト関連情報監視プロセスにより、ダイジェスト生成および表示中に発生した重要場面をダイジェストに追加する、というリアルタイム・ダイジェストの生成が可能となる。
【０１０５】
〔追い付き視聴可能なダイジェスト生成処理の動作〕
以上の構成において、図３を参照して、追い付き視聴可能なダイジェスト生成処理の動作について説明する。
ダイジェスト生成処理装置１００は、放送局により放送された番組映像（Frame）および番組付加情報（P-Descriptor）を受信すると、P-Descriptor受信イベントを発生する（図３の▲１▼）。
【０１０６】
次に、Scene抽出・Annotation生成プロセス（本発明の抽出工程に相当）においてScene抽出・Annotation生成ルールが発火する。また、Status Parameter算出プロセス（本発明の意味的特徴量算出工程に相当）において、Status Parameter算出ルールが発火する（図３の▲２▼）。
【０１０７】
次に、Scene抽出・Annotation生成プロセスでは、Scene抽出を行って、受信した複数の番組付加情報（P-Descriptor）によって指定される連続する複数のFrameを、番組映像からSceneとして抽出すると共に、受信した複数の番組付加情報（P-Descriptor）を解析して複合的な意味をもつ複合情報を生成（Annotation生成）する（図３の▲３▼）。
【０１０８】
Annotationが生成されるとAnnotation生成イベントがStatus Parameter算出プロセスに発行され、Status Parameter算出ルールが発火する（図３の▲４▼）。
【０１０９】
Status Parameter算出プロセス（本発明の意味的特徴量算出工程に相当）では、P-Descriptor、Annotationの情報に基づき、Status Parameterの値（意味的特徴量）を算出する。このとき、番組映像中におけるFrameに対して１つ以上の種類のStatus Parameterをフレーム毎に算出する（図３の▲５▼）。
【０１１０】
Scene、Annotation、Status Parameter情報は、Frame情報、P-Descriptor情報とともにハードディスクＨＤに蓄積される（図３の▲６▼）。
【０１１１】
ダイジェスト生成ルール指定画面を介してダイジェスト生成が指定されると、ダイジェスト生成プロセスは、ダイジェスト生成開始イベントを発行し、ダイジェスト生成処理を開始する（図３の▲７▼）。ここで、図４のダイジェスト生成ルール指定画面４０１を参照してダイジェスト生成の指定について具体的に説明する。キーボード１０５を用いて、表示装置１０４に表示されたダイジェスト生成ルール指定画面４０１の入力項目４０２〜４０４を入力する。なお、入力項目４０２はダイジェストの総時間、入力項目４０３は番組映像から抽出するシーンのタイプを指定する抽出Sceneの型（シーンタイプ情報）、入力項目４０４はダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含むStatus Parameter式（重要度式）を入力するための項目である。
【０１１２】
また、ダイジェスト生成開始イベントの発行によってダイジェスト関連情報監視プロセスが生成される（図３の▲８▼）。
【０１１３】
Scene抽出・Annotation生成プロセスは、Sceneが抽出されるとScene抽出イベントを、Status Parameter算出プロセスは、Status Parameter値が算出されると、Status Parameter算出イベントをそれぞれダイジェスト関連情報監視プロセスに発行する（図３の▲９▼）。
【０１１４】
ダイジェスト関連情報監視プロセス（本発明の変更情報出力工程）は、ダイジェスト生成に関連する情報の生成および値の変更があった場合に、ダイジェスト生成プロセスにダイジェスト関連情報変更イベントを発行する（図３の○10）。
【０１１５】
ダイジェスト生成プロセスは、ダイジェストが生成され、その表示が終了した時に、ダイジェスト関連情報監視プロセスからダイジェスト関連情報変更イベントを受け取っていたか否かをチェックする。受け取っていた場合は、ダイジェスト生成開始イベントを再び発行してから、ハードディスルＨＤに蓄積されている差分情報をチェックし、必要に応じて追加のダイジェストを作成する（図３の○11）。
【０１１６】
以下、追加のダイジェスト関連情報変更イベントを受け取らなくなるまで、図３の▲９▼，○10の処理を繰り返す。
【０１１７】
前述したように本実施の形態の映像ダイジェスト生成方法によれば、番組映像上のある時点おける意味的な重要度判定ができると共に、番組付加情報を受信しながら重要度を動的に算出することができる。また、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足することができる。
【０１２０】
【発明の効果】
以上説明したように、本発明の映像ダイジェスト生成方法（請求項１）は、番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成し、受信した複数の番組付加情報および抽出工程で生成された複合情報に基づいて、番組映像中におけるフレームに対して１つ以上の種類の意味的特徴量をフレーム毎に算出し、また、受信した番組映像、抽出したシーン、複合情報および算出したフレームの意味的特徴量を蓄積し、さらに、少なくとも番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力し、変更情報出力工程でダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、抽出したシーンのタイプおよび算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力し、ダイジェスト生成・表示工程で、ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すため、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足する映像ダイジェスト生成方法を提供することができる。
【０１２１】
また、本発明の映像ダイジェスト生成方法（請求項２）は、請求項１に記載の映像ダイジェスト生成方法において、抽出工程におけるシーンの抽出が、補足情報の正規表現により記述された抽出ルールによって定義されているため、シーン抽出を容易に行うことができる。また、抽出するシーンの指定および変更が容易であると共に、様々なシーンの抽出を行うことができる。
【０１２２】
また、本発明の映像ダイジェスト生成方法（請求項３）は、請求項１または２に記載の映像ダイジェスト生成方法において、入力工程が、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、ダイジェスト生成工程またはダイジェスト生成・表示工程が、重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、またはダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成するため、ダイジェスト生成ルールの設定に応じて所望の形態のダイジェスト映像を生成することができる。
【図面の簡単な説明】
【図１】本実施の形態の映像ダイジェスト生成方法を適用したダイジェスト生成処理装置の概略構成図である。
【図２】本実施の形態で使用する各データ（Frame 、P-Descriptor、 Scene、Annotation、Status Parameter）の関係を示す説明図である。
【図３】本実施の形態のダイジェスト生成処理の概要を示す説明図である。
【図４】ダイジェスト生成ルール指定画面を示す説明図である。
【符号の説明】
１００ ダイジェスト生成処理装置
１０７ ダイジェスト生成処理ソフト
４０１ ダイジェスト生成ルール指定画面
【発明の属する技術分野】
本発明は、番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法に関し、より詳細には、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現し、番組途中のある時点におけるダイジェストを動的に生成することが可能な映像ダイジェスト生成方法に関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、日本でも２０００年１２月からＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送が開始されており、地上デジタル放送も２００３年の開始を目処としている。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報が映像インデックスなどの番組付加情報として付加された番組映像を対象として、その番組付加情報を用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案した。このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えから映像内容の説明文生成処理を考えてきた。
【０００４】
なお、上記の技術の詳細は、以下の▲１▼〜▲５▼によって明らかにされている。
▲１▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。
▲２▼ 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。
▲３▼ 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。
▲４▼ 白田由香利、他：「ダイジェスト説明文生成方式についての検討」、情報処理学会ＤＢＳ研究会１２０−１５、２０００年１月、神戸。
▲５▼ 橋本隆子、他：「サッカー番組のダイジェスト作成システムの試作」、第１１回データ工学ワークショップ（ＤＥＷＳ’００）予稿集ＣＤ−ＲＯＭ、２０００年。
【０００５】
本出願人は、これらの試作システムにおいて、番組映像に付加された基本的な補足情報としての番組付加情報を利用した映像内容の意味解析、利用者の嗜好を反映させた重要場面の判定および切り出し（映像の抽出）を可能とし、また、それに対する説明文の生成機能を実現している。
【０００６】
ところで、映像ダイジェストの生成は映像検索の応用の一つとして考えることができる。従来の映像検索のアプローチには、大きく分けて次の２種類が提案されている。
（Ａ）画像分析、音声解析などの認識技術を利用して、カメラカット、話者の変化などの検出を行い、映像の検索を行う方法。
（Ｂ）番組映像の内容を見ながら、手作業で映像の番組付加情報を付加し、その情報を利用して映像を検索する方法。
【０００７】
上記（Ａ）の方法の長所は、認識技術を利用しているため、人手を介さずに低コストで映像シーンが検索できることである。一方、短所は、画像や音声の特徴に強く関係する検索であるため、映像内容の意味に基づくシーン検索ができないことが挙げられる。
【０００８】
また、上記（Ｂ）の方法では、人手による番組付加情報を利用するため、内容に関係したシーンの検索が可能となるという長所があるが、反面、番組付加情報の付加に時間がかかるという短所がある。
【０００９】
本出願人が提案したダイジェスト生成方法も、映像上の事象情報（番組付加情報）を利用するものであり、上記（Ｂ）の方法に含まれるが、映像の補足情報の付加コストを下げるために、基本的かつ客観的な事象情報のみを対象として、ダイジェストを作成するものである。
【００１０】
ところが、これまで本出願人が提案してきたダイジェスト生成方法は、受信端末のＨＤ（ハードディスク）に予め蓄積された番組映像と番組付加情報を利用して映像の意味的重要度を算出し、重要シーンを抽出するものであり、リアルタイムに放送を受信しながら動的に重要度を算出し、シーンを抽出するということはできなかった。例えば、野球番組で、あるイニングにおいてヒットがあり、その後、ホームランによって逆転が起きた場合、逆転のきっかけとなったヒットの重要性は、結果として逆転が発生した時にさらに高くなるべきである。
【００１１】
しかし、これまでの方法では、リアルタイムに番組付加情報を受信しながら、逆転という状況を解析し、その結果に基づいて「きっかけとなったヒット」発生時点に時間を溯って、その時点における番組映像の重要性を動的に高める、ということはできなかった。これは、上記の方法が、予め蓄積された番組付加情報を対象としており、番組付加情報の受信をトリガーとした動的な重要度評価機能を持たなかったためである。動的な重要度評価機能があれば、番組映像と番組付加情報を受信しながら、その時点における重要シーンをリアルタイムに抽出し、ダイジェストを作成していくことも可能となる。
【００１２】
一方、ダイジェスト生成のアプリケーションの一つとして「追い付き視聴」がある。追い付き視聴とは、番組途中から視聴を開始した際に、以降の番組放送に追い付くためにそれまでの番組映像を早送りなどで視聴する受信端末の蓄積を利用した視聴方法である。
【００１３】
この追い付き視聴を、本出願人が提案しているダイジェスト生成方法に適用した場合、例えば、既に３回表まで経過している野球番組に対して、その時点までのダイジェストを作成して視聴する、ということが可能となる。しかし利用者がダイジェストを視聴している間に本編番組でホームランなどの重要な事象が起こった場合、利用者はその重要シーンを視聴することができないという事態が生じる。すなわち、従来の技術の組み合わせでは、「視聴に追い付くためにダイジェストを視聴している間に、本編番組で起きた重要シーンを見逃してしまう」という不具合が発生する。このように従来の技術の組み合わせのみでは、リアルタイムにダイジェストを生成する機能がないため、該当シーンをダイジェストに含めるには、再度、ダイジェスト生成処理を実行しなければならなかった。
【００１４】
【発明が解決しようとする課題】
そこで本発明では、上記従来技術のダイジェスト生成方法を拡張し、番組付加情報を受信しながら、映像上のある時点に対する動的な重要度を算出できる、追い付き視聴に対応可能なリアルタイム・ダイジェスト生成方法（追い付き視聴に対応可能な映像ダイジェスト生成方法）の提案を行う。
【００１５】
換言すれば、リアルタイム・ダイジェスト生成に対する要求仕様を以下の▲１▼〜▲３▼のように定義し、従来技術におけるこれらの問題点を認識して、解決する方法を提案する。
▲１▼映像上のある時点おける意味的な重要度判定ができること。
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲３▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
【００１６】
▲１▼映像上のある時点における意味的な重要度判定ができること。
従来の技術として、基本的な映像付加情報から内容の意味に基づくＳ時シーンを検索する技術が知られている。この技術によれば、映像上の事象を表現する事象列の正規表現によるシーン抽出を実現しており、野球中継番組ならばホームランシーンや松井の打席シーンなどの検索が可能となる。
【００１７】
ところが、このようなシーン検索だけではシーンの意味的な重要度判定はできない。ダイジェストを作成するためには、映像上のある時点における意味的重要度を解析し、より重要な時点を含む映像シーンを選択する、という機能が必要となる。例えば、野球番組の場合、同じホームランシーンであったとしても、先制や逆転といった意味的により重要なシーンから検索されなければならないし、松井の打席シーンに対しても、ヒットを打った場合と、三振の場合とでは、その重要性が自ずと異なってくる。
【００１８】
従来の方法だけでは、その意味的判定ができないため、映像上のある時点に対して意味的重要度を定義するための仕組みが必要であった。
【００１９】
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
従来の技術として、野球番組を対象として、想定されるダイジェストのシナリオをテンプレート化しておき、試合結果のスコア情報に従ってテンプレートを選択してダイジェストを作成する技術が知られている。この技術によれば、ストーリー性を重視したダイジェストを生成するのには効果的であるが、対象とするデータが番組終了後のものであり、番組途中のダイジェストが生成できず、追い付き視聴にも対応できないという問題点があった。
【００２０】
すなわち、番組途中でダイジェストを生成するためには、その時点における動的な重要度判定ができなければならない。例えば、逆転のきっかけとなったヒットのように、番組の経過によって、その重要度が変わってくるような場合でも、逆転発生後は、ダイジェスト映像として該当するヒットシーンの重要度が高まることが望ましい。そのためには、番組付加情報を受信しながら動的にその時点の重要度を算出する仕組みが必要となる。
【００２１】
▲３▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
従来の追い付き視聴の実現方法としては、人手による早送り再生が一般的である。しかし、野球のように全体で３時間以上かかる番組に対して、その３分の１にあたる１時間分を早送りで視聴したとしても、その視聴には２０分から３０分程度かかってしまう。また、野球番組にはイニングの切り替わりなどの冗長なシーンが多く、早送りで全体を視聴するのは無駄である。さらにデジタル放送で対象としているＭＰＥ２の場合、アナログ的な早送り処理を実現するにはコストがかかるという問題点もある。
【００２２】
そこでダイジェスト生成技術を追い付き視聴に適応し、その時点までの番組経過をダイジェストとして視聴して、以降の番組放送に追い付く、というアプリケーションが有効となる。その際、ダイジェスト視聴中に本編番組で発生した重要シーンを見逃さないために、ダイジェスト作成および視聴中にも番組付加情報を受信してリアルタイムに重要シーンを抽出し、視聴中のダイジェストに含めるという処理（リアルタイム・ダイジェスト生成処理）が必要となる。このリアルタイム・ダイジェスト生成処理は、ダイジェスト視聴中に本編番組で重要シーンが抽出されなくなるまで行う必要がある。
【００２３】
本発明は上記に鑑みてなされたものであって、映像上のある時点おける意味的な重要度判定ができると共に、番組付加情報を受信しながら重要度を動的に算出できる映像ダイジェスト生成方法を提供することを目的とする。
【００２４】
また、本発明は上記に鑑みてなされたものであって、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足する映像ダイジェスト生成方法を提供することを目的とする。
【００２７】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る映像ダイジェスト生成方法は、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法であって、前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成する抽出工程と、前記番組付加情報を受信すると、受信した複数の番組付加情報および前記抽出工程で生成された複合情報に基づいて、前記番組映像中におけるフレームに対して１つ以上の種類の意味的特徴量をフレーム毎に算出する意味的特徴量算出工程と、受信した番組映像、前記抽出工程で抽出したシーン、前記抽出工程で生成した複合情報および前記意味的特徴量算出工程で算出したフレームの意味的特徴量を蓄積する蓄積工程と、少なくとも前記番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、前記番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力する入力工程と、前記入力工程でダイジェスト生成ルールが入力されると、前記ダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、前記抽出工程で抽出したシーンのタイプおよび意味的特徴量算出工程で算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力する変更情報出力工程と、前記入力工程でダイジェスト生成ルールが入力されると、前記蓄積工程で蓄積した前記抽出したシーンおよびフレームの意味的特徴量を参照して、前記ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに前記変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに前記変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すダイジェスト生成・表示工程と、を含むことを特徴とする。
【００２８】
また、請求項２に係る映像ダイジェスト生成方法は、請求項１に記載の映像ダイジェスト生成方法において、前記抽出工程におけるシーンの抽出が、前記補足情報の正規表現により記述された抽出ルールによって定義されていることを特徴とする。
【００２９】
また、請求項３に係る映像ダイジェスト生成方法は、請求項１または２に記載の映像ダイジェスト生成方法において、前記入力工程が、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、前記ダイジェスト生成工程またはダイジェスト生成・表示工程が、前記重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、または前記ダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成することを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の映像ダイジェスト生成方法およびダイジェスト生成処理装置の一実施の形態について、
〔本発明の概要〕
〔本実施の形態のダイジェスト生成処理装置の概略構成〕
〔本実施の形態で使用する各データの定義〕
〔本実施の形態のダイジェスト生成処理〕
〔追い付き視聴可能なダイジェスト生成処理の動作〕
の順に、添付の図面を参照して詳細に説明する。
【００３１】
〔本発明の概要〕
放送のデジタル化に伴い、番組と共に放送される番組付加情報を利用して柔軟に番組を視聴する方法が各種研究されている。この場合、番組付加情報を利用した視聴方式の一つとしてダイジェスト生成がある。本発明の映像ダイジェスト生成方法およびダイジェスト生成処理装置では、基本的な番組付加情報を受信しながら動的に重要シーンの判定を行うリアルタイム・ダイジェスト生成処理を提供するものである。
【００３２】
リアルタイム・ダイジェスト生成処理では、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現している。このイベント駆動型ダイジェスト生成により、番組途中のある時点におけるダイジェストを動的に生成することができる。
【００３３】
さらに、ダイジェスト視聴中に本編番組で重要事象が発生した場合、そのシーンを抽出し視聴中のダイジェストに追加するという処理を実現することにより、「追い付き視聴中に本編番組で起きた重要事象を見逃す」という追い付き視聴の問題を解決するものである。
【００３４】
本発明では、次の▲１▼〜▲３▼のような要求仕様を満たすダイジェスト生成処理モデル（映像ダイジェスト生成方法）を提案する。
▲１▼映像上のある時点おける意味的な重要度判定ができること。
▲２▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲３▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
【００３５】
なお、上記▲１▼〜▲３▼の要求仕様を満足するために、本発明の映像ダイジェスト生成方法では、番組映像と共にその補足情報が番組付加情報として送信されてくる放送環境において、番組付加情報を受信するというイベントにより、番組内のシーンを動的に抽出する。また、シーンが抽出されると、シーン内の任意の番組付加情報に対して、その内容をより意味的に説明するアノテーション（補足説明：本発明の複合情報に相当する）が生成され付加される。
【００３６】
なお、この抽出およびアノテーション生成は、番組付加情報の受信イベントをトリガーとし、補足情報の正規表現により記述されるルールにより定義されているものとする。
【００３７】
また、番組付加情報受信イベントにより、番組の意味的特徴量（ステイタス・パラメタ）を動的に算出する。そのステイタス・パラメタ算出は、番組付加情報の受信イベント及びアノテーション生成のイベント（アノテーション生成イベント）をトリガーとしたステイタス・パラメタ算出ルールにより定義されているものとする。
【００３８】
また、上記ステイタス・パラメタの値に対して、抽出シーンの型、抽出に当たってのランキングのためのステイタス・パラメタの式（本発明の重要度式に相当する）、その式から算出される値（重要度値）の抽出指定値またはダイジェストの総時間を指定して、ダイジェストを生成するものとする。
【００３９】
さらに、ダイジェストを生成、表示中も、番組付加情報を受信し、ステイタス・パラメタの値を算出し、ダイジェスト生成に関連する情報に変更があったかをチェックし、あった場合には、その旨をダイジェスト関連情報変更イベントとして差分に対して再度重要度値を算出し、直前のダイジェスト生成における重要度の抽出指定値よりも高い重要度値があった場合は、その重要度値を含むシーンを抽出し、ダイジェストとして追加する。なお、この処理は追加すべきシーンがなくなるまで繰り返される。
【００４０】
〔本実施の形態のダイジェスト生成処理装置の概略構成〕
図１は、本実施の形態の映像ダイジェスト生成方法を適用したダイジェスト生成処理装置の概略構成を示し、同図（ａ）がダイジェスト生成処理装置１００の概観図を示し、同図（ｂ）がハード構成を示している。ダイジェスト生成処理装置１００のハード構成としては、後述するソフトウエアに基づく処理を実行するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行なうためのキーボード１０５およびマウス１０６と、ダイジェスト映像を表示するための表示画面を有したＣＲＴや液晶ディスプレイ等の表示装置１０４と、本実施の形態の映像ダイジェスト生成方法を実現するためのダイジェスト生成処理ソフト１０７等の各種アプリケーションプログラムやデータを記憶したハードディスク１０８と、有線または無線で放送される番組映像を受信するための受信部１０９と、上記各部を接続するバス１１０と、を備えている。
【００４１】
なお、このダイジェスト生成処理装置１００は、放送局などから放送された映像（ビデオデータ、例えばＭＰＥＧ２ストリーム）および番組付加情報を受信して、ダイジェスト映像を作成するためのハード構成を備えておればよく、上記の構成に限定されるものではない。
【００４２】
〔本実施の形態で使用する各データの定義〕
次に、本実施の形態のダイジェスト生成処理で使用する各データの定義について説明する。本実施の形態のダイジェスト生成処理は、リアルタイムにダイジェスト映像を生成するものあるため、以下、ＲＥＡＤ（リアルタイム・ダイジェスト生成方式：ＲＥＡｌ−ｔｉｍｅ Ｄｉｇｅｓｔ ｇｅｎｅｒａｔｉｏｎ ｓｃｈｅｍｅ）と記載することがある。
【００４３】
ＲＥＡＤは、イベント駆動型の処理方式に基づいた重要度判定により、映像上のある時点における重要度を動的に算出し、リアルタイムに重要シーン（Scene ）を抽出する方式である。
【００４４】
ＲＥＡＤの処理データは、以下に説明する番組映像であるFrame(f)と、番組付加情報であるPrimitive Descriptor(p) の２つである。この２つのデータは放送局により制作され放送される。ＲＥＡＤはこれらのデータを受信し、ダイジェストの作成を行う。
【００４５】
Frame(f)
番組映像は、静止画像である Frameｆi の列ｆ1 …ｆn である。各Frame は識別子となるフレーム番号ｆno、およびそのFrame が表現する経過時間（先頭Frame からの相対時間）を示すタイムコード timecode で構成される。以下では連続したFrame の部分列をFrame 列と呼ぶ。
【００４６】
Primitive Descriptor（p ）
放送局によって付加される基本的な番組付加情報をPrimitive Descriptor (以下P-Descriptorと略す) と呼ぶ。各 P-Descriptor ｐi はその記述情報の開始時点となるFrame ｆj に対応付けられる。各ｐは以下のような組で表現される。
【００４７】
上記P-Descriptorの型typeは番組付加情報の種類を示す。例えば、野球中継の場合、"game ＿start"、 "inning＿start"、 "at＿bat"などの試合の区切りや、"pitch" 、"hit" 、"home ＿run"、"out" や"at ＿bat"などの動作やプレイの種類を示すP-Descriptorの型が考えられる。
【００４９】
attr1, …, attrn で示される属性はP-Descriptorの型typeによって決まる属性であり、各ｐi の属性値が設定される。例えば：P-Descriptor "pitch"の場合、"pitcher＿name" 、"batter ＿name" 、スコア情報などが属性となる。このP-Descriptorの型によって決まる属性をP-Descriptorのスキーマと呼ぶ。
【００５０】
なお、Frame ｆj と P-Descriptor ｐi の関係は１対多となる。１つのFrame に対して複数のP-Descriptorが対応付けられることもあり、P-Descriptorが対応付けられないFrame もある。図２にFrame とP-Descriptorとの関係を示す。
【００５１】
次に、上記処理データを基に基づいてＲＥＡＤが生成するデータについて述べる。ＲＥＡＤが生成するデータは、Scene （シーン）、P-DescriptorのAnnotation（複合情報）、Status Parameter（意味的特徴量）である。図２にFrame 、P-Descriptor、 Scene、Annotation、Status Parameterの関係を示す。
【００５２】
Scene(s)
Scene （シーン）とは意味的にまとまりのあるFrame 列である。この意味的にまとまりのあるFrame 列は、ＲＥＡＤにおいて番組映像に付加されたP-Descriptorの状態遷移パターンとして指定可能であり、複合的な情報を表現することができる。Scene は以下のような組で表現できる。
【００５３】
ここで、Scene の型typeはScene の種類を示す。野球番組の場合、「イニング」 ("inning ＿start"イベントから次の"inning ＿start"イベントまで) 、「投球」("pitch"イベントから次の"pitch" まで) 、「逆転」などの各種のScene の型が考えられる。開始フレーム番号ffno、終了フレーム番号lfnoはScene に対応するFrame 列の先頭及び終端Frame を示す。
【００５５】
Annotation(a)
ＲＥＡＤは、複数のP-Descriptorの情報から、複合的な意味をもつ記述を自動的に生成し、特定の P-Descriptor の補足情報とする。これをAnnotation（複合情報）と呼ぶ。Annotation aは以下のような組で表現される。
【００５６】
Annotationの型typeは、Annotationの種類を表す。例えば野球番組の場合、「タイムリーヒット」、「逆転ホームラン」などのAnnotationが考えられる。それぞれP-Descriptor "hit"、"home ＿run"のAnnotationとなり、ｐidにはそのP-Descriptorを特定するためのIDが設定される。
【００５８】
Status Parameter(p)
Status Parameter （意味的特徴量）は映像上のある時点における重要度を示す指標であり、 P-Descriptor およびAnnotation情報に基づき算出される。番組の種別にもよるが一般に映像上の１つのFrame につき、Status Parameterは複数個算出される。
【００５９】
Status Parameterの型typeは、重要度（意味的特徴量）の種類を表す。例えば、野球番組の場合、攻撃的重要度を示す「攻撃レベル」、投手の調子を示す「投手レベル」などのStatus Parameter がある。fno で特定されるFrame のtimecodeで示される時点における重要度の値がvalue となる。
【００６１】
〔本実施の形態のダイジェスト生成処理〕
次に、本実施の形態のダイジェスト生成処理について説明する。図３は本実施の形態のダイジェスト生成処理の概要を示す説明図である。ダイジェスト生成処理の処理プロセスとしては、「Scene抽出・Annotation生成プロセス」と、「Status Parameter算出プロセス」と、「ダイジェスト生成プロセス」と、「ダイジェスト関連情報監視プロセス」と、がある。
【００６２】
また、ＲＥＡＤにおいて処理されるイベントには、「P-Descriptor受信イベント」と、「Scene抽出イベント」と、「Annotation生成イベント」と、「Status Parameter算出イベント」と、「ダイジェスト生成開始イベント」と、「ダイジェスト関連情報変更イベント」と、がある。
【００６３】
ここで、図３を参照して、ダイジェスト生成処理の処理概要を説明する。下記の番号と図中の番号は対応しており、それぞれダイジェスト生成処理を示している。
【００６４】
▲１▼ 放送局により放送されたP-Descriptorを受信すると、P-Descriptor受信イベントが発生する。
▲２▼ Scene抽出・Annotation生成プロセスにおいてScene抽出・Annotation生成ルールが発火する。またStatus Parameter算出プロセスにおいて、Status Parameter算出ルールが発火する。
▲３▼ Scene抽出・Annotation生成プロセスでは、Scene抽出を行い、Scene内のP-Descriptorに対するAnnotation生成を行う。
▲４▼ Annotationが生成されるとAnnotation生成イベントがStatus Parameter算出プロセスに発行され、Status Parameter算出ルールが発火する。
【００６５】
▲５▼ Status Parameter算出プロセスでは、P-Descriptor、Annotationの情報に基づき、Status Parameterの値を算出する。
▲６▼ Scene、Annotation、Status Parameter情報は、Frame情報、P-Descriptor情報とともに受信端末のＨＤに蓄積される。
▲７▼ 後述するダイジェスト生成ルール指定画面を介してダイジェスト生成が指定されると、ダイジェスト生成プロセスは、ダイジェスト生成開始イベントを発行し、ダイジェスト生成処理を開始する。
▲８▼ ダイジェスト生成開始イベントによりダイジェスト関連情報監視プロセスが生成される。
【００６６】
▲９▼ Scene抽出・Annotation生成プロセスは、Sceneが抽出されるとScene抽出イベントを、Status Parameter算出プロセスは、Status Parameter値が算出されると、Status Parameter算出イベントをそれぞれダイジェスト関連情報監視プロセスに発行する。
○10 ダイジェスト関連情報監視プロセスは、ダイジェスト生成に関連する情報の生成および値の変更があった場合に、ダイジェスト生成プロセスにダイジェスト関連情報変更イベントを発行する。
○11 ダイジェスト生成プロセスは、ダイジェストが生成され、その表示が終了した時に、ダイジェスト関連情報監視プロセスからダイジェスト関連情報変更イベントを受け取っていたかをチェックする。受け取っていた場合は、ダイジェスト生成開始イベントを再び発行してから、ＨＤに蓄積されている差分情報をチェックし、必要に応じて追加のダイジェストを作成する。
○12 以下、追加のダイジェスト関連情報変更イベントを受け取らなくなるまで、▲９▼，○10の処理を繰り返す。
【００６７】
次に、「Scene抽出・Annotation生成プロセス」、「Status Parameter算出プロセス」、「ダイジェスト生成プロセス」、「ダイジェスト関連情報監視プロセス」の順に詳細に説明する。
【００６８】
「Scene抽出・Annotation生成プロセス」
ＲＥＡＤでは、Sceneの抽出とAnnotationの生成を「Scene抽出・Annotation生成ルール」として与える。このルールは予め定義してデータベース化しておく。Scene抽出・Annotation生成ルールは、具体的には次のようなマークアップ言語で表現される。
【００６９】
【００７０】
終端記号である。
【００７１】
【００７２】
受信したP-Descriptorにおいてパターンが成立した場合、Sceneタイプで示される型のSceneが生成される。
開始P-Descriptor、終了P-Descriptorは、Scene抽出のためのマッチングの範囲を規定するものである。開始P-Descriptorを受信すると、P-Descriptorパターンのマッチングが開始される。終了P-Descriptorが発生する前にP-Descriptorパターンのマッチが完了すれば、Sceneは抽出される。
【００７３】
パターンマッチの前に終了P-Descriptorを受信してしまった場合は、パターンマッチ処理は中止となる。開始P-Descriptor、終了P-Descriptorが省略された場合は、番組の開始から終了までの範囲でP-Descriptorパターンのマッチング処理が実行されることになる。
【００７４】
P-Descriptorパターンは、P-Descriptor ｐi の正規表現で表される。P-Descriptorパターンには、演算の優先度を指定する括弧"()"、Sceneの開始及び終了P-Descriptorを表す """、 "$"も利用できる。また、P-Descriptorの属性データattrに関する各種の条件も角括弧 "［］" を用いて指定できる。イベントが１回以上発生することを示す演算子は"+"、０回以上の繰り返し演算子は"＊"。任意の型のイベントは"．”で表わす。
【００７５】
Scene抽出が完了すると、Annotation指定で指定されたAnnotationが、P-Descriptor位置で参照されているP-Descriptorに付加される。P-Descriptor位置の参照は、P-Descriptorパターンにおいて参照したいP-Descriptorを「\(… \)」で囲んでおき、その順番の番号で指定することとする。
【００７６】
以下にScene抽出ルールの例を示す。
上記の例は、逆転Sceneを生成するためのルールである。P-Descriptor "inning＿start"の後 に、"hit"、"four ＿ball"、"dead ＿ball" または "HR" を受信する。その際、攻撃チームの得点が守備チームより低く、その後、加点を示す"add＿score"を１回以上受信し、その直後のP-Descriptorにおいて攻撃チームの得点が高くなっているSceneを逆転Sceneとして抽出する。
【００７８】
Sceneが抽出されると、パターン内のP-Descriptor(hit、four＿ball 、dead＿ball またはHR、\1で参照される)にAnnotation「逆転のきっかけ」が生成付加される。さらに、次にマッチしたadd ＿score中で、最後のadd ＿score (\2[$]で参照される)にAnnotationが生成付加される。
【００７９】
このScene抽出およびAnnotation生成処理により、基本的な番組付加情報を受信しながら、映像の意味的なまとまりを発見し、複合的な意味を持つAnnotationを付加することが可能となる。また、Scene抽出ルールが補足情報の正規表現で定義されているので、Scene抽出を容易に行うことができる。また、抽出するSceneの指定および変更が容易であると共に、様々なSceneの抽出を行うことができる。
【００８０】
次に、「Status Parameter算出プロセス」について説明する。ＲＥＡＤでは、Status Parameterの算出を「Status Parameter算出ルール」として与える。このルールも予め定義してデータベース化しておく。
【００８１】
映像上のあるFrame ｆiの意味的重要度（意味的特徴量）を判定するためには、ｆiの重要度を示すStatus Parameter ｐ1、…ｐnを計算する。ここで、この計算処理について具体的に説明する。
【００８２】
Status Parameter ｐiの値は、以下のStatus Parameter算出ルールによって計算される。
【００８３】
【００８４】
【００８５】
上記トリガーイベント名には、P-Descriptorタイプ、Annotationタイプを指定する。指定されたP-Descriptorの受信イベント、あるいはAnnotation生成イベントを受け取ると、以降に記述されているルールが発火する。
【００８６】
ルール指定には、Status Parameterタイプの名前とその算出式（演算子と値または式）を定義する。P-Descriptor受信イベントの場合、対応するFrameにおけるStatus Parameterの値を算出する。Annotation生成イベントの場合は、そのAnnotationが付加されているP-Descriptorに対応するFrameのStatus Parameterの値を算出する。演算子には、四則演算子を指定する。
【００８７】
このとき、該当Frameにおいて既にStatus Parameter値が算出されていた場合は、その値を基に新しい値を求める。算出されていない場合は、初期値０として値を求める。
【００８８】
以下にStatus Parameter算出ルールの例を示す。
上記は野球番組においてP-Descriptor "home＿run" の受信イベントとAnnotation「逆転のきっかけ」の生成イベントを受け取った場合のStatus Parameter算出手続きを記述した例である。"home ＿run"受信イベントを受け取ると、（例１）に示すように該当するFrameにおける「攻撃レベル」パラメタの値が５加算される。また「逆転」Sceneの抽出により「逆転のきっかけ」Annotationが生成されると、（例２）に示すように該当するFrameの攻撃レベルが２加算される。
【００９１】
このイベント駆動型のStatus Parameterの算出処理により、番組付加情報を受信しながら動的な重要度の算出が可能となる。
【００９２】
次に、「ダイジェスト生成プロセス」について説明する。ダイジェスト生成プロセスは、以下に示すようなダイジェスト生成ルールに基づき、ダイジェストを生成する。
【００９３】
イジェスト総時間、抽出指定値は非終端記号である。
【００９４】
【００９５】
上記ダイジェスト生成ルールは、利用者がダイジェスト作成ルール指定画面を介してダイジェスト作成を指定すると自動的に作成される。ダイジェスト生成範囲には、対象とする映像においてダイジェストを生成するための範囲を指定する。終了タイムコードが省略されていた場合は、リアルタイムに受信しながらダイジェストを作成することを示す。抽出Sceneの型に従って、「ダイジェストの候補シーン」[si] が抽出される。
【００９６】
また、Status Parameterの式（本発明の重要度式に相当する）には、例えば次のような記述ができる。
（ア）攻撃レベル
（イ）攻撃レベル+ユーザ嗜好レベル*0.5
【００９７】
上記（ア）の指定は、攻撃レベル（ダイジェスト生成に使用する意味的特徴量の種類）だけを基にダイジェストを生成する指定となる。また、（イ）の指定は、攻撃レベルにユーザ嗜好レベル*0.5倍を足した値を基にダイジェストを生成する指定となる。
【００９８】
各候補シーン内のFrameに対して、Status Parameterの式に従って値を算出する。この値を各フレームの「重要度値」と呼ぶ。この重要度値に基づき以下の方針により、シーンが選択される。
【００９９】
ダイジェスト作成ルール指定画面でダイジェスト総時間が指定された場合は、指定されたダイジェスト総時間に等しくなるまで、より高い重要度値をもつSceneから順に選択される。
【０１００】
ダイジェスト作成ルール指定画面で抽出指定値が指定された場合は、指定された値以上の重要度値をもつシーンを選択し、時系列に再構成してダイジェストを生成する。
【０１０１】
「ダイジェスト関連情報監視プロセス」は、ダイジェスト生成プロセスが発行するダイジェスト生成開始イベントにより生成される。生成されたダイジェスト関連情報監視プロセスは、Scene抽出・Annotation生成プロセスが発行するScene抽出イベントと、Status Parameter算出プロセスが発行するStatus Parameter算出イベントを受け、その中からダイジェスト生成ルールにおいて抽出Sceneの型、Status Parameter式として記述されている情報のみダイジェスト関連情報変更イベントとして、ダイジェスト生成プロセスに発行する。
【０１０２】
ダイジェスト生成プロセスは、ダイジェストの生成および表示の終了後に、ダイジェスト関連情報監視プロセスから関連情報変更イベントを受け取っていたか否かをチェックする。受け取っていた場合は、ハードディスクに蓄積されている番組付加情報のうち、差分情報に関してダイジェスト生成処理を実行する。差分情報に対するシーン選択の方針はダイジェスト生成ルールにダイジェスト総時間が指定されているか、抽出指定値が指定されているかによって次のように変わる。
【０１０３】
ダイジェスト総時間が指定されている場合には、それまでに選択したシーンの内、重要度の最小値を基本として、それ以上の重要度値をもつシーンを選択する。一方、抽出指定値が指定されている場合には、指定された値以上の重要度値をもつシーンを選択する。
【０１０４】
このダイジェスト関連情報監視プロセスにより、ダイジェスト生成および表示中に発生した重要場面をダイジェストに追加する、というリアルタイム・ダイジェストの生成が可能となる。
【０１０５】
〔追い付き視聴可能なダイジェスト生成処理の動作〕
以上の構成において、図３を参照して、追い付き視聴可能なダイジェスト生成処理の動作について説明する。
ダイジェスト生成処理装置１００は、放送局により放送された番組映像（Frame）および番組付加情報（P-Descriptor）を受信すると、P-Descriptor受信イベントを発生する（図３の▲１▼）。
【０１０６】
次に、Scene抽出・Annotation生成プロセス（本発明の抽出工程に相当）においてScene抽出・Annotation生成ルールが発火する。また、Status Parameter算出プロセス（本発明の意味的特徴量算出工程に相当）において、Status Parameter算出ルールが発火する（図３の▲２▼）。
【０１０７】
次に、Scene抽出・Annotation生成プロセスでは、Scene抽出を行って、受信した複数の番組付加情報（P-Descriptor）によって指定される連続する複数のFrameを、番組映像からSceneとして抽出すると共に、受信した複数の番組付加情報（P-Descriptor）を解析して複合的な意味をもつ複合情報を生成（Annotation生成）する（図３の▲３▼）。
【０１０８】
Annotationが生成されるとAnnotation生成イベントがStatus Parameter算出プロセスに発行され、Status Parameter算出ルールが発火する（図３の▲４▼）。
【０１０９】
Status Parameter算出プロセス（本発明の意味的特徴量算出工程に相当）では、P-Descriptor、Annotationの情報に基づき、Status Parameterの値（意味的特徴量）を算出する。このとき、番組映像中におけるFrameに対して１つ以上の種類のStatus Parameterをフレーム毎に算出する（図３の▲５▼）。
【０１１０】
Scene、Annotation、Status Parameter情報は、Frame情報、P-Descriptor情報とともにハードディスクＨＤに蓄積される（図３の▲６▼）。
【０１１１】
ダイジェスト生成ルール指定画面を介してダイジェスト生成が指定されると、ダイジェスト生成プロセスは、ダイジェスト生成開始イベントを発行し、ダイジェスト生成処理を開始する（図３の▲７▼）。ここで、図４のダイジェスト生成ルール指定画面４０１を参照してダイジェスト生成の指定について具体的に説明する。キーボード１０５を用いて、表示装置１０４に表示されたダイジェスト生成ルール指定画面４０１の入力項目４０２〜４０４を入力する。なお、入力項目４０２はダイジェストの総時間、入力項目４０３は番組映像から抽出するシーンのタイプを指定する抽出Sceneの型（シーンタイプ情報）、入力項目４０４はダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含むStatus Parameter式（重要度式）を入力するための項目である。
【０１１２】
また、ダイジェスト生成開始イベントの発行によってダイジェスト関連情報監視プロセスが生成される（図３の▲８▼）。
【０１１３】
Scene抽出・Annotation生成プロセスは、Sceneが抽出されるとScene抽出イベントを、Status Parameter算出プロセスは、Status Parameter値が算出されると、Status Parameter算出イベントをそれぞれダイジェスト関連情報監視プロセスに発行する（図３の▲９▼）。
【０１１４】
ダイジェスト関連情報監視プロセス（本発明の変更情報出力工程）は、ダイジェスト生成に関連する情報の生成および値の変更があった場合に、ダイジェスト生成プロセスにダイジェスト関連情報変更イベントを発行する（図３の○10）。
【０１１５】
ダイジェスト生成プロセスは、ダイジェストが生成され、その表示が終了した時に、ダイジェスト関連情報監視プロセスからダイジェスト関連情報変更イベントを受け取っていたか否かをチェックする。受け取っていた場合は、ダイジェスト生成開始イベントを再び発行してから、ハードディスルＨＤに蓄積されている差分情報をチェックし、必要に応じて追加のダイジェストを作成する（図３の○11）。
【０１１６】
以下、追加のダイジェスト関連情報変更イベントを受け取らなくなるまで、図３の▲９▼，○10の処理を繰り返す。
【０１１７】
前述したように本実施の形態の映像ダイジェスト生成方法によれば、番組映像上のある時点おける意味的な重要度判定ができると共に、番組付加情報を受信しながら重要度を動的に算出することができる。また、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足することができる。
【０１２０】
【発明の効果】
以上説明したように、本発明の映像ダイジェスト生成方法（請求項１）は、番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成し、受信した複数の番組付加情報および抽出工程で生成された複合情報に基づいて、番組映像中におけるフレームに対して１つ以上の種類の意味的特徴量をフレーム毎に算出し、また、受信した番組映像、抽出したシーン、複合情報および算出したフレームの意味的特徴量を蓄積し、さらに、少なくとも番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力し、変更情報出力工程でダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、抽出したシーンのタイプおよび算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力し、ダイジェスト生成・表示工程で、ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すため、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足する映像ダイジェスト生成方法を提供することができる。
【０１２１】
また、本発明の映像ダイジェスト生成方法（請求項２）は、請求項１に記載の映像ダイジェスト生成方法において、抽出工程におけるシーンの抽出が、補足情報の正規表現により記述された抽出ルールによって定義されているため、シーン抽出を容易に行うことができる。また、抽出するシーンの指定および変更が容易であると共に、様々なシーンの抽出を行うことができる。
【０１２２】
また、本発明の映像ダイジェスト生成方法（請求項３）は、請求項１または２に記載の映像ダイジェスト生成方法において、入力工程が、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、ダイジェスト生成工程またはダイジェスト生成・表示工程が、重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、またはダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成するため、ダイジェスト生成ルールの設定に応じて所望の形態のダイジェスト映像を生成することができる。
【図面の簡単な説明】
【図１】本実施の形態の映像ダイジェスト生成方法を適用したダイジェスト生成処理装置の概略構成図である。
【図２】本実施の形態で使用する各データ（Frame 、P-Descriptor、 Scene、Annotation、Status Parameter）の関係を示す説明図である。
【図３】本実施の形態のダイジェスト生成処理の概要を示す説明図である。
【図４】ダイジェスト生成ルール指定画面を示す説明図である。
【符号の説明】
１００ ダイジェスト生成処理装置
１０７ ダイジェスト生成処理ソフト
４０１ ダイジェスト生成ルール指定画面
Claims (3)
- 連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法であって、
前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成する抽出工程と、
前記番組付加情報を受信すると、受信した複数の番組付加情報および前記抽出工程で生成された複合情報に基づいて、前記番組映像中におけるフレームに対して１つ以上の種類の意味的特徴量をフレーム毎に算出する意味的特徴量算出工程と、
受信した番組映像、前記抽出工程で抽出したシーン、前記抽出工程で生成した複合情報および前記意味的特徴量算出工程で算出したフレームの意味的特徴量を蓄積する蓄積工程と、
少なくとも前記番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、前記番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力する入力工程と、
前記入力工程でダイジェスト生成ルールが入力されると、前記ダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、前記抽出工程で抽出したシーンのタイプおよび意味的特徴量算出工程で算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力する変更情報出力工程と、
前記入力工程でダイジェスト生成ルールが入力されると、前記蓄積工程で蓄積した前記抽出したシーンおよびフレームの意味的特徴量を参照して、前記ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに前記変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに前記変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すダイジェスト生成・表示工程と、
を含むことを特徴とする映像ダイジェスト生成方法。 - 前記抽出工程におけるシーンの抽出は、前記補足情報の正規表現により記述された抽出ルールによって定義されていることを特徴とする請求項１に記載の映像ダイジェスト生成方法。
- 前記入力工程は、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、
前記ダイジェスト生成工程またはダイジェスト生成・表示工程は、前記重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、または前記ダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成することを特徴とする請求項１または２に記載の映像ダイジェスト生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001135632A JP4511761B2 (ja) | 2001-05-02 | 2001-05-02 | 映像ダイジェスト生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001135632A JP4511761B2 (ja) | 2001-05-02 | 2001-05-02 | 映像ダイジェスト生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002330393A JP2002330393A (ja) | 2002-11-15 |
| JP4511761B2 true JP4511761B2 (ja) | 2010-07-28 |
Family
ID=18983060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001135632A Expired - Fee Related JP4511761B2 (ja) | 2001-05-02 | 2001-05-02 | 映像ダイジェスト生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4511761B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100448270C (zh) | 2004-01-26 | 2008-12-31 | 日本电气株式会社 | 影像种类判定系统、影像加工系统、影像加工方法 |
| JP2005277531A (ja) * | 2004-03-23 | 2005-10-06 | Seiko Epson Corp | 動画像処理装置 |
| CN1989502A (zh) * | 2004-06-30 | 2007-06-27 | 松下电器产业株式会社 | 事件重要度调整方法和实施该方法的装置 |
| JP2006180306A (ja) | 2004-12-24 | 2006-07-06 | Hitachi Ltd | 動画記録再生装置 |
| JP4349277B2 (ja) | 2004-12-24 | 2009-10-21 | 株式会社日立製作所 | 動画再生装置 |
| JP2011109675A (ja) * | 2010-12-13 | 2011-06-02 | Hitachi Ltd | 動画再生装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04294694A (ja) * | 1991-03-25 | 1992-10-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像の自動要約編集方法 |
| JP2000261754A (ja) * | 1999-03-05 | 2000-09-22 | Jisedai Joho Hoso System Kenkyusho:Kk | ダイジェスト作成装置，ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2001
- 2001-05-02 JP JP2001135632A patent/JP4511761B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04294694A (ja) * | 1991-03-25 | 1992-10-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像の自動要約編集方法 |
| JP2000261754A (ja) * | 1999-03-05 | 2000-09-22 | Jisedai Joho Hoso System Kenkyusho:Kk | ダイジェスト作成装置，ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002330393A (ja) | 2002-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102263907B (zh) | 比赛视频的播放控制方法及其片段信息的生成方法和装置 | |
| JP3663362B2 (ja) | インデックス生成装置 | |
| US8250623B2 (en) | Preference extracting apparatus, preference extracting method and preference extracting program | |
| JP5499331B2 (ja) | ストリーミングメディアのトリックプレー | |
| US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| JP3176893B2 (ja) | ダイジェスト作成装置，ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US8504357B2 (en) | Related word presentation device | |
| US20080159708A1 (en) | Video Contents Display Apparatus, Video Contents Display Method, and Program Therefor | |
| US10846335B2 (en) | Browsing videos via a segment list | |
| US20060026635A1 (en) | Program portals and methods and systems for finding and viewing programs | |
| WO2011050280A2 (en) | Method and apparatus for video search and delivery | |
| US20040040041A1 (en) | Interactive applications for stored video playback | |
| WO2012070179A1 (ja) | 区間作成装置、区間作成方法、及び区間作成プログラム | |
| TW201416888A (zh) | 場景片段播放系統、方法及其記錄媒體 | |
| JP3982460B2 (ja) | コンテンツ連動型コメント表示方法、コメント表示システム、サーバ装置、コメント表示装置及びコメント表示プログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP5367499B2 (ja) | シーン検索装置及びプログラム | |
| JP2013536969A (ja) | コミュニティベースのメタデータを提供するための方法および装置 | |
| JP4925938B2 (ja) | ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置 | |
| US20040095377A1 (en) | Video information analyzer | |
| JP2004126811A (ja) | コンテンツ情報編集装置とその編集プログラム | |
| JP4511761B2 (ja) | 映像ダイジェスト生成方法 | |
| US20050273815A1 (en) | Method and apparatus for the display of electronic program guide information | |
| JP5148325B2 (ja) | コンテンツ処理装置、コンテンツ処理方法、コンテンツ再生装置、プログラム、および記録媒体 | |
| JP2003087712A (ja) | スポーツ映像のダイジェスト作成方法およびダイジェスト作成装置 | |
| JP2001306579A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |