JP4511761B2 - 映像ダイジェスト生成方法 - Google Patents

映像ダイジェスト生成方法 Download PDF

Info

Publication number
JP4511761B2
JP4511761B2 JP2001135632A JP2001135632A JP4511761B2 JP 4511761 B2 JP4511761 B2 JP 4511761B2 JP 2001135632 A JP2001135632 A JP 2001135632A JP 2001135632 A JP2001135632 A JP 2001135632A JP 4511761 B2 JP4511761 B2 JP 4511761B2
Authority
JP
Japan
Prior art keywords
digest
video
scene
information
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001135632A
Other languages
English (en)
Other versions
JP2002330393A (ja
Inventor
隆子 橋本
由香利 吉浦
篤志 飯沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001135632A priority Critical patent/JP4511761B2/ja
Publication of JP2002330393A publication Critical patent/JP2002330393A/ja
Application granted granted Critical
Publication of JP4511761B2 publication Critical patent/JP4511761B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法に関し、より詳細には、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現し、番組途中のある時点におけるダイジェストを動的に生成することが可能な映像ダイジェスト生成方法に関する。
【0002】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、日本でも2000年12月からBS(Broadcast Satellite)デジタル放送が開始されており、地上デジタル放送も2003年の開始を目処としている。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【0003】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報が映像インデックスなどの番組付加情報として付加された番組映像を対象として、その番組付加情報を用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版(ダイジェスト映像)を作成するダイジェスト作成システムを考案した。このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えから映像内容の説明文生成処理を考えてきた。
【0004】
なお、上記の技術の詳細は、以下の▲1▼〜▲5▼によって明らかにされている。
▲1▼ 橋本隆子、他:「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、1999年3月、pp.7−12。
▲2▼ 橋本隆子、他:「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ(DEWS’99)予稿集CD−ROM、1999年3月。
▲3▼ 橋本隆子、他:「TV受信端末におけるダイジェスト作成方式の試作」、ADBS99予稿集、1999年12月。
▲4▼ 白田由香利、他:「ダイジェスト説明文生成方式についての検討」、情報処理学会DBS研究会120−15、2000年1月、神戸。
▲5▼ 橋本隆子、他:「サッカー番組のダイジェスト作成システムの試作」、第11回データ工学ワークショップ(DEWS’00)予稿集CD−ROM、2000年。
【0005】
本出願人は、これらの試作システムにおいて、番組映像に付加された基本的な補足情報としての番組付加情報を利用した映像内容の意味解析、利用者の嗜好を反映させた重要場面の判定および切り出し(映像の抽出)を可能とし、また、それに対する説明文の生成機能を実現している。
【0006】
ところで、映像ダイジェストの生成は映像検索の応用の一つとして考えることができる。従来の映像検索のアプローチには、大きく分けて次の2種類が提案されている。
(A)画像分析、音声解析などの認識技術を利用して、カメラカット、話者の変化などの検出を行い、映像の検索を行う方法。
(B)番組映像の内容を見ながら、手作業で映像の番組付加情報を付加し、その情報を利用して映像を検索する方法。
【0007】
上記(A)の方法の長所は、認識技術を利用しているため、人手を介さずに低コストで映像シーンが検索できることである。一方、短所は、画像や音声の特徴に強く関係する検索であるため、映像内容の意味に基づくシーン検索ができないことが挙げられる。
【0008】
また、上記(B)の方法では、人手による番組付加情報を利用するため、内容に関係したシーンの検索が可能となるという長所があるが、反面、番組付加情報の付加に時間がかかるという短所がある。
【0009】
本出願人が提案したダイジェスト生成方法も、映像上の事象情報(番組付加情報)を利用するものであり、上記(B)の方法に含まれるが、映像の補足情報の付加コストを下げるために、基本的かつ客観的な事象情報のみを対象として、ダイジェストを作成するものである。
【0010】
ところが、これまで本出願人が提案してきたダイジェスト生成方法は、受信端末のHD(ハードディスク)に予め蓄積された番組映像と番組付加情報を利用して映像の意味的重要度を算出し、重要シーンを抽出するものであり、リアルタイムに放送を受信しながら動的に重要度を算出し、シーンを抽出するということはできなかった。例えば、野球番組で、あるイニングにおいてヒットがあり、その後、ホームランによって逆転が起きた場合、逆転のきっかけとなったヒットの重要性は、結果として逆転が発生した時にさらに高くなるべきである。
【0011】
しかし、これまでの方法では、リアルタイムに番組付加情報を受信しながら、逆転という状況を解析し、その結果に基づいて「きっかけとなったヒット」発生時点に時間を溯って、その時点における番組映像の重要性を動的に高める、ということはできなかった。これは、上記の方法が、予め蓄積された番組付加情報を対象としており、番組付加情報の受信をトリガーとした動的な重要度評価機能を持たなかったためである。動的な重要度評価機能があれば、番組映像と番組付加情報を受信しながら、その時点における重要シーンをリアルタイムに抽出し、ダイジェストを作成していくことも可能となる。
【0012】
一方、ダイジェスト生成のアプリケーションの一つとして「追い付き視聴」がある。追い付き視聴とは、番組途中から視聴を開始した際に、以降の番組放送に追い付くためにそれまでの番組映像を早送りなどで視聴する受信端末の蓄積を利用した視聴方法である。
【0013】
この追い付き視聴を、本出願人が提案しているダイジェスト生成方法に適用した場合、例えば、既に3回表まで経過している野球番組に対して、その時点までのダイジェストを作成して視聴する、ということが可能となる。しかし利用者がダイジェストを視聴している間に本編番組でホームランなどの重要な事象が起こった場合、利用者はその重要シーンを視聴することができないという事態が生じる。すなわち、従来の技術の組み合わせでは、「視聴に追い付くためにダイジェストを視聴している間に、本編番組で起きた重要シーンを見逃してしまう」という不具合が発生する。このように従来の技術の組み合わせのみでは、リアルタイムにダイジェストを生成する機能がないため、該当シーンをダイジェストに含めるには、再度、ダイジェスト生成処理を実行しなければならなかった。
【0014】
【発明が解決しようとする課題】
そこで本発明では、上記従来技術のダイジェスト生成方法を拡張し、番組付加情報を受信しながら、映像上のある時点に対する動的な重要度を算出できる、追い付き視聴に対応可能なリアルタイム・ダイジェスト生成方法(追い付き視聴に対応可能な映像ダイジェスト生成方法)の提案を行う。
【0015】
換言すれば、リアルタイム・ダイジェスト生成に対する要求仕様を以下の▲1▼〜▲3▼のように定義し、従来技術におけるこれらの問題点を認識して、解決する方法を提案する。
▲1▼映像上のある時点おける意味的な重要度判定ができること。
▲2▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲3▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
【0016】
▲1▼映像上のある時点における意味的な重要度判定ができること。
従来の技術として、基本的な映像付加情報から内容の意味に基づくS時シーンを検索する技術が知られている。この技術によれば、映像上の事象を表現する事象列の正規表現によるシーン抽出を実現しており、野球中継番組ならばホームランシーンや松井の打席シーンなどの検索が可能となる。
【0017】
ところが、このようなシーン検索だけではシーンの意味的な重要度判定はできない。ダイジェストを作成するためには、映像上のある時点における意味的重要度を解析し、より重要な時点を含む映像シーンを選択する、という機能が必要となる。例えば、野球番組の場合、同じホームランシーンであったとしても、先制や逆転といった意味的により重要なシーンから検索されなければならないし、松井の打席シーンに対しても、ヒットを打った場合と、三振の場合とでは、その重要性が自ずと異なってくる。
【0018】
従来の方法だけでは、その意味的判定ができないため、映像上のある時点に対して意味的重要度を定義するための仕組みが必要であった。
【0019】
▲2▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
従来の技術として、野球番組を対象として、想定されるダイジェストのシナリオをテンプレート化しておき、試合結果のスコア情報に従ってテンプレートを選択してダイジェストを作成する技術が知られている。この技術によれば、ストーリー性を重視したダイジェストを生成するのには効果的であるが、対象とするデータが番組終了後のものであり、番組途中のダイジェストが生成できず、追い付き視聴にも対応できないという問題点があった。
【0020】
すなわち、番組途中でダイジェストを生成するためには、その時点における動的な重要度判定ができなければならない。例えば、逆転のきっかけとなったヒットのように、番組の経過によって、その重要度が変わってくるような場合でも、逆転発生後は、ダイジェスト映像として該当するヒットシーンの重要度が高まることが望ましい。そのためには、番組付加情報を受信しながら動的にその時点の重要度を算出する仕組みが必要となる。
【0021】
▲3▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
従来の追い付き視聴の実現方法としては、人手による早送り再生が一般的である。しかし、野球のように全体で3時間以上かかる番組に対して、その3分の1にあたる1時間分を早送りで視聴したとしても、その視聴には20分から30分程度かかってしまう。また、野球番組にはイニングの切り替わりなどの冗長なシーンが多く、早送りで全体を視聴するのは無駄である。さらにデジタル放送で対象としているMPE2の場合、アナログ的な早送り処理を実現するにはコストがかかるという問題点もある。
【0022】
そこでダイジェスト生成技術を追い付き視聴に適応し、その時点までの番組経過をダイジェストとして視聴して、以降の番組放送に追い付く、というアプリケーションが有効となる。その際、ダイジェスト視聴中に本編番組で発生した重要シーンを見逃さないために、ダイジェスト作成および視聴中にも番組付加情報を受信してリアルタイムに重要シーンを抽出し、視聴中のダイジェストに含めるという処理(リアルタイム・ダイジェスト生成処理)が必要となる。このリアルタイム・ダイジェスト生成処理は、ダイジェスト視聴中に本編番組で重要シーンが抽出されなくなるまで行う必要がある。
【0023】
本発明は上記に鑑みてなされたものであって、映像上のある時点おける意味的な重要度判定ができると共に、番組付加情報を受信しながら重要度を動的に算出できる映像ダイジェスト生成方法を提供することを目的とする。
【0024】
また、本発明は上記に鑑みてなされたものであって、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足する映像ダイジェスト生成方法を提供することを目的とする。
【0027】
【課題を解決するための手段】
上記の目的を達成するために、請求項1に係る映像ダイジェスト生成方法は、連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法であって、前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成する抽出工程と、前記番組付加情報を受信すると、受信した複数の番組付加情報および前記抽出工程で生成された複合情報に基づいて、前記番組映像中におけるフレームに対して1つ以上の種類の意味的特徴量をフレーム毎に算出する意味的特徴量算出工程と、受信した番組映像、前記抽出工程で抽出したシーン、前記抽出工程で生成した複合情報および前記意味的特徴量算出工程で算出したフレームの意味的特徴量を蓄積する蓄積工程と、少なくとも前記番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、前記番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力する入力工程と、前記入力工程でダイジェスト生成ルールが入力されると、前記ダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、前記抽出工程で抽出したシーンのタイプおよび意味的特徴量算出工程で算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力する変更情報出力工程と、前記入力工程でダイジェスト生成ルールが入力されると、前記蓄積工程で蓄積した前記抽出したシーンおよびフレームの意味的特徴量を参照して、前記ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに前記変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに前記変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すダイジェスト生成・表示工程と、を含むことを特徴とする。
【0028】
また、請求項に係る映像ダイジェスト生成方法は、請求項1に記載の映像ダイジェスト生成方法において、前記抽出工程におけるシーンの抽出が、前記補足情報の正規表現により記述された抽出ルールによって定義されていることを特徴とする。
【0029】
また、請求項に係る映像ダイジェスト生成方法は、請求項1または2に記載の映像ダイジェスト生成方法において、前記入力工程が、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、前記ダイジェスト生成工程またはダイジェスト生成・表示工程が、前記重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、または前記ダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成することを特徴とする。
【0030】
【発明の実施の形態】
以下、本発明の映像ダイジェスト生成方法およびダイジェスト生成処理装置の一実施の形態について、
〔本発明の概要〕
〔本実施の形態のダイジェスト生成処理装置の概略構成〕
〔本実施の形態で使用する各データの定義〕
〔本実施の形態のダイジェスト生成処理〕
〔追い付き視聴可能なダイジェスト生成処理の動作〕
の順に、添付の図面を参照して詳細に説明する。
【0031】
〔本発明の概要〕
放送のデジタル化に伴い、番組と共に放送される番組付加情報を利用して柔軟に番組を視聴する方法が各種研究されている。この場合、番組付加情報を利用した視聴方式の一つとしてダイジェスト生成がある。本発明の映像ダイジェスト生成方法およびダイジェスト生成処理装置では、基本的な番組付加情報を受信しながら動的に重要シーンの判定を行うリアルタイム・ダイジェスト生成処理を提供するものである。
【0032】
リアルタイム・ダイジェスト生成処理では、番組付加情報の受信、シーン抽出、映像の意味的記述の生成といったイベントをトリガーとしたイベント駆動型ダイジェスト生成を実現している。このイベント駆動型ダイジェスト生成により、番組途中のある時点におけるダイジェストを動的に生成することができる。
【0033】
さらに、ダイジェスト視聴中に本編番組で重要事象が発生した場合、そのシーンを抽出し視聴中のダイジェストに追加するという処理を実現することにより、「追い付き視聴中に本編番組で起きた重要事象を見逃す」という追い付き視聴の問題を解決するものである。
【0034】
本発明では、次の▲1▼〜▲3▼のような要求仕様を満たすダイジェスト生成処理モデル(映像ダイジェスト生成方法)を提案する。
▲1▼映像上のある時点おける意味的な重要度判定ができること。
▲2▼番組付加情報を受信しながら、上記重要度を動的に算出できること。
▲3▼ダイジェスト生成および表示中にもリアルタイムに重要シーンの抽出ができること。
【0035】
なお、上記▲1▼〜▲3▼の要求仕様を満足するために、本発明の映像ダイジェスト生成方法では、番組映像と共にその補足情報が番組付加情報として送信されてくる放送環境において、番組付加情報を受信するというイベントにより、番組内のシーンを動的に抽出する。また、シーンが抽出されると、シーン内の任意の番組付加情報に対して、その内容をより意味的に説明するアノテーション(補足説明:本発明の複合情報に相当する)が生成され付加される。
【0036】
なお、この抽出およびアノテーション生成は、番組付加情報の受信イベントをトリガーとし、補足情報の正規表現により記述されるルールにより定義されているものとする。
【0037】
また、番組付加情報受信イベントにより、番組の意味的特徴量(ステイタス・パラメタ)を動的に算出する。そのステイタス・パラメタ算出は、番組付加情報の受信イベント及びアノテーション生成のイベント(アノテーション生成イベント)をトリガーとしたステイタス・パラメタ算出ルールにより定義されているものとする。
【0038】
また、上記ステイタス・パラメタの値に対して、抽出シーンの型、抽出に当たってのランキングのためのステイタス・パラメタの式(本発明の重要度式に相当する)、その式から算出される値(重要度値)の抽出指定値またはダイジェストの総時間を指定して、ダイジェストを生成するものとする。
【0039】
さらに、ダイジェストを生成、表示中も、番組付加情報を受信し、ステイタス・パラメタの値を算出し、ダイジェスト生成に関連する情報に変更があったかをチェックし、あった場合には、その旨をダイジェスト関連情報変更イベントとして差分に対して再度重要度値を算出し、直前のダイジェスト生成における重要度の抽出指定値よりも高い重要度値があった場合は、その重要度値を含むシーンを抽出し、ダイジェストとして追加する。なお、この処理は追加すべきシーンがなくなるまで繰り返される。
【0040】
〔本実施の形態のダイジェスト生成処理装置の概略構成〕
図1は、本実施の形態の映像ダイジェスト生成方法を適用したダイジェスト生成処理装置の概略構成を示し、同図(a)がダイジェスト生成処理装置100の概観図を示し、同図(b)がハード構成を示している。ダイジェスト生成処理装置100のハード構成としては、後述するソフトウエアに基づく処理を実行するCPU101と、ブートプログラム等を記憶したROM102と、CPU101のワークエリアとして使用されるRAM103と、各種の入力操作を行なうためのキーボード105およびマウス106と、ダイジェスト映像を表示するための表示画面を有したCRTや液晶ディスプレイ等の表示装置104と、本実施の形態の映像ダイジェスト生成方法を実現するためのダイジェスト生成処理ソフト107等の各種アプリケーションプログラムやデータを記憶したハードディスク108と、有線または無線で放送される番組映像を受信するための受信部109と、上記各部を接続するバス110と、を備えている。
【0041】
なお、このダイジェスト生成処理装置100は、放送局などから放送された映像(ビデオデータ、例えばMPEG2ストリーム)および番組付加情報を受信して、ダイジェスト映像を作成するためのハード構成を備えておればよく、上記の構成に限定されるものではない。
【0042】
〔本実施の形態で使用する各データの定義〕
次に、本実施の形態のダイジェスト生成処理で使用する各データの定義について説明する。本実施の形態のダイジェスト生成処理は、リアルタイムにダイジェスト映像を生成するものあるため、以下、READ(リアルタイム・ダイジェスト生成方式:REAl−time Digest generation scheme)と記載することがある。
【0043】
READは、イベント駆動型の処理方式に基づいた重要度判定により、映像上のある時点における重要度を動的に算出し、リアルタイムに重要シーン(Scene )を抽出する方式である。
【0044】
READの処理データは、以下に説明する番組映像であるFrame(f)と、番組付加情報であるPrimitive Descriptor(p) の2つである。この2つのデータは放送局により制作され放送される。READはこれらのデータを受信し、ダイジェストの作成を行う。
【0045】
Frame(f)
番組映像は、静止画像である Framefi の列f1 …fn である。各Frame は識別子となるフレーム番号fno、およびそのFrame が表現する経過時間(先頭Frame からの相対時間)を示すタイムコード timecode で構成される。以下では連続したFrame の部分列をFrame 列と呼ぶ。
【0046】
Primitive Descriptor(p )
放送局によって付加される基本的な番組付加情報をPrimitive Descriptor (以下P-Descriptorと略す) と呼ぶ。各 P-Descriptor pi はその記述情報の開始時点となるFrame fj に対応付けられる。各pは以下のような組で表現される。
【0047】
Figure 0004511761
【0048】
上記P-Descriptorの型typeは番組付加情報の種類を示す。例えば、野球中継の場合、"game _start"、 "inning_start"、 "at_bat"などの試合の区切りや、"pitch" 、"hit" 、"home _run"、"out" や"at _bat"などの動作やプレイの種類を示すP-Descriptorの型が考えられる。
【0049】
attr1, …, attrn で示される属性はP-Descriptorの型typeによって決まる属性であり、各pi の属性値が設定される。例えば:P-Descriptor "pitch"の場合、"pitcher_name" 、"batter _name" 、スコア情報などが属性となる。このP-Descriptorの型によって決まる属性をP-Descriptorのスキーマと呼ぶ。
【0050】
なお、Frame fj と P-Descriptor pi の関係は1対多となる。1つのFrame に対して複数のP-Descriptorが対応付けられることもあり、P-Descriptorが対応付けられないFrame もある。図2にFrame とP-Descriptorとの関係を示す。
【0051】
次に、上記処理データを基に基づいてREADが生成するデータについて述べる。READが生成するデータは、Scene (シーン)、P-DescriptorのAnnotation(複合情報)、Status Parameter(意味的特徴量)である。図2にFrame 、P-Descriptor、 Scene、Annotation、Status Parameterの関係を示す。
【0052】
Scene(s)
Scene (シーン)とは意味的にまとまりのあるFrame 列である。この意味的にまとまりのあるFrame 列は、READにおいて番組映像に付加されたP-Descriptorの状態遷移パターンとして指定可能であり、複合的な情報を表現することができる。Scene は以下のような組で表現できる。
【0053】
Figure 0004511761
【0054】
ここで、Scene の型typeはScene の種類を示す。野球番組の場合、「イニング」 ("inning _start"イベントから次の"inning _start"イベントまで) 、「投球」("pitch"イベントから次の"pitch" まで) 、「逆転」などの各種のScene の型が考えられる。開始フレーム番号ffno、終了フレーム番号lfnoはScene に対応するFrame 列の先頭及び終端Frame を示す。
【0055】
Annotation(a)
READは、複数のP-Descriptorの情報から、複合的な意味をもつ記述を自動的に生成し、特定の P-Descriptor の補足情報とする。これをAnnotation(複合情報)と呼ぶ。Annotation aは以下のような組で表現される。
【0056】
Figure 0004511761
【0057】
Annotationの型typeは、Annotationの種類を表す。例えば野球番組の場合、「タイムリーヒット」、「逆転ホームラン」などのAnnotationが考えられる。それぞれP-Descriptor "hit"、"home _run"のAnnotationとなり、pidにはそのP-Descriptorを特定するためのIDが設定される。
【0058】
Status Parameter(p)
Status Parameter (意味的特徴量)は映像上のある時点における重要度を示す指標であり、 P-Descriptor およびAnnotation情報に基づき算出される。番組の種別にもよるが一般に映像上の1つのFrame につき、Status Parameterは複数個算出される。
【0059】
Figure 0004511761
【0060】
Status Parameterの型typeは、重要度(意味的特徴量)の種類を表す。例えば、野球番組の場合、攻撃的重要度を示す「攻撃レベル」、投手の調子を示す「投手レベル」などのStatus Parameter がある。fno で特定されるFrame のtimecodeで示される時点における重要度の値がvalue となる。
【0061】
〔本実施の形態のダイジェスト生成処理〕
次に、本実施の形態のダイジェスト生成処理について説明する。図3は本実施の形態のダイジェスト生成処理の概要を示す説明図である。ダイジェスト生成処理の処理プロセスとしては、「Scene抽出・Annotation生成プロセス」と、「Status Parameter算出プロセス」と、「ダイジェスト生成プロセス」と、「ダイジェスト関連情報監視プロセス」と、がある。
【0062】
また、READにおいて処理されるイベントには、「P-Descriptor受信イベント」と、「Scene抽出イベント」と、「Annotation生成イベント」と、「Status Parameter算出イベント」と、「ダイジェスト生成開始イベント」と、「ダイジェスト関連情報変更イベント」と、がある。
【0063】
ここで、図3を参照して、ダイジェスト生成処理の処理概要を説明する。下記の番号と図中の番号は対応しており、それぞれダイジェスト生成処理を示している。
【0064】
▲1▼ 放送局により放送されたP-Descriptorを受信すると、P-Descriptor受信イベントが発生する。
▲2▼ Scene抽出・Annotation生成プロセスにおいてScene抽出・Annotation生成ルールが発火する。またStatus Parameter算出プロセスにおいて、Status Parameter算出ルールが発火する。
▲3▼ Scene抽出・Annotation生成プロセスでは、Scene抽出を行い、Scene内のP-Descriptorに対するAnnotation生成を行う。
▲4▼ Annotationが生成されるとAnnotation生成イベントがStatus Parameter算出プロセスに発行され、Status Parameter算出ルールが発火する。
【0065】
▲5▼ Status Parameter算出プロセスでは、P-Descriptor、Annotationの情報に基づき、Status Parameterの値を算出する。
▲6▼ Scene、Annotation、Status Parameter情報は、Frame情報、P-Descriptor情報とともに受信端末のHDに蓄積される。
▲7▼ 後述するダイジェスト生成ルール指定画面を介してダイジェスト生成が指定されると、ダイジェスト生成プロセスは、ダイジェスト生成開始イベントを発行し、ダイジェスト生成処理を開始する。
▲8▼ ダイジェスト生成開始イベントによりダイジェスト関連情報監視プロセスが生成される。
【0066】
▲9▼ Scene抽出・Annotation生成プロセスは、Sceneが抽出されるとScene抽出イベントを、Status Parameter算出プロセスは、Status Parameter値が算出されると、Status Parameter算出イベントをそれぞれダイジェスト関連情報監視プロセスに発行する。
○10 ダイジェスト関連情報監視プロセスは、ダイジェスト生成に関連する情報の生成および値の変更があった場合に、ダイジェスト生成プロセスにダイジェスト関連情報変更イベントを発行する。
○11 ダイジェスト生成プロセスは、ダイジェストが生成され、その表示が終了した時に、ダイジェスト関連情報監視プロセスからダイジェスト関連情報変更イベントを受け取っていたかをチェックする。受け取っていた場合は、ダイジェスト生成開始イベントを再び発行してから、HDに蓄積されている差分情報をチェックし、必要に応じて追加のダイジェストを作成する。
○12 以下、追加のダイジェスト関連情報変更イベントを受け取らなくなるまで、▲9▼,○10の処理を繰り返す。
【0067】
次に、「Scene抽出・Annotation生成プロセス」、「Status Parameter算出プロセス」、「ダイジェスト生成プロセス」、「ダイジェスト関連情報監視プロセス」の順に詳細に説明する。
【0068】
「Scene抽出・Annotation生成プロセス」
READでは、Sceneの抽出とAnnotationの生成を「Scene抽出・Annotation生成ルール」として与える。このルールは予め定義してデータベース化しておく。Scene抽出・Annotation生成ルールは、具体的には次のようなマークアップ言語で表現される。
【0069】
Figure 0004511761
ここで、Sceneタイプ、パターン、Annotation指定は非終端記号である。
【0070】
Figure 0004511761
ここで、開始P-Descriptor、終了P-Descriptor、P-Descriptorパターンは非
終端記号である。
【0071】
Figure 0004511761
ここで、Annotationタイプ、P-Descriptor位置は非終端記号である。
【0072】
受信したP-Descriptorにおいてパターンが成立した場合、Sceneタイプで示される型のSceneが生成される。
開始P-Descriptor、終了P-Descriptorは、Scene抽出のためのマッチングの範囲を規定するものである。開始P-Descriptorを受信すると、P-Descriptorパターンのマッチングが開始される。終了P-Descriptorが発生する前にP-Descriptorパターンのマッチが完了すれば、Sceneは抽出される。
【0073】
パターンマッチの前に終了P-Descriptorを受信してしまった場合は、パターンマッチ処理は中止となる。開始P-Descriptor、終了P-Descriptorが省略された場合は、番組の開始から終了までの範囲でP-Descriptorパターンのマッチング処理が実行されることになる。
【0074】
P-Descriptorパターンは、P-Descriptor pi の正規表現で表される。P-Descriptorパターンには、演算の優先度を指定する括弧"()"、Sceneの開始及び終了P-Descriptorを表す """、 "$"も利用できる。また、P-Descriptorの属性データattrに関する各種の条件も角括弧 "[]" を用いて指定できる。イベントが1回以上発生することを示す演算子は"+"、0回以上の繰り返し演算子は"*"。任意の型のイベントは".”で表わす。
【0075】
Scene抽出が完了すると、Annotation指定で指定されたAnnotationが、P-Descriptor位置で参照されているP-Descriptorに付加される。P-Descriptor位置の参照は、P-Descriptorパターンにおいて参照したいP-Descriptorを「\(… \)」で囲んでおき、その順番の番号で指定することとする。
【0076】
以下にScene抽出ルールの例を示す。
Figure 0004511761
【0077】
上記の例は、逆転Sceneを生成するためのルールである。P-Descriptor "inning_start"の後 に、"hit"、"four _ball"、"dead _ball" または "HR" を受信する。その際、攻撃チームの得点が守備チームより低く、その後、加点を示す"add_score"を1回以上受信し、その直後のP-Descriptorにおいて攻撃チームの得点が高くなっているSceneを逆転Sceneとして抽出する。
【0078】
Sceneが抽出されると、パターン内のP-Descriptor(hit、four_ball 、dead_ball またはHR、\1で参照される)にAnnotation「逆転のきっかけ」が生成付加される。さらに、次にマッチしたadd _score中で、最後のadd _score (\2[$]で参照される)にAnnotationが生成付加される。
【0079】
このScene抽出およびAnnotation生成処理により、基本的な番組付加情報を受信しながら、映像の意味的なまとまりを発見し、複合的な意味を持つAnnotationを付加することが可能となる。また、Scene抽出ルールが補足情報の正規表現で定義されているので、Scene抽出を容易に行うことができる。また、抽出するSceneの指定および変更が容易であると共に、様々なSceneの抽出を行うことができる。
【0080】
次に、「Status Parameter算出プロセス」について説明する。READでは、Status Parameterの算出を「Status Parameter算出ルール」として与える。このルールも予め定義してデータベース化しておく。
【0081】
映像上のあるFrame fiの意味的重要度(意味的特徴量)を判定するためには、fiの重要度を示すStatus Parameter p1、…pnを計算する。ここで、この計算処理について具体的に説明する。
【0082】
Status Parameter piの値は、以下のStatus Parameter算出ルールによって計算される。
Figure 0004511761
ここで、トリガーイベント名、ルール指定は非終端記号である。
【0083】
Figure 0004511761
ここで、P-Descriptorタイプ、 Annotationタイプは非終端記号である。
【0084】
Figure 0004511761
ここで、Status Parameterタイプ、演算子、値|式は非終端記号である。
【0085】
上記トリガーイベント名には、P-Descriptorタイプ、Annotationタイプを指定する。指定されたP-Descriptorの受信イベント、あるいはAnnotation生成イベントを受け取ると、以降に記述されているルールが発火する。
【0086】
ルール指定には、Status Parameterタイプの名前とその算出式(演算子と値または式)を定義する。P-Descriptor受信イベントの場合、対応するFrameにおけるStatus Parameterの値を算出する。Annotation生成イベントの場合は、そのAnnotationが付加されているP-Descriptorに対応するFrameのStatus Parameterの値を算出する。演算子には、四則演算子を指定する。
【0087】
このとき、該当Frameにおいて既にStatus Parameter値が算出されていた場合は、その値を基に新しい値を求める。算出されていない場合は、初期値0として値を求める。
【0088】
以下にStatus Parameter算出ルールの例を示す。
Figure 0004511761
【0089】
Figure 0004511761
【0090】
上記は野球番組においてP-Descriptor "home_run" の受信イベントとAnnotation「逆転のきっかけ」の生成イベントを受け取った場合のStatus Parameter算出手続きを記述した例である。"home _run"受信イベントを受け取ると、(例1)に示すように該当するFrameにおける「攻撃レベル」パラメタの値が5加算される。また「逆転」Sceneの抽出により「逆転のきっかけ」Annotationが生成されると、(例2)に示すように該当するFrameの攻撃レベルが2加算される。
【0091】
このイベント駆動型のStatus Parameterの算出処理により、番組付加情報を受信しながら動的な重要度の算出が可能となる。
【0092】
次に、「ダイジェスト生成プロセス」について説明する。ダイジェスト生成プロセスは、以下に示すようなダイジェスト生成ルールに基づき、ダイジェストを生成する。
【0093】
Figure 0004511761
ここで、ダイジェスト生成範囲、抽出Sceneの型、Status Parameter式、ダ
イジェスト総時間、抽出指定値は非終端記号である。
【0094】
Figure 0004511761
ここで、開始タイムコード、終了タイムコードは非終端記号である。
【0095】
上記ダイジェスト生成ルールは、利用者がダイジェスト作成ルール指定画面を介してダイジェスト作成を指定すると自動的に作成される。ダイジェスト生成範囲には、対象とする映像においてダイジェストを生成するための範囲を指定する。終了タイムコードが省略されていた場合は、リアルタイムに受信しながらダイジェストを作成することを示す。抽出Sceneの型に従って、「ダイジェストの候補シーン」[si] が抽出される。
【0096】
また、Status Parameterの式(本発明の重要度式に相当する)には、例えば次のような記述ができる。
(ア)攻撃レベル
(イ)攻撃レベル+ユーザ嗜好レベル*0.5
【0097】
上記(ア)の指定は、攻撃レベル(ダイジェスト生成に使用する意味的特徴量の種類)だけを基にダイジェストを生成する指定となる。また、(イ)の指定は、攻撃レベルにユーザ嗜好レベル*0.5倍を足した値を基にダイジェストを生成する指定となる。
【0098】
各候補シーン内のFrameに対して、Status Parameterの式に従って値を算出する。この値を各フレームの「重要度値」と呼ぶ。この重要度値に基づき以下の方針により、シーンが選択される。
【0099】
ダイジェスト作成ルール指定画面でダイジェスト総時間が指定された場合は、指定されたダイジェスト総時間に等しくなるまで、より高い重要度値をもつSceneから順に選択される。
【0100】
ダイジェスト作成ルール指定画面で抽出指定値が指定された場合は、指定された値以上の重要度値をもつシーンを選択し、時系列に再構成してダイジェストを生成する。
【0101】
「ダイジェスト関連情報監視プロセス」は、ダイジェスト生成プロセスが発行するダイジェスト生成開始イベントにより生成される。生成されたダイジェスト関連情報監視プロセスは、Scene抽出・Annotation生成プロセスが発行するScene抽出イベントと、Status Parameter算出プロセスが発行するStatus Parameter算出イベントを受け、その中からダイジェスト生成ルールにおいて抽出Sceneの型、Status Parameter式として記述されている情報のみダイジェスト関連情報変更イベントとして、ダイジェスト生成プロセスに発行する。
【0102】
ダイジェスト生成プロセスは、ダイジェストの生成および表示の終了後に、ダイジェスト関連情報監視プロセスから関連情報変更イベントを受け取っていたか否かをチェックする。受け取っていた場合は、ハードディスクに蓄積されている番組付加情報のうち、差分情報に関してダイジェスト生成処理を実行する。差分情報に対するシーン選択の方針はダイジェスト生成ルールにダイジェスト総時間が指定されているか、抽出指定値が指定されているかによって次のように変わる。
【0103】
ダイジェスト総時間が指定されている場合には、それまでに選択したシーンの内、重要度の最小値を基本として、それ以上の重要度値をもつシーンを選択する。一方、抽出指定値が指定されている場合には、指定された値以上の重要度値をもつシーンを選択する。
【0104】
このダイジェスト関連情報監視プロセスにより、ダイジェスト生成および表示中に発生した重要場面をダイジェストに追加する、というリアルタイム・ダイジェストの生成が可能となる。
【0105】
〔追い付き視聴可能なダイジェスト生成処理の動作〕
以上の構成において、図3を参照して、追い付き視聴可能なダイジェスト生成処理の動作について説明する。
ダイジェスト生成処理装置100は、放送局により放送された番組映像(Frame)および番組付加情報(P-Descriptor)を受信すると、P-Descriptor受信イベントを発生する(図3の▲1▼)。
【0106】
次に、Scene抽出・Annotation生成プロセス(本発明の抽出工程に相当)においてScene抽出・Annotation生成ルールが発火する。また、Status Parameter算出プロセス(本発明の意味的特徴量算出工程に相当)において、Status Parameter算出ルールが発火する(図3の▲2▼)。
【0107】
次に、Scene抽出・Annotation生成プロセスでは、Scene抽出を行って、受信した複数の番組付加情報(P-Descriptor)によって指定される連続する複数のFrameを、番組映像からSceneとして抽出すると共に、受信した複数の番組付加情報(P-Descriptor)を解析して複合的な意味をもつ複合情報を生成(Annotation生成)する(図3の▲3▼)。
【0108】
Annotationが生成されるとAnnotation生成イベントがStatus Parameter算出プロセスに発行され、Status Parameter算出ルールが発火する(図3の▲4▼)。
【0109】
Status Parameter算出プロセス(本発明の意味的特徴量算出工程に相当)では、P-Descriptor、Annotationの情報に基づき、Status Parameterの値(意味的特徴量)を算出する。このとき、番組映像中におけるFrameに対して1つ以上の種類のStatus Parameterをフレーム毎に算出する(図3の▲5▼)。
【0110】
Scene、Annotation、Status Parameter情報は、Frame情報、P-Descriptor情報とともにハードディスクHDに蓄積される(図3の▲6▼)。
【0111】
ダイジェスト生成ルール指定画面を介してダイジェスト生成が指定されると、ダイジェスト生成プロセスは、ダイジェスト生成開始イベントを発行し、ダイジェスト生成処理を開始する(図3の▲7▼)。ここで、図4のダイジェスト生成ルール指定画面401を参照してダイジェスト生成の指定について具体的に説明する。キーボード105を用いて、表示装置104に表示されたダイジェスト生成ルール指定画面401の入力項目402〜404を入力する。なお、入力項目402はダイジェストの総時間、入力項目403は番組映像から抽出するシーンのタイプを指定する抽出Sceneの型(シーンタイプ情報)、入力項目404はダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含むStatus Parameter式(重要度式)を入力するための項目である。
【0112】
また、ダイジェスト生成開始イベントの発行によってダイジェスト関連情報監視プロセスが生成される(図3の▲8▼)。
【0113】
Scene抽出・Annotation生成プロセスは、Sceneが抽出されるとScene抽出イベントを、Status Parameter算出プロセスは、Status Parameter値が算出されると、Status Parameter算出イベントをそれぞれダイジェスト関連情報監視プロセスに発行する(図3の▲9▼)。
【0114】
ダイジェスト関連情報監視プロセス(本発明の変更情報出力工程)は、ダイジェスト生成に関連する情報の生成および値の変更があった場合に、ダイジェスト生成プロセスにダイジェスト関連情報変更イベントを発行する(図3の○10)。
【0115】
ダイジェスト生成プロセスは、ダイジェストが生成され、その表示が終了した時に、ダイジェスト関連情報監視プロセスからダイジェスト関連情報変更イベントを受け取っていたか否かをチェックする。受け取っていた場合は、ダイジェスト生成開始イベントを再び発行してから、ハードディスルHDに蓄積されている差分情報をチェックし、必要に応じて追加のダイジェストを作成する(図3の○11)。
【0116】
以下、追加のダイジェスト関連情報変更イベントを受け取らなくなるまで、図3の▲9▼,○10の処理を繰り返す。
【0117】
前述したように本実施の形態の映像ダイジェスト生成方法によれば、番組映像上のある時点おける意味的な重要度判定ができると共に、番組付加情報を受信しながら重要度を動的に算出することができる。また、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足することができる。
【0120】
【発明の効果】
以上説明したように、本発明の映像ダイジェスト生成方法(請求項)は、番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成し、受信した複数の番組付加情報および抽出工程で生成された複合情報に基づいて、番組映像中におけるフレームに対して1つ以上の種類の意味的特徴量をフレーム毎に算出し、また、受信した番組映像、抽出したシーン、複合情報および算出したフレームの意味的特徴量を蓄積し、さらに、少なくとも番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力し、変更情報出力工程でダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、抽出したシーンのタイプおよび算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力し、ダイジェスト生成・表示工程で、ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すため、イベント駆動型の評価方式に基づいたルールベースによる意味的重要度の動的算出および追い付き視聴に対応可能なリアルタイムシーン抽出を行うことができ、リアルタイム・ダイジェスト生成に対する要求仕様を満足する映像ダイジェスト生成方法を提供することができる。
【0121】
また、本発明の映像ダイジェスト生成方法(請求項)は、請求項1に記載の映像ダイジェスト生成方法において、抽出工程におけるシーンの抽出が、補足情報の正規表現により記述された抽出ルールによって定義されているため、シーン抽出を容易に行うことができる。また、抽出するシーンの指定および変更が容易であると共に、様々なシーンの抽出を行うことができる。
【0122】
また、本発明の映像ダイジェスト生成方法(請求項)は、請求項1または2に記載の映像ダイジェスト生成方法において、入力工程が、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、ダイジェスト生成工程またはダイジェスト生成・表示工程が、重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、またはダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成するため、ダイジェスト生成ルールの設定に応じて所望の形態のダイジェスト映像を生成することができる。
【図面の簡単な説明】
【図1】本実施の形態の映像ダイジェスト生成方法を適用したダイジェスト生成処理装置の概略構成図である。
【図2】本実施の形態で使用する各データ(Frame 、P-Descriptor、 Scene、Annotation、Status Parameter)の関係を示す説明図である。
【図3】本実施の形態のダイジェスト生成処理の概要を示す説明図である。
【図4】ダイジェスト生成ルール指定画面を示す説明図である。
【符号の説明】
100 ダイジェスト生成処理装置
107 ダイジェスト生成処理ソフト
401 ダイジェスト生成ルール指定画面

Claims (3)

  1. 連続する複数のフレームからなる番組映像と共にその補足情報が番組付加情報として送信されている放送環境下において、前記番組映像および番組付加情報を受信しながらリアルタイムにダイジェスト映像を生成する映像ダイジェスト生成方法であって、
    前記番組付加情報を受信すると、受信した複数の番組付加情報によって指定される連続する複数のフレームを、前記番組映像からシーンとして抽出すると共に、受信した複数の番組付加情報を解析して複合的な意味をもつ複合情報を生成する抽出工程と、
    前記番組付加情報を受信すると、受信した複数の番組付加情報および前記抽出工程で生成された複合情報に基づいて、前記番組映像中におけるフレームに対して1つ以上の種類の意味的特徴量をフレーム毎に算出する意味的特徴量算出工程と、
    受信した番組映像、前記抽出工程で抽出したシーン、前記抽出工程で生成した複合情報および前記意味的特徴量算出工程で算出したフレームの意味的特徴量を蓄積する蓄積工程と、
    少なくとも前記番組映像をリアルタイムに受信しながらダイジェストを生成することを指定する指定情報、前記番組映像から抽出するシーンのタイプを指定するシーンタイプ情報、並びにダイジェスト生成に使用する意味的特徴量の種類および該当する意味的特徴量を用いて算出される重要度値の算出式を含む重要度式をダイジェスト生成ルールとして入力する入力工程と、
    前記入力工程でダイジェスト生成ルールが入力されると、前記ダイジェスト生成ルールの意味的特徴量の種類およびシーンタイプ情報に基づいて、前記抽出工程で抽出したシーンのタイプおよび意味的特徴量算出工程で算出した意味的特徴量の種類を監視し、一致するシーンのタイプおよび意味的特徴量の種類があった場合に変更情報として出力する変更情報出力工程と、
    前記入力工程でダイジェスト生成ルールが入力されると、前記蓄積工程で蓄積した前記抽出したシーンおよびフレームの意味的特徴量を参照して、前記ダイジェスト生成ルールに基づいて、その時点までに蓄積されたシーンで、かつ、シーンタイプ情報で指定されたシーンのうち、重要度式で求めた重要度値が高いフレームが存在するシーンを優先的に選択してダイジェスト映像を生成し、生成したダイジェスト映像の再生表示終了までに前記変更情報出力工程で変更情報が出力された場合に、新たに蓄積されたシーンを対象としてダイジェスト映像を生成し、生成したダイジェスト映像の再生表示を行い、当該再生表示終了までに新たに前記変更情報出力工程で変更情報が出力された場合には同様にダイジェスト映像の生成および表示を繰り返すダイジェスト生成・表示工程と、
    を含むことを特徴とする映像ダイジェスト生成方法。
  2. 前記抽出工程におけるシーンの抽出は、前記補足情報の正規表現により記述された抽出ルールによって定義されていることを特徴とする請求項1に記載の映像ダイジェスト生成方法。
  3. 前記入力工程は、ダイジェスト生成ルールとして重要度値の抽出指定値またはダイジェストの総時間を入力可能であり、
    前記ダイジェスト生成工程またはダイジェスト生成・表示工程は、前記重要度値の抽出指定値よりも高い重要度値を有するシーンを選択してダイジェスト映像を生成するか、または前記ダイジェストの総時間に等しくなるまで、より高い重要度値を有するシーンから順に選択してダイジェスト映像を生成することを特徴とする請求項1または2に記載の映像ダイジェスト生成方法。
JP2001135632A 2001-05-02 2001-05-02 映像ダイジェスト生成方法 Expired - Fee Related JP4511761B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001135632A JP4511761B2 (ja) 2001-05-02 2001-05-02 映像ダイジェスト生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001135632A JP4511761B2 (ja) 2001-05-02 2001-05-02 映像ダイジェスト生成方法

Publications (2)

Publication Number Publication Date
JP2002330393A JP2002330393A (ja) 2002-11-15
JP4511761B2 true JP4511761B2 (ja) 2010-07-28

Family

ID=18983060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001135632A Expired - Fee Related JP4511761B2 (ja) 2001-05-02 2001-05-02 映像ダイジェスト生成方法

Country Status (1)

Country Link
JP (1) JP4511761B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100448270C (zh) 2004-01-26 2008-12-31 日本电气株式会社 影像种类判定系统、影像加工系统、影像加工方法
JP2005277531A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置
CN1989502A (zh) * 2004-06-30 2007-06-27 松下电器产业株式会社 事件重要度调整方法和实施该方法的装置
JP2006180306A (ja) 2004-12-24 2006-07-06 Hitachi Ltd 動画記録再生装置
JP4349277B2 (ja) 2004-12-24 2009-10-21 株式会社日立製作所 動画再生装置
JP2011109675A (ja) * 2010-12-13 2011-06-02 Hitachi Ltd 動画再生装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04294694A (ja) * 1991-03-25 1992-10-19 Nippon Telegr & Teleph Corp <Ntt> 映像の自動要約編集方法
JP2000261754A (ja) * 1999-03-05 2000-09-22 Jisedai Joho Hoso System Kenkyusho:Kk ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04294694A (ja) * 1991-03-25 1992-10-19 Nippon Telegr & Teleph Corp <Ntt> 映像の自動要約編集方法
JP2000261754A (ja) * 1999-03-05 2000-09-22 Jisedai Joho Hoso System Kenkyusho:Kk ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2002330393A (ja) 2002-11-15

Similar Documents

Publication Publication Date Title
CN102263907B (zh) 比赛视频的播放控制方法及其片段信息的生成方法和装置
JP3663362B2 (ja) インデックス生成装置
US8250623B2 (en) Preference extracting apparatus, preference extracting method and preference extracting program
JP5499331B2 (ja) ストリーミングメディアのトリックプレー
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP3176893B2 (ja) ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8504357B2 (en) Related word presentation device
US20080159708A1 (en) Video Contents Display Apparatus, Video Contents Display Method, and Program Therefor
US10846335B2 (en) Browsing videos via a segment list
US20060026635A1 (en) Program portals and methods and systems for finding and viewing programs
WO2011050280A2 (en) Method and apparatus for video search and delivery
US20040040041A1 (en) Interactive applications for stored video playback
WO2012070179A1 (ja) 区間作成装置、区間作成方法、及び区間作成プログラム
TW201416888A (zh) 場景片段播放系統、方法及其記錄媒體
JP3982460B2 (ja) コンテンツ連動型コメント表示方法、コメント表示システム、サーバ装置、コメント表示装置及びコメント表示プログラム及びコンピュータ読み取り可能な記録媒体
JP5367499B2 (ja) シーン検索装置及びプログラム
JP2013536969A (ja) コミュニティベースのメタデータを提供するための方法および装置
JP4925938B2 (ja) ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
US20040095377A1 (en) Video information analyzer
JP2004126811A (ja) コンテンツ情報編集装置とその編集プログラム
JP4511761B2 (ja) 映像ダイジェスト生成方法
US20050273815A1 (en) Method and apparatus for the display of electronic program guide information
JP5148325B2 (ja) コンテンツ処理装置、コンテンツ処理方法、コンテンツ再生装置、プログラム、および記録媒体
JP2003087712A (ja) スポーツ映像のダイジェスト作成方法およびダイジェスト作成装置
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees