JP3176893B2 - ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP3176893B2 JP3176893B2 JP05891699A JP5891699A JP3176893B2 JP 3176893 B2 JP3176893 B2 JP 3176893B2 JP 05891699 A JP05891699 A JP 05891699A JP 5891699 A JP5891699 A JP 5891699A JP 3176893 B2 JP3176893 B2 JP 3176893B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- digest
- numerical
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
装置およびダイジェスト作成方法に関し、より詳細に
は、人の手を介することなく、映像情報からダイジェス
ト映像を作成可能なダイジェスト作成装置およびダイジ
ェスト作成方法に関する。
ディジタル放送では、これまでのストリームとしての番
組放送に加えて、コンピュータ・データのような汎用的
なディジタル情報も多重化して送ろうと計画されてい
る。映像,テキスト,静止画像,関連情報等のマルチメ
ディア情報を相互に関連付け、構造化することにより、
制作,配信,閲覧,検索等の各処理において、より高度
で効率的なサービスが可能となると考えられる。
コンテンツの増大や、TVゲーム,その他の影響による
相対的なTV視聴時間の低下、さらにDVD等の記録メ
ディアの技術革新等が背景となり、例えば番組を一度蓄
積してからノンリニアに視聴したり、蓄積した番組を高
度な操作により加工して利用するという視聴形態も増加
してくると考えられている。
う視聴形態の一つとして、番組のダイジェスト映像を作
成して視聴するという形態がある。従来から提案されて
いるダイジェスト映像の作成方法としては、主に以下の
二つの方法を挙げることができる。
利用により、カメラカット,物体トラッキング,話者の
変化,音声やBGMのタイミング,単語による文脈の変
化等の情報を組み合わせ、対応する映像を切り出して知
的にスキミングを行うというものである。すなわち、こ
の第1の方法は、カット検出によりシーンチェンジやカ
メラの動き等を検出し、それを元に映像を構造化し、代
表静止画像等を抽出し、音声と同期を取る等の処理を施
してダイジェスト映像を作成するというものである。
ら、手作業で映像編集してダイジェスト映像を作成し、
または内容に基づくインデックスを手作業で振り、その
インデックスを利用して検索し、ダイジェスト映像を作
成するというものである。
は、以下のようなものがある。 ・Smith, M. and Kaneda, T. : "Video Skimming for Q
uick Browsing based onAudio and Image Characteriza
tion," Tech. Rep.CMU-CS-95-186, School of Computer
Science, Carnegie Mellon University, 1995 ・金出 武雄,佐藤 真一:「Informedia:CMUデジタル
ビデオライブラリプロジェクト」,情報処理第37巻,
第9号,pp.841−847,1996年9月 ・有木 康雄:「DCT特徴のクラスタリングに基づく
ニュース映像のカット検出と記事切り出し」,電子情報
通信学会論文誌,Vol. J80-D-II, No. 9, pp.2421-242
7, 1997 ・有木 康雄,片山 雅夫,五十楼 晋二:「テロップ
文字認識に基づくTVニュース記事の自動分類」,情報
処理学会研究報告,98-DBS-116-28,1998 ・Oomot, E. and Tanaka, K.: "OVID:Design and Imple
mentation of a Video-Object Database System," IEEE
Trans. on Knowledge and Data Engineering, Vol. 5,
No. 4, pp.629-641, 1993 ・是津 耕司,上原 邦明,田中 克巳:「映像の意味
的構造の発見と動的Skimmingへの応用」,電子情報通信
学会データ工学ワークショップ(DEWS98),1998年
3月 ・特開平8−292965号公報『映像支援システム』 ・特開平8−294083号公報『映像のダイジェスト
作成装置及び方法』 ・特開平9−312827号公報『記録再生装置』 ・特開平10−150629号公報『送受信システム,
受信装置,及び送信装置』 ・特開平10−164471号公報『知的映像録画再生
装置』
1の方法においては、カット検出によるシーンチェンジ
やカメラの動き等の映像の特徴に基づいてダイジェスト
映像を作成するため、映像の内容の意味に注目したダイ
ジェストになりにくいという問題点があった。すなわ
ち、一般に利用者が希望するダイジェスト映像は意味的
に要約されたものであるが、映像特徴に基づいて作成さ
れたダイジェスト映像は映像特徴の要約であって、意味
的な映像内容の要約とは言い難いという問題点がある。
で映像編集を行うため、第1の方法とは異なり、映像の
内容を意味的に要約したダイジェスト映像を得ることは
可能であるが、ダイジェスト映像の作成作業に相当な時
間と労力を必要とするという問題点があった。すなわ
ち、意味的に要約したダイジェストを作成するために、
人間が映像の内容を理解し、重要なシーンを判断するに
は、相当な時間と労力が必要とされるからである。
は、映像の内容を解析する等の処理を行うために大掛か
りな設備が必要となり、一般家庭においてダイジェスト
映像を作成することは非常に困難であるという問題点が
あった。換言すれば、家庭において、自己の嗜好にあっ
たダイジェスト映像を作成することは非常に困難であっ
た。
ジェスト映像を作成する際に実際に行われている方法で
ある。ところが、放送局等により作成されたダイジェス
ト映像は作成者の意向に基づいたものであり、必ずしも
個々の利用者(視聴者)が満足するものになるとは限ら
ないという問題点があった。例えば、スポーツニュース
等で放送されるプロ野球の試合のダイジェスト映像を考
えた場合、ホームチームのファンとアウェイチームのフ
ァンとでは、欲するダイジェスト映像の内容は異なると
考えられる。加えて、3時間の試合をダイジェストとし
て3分で視聴したい、または10分で視聴したい、その
日に話題となった選手に特に注目したい、というよう
な、利用者によって異なる条件も考えられることから、
個々の利用者が独自にダイジェスト映像を作成できるよ
うにするための技術の開発が望まれていた。
て、人手を介さずに、映像の内容を意味的に要約したダ
イジェスト映像を作成可能にすることを目的とする。
であって、大掛かりな設備を必要とすることなく、容易
にダイジェスト映像を作成可能にすることを目的とす
る。
のであって、映像を利用する者の嗜好を反映したダイジ
ェスト映像を作成可能にすることを目的とする。
め、請求項1のダイジェスト作成装置は、映像ストリー
ム中に発生した事象を定義した事象定義情報を含む映像
情報を入力してダイジェスト映像を作成するダイジェス
ト作成装置であって、予め前記事象定義情報毎に設定さ
れた数値を数値情報として記憶した記憶手段と、前記入
力した映像情報中の事象定義情報に基づいて前記記憶手
段から該当する数値情報を入力し、前記事象定義情報お
よび数値情報に基づいて、前記映像情報の内容を数値の
変化で表現した数値映像情報を生成する生成手段と、前
記生成手段で生成した数値映像情報の数値の変化を用い
て、前記映像情報からダイジェスト映像を抽出する抽出
手段と、を備えたものである。
は、映像ストリーム中に発生した事象を定義した事象定
義情報を含む映像情報を入力してダイジェスト映像を作
成するダイジェスト作成装置であって、予め前記事象定
義情報毎に設定された数値を数値情報として記憶した記
憶手段と、放送番組として放送された前記映像情報を受
信する受信手段と、前記受信手段で受信した映像情報を
蓄積する蓄積手段と、前記蓄積手段から前記映像情報を
入力し、入力した映像情報中の事象定義情報に基づいて
前記記憶手段から該当する数値情報を入力し、前記事象
定義情報および数値情報に基づいて、前記映像情報の内
容を数値の変化で表現した数値映像情報を生成する生成
手段と、前記生成手段で生成した数値映像情報の数値の
変化を用いて、前記映像情報からダイジェスト映像を抽
出する抽出手段と、を備えたものである。
は、請求項1または2に記載のダイジェスト作成装置に
おいて、さらに、前記数値映像情報を生成する際に利用
する事象定義情報の種類を予め指定する情報指定手段を
備え、前記生成手段が、前記情報指定手段で指定された
種類の事象定義情報を利用して、前記数値映像情報を生
成するものである。
は、請求項1,2または3に記載のダイジェスト作成装
置において、さらに、予め特定の事象定義情報を指定す
ると共に、指定した事象定義情報に該当する数値情報に
対して付与する任意の重みを指定する重み指定手段を備
え、前記生成手段が、前記数値映像情報を生成する際
に、前記重み指定手段で指定された事象定義情報に該当
する数値情報に対し、前記指定された重みを付与するも
のである。
は、請求項1〜4のいずれか一つに記載のダイジェスト
作成装置において、前記映像情報が、前記映像ストリー
ムを木構造で構造化した構造情報を含み、前記生成手段
が、前記構造情報に基づいて、前記木構造のノード毎に
前記数値情報を累積し、前記抽出手段が、前記数値映像
情報の数値の変化に基づいて前記数値のピーク点を設定
し、設定したピーク点に基づいて前記映像情報からダイ
ジェスト映像を抽出するものである。
は、請求項5に記載のダイジェスト作成装置において、
前記抽出手段が、前記設定したピーク点に該当する事象
および前記ピーク点の近傍の事象を含むように前記ダイ
ジェスト映像を抽出するものである。
は、請求項1〜6のいずれか一つに記載のダイジェスト
作成装置において、さらに、作成するダイジェスト映像
の総時間を指定する時間指定手段を備え、前記抽出手段
が、前記時間指定手段で指定された総時間に収まるよう
に前記ダイジェスト映像を抽出するものである。
は、映像ストリーム中に発生した事象を定義した事象定
義情報を含む映像情報を入力してダイジェスト映像を作
成するためのダイジェスト作成方法であって、予め前記
事象定義情報毎に設定された数値情報に基づいて、前記
入力した映像情報中の事象定義情報に該当する数値情報
を求め、前記事象定義情報および数値情報に基づいて、
前記映像情報の内容を数値の変化で表現した数値映像情
報を生成する生成工程と、前記生成工程で生成した数値
映像情報の数値の変化を用いて、前記映像情報からダイ
ジェスト映像を抽出する抽出工程と、を含むものであ
る。
は、請求項8に記載のダイジェスト作成方法において、
さらに、前記数値映像情報を生成する際に利用する事象
定義情報の種類を予め指定する情報指定工程を含み、前
記生成工程が、前記情報指定工程で指定された種類の事
象定義情報を利用して、前記数値映像情報を生成するも
のである。
は、請求項8または9に記載のダイジェスト作成方法に
おいて、さらに、予め特定の事象定義情報を指定すると
共に、指定した事象定義情報に該当する数値情報に対し
て付与する任意の重みを指定する重み指定工程を含み、
前記生成工程が、前記数値映像情報を生成する際に、前
記重み指定工程で指定された事象定義情報に該当する数
値情報に対し、前記指定された重みを付与するものであ
る。
は、請求項8,9または10に記載のダイジェスト作成
方法において、前記映像情報が、前記映像ストリームを
木構造で構造化した構造情報を含み、前記生成工程が、
前記構造情報に基づいて、前記木構造のノード毎に前記
数値情報を累積し、前記抽出工程が、前記数値映像情報
の数値の変化に基づいて前記数値のピーク点を設定し、
設定したピーク点に基づいて前記映像情報からダイジェ
スト映像を抽出するものである。
は、請求項11に記載のダイジェスト作成方法におい
て、前記抽出工程が、前記設定したピーク点に該当する
事象および前記ピーク点の近傍の事象を含むように前記
ダイジェスト映像を抽出するものである。
は、請求項8〜12のいずれか一つに記載のダイジェス
ト作成方法において、さらに、作成するダイジェスト映
像の総時間を指定する時間指定工程を含み、前記抽出工
程が、前記時間指定工程で指定された総時間に収まるよ
うに前記ダイジェスト映像を抽出するものである。
り可能な記録媒体は、前記請求項8〜13のいずれか一
つに記載のダイジェスト作成方法の各工程をコンピュー
タに実行させるためのプログラムを記録したものであ
る。
装置,ダイジェスト作成方法およびその方法の各工程を
コンピュータに実行させるためのプログラムを記録した
コンピュータ読み取り可能な記録媒体の実施の形態につ
いて、添付の図面を参照しつつ詳細に説明する。
形態1について、 (1)前提条件 (2)ハードウエア構成 (3)ソフトウエア構成 (4)ダイジェスト映像の作成処理 (5)実施の形態1の効果 の順で詳細に説明する。
像を含む映像情報を放送番組として放送する方法が検討
されている。インデックス情報は、映像の付加情報とし
てのメタデータであり、映像ストリーム中に発生した事
象を定義する情報(事象定義情報)や映像ストリームの
構造を定義する情報(構造情報)等によって構成されて
いる。本発明は、このインデックス情報を利用してダイ
ジェスト映像を作成するための装置および方法に関する
ものである。
ては、プロ野球中継映像を映像の例とし、この映像に対
し、イベントリスト作成システムを利用してインデック
ス付けを行い、プロ野球中継映像とインデックス情報と
を含む映像情報を例としてダイジェスト映像の作成方法
を説明することにする(イベントリスト作成システムに
ついては、久保木 順一,白田 由香利,橋本 隆子,
木村 武史:「映像編集のためのイベントリスト作成技
法」,映像情報メディア学会放送方式研究会,1999
年3月を参照(出願時点では投稿中))。
いて、野球中継映像中に発生する事象(以下、「イベン
ト」と記述する)を定義するために用いるインデックス
情報の例を示す説明図である。図1において、例えば
「game」インデックスは、試合の開始をイベントとして
定義するインデックスである。この「game」インデック
スは、試合開始時間,チーム名,球場名,日付等の情報
が付加されて構成される。また、「batter」インデック
スは、各打者の登場(打席の開始)をイベントとして定
義するインデックスである。この「batter」インデック
スは、時間,打者名,相手投手名,出塁中のランナーが
いる場合には塁およびランナー名等の情報が付加されて
構成される。さらに、「hit」インデックスは、ある打
者が1塁打を打ったことをイベントとして定義するイン
デックスである。この「hit」インデックスは、時間,
打球の飛んだ場所(ゾーン)等の情報が付加されて構成
される。
ムにおいて、1998年10月3日に東京ドームで行わ
れた巨人対広島戦の野球映像に対して付加したインデッ
クス情報の説明図である。
クス情報を含む映像情報が放送局から放送されるものと
し、利用者(視聴者)側において、放送された映像情報
を受信してダイジェスト映像を作成することにする。ま
た、インデックス情報を構成する各インデックスは、映
像とリンクされており、各インデックスに基づいて任意
の範囲の映像を切り出すことができるようになっている
ものとする。
ト映像を作成するダイジェスト作成装置のハードウエア
構成例について説明する。図3は、実施の形態1に係る
ダイジェスト作成装置の概略構成図である。図3に示す
ダイジェスト作成装置は、一例として、図示しない放送
局から放送された映像情報を受信するアンテナ101
(受信手段)と、ダイジェスト映像を作成する機能を有
したセットトップボックス102と、受信した映像情報
の映像を再生したり、作成したダイジェスト映像を再生
するテレビ受像機103と、セットトップボックス10
2を操作するためのリモコン104と、を備えている。
ス102の概略構成を示すブロック構成図である。セッ
トトップボックス102は、アンテナ101を介して映
像情報の受信処理を行うチューナ・モジュール201
(受信手段)と、受信した映像情報を用いて後述するダ
イジェスト作成処理を実行するCPU202と、ブート
プログラム等を記憶したROM203と、CPU202
のワークエリアとして使用されるRAM204と、チュ
ーナ・モジュール201で受信された映像情報を蓄積す
るためのハードディスク205(記憶手段および蓄積手
段)と、リモコン104を使用してまたは直接に利用者
が番組選択,録画予約,再生操作,ダイジェスト映像の
作成指示の入力,その他の情報の入力等を行うための操
作モジュール206と、テレビ受像機103が接続さ
れ、映像や音声をテレビ受像機103に入力するための
端子モジュール207と、上記各部を接続するためのバ
ス208と、を備えている。
ト作成装置の構成はあくまで一例であって、後述するダ
イジェスト作成プログラムを実行してダイジェスト映像
の作成処理を実行することが可能であれば、どのような
構成であっても良い。
ボックス102)において実行されるソフトウエア(以
下、「ダイジェスト作成プログラム」と記述する)の構
成について説明する。図5は、ダイジェスト作成装置内
において実行される処理の流れに基づいてダイジェスト
作成プログラムの概略構成を示すブロック図である。以
下に、ダイジェスト作成プログラムを構成する各部の処
理の概略について説明する。
ーナ・モジュール201で受信され、ハードディスク2
05に蓄積された映像情報302をインデックス情報に
基づいて構造化する処理を行うものである。例えば、野
球映像の場合、試合開始,回,イニング,打席に該当す
るインデックスを基準に映像ストリームを構造化するこ
とが可能である。そこで、構造化処理部301は、図1
に示した各インデックスを構造インデックスおよび事象
インデックスの二つに論理的に分類し、構造インデック
スに基づいて映像情報302を構造化する。ここでは、
図1に示したインデックスのうち、「game」インデック
ス,「inning」インデックス,「batter」インデック
ス,「game_end」インデックスを構造インデックスと
して定義し、その他のインデックスを事象インデックス
として定義することにする。
スおよび事象インデックスに分類し、構造インデックス
を用いて野球映像を構造化した場合のイメージを示す説
明図である。図6に示すように、構造インデックスによ
って野球映像が構造化され、回,イニング,打席・・・
で示される木構造になる。さらに事象インデックスによ
り、その時点で起きたイベントが細かく定義されること
になる。
ノードに該当し、このルートのノードの下に1回,2回
等の回のノードが配置される。そして、各回のノードの
下には、表および裏のイニングのノードが配置され、各
イニングのノードの下には、打席のノードが配置され
る。このように映像情報を構造化しておくことにより、
インデックス情報に基づいて「今日の得点シーン」や
「松井の打席シーン」を検索して取り出すことが容易と
なる。
理は、本発明においては必須の処理ではなく、映像情報
を構造化しなくてもダイジェスト映像を作成することが
できる。換言すれば、ダイジェスト映像を作成する際
に、構造化によって切り出された映像からさらにダイジ
ェスト映像として用いる映像を切り出す処理が行われる
ことがあり、構造化した映像をそのままダイジェスト映
像として用いるわけではないという意味で、構造化処理
は本発明において必須の処理ではない。したがって、後
述するダイジェスト映像の作成処理においては、映像情
報の構造化に関する詳細な説明を省略する。
(情報指定手段,重み指定手段および時間指定手段)
は、利用者の希望するダイジェスト作成条件を設定する
ためのものである。利用者は、ルール設定部303を介
して、作成するダイジェスト映像の総時間を指定した
り、後述する各種類のパラメータの中から使用するパラ
メータを指定する等の処理を行う。これらは作成条件と
してルール情報304に設定される。
ックス毎に設定された数値を数値情報として管理するル
ールファイル306に基づいて、映像情報302中のイ
ンデックスに該当する数値を求め、インデックスおよび
数値に基づいて、映像情報302の内容を数値の変化で
表現した数値映像情報307を生成するものである。な
お、ルールファイル306は、予めハードディスク20
5に保存されているものとする。
にして、「今日の得点シーン」や「松井の打席シーン」
を検索し、取り出してくることは容易である。しかし、
利用者が本当に欲しいダイジェストは、利用者の嗜好や
条件を反映した重要な場面が抽出され、利用者が希望す
るときに動的に作成可能なものであり、得点シーンや打
席シーンを集めただけでは利用者にとって本当に有用な
ダイジェストを作成したとはいえない。そのため、利用
者の環境において、インデックス情報に基づいて映像中
のイベントが重要であるか否かを判定する仕組みが必要
となる。そこで、実施の形態1においては、野球映像の
重要度を計るために、つぎの4つのパラメータを用意す
ることにする。
うなことが起こったかを示すパラメータである。このパ
ラメータを用いて、攻撃という視点に基づいて映像の内
容を数値の変化で表現した数値映像情報307を生成す
る。 ・投手パラメータP:投手の調子を示すパラメータであ
る。このパラメータを用いて、守備という視点に基づい
て映像の内容を数値の変化で表現した数値映像情報30
7を生成する。 ・興奮パラメータEX:今後の展開を期待させる場面で
値が上がるパラメータである。このパラメータを用い
て、攻撃時にチャンスが到来した場面を中心にして映像
の内容を数値の変化で表現した数値映像情報307を生
成する。 ・ユーザパラメータUS:利用者の嗜好を反映するパラ
メータである。このパラメータを用いて、ユーザの好み
を中心にして映像の内容を数値の変化で表現した数値映
像情報307を生成する。
6の内容に基づいて、上記4つのパラメータに対しそれ
ぞれ値を設定し、数値映像情報307を生成して映像情
報の内容を数値の変化で表現する処理を実行する。以下
に、ルールファイル306について説明する。
06は、攻撃パラメータBに数値を設定するために用い
られる攻撃ルールファイルと、投手パラメータPに数値
を設定するための投手ルールファイルと、興奮パラメー
タEXに数値を設定するための興奮ルールファイルと、
ユーザパラメータUSに数値を設定するためのユーザル
ールファイルと、から構成されている。このように、各
パラメータ毎にルールファイル306が用意されるの
は、各パラメータ毎に映像を数値化する際の視点が異な
るからである。換言すれば、各パラメータ毎に映像を数
値化する際に利用するインデックスが異なるからであ
り、ルールファイル306は利用するインデックスを指
定する役割を有しているといえる(ただし、同一のイン
デックスを用いる場合もある)。
容を示す説明図である。図7に示す攻撃ルールファイル
306aは、イニングの開始や打席の開始のイベントを
定義するインデックスの場合に攻撃パラメータBを0に
リセットし、ヒット,ホームラン,進塁,加点,同点,
逆転等のイベントを定義するインデックスの場合に攻撃
パラメータBの値を上げるというルールを定めるもので
ある。なお、攻撃ルールファイル306aの内容を具体
的に示すと、以下の通りである。
スの場合に攻撃パラメータBを0にリセットする。 「batter B=0」: 「batter」インデックスの場合に攻
撃パラメータBを0にリセットする。 「hit B+=2」: 「hit」インデックスの場合に攻撃パ
ラメータBに+2する。 「home_run B+=4」: 「home_run」インデックスの
場合に攻撃パラメータBに+4する。 「get_next_base B+=1」: 「get_next_base」イ
ンデックスの場合に攻撃パラメータBに+1する。 「add_score B+=1」: 「add_score」インデックス
の場合に攻撃パラメータBに+1する。
容を示す説明図である。図8に示す投手ルールファイル
306bは、イニングの開始や打席の開始のイベントを
定義するインデックスの場合に投手パラメータPを0に
リセットし、アウトのイベントを定義するインデックス
の場合に投手パラメータPの値が上がるようにし、三振
奪取のイベントを定義するインデックスの場合にさらに
値を加算し、フォアボール,ヒット,ホームラン等のイ
ベントを定義するインデックスの場合に投手パラメータ
Pの値を下げるというルールを定めている。なお、投手
ルールファイル306bの内容を具体的に示すと、以下
の通りである。
スの場合に投手パラメータPを0にリセットする。 「batter P=0」: 「batter」インデックスの場合に投
手パラメータPを0にリセットする。 「hit P-=2」: 「hit」インデックスの場合に投手パ
ラメータPに−2する。 「home_run P-=4」: 「home_run」インデックスの
場合に投手パラメータPに+4する。 「four_ball P-=1」: 「four_ball」インデックス
の場合に投手パラメータPに−1する。 「out P+=1」: 「out」インデックスの場合に投手パ
ラメータPに+1する。 「out[Kind=三振] P+=1」: 「out」インデックスであ
って、「out」インデックスに三振によるアウトという
情報が付加されている場合に投手パラメータPに+1す
る。
容を示す説明図である。図9に示す興奮ルールファイル
306cは、イニングの開始や打席の開始のイベントを
定義するインデックスの場合に興奮パラメータEXを0
にリセットし、打席の開始のイベントを定義するインデ
ックスの場合であって、1塁ランナー,2塁ランナー,
3塁ランナーがいるときや、クリーンアップの打席のと
きに興奮パラメータEXの値を上げるというルールを定
めている。なお、興奮ルールファイル306cの内容を
具体的に示すと、以下の通りである。
クスの場合に興奮パラメータEXを0にリセットする。 「batter EX=0」: 「batter」インデックスの場合に
興奮パラメータEXを0にリセットする。 「batter[1塁ランナー=*] EX+=1」: 「batter」イン
デックスであって、そのインデックスに1塁ランナーの
存在を示す情報が付加されている場合に興奮パラメータ
EXに+1する。 「batter[2塁ランナー=*] EX+=1」: 「batter」イン
デックスであって、そのインデックスに2塁ランナーの
存在を示す情報が付加されている場合に興奮パラメータ
EXに+1する。 「batter[2塁ランナー=*] EX+=1」: 「batter」イン
デックスであって、そのインデックスに3塁ランナーの
存在を示す情報が付加されている場合に興奮パラメータ
EXに+1する。 「batter[BatterName=金本] EX+=2」: 「batter」イ
ンデックスであって、そのインデックスに打者が「金
本」であることを示す情報が付加されている場合に興奮
パラメータEXに+2する。 「batter[BatterName=江藤] EX+=2」: 「batter」イ
ンデックスであって、そのインデックスに打者が「江
藤」であることを示す情報が付加されている場合に興奮
パラメータEXに+2する。 「batter[BatterName=緒方] EX+=2」: 「batter」イ
ンデックスであって、そのインデックスに打者が「緒
方」であることを示す情報が付加されている場合に興奮
パラメータEXに+2する。 「batter[BatterName=高橋] EX+=2」: 「batter」イ
ンデックスであって、そのインデックスに打者が「高
橋」であることを示す情報が付加されている場合に興奮
パラメータEXに+2する。 「batter[BatterName=松井] EX+=2」: 「batter」イ
ンデックスであって、そのインデックスに打者が「松
井」であることを示す情報が付加されている場合に興奮
パラメータEXに+2する。 「batter[BatterName=清原] EX+=2」: 「batter」イ
ンデックスであって、そのインデックスに打者が「清
原」であることを示す情報が付加されている場合に興奮
パラメータEXに+2する。
の内容を示す説明図である。図10に示すユーザルール
ファイル306dは、利用者が好みに応じて設定するこ
とが可能なものであって、イニングの開始や打席の開始
のイベントを定義するインデックスの場合にユーザパラ
メータUSを0にリセットし、好みのチームの攻撃や好
みの選手の打席のイベントを定義するインデックスの場
合にユーザパラメータUSの値を上げるというルールを
定めている。なお、図10のユーザルールファイル30
6dの内容を具体的に示すと、以下の通りである。
クスの場合に興奮パラメータEXを0にリセットする。 「batter US=0」: 「batter」インデックスの場合に
興奮パラメータEXを0にリセットする。 「batter[BatterName=高橋] US+=5」: 「batter」イ
ンデックスであって、そのインデックスに打者が「高
橋」であることを示す情報が付加されている場合にユー
ザパラメータUSに+5する。
ぞれ示したルールファイル306a〜306dを用い
て、各パラメータに値を設定することにより、映像の内
容を数値化した数値映像情報307を生成する。数値映
像情報307については後に説明する。なお、興奮パラ
メータEXやユーザパラメータUSのみを用いた場合で
あってもダイジェスト映像を作成することは可能である
が、これらのパラメータはむしろ攻撃パラメータBまた
は投手パラメータPに対して重みを設定するためのパラ
メータと考えることもできる。
(抽出手段)は、数値設定部305によって生成された
数値映像情報307で表された数値の変化を映像中の重
要な場面を判定するための指標として用いて重要な場面
を判定する。そして、再構成処理部309(抽出手段)
は、ルール設定部306で設定されたダイジェスト映像
の総時間に収まるように、解析処理部305で判定した
重要な場面を用いてダイジェスト映像を作成すると共
に、作成したダイジェスト映像をハードディスク205
に保存する(ダイジェスト映像310)。さらに、再生
処理部310は、再構成処理部309で作成されたダイ
ジェスト映像310を再生する処理を実行する。
ジェスト作成プログラムは、予めハードディスク205
やROM203等の所定の格納場所に格納されているも
のととする。CPU202は所定の場所に格納されてい
るダイジェスト作成プログラムを読み出し、プログラム
の手順に従って後述する処理を実行する。
るダイジェスト作成方法(ダイジェスト作成装置の動
作)について具体的に説明する。ここでは、先に例とし
て挙げた1998年10月3日に東京ドームで行われた
巨人対広島戦の映像情報からダイジェスト映像を作成す
るものとする。この映像情報は、図5に示したようにハ
ードディスク205に予め蓄積されているものとする。
を図11に基づいて説明すると以下の通りである。 ・1回表、広島は江藤選手の犠牲フライで1点先取し、
その裏、巨人は高橋選手,川相選手のタイムリーで逆転
した。 ・2回裏、松井選手の34号スリーランホームランによ
り、巨人は序盤に6点を上げた。 ・6回裏、広島は江藤選手のツーランホームランで2点
差に追いつくが、8回裏、巨人が1点を追加し、巨人が
7対4で勝利した。
ァイル306dの生成処理を示すフローチャートであ
る。図3に示したダイジェスト作成装置の利用者は、例
えば図3に示したリモコン104を用いて図5に示した
ルール設定部303(操作モジュール206)を操作し
て、自己の嗜好情報(ユーザプロファイル)を入力する
(S101)。ここでは、巨人の高橋選手の打席に対し
て5点加算(5点を重みとして付加)するということが
嗜好情報として入力されたものとする。
で入力された利用者の嗜好情報に基づいて、図10に示
したユーザルールファイル306dを生成し、ハードデ
ィスク205に保存する(S102)。
限らず、ヒット,ホームラン等のイベントや、好みのチ
ームの攻撃開始のイベント等を指定することもできる。
304にダイジェスト映像の作成条件を設定する処理を
示すフローチャートである。利用者は、リモコン104
を用いてルール設定部303(操作モジュール206)
を操作して、作成するダイジェスト映像の総時間や、数
値映像情報307を生成する際に利用するパラメータの
種類を指定することにより、ダイジェスト映像の作成条
件を指定する(S201)。例えば、ダイジェスト映像
の総時間として、3分,5分等の時間が指定され、利用
するパラメータとして、少なくとも一つのパラメータが
指定される。
で指定されたダイジェスト映像の作成条件をルール情報
304に設定する(S202)。なお、ルール情報30
4には、ダイジェスト映像の総時間やパラメータの種類
等の作成条件以外に、ユーザルールファイル306dで
設定していない選手や特定のイベントを指定できるよう
にしても良い。また、ルール情報304は、一回のダイ
ジェスト映像の作成のみに使用される一時的な情報とし
ても良い。この場合はテンポラリファイルのような形式
でルール情報304が設定され、ユーザがルール情報3
04に作成条件を設定する処理を行わない場合には、デ
フォルトの設定のルール情報304がダイジェスト映像
の作成に使用されることにすれば良い。
いて具体的に説明する。なお、以下では、 一種類のパラメータを用いたダイジェスト映像の作
成処理 複数種類のパラメータを用いたダイジェスト映像の
作成処理 の順で、ダイジェスト映像の作成方法を説明する。
スト映像の作成処理 前提として、図13のステップS201において、攻撃
パラメータBを使用することが指定されたものとして、
一種類のパラメータを用いたダイジェスト映像の作成処
理を説明する。なお、図5に示した構造化処理部301
は、映像情報302が受信された際に、受信した映像情
報302を図6に示したように構造化する処理を既に実
行しているものとする。
スト映像の作成処理を示すフローチャートである。図5
の数値設定部305は、利用者によってダイジェスト映
像の作成が指定されると、ルール情報304を参照し
て、ダイジェスト映像の作成に使用するパラメータおよ
び対応するルールファイル306を設定する(S30
1)。ここでは、ルール情報304において攻撃パラメ
ータBの使用が指定された場合を前提としていることか
ら、数値設定部305は、攻撃パラメータBおよび図7
の攻撃ルールファイル306aを設定する。
02を入力し、入力した映像情報302中のインデック
ス情報に基づいて攻撃ルールファイル306aを参照
し、該当する数値を攻撃パラメータBに設定して、数値
映像情報307を生成する(S302)。
値映像情報307を生成する処理について、図15のフ
ローチャートおよび図7の攻撃ルールファイル306a
を参照しつつ詳細に説明する。まず、数値設定部305
は、映像ストリームに従ってインデックスを入力し(S
401)、入力したインデックスが図7の攻撃ルールフ
ァイル306aに記述されているか否かを判定する(S
402)。
デックスが攻撃ルールファイル306aに記述されてい
ないと判定した場合(S402;No)、数値設定部3
05は、ステップS404に進む。一方、入力したイン
デックスが攻撃ルールファイル306aに記述されてい
ると判定した場合(S402;Yes)、数値設定部3
05は、インデックスの種類に基づいて、攻撃パラメー
タBの値をリセットし、または該当する数値を攻撃パラ
メータBの値に加算する(S403)。なお、このステ
ップS403における処理を実行した後のパラメータの
値は、例えばこのステップS403の処理の対象となっ
たインデックスに関連付ける等の処理がなされ、そのイ
ンデックスおよびそのインデックスに関連付けられた数
値によって数値映像情報307が構成される。
設定部305は、映像情報中の全てのインデックスにつ
いて処理を行ったか否かを判定する(S404)。ステ
ップS404において、全てのインデックスについて処
理が終了していないと判定した場合(S404;N
o)、数値設定部305は、ステップS401に戻って
処理を繰り返し実行する。一方、全てのインデックスに
ついて処理が終了したと判定した場合(S404;Ye
s)、数値設定部305は、図15の処理を終了して、
図14のステップS303に進む。
情報307の生成処理をより明らかにするため、図16
に示すインデックス情報(図2に示したインデックス情
報の続きの部分である)中のインデックスを用いて数値
映像情報307の生成処理の過程を具体的に説明する。
なお、図16の各インデックスは、1回裏の巨人の攻撃
で高橋選手が2点タイムリーヒットを打った打席に該当
している(図11参照)。
er」インデックスの場合、攻撃ルールファイル306a
に記述されているため(S402;Yes)、数値設定
部305はステップS403に進む。そして、図7の攻
撃ルールファイル306a中の「inning B=0」に従い、
数値設定部305は、攻撃パラメータBの値を0にリセ
ットする(S403:「batter」インデックスに数値0
が関連付けられ、数値映像情報307を構成する)。リ
スト番号90〜92の「pitch」,「ball」および「pit
ch」インデックスは攻撃ルールファイル306aに記述
されていないため(S402;No)、続くリスト番号
93の「hit」インデックスを入力する(「pitch」,
「ball」および「pitch」インデックスにはそれぞれ数
値0が関連付けられ、数値映像情報307を構成す
る)。この「hit」インデックスは、3塁に仁志選手、
2塁に清水選手をおいて、高橋選手がライトにヒットを
放ったというイベントに該当している。「hit」インデ
ックスは攻撃ルールファイル306aに記述されている
ため(S402;Yes)、攻撃ルールファイル306
a中の「hit B+=2」に従い、数値設定部305は数値2
を攻撃パラメータBの値に加算する(S403)。その
結果、リスト番号93の「hit」インデックスに数値2
が関連付けられる(「hit」インデックスおよび数値2
は、数値映像情報307を構成する)。
_base」インデックスは、高橋選手のヒットで仁志選手
および清水選手がそれぞれ進塁したイベントを示してい
る。これらのインデックスは攻撃ルールファイル306
aに記述されているため(S402;Yes)、数値設
定部305は、「get_next_base B+=1」に従って数値
1を攻撃パラメータBの値に順次加算する(S40
3)。その結果、リスト番号94のインデックス「get
_next_base」に数値3が関連付けられ、リスト番号9
5のインデックス「get_next_base」に数値4が関連
付けられる(リスト番号94の「get_next_base」イ
ンデックスおよび数値3ならびにリスト番号95の「ge
t_next_base」インデックスおよび数値4は、それぞ
れ数値映像情報307を構成する)。
デックス「add_score」は、仁志選手および清水選手が
それぞれホームインして得点が入ったことを示してい
る。これらのインデックスは攻撃ルールファイル306
aに記述されているため(S402;Yes)、数値設
定部305は、「add_score B+=1」に従って数値1を
攻撃パラメータBの値に順次加算する(S403)。そ
の結果、リスト番号96のインデックス「add_score」
に数値5が関連付けられ、リスト番号95のインデック
ス「add_score」に数値6が関連付けられる(リスト番
号96の「add_score」インデックスおよび数値3なら
びにリスト番号97の「add_score」インデックスおよ
び数値4は、それぞれ数値映像情報307を構成す
る)。その後、リスト番号98のインデックス「batte
r」により、攻撃パラメータBの値は0にリセットされ
る(「batter」インデックスに数値0が関連付けられ、
数値映像情報307を構成する)。
た数値映像情報307の説明図である。図17に示す数
値映像情報307は、実際の数値映像情報307とは異
なるが、グラフ化することによって、映像情報の内容を
数値の変化で表すという数値映像情報307の特徴を理
解しやすくしたものである。図17に示したグラフの縦
軸はステップS403においてインデックスに関連付け
した数値に、横軸はインデックスに付加されている時間
情報に該当し、どの時点のイベントにどのくらいの数値
が割り当てられたのかを示している。図16を用いて説
明した高橋選手の打席は、図17中の吹き出し「1回裏
高橋ヒット」の部分に該当する。なお、説明の便宜上、
以下では図17に示すものを数値映像情報307として
説明を進めることにする。
析処理部308は、ステップS302において数値設定
部305で生成された数値映像情報307を入力し、入
力した数値映像情報307を解析する処理を実行する
(S303)。
行される数値映像情報307の解析処理を示すフローチ
ャートである。解析処理部308は、ダイジェスト映像
として利用する映像を切り出すための基準となるピーク
点を設定する(S501)。ピーク点の候補は、「batt
er」インデックス(数値映像情報307の値が強制的に
0となる)の直前のインデックスとする。候補となった
インデックスの中から、数値が関連付けられているイン
デックスをピーク点として設定する。図17を参照する
と、この巨人対広島戦のピーク点は、図中に黒の四角で
示した点に該当するインデックスとなる。実施の形態1
では、このピーク点として設定されたインデックスに該
当するイベントが映像中の重要なイベントであると定義
される。
して設定されたインデックスに関連付けられた値に基づ
いて、例えば値の高い順にピーク点をソートして順位づ
けし(S502)、図14のステップS304に進む。
る場合における順位付けのルールの一例を示す。 ・同一の値のピーク点が複数存在し、それらが異なるイ
ニングに含まれている場合は、各イニング内の最高の値
を持つピーク点を比較し、より高いイニング内のピーク
点を優先する。 ・同一イニング内で同一の値のピーク点が複数存在する
場合は、時系列で考えて、発生時間の遅いピーク点を優
先する。
行った結果、図17においては、吹き出し「2回裏松井
ホームラン」で示すピーク点が1位に、「6回表江藤ホ
ームラン」で示すピーク点が2位に、「1回裏高橋ホー
ムラン」で示すピーク点が3位に、「1回裏川相ヒッ
ト」で示すピーク点が4位となる。
付けする場合の他の方法を簡単に説明する。まず、各チ
ーム毎に最高の値のピーク点を設定する。図17におい
て、巨人は「2回裏松井ホームラン」で示すピーク点が
最高の値であり、広島は「6回表江藤ホームラン」で示
すピーク点が最高の値である。そして、各チーム毎に最
高の値のピーク点の高さを100とし、100の高さを
基準に他のピーク点の高さを設定する。例えば、「1回
裏高橋ホームラン」で示すピーク点は66となる。この
高さの値を用いてピーク点をソートして順位付けする。
このように最高の値のピーク点の高さを100とし、こ
の100を基準として他のピーク点の高さを設定する結
果、異なる複数の映像情報において、それぞれインデッ
クスに与える数値が異なる場合であっても、共通の尺度
でピーク点を比較することができる。したがって、異な
る複数の映像情報を用いてダイジェストを容易に作成す
ることが可能となる。
09は、解析処理部308による数値映像情報307の
解析結果およびルール情報304で設定されたダイジェ
スト映像の総時間に基づいて、ダイジェスト映像を抽出
する処理を実行し(S304)、ダイジェスト映像作成
処理を終了する。
を具体的に説明する。再構成処理部309は、ルール情
報304に設定されているダイジェスト映像の総時間に
収まるように、高い順位のピーク点から順番に、ダイジ
ェスト映像として用いる映像を映像情報302から切り
出す処理を実行する。具体的には、1位のピーク点に基
づいて映像を切り出し、つぎに2位のピーク点に基づい
て映像を切り出し、さらに3位のピーク点に基づいて映
像を切り出すという処理をルール情報304に設定され
ているダイジェスト映像の総時間を満足するまで実行す
る。なお、切り出したダイジェスト映像の総時間は、対
応するインデックスに付加されている時間情報を参照す
ることによって容易に求めることができる。
ク点に該当するインデックスの直前に存在する「pitc
h」インデックス(投球インデックス)からピーク点に
該当するインデックスの間の映像とする。例えば、図1
7に示す吹き出し「2回裏松井ホームラン」に該当する
ピーク点においては、松井選手がホームランを打ったボ
ールをピッチャーが投げるイベントから、松井選手がホ
ームランを打ってホームインするイベントまでを含む映
像が切り出される。このように、複数のイベントを含む
映像を切り出すことにより、映像の内容の盛り上がる過
程(イベントの因果関係)をダイジェスト映像で表現す
ることが可能となる。
映像に対し、対応するインデックスから映像の内容を説
明する情報を抽出して付加することによって、ダイジェ
スト映像310とし、ハードディスク205に保存す
る。
部309によって作成されたダイジェスト映像310を
図3のテレビ受像機103に再生する処理を実行する。
図13のステップS201において、攻撃パラメータB
以外のパラメータが選択された場合であっても、前述し
た処理と同一の処理でダイジェストを作成することがで
きる。
ても、解析処理部309の解析結果と共に保存しておく
ことにすれば、再度ダイジェスト映像を作成する際に再
利用することが可能となる。
ェスト映像の作成処理 図13のステップS201において、攻撃パラメータB
に加え、興奮パラメータEXおよびユーザパラメータU
Sを使用することが指定されたものとして、図14を参
照しつつ複数種類のパラメータを用いたダイジェスト映
像の作成処理を説明する。
てダイジェスト映像の作成が指定されると、ルール情報
304を参照して、ダイジェスト映像の作成に使用する
パラメータおよび対応するルールファイル306を選択
する(S301)。ここでは、ルール情報304におい
て攻撃パラメータB,興奮パラメータEXおよびユーザ
パラメータUSの使用が指定されているものとし、数値
設定部305は、指定されたパラメータに対応する図7
の攻撃ルールファイル306a,図9の興奮ルールファ
イル306cおよび図10のユーザルールファイル30
6dを設定する。
02を入力し、入力した映像情報302中のインデック
ス情報に基づいて、攻撃ルールファイル306a,興奮
ルールファイル306bおよびユーザルールファイル3
06dを参照し、それぞれ攻撃パラメータB,興奮パラ
メータEXおよびユーザパラメータUSに数値を設定
し、複数の数値映像情報307を生成する(S30
2)。
る処理を実行して、各パラメータに応じた数値映像情報
を生成し、生成した全ての数値映像情報を合わせて最終
的な数値映像情報307を生成する。なお、攻撃パラメ
ータBを用いて数値映像情報を生成する処理については
前述した通りであるため、ここでは興奮パラメータEX
およびユーザパラメータUSを用いた数値映像情報の生
成処理をそれぞれ説明する。以下では、図15のフロー
チャートおよび図16に示すインデックス情報中のイン
デックスを用いて数値映像情報の生成処理の過程を説明
することにする。
は、興奮ルールファイル306cに記述されているため
(S402;Yes)、数値設定部305はステップS
403に進む。そして、興奮ルールファイル306cの
「batter EX=0」に従い、数値設定部305は、興奮パ
ラメータEXの値を0にリセットする(S403)。加
えて、このとき2塁ランナー(清水選手)および3塁ラ
ンナー(仁志選手)が存在することを示す情報がインデ
ックス「batter」に付加されているため、興奮ルールフ
ァイル306c中の「batter[2塁ランナー=*] EX+=1」
および「batter[3塁ランナー=*] EX+=1」に従い、数値
設定部305は、該当する数値1をそれぞれ攻撃パラメ
ータBの値に加算する(S403)。さらに、このとき
バッターが高橋選手であることを示す情報がインデック
ス「batter」に付加されているため、興奮ルールファイ
ル306c中の「batter[BatterName=高橋]EX+=2」に従
い、数値設定部305は、該当する数値2を興奮パラメ
ータEXの値に加算する(S403)。その結果、リス
ト番号89のインデックス「batter」に数値4が関連付
けられる(数値映像情報307を構成する)。
り、興奮パラメータEXに基づいて、インデックスと関
連付けられた数値からなる数値映像情報307が生成さ
れる。
は、ユーザルールファイル306dに記述されているた
め(S402;Yes)、数値設定部305はステップ
S403に進む。そして、ユーザルールファイル306
dの「batter US=0」に従い、数値設定部305は、ユ
ーザパラメータUSの値を0にリセットする(S40
3)。加えて、このときバッターが高橋選手であること
を示す情報がインデックス「batter」に付加されている
ため、ユーザルールファイル306d中の「batter[Bat
terName=高橋] US+=5」に従い、数値設定部305は、
該当する数値2をユーザパラメータUSの値に加算する
(S403)。その結果、リスト番号89のインデック
ス「batter」に数値5が関連付けられる(数値映像情報
307を構成する)。
り、ユーザパラメータUSに基づいて、インデックスと
関連付けられた数値からなる数値映像情報が生成され
る。
攻撃パラメータB,興奮パラメータEXおよびユーザパ
ラメータUSに数値を設定する処理を実行し、それぞれ
のパラメータ値およびインデックスに基づく数値映像情
報307を生成し、生成した全ての数値映像情報307
を合わせて最終的な数値映像情報307を生成する。図
19は、攻撃パラメータB,興奮パラメータEXおよび
ユーザパラメータUSを利用して生成された数値映像情
報307の説明図であり、図17に対応させたものであ
る。
析処理部308は、ステップS302において数値設定
部305で生成された数値映像情報307(図19を参
照)を入力し、入力した数値映像情報307を解析する
処理を実行する(S303)。このステップS303に
おいて、図18を用いて説明したように、ピーク点の設
定および順位付けの処理が実行される。
情報307と比較すると明らかなように、攻撃パラメー
タBの数値に興奮パラメータEXおよびユーザパラメー
タUSの数値を組み合わせることで、図17および図1
9中に示すピーク点の順位が異なっていることがわか
る。特に、図19においては、ユーザルールファイル3
06dに記述されている高橋選手の登場する場面が、重
要な場面として認識されるように変化している。
「1回裏高橋ホームラン」で示すピーク点が1位に、
「2回裏松井ホームラン」で示すピーク点が2位に、
「6回表江藤ホームラン」で示すピーク点が3位に、
「8回裏松井ヒット」で示すピーク点が4位となる。そ
の後「3回裏高橋ゴロ」および「5回裏高橋ゴロ」で示
すピーク点が続いている。
部308による数値映像情報307の解析結果およびル
ール情報で設定されたダイジェスト映像の総時間に基づ
いて、ダイジェスト映像を抽出する処理を実行し(S3
04)、ダイジェスト映像作成処理を終了する。図19
を参照すれば明らかなように、この例では、ユーザルー
ルファイルの設定が強く反映され、高橋選手を中心とし
たダイジェストが生成されることになる。すなわち、ユ
ーザパラメータUSは、攻撃パラメータBへの重みとし
て作用していることがわかる。したがって、図12で説
明したユーザルールファイルの設定処理は、攻撃パラメ
ータB(または投手パラメータP)への重みの設定処理
ということもできる。
用せずに数値映像情報307(図17参照)を生成する
と、利用者の嗜好によらない中立的なダイジェスト映像
を得ることができるということもいえる。
部309によって作成されたダイジェスト映像310を
図3のテレビ受像機103に再生する処理を実行する。
作成装置およびダイジェスト作成方法によれば、以下の
ような効果を得ることができる。
づいて該当する数値を所定のパラメータに設定し、イン
デックスおよび数値に基づいて、映像情報の内容を数値
の変化で表現した数値映像情報307を生成するように
したことにより、映像情報の内容が数値化されるため、
人手を介することなく映像情報の内容を装置側で容易に
解析することが可能となる。したがって、生成した数値
映像情報307の数値の変化に基づいて、映像ストリー
ム中に発生した事象の中から重要な事象がどれであるか
を判定することが可能となるため、人手を介することな
く、映像情報から容易にダイジェスト映像を作成するこ
とが可能となる。なお、実施の形態1によるダイジェス
ト映像の作成処理は、特別なハードウエアを必要とする
ことなく、前述したようなソフトウエアで実現できるた
め、大掛かりな設備は不要である。
スト映像の作成に利用するインデックスの種類を指定す
ることにより、ダイジェスト映像を作成する際に注目す
るイベントを変更することが可能であるため、異なる視
点でダイジェスト映像を作成することが可能となる。例
えば、攻撃レベルと投手レベルとでは、全く正反対のイ
ベントに着目したダイジェスト映像を作成することが可
能となる。
トに付与する値をユーザルールファイル306dに設定
しておくことにより、利用者の嗜好を反映させたダイジ
ェスト映像を作成することが可能となる。例えば、図1
9に示した数値映像情報307のように、高橋選手に注
目したダイジェスト映像を作成することができる。
指定しておき、指定された総時間に収まるようにダイジ
ェスト映像を抽出するようにすることにより、利用者が
望む時間のダイジェスト映像を得ることができる。
ト映像に説明情報を付加することができるため、利用者
がどのような場面かを容易に理解可能なダイジェスト映
像を作成できる。
スト映像の作成に利用するパラメータの種類をユーザが
指定することにしたが、ユーザが指定するのではなく装
置側で試合内容に応じて使用するパラメータの種類を選
択することにしても良い。一例として、攻撃パラメータ
Bと投手パラメータPのどちらを採用するかを決定する
方法の概略を説明する。攻撃パラメータBと投手パラメ
ータPの2つのパラメータはほぼ反対の値を示すが、投
手パラメータPでは、さらにアウトカウントや三振等の
要素を判定基準に取り込んでいる。基本方針として、攻
撃パラメータBは得点の高いチーム(例えば3点以上)
に対して採用し、投手パラメータPは得点の低いチーム
(例えば2点以下)に対して採用するという基準を設定
する。前述した巨人対広島戦の場合は7対4と両チーム
ともに得点が高い試合であったため、攻撃パラメータB
が採用されることになる。
成し、映像情報に含めるなどして放送することにしても
良い。ただし、この場合の数値映像情報307は、利用
者の嗜好を反映したものではない。
の全てを対象としてダイジェスト映像を作成する処理に
ついて説明したが、ダイジェスト映像の作成対象となる
映像情報は全てではなく、一部であっても良い。すなわ
ち、映像情報の一部のダイジェスト映像についても作成
することが可能である。映像情報の一部であってもダイ
ジェスト映像を作成可能にすることにより、つぎのよう
な視聴形態を実現することができる。例えば、ドラマ番
組と野球中継番組が同時間帯で放送されており、ドラマ
番組をリアルタイムで視聴し、野球中継番組を蓄積する
ことにしたとする。ドラマ番組が野球中継番組より先に
終了した場合、利用者は、この時点で蓄積してある野球
中継番組のダイジェスト映像を作成して視聴して途中経
過を把握した後、リアルタイムで野球中継番組を視聴す
るという視聴形態を実現することができる。
(視聴者)側において、放送局から放送された映像情報
を受信し、受信した映像情報からダイジェスト映像を作
成する処理を説明した。しかし、本発明のダイジェスト
作成装置およびダイジェスト作成方法は、利用者側だけ
でなく、放送局側においても利用することが可能なもの
である。また、ダイジェスト映像を作成する対象となる
映像情報は放送局から放送されるものに限らず、例えば
DVD等の記録媒体に記録されたものであっても良い。
この場合には、インデックス情報を含む映像情報がDV
D等の記録媒体に記録されることになる。
ェスト映像の作成を可能とすることに伴い、ユーザルー
ルファイル306d以外のルールファイル306につい
ては、映像情報の内容、即ちインデックス情報の内容に
合ったものを用意することが必要となる。このような場
合に対応するため、ルールファイル306を放送局から
放送し、利用者は放送されたルールファイルを受信して
使用することにしても良い。
して、図4に示した端子モジュール207の構成につい
て更に詳細に説明する。図20は、端子モジュール20
7を詳細に示した構成図である。図20に示す端子モジ
ュール207は、例えば、映像端子401,外部入出力
装置端子402,印刷装置接続端子403,通信回線接
続端子404等を備え、実施の形態1で説明したテレビ
受像機103以外の装置をダイジェスト作成装置(セッ
トトップボックス102)に接続できるように構成され
ている。
ビ受像機103を接続するためのインターフェースであ
り、映像信号および音声信号をテレビ受像機103に入
力するものである。
装置を接続するためのインターフェースであり、例えば
RS−232C,SCSI等の標準インターフェースで
構成される。この端子には、例えば、CD−ROM駆動
装置,書き込み可能な光ディスク駆動装置,磁気記録装
置,フレキシブルディスク駆動装置等が接続される。こ
の外部入出力装置端子402により、外部から各種のプ
ログラム,ダイジェスト作成に必要な各種の情報(ルー
ルファイル306等)をダイジェスト作成装置内に読み
込むことが可能となると共に、ダイジェスト作成装置内
の各種のデータや記録情報等を外部の記録装置に出力す
ることも可能となる。
タを接続して印刷処理の実行を可能とするためのインタ
ーフェースである。印刷装置接続端子403には、レー
ザプリンタ,インクジェット式プリンタ,ビデオプリン
タ等のプリンタを接続することができる。これにより、
ダイジェスト作成装置で受信した受信画像のハードコピ
ーを出力することが可能となると共に、ハードディスク
およびメモリモジュール内の各種データを印刷出力する
ことが可能となる。
回線,ISDN回線,携帯電話,ローカルエリアネット
ワーク等の通信回線にダイジェスト作成装置を接続する
ためのインターフェースである。この通信回線接続端子
404を介して、外部の情報処理装置との間で各種情報
を交換することが可能となる。
成することにより、ダイジェスト作成装置に種々の装置
を接続することが可能となり、ダイジェスト作成装置に
拡張性を持たせることが可能となる。
して、実施の形態1で説明したルール情報304にダイ
ジェスト映像の作成条件を設定する処理(図13参照)
およびルールファイル306(ユーザルールファイル3
06d)を生成する処理(図12参照)についてさらに
具体的に説明する。なお、図4に示した操作モジュール
206は、リモコン104以外にキーボードやポインテ
ィングデバイス(マウス,トラックボール)等を接続す
ることが可能であり、また、端子モジュール207を介
してテレビ受像機103に各種のデータや情報を表示す
ることも可能であるものとする。
作成条件設定処理 ユーザは、リモコン104を操作して、セットトップボ
ックス102に対して「ユーザ設定画面の表示」を指示
する。セットトップボックス102では、ユーザ設定を
実行するプログラムが起動される(図5のルール設定部
303に該当する)。このプログラムはツールモジュー
ルとして、予めハードディスク205やROM203等
に格納されているものとする。なお、端子モジュール2
07を介して外部記憶装置からハードディスク205へ
該当するプログラムを読み込んだり書き込んだりするこ
とも可能である。
ックス102は、テレビ受像機103に図21のダイジ
ェストメニュー画面501を表示する。ここで、「おま
かせハイライト」ボタン502を選択すると、予め設定
されているルール情報304の内容、例えば、ダイジェ
スト映像の総時間,使用するパラメータの種類等に基づ
いて、実施の形態1で説明したダイジェスト作成手順に
よりダイジェスト映像310を作成する処理を実行する
ことができる。
おいて、「おまかせハイライト」ボタン502以外の
「○○ハイライト(○○はチーム名や選手名に該当す
る)」ボタン503(以下、「ハイライト」ボタン50
3と記述する)は、ユーザの好みに応じたハイライトシ
ーンをダイジェスト映像として作成するためのボタンで
ある。例えば、ユーザルールファイル306dが設定さ
れている場合には、それに応じて「ハイライト」ボタン
503が表示され、所望の「ハイライト」ボタン503
を選択することにより、ユーザの好みに合ったダイジェ
スト映像が作成される。
された場合に画面表示される初期画面510の一例を示
す説明図である。初期画面510が表示されると同時に
説明文テキスト512が表示される。説明文テキスト5
12は、現在設定されているルール情報304の内容に
基づいて生成されるダイジェスト映像の内容を示すもの
である。ユーザは、ダイジェスト映像を作成して再生す
る代わりに、この説明文テキスト512を参照すること
により、現在設定されているルール情報304に従って
生成されるダイジェスト映像の内容を把握することがで
きる。この状態でユーザが「見る」ボタン511を選択
すると、説明文テキスト512に示された内容のダイジ
ェスト映像が再生される。なお、この説明文テキスト5
12の作成方法については後述する。
応じて、ルール情報304にユーザの好みの作成条件を
設定することにより(ルール情報304の内容を変更す
ることにより)、ユーザの嗜好に合わせた内容でダイジ
ェスト映像を作成することができる(実施の形態1で説
明した図13を参照)。すなわち、作成されるダイジェ
スト映像の内容をユーザの好みに合わせて変更すること
ができる。以下では、このための処理の一例について説
明する。
コン104を操作して「変更」ボタン513を選択する
と、図23のように変更設定画面520が表示される。
このとき、各設定条件ボタン521の横にスライドバー
522が表示され、現在のルール情報304に設定され
ている作成条件がスライドバー522の位置によって示
されている。
像全体の表示時間の長さ,好みの球団のハイライトシー
ンにどの程度重点をおいて編集するか,攻撃シーンおよ
び守備シーンのどちらに重点をおいて編集するか(例え
ば、攻撃パラメータBおよび投手パラメータPのいずれ
を用いて数値映像情報307を生成するか、または、攻
撃パラメータBおよび投手パラメータPの値をどのよう
に組み合わせて数値映像情報307を生成するか),一
つの場面の長さ(一つの場面が長めのほうが良いか、短
めのほうが良いか)等である。また、好みの選手を予め
登録していれば、好みの選手のハイライトシーンを重点
的に作成するように設定することもできる。
が最終的にダイジェスト映像に反映されるようにするた
めには、ユーザが各作成条件として設定する設定値を意
識して操作する必要がある。そのような設定の方法はリ
モコン104の設定キー等の操作を組み合わせることで
可能となる。しかし、現実には操作が複雑となり操作ミ
スを誘発し設定内容がユーザの思惑通りにならない場合
も考えられる。そこで、例えば「長さ」の設定を選択す
ると、図24のように拡大されたスライドバー523が
表示される。このときリモコン104に設定されている
スクロールキー(図示せず)を押下すると、押下された
状態に対応して図24のスライドバー523が左右に移
動し、その位置に対応した時間が例えば「3分」のよう
に表示される。ここでリモコン104の確定キー(図示
せず)を押下すると、そのときの設定値が作成条件とし
てルール情報304に設定されることになる。ユーザが
このような操作を行うことにより、新たな作成条件が設
定されたルール情報304に従ってダイジェスト映像お
よび説明文テキスト512を作成し、再生することが可
能となる。
成処理 つぎに、ユーザルールファイル306dを生成して登録
する処理について説明する(実施の形態1で説明した図
12を参照)。ユーザがリモコン104に設定されてい
る「お気に入り登録キー」(図示せず)を押下すると、
図25に示すお気に入り登録設定初期画面530が表示
される。ここで、ユーザは登録シンボル531を選択す
る。登録後は、このシンボルが図21のダイジェストメ
ニュー画面501に表示され、お気に入り登録したユー
ザルールファイル306dに基づくダイジェスト映像を
作成して再生することが可能となる。
コン104を操作して、例えば図26に示すお気に入り
選手登録画面540を表示させる。ユーザ設定プログラ
ムは、予め各チーム毎の選手のデータ等を呼び出すこと
ができるように設定されている。これらは例えば、「プ
ロ野球チーム別データ」としてハードディスク205等
に格納されている。また、端子モジュール207を介し
て「プロ野球チーム別データ」を外部記憶装置から読み
込んだり、通信回線を介して外部データベースから取得
することも可能である。
「巨人・背番号55」と入力すると、図28に示すよう
に、ハイライトシーンでの編集方法を設定することがで
きる(ユーザルールファイル306dを生成することが
できる)。例えば、「適度に」から「特に多く」の間の
所望の位置にスライドバー542を移動させることによ
り、特定の選手の場面に重点を置く程度を設定すること
ができる。設定が終了すると、リモコン104を操作し
て「終了」ボタン541を選択する。その結果、新たな
設定条件として、図29に示すように「(巨)松井」の
項目およびスライドバーが表示される。この設定内容
は、ユーザルールファイル306dとして登録される。
作成」を追加することも可能である。この設定をした場
合には、各場面毎にそのときのスコア情報(図2参照:
付加情報中に設定されている情報)を集計してスコアボ
ードの形にしてダイジェスト映像に盛り込むようにする
ことも可能である。これにより、各ハイライトシーンに
おいて得点経過が正確に表示されることになり、観戦気
分がよりリアルになる。
いて説明する。図30に示す説明文作成部603は、説
明文作成支援情報601を参照しつつ、ルール情報30
4,ルールファイル306および映像情報302の内容
に基づいて説明文テキスト512を作成する。作成され
た説明文テキスト512は、図22に示したように、ダ
イジェスト映像の内容をテキストで表す場合に使用され
る。なお、図30は、図5に対応するものであり、説明
の便宜上、説明文テキスト512を作成する際に不要な
構成については図示を省略してある。
作成時に同時に起動されて説明文テキスト512を作成
するプログラムである。説明文作成部603で作成され
た説明文テキスト512は、ダイジェスト映像等と共に
表示することも可能であり、また、単独で表示すること
も可能である。
部603が映像情報302の付加情報,ルール情報30
4およびルールファイル306に基づいて説明文テキス
ト512を作成する際に必要なルールが定義されたデー
タファイルである(図33参照)。ここでは、プロ野球
の試合中に起こる事象の内容を説明文テキスト512と
して適切に表現するためルールが説明文作成支援情報6
01に定義されているものとする。なお、もちろん、映
像の種別毎に説明文作成支援情報601を予め用意して
おくことができる。
て説明文テキストの生成処理を説明する。説明文作成部
603は、起動されると、ルールファイル306とルー
ル情報304からダイジェスト映像を作成するための情
報を読み出し、必要な映像情報のイベント番号を決定す
る(S601)。この場合において読み出される情報は
1イニング毎の付加情報である。
キスト512の生成処理が終了か否かを判定する(S6
02)。ここで、説明文作成部603は、最終のデータ
処理が終了したか否かを判定することにより、生成処理
の終了か否かを判定する。説明文作成部603は、最終
のデータ処理が終了したと判定した場合(S602;Y
es)、処理を終了する。
行と判定した場合(S602;No)、説明文作成部6
03は、付加情報処理中間結果ファイル602に付加情
報を書き込む(S603)。ステップS603で付加情
報処理中間結果ファイル602に書き込まれる付加情報
は、例えば図32に示す通りである。
処理中間結果ファイル602から付加情報を読み出すと
共に(S604)、説明文作成支援情報601に定義さ
れているルール情報を読み出す(S605)。説明文作
成支援情報601から読み出されるルール情報は、連続
して発生した事象から一定のパターンを見つけ出し、そ
れに対応した説明文を作成するために用いられる。図3
3は、説明文作成支援情報601に定義されているルー
ルを示す説明図である。
処理中間結果ファイル602にルール情報に一致する付
加情報の並びが存在するかを調べる(S606)。具体
的に、説明文作成部603は以下のような処理を実行す
る。
「batter」インデックスのあるところから過去に時間を
遡り、直前の「inning」インデックスを探し出し、イニ
ングの値と攻撃チームの値を取り出す。図32において
は、1回、広島の攻撃であることがわかる。 <イニング> =“1” <攻撃チーム> =“広”(略称が使用されるものとす
る)
を起こした選手名を割り出す。これは「batter」インデ
ックスの打者名の値を取り出せば良い。図32において
は江藤となる。 <選手名> =“江藤”
が何をしたのかを割り出す。打者が起こし得る事象は、
アウト,一塁打,二塁打,三塁打およびホームランのい
ずれかであるため、「batter」インデックスのあるとこ
ろから最も近くにある事象で、これらのうちのどれかに
当てはまるものを探し出す。図32では、「out」イン
デックスが得られ、江藤選手が外野フライでアウトにな
ったことがわかる。
め、図33中のルール2を適用できる可能性がある。説
明文作成部603は、「out」インデックスからつぎの
「batter」インデックスまでの間に「add_score」イン
デックスがあるか否かを調べる。図32においては、江
藤選手の打席後に1点追加されていることが判明し、ル
ール2が適用されることによって、フライでアウトは犠
打に置き換えられる。 <プレイ種類> =“犠打”
たため、さらに、この得点がどのような状況下で起こっ
たかを調べるため、説明文作成部603は、ここから過
去に時間を遡り、直前の「inning」インデックスまでの
間の得点経過を得る。図32において、このイニングで
は他に得点はない。さらに、「inning」インデックスか
らこの試合が始まった時点での得点が0対0であること
もわかる。したがって、図33中のルール5が適用され
る。 <得点> =“先制”
る説明文テキスト512の構文、即ち、 <イニング><攻撃チーム> <選手名><プレイ種類
>[で<得点>] に従い、以下のような説明文テキスト512を生成す
る。 1広 江藤外野犠打で先制 なお、上記説明文テキスト512の構文は、ほどほど自
然な日本語で、なおかつ機械的に生成できるという観点
に基づいて設定されたものである。
ニング分の付加情報について、説明文作成支援情報60
1中のルールを適用できるか否かをチェックする。ルー
ル情報に一致するか否かをチェックし(S607)一致
したときは(S607;Yes)一致したルールに対応
する文字列を説明文テキスト512に書き込む(S60
8)。続いて、つぎのイニングの付加情報を処理するた
めに、付加情報処理中間結果ファイル602の内容をク
リアする(S609)。
プS602で終了と判定されるまで繰り返し実行され
る。なお、ここでは1イニング毎に説明文を作成する場
合について説明したが、全イニングの付加情報を一括し
て処理することにしても良い。
ダイジェスト作成装置によれば、図21〜図29に示し
たような画面を利用してルールファイルの作成および変
更を行うことを可能にしたことにより、ルールファイル
の作成および変更処理を容易に行うことができる。ま
た、現在のルール情報304の設定で作成されるダイジ
ェスト映像の内容を説明する説明文テキスト512を画
面表示することにしたため、予めどのようなダイジェス
ト映像が作成されるのかを容易に知ることができる。し
たがって、その内容に応じてルール情報304の内容を
変更することができる。
とって説明したが、もちろんサッカー等の他のスポーツ
番組、ドラマ,映画等にも適用可能であることはいうま
でもない。さらに、一つの番組のみではなく、番組横断
検索も考慮し、分散環境に置かれた膨大なコンテンツを
対象としてダイジェストを作成することも可能である。
は、予め用意されたダイジェスト作成プログラムをコン
ピュータで実行することによって実現される。このプロ
グラムは、ハードディスク,フロッピーディスク,CD
−ROM,MO,DVD等のコンピュータで読み取り可
能な記録媒体に記録されて提供される。そして、図20
(a)に示すように、プログラムは、記録媒体701か
らCPU202によって読み出され、CPU202がプ
ログラムに基づく処理を実行することによって本発明に
係るダイジェスト作成方法が実現される。
示すように、サーバ702の記録媒体からインターネッ
トやLANのようなネットワークを介してダウンロード
し、CPU202に読み込むという形態においても実行
可能なものである。また、ネットワークではなく、映像
情報と同様に、放送局からプログラムを放送することに
し、コンピュータで放送されたプログラムを受信した
後、CPU202に読み込むという形態においても実行
可能である。
動画像解析プログラムの一モジュールとして組み込むこ
とも可能である。
スト作成装置およびダイジェスト作成方法(請求項1お
よび8)によれば、予め事象定義情報毎に設定された数
値を数値情報として記憶しており、入力した映像情報中
の事象定義情報に基づいて該当する数値情報を入力し、
事象定義情報および数値情報に基づいて、映像情報の内
容を数値の変化で表現した数値映像情報を生成するよう
にすることにより、映像情報の内容が数値化されるた
め、人手を介することなく映像情報の内容を装置側で容
易に解析することが可能となる。したがって、生成した
数値映像情報の数値の変化に基づいて、映像ストリーム
中に発生した事象の中から重要な事象がどれであるかを
判定することが可能となるため、人手を介することな
く、映像情報から容易にダイジェスト映像を作成するこ
とが可能となる。また、映像情報に含まれる事象定義情
報を利用するため、大掛かりな設備を必要とすることな
く、容易にダイジェスト映像を作成することができる。
求項2)によれば、予め事象定義情報毎に設定された数
値を数値情報として記憶しており、放送番組として放送
された映像情報を受信し、受信した映像情報を蓄積し、
蓄積した映像情報を入力し、入力した映像情報中の事象
定義情報に基づいて該当する数値情報を入力し、事象定
義情報および数値情報に基づいて、映像情報の内容を数
値の変化で表現した数値映像情報を生成するようにする
ことにより、映像情報の内容が数値化されるため、人手
を介することなく放送された映像情報の内容を装置側で
容易に解析することが可能となる。したがって、生成し
た数値映像情報の数値の変化に基づいて、映像ストリー
ム中に発生した事象の中から重要な事象がどれであるか
を判定することが可能となるため、人手を介することな
く、放送番組として放送された映像情報からダイジェス
ト映像を容易に作成することが可能となる。また、映像
情報に含まれる事象定義情報を利用するため、大掛かり
な設備を必要とすることなく、容易にダイジェスト映像
を作成することができる。
びダイジェスト作成方法(請求項3および9)によれ
ば、数値映像情報を生成する際に利用する事象定義情報
の種類を予め指定しておき、指定された種類の事象定義
情報を利用して、数値映像情報を生成するようにするこ
とにより、ダイジェスト映像を作成する際に注目する事
象を変更し、異なる視点で数値映像情報を作成すること
が可能となる。したがって、多種多様なダイジェスト映
像を作成することが可能となる。
びダイジェスト作成方法(請求項4および10)によれ
ば、予め特定の事象定義情報を指定すると共に、指定し
た事象定義情報に該当する数値情報に対して付与する任
意の重みを指定しておき、数値映像情報を生成する際
に、指定された事象定義情報に該当する数値情報に対
し、指定された重みを付与するようにすることにより、
利用者の嗜好を具体的に数値情報中に反映させることが
可能となる。したがって、利用者の視聴を忠実に反映し
たダイジェスト映像を作成することが可能となる。
びダイジェスト作成方法(請求項5および11)によれ
ば、映像情報が、映像ストリームを木構造で構造化した
構造情報を含んでおり、構造情報に基づいて木構造のノ
ード毎に数値情報を累積し、数値映像情報の数値の変化
に基づいて数値のピーク点を重要な場面として設定する
ようにすることにより、人手を介することなく、映像ス
トリーム中の重要な場面(意味のある場面)を判定する
ことが可能となる。したがって、重要な場面として設定
したピーク点に基づいて映像情報からダイジェスト映像
を抽出するため、映像の内容を意味的に要約したダイジ
ェスト映像を得ることが可能となる。
びダイジェスト作成方法(請求項6および12)によれ
ば、設定したピーク点に該当する事象およびピーク点の
近傍の事象を含むようにダイジェスト映像を抽出するこ
とにより、ダイジェスト映像中に現れる各事象の因果関
係を表現することが可能となる。したがって、利用者が
重要な場面の流れを容易に把握することができ、意味の
あるダイジェスト映像を作成することが可能となる。
びダイジェスト作成方法(請求項7および13)によれ
ば、作成するダイジェスト映像の総時間を指定してお
き、指定された総時間に収まるようにダイジェスト映像
を抽出するようにすることにより、利用者が望む時間の
ダイジェスト映像を得ることができる。したがって、短
いダイジェスト映像で内容を簡単に把握したい、比較的
長めのダイジェスト映像で内容をなるべく詳細に把握し
たい等の利用者の嗜好をダイジェスト映像に反映するこ
とができる。
能な記録媒体(請求項14)によれば、請求項8〜13
のいずれか一つに記載のダイジェスト作成方法の各工程
をコンピュータに実行させるためのプログラムを記録し
ておき、このプログラムをコンピュータで読み出して実
行することにより、映像情報の内容を数値の変化で表現
した数値映像情報を生成するようにすることにより、映
像情報の内容を数値化することを可能とし、人手を介す
ることなく映像情報の内容をコンピュータで容易に解析
することが可能となる。したがって、生成した数値映像
情報の数値の変化に基づいて、映像ストリーム中に発生
した事象の中から重要な事象がどれであるかを判定する
ことが可能となるため、人手を介することなく、映像情
報から容易にダイジェスト映像を作成することが可能と
なる。
装置において利用される、野球映像中に発生するイベン
トを定義するために用いるインデックス情報の例を示す
説明図である。
装置において利用される、1998年10月3日に東京
ドームで行われた巨人対広島戦の野球中継映像に付加し
たインデックス情報の説明図である。
装置の概略構成図である。
装置において、図3に示したセットトップボックスの概
略構成を示すブロック構成図である。
装置において利用されるダイジェスト作成プログラムの
概略ブロック図である。
装置において、各インデックスを構造インデックスおよ
び事象インデックスに分類し、構造インデックスを用い
て野球映像を構造化した場合のイメージを示す説明図で
ある。
装置において、映像情報の内容を数値化するために用い
られる攻撃ルールファイルの内容を示す説明図である。
装置において、映像情報の内容を数値化するために用い
られる投手ルールファイルの内容を示す説明図である。
装置において、映像情報の内容を数値化するために用い
られる興奮ルールファイルの内容を示す説明図である。
成装置において、映像情報の内容を数値化するために用
いられるユーザルールファイルの内容を示す説明図であ
る。
成装置において、ダイジェスト映像の作成対象とした映
像情報の内容の概略を示す説明図である。
成装置において実行されるユーザルールファイルの生成
処理を示すフローチャートである。
成装置において実行されるルール情報にダイジェスト映
像の作成条件を設定する処理を示すフローチャートであ
る。
成装置において実行されるダイジェスト映像の作成処理
を示すフローチャートである。
映像情報の生成処理を示すフローチャートである。
際に用いられるインデックス情報の一例を示す説明図で
ある。
一種類のパラメータを用いて生成された数値映像情報の
説明図である。
映像情報の解析処理を示すフローチャートである。
種類のパラメータを用いて生成された数値映像情報の説
明図である。
成装置における端子モジュールの構成図である。
成装置において画面表示されるダイジェストメニュー画
面の一例を示す説明図である。
て、「おまかせハイライト」が選択された場合に画面表
示される初期画面の一例を示す説明図である。
が選択された場合に画面表示される変更設定画面の一例
を示す説明図である。
バーの操作方法を説明するための説明図である。
成装置において、ユーザルールファイルを生成する際に
画面表示されるお気に入り登録設定初期画面の一例を示
す説明図である。
成装置において、ユーザルールファイルを生成する際に
画面表示されるお気に入り選手登録画面の一例を示す説
明図である。
成装置において、図26に示すお気に入り選手登録画面
を用いてユーザルールファイルを生成する処理手順を示
す説明図である。
成装置において、図26に示すお気に入り選手登録画面
を用いてユーザルールファイルを生成する処理手順を示
す説明図である。
成装置において、図26に示すお気に入り選手登録画面
を用いてユーザルールファイルを生成する処理手順を示
す説明図である。
成装置において、説明文テキストを作成する説明文作成
部および説明文作成部において説明文テキストを作成す
る際に使用される情報を示す説明図である。
成装置において実行される説明文テキストの生成処理を
示すフローチャートである。
成装置において、説明文テキストの生成処理の実行中に
付加情報処理中間結果ファイルに書き込まれる付加情報
の一例を示す説明図である。
成装置において、説明文テキストの生成処理に利用され
る説明文作成支援情報の内容の例を示す説明図である。
るプログラムを記録した記録媒体およびプログラムの配
布形態を示す説明図である。
Claims (14)
- 【請求項1】 映像ストリーム中に発生した事象を定義
した事象定義情報を含む映像情報を入力してダイジェス
ト映像を作成するダイジェスト作成装置であって、 予め前記事象定義情報毎に設定された数値を数値情報と
して記憶した記憶手段と、 前記入力した映像情報中の事象定義情報に基づいて前記
記憶手段から該当する数値情報を入力し、前記事象定義
情報および数値情報に基づいて、前記映像情報の内容を
数値の変化で表現した数値映像情報を生成する生成手段
と、 前記生成手段で生成した数値映像情報の数値の変化を用
いて、前記映像情報からダイジェスト映像を抽出する抽
出手段と、 を備えたことを特徴とするダイジェスト作成装置。 - 【請求項2】 映像ストリーム中に発生した事象を定義
した事象定義情報を含む映像情報を入力してダイジェス
ト映像を作成するダイジェスト作成装置であって、 予め前記事象定義情報毎に設定された数値を数値情報と
して記憶した記憶手段と、 放送番組として放送された前記映像情報を受信する受信
手段と、 前記受信手段で受信した映像情報を蓄積する蓄積手段
と、 前記蓄積手段から前記映像情報を入力し、入力した映像
情報中の事象定義情報に基づいて前記記憶手段から該当
する数値情報を入力し、前記事象定義情報および数値情
報に基づいて、前記映像情報の内容を数値の変化で表現
した数値映像情報を生成する生成手段と、 前記生成手段で生成した数値映像情報の数値の変化を用
いて、前記映像情報からダイジェスト映像を抽出する抽
出手段と、 を備えたことを特徴とするダイジェスト作成装置。 - 【請求項3】 さらに、前記数値映像情報を生成する際
に利用する事象定義情報の種類を予め指定する情報指定
手段を備え、 前記生成手段は、前記情報指定手段で指定された種類の
事象定義情報を利用して、前記数値映像情報を生成する
ことを特徴とする請求項1または2に記載のダイジェス
ト作成装置。 - 【請求項4】 さらに、予め特定の事象定義情報を指定
すると共に、指定した事象定義情報に該当する数値情報
に対して付与する任意の重みを指定する重み指定手段を
備え、 前記生成手段は、前記数値映像情報を生成する際に、前
記重み指定手段で指定された事象定義情報に該当する数
値情報に対し、前記指定された重みを付与することを特
徴とする請求項1,2または3に記載のダイジェスト作
成装置。 - 【請求項5】 前記映像情報は、前記映像ストリームを
木構造で構造化した構造情報を含み、 前記生成手段は、前記構造情報に基づいて、前記木構造
のノード毎に前記数値情報を累積し、 前記抽出手段は、前記数値映像情報の数値の変化に基づ
いて前記数値のピーク点を設定し、設定したピーク点に
基づいて前記映像情報からダイジェスト映像を抽出する
ことを特徴とする請求項1〜4のいずれか一つに記載の
ダイジェスト作成装置。 - 【請求項6】 前記抽出手段は、前記設定したピーク点
に該当する事象および前記ピーク点の近傍の事象を含む
ように前記ダイジェスト映像を抽出することを特徴とす
る請求項5に記載のダイジェスト作成装置。 - 【請求項7】 さらに、作成するダイジェスト映像の総
時間を指定する時間指定手段を備え、 前記抽出手段は、前記時間指定手段で指定された総時間
に収まるように前記ダイジェスト映像を抽出することを
特徴とする請求項1〜6のいずれか一つに記載のダイジ
ェスト作成装置。 - 【請求項8】 映像ストリーム中に発生した事象を定義
した事象定義情報を含む映像情報を入力してダイジェス
ト映像を作成するためのダイジェスト作成方法であっ
て、 予め前記事象定義情報毎に設定された数値情報に基づい
て、前記入力した映像情報中の事象定義情報に該当する
数値情報を求め、前記事象定義情報および数値情報に基
づいて、前記映像情報の内容を数値の変化で表現した数
値映像情報を生成する生成工程と、 前記生成工程で生成した数値映像情報の数値の変化を用
いて、前記映像情報からダイジェスト映像を抽出する抽
出工程と、 を含むことを特徴とするダイジェスト作成方法。 - 【請求項9】 さらに、前記数値映像情報を生成する際
に利用する事象定義情報の種類を予め指定する情報指定
工程を含み、 前記生成工程は、前記情報指定工程で指定された種類の
事象定義情報を利用して、前記数値映像情報を生成する
ことを特徴とする請求項8に記載のダイジェスト作成方
法。 - 【請求項10】 さらに、予め特定の事象定義情報を指
定すると共に、指定した事象定義情報に該当する数値情
報に対して付与する任意の重みを指定する重み指定工程
を含み、 前記生成工程は、前記数値映像情報を生成する際に、前
記重み指定工程で指定された事象定義情報に該当する数
値情報に対し、前記指定された重みを付与することを特
徴とする請求項8または9に記載のダイジェスト作成方
法。 - 【請求項11】 前記映像情報は、前記映像ストリーム
を木構造で構造化した構造情報を含み、 前記生成工程は、前記構造情報に基づいて、前記木構造
のノード毎に前記数値情報を累積し、 前記抽出工程は、前記数値映像情報の数値の変化に基づ
いて前記数値のピーク点を設定し、設定したピーク点に
基づいて前記映像情報からダイジェスト映像を抽出する
ことを特徴とする請求項8,9または10に記載のダイ
ジェスト作成方法。 - 【請求項12】 前記抽出工程は、前記設定したピーク
点に該当する事象および前記ピーク点の近傍の事象を含
むように前記ダイジェスト映像を抽出することを特徴と
する請求項11に記載のダイジェスト作成方法。 - 【請求項13】 さらに、作成するダイジェスト映像の
総時間を指定する時間指定工程を含み、 前記抽出工程は、前記時間指定工程で指定された総時間
に収まるように前記ダイジェスト映像を抽出することを
特徴とする請求項8〜12のいずれか一つに記載のダイ
ジェスト作成方法。 - 【請求項14】 前記請求項8〜13のいずれか一つに
記載のダイジェスト作成方法の各工程をコンピュータに
実行させるためのプログラムを記録したコンピュータ読
み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05891699A JP3176893B2 (ja) | 1999-03-05 | 1999-03-05 | ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05891699A JP3176893B2 (ja) | 1999-03-05 | 1999-03-05 | ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000261754A JP2000261754A (ja) | 2000-09-22 |
JP3176893B2 true JP3176893B2 (ja) | 2001-06-18 |
Family
ID=13098159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05891699A Expired - Fee Related JP3176893B2 (ja) | 1999-03-05 | 1999-03-05 | ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3176893B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366401B2 (en) | 2002-12-04 | 2008-04-29 | Kabushiki Kaisha Toshiba | Video summary play apparatus and method |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100462695B1 (ko) | 1999-07-14 | 2004-12-23 | 마츠시타 덴끼 산교 가부시키가이샤 | 정보 제공 장치 및 그 방법, 정보 통신 시스템, 및 기억 매체 |
JP3476404B2 (ja) * | 1999-11-25 | 2003-12-10 | Necマイクロシステム株式会社 | デジタル放送受信装置およびそのダイジェスト録画制御方法 |
JP3566894B2 (ja) * | 2000-02-14 | 2004-09-15 | 株式会社リコー | 映像インデックス付与方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像インデックス配信装置および映像インデックス保存装置 |
JP3566896B2 (ja) * | 2000-03-03 | 2004-09-15 | 株式会社リコー | スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002112224A (ja) * | 2000-09-29 | 2002-04-12 | Just Syst Corp | 放送番組リンク情報提供システム、装置、方法及び記録媒体 |
JP2002169819A (ja) * | 2000-12-01 | 2002-06-14 | Kanebo Ltd | 動画情報配信方法およびそれに用いる動画情報配信システム |
JP4132650B2 (ja) * | 2000-12-05 | 2008-08-13 | 株式会社リコー | 番組関連情報生成システム |
JP4511761B2 (ja) * | 2001-05-02 | 2010-07-28 | 株式会社リコー | 映像ダイジェスト生成方法 |
JP4870878B2 (ja) * | 2001-05-02 | 2012-02-08 | 株式会社リコー | コンテンツ内容の説明文生成方法およびコンテンツ内容の説明文生成装置 |
JP2002335572A (ja) * | 2001-05-09 | 2002-11-22 | Asobous:Kk | 移動体映像通信手段を用いた野球の観戦方法 |
JP3906974B2 (ja) * | 2001-10-30 | 2007-04-18 | 船井電機株式会社 | ダイジェスト番組作成支援方法 |
JP3938034B2 (ja) * | 2001-12-21 | 2007-06-27 | 日本電信電話株式会社 | 映像及び音声のダイジェスト作成方法及びその装置 |
US7333712B2 (en) * | 2002-02-14 | 2008-02-19 | Koninklijke Philips Electronics N.V. | Visual summary for scanning forwards and backwards in video content |
AU2002368116A1 (en) | 2002-07-26 | 2004-02-16 | Communications Research Laboratory, Independent Administrative Institution | Content summarizing apparatus and content summarizing program |
JP4430882B2 (ja) | 2003-03-19 | 2010-03-10 | 富士通株式会社 | 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム |
EP1631962A1 (en) * | 2003-05-26 | 2006-03-08 | Koninklijke Philips Electronics N.V. | System and method for generating audio-visual summaries for audio-visual program content |
JP3816901B2 (ja) * | 2003-05-30 | 2006-08-30 | 株式会社東芝 | ストリームデータの編集方法と編集システム及びプログラム |
JP4572545B2 (ja) * | 2004-02-17 | 2010-11-04 | 富士ゼロックス株式会社 | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム |
JP4647949B2 (ja) * | 2004-05-18 | 2011-03-09 | 株式会社リコー | マルチメディアコンテンツ再構成装置、マルチメディアコンテンツ再構成方法、その方法をコンピュータに実行させるプログラム、およびマルチメディアコンテンツ配信システム |
EP1765011A2 (en) | 2004-06-29 | 2007-03-21 | Matsushita Electric Industrial Co., Ltd. | Video edition device and method |
JP4758161B2 (ja) | 2004-07-30 | 2011-08-24 | パナソニック株式会社 | ダイジェストの作成方法及び装置 |
EP1784006A4 (en) * | 2004-08-09 | 2012-04-18 | Nikon Corp | IMAGE FORMING DEVICE |
JP2006238393A (ja) * | 2005-02-21 | 2006-09-07 | Shinzo Ito | スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法 |
CN100426847C (zh) * | 2005-08-02 | 2008-10-15 | 智辉研发股份有限公司 | 以语音特征为基础的精采片段检测电路及其相关方法 |
WO2007073347A1 (en) * | 2005-12-19 | 2007-06-28 | Agency For Science, Technology And Research | Annotation of video footage and personalised video generation |
JP4891737B2 (ja) * | 2006-11-17 | 2012-03-07 | 日本放送協会 | 知識メタデータ生成装置、ダイジェスト生成装置、知識メタデータ生成プログラム、及びダイジェスト生成プログラム |
JP4645707B2 (ja) | 2008-09-01 | 2011-03-09 | ソニー株式会社 | コンテンツデータ処理装置 |
JP5367499B2 (ja) * | 2009-08-17 | 2013-12-11 | 日本放送協会 | シーン検索装置及びプログラム |
JP4940333B2 (ja) | 2010-06-15 | 2012-05-30 | 株式会社東芝 | 電子機器及び動画像再生方法 |
JP5626321B2 (ja) * | 2012-11-26 | 2014-11-19 | ヤマハ株式会社 | 番組記録装置 |
JP2016107001A (ja) * | 2014-12-10 | 2016-06-20 | 富士通株式会社 | 抽出プログラム、方法、及び装置 |
JP6790407B2 (ja) * | 2016-03-25 | 2020-11-25 | 株式会社Jvcケンウッド | 表示装置、表示方法及び表示プログラム |
JP6873878B2 (ja) * | 2017-09-26 | 2021-05-19 | 株式会社日立国際電気 | ビデオサーバシステム |
JP7390877B2 (ja) * | 2019-11-29 | 2023-12-04 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 動画編集装置、動画編集方法及びコンピュータプログラム |
CN111680189B (zh) | 2020-04-10 | 2023-07-25 | 北京百度网讯科技有限公司 | 影视剧内容检索方法和装置 |
WO2024161888A1 (ja) * | 2023-01-30 | 2024-08-08 | 日本電気株式会社 | 映像処理装置、映像処理方法、及び、映像処理プログラムが格納された記録媒体 |
-
1999
- 1999-03-05 JP JP05891699A patent/JP3176893B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366401B2 (en) | 2002-12-04 | 2008-04-29 | Kabushiki Kaisha Toshiba | Video summary play apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JP2000261754A (ja) | 2000-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3176893B2 (ja) | ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US20050283804A1 (en) | Information processing apparatus, method, and program | |
US7979879B2 (en) | Video contents display system, video contents display method, and program for the same | |
JP5552769B2 (ja) | 画像編集装置、画像編集方法及びプログラム | |
KR101482513B1 (ko) | 재생리스트를 사용하기 위한 시스템들 및 방법들 | |
US20070294231A1 (en) | Viideo library management method and apparatus | |
JP2007179207A (ja) | コンテンツ探索方法 | |
US20040146275A1 (en) | Information processing method, information processor, and control program | |
EP2159722A1 (en) | Display processing apparatus and display processing method | |
JP4697526B2 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
JP2000217058A (ja) | 映像検索システム及びデ―タ構造、そしてそれによる検索方法 | |
EP2290957B1 (en) | Display processing apparatus and display processing method | |
JP4925938B2 (ja) | ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置 | |
US20040095377A1 (en) | Video information analyzer | |
JP2002108892A (ja) | データ管理システム、データ管理方法、及び、記録媒体 | |
JP2010514302A (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
JP2010245853A (ja) | 動画インデクシング方法及び動画再生装置 | |
WO2007013308A1 (ja) | 番組録画装置、番組管理サーバ、番組管理方法、番組管理プログラム及び番組管理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5011430B2 (ja) | 表示処理装置、及び表示処理方法 | |
JP2011128981A (ja) | 検索装置及び検索方法 | |
US7844163B2 (en) | Information editing device, information editing method, and computer product | |
JP2011013860A (ja) | 表示処理装置、表示処理方法およびプログラム | |
JP4101913B2 (ja) | システムストリーム再生制御情報編集装置およびその方法並びにその方法を記録した記録媒体 | |
TWI497959B (zh) | Scene extraction and playback system, method and its recording media | |
JP2008099012A (ja) | コンテンツ再生システム及びコンテンツ蓄積システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080406 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090406 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |