JP4925938B2 - ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置 - Google Patents

Description

本発明は、ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、映像装置に係り、テレビ放映映像等の与えられた映像データからその要約となるダイジェスト映像を表示するためのダイジェスト映像情報を作成するに際して、ユーザが複雑な操作をしなくても、ユーザの視聴嗜好に合うダイジェストのためのダイジェスト映像情報を作成することができるダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置に関する。

近年、映像情報機器の性能の向上により、多数の放送チャンネルの映像を長時間記録する事が可能となってきた。また、衛星放送などの普及により放送チャンネルが増加し、視聴者に提供される映像の数は従来の倍以上に増えつつある。この結果、視聴者は多数の映像の中から自らの嗜好にあった映像を効率よく選び出す必要が生じている。

この解決策として、ダイジェスト映像作成機能を受像機あるいは録画装置に設ける事が提案されている。例えば、特許文献１では、映像の音量およびテロップ表示から、当該映像の重要部分を抽出してダイジェスト映像を作成する方法が開示されている。

また、特許文献２では、ユーザの嗜好によって作成するルール情報に基づいて、数値化し、その数値評価によりダイジェスト映像を作成する方法が開示されている。

さらに、作成されるダイジェスト映像に対して、ユーザ毎に嗜好が異なることは明らかであり、ユーザそれぞれに異なる部分がダイジェスト映像を構成する映像部分の組み合わせになるよう作成する必要がある。この方法としては従来、ユーザにより明示される記号系列（文字列や音声特徴時系列、映像特徴時系列などやそれらを符号化した記号列）から映像内の映像や音声、および、属性データ内に存在する記号列を検索したり、前述のイベント情報を検索したりすることで、検索結果の周辺をそのユーザが所望するダイジェストとして再生することがおこなわれてきた。

特開２０００−２３０６２号公報 特開２０００−２６１７５４号公報

しかしながらこれらの従来技術では、ユーザそれぞれの嗜好を自動的に解釈し、ダイジェスト作成を行うことが困難である。すなわち、特許文献１では、単にダイジェストの対象をテロップや音響情報によりダイジェストを作成するものであるから、スポーツの実況中継などの分野にはある程度いいが、その他の分野については、必ずしもユーザの嗜好適した適切なダイジェストを作成することができるとは限らない。また、特許文献２では、野球のゲームでの状況の重要度を評価するためにルールとパラメタを導入して、数値映像情報を作成して最終的にダイジェスト映像を作成している。しかしながら、このようなルールは、汎用性に欠けるため、その映像の種類ごとに用意せねばならず、必ずしも、それによってできたダイジェスト映像がユーザの嗜好にあっているという保証はない。また、検索によるダイジェスト生成ではユーザが明示的に嗜好を表現する記号列やパラメタを入力する必要がある。

本発明のダイジェスト映像情報作成方法においては、先ず、映像の映像データから特徴情報を抽出する。特徴情報は、映像データの音響盛上がりの大きさや映像のテロップなどに表示されるキーワードなどが考えられる。

一方、ユーザが映像に対して指示した再生、早送りなどの操作情報を記録して、そのような操作に対してされる得点付けの評価により、その映像の時刻に対して、操作重要度を求める。

また、演算内容情報として映像からダイジェストの再生時刻を指定するためのパラメタを導入する。これは、例えば、音響盛上がりの閾値、キーワードの評価個数、再生の開始時刻、終了時刻を調節する値である。これらは、ユーザ共通、ユーザ毎、ジャンル共通、ジャンル毎の区別を設けてもよい。

そして、ダイジェストとして再生される再生時刻のシーンに対して前記特徴情報によって評価される各再生時刻のシーンにおける重要度であるシーン重要度情報を生成する。

次に、操作重要度情報とシーン重要度情報との相関度を評価し、前記相関度を高めるパラメタの組み合わせを決定する。

そして、シーン重要度情報を生成とパラメタを暫時更新して、最適なシーン重要度情報を生成する。

最後に、生成されたシーン重要度情報と、ダイジェスト再生の時間とにより、ダイジェスト再生位置情報を生成する。

上記手段によれば、映像のダイジェスト作成する際に、明示的な方法やパラメタの入力なく、ユーザの嗜好を解釈し、ユーザの嗜好にあったダイジェストのためのダイジェスト映像情報を自動的に作成できるようなダイジェスト映像情報作成方法を提供することができる。

以下、各実施形態を、図１ないし図３６を用いて説明する。

〔実施形態１〕
以下、第一の実施形態を、図１ないし図２７を用いて説明する。

本実施形態では、ユーザの操作履歴を用い、ユーザ嗜好に即したダイジェストのダイジェスト映像情報を作成して、ダイジェストとして映像データを再生する手順までの方法を説明する。なお、本実施形態では、映像に含まれる音響データから音響的な盛上り度を基にダイジェスト映像情報を作成する場合において説明する。この音響的な盛上り度は、ＴＶのスポーツ映像のように観客の歓声を音響データに含む映像に対するダイジェスト映像作成には効果的な方法である。例えばサッカーの試合で得点（ゴール）したシーン付近や、好プレーが起こった際に、観客の自然な反応として歓声を上げることに焦点を当てて起用することが多い。このような盛上り度の高い部分を選択して映像を切り取ることにより、ダイジェスト映像情報を作成する。また、ユーザは、同様の盛上がるシーン部分を特に視聴することと仮定する。この視聴の仕方は、一般的に録画後に視聴する場合に映像の全部を視聴するのではなく、重要ではない部分を早送りしたりスキップするなどして、重要な部分を視聴して時間を短縮して視聴する場合に自然な方法である。すなわち、このようにスポーツ映像のダイジェスト映像情報を作成するときには、音響盛上りを特に重視すること観点が有効であるが、本実施形態では、さらにそのユーザの特性、嗜好に適したダイジェスト映像を提供する。そのため本実施形態では、ユーザが視聴を繰り返したときに、その視聴行動を評価し、その視聴の癖を解析することにより嗜好パターンを考慮して、音響の盛り上がり度の閾値や再生区間のパラメタを微調整することにより、最適なダイジェストの再生区間を求めようとするものである。
（I）ダイジェスト映像を再生する映像装置の構成
先ず、図１および図２を用いて第一の実施形態に係るダイジェスト映像を再生する映像装置の構成について説明する。

図１および図２は、第一の実施形態に係るダイジェスト映像を再生する映像装置の全体の構成を示すブロック図である。
図１に示されるダイジェスト映像を再生する映像装置は、録画再生部１８０とダイジェスト映像情報作成部１００から構成される。

録画再生部１８０は、外部からの放送映像１９０やメディア映像１９１を入力部１８１により入力する。入力は、録画再生制御部１８３の制御により、映像情報記録部１８４に記録され、あるいは復号部１８５に送られる。また、映像情報記録部１８４に既に記録してある映像を復号部１８５に送ってもよい。これらの制御はユーザが操作部１８２を用いた操作に従って録画再生制御部１８３がおこなう。このユーザの操作は、後に説明する操作情報１８７として録画再生制御部から出力することができるものとする。この際、操作とほぼ同時に逐次的に出力しても、映像情報記録部１８４に記録された後、まとめて出力してもよい。復号部１８５の出力は、録画再生制御部１８３を経由して表示装置１８６に映像として表示され、ユーザの視聴に供せられる。なお、映像情報記録部１８４に記録する映像情報１１０中の映像データとは、付帯する動画像データ、音響データ、および、記号データを含むものである。また、映像情報には映像データのジャンルやタイトル等、映像データを説明するための属性情報を含んでいる。映像データは、入力部１８１から得られた符号化されたままのデータおよび復号部１８５で復号化されたデータのいずれでもよいものとし、以下の説明でも同様とする。さらに、ユーザを識別して表示したりや映像データの管理をおこなうために、認証部１８８を設けて管理してもよい。

さらに、交換部１２０を設けて、映像データや各部で管理される各種情報を、ネットワーク１７０や外部メディア１６０を経由して、外部と交換してもよい。以上の録画再生部１８０の動作は、ＶＴＲ（Video Tape Recorder）やＤＶＤ（Digital Versatile Disc）レコーダ、ＨＤＤ（Hard Disk Drive）レコーダ、およびＰＣなどを含む一般の映像録画機器と何ら異なるものではない。

ダイジェスト映像情報作成部１００は、図１に示されるように、演算内容管理部１０１、操作情報解析部１０２、比較評価部１０３、特徴抽出部１１１、シーン重要度演算部１１４、再生位置情報作成部１１５、ダイジェスト作成制御部１２０の各部を有し、アクションスコアテーブル１０４、演算内容情報１０５、操作重要度情報１０６、特徴情報１１２、シーン重要度情報１１４、再生位置情報１１６のデータを取り扱う。

演算内容管理部１０１は、演算内容情報１０５を管理しており、演算内容情報１０５にアクセスして更新する部分である。

操作情報解析部１０２は、録画再生部１８０から送られる操作情報１８７と、アクションスコアテーブル１０４を参照して、操作重要度１０６を設定・更新する部分である。

比較評価部１０３は、操作重要度情報１０６とシーン重要度情報１１４を参照して、現在のパラメタの下における相関度を更新する部分である。

特徴抽出部１１１は、録画再生部１８０から送られる映像情報１１０の特徴を中質して特徴情報１１２として取り出す部分である。
シーン重要度演算部１１４は、各パラメタの条件下でシーン重要度情報１１４を演算する部分である。

再生位置情報作成部１１５は、シーン重要度情報１１４から再生位置情報１１６を生成する部分である。

制御部１２０は、ダイジェスト映像情報作成部１００の各部を制御し、指示を与える部分である。

ダイジェスト映像情報作成部１００で扱うデータ構造、各部の処理の詳細については、後に詳説する。

また、図２に示されるダイジェスト映像を再生する映像装置は、ダイジェスト映像情報の作成をソフトウェアにより作成していることを意図している。ここでの映像装置３８０１は、例えば、ＴＶ機能付きのＰＣである。また、図１のダイジェスト映像情報作成部１００は、ＤＶＤ／ＨＤＤレコーダ、テレビ等の一般的装置により実現してもよい。

図２に示されるように、この例でのダイジェスト映像を再生する映像装置は、ＣＰＵ３８１２、メモリ３８１０、記憶部３８２４から構成されている。そして、図１のダイジェスト映像情報作成部１００と同様の機能をＣＰＵ３８１２のプログラムを実行させることにより実行させてもよい。

この際、ダイジェスト映像情報作成する際の各種の情報、すなわち、アクションスコアテーブル１０４、操作重要度情報１０６、演算内容情報１０５、特徴量情報１１２、シーン重要度情報１１４、および、再生位置情報１１６を記憶部３８２４に蓄積してもよい。

なお、さらに録画再生部１８０も装置内に構成し、すなわち、表示部３８１３、入力部３８２０、認証部３８２２、操作部３８２３、操作入力部３８３０、操作パネル３３０、および、交換部３８２５の各部で実行される映像の録画再生や表示、ユーザ操作情報を作成する各処理プログラムをＣＰＵ上で動作させてもよい。この際、記憶部３８２４には、映像情報１１０および操作情報１８７を蓄積させてもよい。また、操作入力部から、リモコン３４１やキーボード３４２、マウス３４３等のデバイスからの入力を行ったり、交換部から記憶手段に蓄積した各種情報を外部と交換してもよい。
（II）ダイジェスト映像に関する情報とデータ構造
次に、図３ないし図１０を用いて第一の実施形態に係るダイジェスト映像に関する情報とデータ構造を説明する。
図３は、映像情報記録部１８４に格納されるデータの一例を示す図である。

図３に示される例では、映像管理表２０１と個々の映像ｉ情報２１０…が格納されている。これらは、図１では、映像情報１１０として示されているものである。映像管理表２０１は、管理する映像の識別子であるＩＤ、録画日時、録画の開始時刻と終了時刻、映像の取得先からなるとする。ここで映像の取得先は、放送の場合には、ＴＶのチャンネルや事業者、外部メディアであればその旨を記述する。また、ＩＤ毎に録画映像を管理し、映像データおよび映像属性を映像ｉ情報２１０,２２０,…として記録する。映像データ２１１は、例えば、ＴＶのデジタル放送であればＭＰＥＧ−２ ＴＳ（Transport Stream)形式の、動画像や音響や文字情報等を含むデジタルデータである。映像属性２１２は、対応する映像を説明する情報で、例えば、ＴＶ放送向けに一般的に流通しているＥＰＧ（Electric Program Guide：電子映像表）や、映像データに含まれる当該映像を説明する情報等である。このコンテンツ属性には、例えば、映像が属するジャンル、映像のタイトル、映像に含まれる音声モード、字幕のあるなし、映像内容の説明等が含まれる。これら映像情報は映像毎にＩＤを参照して取得可能とする。

次に、図４を用いて操作情報１８７について説明する。
図４は、操作情報１８７の一例を示す図である。

操作情報１８７は、ユーザが映像装置に対してコンテンツの操作をした履歴情報である。ここではユーザ毎に管理可能であるとし、それぞれの操作が履歴として蓄積できるものとする。それぞれの操作情報は、例えば、当該操作をおこなった日にちや時刻、操作の種類を示すアクション、コンテンツＩＤ、それらのアクションのパラメタや、その操作をおこなった際に表示していた映像の時間的位置（例えば、映像の開始を０とした相対時間を示す）が含まれる。

次に、図５を用いて特徴情報１１２について説明する。
図５は、第一の実施形態に係る特徴情報１１２の一例を示す図である。

特徴情報１１２は、ダイジェスト映像情報を作成するために、映像情報１１１から抽出される情報であり、本実施形態では、音響データよりそのパワーを基に盛上りデータを抽出する。

この例では、映像１特徴情報６０１の番組特徴管理表６１０の中に、番組ＩＤが１の番組に対して音響盛上り情報６１１が記録されていることが示されている。音響盛上り情報６１１は、管理表には開始時刻および終了時刻と盛上り度を組として、映像全体をカバーするように登録するようにしてもよいし、特に、盛上がり度が大きい所のみを抜き出して、エントリしてもよい。

次に、図６を用いて操作重要度情報１０６について説明する。
図６は、操作重要度情報１０６の一例を示す図である。

操作重要度とは、各ユーザの映像の区間ごとにおこなった操作に基づいてその重要度を評価したものである。操作重要度情報１０６は、映像の各ユーザ毎に、ユーザｉ操作重要度９１０,９２０,…として管理され、また、各ユーザでは映像データ単位で、映像ｉ重要度９１１…として管理される。図中のユーザ１、映像１の操作重要度情報９１１で説明すると、まず全体に映像１のジャンル（この図では「スポーツ（サッカー）」）情報が記録される。また、項番と、開始時刻、終了時刻、そして重要度を組として、映像の時間全体をカバーするようにしてもよいし、特に、重要度が大きい所のみを抜き出して、エントリしてもよい。

次に、図７を用いてアクションスコアテーブル１０４について説明する。
図７は、第一の実施形態に係るアクションスコアテーブル１０４の一例を示す図である。

アクションスコアテーブル１０４は、操作重要度を計算するために、各操作に対して得点付けを定めたものである。ここでは、ユーザが操作する内容として、「ロード」、「再生」、「ジャンプ」、「早送り」、「早戻し」等があり、それそれに対しての得点がマップとして登録してある。図７に示される例では、「再生」をおこなった場合に１点、その他は０点としている。

また、他の例としては、例えば、「再生」をおこなった場合に１点、「早送り」が−０.３点、「早戻し」が０.３点、その他は０点としてもよい。このスコアは、映像の再生をおこなった場合は、ユーザは、特にその再生部分に興味があるものとし、映像の早送りをおこなったときには、その再生部分には興味がなく、早送りの操作をしたものと仮定したものである。

次に、図８Ａ、図８Ｂを用いて演算内容情報１０５について説明する。
図８Ａは、演算内容情報１０５のパラメタ情報１５０１を示す図である。
図８Ｂは、第一の実施形態に係る演算内容情報１０５の各パラメタ値の一例を示す図である。

演算内容情報１０５は、ダイジェスト映像情報を作成するための演算に関する情報であり、例えば、本実施形態では、シーン重要度を計算するためのパラメタ情報がある。図８Ａに示されるパラメタ情報１５０１中には、演算方法に関する分類として、本実施形態の「音響盛上り」と、他に「キーワード」によるパラメタが示されている。

「音響盛上り」によるパラメタとしては、変数として、音響盛上がりの閾値ｔｈと閾値を超える区間を広げるように再生区間を規定するオフセット時刻であるｔｓおよびｔｅがある。それぞれには、最小値および最大値そして変化させて最適値を探るためのステップが存在しているとする。それらについては、後に詳述する。

また、「キーワード」によるパラメタは、次の第二の実施形態の中で説明する。

さらに、演算内容情報１０５は、図８Ｂに示されるように、個々のパラメタの値も設定される。パラメタの値は、パラメタ全体の共通基本演算内容２６０１、ジャンル別の情報である共通ジャンル別演算内容と、個々のユーザの持つ演算内容情報がある。個々のユーザの持つ演算内容情報も、基本部分の情報とジャンル別部分の情報に分けられている。

個々のユーザの持つ演算内容情報は、ユーザ依存の部分であり、すなわちユーザ１（２０１０）、ユーザ２（２０２０）、ユーザ３（２０３０）…などそれぞれに向けたユーザｉ演算内容情報が存在する。

それぞれがジャンル別の演算内容と、ジャンルに依存しない基本演算内容に分けられて記録されているのは、これらは既に録画された映像あるいはこれから新規に入力されるであろう映像のダイジェスト映像情報作成に用いられものであり、ジャンルとして属性が得られた場合は、ジャンル別の演算内容を用い、それ以外の場合には基本演算内容を用いてダイジェスト映像情報を作成するという趣旨である。

これらのパラメタの値から、シーン重要度情報１１４を生成する処理については、後に、説明する。

パラメタは、ある映像により作成しておき、後に、別の映像についてダイジェスト映像情報の作成に用いることもできる。このとき、新たな映像を用いてユーザ操作をして、映像を再生する場合には、これらのパラメタを再度解析するなどして、できるだけ多くの映像に適したユーザの嗜好をパラメタとして抽出しておくことが望ましい。

次に、図９を用いてシーン重要度情報１１４について説明する。
図９は、シーン重要度情報１１４の一例を示す図である。

シーン重要度は、最終的なダイジェストを再生する位置を評価するための指標であり、映像の再生単位（開始時刻、終了時刻）（シーン）ごとに、シーン重要度が定義されている。

次に、図１０を用いて再生位置情報１１６について説明する。
図１０は、再生位置情報１１６の一例を示す図である。

再生位置情報１１６は、シーン重要度情報１１４に基づいて最終的にダイジェストで映像の再生する場合の映像の再生位置を示したものであり、録画再生部１８０に渡されて映像の再生がおこなわれるデータである。
（III）ユーザの映像視聴イメージと操作情報１８７
次に、図１１を用いてユーザの映像視聴イメージについて説明する。
図１１は、ユーザの映像視聴をしているときのイメージを示した図である。

ユーザが映像を視聴するときには、映像装置３０１は、図１に示されるように、表示部１８６上によりユーザに提示する画像を生成して、表示装置１９０に表示する。この表示装置上１９０には、動画像の映像表示領域３０２、映像の選択を可能とする映像選択領域３２０、再生中の映像時刻を把握するためのロケーター領域３０３、および、ユーザが再生操作入力をおこなうための操作ボタン領域３１０、ダイジェスト再生に関する指示をおこなうためのダイジェスト機能指示領域３５０等が表示されているとする。

また、図１１に示される映像装置３０１は、図１に示された録画再生部１８０およびダイジェスト映像情報作成部１００を有しており、装置パネル３３０には、操作スイッチがある。この映像装置３０１は、リモートコントローラ（以下、「リモコン」と略す）３４１や、キーボード３４２、マウス３４３が接続可能であり、これらは、図１の操作部１８２に該当するものであり、ユーザの操作情報を入力可能であるとする。

ダイジェスト機能指示領域３５０には、通常再生からダイジェスト再生に変更するための再生方法変更ボタン３５０、映像をダイジェスト作成する場合のジャンルを変えるジャンル変更入力ボタン３５１、ダイジェストを作成する方法を変更する方法変更入力ボタン３５２、あるいは、ダイジェスト映像の概算時間を変更するダイジェスト時間入力ボタン３５３の各部品が表示されている。また、これら各部品をリモコン３４１上に配置してもよい。図１１では、リモコン３４１上に、再生方法変更ボタン３４５が配されている。

ユーザが映像情報記録部１８４に既に録画してある映像データを視聴する場合には、まず所望するコンテンツを指定する。例えば、映像データの一部である静止画像あるいは動画像の縮小表示画像と映像管理表の一部、および、映像属性の一部を映像単位３２１,３２２,３２３、映像選択領域３２０に表示する。ユーザは、リモコン３４１や装置本体の操作パネル３３０上のスイッチ等の操作部１８２を用いて、この中から所望する映像をひとつ選択する。また、キーボード３４２やマウス３４３からも指示を入力することができ、これらを用いて表示装置中の画面中に表示するポインタ３１６を用いて所望する部分を選択し、決定してもよい。このように選択された映像は、動画像は映像表示領域３０２に表示され、図示しないが音響データはスピーカから提示されることでユーザ視聴が可能となる。映像は前述と同様な操作部１８２を用いて映像の視聴方法を操作する。例えば、図３の表示内の操作ボタン３１０を選択することにより、早戻し３１１、停止３１２、一時停止３１３、再生３１４、早送り３１５の操作をおこなうことにより、再生の状態を変化させることができる。なお、表示している再生中の全体位置を視覚化しユーザに提示するため、図に示されるように、ロケータ領域３０３に表示したロケータ３０４といわれる表示対象をシークバー３０５と呼ぶ部品の近くに表示しても良い。図１１に示されるシークバー３０５の場合には、一番左が映像の開始時刻、一番右を映像の終了時刻に対応し、ロケータはこの間を移動することによって、ユーザが再生中の時刻を認識可能である。また、前述の操作部からのユーザ指示により、ロケータを手動で移動させることで、再生位置をジャンプさせることが可能であるとする。さらに、映像の総録画時間と現在の再生中の時刻を表示し（３０６）、指示部によりこの再生中の時刻を変更することで再生位置をジャンプ可能とさせてもよい。

これらのユーザの操作は、前述の通り操作部１８２から録画再生制御部１８０に入力され表示状態を変更するが、この内容は、図４に示した操作情報１８７としてダイジェスト映像情報作成部１００に出力される。なお、この出力は、ユーザ操作の際に逐次出力しても、記録し後に、まとめて出力してもよい。

以下、出力される操作情報の具体例について既に示した図４を用いて説明する。

図４に示されるユーザ１操作履歴４１０によれば、ユーザ１は、［＃１］２００６年１２月１８日の２２時０１分頃、映像ＩＤが１の映像を選択し（図１１の映像単位３２１を選択した）映像をロード（映像情報記録部１０４より読出し、再生可能な状態にする）した。次に、［＃２］２２時０１分頃、再生指示をおこない再生を開始した。この際、コンテンツ位置は、開始位置である”００：００：００．０００”からであり、その速度は１．０、すなわち、通常再生であった。次に、［＃３］２２時０２分頃、すなわち、４６秒ほど再生してから（”００：００：４６．８２２”）ロケータを操作するなどして位置”０：１０：４３．０２４”にジャンプ、すなわち、「０分４６秒８２２」から「１０分４３秒０２４」の時刻へ再生位置を移動した。さらに、［＃４］” ０：１０：４３．０２４”から再生を開始した。次に、［＃５］ ２２時０７分頃、位置” ０：１６：０１．１３０”を再生中に早戻しして、その際の再生速度は−５、すなわち、通常の５倍の速度で再生しながら映像の開始方向へ移動を開始した。これらのように、ユーザ１がＩＤ１の映像に対して一連の操作をしながら視聴をおこなった履歴を操作情報として出力される。
（IV）ダイジェスト映像情報作成処理
次に、図１２ないし図２５を用いて第一の実施形態に係るダイジェスト映像情報作成処理について説明する。

（IV−１）ダイジェスト映像情報作成処理の概要
先ず、ダイジェスト映像情報作成処理の概要について、図１２および図１３を用いて説明する。
図１２は、ダイジェスト映像情報作成処理のシーン重要度情報を作成するまでの処理を示すゼネラルチャートである。
図１３は、ダイジェスト映像情報作成処理の再生位置情報を作成する処理を示すフローチャートである。

先ず、図１２によりダイジェスト映像情報作成処理のシーン重要度情報を作成するまでの処理について説明する。

全体の制御処理は、ダイジェスト制御部１２０の制御の下におこなわれる。

先ず、後に説明する相関度変化の終了閾値Ｌをあらかじめ決定しておく（ステップ５０１）。

次に、録画中や録画後に映像データが入力されると（ステップ５０２）、特徴抽出処理をおこなう（ステップ５０３）。

特徴抽出処理は、特徴抽出部１１１により映像データから、図５に示される特徴情報１１１を取り出す処理である。この特徴抽出処理は、後に詳説する。

次に、ユーザが視聴中の間は（ステップ５０４）、操作履歴解析処理をおこなう（ステップ５０５）。

操作履歴解析処理は、ユーザの映像装置に対する操作に応じて、操作重要度情報１０６を更新する処理である。この操作履歴解析処理は、後に詳説する。

次に、ダイジェスト映像情報を作成するための特徴情報の種類を決定する（ステップ５０６）。本実施形態では、特徴情報の種類としては、音響盛上り情報によるものであった。

次に、ダイジェスト映像情報を作成するためのパラメタの値を初期化しておく（ステップ５０７）。パラメタに関する処理については後に詳述するが、ここではＮ個あるとして説明する。

また、図８Ａの所でも説明したように「音響盛上り」によるパラメタとしては、変数として、音響盛上がりの閾値ｔｈと閾値を超える区間を広げるように再生区間を規定するオフセット時刻であるｔｓおよびｔｅを用いる。

次に、ユーザが良く再生した部分により合致するパラメータをシミュレーションにより調整する際の相関度の最大値Ｃｍａｘを０として初期化する（ステップ５０８）。

そして、パラメタを一つ一つ決定していくループに入る（ステップ５０９）。

次に、演算内容管理部１０１に、パラメタ指定処理として、現在のパラメタとのその値を設定する（ステップ５２０）。パラメタ指定処理については、後に詳説する。

そして、現在設定されたパラメタに基づき、シーン重要度演算部１１３は、シーン重要度情報作成処理をおこなう（ステップ５２１）。シーン重要度情報作成処理は、後に詳説する。

次に、比較評価部１０３は、比較評価処理をおこなう（ステップ５２２）。

比較評価処理は、現時点でのシーン重要度と操作重要度を評価しながら、相関度を求める処理である。この比較評価処理については、後に詳説する。

そして、ダイジェスト映像情報制御部１２０は、ステップ５２２の比較評価処理により計算された相関度をｃとして取得し（ステップ５２３）、相関度の最大値であるＣｍａｘと比較して（ステップ５２４）、相関度ｃがＣｍａｘよりも小さくない場合には、そこで、相関度ｃとＣｍａｘとの差分を相関度変化の終了閾値Ｌと比較し（ステップ５２５）、相関度ｃとＣｍａｘとの差分が、相関度変化の終了閾値Ｌよりも大きくなった場合には、この時点でのパラメタ更新処理をおこない（ステップ５２６）、終了する。パラメタ更新処理は、後に詳説する。

また、相関度ｃがＣｍａｘよりも小さい場合、あるいは、相関度ｃとＣｍａｘとの差分が、相関度変化の終了閾値Ｌよりも大きい場合には、差分が打ち切り閾値よりも大きい場合には、演算内容管理部１０１におけるパラメタのパラメタ変更処理をおこない（ステップ５３０）、現在解析中の当該パラメタ解析が完了していれば（ステップ５３１）、次のパラメタを解析するために、次のループに行き（ステップ５０９）、当該パラメタ解析が完了していない場合には、パラメタ変更処理により、変更したパラメタにより、再度、シーン重要度情報作成処理（ステップ５２１）から解析を継続する。パラメタ変更処理は、後に詳説する。

次に、図１３により映像情報作成処理の再生位置情報を作成するまでの処理について説明する。

再生位置情報を作成する処理は、再生位置情報作成部１１５が、上記の図１２のチャートに示した処理に、基づいて再生位置情報１１６を生成する処理である。

先ず、どれくらいの再生時間を持つダイジェストを作成するかという再生時間が設定される（ステップ３６００）。この再生時間は、ダイジェストを視聴するユーザが指定する場合もあるし、装置の標準値を定めておいてもよい。

次に、シーン重要度情報１１４を取得し（ステップ３６０１）、これを重要度の高い順に並び替える（ステップ３６０２）。

次に、再生位置情報と、再生の合計時間を記録する変数Ｔを０に初期化し（ステップ３６０３）、並び替えたシーン重要度情報の順に、項目であるシーンの終了時刻と開始時刻を得る（ステップ３６０４）。これらの差はそれぞれのシーン長であり、現在のＴとシーン長の和が指定された再生時間と比較し（ステップ３６１０）、指定再生時間よりも短い間、再生箇所として再生位置情報に追加し（ステップ３６１１）、合計時間Ｔにシーン長を加える（ステップ３６１２）。このように重要度順にシーン評価と追加を指定再生時間を越えない範囲で再生位置情報１１６を作成し、これを再生に便利なように、開始時刻順に項目を並び替えて（ステップ３６０５）、再生情報情報１１６に登録する（ステップ３６０５）。このようにして、シーン重要度情報が高く評価されたシーンの順に、かつ、再生時間を超えない範囲で再生位置情報１１６を作成することができる。

録画再生制御部１８３は、このようにして生成された再生位置情報１１６に基づいて、当該映像を開始位置から終了位置までのシーンを単位に項目を追って再生することより、ダイジェスト映像を再生、図１の表示部１８６、表示装置１８７を通じてユーザが視聴することができる。

（IV−２）特徴抽出処理の詳細
次に、既に採り上げた図５と、図１４および図１５を用いて特徴抽出処理５０３の詳細について説明する。
図１４は、特徴抽出処理の一例として、音響盛上り情報を生成するときの概念図である。
図１５は、特徴抽出処理の一例として、音響盛上り情報を生成するときの処理を示すフローチャートである。

特徴抽出処理は、特徴抽出部１１１により映像データから、図５に示される特徴情報１１１を取り出す処理であり、これにより取り出される特徴情報１１１は、映像情報記録部１８４に記録された、あるいは、録画再生制御部１８３から直接得られた映像データ（付帯する動画像データ、音響データ、および、記号データを含むものである。また、特徴情報１１１は、入力部１８１から得られた符号化されたままのデータおよび復号部１８５で復号化されたデータのいずれでもよい。

特徴抽出処理を実行するために、映像情報１１０を、先ず、特徴抽出部１１１に入力する。この映像情報中の映像データ２１１（図３）から所定の計算により、当該映像データに対する物理特徴が算出され、あるいは、記号処理に基づく記号特徴が生成されて特徴情報１１２として記憶される。ここで物理特徴とは、映像データから物理学的な原理に基づいて計算される統計量である。物理特徴は、当該映像データの特性を表現するが、視聴者の感覚に即した映像の重要度とは必ずしも一致しない。また、記号特徴とは映像データに含まれる記号列、例えば、字幕のような映像を説明する文字列などから、名詞や動詞等の品詞分解した新しい記号列や、文字列の読み上げ方を表すための発音記号列などである。

本実施形態で扱う映像の音響盛上がりによる特徴は、この内の物理特徴に属する。記号特徴の例は、次の第二の実施形態で取り扱うものとする。

なお、物理特徴および記号特徴が映像データ１１０に既に添付されて送られている場合は、これを特徴情報１１２として、直接保存、あるいは、特徴抽出部１１１に直接入力してもよい。

次に、特徴抽出部１１１でおこなう、特徴として音響データよりそのパワーを基に盛上りデータを抽出し適用する場合を例にとって具体的に説明する。
特徴情報１１２は、図５に既に示したように、映像１特徴情報６０１の番組特徴管理表６１０の中に、番組ＩＤが１の番組に対して音響盛上り情報６１１が記録されている
ここで、特徴抽出のために、入力される音響データは、図１４に示されるように、十分に短い間隔で標本化（サンプリング）されたサンプルデータが左右それぞれに対して含まれている（音響サンプル）とし、これらの値を２乗平均を求めておく。これを、音響パワー情報７０１と呼ぶことにする。この際、データ量削減のため、所定の長いサンプリング期間へ、移動平均法等の方式で変換（ダウンサンプル）する処理をおこなってもよい。

以下、図１５により音響盛上り情報を生成するときの処理を説明する。

具体的には、図１５は、図１４に示された音響パワー７０１から盛上り度７１０を作成する処理を示している。この処理では、入力となる音響パワーの時系列から、パラメタτ（図７の７０２）を用いて音響の盛上り度合いを０〜１の間でとる特徴として出力する。なお、移動区間長τは、予め決められているものとする。

先ず、音響時刻ｔを０から音響パワーの最大の時刻となるまで時刻をずらしながら、ｔからｔ＋τまでの区間の音響パワー値のうち最低値を与えるＰｍｉｎを時刻ｔにおける値として選択する（ステップ８０１）。

この値は音響パワーの最小値〜最大値の間をとるが、これを０〜１に対応させるように正規化し、これを時刻ｔにおける音響盛上り値とする。（ステップ８０２）。この値を時刻ｔにおける音響盛上り度と、すべての音響時刻において（正確には（最大値−τ）の時刻まで）、音響盛上り情報６１１（図６）の項目に設定して、処理を終了する（ステップ８０３）。なお、これらの処理フローは全て音響時刻が完了した場合に音響盛上り値を音響盛上り情報６１１（図６）へ渡して終了するとしたが、各音響時刻ごとに音響盛上り値を音響盛上り情報６１１（図６）へ渡し、各時刻での演算を終了させた後に、再度、図１５のフローチャートに示される処理を継続するようにしてもよい。

（IV−３）操作履歴解析処理の詳細
次に既に採り上げた図４、図６、図１１と、図１６ないし図１８を用いて操作履歴解析処理の詳細について説明する。
図１６は、操作履歴解析処理５０５の処理の詳細を示すフローチャートである。
図１７は、操作重要度情報の構築していく過程を説明する図である。
図１８は、操作重要度情報を構築した結果例を示す図である。

操作履歴解析処理５０５は、図４に示した操作情報１８７の各操作を、図７に示したアクションスコアテーブル１０４に基づいて得点付けをして、各時刻ごとの映像に対して計算される図６に示される操作重要度情報１０６を説明するためのものである。

以下の操作履歴解析処理５０５により操作重要度情報１０６を作成する処理では、ユーザの変更はないことを前提にして説明するが、ユーザ変更があった場合に対応できるように処理をおこなってもよい。

以下、図４のユーザ１操作履歴４１０が、操作情報解析部１０２に入力されるものとして説明する。

また、入力されるユーザの操作情報１８７（図４のユーザ１操作履歴４１０）がまとめて入力されることを前提に説明するが、操作ごとに逐次入力されてもよい。

先ず、既に当該映像１の操作重要度情報１０６がある場合には（ステップ１００１）、その操作重要度情報１０６を取得する（ステップ１００２）。なお、当該映像に対する操作重要度情報がない場合には、メモリ確保等の初期化をおこなう（ステップ１００３）。ユーザの再生操作がある間（ステップ１００４）、その操作情報を取得し（ステップ１００５）、先ず、項番１の操作「ロード」を取得する。

取得できないまたは終了ではない場合（ステップ１００６）には、記録してある映像ＩＤに変更がないか確認する（初回は除く）（ステップ１００７）。これにより、ＩＤに変更がある、すなわち、異なる映像がロードされた場合には、現状の操作重要度情報を更新し（ステップ１０２０）、最初の処理に戻る。同じ映像である（または初回）の場合には、アクションスコアテーブル１０４から当該操作での得点を取得する（ステップ１００８）。

以下では、図７に示したアクションスコアテーブル１０４の具体例に従って説明する。

図７では、「再生」をおこなった場合に１点、その他は０点となっている。

したがって、図４のユーザ１操作履歴４１０での項番１の「ロード」では得点が０である。前回の内容は存在しないため（ステップ１００９）、今回の内容しては開始時刻と得点を記録しておき、それぞれ“０：００：００．０００”，“０”として前回の内容を更新し（ステップ１０１０）、次の操作取得をおこなう。

次の項番２「再生」を取得して（ステップ１００５）映像位置は“０：００：００．０００”、得点は１点であることがアクションスコアテーブル１０４からわかる（ステップ１００８）。前回の内容は「ロード」であり、得点は０点であったから得点付けは不要であり（ステップ１００９）、今回の「再生」に関して、前回の位置を映像位置“０：００：００．０００”とし、および前回の得点“１”として、前回の内容を更新し（ステップ１０１０）、次の操作取得をおこなう。

次の項番３「ジャンプ」を取得して（ステップ１００５）、映像位置は“０：００：０４６．８２２”、得点は０点であることがアクションスコアテーブル１０４からわかる（ステップ１００８）。前回の内容は「再生」であり、得点は１点であったから得点付けは必要である（ステップ１００９）ことがわかる。ここで、前回の内容から“０：００：００．０００”を得て、現在の映像位置（ジャンプをおこなった位置）が“０：００：０４６．８２２”であることから、前回の「再生」をおこなった区間は、開始位置が“０：００：００．０００”終了位置が“０：００：０４６．８２２”であることがわかる。したがって、この区間を得点“１”とし、映像の位置関係を比較する。前回の再生の以前には操作重要度がなかったことから関連重要度情報なし（ステップ１０３０）で、分割の必要なし（ステップ１０３１）として得点付けをおこなう。

このように前回の操作に関する操作重要度の評価を、今回の操作が分かった時点で評価するのは、上記のように、「再生」の場合でも終了位置がわかるのは、「再生」の操作の次の操作であるためである。また、操作重要度を与える映像の区間を分割するのは、後に出てくるが、「再生」が累積された場合に、その区間の操作重要度を高く評価するためである。

そして、図１７（ａ）に示されるように、開始“０：００：００．０００”、終了“０：００：０４６．８２２”、得点“１”の部分１２１０を作成する。そして、前回の内容として、前回の位置を映像位置“０：００：０４６．８２２”、得点を「ジャンプ」の得点“０”として更新する。

次の項番４「再生」を取得して（ステップ１００５）、映像位置は“０：１０：４３．０２４”、得点は１点であることがアクションスコアテーブル１０４からわかる（ステップ１００８）。前回の内容は「ジャンプ」であり、得点は０点であったから得点付けは不要であり（ステップ１００９）、今回の「再生」に関して、前回の位置を映像位置“０：１０：４３．０２４”とし、および前回の得点“１”として、前回の内容を更新し（ステップ１０１０）、次の操作取得をおこなう。

次の項番５「早戻し」を取得して（ステップ１００５）、映像位置は“０：１６：０１．１３０”、得点は０点であることがアクションスコアテーブル１０４からわかる（ステップ１００８）。前回の内容は「再生」であり、得点は１点であったから得点付けは必要である（ステップ１００９）ことがわかる。ここで、前回の内容から位置“０：１０：４３．０２４”を得て、現在の映像位置（早戻しをおこなった位置）が“０：１６：０１．１３０”であることから、前回の「再生」をおこった区間は、開始位置が“０：１０：４３．０２４”終了位置が“０：１６：０１．１３０”であることがわかる。したがって、この区間を得点“１”映像位置関係する。前回の再生の以前には操作重要度がなかったことから関連重要度情報を取得するが（ステップ１０３０）、この時刻との関係で重複する部分がないため分割の必要なし（ステップ１０３１）として得点付けをおこなう。

そして、図１７（ｂ）のように、開始“０：１０：４３．０２４”、終了“０：１６：０１．１３０”、得点“１”の部分１２１１を作成する。そして、前回の内容として、前回の位置を映像位置“０：１６：０１．１３０”、得点を「早戻し」の得点“０”として更新する（ステップ１０１０）。

次の項番６「再生」を取得して（ステップ１００５）、映像位置は“０：０１：１２．８２４”、得点は１点であることがアクションスコアテーブル１０４からわかる（ステップ１００８）。前回の内容は「早戻し」であり、得点は０点であったから得点付けは不要であり（ステップ１００９）、今回の「再生」に関して、前回の位置を映像位置“０：０１：１２．８２４”とし、および前回の得点“１”として、前回の内容を更新し（ステップ１０１０）、次の操作取得をおこなう。

次の項番７「ジャンプ」を取得して（ステップ１００５）、映像位置は“０：０３：１０．３１１”、得点は０点であることがアクションスコアテーブル１０４からわかる（ステップ１００８）。前回の内容は「再生」であり、得点は１点であったから得点付けは必要である（ステップ１００９）ことがわかる。ここで、前回の内容から位置“０：０１：１２．８２４”を得て、現在の映像位置（早戻しをおこった位置）が“０：０３：１０．３１１”であることから、前回の「再生」を行った区間は開始位置が“０：０１：１２．８２４”終了位置が“０：０３：１０．３１１”であることがわかる。したがって、この区間を得点“１”とし、映像の位置関係を比較し、関連する重要度情報を取得する（ステップ１０３０）。

ここで、図１７（ｂ）に示され重複する部分１２１０が存在するの区間の操作重要度を取得し、今回の部分と重複する部分を考慮して分割し（ステップ１０３１）得点付けをおこなう。その結果、図１７（ｃ）に示されるように、区間“０：００：００．０００”〜“０：０１：１２．８２４”は得点“１”の部分１２２０、区間“０：０１：１２．８２４”〜“０：０２：４６．８２２”は、得点“２”の部分１２２１、区間“０：０２：４６．８２２”〜“０：０３：１０．３１１”は、得点“１”の部分１２２０として、操作重要度情報を与える区間を分割する。そして、前回の内容として、前回の位置を映像位置“０：１６：０１．１３０”、得点を「早戻し」の得点“０”として更新する（ステップ１０１０）。

このようにしてユーザ操作情報を次々と解析することで映像ごとの操作重要度情報を構成し、最終的に再生した区間がより得点の高い、そのユーザが所望したと考える区間として重要と考える部分として構築されていく。図１８は、このようにして映像の時刻ごとに操作重要度を与えた一例を示したものである。

（IV−４）シーン重要度情報作成処理の詳細
次に既に採り上げた図９と、図１９および図２０を用いてシーン重要度情報作成処理の詳細について説明する。
図１９は、シーン重要度情報１１４の作成する方法の概念図である。
図２０は、第一の実施形態に係るシーン重要度情報１１４を作成する方法の処理を示すフローチャートである。

シーン重要度情報１１４は、図９に示したように、最終的なダイジェストを再生する位置を評価するための指標であり、映像の再生単位（開始時刻、終了時刻）ごとに、シーン重要度が定義されているものであった。

シーン重要度演算部１１３は、映像データから抽出した特徴として音響盛上り情報からシーン重要度情報を作成する。

例えば、図１９の左部分で説明すると、映像の時間軸１７０２に対する音響盛上がり情報の盛上がり度１７０１が、閾値ｔｈ（１７２０）を越える時刻１７２２と再びｔｈを下回る時刻１７２３を求めておき、それを基本区間とし、その前後に時間ｔｓ（１７２１）およびｔｅ（１７２４）を加えて区間を広げた開始時刻ｓ１（１７３１）と終了時刻ｅ１（１７３２）を求め、この区間についての盛上がり度ｑ１を盛上がり情報の最大値を１となるように正規化した値をシーン重要度Ｍ１（１７５０）とする。

以下、このシーン重要度生成処理を、図２０のフローチャートにより説明する。

先ず、演算内容管理部１０１より管理されている演算内容情報１０５のパラメタ情報１５０１（図８Ａ）の既に説明した処理により規定されている閾値ｔｈおよび再生区間を規定するオフセット時刻であるｔｓおよびｔｅを得る（ステップ１８０１）。

また、特徴情報１１２より、音響盛上がり情報６１１（図５）を取得する（ステップ１８０２）。音響盛上がり情報は時刻の昇順に並べられているとして、項番の総数Ｅに関して順に（ステップ１８０３）盛上がり度を取得しｔｈと比較し（ステップ１８１０）、超えている場合には変数Ｍにその盛上がり度を記録し（ステップ１８１１）、そのときの開始時刻を変数ｓに記録する（ステップ１８１２）。その次の項番より（ステップ１８１３）、盛上がり度がＭを超える場合には（ステップ１８２０）、Ｍを更新し（ステップ１８２１）、ｔｈを下回らない間中（ステップ１８２２）、次々と比較する。盛上がり度がｔｈを下回った場合には、変数ｅにそのときの開始時刻（直前の終了時刻に等しい）を記録する（ステップ１８２３）。そして、ｓ−ｔｓを開始時刻、ｅ＋ｔｅを終了時刻、Ｍを重要度としたシーン重要度情報を追加し（ステップ１８２４）、ループを終えるが、この時点で解析が終わった音響盛上がり情報の項番（このフローではｊ）を上位ループの項番（同じくｉ）に代入し（ステップ１８２５）、解析を継続する。すべての項番の音響盛上がり情報の処理を終えた後、シーン重要度の最大値を元に正規化（ステップ１８０４）したシーン重要度情報を作成し（ステップ１７２５）、処理を終了する。

シーン重要度の最大値を元に正規化するとは、例えば、その最大値で各シーン重要度を割って、０から１までの値に収まるようにすることである。

（IV−５）比較評価処理の詳細
次に、図２１および図２２を用いて比較評価処理５２２ついて説明する。
図２１は、比較評価処理５２２の概念を説明する図である。
図２２は、比較評価処理５２２を示すフローチャートである。
比較評価処理は、現時点でのシーン重要度と操作重要度を評価しながら、相関度を求める処理である。相関度は、シーン重要度と操作重要度との相関度の意味であり、この値が大きくなるように、パラメタを調節するための指標でもある。

先ず、図２１により、比較評価処理５２２の概念で説明すると、図２１（ａ）のグラフ１７１１は、シーン重要度演算部１１３で作成されたシーン重要度情報１１４であり、図２１（ｂ）のグラフ１３０１は、操作情報解析部１０２で作成された操作重要度情報１０６であり、映像の時間軸は、上下で対比している。

このとき、両図の左部分で説明すると、ダイジェスト映像の一区間として検出された開始時刻ｓ１（１７３１）から終了時刻ｅ１（１７３２）で囲まれた区間Ｔ１（２０２１）に関して、その区間での最大の操作重要度Ｉ１（２０１１）とＴ１を掛け合わせた矩形領域に対して、操作重要度のグラフが作る黒い部分ｐ１（２００１）、すなわちこの区間に含まれる操作重要度の項番の一部で重要度と時間の積の総和を求める。これを全てのシーン重要度情報に関連して、前述の矩形領域の総和に対する操作重要度部分の総和と、シーン重要度情報の総和との比を求め、これを相関度とする。この相関度は、以下の（式１）により求められる。

ここで、シーン重要度情報は、Ｎ個あるものとしている。

以下、図２２により比較評価処理５２２を説明する。

先ず、操作重要度情報１０６を取得し（ステップ２１０１）、次に、シーン重要度情報１１４を取得する（ステップ２１０２）。

次に、変数ＣとＰを０に初期化する（ステップ２１０３）。全てのシーン重要度情報１１４の項番に対して（ステップ２１０４）、開始時刻ｓと終了時刻ｅを取得する（ステップ２１２０）。次に、操作重要度情報１０６から時刻ｓを含む項番ｘを検索し（ステップ２１２２）、また時刻ｅを含む項番ｙを検索する（ステップ２１２２）。次に、操作重要度情報（ｘ）と操作重要度情報（ｙ）、および、はさまれる操作重要度Ｉを用いて、時刻ｓからｅまでの時刻と重要度の積和ｐを計算し（ステップ２１２３）、Ｐに積算していく（ステップ２１２４）。さらに、前述の矩形領域としてＩ＊（ｅ−ｓ）をＣに積算していく（ステップ２１２５）。これらを全てのシーン重要度情報の項番に関して求め、Ｃが０であれば（ステップ２１１１）相関度を０に（ステップ２１４２）、それ以外であればＰ／Ｃを相関度として出力（ステップ２１１２）して、処理を終了する。

（IV−５）パラメタに関する処理と相関度の調整
次に、図２３ないし図２６を用いてパラメタに関する処理と相関度の調整に関して説明する。
図２３は、パラメタを調節して相関度を調整することを説明する図である。
図２４は、パラメタ指定処理５２０を示すフローチャートである。
図２５は、パラメタ変更処理５３０を示すフローチャートである。
図２６は、パラメタ更新処理５２６を示すフローチャートである。

先ず、図２３によりパラメタを調節して相関度を調整することの意義について説明する。

図２３に示されるパラメタｒとは、本実施形態では、具体的には、「音響盛上り」によるパラメタである音響盛上がりの閾値ｔｈ、再生区間を規定するオフセット時刻であるｔｓおよびｔｅである。

この図２３に示されるように、パラメタｒ（２４０２）を最小値ｒ＿ｍｉｎ（２４１３）から最大値ｒ＿ｍａｘ（２４１５）までを変化量Δｒ（２４１４）で相関度ｃ（２４０１）を求めていくと、相関度を最大にするｒ^＊（２４１２）が存在した場合、これを用いて、このｒに関してユーザ嗜好に対し適した値として更新して、シーン重要度情報１１４を求めるものである。そして、これを他の全てのパラメタに関して求めることで、より最適なシーン重要度情報１１４をパラメタ群を選定する。

次に、図２４によりパラメタ指定処理５２０について説明する。

パラメタ指定処理５２０は、パラメタの値の初期化処理である。

先ず、演算内容管理部１０１に、処理内容と、調整するパラメタが与えられると、図８Ａに示される演算内容情報１０５のパラメタ情報１５０１から該当するパラメタの変数を取得し（ステップ１６０１）、最小値、最大値、変化量の値を取得する（ステップ１６０２）。そして、パラメタの値を最小値に設定する（ステップ１６０３）。

次に、図２５によりパラメタ変更処理５３０について説明する。

パラメタ変更処理５３０は、パラメタの値を変更する処理である。

演算内容管理部１０１は、現在のパラメタの値に変化量を加算して、新たなパラメタの値とする（ステップ２５０１）。

そして、そのパラメタの値が定められている最大値を超えた場合には（ステップ２５０２）、当該パラメタは解析完了とした旨を設定し（ステップ２５０４）、それ以外は、そのパラメタを値を格納する（ステップ２５０３）。

次に、図２６によりパラメタ更新処理５３０について説明する。

パラメタ更新処理５３０は、現在のパラメタの値を演算内容情報１０５にフィードバックする処理である。

このパラメタ更新処理５３０のルートに行くときは、相関度ｃが最大となっているので、現在のパラメタ値を取得して（ステップ２３０１）、ユーザ／カテゴリ別の演算内容として演算内容情報１０５に記録する（ステップ２３０２）。

なお、パラメタ同士に関連がある場合には、パラメタ群一通りの解析を１単位として、何単位もまとめて、シーン重要度情報１１４の生成と、相関度による最適なパラメタ調節をおこなってもよい。

また、本実施形態では音響盛上りによりダイジェスト作成映像情報作成方法に関してのみの解析であったが、他の作成方法との組み合わせて総合的に最適な作成方法、あるいは複数の組み合わせと、それらをおこなうためのパラメタ群を求めてもよい。そのときには、図８Ｂに示した演算内容情報に示されるように、それら求めたパラメタを、演算内容情報１０５中に、ユーザ毎、映像が属するジャンルごとに分類して保存する。
（V）ダイジェスト映像再生処理
次に、図２７を用いてダイジェスト映像再生処理について説明する。
図２７は、ダイジェスト映像再生をおこなうときのシークバーの表示例を示す図である。

このように、本実施形態では、ユーザ操作を解析し、それを定量化して評価することにより、明示的なユーザからの指示無く、シーン重要度を求めて、パラメタを調整しつつ、ダイジェスト映像情報を作成する。そのため、ユーザ嗜好を自動的に抽出したダイジェスト映像情報が作成可能となる。ダイジェスト映像を再生する場合には、図１０に示された再生位置情報１１６を、録画再生部１８０の録画再生制御部１８３に渡して再生させる。

ダイジェスト映像を再生ときに、例えば、図１１の表示装置１９０上の映像視聴において、ダイジェスト再生ボタン３５０をユーザが操作した場合のダイジェスト映像再生をした場合、再生中の全体位置を視覚化しユーザに提示するロケータ領域３０３に表示したシークバー３０５で再生する部分を表示してもよい。図２７に示されるダイジェスト映像再生をおこなうときのシークバー表示の例は、同一映像で異なるダイジェスト方式、パラメタを用いた場合の、再生部分が異なる二つの例が示されている（２７０１,２７０２）。ここで、一番左が映像の開始時刻、一番右を映像の終了時刻に対応し、黒い帯（２７１０〜２７１４,２７２１〜２７２８）は、その中でダイジェストとして抽出され再生がおこなわれる区間であるとしている。例えば「スポーツ（サッカー）」のジャンルに属する映像を視聴した場合、本実施形態を実施した場合、ユーザ操作前にはユーザごとの演算内容（２０１０〜２０３０）が存在しないとすれば、図８Ｂの共通ジャンル別演算内容２００２の「スポーツ（サッカー）」のパラメタを用いて、ダイジェスト映像区間２７０１を次々と再生していくとする。その後、ダイジェスト再生か否かに関係なく、ユーザ１が再生操作をおこなうと、ユーザ１演算内容情報２０１０のジャンル別演算内容２０１２が作成されて行く。そして、本実施形態によるダイジェスト映像情報作成方法を用いて、ユーザ１の操作に応じてパラメタが変化し結果として、ジャンル別演算内容２０１２の項番１のような項目と、パラメタが作成される。したがって、ユーザ１が「スポーツ（サッカー）」をダイジェスト再生する場合にはこのパラメタを用いた視聴前のダイジェスト映像区間（２７０１）とは異なり、それぞれの区間が変化したり、異なる区間を再生することが可能となる（２７０２）。また、他のジャンル、あるいは、他のユーザごとに演算方法やパラメタを管理しているので、それぞれに適した演算によるダイジェスト映像情報が作成可能となる。
（V）本実施形態の特徴
本実施形態によれば、ユーザの嗜好を対象となる映像に対するこれまでの再生操作情報を解析することで、ユーザからの明示的なダイジェスト生成の方法やパラメタに対する指示入力を必要とせず、映像のダイジェストの再生位置を自動的に調整することができる。

特に、本実施形態では、特徴情報として音声による盛上がりを採用しているために、映像の分野としてスポーツの実況中継などに適している。

また、解析方法としてくり返し視聴した区間や再生速度、再生方法により嗜好を評価することが可能となる。また、アクションスコアテーブルを精密なものにすることにより、嗜好の高い区間をしっかり視聴したか再生速度を速めて嗜好の低い区間を飛ばして視聴するなど、再生速度の変化や、再生方法の変化により嗜好を詳細に評価することが可能となる。

また、再生操作情報から解析した対象となる映像だけではなく、他の映像に対しても解析により得られた作成方法を利用したダイジェスト映像情報の作成をおこなうことが可能となる。

さらに、ユーザ毎に異なる嗜好をそれぞれの再生操作情報を解析することにより、それぞれのユーザに適したダイジェスト映像情報の作成が可能となる。

また、映像が属するジャンル毎に再生操作情報を解析することにより、それぞれのジャンル特有のユーザ嗜好を反映させることが可能となる。

〔実施形態２〕
以下、第二の実施形態を、図２８ないし図３４を用いて説明する。

第一の実施形態では、映像データに対して音響の盛上がりに着目して、特徴情報として抽出するものであった。

これに対して、本実施形態では、映像に含まれる動画像中のテロップや字幕データ等の文字データから人名部分を抜き出し、所望する人名が登場する映像データの部分を検索し、その前後を含む区間の映像をダイジェスト映像を構成する区間として、ダイジェスト映像情報を作成するものである。この人名検索によって、ダイジェスト映像情報を作成するのは、ＴＶのスポーツ映像のように選手が入れ替わり表示されたり、登場人物が複数存在する場合に、特定の人物が登場する部分をダイジェスト映像として視聴したい場合に効果的な方法である。例えば、野球の試合での打者毎に登場するシーン付近や、バラエティ等コーナーごとに登場人物が替わる場合に有効である。本実施形態の仮定とし、ユーザは、特に特定人物が登場する部分を視聴することとする。この視聴の仕方は、一般的に録画後に視聴する場合に映像全部を視聴するのではなく、重要な部分を視聴して時間を短縮して視聴する場合に自然な方法である。すなわち、このように登場人物が多い映像に関してのダイジェスト映像情報の作成方法としては、人物名が表示される部分を重視することで可能であるが、本実施形態では、ユーザが視聴を繰り返すことによってさらにそのユーザの視聴方法に適したダイジェスト映像を作成することが目的である。なお、以下の説明では、文字列情報が映像データ内に動画像とは別に保持され必要に応じて動画像上に重ねて文字が視認できるように表示するための字幕（またはクローズドキャプション）であるとして説明するが、動画像内にコンピュータグラフィクスなどの手法で埋め込まれたテロップ（または、スーパーインポーズ）であってもよい。この場合には、画像処理手法を用いた一般的なＯＣＲ（Optical Character Recognition：光学文字認識）技術等を用いることで、字幕と同様の扱いをすることが可能となる。同様に、音響から一般的な音声認識技術等を用いることで得られる文字列を扱ってもよい。

ここで、図２の映像情報記録部１８４における映像情報１１０の例、図１１のユーザの映像視聴をしているときのイメージの例、図４の操作情報の例は、第一の実施形態と同様のものであるとする。

また、ユーザが映像データを視聴する場合の操作情報１８７を取得する処理についても、第一の実施形態と同様である。

さらに、図１２に示した、ダイジェスト映像情報作成処理のシーン重要度情報を作成するまでの処理については、第一の実施形態と同様であり、各々の処理における異なる部分のみを詳細に説明し、それ以外の所は簡単に触れるものとする。

第一の実施形態と特に処理が異なる部分は、すなわち、特徴抽出処理５０３、パラメタ初期化処理５０７、および、シーン重要度情報作成処理５２１であり、以下、これらに関して詳細に説明する。
（I）ダイジェスト映像に関する情報とデータ構造
先ず、既に示した図８Ａ、図８Ｂと、図２８および図２９を用いて第二の実施形態に係るダイジェスト映像に関する情報とデータ構造を説明する。
先ず、図２８により第二の実施形態に係る特徴情報１１２について説明する。
図２８は、第二の実施形態に係る特徴情報１１２の一例を示す図である。

図２８に示される例では、特徴情報１１２として字幕人名特徴情報を有することが示されている。

映像１中に、映像データ中にある字幕、例えば「佐藤がボールをキープして田中にフィード」という文字列が区間「０：００：０５．２５５〜０：００：０８．８２２」に表示するといった字幕データがあった場合に、その情報が取り出され、図２８に示されるように、字幕人名特徴情報３０１１の項番１に格納される
映像特徴管理表３０１０の字幕人名情報のエントリは、その字幕人名特徴情報３０１１をポイントしている。

字幕人名特徴情報３０１１には、時間順に抽出された人名に関して、開始時刻、終了時刻、および、人名が登録されている。

次に、図８Ａ、図８Ｂ、および、図２９を用いて第二の実施形態に係る演算内容情報１０５について説明する。

本実施形態で用いられるパラメタ情報１５０１は、項番２の演算方法が、「キーワード」のパラメタである。キーワードによる処理のパラメタとしては、順序付けされて登録されているキーワード数のうちダイジェスト作成に用いるキーワードの上位からの個数であるｎｕｍＫｗｄ、登録キーワードを保持する配列としてｋｗｄ［］、再生範囲を規定するオフセット時刻であるｔｓおよびｔｅがあるとする。

そして、ｎｕｍＫｗｄ、ｔｓおよびｔｅに対しては、それぞれ、最大値、最小値、変化量が決められている。

次に、図２９を用いて第二の実施形態に係る演算内容情報１０５について説明する。
図２９は、第二の実施形態に係る演算内容情報１０５の各パラメタ値の一例を示す図である。

本実施形態で新たに加わる演算内容情報１０５は、キーワード毎に、重要度を定めたキーワード重要度情報である。これは、図８Ｂに示した演算内容情報１０５と共に記録されるものである。キーワード重要度情報は、ユーザ毎にさらにジャンルごとに保持され、ユーザがそれぞれのジャンルにおいて嗜好すると思われるキーワードを保持する。また、キーワード重要度情報は、ジャンル非依存のキーワード群を共通キーワード情報３１１１として記録されていてもよい。また、ユーザが独自に内容を変更したり追加、削除してもよく、その方法に関して本実施形態では、特に、限定しない。この、キーワード重要度には、項番とキーワード、および重要度が記録される。キーワードには重複が無く重要度の高い順に項番付きで管理されているものとして説明する。
（I）特徴抽出処理の詳細
先ず、図３０および図３１を用いて特徴抽出処理５０３の詳細について説明する。
図３０は、映像データ中の字幕データから字幕人名情報を抽出するときの概念図である。
図３１は、特徴抽出処理の一例として、字幕人名情報を抽出するときの処理を示すフローチャートである。

本実施形態の特徴抽出処理５０３は、映像データ中の字幕データから字幕人名情報を抽出して、図２８に示される特徴情報１１２の映像毎の字幕人名特徴情報を生成する処理である。

図３０に示されるように、映像データ中にある字幕、例えば「佐藤がボールをキープして田中にフィード」という文字列が区間「０：００：０５．２５５〜０：００：０８．８２２」に表示するといった字幕データがあった場合（ステップ２９０１）、特徴抽出部にてこの文字列を一般的な形態素（言語の中で意味を持つ最小単位）解析により単語に分解する（ステップ２９０２）。これにより、動詞や助詞、名詞などに分離され、特に人名に分類できる（ステップ２９０３）。これを元に、出現する区間と抽出された人名（ステップ２９０４）を映像データの一つの特徴として、字幕人名情報に登録する（ステップ２９０５）。これらステップを映像データすべてに関して蓄積することで、字幕人名情報をダイジェスト作成に用いることができる。
（II）操作重要度情報の生成
ユーザが映像を視聴するときの再生操作に基づいて、第一の実施形態の操作履歴解析処理５０５をおこなうことにより、操作重要度情報１０５を生成することができる。
（III）パラメタ初期化処理の詳細
次に、図３２を用いてパラメタ初期化処理について説明する。
図３２は、第二の実施形態に係るパラメタ初期化処理５０７を示すフローチャートである。

以下、採り上げる映像として映像１、ユーザがユーザ１、ジャンルが「スポーツ（サッカー）」として説明する。

先ず、字幕人名特徴情報３０１１（図２８）、操作重要度情報１０１１（図６））、キーワード重要度情報３１１３（図２９）を取得する（ステップ３２０１〜３２０３）。この際、ユーザ、現在の映像ＩＤ、映像の属するジャンルがわかっている場合にはそれぞれに適するジャンルの情報を取得し、そうでない場合にはそれぞれの共通情報３１１１を取得する。

そして、字幕人名特徴情報３０１１のすべての人名情報それぞれに関して（ステップ３２０４）、その区間にかかる操作重要度情報を求めその中で最大の重要度をｚとする（ステップ３２１０）。例えば、図３０の映像１の字幕人名特徴情報（２９０４）の項番１「佐藤」に関しての区間“０：００：０５．２５５”（開始時刻）〜“０：００：０８．８２２”（終了時刻）であれば、図６のユーザ１、映像１重要度９１１では、項番３および項番４がこの区間にかかるため、この二つのうちで最大の重要度“５”をｚに代入する。

キーワード重要度情報３１１３にキーワードがまだ登録されていない場合（ステップ３２２１）、現在の人名をキーワードとして登録しキーワード数Ｗを１とし（ステップ３２１５）、重要度をｚとし（ステップ３２１６）、次の人名へ処理を移す。

登録済みのキーワードが存在し、Ｗが１以上の場合には（ステップ３２１１）、重複キーワードを探す。すなわち、登録済みのキーワード重要度情報に関して、現在の人名とキーワードを比較し（ステップ３２２０）、同じであれば現在登録されている重要度よりもｚが大きい場合には（ステップ３２２１）、ｚを重要度として更新し（ステップ３２２２）、次の人名へ処理を移す。

すべてのキーワードと比較しても同じではなかった場合には、現在の人名を新しくキーワードとして登録し、キーワード数を１増加させ（ステップ３２１３）、重要度をｚにして（ステップ３２１４）、次の人名に処理を移す。

すべての人名を処理し終わった場合には、でき上がったキーワード重要度情報の重要度が高い順に内容を並び替え（ステップ３２０５）、演算内容情報中にキーワード重要度情報を更新し（ステップ３２０６）、処理を終了する。なお、同じジャンルの別の番組に関しても、このパラメタ初期化処理により、キーワードおよび重要度を更新することができる。
（IV）シーン重要度作成処理の詳細
次に、図３３および図３４を用いてシーン重要度作成処理の詳細について説明する。
図３３は、第二の実施形態に係るシーン重要度情報１１４を作成する方法の処理を示すフローチャートである。
図３４は、第二の実施形態に係るシーン重要度情報１１４を作成する方法の概念を説明する図である。

本実施形態のシーン重要度情報１１４を作成する場合のパラメタは、検索に用いるキーワード重要度情報の上位からの個数ｎｕｍＫｗｄと、再生となる時間区分を調整するための開始時刻オフセットｔｓと終了時刻オフセットｔｅである。

先ず、シーン重要度情報１１４を作成する処理では、演算内容管理部１０１より当該ユーザおよび当該映像のジャンルに対応したｎｕｍＫｗｄ，ｔｓ，ｔｅを取得する（ステップ３３０１）、および、キーワード重要度情報を取得する。ここで、取得されるパラメタは、図８Ｂのジャンル別演算内容２６１２の項番３に示されるものである。また、キーワード重要度情報は、図２９のジャンル別キーワード重要度情報である。

また、ダイジェスト映像情報を作成しようとしている該当の映像に関しての字幕人名特徴情報を取得する。字幕人名特徴情報は、図２８の３０１１に示されるものである。

次に、ｎｕｍＫｗｄの個数だけキーワード重要度情報の上位個数に関して、字幕人名特徴情報の人名から該当するキーワードを検索する（ステップ３３０４）。そこでは、まず字幕人名特徴より現在のキーワードを検索する（ステップ３３１０）。そこで検索されたすべての字幕人名情報それぞれに対して（ステップ３３１１）、当該字幕人名の開始時刻−ｔｓを変数ｓに、終了時刻＋ｔｅを変数ｅに、当該キーワードの重要度を変数ｑに代入し（ステップ３３２１）、追加する新しいシーン重要度要素を準備する。次に、シーン重要度情報中、区間ｓからｅにかかる要素を取得し（ステップ３３２１）、それぞれに対して（ステップ３３２２）、準備したシーン重要度要素（ｓ，ｅ，ｑ）を追加する場合に、要素の分割または変更が必要であるか否かを判断する。時刻が重なっているとして分割あるいは変更が必要である場合、開始時刻や終了時刻のどちらかが新しい要素にかかる場合には、これらを調整し時刻軸上で重なりが無いようにする。また、開始時刻と終了時刻に新しい要素がはさまれる場合には二つに分割しそれぞれの時刻を変更することにより、新しい要素を挟み込むように調整可能である。また、新しい要素の区間中に以前からある開始時刻と終了時刻が含まれる場合には、（１）新しい要素の開始〜以前の要素の開始、（２）以前の要素の開始〜以前の要素の終了、（３）以前の要素の終了〜新しい要素の終了に分けて調整可能である。ただし、これらは重要度が高い方になるよう、適宜調整することとする（ステップ３３３１）。すなわち、以前の要素中に新しい要素が含まれ、かつ、以前の要素の重要度の方が高い場合には、以前の要素をそのまま残し、新しい要素としては追加する必要は無い。このようにして、新しい要素が必要の場合は当該要素を登録する（ステップ３３３２）。

図３４により具体的に説明すると、例えば、重要度ｑ１（３４１０）のキーワード「佐藤」を検索し発見した場合（３４４０,３４４１）、場合３４４０に関しては、人名特徴の開始時刻３４１２と終了時刻３４１３にそれぞれオフセットｔｓ（３４１１）とｔｅ（３４１４）をその区間を広げるようにｓ１（３４３１）とｅ１（３４３２）を求める。この部分では重複する既存シーン重要度がないとすると（ｓ１，ｅ１，ｑ１）を要素としてシーン重要度を登録する（３４０５）。場合３４４１の「佐藤」部分に関しては、同様の項目を要素（ｓ２，ｅ２，ｑ１）として準備するが、既に重要度ｑ２（３４１５）の「鈴木」（３４４２）が図のように開始部分が新しい部分に重なるよう登録されているとした場合、重要度の高い「佐藤」を残すように、既にあったシーン重要度の項目（３４０７）の開始時刻をｅ２（３４３４）に変更し、新しい要素（ｓ２，ｅ２，ｑ１）を登録する。このように、重要度の高い部分が残るようにシーン重要度が登録されていくようにする。最後に、重要度が最大１になるように正規化し（ステップ３３０５）、シーン重要度情報を更新して（ステップ３３０６）、処理を終了する。
（IV）パラメタに関する情報の保存
このように、映像に関する字幕人名の特徴抽出処理、キーワード重要度を求めるパラメタ初期化処理、および、これらを用いた人名検索によるシーン重要度情報作成処理を、図１２に示されたダイジェスト映像情報作成処理の各処理に適応させることにより、ユーザの再生操作に基づき所望する人名が登場する映像データの部分を中心とするダイジェスト映像情報作成のためのパラメタを設定可能となる。これらパラメタおよびキーワード重要度情報は、演算内容情報１０５中に、ユーザ毎、映像が属するジャンルごとに分類して保存する（図８Ｂ、加えて、図２９）。
（V）本実施形態の特徴
本実施形態では、特徴情報としてテロップなどに流れるキーワードを採用している。そのため、キーワードとして人名を取ることにより、ユーザが興味を持つ選手のスポーツの映像のダイジェスト再生に適している。また、キーワードとして人名を芸能人にすると、芸能関係の映像のダイジェストの再生にも用いることができる。また、キーワードを特定のトピックにすると、ニュースなどにも適用可能である。

〔実施形態３〕
以下、第三の実施形態を、図３５を用いて説明する。
図３５は、第三の実施形態に係るアクションスコアテーブル１０４の一例を示す図である。

第一の実施形態のアクションスコアテーブル１０４は、図７に示されるように、一つの操作に対して独立して得点付けをおこなったものであったが、本実施形態のアクションスコアテーブル１０４は、前回の操作と今回の操作の遷移を基に構成した例である。第一の実施形態の図７のアクションスコアテーブル１０４では、再生の場合に得点付けをした例を示したが、その前にどのような操作をしたかは不問で得点１点を付けていた。本実施形態のアクションスコアテーブル１０４は、操作の遷移を考慮しており、例えば、再生の後に早送りやジャンプをおこなった場合には再生中の最後に興味のない部分を視聴したと考えて得点を下げる（１４０１）ことや、早送り・早戻しの速度によりどれだけユーザが飛ばしたく感じたか（１４０２）や、これらの中で速度の変化をした場合を考慮すること（１４０３）を得点付けに対応させることが可能となり、よりユーザの嗜好を正確に考慮した操作の評価をおこなうことが可能となる。

〔実施形態４〕
以下、第四の実施形態を、図３６を用いて説明する。
図３６は、再生位置決定処理を示すフローチャートである。

第一の実施形態では、パラメタを調節しながらシーン重要度情報１１４を作成する例を説明したが、本実施形態では、単に、与えられたパラメタにより、シーン重要度情報１１４と、再生位置情報１１６を作成して、ダイジェスト映像を再生する処理について説明する。

ここでのパラメタは、これまでの実施例にて決定した演算内容情報（１０５）中にある、図８Ｂの演算内容情報１０５のジャンル別演算内容や、図２９のキーワード重要度情報である。また、これらの演算内容情報１０５は、図１に示される交換部１２０を介して、ネットーク１７０、および、メモリやＣＤ−ＲＯＭ等をはじめとする外部メディア１６０を経由し、外部サーバ１７１や他の装置からの取得してもよい。これらにより、一般的に流行するダイジェスト作成のパラメタや、他の映像装置のユーザとのダイジェスト映像情報を作成するパラメタの共有、あるいは、他の映像装置においても、普段使用しているダイジェスト映像情報により、ダイジェスト再生が可能になる。

この再生位置決定処理では、先ず、ユーザから操作部１８２を通じて処理内容やダイジェスト再生を完了する再生時間を取得する（ステップ３５０１、３５０２）。処理内容とは、どの映像のダイジェスト映像情報を作成するかという指示などである。

次に、ユーザや再生予定の映像、属するジャンルに関するパラメタを取得し（ステップ３５０３）、選択された方法を用いてシーン重要度情報を作成するために、シーン重要度演算部１１３により、シーン重要度情報作成処理（図２０または図３３）をおこなう。次に、得られたシーン重要度情報１１４（図１９の１９０１）を用いて、再生位置情報作成部１１５において、図１３に示される映像情報作成処理（再生位置情報生成処理）をおこなう（ステップ３５０５）。

本実施形態では、外部の映像装置やコンピュータで作成したダイジェスト映像情報の作成のためのパラメタを、ネットワークまたは外部メディアを介して受信し、それを用いることにより、外部で最適化されたパラメタより、ダイジェスト映像情報が作成できる。そのため、受け取った側の装置では、ダイジェスト映像情報作成のための処理が軽減される。

第一の実施形態に係るダイジェスト映像を再生する映像装置の全体の構成を示すブロック図である（その一）。 第一の実施形態に係るダイジェスト映像を再生する映像装置の全体の構成を示すブロック図である（その二）。 映像情報記録部１８４に格納されるデータの一例を示す図である。 操作情報１８７の一例を示す図である。 第一の実施形態に係る特徴情報１１２の一例を示す図である。 操作重要度情報１０６の一例を示す図である。 第一の実施形態に係るアクションスコアテーブル１０４の一例を示す図である。 演算内容情報１０５のパラメタ情報１５０１を示す図である。 第一の実施形態に係る演算内容情報１０５の各パラメタ値の一例を示す図である。 シーン重要度情報１１４の一例を示す図である。 再生位置情報１１６の一例を示す図である。 ユーザの映像視聴をしているときのイメージを示した図である。 ダイジェスト映像情報作成処理のシーン重要度情報を作成するまでの処理を示すゼネラルチャートである。 ダイジェスト映像情報作成処理の再生位置情報を作成する処理を示すフローチャートである。 特徴抽出処理の一例として、音響盛上り情報を生成するときの概念図である。 特徴抽出処理の一例として、音響盛上り情報を生成するときの処理を示すフローチャートである。 操作履歴解析処理５０５の処理の詳細を示すフローチャートである。 操作重要度情報の構築していく過程を説明する図である。 操作重要度情報を構築した結果例を示す図である。 シーン重要度情報１１４の作成する方法の概念図である。 第一の実施形態に係るシーン重要度情報１１４を作成する方法の処理を示すフローチャートである。 比較評価処理５２２の概念を説明する図である。 比較評価処理５２２を示すフローチャートである。 パラメタを調節して相関度を調整することを説明する図である。 パラメタ指定処理５２０を示すフローチャートである。 パラメタ変更処理５３０を示すフローチャートである。 パラメタ更新処理５２６を示すフローチャートである。 ダイジェスト映像再生をおこなうときのシークバーの表示例を示す図である。 第二の実施形態に係る特徴情報１１２の一例を示す図である。 第二の実施形態に係る演算内容情報１０５の各パラメタ値の一例を示す図である。 映像データ中の字幕データから字幕人名情報を抽出するときの概念図である。 特徴抽出処理の一例として、字幕人名情報を抽出するときの処理を示すフローチャートである。 第二の実施形態に係るパラメタ初期化処理５０７を示すフローチャートである。 第二の実施形態に係るシーン重要度情報１１４を作成する方法の処理を示すフローチャートである。 第二の実施形態に係るシーン重要度情報１１４を作成する方法の概念を説明する図である。 第三の実施形態に係るアクションスコアテーブル１０４の一例を示す図である。 再生位置決定処理を示すフローチャートである。

Claims (10)

1. 映像装置で再生される映像のダイジェストを再生するためのダイジェスト映像情報作成方法において、
   （１）特徴情報部が、映像の映像データから特徴情報を抽出するステップと、
   （２）操作部が、ユーザが視聴する映像に対する操作の操作情報を取得するステップと、
   （３）操作情報解析部が、前記操作情報の各操作の得点付けによって、操作情報によって評価される前記映像の各時刻における重要度である操作重要度情報を生成するステップと、
   （４）シーン重要度演算部が、前記操作重要度情報と、ダイジェストとして再生するための前記映像における再生の時刻の区間であるシーンに対して前記特徴情報によって評価される各シーンにおける重要度であるシーン重要度情報との相関度を高めるために調整する量であるパラメタによって、前記シーンを決定して、前記シーン重要度情報を生成するステップと、
   （５）ダイジェスト制御部が、前記操作重要度情報と前記シーン重要度情報との相関度を評価し、前記相関度を高めるパラメタの組み合わせを決定するステップとを有し、
   前記ダイジェスト制御部が、前記（４）と前記（５）のステップを繰り返すことにより、ダイジェスト再生のための最適なシーン重要度情報を生成し、
   再生位置情報生成部が、前記生成された前記シーン重要度情報と、ダイジェスト再生の時間とにより、ダイジェスト再生位置情報を生成することを特徴とするダイジェスト映像情報作成方法。
2. 前記映像の特徴情報は、音響盛上がり情報であり、
   前記パラメタは、前記音響盛上がりのシーンを判断する閾値と、ダイジェストとして再生されるシーンの開始時刻、終了時刻を調整する値との組み合わせであることを特徴とする請求項１記載のダイジェスト映像情報作成方法。
3. 前記映像の特徴情報は、前記映像に関するキーワード情報であり、
   前記パラメタは、登録されたキーワードを前記シーン重要度の計算のために用いる個数と、ダイジェストとして再生されるシーンの開始時刻、終了時刻を調整する値との組み合わせであることを特徴とする請求項１記載のダイジェスト映像情報作成方法。
4. 前記（３）のステップの前記操作情報の各操作の得点付けは、映像に対する視聴方法、視聴回数、視聴速度、または、視聴方法、視聴速度の遷移によって評価付けされたアクションスコアテーブルによっておこなうことを特徴とする請求項１記載のダイジェスト映像情報作成方法。
5. 前記第一の映像により、前記パラメタを決定し、
   前記第一の映像により、決定されたパラメタにより、前記第一の映像とは異なる第二の映像に対するシーン重要度情報を作成することを特徴とする請求項１記載のダイジェスト映像情報作成方法。
6. 前記パラメタは、ユーザ毎に保持し、
   前記（４）のステップで前記シーン重要度情報を生成するに際し、ユーザを特定して、ユーザ毎のシーン重要度情報を生成することを特徴とする請求項１記載のダイジェスト映像情報作成方法。
7. さらに、前記映像の属性情報から、または、ユーザから入力される情報から前記映像が属するジャンルを取得するステップを有し、
   前記パラメタを、前記映像のジャンル毎に保持することを特徴とする請求項１記載のダイジェスト映像情報作成方法。
8. 前記パラメタは、ネットワークまたは外部メディアを介して伝送されるものであることを特徴とする請求項１のダイジェスト映像作成方法。
9. 映像のダイジェストを再生するため映像装置において、
   前記映像の録画再生をおこなう録画再生部と、
   前記ダイジェストを再生するためのダイジェスト映像情報作成部とを備え、
   前記録画再生部は、
   前記映像に関するデータを記憶する映像記憶部と、
   ユーザからの装置に対する動作の指示を入力するための操作部と、
   前記映像の録画再生の動作の制御をおこなう録画再生制御部と、
   前記映像をユーザに表示する表示部とを有し、
   前記ダイジェスト映像情報作成部は、
   各部の制御をおこなうダイジェスト制御部と、
   前記ユーザの操作情報を解析する操作情報解析部と、
   前記映像の映像データから特徴を抽出する特徴抽出部と、
   ダイジェストとして再生するための前記映像における再生の時刻の区間であるシーンに対して前記特徴情報によって評価される各シーンにおける重要度であるシーン重要度情報を生成するシーン重要度演算部と、
   前記操作情報の各操作の得点付けによって、操作情報によって評価される前記映像の各時刻における重要度である操作重要度情報の操作重要度と前記シーン重要度情報のシーン重要度の相関度を評価する比較評価部と、
   前記シーン重要度情報と再生時間とにより、映像のダイジェストの再生のための再生情報を生成する再生位置情報作成部とを有し、
   前記ダイジェスト制御部は、前記シーン重要度演算部と前記比較評価部を繰り返し呼び出して、前記映像の再生時刻からダイジェストとして再生するための再生時刻を決定するためのパラメタの組合せを、前記比較評価部が評価する相関度が大きくなるようにすることを特徴とする映像装置。
10. コンピュータまたは映像装置上で実行され、映像装置で再生される映像のダイジェストを再生するためのダイジェスト映像情報作成するプログラムにおいて、
    （１）映像の映像データから特徴情報を抽出する機能と、
    （２）ユーザが視聴する映像に対する操作の操作情報を取得する機能と、
    （３）前記操作情報の各操作の得点付けによって、操作情報によって評価される前記映像の各時刻における重要度である操作重要度情報を生成する機能と、
    （４）シーン重要度演算部が、前記操作重要度情報と、ダイジェストとして再生するための前記映像における再生の時刻の区間であるシーンに対して前記特徴情報によって評価される各シーンにおける重要度であるシーン重要度情報との相関度を高めるために調整する量であるパラメタによって、前記シーンを決定して、前記シーン重要度情報を生成する機能と、
    （５）前記操作重要度情報と前記シーン重要度情報との相関度を評価し、前記相関度を高めるパラメタの組み合わせを決定する機能とを有し、
    前記（４）と前記（５）の機能の実行を繰り返すことにより、ダイジェスト再生のための最適なシーン重要度情報を生成する機能と、
    前記生成された前記シーン重要度情報と、ダイジェスト再生の時間とにより、ダイジェスト再生位置情報を生成する機能とを実現させることを特徴とするプログラム。

Images