JP4331217B2

JP4331217B2 - 映像再生装置および方法

Info

Publication number: JP4331217B2
Application number: JP2007038658A
Authority: JP
Inventors: 哲也酒井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-02-19
Filing date: 2007-02-19
Publication date: 2009-09-16
Anticipated expiration: 2027-02-19
Also published as: US8126309B2; JP2008205745A; US20080205851A1

Description

本発明は、映像を関連情報とともに提示する映像再生装置および方法に関わる。

近年、ＴＶ番組や映画などの映像はパソコン、ＴＶ、ＤＶＤプレーヤ、携帯電話など多様な機器による再生が可能である。映像は、画面に表示されるビデオデータと、音声・音響データ、さらに本来、耳の不自由な人のために映像に付随して提供されてきたクローズドキャプション（closed captions）と呼ばれるテキストデータなど、多様なメディアの情報の集合体である。

最近では、再生中の映像に関連する情報を映像に付加して同時に提示するシステムが提案されている（例えば、特許文献１、２参照）。今後、映像情報は増加の一途を辿り、ユーザが効率的に情報を取得するためにはこのように映像の視聴と同時に関連情報をも閲覧するという視聴方法が一般化すると考えられる。
特許第３２６８５４５号特開２００２−２６２２６８号公報

しかし、上記の特許文献１および２のように、映像と同時に関連情報を提示すると、一度に提示される情報量が多すぎるためにユーザは提示された全ての情報を咀嚼することが難しい。また、仮に提示された情報を全て取得できる場合でも、映像と関連情報との間で視線を頻繁に切り替える必要があるなど、ユーザへの負荷が大きい。

例えば、再生中の映像にテロップなどにより既にたくさんの文字情報が含まれているにも関わらず、関連情報として画面の脇にテキスト情報を同時に表示する場合、ユーザは短い時間の間に大量の文字を読むことを強いられる。同様に、再生中の映像の内容が非常に早く移り変わっている状況で画面の脇に関連情報を表示しても、ユーザはこの関連情報に注目する可能性が低く見落としてしまう確率が高い。

このような情報過多を軽減するには、従来では映像自体の再生を一時停止し、関連情報を閲読し終わってから映像再生を再開するといった視聴方法しかない。しかし、これでは、限られた時間内で効率的に情報を取得するという本来の目的が失われてしまう。

本発明は、かかる事情を考慮してなされたものであり、映像を再生するのと同時に関連情報を提示する場合に、ユーザの視聴における負荷を軽減する映像再生装置および方法を提供することを目的とする。

上述の課題を解決するため、本発明の映像再生装置は、映像データと、該映像データを再生する再生時刻に対応する映像タイムスタンプと、を対応づけて格納している映像データ格納手段と、前記映像データの内容に関連する関連情報と、該関連情報を再生する再生時刻に対応する関連タイムスタンプと、を対応づけて格納している関連情報格納手段と、各前記格納手段から、再生対象である再生映像データおよび該再生映像データの映像タイムスタンプと、該再生映像データの関連情報および該関連情報の関連タイムスタンプとを取得するデータ取得手段と、前記再生映像データの映像タイムスタンプごとに、前記再生映像データの情報量を測定する測定手段と、前記情報量に基づいて、前記再生映像データの情報量が最も少ない映像タイムスタンプ区間を検出する検出手段と、前記映像タイムスタンプ区間に前記再生映像データの関連情報を提示するように、前記再生映像データの関連タイムスタンプを変更して変更タイムスタンプを生成する変更手段と、前記映像タイムスタンプおよび前記変更タイムスタンプに基づいて、前記再生映像データとともに前記再生映像データの関連情報を提示する提示手段と、を具備することを特徴とする。

本発明の映像再生装置および方法によれば、映像を再生するのと同時に関連情報を提示する場合に、ユーザの視聴における負荷を軽減することができる。

以下、図面を参照しながら本発明の実施形態に係る映像再生装置および方法について詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る映像再生装置の概略構成を示すブロック図である。
本実施形態における映像再生装置は、関連情報取得部１０１、タイムスタンプ入り関連情報データベース１０２、タイムスタンプ入り映像データベース１０３、情報量解析部１０４、提示スタンプ変更部１０５、提示情報統合部１０６、出力部１０７を含んでいる。

タイムスタンプ入り関連情報データベース１０２は、映像データの内容に関連する関連情報と、各関連情報を再生する再生時刻に対応したタイムスタンプとを格納している。関連情報は、一般に映像データごとに複数有している。

タイムスタンプ入り映像データベース１０３は、映像データと、各映像データを再生する再生時刻に対応したタイムスタンプとを格納している。映像データは、映像のみのデータと、該データに付随する音声情報、音響情報、および、クローズドキャプションの少なくとも１つを含んでいる。

関連情報取得部１０１は、ユーザからの再生指示に基づいて、タイムスタンプ入り映像データベース１０３から再生指示に対応する映像データと、この映像データに対応するタイムスタンプと、を取得して、このタイムスタンプに対応する関連情報と、この関連情報に対応するタイムスタンプと、をタイムスタンプ入り関連情報データベース１０２から取得する。すなわち、関連情報取得部１０１は、再生対象である映像の関連情報と、そのタイムスタンプと、を取得する。

情報量解析部１０４は、関連情報取得部１０１が取得した映像データの情報量を測定する。

提示スタンプ変更部１０５は、情報量解析部１０４が測定した映像データの情報量に基づいて、情報量の最も少ない時間区間を検出し、関連情報取得部１０１が取得した関連情報のタイムスタンプが検出された情報量の最も少ない時間区間に含まれるように、取得された関連情報のタイムスタンプを変更する。

提示情報統合部１０６は、前記変更された関連タイムスタンプと、前記取得した映像タイムスタンプとに基づいて、前記取得した映像データと前記取得した関連情報とが提示されるように、映像データと関連情報とをリンクさせる。

出力部１０７は、提示情報統合部より受け取った映像と関連情報とを画面に出力する。ここで、出力部１０７とはテレビやパソコンなどのディスプレイ画面などに相当する。

以下、関連情報取得部１０１、提示スタンプ変更部１０５および提示情報統合部１０６の処理の流れについて説明する。
図２に本発明の第１の実施形態に係る関連情報取得部の処理の流れの一例を示す。
関連情報取得部１０１は、まず、ユーザから再生するように指定された映像の映像データを、タイムスタンプ入り映像データベース１０３から取得する（ステップＳ２０１）。ここで、映像データとは例えば光ディスク、ハードディスクレコーダに録画されたテレビ番組や、現在受信中のテレビ放送番組、あるいはインターネットにより配信される映像である。

次に、関連情報取得部１０１は、取得した映像データに対応する関連情報データを、タイムスタンプ入り関連情報データベース１０２から取得する（ステップＳ２０２）。ここで、関連情報は、映像中の特定の区間（開始時点と終了時点との対）に対して定義されるテキストデータや画像データである。例えば、タイムスタンプ入り関連情報データベース１０２に、映像中にある俳優が出ている区間については、その俳優のプロフィールを記述したテキストデータと、顔写真の画像データとをタイムスタンプに関連させて関連情報として予め用意しておく。また、映像中で、ある言葉が使われた場合に、その言葉の定義などを関連情報として予め用意しておくことが考えられる。なお、関連情報は、放送局から送信される場合もある。
最後に、関連情報取得部１０１は映像データと関連情報データとを提示スタンプ変更部１０５に渡す（ステップＳ２０３）。

また、以上の説明では、映像に対する関連情報が予め関連情報データとして登録されている場合を例にとって説明したが、関連情報取得部１０１は、映像情報を利用して動的にインターネットなどの外部知識源に対し関連情報の検索を行い、関連情報を取得してもよい。例えば、映像データがクローズドキャプションを含む場合には、クローズドキャプションから形態素解析によりキーワードを切り出して、インターネットの検索エンジンを利用して検索を行い、得られた検索結果を関連情報として取得することが可能である。なお、クローズドキャプションは、タイムスタンプとテキスト情報とを含んでいる。このテキスト情報は、例えば、字幕データ、ナレーションデータである。ナレーションデータは、台詞の集合データであり、各台詞の前に出演者の名前が記載されていることがある。クローズドキャプションは、タイムスタンプに対応して取得される。ただし、関連情報を予め用意しておくか、動的に検索するかという関連情報の取得方法自体は本実施形態の主眼ではない。

図３に、第１の実施形態に係る提示スタンプ変更部１０５、情報量解析部１０４の処理の流れの一例を示す。
提示スタンプ変更部１０５はまず、映像データおよび対応する関連情報データを関連情報取得部１０１から受け取る（ステップＳ３０１）。次に、情報量解析部１０４が、関連情報取得部１０１が取得した映像データに含まれる映像情報、音声情報、音響情報、クローズドキャプションデータの少なくともひとつを解析する。提示スタンプ変更部１０５は、情報量解析部１０４の解析結果を得て、情報量の少ない区間を検出する（ステップＳ３０２）。例えば、映像データをもとに情報量の少ない区間を検出する方法としては、画像フレーム間の類似度を比較し（例えば、フレーム間で差分をとる）、類似度が高い区間は情報量が少ないと見なす方法が考えられる。なぜなら、フレーム間類似度が高いということは、例えば固定されたカメラアングルからの風景など、ユーザには似た内容が長時間提示されていることを意味するためである。また、映像中にテロップ（映像にオーバレイされるテキストなど）が表示されることがあるコンテンツの場合は、テロップ検出を行って、テロップが表示されていない区間を情報量の少ない区間と見なす方法も考えられる。
また、音声データ（音声情報と音響情報を含む）をもとに情報量の少ない区間を検出する方法としては、音声や音響データの音量の小さい区間を情報量が少ない区間と見なす方法が考えられる。あるいは、音声・非音声の認識や、話者認識技術を用いて、人間の音声が発声されていない区間を情報量の少ない区間と見なす方法が考えられる。
さらに、クローズドキャプションをもとに情報量の少ない区間を検出する方法としては、クローズドキャプションのテキストデータを形態素解析して時間軸上に単語の頻度を集計し、比較的単語の少ない区間、すなわちナレーションや出演者の発話が少ない区間を情報量の少ない区間と見なす方法が考えられる。もちろん、以上で述べた情報量の少ない区間を検出する方法は、複数採用して組み合わせることが可能である。

提示スタンプ変更部１０５は、以上のような処理に基づき情報量の少ない区間を検出し、関連情報を映像再生中のどのタイミングで提示するかを決定する（ステップＳ３０３）。すなわち、提示スタンプ変更部１０５は、関連情報を提示するタイミングをどのように変更するか決定する。そして、提示スタンプ変更部１０５は、映像データ、関連情報データおよび提示タイミング変更結果を提示情報統合部１０６に渡す（ステップＳ３０４）。

図４に、情報量の少ない区間の検出結果および提示スタンプ変更結果のイメージ図を示す。この図において、横軸は再生対象である映像の時間軸（タイムスタンプを示す）を、縦軸は情報量を表し、折れ線は前述の方法により各時点における情報量を推定し数値化した結果を表す。
この折れ線グラフにおいて、谷間になっている区間が、前述の情報量の少ない区間、すなわち、映像の中の動きやテロップが少ない区間や、音量が小さい区間、あるいは発話が少ない区間などに相当する。例えば、関連情報Ａには、開始時間ｔ１と終了時間ｔ２が付与されており、これは映像のｔ１からｔ２の間の区間に関連情報Ａが対応づけられていることを意味する。例えば、ｔ１からｔ２の区間の映像中にある俳優が出ている場合には、例えば、関連情報Ａはこの俳優に関するプロフィール情報である。

本実施形態では、このような場合に、関連情報Ａを単純にｔ１から表示するのではなく、より情報量の少ないタイミングを探し、例えば図中のｔ３からｔ４の区間において提示する。すなわち、関連情報Ａを提示するタイミングを変更する。これは例えば、単純にｔ１からｔ２の間に関連情報を提示しても、この区間における映像自体の情報量が多く、ユーザが映像中の情報と関連情報とを同時に咀嚼することが困難な場合があるためである。例えば俳優が活躍しているシーンにおいては、ユーザは映像に目をうばわれており、関連情報である俳優のプロフィールに目を移してプロフィールを読む余裕は少ない。

上記の例では、例えばｔ１からｔ２の区間の映像に俳優が出てきて、そのしばらくあとのｔ３からこの俳優に関する関連情報が提示されることになる。ここで、ｔ２とｔ３の間が極端に空いてしまうと、俳優と関連情報との対応がユーザにとってわかりにくくなる可能性がある。このような場合は、例えばｔ２とｔ３の差が一定値を超えた場合は、システムは関連情報Ａに付与された区間に忠実にｔ１の時点からすぐに関連情報の提示を行うなど、柔軟に提示タイミングを決定してもよい。また、以上の説明では関連情報に付与されたタイミングよりも実際に提示するタイミングが遅い場合（提示タイミングを後ろにずらす）について説明したが、タイミングの前後についてなんら限定するものではない。例えば、主人公が映像に登場する前に、主人公のプロフィールを提示してもよい。

図５に、本発明の第１の実施形態に係る提示情報統合部１０６の処理の流れの一例を示す。
提示情報統合部１０６は、映像データ、関連情報データおよび提示スタンプ変更結果を提示スタンプ変更部１０５から受け取り（ステップＳ５０１）、提示スタンプ変更結果をもとに、映像データと関連情報データを統合した画面出力用データを作成する（ステップＳ５０２）。具体的には例えば、図６Ａ、図６Ｂに示したような、再生対象映像と関連情報が同時に提示できる画面出力用データを作成する。図６Ａは映像の隣に関連情報を付加した例、図６Ｂは映像の上に関連情報をオーバレイした例である。図６Ａの表示は、テロップがある場合、例えば、ニュース番組等に適している。図６Ｂの表示は、テロップが無い場合に適している。ただし、本実施形態の主眼はこのような具体的な表示方法ではなく、既に述べたように、映像中の情報量が少ないタイミングで関連情報が提示される点である。提示情報統合部１０６は最後に、これらのデータをディスプレイなどの出力部に送る（ステップＳ５０３）。

以上に示した第１の実施形態によれば、映像を再生するのと同時に関連情報を提示する映像再生装置において、ユーザに一度に提示される情報量および情報のメディアをコントロールすることによりユーザが提示された情報を咀嚼しやすくし、情報の見落としを防ぎ、ユーザの視聴における負荷を軽減することができる。

（第２の実施形態）
図７は本発明の第２の実施形態に係る映像再生装置の概略構成を示すブロック図である。
第２の実施形態の第１の実施形態との構成上の違いは、ハードウェアとしては例えばマイクやキーボードなどから構成される質問入力部７０１を有することである。すなわち、第１の実施形態はユーザの質問に係らず、再生対象の映像の関連情報を提示するタイミングを決定するものであったが、本実施形態はユーザが映像再生中に入力した質問に適合する関連情報を提示するタイミングを決定するものである。

以下、ユーザからの質問を受け付けるという点で第１の実施形態とは処理内容が若干異なる関連情報取得部７０２の処理の流れのみについて説明する。以下、既に説明した装置部分と同様なものは同一の番号を付してその説明を省略する。

図８に、本発明の第２の実施形態に係る関連情報取得部７０２の処理の流れの一例を示す。
関連情報取得部７０２は、質問入力部７０１からユーザが映像再生中に入力した質問を受け取る（ステップＳ８０１）。ここで質問とは、マイクにより入力された音声データか、キーボードなどにより入力されたテキストデータである。関連情報取得部７０２は次に、再生中の映像データに対応する関連情報データから、タイムスタンプ入り関連情報データベース１０２を参照して、受け取った質問に適合するものを検索する（ステップＳ８０２）。質問が音声データである場合には、まず音声認識により質問をテキスト化する。これにより、以後テキスト検索技術により関連情報の検索を行うことができる。第１の実施形態と同様、関連情報はあらかじめ用意されたものでもよく、また、インターネットなどの外部データの検索により取得してもよい。後者の場合は、例えばユーザの質問に含まれる語と、ユーザが質問を入力した時間帯に対応するクローズドキャプション中の語とをキーワードとして検索を行うことが考えられる。本実施形態における以降の処理は、第１の実施形態のそれと同じである。

以上に示した第２の実施形態によれば、ユーザの質問に適合する関連情報を、ただちにユーザに回答として提示するのではなく、映像中の情報量が比較的少ないタイミングで提示することができる。

（第３の実施形態）
図９は本発明の第３の実施形態に係る映像再生装置の概略構成を示すブロック図である。
本実施形態の第１の実施形態との構成上の違いは、ユーザが映像をコマ送りしているか、早送りしているか、字幕（サブタイトル）表示をオンにしているかなどのユーザの再生操作情報を取得する操作情報取得部９０１を有する点である。そして、提示スタンプ変更部１０５は、再生対象の映像の映像データ、音声データ、クローズドキャプションなどを解析した結果とともに、上記操作情報を利用して提示タイミングを決定する。例えば、ユーザが現在映像を早送りやコマ送りしている場合には、関連情報を提示するのを後回しにして、ユーザが通常再生を開始した時点で始めて関連情報を提示することが考えられる。なぜなら、早送りやコマ送りをしている時点では、ユーザは映像自体に集中している可能性が高いからである。また、例えばＤＶＤコンテンツの再生などにおいてサブタイトル表示がオンになっている場合には、サブタイトルが少ないタイミングを優先して関連情報の提示タイミングを決定することが考えられる。ユーザにとって、サブタイトルのテキストと関連情報とを同時に読むことは難しいためである。

以上に示した第３の実施形態によれば、ユーザの操作情報に応じて提示タイミングを決定することができ、情報の見落としを防ぎ、ユーザの視聴における負荷を軽減することができる。

（第４の実施形態）
図１０は本発明の第４の実施形態に係る映像再生装置の概略構成を示すブロック図である。
本実施形態の第１の実施形態との構成上の違いは、提示スタンプ変更部１０５のかわりに提示メディア決定部１００１を有する点である。関連情報取得部１０１と提示情報統合部１０６の処理の内容は第１の実施形態とほぼ同様であるので、ここでは提示メディア決定部１００１の処理のみについて説明する。提示メディアとは、情報をユーザに提示するための媒体のことであり、例えば、映像表示、音声出力、テキスト表示がある。

次に、提示メディア決定部１００１の動作について図１１を参照して説明する。
提示メディア決定部１００１はまず、映像データおよび関連情報データを関連情報取得部１０１から受け取る（ステップＳ３０１）。情報量解析部１０４が、映像データに含まれる映像情報、音声情報、音響情報、クローズドキャプションデータの少なくともひとつを解析する。提示メディア決定部１００１は、情報量解析部１０４の解析結果に基づいて、関連情報をテキストとして出力画面中に提示するか、音声出力するか、あるいはその両方で提示するかを決定する（ステップＳ１１０１）。そして、映像データ、関連情報データおよび提示メディア決定結果を提示情報統合部１０６に渡す（ステップＳ１１０２）。

関連情報の提示メディア決定方法について具体的な例を挙げて説明する。
例えば映像の解析により提示メディアを決定する場合には、第１の実施形態の場合と同様にフレーム間の類似度を比較し、動きの多い映像であるか否かを判定し、動きの多い映像であるなら関連情報を音声で提示し、動きの少ない映像であるなら関連情報をテキストで提示する方法が考えられる。動きが多い映像の場合は、ユーザは映像のほうを忙しく目でおっているので、同時にテキストを読むことが難しいと考えられるためである。具体的には、提示メディア決定部１００１は、前記取得した映像データのうちの映像の動きの大きさを測定し、映像の動きの大きさが閾値以上の映像の場合には取得した関連情報を音声で提示することを決定し、映像の動きの大きさが閾値未満の映像の場合には前記取得した関連情報をテキストで提示する。
また、動画中のテロップを検出し、テロップが多い区間においてはテキストではなく音声で関連情報を提示する方法も考えられる。具体的には、提示メディア決定部１００１は、取得した映像データのうちの映像に含まれている単位時間当たりのテロップの提示時間を計測し、単位時間当たりのテロップの提示時間が閾値以上の映像の場合には取得した関連情報を音声で提示することを決定し、単位時間当たりのテロップの提示時間が閾値未満の映像の場合には取得した関連情報をテキストで提示する。

さらに、音声を手がかりに提示メディアを決定する場合には、例えば、映像の中の発話が多い区間では関連情報はテキストで提示するが、映像の中でサイレンスがある区間あるいはＢＧＭのみが流れている区間では関連情報を音声で提示するという方法が考えられる。さらにクローズドキャプションを利用した場合についても同様に提示メディアを切り替えることが考えられる。具体的には、提示メディア決定部１００１は、前記取得した映像データのうちの映像に含まれている単位時間当たりの音声および音響のいずれか１つの出力時間を計測し、単位時間当たりの音声および音響のいずれか１つの出力時間が閾値以上の映像の場合には取得した関連情報をテキストで提示することを決定し、単位時間当たりの音声および音響のいずれか１つの出力時間が閾値未満の映像の場合には取得した関連情報を音声で提示することを決定する。もちろん、以上の方法を複数組み合わせてもよい。

以上に示した第４の実施形態によれば、再生中の映像の状況に応じて、関連情報を音声で出力するか、テキストで出力するか、あるいは両方で出力するかを決定することができ、ユーザが咀嚼しやすい形で関連情報を提供することができる。

（第５の実施形態）
図１２は、本発明の第５の実施形態に係る映像再生装置の概略構成を示すブロック図である。
本実施形態の第４の実施形態との構成上の違いは、ハードウェアとしては例えばマイクやキーボードなどから構成される質問入力部７０１を有することである。すなわち、第４の実施形態は、ユーザの質問に係らず、再生対象の映像の関連情報を提示するメディアを決定するものであったが、本実施形態はユーザが映像再生中に入力した質問に適合する関連情報を提示する場合の提示メディアを決定するものである。

以上に示した第５の実施形態によれば、ユーザの質問に応じて、質問に適合する関連情報を音声で出力するか、テキストで出力するか、あるいは両方で出力するかを決定することができ、ユーザが咀嚼しやすい形で関連情報を提供することができる。

（第６の実施形態）
図１３は本発明の第６の実施形態に係る映像再生装置の概略構成を示すブロック図である。
本実施形態の第４の実施形態との構成上の違いは、ユーザが映像をコマ送りしているか、早送りしているか、字幕（サブタイトル）表示をオンにしているかなどのユーザの操作情報を取得する操作情報取得部９０１を有する点である。そして、提示メディア決定部１００１は、再生対象の映像の映像データ、音声データ、クローズドキャプションなどを解析した結果とともに、上記操作情報を利用して提示メディアを決定する。例えば、ユーザが高速の早送りを行っているため、再生対象の映像の音声が出力されていない状態では関連情報を音声で提示するが、ユーザが低速の早送りを行っているため、再生対象の映像の音声が早送りモードで出力されている状態では、関連情報をテキストで提示するなどの方法が考えられる。

また、例えばＤＶＤコンテンツの再生などにおいてサブタイトル表示がオンになっている状態では、関連情報を音声で出力するが、サブタイトル表示がオフになっている状態ではテキストで出力する方法が考えられる。

以上に示した第６の実施形態によれば、映像とこれに付随する関連情報とをユーザに同時に提示させる場合に、ユーザに一度に提示される情報量および情報のメディアをコントロールすることができ、視聴におけるユーザへの負荷を軽減することができる。このためユーザは提示された情報を咀嚼することが容易となり、情報の見落としが少なくなると考えられる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態に係る映像再生装置のブロック図。図１の関連情報取得部の動作の一例を示すフローチャート。図１の情報量解析部と提示スタンプ変更部との動作の一例を示すフローチャート。情報量の少ない区間の検出結果および提示スタンプ変更結果のイメージの一例を示す図。図１の提示情報統合部の動作の一例を示すフローチャート。図１の提示情報統合部が作成した画面出力用データによる表示例。図１の提示情報統合部が作成した画面出力用データによる表示例。第２の実施形態に係る映像再生装置のブロック図。図７の関連情報取得部動作の一例を示すフローチャート。第３の実施形態に係る映像再生装置のブロック図。第４の実施形態に係る映像再生装置のブロック図。図１０の提示メディア決定部の動作の一例を示すフローチャート。第５の実施形態に係る映像再生装置のブロック図。第６の実施形態に係る映像再生装置のブロック図。

符号の説明

１０１…関連情報取得部、１０２…関連情報データベース、１０３…映像データベース、１０４…情報量解析部、１０５…提示スタンプ変更部、１０６…提示情報統合部、１０７…出力部、７０１…質問入力部、７０２…関連情報取得部、９０１…操作情報取得部、１００１…提示メディア決定部。

Claims

映像データと、該映像データを再生する再生時刻に対応する映像タイムスタンプと、を対応づけて格納している映像データ格納手段と、
前記映像データの内容に関連する関連情報と、該関連情報を再生する再生時刻に対応する関連タイムスタンプと、を対応づけて格納している関連情報格納手段と、
各前記格納手段から、再生対象である再生映像データおよび該再生映像データの映像タイムスタンプと、該再生映像データの関連情報および該関連情報の関連タイムスタンプとを取得するデータ取得手段と、
前記再生映像データの映像タイムスタンプごとに、前記再生映像データの情報量を測定する測定手段と、
前記情報量に基づいて、前記再生映像データの情報量が最も少ない映像タイムスタンプ区間を検出する検出手段と、
前記映像タイムスタンプ区間に前記再生映像データの関連情報を提示するように、前記再生映像データの関連タイムスタンプを変更して変更タイムスタンプを生成する変更手段と、
前記映像タイムスタンプおよび前記変更タイムスタンプに基づいて、前記再生映像データとともに前記再生映像データの関連情報を提示する提示手段と、を具備することを特徴とする映像再生装置。
前記映像データは、映像のみのデータと、該データに付随する音声情報、音響情報、および、クローズドキャプションの少なくとも１つと、を含むことを特徴とする請求項１に記載の映像再生装置。
映像再生中に、ユーザからの質問を受け付ける受付手段をさらに具備し、
前記データ取得手段は、前記質問に適合する関連情報を、前記再生映像データの関連情報から探し出すことを特徴とする請求項１または請求項２に記載の映像再生装置。
ユーザの映像再生に関する操作情報を取得する操作情報取得手段をさらに具備し、
前記変更手段は、前記操作情報に応じて前記再生映像データの関連情報の関連タイムスタンプを変更することを特徴とする請求項１から請求項３のいずれか１つに記載の映像再生装置。
前記再生映像データの関連情報を、テキストとして提示する、および、音声出力する、の少なくともいずれか１つで提示することを決定する決定手段をさらに具備することを特徴とする請求項１から請求項４のいずれか１つに記載の映像再生装置。
映像データと、該映像データを再生する再生時刻に対応する映像タイムスタンプと、を対応づけて格納している映像データ格納手段を用意し、
前記映像データの内容に関連する関連情報と、該関連情報を再生する再生時刻に対応する関連タイムスタンプと、を対応づけて格納している関連情報格納手段を用意し、
各前記格納手段から、再生対象である再生映像データおよび該再生映像データの映像タイムスタンプと、該再生映像データの関連情報および該関連情報の関連タイムスタンプとを取得し、
前記再生映像データの映像タイムスタンプごとに、前記再生映像データの情報量を測定し、
前記情報量に基づいて、前記再生映像データの情報量が最も少ない映像タイムスタンプ区間を検出し、
前記映像タイムスタンプ区間に前記再生映像データの関連情報を提示するように、前記再生映像データの関連タイムスタンプを変更して変更タイムスタンプを生成し、
前記映像タイムスタンプおよび前記変更タイムスタンプに基づいて、前記再生映像データとともに前記再生映像データの関連情報を提示することを特徴とする映像再生方法。