JP5605083B2

JP5605083B2 - 映像再生装置及び映像再生プログラム

Info

Publication number: JP5605083B2
Application number: JP2010188032A
Authority: JP
Inventors: 俊一小森谷
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2010-08-25
Filing date: 2010-08-25
Publication date: 2014-10-15
Anticipated expiration: 2030-08-25
Also published as: JP2012049670A; US20120051711A1

Description

本発明は、映像再生装置及び映像再生プログラムに関する。

映像情報又は音声情報の内容に関連する資料情報を出力する技術が提案されている。

これに関連する技術として、特許文献１には、映像情報又は音声情報から単語を抽出して記憶手段に一定時間蓄積し、記憶手段に蓄積された単語から視聴者の操作に応じてある単語が選択されると、選択された単語についてアプリケーション等によって関連する資料を検索させて、映像情報又は音声情報とともに資料を映像又は音声によって再生する映像再生装置が開示されている。

特開平９−２９４２５３号公報

本発明の目的は、映像情報に含まれる音声情報に関連する内容の資料情報を映像情報とともに再生する映像再生装置及び映像再生プログラムを提供することにある。

［１］コンピュータを、映像情報に含まれる音声情報から語彙を抽出する抽出手段と、前記語彙抽出手段が抽出した前記語彙に基づいて前記語彙に関連する内容を有する資料情報を読み出す読出手段と、前記映像情報を再生することで表示される映像のうち、前記語彙が抽出された前記音声情報の再生時刻の映像と、前記読出手段に読み出された前記資料情報を再生することで表示される資料とを合成して合成映像を生成する合成手段と、前記合成手段により合成された前記合成映像を表示する手段として機能させるための映像再生プログラムであって、前記合成手段は、前記映像情報の再生時刻について予め定めた時間中に、前記読出手段に読み出された資料情報の数が予め定めた数を超える場合、前記読出手段に読み出された前記資料情報のうち前記予め定められた数の前記資料情報を前記語彙が抽出された前記音声情報の再生時刻の映像に合成して一の前記合成映像を生成し、かつ残りの前記資料情報のみで他の前記合成映像を生成する映像再生プログラム。

［２］前記読出手段は、前記資料情報に関連付けられた情報が予め定めた条件を満たす場合に、前記資料情報を読み出す前記［１］に記載の映像再生プログラム。

［３］前記映像情報を視聴する視聴者を識別する識別手段として前記コンピュータをさらに機能させ、前記読出手段は、前記識別された視聴者毎に予め定められた条件に基づいて前記条件を満たす前記資料情報を読み出す請求項２に記載の映像再生プログラム。

［４］前記合成手段は、前記映像情報の再生時刻について予め定めた時間中に、前記読出手段に読み出された前記資料情報の数が予め定めた数を超える場合、前記読み出された資料情報を表示し終えるまで前記映像情報の再生を一時停止する請求項１に記載の映像再生プログラム。

［５］前記読出手段が読出した前記資料情報を資料候補として表示する資料候補表示手段と、視聴者の要求に応じて前記資料候補表示手段によって表示された前記資料候補から使用する資料情報を選択する選択手段として前記コンピュータをさらに機能させる前記［１］に記載の映像再生プログラム。

［６］映像情報に含まれる音声情報から語彙を抽出する抽出手段と、前記語彙抽出手段が抽出した前記語彙に基づいて前記語彙に関連する内容を有する資料情報を読み出す読出手段と、前記映像情報を再生することで表示される映像のうち、前記語彙が抽出された前記音声情報の再生時刻の映像と、前記読出手段に読み出された前記資料情報を再生することで表示される資料とを合成して合成映像を生成する合成手段と、前記合成手段により合成された前記合成映像を表示する手段と、を有する映像再生装置であって、前記合成手段は、前記映像情報の再生時刻について予め定めた時間中に、前記読出手段に読み出された資料情報の数が予め定めた数を超える場合、前記読出手段に読み出された前記資料情報のうち前記予め定められた数の前記資料情報を前記語彙が抽出された前記音声情報の再生時刻の映像に合成して一の前記合成映像を生成し、かつ残りの前記資料情報のみで他の前記合成映像を生成する映像再生装置。
［７］映像情報に含まれる音声情報から語彙を抽出する抽出手段と、前記語彙抽出手段が抽出した語彙に基づいて前記語彙に関連する内容を有する資料情報を読み出す読出手段と、前記映像情報を再生することで表示される映像のうち、前記語彙が抽出された前記音声情報の再生時刻の映像と、前記読出手段に読み出された前記資料情報を再生することで表示される資料とを合成して合成映像を生成する合成手段と、前記合成手段により合成された前記合成映像を表示する手段と、視聴者に対して視聴者情報の入力を要求し、入力された内容に応じて前記視聴者を識別する視聴者識別手段と、前記表示手段に前記合成映像とともに表示される書込用領域に、前記視聴者によって書き込まれた内容を書込用資料情報として格納する資料書込手段と、を有する映像再生装置。

請求項１、６及び７に係る発明によれば、映像情報に含まれる音声情報に関連する内容の資料情報を映像情報とともに再生することができる。

請求項２に係る発明によれば、映像情報に含まれる音声情報に関連する内容の資料情報のうち、予め定めた条件を満たすものを映像情報とともに再生することができる。

請求項３に係る発明によれば、視聴者を識別して、映像情報に含まれる音声情報に関連する内容の資料情報のうち、視聴者毎に予め定められた条件を満たすものを映像情報とともに再生することができる。

請求項４に係る発明によれば、読み出された資料情報が予め定めた数を超える場合、映像情報の再生を一時停止して資料情報を表示することができる。

請求項５に係る発明によれば、読み出された資料情報から視聴者の要求する資料情報を選択して映像情報とともに再生することができる。

図１は、本発明の第１の実施の形態に係る映像再生システムの構成例を示す概略図である。図２は、映像再生装置の構成例を示すブロック図である。図３は、資料情報ＤＢに格納される資料管理テーブルの一例を示す概略図である。図４は、映像再生装置の動作の一例を示す概略図である。図５は、映像再生装置の動作の変形例を示す概略図である。図６は、本発明の第２の実施の形態に係る映像再生装置の構成例を示すブロック図である。図７は、記憶部に格納される個人用資料設定情報の一例を示す概略図である。図８は、映像再生装置の動作の一例を示す概略図である。図９は、本発明の第３の実施の形態に係る映像再生装置の構成例を示すブロック図である。図１０は、映像再生装置の動作の一例を示す概略図である。

［第１の実施の形態］
（映像再生システムの構成）
図１は、本発明の第１の実施の形態に係る映像再生システムの構成例を示す概略図である。

この映像再生システム５は、映像再生装置１Ａと、映像情報データベースサーバ（ＤＢ）２と、資料情報ＤＢ３とをネットワーク４によって互いに通信可能に接続することで構成される。

映像再生装置１Ａは、情報を処理するための機能を備えたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や記憶部等の電子部品を備え、映像情報ＤＢ２の映像情報２０及び資料情報ＤＢ３の資料情報３０を再生する情報処理装置である。また、映像再生装置１Ａは、画像を表示する液晶ディスプレイ等の表示部１２と、操作に応じた操作信号を発するキーボード、マウス、タッチパッド等の操作部１３とを備える。なお、映像再生装置１Ａは、例えば、パーソナルコンピュータであり、その他にＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。

映像情報ＤＢ２は、映像を再生表示するためのＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）やＶＯＢ（ＶｉｄｅｏＯｂｊａｃｔ）形式等の動画データである映像情報２０を格納する。

資料情報ＤＢ３は、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）等の画像情報やリッチテキストやＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）等の文書情報、ＭＰＥＧやＶＯＢ等の動画データの資料情報３０と、資料情報３０に予め設定される属性を示す資料管理テーブル３１とを格納する。

ネットワーク４は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネット等の通信網であり、有線、無線は問わない。

（映像再生装置の構成）
図２は、映像再生装置の構成例を示すブロック図である。

映像再生装置１Ａは、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、キーボードやマウス等であって操作に応じた操作信号を発する操作部１３とを備える。

なお、映像再生装置１Ａは、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、表示部１２や操作部１３を備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。

制御部１０は、後述する映像再生プログラム１１０を実行することで、映像読出手段１００、音声抽出手段１０１、語彙抽出手段１０２、読出語彙選択手段１０３、資料情報読出手段１０４及び合成映像生成手段１０５等として機能する。

映像読出手段１００は、利用者の映像再生要求に応じて映像情報ＤＢ２から映像情報２０を予め定めた再生時間毎に読み出す。

音声抽出手段１０１は、映像読出手段１００が読み出したある再生時刻区間の映像情報２０から音声情報を抽出する。

語彙抽出手段１０２は、音声抽出手段１０１が抽出した音声情報を、例えば、テキスト情報等に変換し、テキスト情報から自立語等の語彙を抽出する。

読出語彙選択手段１０３は、映像再生装置１Ａを利用する視聴者の情報や映像情報２０の内容等に基づいて条件を定め、語彙抽出手段１０２が抽出した語彙から条件に合致する語彙を選択する。

資料情報読出手段１０４は、読出語彙選択手段１０３が選択した語彙及び資料管理テーブル３１に基づいて資料情報ＤＢ３から資料情報３０を読み出す。

合成映像生成手段１０５は、映像読出手段１００が読み出した映像情報２０と資料情報読出手段１０４が読み出した資料情報３０とを合成して合成映像を生成して表示用バッファ１２Ａに出力する。

記憶部１１は、制御部１０を上述した各手段１００〜１０５として動作させる映像再生プログラム１１０を記憶する。

図３は、資料情報ＤＢ３に格納される資料管理テーブル３１の一例を示す概略図である。

資料管理テーブル３１は、資料情報３０の識別子を示す資料ＩＤ欄３１ａと、資料情報３０の見出しとなる語彙を示す資料見出欄３１ｂと、資料情報３０の格納先を示す資料パス欄３１ｃと、資料情報３０に設定された難易度や頻出度等のレベルを示す資料レベル欄３１ｄと、複数の資料情報３０が同時に読み出された場合に表示する優先度を示す優先度欄３１ｅと、同一の映像情報２０中で資料情報３０が再度読み出された場合に表示しない時間間隔を示す再表示間隔欄３１ｆと、再表示する際の資料情報３０の内容に対する省略の有無等の対応を示す再表示内容欄３１ｇとを有する。

（第１の実施の形態の映像再生装置の動作）
以下に、映像再生装置１Ａの動作例を図１〜図５を参照しつつ、（１）基本動作、（２）資料情報読出動作、（３）再生動作に分けて説明する。

（１）基本動作
まず、視聴者は、映像再生装置１Ａの操作部１３を操作して、映像情報２０の再生を指示する。操作部１３は、映像情報２０の再生を指示する操作信号を制御部１０に出力する。

映像再生装置１Ａの制御部１０が操作部１３から操作信号を受け付けると、映像読出手段１００は、映像情報２０を読み出す。

（２）資料情報読出動作
図４は、映像再生装置１Ａの動作の一例を示す概略図である。

映像２００ａ、２００ｂ、２００ｃ…は、それぞれ再生時刻「００：０１：００」、「００：０３：０２」、「００：０７：００」から映像読出手段１００によって予め定めた再生時刻の区間だけ読み出された映像情報である。

また、音声抽出手段１０１は、映像読出手段１００が読み出した映像２００ａ、２００ｂ、２００ｃから音声２０１ａ、２０１ｂ、２０１ｃ…を読み出す。

次に、語彙抽出手段１０２は、音声２０１ａ、２０１ｂ、２０１ｃ…をテキスト化し、例えば、音声２０１ａから自立語である語彙２１０ａ、２１１ａを、音声２０１ｂから語彙２１０ｂ、２１１ｂ、２１２ｂを、音声２０１ｃから語彙２１０ｃ、２１１ｃを抽出する。なお、語彙抽出手段１０２が抽出する語彙は、自立語に限らず設計者又は視聴者が予め定めた条件を満たすものを抽出してもよい。

次に、読出語彙選択手段１０３は、語彙抽出手段１０２が抽出した語彙２１０ａ、２１１ａ、２１０ｂ、２１１ｂ、２１２ｂから、例えば、映像情報２０の内容等に基づいて条件を定め、条件に合致する語彙を選択する。図４に示す例においては、語彙２１１ａ、２１０ｂ、２１１ｂ、２１２ｂ、２１１ｃが選択され、他は選択されない。これは、例えば、「年号は無視する」、「名詞を選択する」といったような条件によって選択される。なお、読出語彙選択手段１０３は、設計者又は視聴者が予め定めた他の条件で選択してもよい。

次に、資料情報読出手段１０４は、読出語彙選択手段１０３が選択した語彙２１１ａが、図３に示す資料管理テーブル３１の資料見出欄３１ｂの「ルイ１５世」に一致するため、資料パス欄３１ｃに示すパス「Ａ００１．ｔｘｔ」に格納される資料３００ａを資料情報ＤＢ３から読み出す。

また、資料情報読出手段１０４は、読出語彙選択手段１０３が選択した語彙２１０ｂ、２１１ｂ、２１２ｂが、資料管理テーブル３１の資料見出欄３１ｂに一致するが、「ルイ１５世」の語彙２１０ｂについては、再表示間隔欄３１ｆが「００：１５：００」であるため、前回表示された資料３００ａの再生時刻が「００：０１：００」であり、１５分以内という条件を満たさず資料は読み出されない。また、資料情報読出手段１０４は、語彙２１１ｂ、２１２ｂに基づいて資料３００ｂ、３０１ｂを読み出す。

また、資料情報読出手段１０４は、読出語彙選択手段１０３が選択した語彙２１１ｃが、資料管理テーブル３１の資料見出欄３１ｂの「人口増加」に一致するため、資料パス欄３１ｃに示すパス「Ａ００４．ｊｐｇ」に格納される資料３００ｃを資料情報ＤＢ３から読み出す。

なお、以上に説明した資料３００ａ、３００ｂ、３０１ｂ、３００ｃは、資料管理テーブル３１の優先度欄３１ｅの数値の大きいものから優先的に表示される。また、資料が再表示される場合であって、再表示間隔欄３１ｆの条件を満たす資料は、再表示内容欄３１ｇが「オリジナル」の場合は前回表示した資料を再度表示するが、「省略」と記載されている場合は併記されたパスの省略バージョンの資料情報を読み出して表示する。

次に、合成映像生成手段１０５は、映像２００ａと資料３００ａ、映像２００ｂと資料３００ｂ及び３０１ｂ、映像２００ｃと資料３００ｃを合成して合成映像１２０ａ、１２０ｂ、１２０ｃ…を生成し、表示用バッファ１２Ａに出力する。

以上に説明した（２）資料情報読出動作は、映像情報２０の再生時刻について予め定めた時間毎、例えば、３〜１０秒毎に繰り返し行う。また、音声情報を先に抽出し、音声の区切れる無音部分毎に映像情報２０を読み出してもよい。

（３）再生動作
表示用バッファ１２Ａに予め定めた時間分の合成映像が蓄積されると、表示部１２に合成映像が表示される。

［変形例］
合成映像生成手段１０５は、（２）資料情報読出動作を実行する予め定めた時間内において語彙が複数選択され、語彙に該当する資料が合成映像中に一度に表示しきれない場合に、例えば以下のように動作する。

図５は、映像再生装置１Ａの動作の変形例を示す概略図である。

音声抽出手段１０１によって抽出された音声２０１ｄから、語彙抽出手段１０２によって語彙２１０ｄ〜２１４ｄが抽出され、読出語彙選択手段１０３によってすべての語彙が選択された場合、資料情報読出手段１０４は、資料３００ｄ〜３０４ｄを読み出す。

合成映像生成手段１０５は、資料３００ｄ〜３０４ｄのすべてを一度に映像２００ｄと合成できないと判断した場合、例えば、予め定めた数以上の資料が読み出された場合、合成可能な資料の数以下の任意の数、例えば、１つの資料３００ｄを映像２００ｄに合成して合成映像１２０ｄを生成し、残りの資料３０１ｄ〜３０４ｄのみで合成映像１２１ｄを生成する。

これらの合成映像１２０ｄ、１２１ｄは、表示用バッファ１２Ａに出力され、再生されて表示部１２に表示されるが、合成映像１２１ｄの表示中は映像２００の再生は一時停止され、合成映像１２１ｄを予め定めた時間表示した後に、再び映像２００ｄの次の映像２００ｅから再生される。

なお、表示しきれない資料情報３０が読み出されたタイミングに限らず、映像情報２０の区切りの良いタイミング、例えば、音声が途切れるタイミングや映像のシーン切り替えのタイミング等において映像情報２０を一時停止して、読み出された資料３０１ｄ〜３０４ｄを含む合成映像１２１ｄを表示してもよい。ただし、資料情報３０が読み出されたタイミングから予め定めた時間以内において表示するものとする。

また、映像２００ｅ以降の映像において、語彙が抽出されない時間がある場合は、映像２００ｄの再生を一時停止せずに資料３０１ｄ〜３０４ｄを映像２００ｅ以降の映像とともに順次合成してもよい。

［第２の実施の形態］
図６は、本発明の第２の実施の形態に係る映像再生装置の構成例を示すブロック図である。なお、第２の実施の形態は、映像情報２０を視聴する視聴者を識別する点及び視聴者が書込みを行える点で第１の実施の形態と異なる。以下、第１の実施の形態の映像再生装置１Ａと異なる構成について説明する。

映像再生装置１Ｂの制御部１０は、映像再生プログラム１１１を実行することで、手段１００〜１０５に加えて視聴者識別手段１０６及び資料書込手段１０７として機能する。

視聴者識別手段１０６は、例えば、映像再生装置１Ｂで映像を視聴する視聴者に対して視聴者ＩＤ及びパスワード等の情報の入力を要求し、入力された内容に応じて視聴者を識別する。

資料書込手段１０７は、表示部１２に合成映像とともに表示されるメモ用の書込用領域に、視聴者によって書き込まれた内容を後述する書込用資料情報１１３として記憶部１１に格納する。

記憶部１１は、制御部１０を上述した各手段１００〜１０７として動作させる映像再生プログラム１１１、資料情報読出手段１０４が資料を読み出す際の条件が設定される個人用資料設定情報１１２及び視聴者の書込みに基づいて資料書込手段１０７によって生成される書込用資料情報１１３等を記憶する。

図７は、記憶部１１に格納される個人用資料設定情報１１２の一例を示す概略図である。

個人用資料設定情報１１２は、映像再生装置１Ｂを利用中の視聴者毎に用意される情報であって、資料情報読出手段１０４が読み出す資料の識別子を示す使用資料ＩＤ欄１１２、図３に示す資料管理テーブル３１の資料レベル欄３１ｄに対応して使用する資料のレベルを示す使用資料レベル欄１１２ｂ、資料管理テーブル３１の優先度欄３１ｅに対応して使用する資料の優先度の閾値を示す使用優先度欄１１２ｃ、資料管理テーブル３１の再表示間隔欄３１ｆの値に代えて強制的に設定される再表示間隔欄１１２ｄ及び資料管理テーブル３１の再表示内容欄３１ｇの値に代えて強制的に設定される再表示内容欄１１２ｅを有する。

（第２の実施の形態の映像再生装置の動作）
まず、視聴者識別手段１０６は、視聴者に視聴者ＩＤ及びパスワード等の入力を要求し、視聴者を識別した後、資料情報読出手段１０４は、識別した視聴者に対応する個人用資料設定情報１１２を参照する。

第２の実施の形態において、資料情報読出手段１０４は、（２）資料情報読出動作において、資料情報３０を読み出す際に図７の個人用資料設定情報１１２を参照し、個人用資料設定情報１１２の各欄１１２ａ〜１１２ｅの内容に基づいて資料情報３０を読み出す。

図７に示す例においては、資料情報読出手段１０４は、使用資料ＩＤ欄１１２ａの内容に従って資料のＩＤが「００１〜１０１、５０１〜７０５」のみ読み出し、他のＩＤの資料は読み出さない。また、使用資料レベル欄１１２ｂに従って資料管理テーブル３１の資料レベル欄３１ｄが「中」又は「下」に設定されている資料のみ用い、資料ＩＤ欄３１ａが「００５」の資料については用いない。また、使用優先度欄１１２ｃに基づいて資料管理テーブル３１の優先度欄３１ｅが「５０」以上に設定されている資料のみ用い、資料ＩＤ欄３１ａが「００５」の資料については用いない。

また、再表示間隔欄１１２ｄの内容は、資料管理テーブル３１の再表示間隔欄３１ｆの値に代えて強制的に設定されるものであり、再表示間隔はすべて「００：０１：００」に設定される。また、再表示内容欄１１２ｅの内容は、資料管理テーブル３１の再表示内容欄３１ｇの値に代えて強制的に設定されるものであり、再表示内容はすべて省略用の資料が用いられる。なお、省略用の資料が存在しない場合はオリジナルを用いる。

図８は、映像再生装置１Ｂの動作の一例を示す概略図である。

表示部１２に表示される合成映像１２０ｆは、映像２００ｆと、映像２００ｆの音声情報から読み出された資料３００ｆと、操作部１３の出力する操作信号に応じて文字等を書き込む書込用領域３５０ｆと、操作部１３の出力する操作信号に応じて移動及び決定を実行するカーソル１３０とを有する。

資料書込手段１０７は、合成映像１２０ｆ中に書込用領域３５０ｆを表示し、操作部１３の出力する操作信号に応じて書込用領域３５０ｆに書き込まれた内容を視聴者識別手段１０６が識別した視聴者に関連付けて書込用資料情報１１３として生成し、記憶部１１に格納する。

また、資料書込手段１０７は、カーソル１３０によって指示されて選択された資料３００ｆを書込用資料情報１１３の書き込まれた内容及び映像情報２０の再生時刻に関連付けて記録してもよい。

［第３の実施の形態］
図９は、本発明の第３の実施の形態に係る映像再生装置の構成例を示すブロック図である。なお、第３の実施の形態は、資料情報読出手段１０４が読み出した資料情報から視聴者が表示したい資料を選択できる点、映像情報２０に資料情報３０を合成した合成映像を表示部１２に直接表示せずに、編集済映像情報として生成し、記憶部１１に格納する点で第１の実施の形態と異なる。

映像再生装置１Ｃの制御部１０は、映像再生プログラム１１４を実行することで、手段１００〜１０５に加えて資料候補表示手段１０８及び資料情報選択手段１０９として機能する。

資料候補表示手段１０８は、資料情報読出手段１０４が読み出した複数の資料を表示する資料の候補として後述する候補表示画面に表示する。

資料情報選択手段１０９は、操作部１３の出力する操作信号に応じて、資料候補表示手段１０８が表示する候補表示画面の資料情報から使用する資料情報を選択する。

記憶部１１は、制御部１０を上述した各手段１００〜１０５、１０８及び１０９として動作させる映像再生プログラム１１４及び資料情報選択手段１０９が選択した資料と映像とを合成映像生成手段１０５によって合成することで生成される合成映像を含む編集済映像情報１１５等を記憶する。

（第３の実施の形態の映像再生装置の動作）
図１０は、映像再生装置１Ｃの動作の一例を示す概略図である。

映像２００ｇ、２００ｈ…は、再生時刻が「００：０１：００」、「００：０５：００」の映像であって、映像読出手段１００によって読み出された映像情報２０の内容を代表して示している。

また、音声抽出手段１０１は、映像読出手段１００が映像２００ｇ、２００ｈ…読み出すと同時に、映像情報２０から音声２０１ｇ、２０１ｈ…を読み出す。

次に、語彙抽出手段１０２は、音声２０１ｇ、２０１ｈ…をテキスト化し、例えば、音声２０１ｇから語彙２１０ｇを、音声２０１ｈから語彙２１０ｈを抽出する。

次に、資料情報読出手段１０４は、資料管理テーブル３１の資料見出欄３１ｂから語彙２１０ｇ及び２１０ｈに一致する資料３００ｇ〜３０１ｇ及び資料３００ｈ〜３０１ｈのすべてを、資料パス欄３１ｃに示すパスを参照して資料情報ＤＢ３から読み出す。

次に、資料候補表示手段１０８は、資料情報読出手段１０４が読出した資料３００ｇ〜３０１ｇ及び資料３００ｈ〜３０１ｈをそれぞれ候補表示画面１２５ｇ及び１２５ｈに表示する。

次に、資料情報選択手段１０９は、資料候補表示手段１０８が表示した候補表示画面１２５ｇ及び１２５ｈから操作部１３の出力する操作信号に基づいてカーソル１２５ｇ及び１２５ｈを移動し、カーソル１２５ｇ及び１２５ｈによって選択された資料を合成映像生成手段１０５に出力する。図１０に示す例では、候補表示画面１２５ｇにおいて資料３０１ｇが選択され、候補表示画面１２５ｈにおいて資料３００ｈ、３０１ｈ、３０２ｈが選択される。

次に、合成映像生成手段１０５は、映像２００ｇと資料３０１ｇを合成して合成映像１２０ｇとし、また、映像２００ｈを単独で合成映像１２０ｈとして、資料３００ｈ、３０１ｈ及び３０２ｈから合成映像１２０ｉを生成し、すべての映像について同様の処理を行い編集済映像情報１１５を生成する。

なお、本実施の形態において資料情報３０は、画像、映像、ＨＴＭＬ等の文書に限らず、例えば、映像２００ｇ、２００ｈ…に対する画質補正処理であったり、映像のシーン切り替えをつなぐ映像効果等であってもよい。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、映像を伴わない音声情報のみからなる情報から本発明により資料情報を読み出し、音声情報の再生に同期して資料情報を表示部に表示してもよい。

また、上記映像再生プログラム１１０、１１１及び１１４をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、映像読出手段１００、音声抽出手段１０１、語彙抽出手段１０２、読出語彙選択手段１０３、資料情報読出手段１０４、合成映像生成手段１０５、視聴者識別手段１０６、資料書込手段１０７、資料候補表示手段１０８及び資料情報選択手段１０９の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。

１Ａ…映像再生装置、１Ｂ…映像再生装置、１Ｃ…映像再生装置、２…映像情報ＤＢ、３…資料情報ＤＢ、４…ネットワーク、５…映像再生システム、１０…制御部、１１…記憶部、１２…表示部、１２Ａ…表示用バッファ、１３…操作部、２０…映像情報、３０…資料情報、３１…資料管理テーブル、１００…映像読出手段、１０１…音声抽出手段、１０２…語彙抽出手段、１０３…読出語彙選択手段、１０４…資料情報読出手段、１０５…合成映像生成手段、１０６…視聴者識別手段、１０７…資料書込手段、１０８…資料候補表示手段、１０９…資料情報選択手段、１１０…映像再生プログラム、１１１…映像再生プログラム、１１２…個人用資料設定情報、１１３…書込用資料情報、１１４…映像再生プログラム、１１５…編集済映像情報

Claims

コンピュータを、
映像情報に含まれる音声情報から語彙を抽出する抽出手段と、
前記語彙抽出手段が抽出した前記語彙に基づいて前記語彙に関連する内容を有する資料情報を読み出す読出手段と、
前記映像情報を再生することで表示される映像のうち、前記語彙が抽出された前記音声情報の再生時刻の映像と、前記読出手段に読み出された前記資料情報を再生することで表示される資料とを合成して合成映像を生成する合成手段と、
前記合成手段により合成された前記合成映像を表示する手段として機能させるための映像再生プログラムであって、
前記合成手段は、前記映像情報の再生時刻について予め定めた時間中に、前記読出手段に読み出された資料情報の数が予め定めた数を超える場合、前記読出手段に読み出された前記資料情報のうち前記予め定められた数の前記資料情報を前記語彙が抽出された前記音声情報の再生時刻の映像に合成して一の前記合成映像を生成し、かつ残りの前記資料情報のみで他の前記合成映像を生成する映像再生プログラム。
前記読出手段は、前記資料情報に関連付けられた情報が予め定めた条件を満たす場合に、前記資料情報を読み出す請求項１に記載の映像再生プログラム。
前記映像情報を視聴する視聴者を識別する識別手段として前記コンピュータをさらに機能させ、
前記読出手段は、前記識別された視聴者毎に予め定められた条件に基づいて前記条件を満たす前記資料情報を読み出す請求項２に記載の映像再生プログラム。
前記合成手段は、前記映像情報の再生時刻について予め定めた時間中に、前記読出手段に読み出された前記資料情報の数が予め定めた数を超える場合、前記読み出された資料情報を表示し終えるまで前記映像情報の再生を一時停止する請求項１に記載の映像再生プログラム。
前記読出手段が読出した前記資料情報を資料候補として表示する資料候補表示手段と、
視聴者の要求に応じて前記資料候補表示手段によって表示された前記資料候補から使用する資料情報を選択する選択手段として前記コンピュータをさらに機能させる請求項１に記載の映像再生プログラム。
映像情報に含まれる音声情報から語彙を抽出する抽出手段と、
前記語彙抽出手段が抽出した前記語彙に基づいて前記語彙に関連する内容を有する資料情報を読み出す読出手段と、
前記映像情報を再生することで表示される映像のうち、前記語彙が抽出された前記音声情報の再生時刻の映像と、前記読出手段に読み出された前記資料情報を再生することで表示される資料とを合成して合成映像を生成する合成手段と、
前記合成手段により合成された前記合成映像を表示する手段と、を有する映像再生装置であって、
前記合成手段は、前記映像情報の再生時刻について予め定めた時間中に、前記読出手段に読み出された資料情報の数が予め定めた数を超える場合、前記読出手段に読み出された前記資料情報のうち前記予め定められた数の前記資料情報を前記語彙が抽出された前記音声情報の再生時刻の映像に合成して一の前記合成映像を生成し、かつ残りの前記資料情報のみで他の前記合成映像を生成する映像再生装置。
映像情報に含まれる音声情報から語彙を抽出する抽出手段と、
前記語彙抽出手段が抽出した語彙に基づいて前記語彙に関連する内容を有する資料情報を読み出す読出手段と、
前記映像情報を再生することで表示される映像のうち、前記語彙が抽出された前記音声情報の再生時刻の映像と、前記読出手段に読み出された前記資料情報を再生することで表示される資料とを合成して合成映像を生成する合成手段と、
前記合成手段により合成された前記合成映像を表示する手段と、
視聴者に対して視聴者情報の入力を要求し、入力された内容に応じて前記視聴者を識別する視聴者識別手段と、
前記表示手段に前記合成映像とともに表示される書込用領域に、前記視聴者によって書き込まれた内容を書込用資料情報として格納する資料書込手段と、を有する映像再生装置。