JP4233362B2 - 情報配信装置、情報配信方法、および情報配信プログラム - Google Patents

情報配信装置、情報配信方法、および情報配信プログラム Download PDF

Info

Publication number
JP4233362B2
JP4233362B2 JP2003063484A JP2003063484A JP4233362B2 JP 4233362 B2 JP4233362 B2 JP 4233362B2 JP 2003063484 A JP2003063484 A JP 2003063484A JP 2003063484 A JP2003063484 A JP 2003063484A JP 4233362 B2 JP4233362 B2 JP 4233362B2
Authority
JP
Japan
Prior art keywords
information
screen image
unit
incidental
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003063484A
Other languages
English (en)
Other versions
JP2004274456A (ja
Inventor
孝之 國枝
由喜 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003063484A priority Critical patent/JP4233362B2/ja
Publication of JP2004274456A publication Critical patent/JP2004274456A/ja
Application granted granted Critical
Publication of JP4233362B2 publication Critical patent/JP4233362B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、情報配信装置、情報配信方法、および情報配信プログラムに関する。
【0002】
【従来の技術】
長時間の映像のうちから所望の一部のみを見たいという要望がある。この要望に応えるべく、近年では、所望の部分を容易に検索または頭出しする方法として、インデキシング技術が開発されている。インデキシング技術とは、映像全体を時間軸に沿って複数の部分に分割し、それぞれの部分に対して、検索可能とすべく記述情報を対応付ける技術である。また、インデキシングの処理が施されたデジタルデータの要約を、所定の印刷書式に従って印刷する技術が知られている(例えば、特許文献1)。
【0003】
【特許文献1】
特開2002−232858号公報
【0004】
【発明が解決しようとする課題】
しかし、上記印刷技術によれば、デジタルデータに対するインデキシング処理が完了した後でしか、デジタルデータの要約等が記載された印刷物を得ることができなかった。このため、例えば、講演の様子をデジタルデータとして撮影する場合に、講演が始まる前に予めデジタルデータの要約に関する情報が記載された印刷物を視聴者に配布することができなかった。
【0005】
この発明は上記に鑑みてなされたもので、デジタルデータの要約等に関する情報をより効率的に利用者に提供することのできる情報配信装置、情報配信方法、および情報配信プログラムを得ることを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、端末装置とネットワークを介して接続される情報配信装置であって、各画面画像と、当該各画面画像に対応する付帯情報の格納先を示す付帯情報識別情報とを、対応付けた画面画像テーブルを記憶する画面画像テーブル記憶手段と、表示画面に順次表示される前記各画面画像と当該各画面画像の内容を説明するプレゼンターの音声とを、録音機能を有する撮影機器で撮影・録音して生成された動画データおよび音声データを含むデジタルデータを、前記撮影機器から取得するデジタルデータ取得手段と、前記デジタルデータ取得手段により取得された前記デジタルデータに含まれる前記音声データから、前記各画面画像に対応する音声の内容に対応するテキストデータである前記付帯情報を生成する付帯情報生成手段と、前記付帯情報生成手段により生成された前記付帯情報を、当該付帯情報に対応する前記付帯情報識別情報が示す格納先に格納させる格納手段と、前記端末装置から前記付帯情報識別情報にアクセスされたことに基づいて、当該付帯情報識別情報が示す格納先に格納された前記付帯情報を前記端末装置に配信する配信手段と、を備えたことを特徴とする。
【0007】
この請求項1の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。そして、付帯情報識別情報が示す格納先に付帯情報が格納されると、利用者は、付帯情報識別情報に基づいて付帯情報を取得することができる。
【0013】
また、請求項にかかる発明は、請求項に記載の情報配信装置であって、前記付帯情報識別情報は、前記付帯情報の格納先を示すURLであることを特徴とする。
【0014】
この請求項の発明によれば、付帯情報識別情報は、URLであるので、利用者は、URLにアクセスすることによって、容易に付帯情報を取得することができる。
【0015】
また、請求項にかかる発明は、請求項1または2に記載の情報配信装置であって、表示画面に順次表示される前記各画面画像と当該各画面画像の内容を説明するプレゼンターの音声との前記撮影機器による撮影・録音が行われる前に、前記画面画像テーブルにおいて対応付けられている前記画面画像と前記付帯情報識別情報とを含む出力用画面画像情報を生成する出力情報生成手段を更に備えたことを特徴とする。
【0016】
この請求項の発明によれば、撮影機器による撮影・録音が行われる前に、画面画像と付帯情報識別情報とを対応付けた出力用画面情報を例えば印刷物として出力することができる。従って、利用者は、撮影が行われる講演等を視聴する場合、講演の間、講演内容に沿って、画面画像等が記載された印刷物にメモを取り、後日、付帯情報識別情報に基づいて付帯情報を取得することができる。これにより、講演中の自分のメモと付帯情報との対応付けを容易に行うことができる。
【0017】
また、請求項にかかる発明は、請求項に記載の情報配信装置であって、前記出力情報生成手段は、前記付帯情報識別情報に基づいて2次元バーコードを生成し、生成した2次元バーコードと前記画面画像とを含む前記出力用画面画像情報を生成することを特徴とする。
【0018】
この請求項の発明によれば、付帯情報識別情報は、2次元バーコードとして印刷されるので、利用者は、この2次元バーコードを、バーコードリーダ等で読み取らせ、付帯情報識別情報を取得することができる。
【0019】
また、請求項にかかる発明は、請求項1から4のいずれか一項に記載の情報配信装置であって、前記端末装置から前記付帯情報識別情報にアクセスされたことに基づいて、当該付帯情報識別情報に対応付けられている前記画面画像と当該付帯情報識別情報が示す格納先に格納されている前記付帯情報とを含む画面画像関連情報を生成する画像関連情報生成手段を更に備え、前記配信手段は、前記画像関連情報生成手段により生成された前記画面画像関連情報を前記端末装置に配信することを特徴とする。
【0020】
この請求項の発明によれば、付帯情報識別情報に基づいて、付帯情報識別情報に対応付けられている画面画像と付帯情報識別情報が示す格納先に格納されている付帯情報とを含む画面画像関連情報が生成されるので、利用者は、付帯情報識別情報に基づいて画面画像関連情報を取得することができる。
【0021】
また、請求項にかかる発明は、請求項に記載の情報配信装置であって、前記画面画像と前記付帯情報とを埋め込む雛型を記憶する雛型記憶手段を更に備え、前記画像関連情報生成手段は、前記雛型記憶手段に記憶されている前記雛型に前記画面画像と前記付帯情報とを埋め込むことにより前記画面画像関連情報を生成することを特徴とする。
【0022】
この請求項の発明によれば、雛型記憶手段は、画面画像関連情報を生成するときに利用する雛型を格納しているので、画像関連情報生成手段は、この雛型を利用することにより容易に画面画像関連情報を生成することができる。
【0025】
また、請求項にかかる発明は、端末装置とネットワークを介して接続される情報配信装置で実行される情報配信方法であって、前記情報配信装置は、各画面画像と、当該各画面画像に対応する付帯情報の格納先を示す付帯情報識別情報とを、対応付けた画面画像テーブルを記憶する画面画像テーブル記憶手段を備え、デジタルデータ取得手段が、表示画面に順次表示される前記各画面画像と当該各画面画像の内容を説明するプレゼンターの音声とを、録音機能を有する撮影機器で撮影・録音して生成された動画データおよび音声データを含むデジタルデータを、前記撮影機器から取得するデジタルデータ取得ステップと、付帯情報生成手段が、前記デジタルデータ取得ステップにより取得された前記デジタルデータに含まれる前記音声データから、前記各画面画像に対応する音声の内容に対応するテキストデータである前記付帯情報を生成する付帯情報生成ステップと、格納手段が、前記付帯情報生成手段により生成された前記付帯情報を、当該付帯情報に対応する前記付帯情報識別情報が示す格納先に格納させる格納ステップと、配信手段が、前記端末装置から前記付帯情報識別情報にアクセスされたことに基づいて、当該付帯情報識別情報が示す格納先に格納された前記付帯情報を前記端末装置に配信する配信ステップと、を有することを特徴とする。
【0026】
この請求項の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。そして、付帯情報識別情報が示す格納先に付帯情報が格納されると、利用者は、付帯情報識別情報に基づいて付帯情報を取得することができる。
【0027】
また、請求項にかかる発明は、情報配信プログラムであって、請求項7に記載された情報配信方法をコンピュータに実行させることを特徴とする。
【0028】
この請求項の発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができる。そして、付帯情報識別情報が示す格納先に付帯情報が格納されると、利用者は、付帯情報識別情報に基づいて付帯情報を取得することができる。
【0029】
【発明の実施の形態】
図1は、この発明の実施の形態である情報編集装置5を含む情報編集システム1の全体構成を示している。
【0030】
情報編集システム1は、プレゼンテーション資料31を格納するプレゼンテーション装置2と、このプレゼンテーション装置2と接続し、プレゼンテーション資料31を表示するプロジェクター等の投影機3と、投影機3により投影された画像を表示する表示画面30と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのDVカメラ4と、DVカメラ4が取り込んだ音声を含む動画情報(以下単に「動画情報」と称す)を編集する情報編集装置5とを備えている。ここで、プレゼンテーション資料31は、プレゼンテーションの際に表示させる複数の画面画像データで構成されている。画面画像データは、例えばPPTデータなどの静止画データである。また、動画情報は、本発明のデジタルデータに相当する。
【0031】
DVカメラ4と情報編集装置5は、例えば、IEEE1394などのインターフェイスで接続されている。また、プレゼンテーション装置2と情報編集装置5は、IEEE802.11bなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサネット(R)によるピア・ツー・ピア接続であってもよい。
【0032】
プレゼンテーション装置2は、単にプレゼンテーション資料31を格納しており、投影機3と通信可能であればよく、例えば、プレゼンターの所有するPCであってもよい。
【0033】
編集者は、プレゼンターがプレゼンテーション資料31を表示画面30に表示させながらプレゼンテーションを行っている様子を、DVカメラ4を用いて撮影する。ここで、編集者とは、情報編集システム1を利用して動画を編集する者のことである。
【0034】
撮影が終了すると、情報編集装置5は、プレゼンテーション装置2からプレゼンテーション資料31を取得し、さらに、DVカメラ4からプレゼンテーションの様子を示す動画情報を取得する。そして、情報編集装置5は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料31を対応付けた動画ファイルを生成する。
【0035】
図2は、本実施の形態にかかる情報編集システム1に特徴的な処理を行う情報編集装置5の情報編集部35と、プレゼンテーション装置2のイベント処理部32の機能構成を示すブロック図である。
【0036】
イベント処理部32は、プレゼンテーション装置2に接続されたキーボード21やマウス15からの入力により、プレゼンテーションに関するイベントを示すイベント情報を取得するイベントキャプチャ部33と、イベントキャプチャ部33が取得したイベント情報を記録するイベント記録部34と、イベント情報およびプレゼンテーション資料31を情報編集装置5に送信する送信部44とを有している。
【0037】
また、情報編集部35は、受信部36と、イベント制御部37と、イベント記録部38と、イベント情報解釈部42と、動画情報キャプチャ部40と、動画情報管理部41と、撮影機器制御部39と、付帯情報生成部61と、動画ファイル生成部43と、付帯情報付帯情報ID付与部60と、画面画像テーブル保持部62と、印刷用データ生成部65と、雛型保持部66と、指示受付部54と、出力部50と、通信部67とを有している。
【0038】
受信部36は、送信部44からイベント情報およびプレゼンテーション資料31を受け取る。イベント制御部37は、受信部36が受け取ったイベント情報を制御する。イベント記録部38は、イベント制御部37からイベント情報を受け取り、イベント情報を記録する。
【0039】
撮影機器制御部39は、DVカメラ4を制御する。動画情報キャプチャ部40は、動画ファイル生成部43が生成した動画ファイルを外部に出力すると、DVカメラ4が取り込んだ動画情報をキャプチャする。動画情報管理部41は、動画情報を管理する。
【0040】
イベント情報解釈部42は、イベント記録部38からイベント情報を取得し、イベント情報の内容を解釈する。付帯情報生成部61は、イベント情報解釈部42によって解釈されたイベント情報に基づいて、プレゼンテーション資料31を構成する各画面画像データに対応付けるべき付帯情報を生成する。
【0041】
動画ファイル生成部43は、イベント情報解釈部42によって解釈されたイベント情報に基づいて動画情報を編集し、動画ファイルを生成する。具体的には、付帯情報生成部61が生成した付帯情報および画面画像データを動画情報に対応付ける。
【0042】
付帯情報ID付与部60は、受信部36が受け取ったプレゼンテーション資料31に含まれる各画面画像データに付帯情報IDを対応付けて画面画像テーブルを生成する。ここで、付帯情報IDとは、画面画像データに後に対応付けるべき付帯情報を識別する情報である。
【0043】
保持部64は、動画ファイル生成部43が生成した動画ファイルを保持する。雛型保持部66は、印刷用データ生成部65が利用する雛型を保持する。
【0044】
印刷用データ生成部65は、動画ファイルを利用して印刷用データを生成する。具体的には、画面画像テーブル保持部62に保持されている画面画像テーブルにおいて画面画像データに対応付けられている付帯情報IDを、雛型保持部66に保持されている雛型に埋め込むことにより印刷用データを生成する。ここで、印刷用データ生成部62は、本発明の出力情報生成手段を構成する。また、印刷用データは、本発明の出力用画面画像データに相当する。
【0045】
通信部67は、ネットワーク8を介して外部と通信する。具体的には、付帯情報IDを利用者から受信し、印刷用データ生成部65に送る。また、印刷用データ生成部65が生成した印刷用データを外部に送信する。出力部50は、保持部64に保持されている動画ファイルや、印刷用データ生成部65において生成された印刷用データを出力する。
【0046】
ここで、通信部67および出力部50は、本発明における配信手段を構成する。
【0047】
指示受付部54は、編集者等からの指示を受け付け、付帯情報生成部61、動画ファイル生成部43、および印刷用データ生成部65に送る。
【0048】
ここで、受信部36、および動画情報キャプチャ部40は、それぞれ本発明のイベント情報取得手段、画面画像情報取得手段、および動画情報取得手段を構成する。
【0049】
次に、図3を参照しつつ、プレゼンテーション資料31について説明する。プレゼンテーション資料31は、プレゼンテーションの際に表示画面30に表示すべき画面画像データ311,312,314,316,318,320を含んでいる。各画面画像データ311,312,314,316,318,320には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料31を構成する画面画像は、当該プレゼンテーション資料31の作成者が定めた順番に配列されている。図3に示すプレゼンテーション資料31は、6ページ分の画面画像データを含んでいる。これらは、プレゼンターからの指示により、1ページ、2ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料31は、Microsoft(R)社製のPower Point(R)のファイルである。
【0050】
通常、プレゼンテーションにおいて、プレゼンターは、以下の操作を行う。
1.プレゼンテーション装置2の起動
2.プレゼンテーション・ソフトの起動
3.発表の開始
4.キーボード21又はマウス15の操作による、プレゼンテーション資料31のページめくり
5.発表の終了
6.プレゼンテーション・ソフトの終了
7.プレゼンテーション装置2の終了
ここで、ページめくりとは、表示画面30に表示させる、プレゼンテーション資料31を1ページから次のページすなわち2ページに切り替えることである。
【0051】
以上の操作は、いずれもマウス15またはキーボード21における所定の操作に対応付けられている。例えば、プレゼンテーション装置2の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス15によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。
【0052】
イベント記録部34は、このイベント情報のログを記録し、送信部44は通信インターフェイスを介して情報編集部35に送信する。撮影機器制御部39は、イベント情報に基づいてDVカメラ4を制御する。イベント記録部38は、イベント処理部32から受信したイベント情報のみならず、DVカメラ4の制御のイベント情報も記録する。
【0053】
例えば、プレゼンテーション・ソフトの起動というイベントが発生したときは、このイベント情報をイベント記録部38で記録する。さらに、撮影機器制御部39により、DVカメラ4からの動画情報取り込みを開始する。プレゼンテーション・ソフトが終了したときは、撮影機器制御部39は、DVカメラ4からの動画情報の取り込みを終了する。そして、イベント制御部37は、プレゼンテーション・ソフトの終了をイベントとするイベント情報をイベント記録部38に記録する。
【0054】
イベント情報解釈部42は、イベント情報の内容を解釈する。そして、動画ファイル生成部43は、イベント情報解釈部42によって解釈されたイベント情報の内容を参照し、プレゼンテーション資料31及び動画情報に基づいて動画ファイルを生成する。
【0055】
このように、情報編集部35は、DVカメラ4から取り込んだ動画情報中のイベントのイベント情報を動画情報とともに管理することができる。つまり、DVカメラ4で撮影され取り込まれた動画情報は、時間の推移を規定する時間情報を付されて保存される。また、記録されたイベント情報は、動画ファイル生成部43により、プレゼンテーション資料31とマージされ、内容記述言語(MPEG−7など)により管理される。
【0056】
図4は、イベント情報リスト300のデータ構成を模式的に示している。イベント情報リスト300には、イベント情報341,342,343・・・が、各イベントの発生した順番に配列されている。イベント情報には、発生したイベントの種類およびイベントが発生した日時が含まれている。例えばページ2が表示されると、「ページ2に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始した表示開始時刻および表示を終了した終了時刻を認識することができる。
【0057】
図5は、図2において説明した、動画ファイル生成部43の詳細な機能構成を示す機能ブロック図である。動画ファイル生成部43は、区間決定部430と、区間調整部431と、同期部433と、目次項目抽出部434と、対応付部435と、同期調整部436と、目次項目抽出部437とを有する。
【0058】
区間決定部430は、DVカメラ4から取得した動画情報600を、プレゼンテーション装置2から取得したイベント情報340に基づいて、複数の区間に分割する。具体的には、区間決定部430は、ページめくりを示すイベント情報350が示す時刻に録画されたフレーム位置を動画情報の区間の境界位置として決定する。すなわち、一のページが表示されている区間は、同一区間となり、ページが切り替わるタイミングが、区間の境界に対応する。
【0059】
区間調整部431は、区間決定部430が分割した区間の長さを調整する。具体的には、区間決定部430により決定された区間の長さが、予め定められた規定長に比べて短い場合に、この規定長よりも短い区間、すなわち規定長外区間を、当該規定長区間の直前または直後の区間に統合する。ここで、規定長は、変更可能である。例えば、指示受付部54を介して編集者等から指定された長さに定められてもよい。
【0060】
同期部433は、イベント情報350に基づいて、動画情報600とプレゼンテーション資料31との同期を取る。すなわち、動画情報600の各区間を表示させるときに同時に表示させるべきプレゼンテーション資料31の一のページを、各区間に対応付ける。
【0061】
同期調整部436は、動画情報600の規定外区間に対して、同期部433が同期させたプレゼンテーション資料31のページにかえて、規定外区間の統合先の区間に同期されたページを同期させる。
【0062】
目次項目抽出部434は、プレゼンテーション資料31から、動画情報600の目次の項目となるべき文字情報を抽出する。対応付部435は、目次項目抽出部434が抽出した目次項目を、当該目次項目の抽出元である、プレゼンテーション資料31の各ページに対応付ける。対応付部435は、付帯情報400をプレゼンテーション資料31の各ページに対応付ける。目次項目抽出部437は、目次項目抽出部434が抽出した目次項目を削除する。
【0063】
図6は、情報編集部35が生成した動画ファイルを示している。動画ファイルは、動画情報600と、動画情報600の各区間610に対応付けられた複数の画面画像データ311,312・・・と、各区間610に対応付けられた付帯情報ID411,412・・・と、付帯情報ID411,412・・・で特定される付帯情報421,422・・・とを有している。なお、動画情報600の各区間610は、複数のフレーム620を含んでいる。各区間610の長さは、イベント情報により決定される。
【0064】
本実施の形態における付帯情報ID410は、当該付帯情報IDにより特定される付帯情報の格納されている位置を示すURLである。また、付帯情報421は、対応する画面画像に関連するテキストデータである。テキストデータの内容は、例えば、画面画像に対応する区間における動画情報に含まれる音声に対応する内容であってもよい。また、他の例としては、編集者から指示受付部54を介して入力された内容であってもよい。いずれにせよ、付帯情報の内容は、本実施の形態に限定されるものではない。
【0065】
このように、動画情報600は、プレゼンテーション資料31の各画面画像311,312・・・と対応付けられているので、動画情報600とプレゼンテーション資料31の各画面画像データ311,312・・・とを同期して表示させることができる。
【0066】
図7は、出力部50から出力された動画ファイルを示している。図7に示す表示部500には、動画情報600と、プレゼンテーション資料31のうち、表示部500に表示されている区間に同期されたページ330と、動画情報600の目次800とが表示されている。なお、目次800と動画情報600とはリンクしており、例えば、目次800中の「テーマ1:製造業の空洞化」という項目が選択されると、そのとき表示されている動画の区間にかかわらず、動画情報600の区間1が再生される。なお、区間1とは、映像中に含まれる表示画面30にテーマ1が表示されている区間である。このように、目次を選択することにより、利用者の所望の区間を表示させることができる。
【0067】
なお、本実施の形態においては、動画ファイル生成部43は、SMIL(Synchronized Multimedia Integration Language)を利用して動画ファイルを生成する。ここで、SMILとは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させる言語のことであり、XMLで記述されている。SMILを用いることにより、表示画面における表示位置、表示させるタイミング、表示させる時間などを指定することができる。
【0068】
次に、印刷用データ生成部65が保持部64に保持されている動画ファイルに基づいて印刷用データを生成する処理について説明する。
【0069】
図8、印刷用データ生成部65の詳細な機能構成を示すブロック図である。印刷用データ生成部65は、画面画像データと付帯情報とが対応付けられた印刷用データを生成する。
【0070】
印刷用データ生成部65は、映像構造解釈部103、登録部111を含む映像要約生成部105、印刷整形部106、印刷言語生成部107、映像参照フレーム抽出部109、バーコード付加部110を備えている。
【0071】
また、保持部64に保持されている動画ファイルは、映像情報(映像本体)102と、映像情報102に付され、かつ、映像の構造を木構造で表す映像構造インデックス101とからなっている。
【0072】
図9は、映像構造インデックス101を説明するための図である。映像構造インデックス101は、階層的な木構造として構成されている。木構造の階層は、情報の詳細さの度合いによって分けられていて、下位の階層ほど映像に関する詳細な情報を保持している。図示した木構造は、記録メディア全体に対して1つのルート・ディレクトリ201を持つ映像管理データを表すものである。
【0073】
映像構造インデックス101は、映像情報102を構造化して表すデータである。映像情報102の構造化とは、映像情報で表される映像を連続するフレーム画像(動画を分割して作成された画像)としてとらえ、フレーム画像を所定の単位にまとめる処理をいう。構造化によってまとめられた複数のフレーム画像のまとまりは、セグメントとよばれる。映像構造インデックス101によれば、各セグメントがどのような画像のまとまりであるかを示す情報を得ることができる。
【0074】
本実施の形態では、撮影ごとにセグメントを作成し、撮影ごとにまとめられたセグメントをさらにカット・ショット変化点ごとにまとめてセグメントを作成した。カット・ショット変化点とは、映像の記録開始から起算される記録時間、あるいは画像記録数に基づいて配列されたフレーム画像において、隣り合って配列され、かつ特徴量の差が所定の値よりも大きいフレーム画像間に設けられるものである。なお、特徴量としては、例えば以下のものがある。
・カラーヒストグラム
・空間色分布
・空間エッジ分布
・空間テクスチャ分布
・オブジェクト形状
【0075】
図9に示すXは環境情報を示し、Yはカメラ情報を表し、Zは代表フレームの静止画特徴量をそれぞれ表すものとする。環境情報Xとは、撮影時の外部環境に関する情報であって、日時、位置(緯度および経度)、高度、気温、湿度に関する情報を含んでいる。なお、映像構造インデックス101を作成する映像構造化装置は、このような情報を取得するための時計(GMT時間を標準とする)、GPS(Global Positioning System)、気圧センサ、温度センサ、湿度センサを備えている。
【0076】
また、カメラ情報Yとは、あるセグメントに含まれるフレーム画像(動画像を分割して作成された画像)を撮影したときの焦点距離、絞り値、シャッタースピード、ピント合焦距離といった情報を含んでいる。このような情報のうち、焦点距離に関する情報からは、フレーム画像の撮影対象物が風景か、あるいは人物や物といったオブジェクトか、広角撮影かあるいは望遠撮影かといった点ついて推測することができる。また、絞り値に関する情報からは、撮影対象物が風景か、あるいはオブジェクトかといった判断に加えて、撮影場所の明暗についても推測することができる。
【0077】
また、シャッタースピードに関する情報からは、撮影対象物が静止したものか、あるいは移動しているものかについて、さらに撮影場所の明暗について推測することができる。そして、ピント合焦距離に関する情報からは、映像記録装置のカメラ部分と撮影対象物との距離がおおよそ推測できる。上記した情報を複合的に解釈することにより、例えば、シャッタースピードに関わらず絞り値が低く、合焦距離が近くて焦点距離が遠いこと場合には、オブジェクトを撮影した可能性が高いというような推測ができるようになる。
【0078】
さらに、静止画特徴量Zとは、フレーム画像を静止画像として見た場合の、特徴量を表す情報である。
【0079】
ルート・ディレクトリ201の直下に位置するカット・ショット統括情報202A、カット・ショット情報203Aは、映像情報102すべてに共通の情報である。さらに、カット・ショット統括情報202Bは、カット・ショット情報203Aによって管理されるセグメントのカット・ショット変化点に関する統括的な情報である。
【0080】
図9に示した木構造中には、撮影が進むにつれて作成された撮影ごとのセグメントが2つあって、2つのセグメントにはそれぞれカット・ショット情報203B、203Cが付されている。また2つのセグメントのいずれにもカメラ情報Yが付加されている。
【0081】
さらに、カット・ショット情報203B、2203Cが付加されたセグメントの下位には、各セグメントに含まれるカット・ショットセグメントが4つ配置されている。4つのセグメントは、カット・ショット情報203Bが付加されたセグメントをカット・ショット変化点で分割して作成されたものである。そして、4つのカット・ショットセグメントには、それぞれカット・ショット情報203D、203E、203F、203Gが配置されている。また、カット・ショット情報203Cが付加されたセグメントの下位に配置された4つのセグメントには、カット・ショット情報203H、203L、203J、203Kが付加されている。カット・ショット情報203D〜G、カット・ショット情報203H〜Kには、それぞれカメラ情報Yが付加されている。
【0082】
さらに、カット・ショット情報203D〜G、カット・ショット情報203H〜Kには、各カット・ショット情報が付加されたセグメントに含まれるフレーム画像を代表する代表フレーム(キーフレームともいう)画像の情報(代表フレーム情報)204A、204B、204C、204Dと、代表フレーム情報204E、204F、204G、204Hとがそれぞれ付加されている。さらに、代表フレーム情報204A〜D、代表フレーム情報204E〜Hには、各代表フレームの静止画特徴量Zが付加されている。
【0083】
代表フレーム情報204A〜D、代表フレーム情報204E〜Hは、各代表フレームの静止画特徴量Zの他、それぞれの代表フレームを説明する文書を含んでいる。代表フレームを説明する文書は、映像構造インデックス101の作成時に編集者によって作成されたもの、あるいは特徴量に応じて自動的に付加されたサンプル文書である。映像構造インデックス101においては、各代表フレームを説明する文書を含む代表フレーム情報204A〜D、代表フレーム情報204E〜Hとが印刷可能な情報である。
【0084】
映像要約生成部105は、指示受付部45を介して要約に使用される条件である要約条件(図中条件Aと記す)、印刷整形部106による情報の整形に使用される印刷書式(図中条件Bと記す)を取得する。そして、取得した要約条件、印刷書式は、映像要約生成部105に設定される。また、映像構造解釈部103は、映像構造インデックス101の構造を解釈する。映像要約生成部105、映像参照フレーム抽出部109は、映像構造解釈部103によって解釈された映像構造インデックス101と要約条件とに基づいて映像情報102を要約する。印刷整形部106は、映像要約生成部105、映像参照フレーム抽出部109が映像情報102を要約して生成した情報(映像要約)を印刷書式に基づいて印刷可能な形式にする(整形)。
【0085】
なお、本実施の形態は、要約条件として映像要約のうちに画像が占める割合および文字が占める割合、要約時の精度、映像参照フレーム抽出部109において行われる参照フレーム(印刷されるフレーム画像)の抽出条件、抽出される参照フレームの数を設定する。また、印刷書式として印刷時の雛型を設定するものとした。要約条件および印刷書式は、指示受付部54を介して取得する他、映像要約生成部105の登録部111に予め登録しておくこともできる。
【0086】
上記した要約条件のうち、要約時の精度は、木構造の階層を指定することによって設定される。また、参照フレームの抽出条件は、編集者から指示受付部54を介して取得したキーワードや画像、あるいは登録部111に登録されているキーワードや画像によって設定される。
【0087】
設定されたキーワードや画像は、映像要約生成部105を介して映像参照フレーム抽出部109に送られる。映像参照フレーム抽出部109は、キーワードに基づいてフレーム画像(本実施の形態では代表フレームを対象にするものとする)を検索し、該当する代表フレームを抽出する。あるいは抽出条件に設定された画像と類似する画像を抽出する。抽出された画像が要約条件の参照フレームの数よりも多い場合、映像参照フレーム抽出部109は、図10に示す方法で代表フレームを絞り込む。
【0088】
すなわち、図10によれば、抽出の初期の段階で代表フレームa、b、c、d、e、f、gの7枚が抽出された場合、代表フレームa〜g間で互いの類似度を比較する。この類似度は、例えば、特徴量によって判別しても良い。類似度の比較の結果、代表フレームaと代表フレームeとが類似する(例えば特徴量の相違が予め設定されている基準よりも小さい)と判断された場合、映像参照フレーム抽出部109は、代表フレームaまたは代表フレームeの一方だけを残す。残った代表フレームaまたはeは、代表フレームhとなる。すなわち、代表フレームhは、代表フレームaとeとを代表することになる。同様に、代表フレームcと代表フレームfとが類似すると判断された場合、代表フレームcまたは代表フレームfの一方だけを残すことによって代表フレームc、代表フレームfを代表フレームjで代表する。以上の処理により、代表フレームa〜gの7枚は、代表フレームh、i、j、k、lの5枚に絞り込まれる。
【0089】
さらに、映像参照フレーム抽出部109は、代表フレームh〜lの5枚に対して代表フレームa〜gに対して行った絞り込みの処理と同様の処理を施し、代表フレームh〜lの5枚を代表フレームm、n、oの3枚に絞り込む。3という数値が要約条件として設定された抽出すべき参照フレームの数に合致する場合、映像参照フレーム抽出部109は、代表フレームm〜oを抽出したという情報を映像要約生成部105および印刷整形部106に送る。
【0090】
映像要約生成部105は、代表フレームm〜oと代表フレームm〜oに付されている文書との量を要約条件として設定された画像が占める割合および文字が占める割合と比較する。代表フレームm〜oと代表フレームm〜oに付されている文書との量は、例えば、印刷された画像において抽出された参照フレームが占める面積比と文字が占める面積比とをシミュレーションによって求めるものであっても良い。このとき、要約条件として設定された画像が占める割合および文字が占める割合とは、印刷された画像において画像が占める面積比と文字が占める面積比とによって設定される。
【0091】
そして、映像要約生成部105は、参照フレームとして抽出された代表フレーム(以下、参照フレームと記す)が占める割合と文字が占める割合とが要約条件に一致しなかった場合、参照フレームが占める割合と文字が占める割合とが要約条件に一致するように調整する。この調整は、例えば、抽出された参照フレームを削除してその空間を文字にあてる、あるいは文字で表される情報を削除する方法によって行われる。なお、文字情報を削除する場合、映像要約生成部105は、例えば、文字情報を対象にして重要な語句を抽出する。そして、重要な語句が多く含まれている文書ほど重要度が高く、少ない文書ほど重要度が低いと判断し、重要度が低いと判断された文書を優先して削除するようにしても良い。
【0092】
さらに、映像要約生成部105は、以上のようにして割合を調整した参照フレームと文書とに関する情報を印刷整形部106に送る。印刷整形部106は、参照フレームと文書とを印刷書式として設定された雛型にしたがって配置し、印刷言語生成部107に送る。また、この際、印刷整形部106は、参照フレームに関する情報から参照フレームの映像における位置をバーコード付加部110に送る。バーコード付加部110は、参照フレームの映像における位置をバーコードで表す情報に変換し、印刷言語生成部107に出力する。なお、参照フレームの映像における位置は、参照フレームが映像を構成するフレーム画像において何番目に位置するか、あるいは参照フレームが映像の再生開始から何時間(分、秒)後に再生されるかで示される時間的位置であっても良い。
【0093】
図11(a)、(b)、(c)は、印刷書式として設定される雛型を例示する図である。これらは、雛型保持部66に保持される雛型により実現される雛型である。図11(a)は、画像を主体とする画像主体の雛型である。また、(b)は、画像と文書とが比較的近い割合で配分された画像・文字混合型の雛型である。また、図11(c)は、文書を主体とした文字主体の雛型である。
【0094】
本実施の形態では、雛型保持部66はさらに、ビデオテープやDVDといった映像メディアの識別ラベル(付箋紙)を対象とした雛型をも保持している。そして、指示受付部54を介して利用者から印刷書式の指定を受付け、さらに図示しない表示部に雛型の一覧を表示し、利用者から任意の雛型の指定を受け付ける。また、雛型は、予め保存されるものに限るものでなく、指示受付部54を介して登録することもできる。
【0095】
雛型に沿って印刷整形された参照フォームおよび文書は、印刷整形部106から印刷言語生成部107に出力される。また、バーコード付加部110は、バーコードに変換した参照フレームの映像における位置を印刷言語生成部107に送る。印刷言語生成部107は、印刷整形された参照フォームおよび文書とバーコードとを出力部50で使用されている印刷言語に変換して出力部50に送る。出力部50は、参照フォームおよび文書とバーコードとを同一の用紙上に印刷出力する。この際、雛型にバーコード専用の領域を設けておくようにしても良い。
【0096】
以下、図12を参照しつつ、情報編集部35が動画ファイルを作成するときの情報編集処理について説明する。まず、受信部36は、イベント処理部32の送信部からプレゼンテーション資料31を受信する(ステップS90)。次に、受信したプレゼンテーション資料31に含まれる各画面画像データに対して、付帯情報IDを付与する(ステップS92)。そして、画面画像テーブル保持部62は、画面画像データを識別する画面画像データIDと、付帯情報IDとを対応付けた画面画像テーブルを保持する(ステップS94)。次に、出力部50は、画面画像テーブルにおいて対応付けられている画面画像データと、付帯情報IDとを対応付けた印刷物を出力する。(ステップS96)。
【0097】
図13に、このとき出力された印刷物を示す。印刷物には、プレゼンテーション資料31を構成する各画面画像データ310と、2次元バーコード430とが対応付けて印刷されている。なお、ここで、2次元バーコード430は、付帯情報ID420に基づいて生成されたものである。すなわち、この2次元バーコード430から付帯情報IDを特定することができる。
【0098】
ここで、2次元バーコードとは、従来の1次元のバーコードよりも多くの情報を表すことができる。2次元バーコードとしては、1次元のバーコードを積み上げたものと、水平方向と垂直方向にそれぞれ情報を表すものとが知られている。本実施の形態においては、水平方向と垂直方向にそれぞれ情報を表現することのできるいわゆるQRコードが印刷されている。
【0099】
実際にプレゼンテーションが始まる前に、プレゼンテーション資料31を構成する各画面画像データと、画面画像データに対応する付帯情報IDとを対応付けた印刷物をプレゼンテーションに出席した聴講者に配布しておく。
【0100】
そして、プレゼンテーションが始まると、プレゼンテーションの様子を示す動画を、DVカメラ4を用いて撮影する。
【0101】
次に、図14を参照しつつ、DVカメラ4により撮影された動画情報と、先に取得したプレゼンテーション資料31等から情報ファイルを生成するときの情報編集処理について説明する。まず、区間決定部430は、DVカメラ4から取得した動画情報600を、プレゼンテーション装置2から取得したイベント情報340に基づいて複数の区間に分割する(ステップS100)。具体的には、「発生日時10時10分、イベント種類ページ2に切り替え」及び「発生日時10時16分、イベント種類ページ3に切り替え」を示す連続して記録された2つのイベント情報を取得した場合には、動画情報600のうち10時10分から10時16分の間に録画された区間はページ2に対応する区間と決定される。すなわち、10時10分および10時16分の位置を境界位置とする区間に分割する。
【0102】
次に、区間調整部431は、区間決定部430によって決定された各区間の長さを、予め定められた規定長と比較する。そして、規定長に比べて短い区間、すなわち規定長外区間があった場合(ステップS102,Yes)、規定長外区間を調整する(ステップS104)。
【0103】
ここで、図15を参照しつつ、区間調整部431が規定長外区間を調整する方法について説明する。図15は、動画情報600を時間軸に沿って模式的に示している。例えば、「テーマ1」の区間は、動画情報600のうち、動画情報600に映像として含まれている表示画面30に「テーマ1」の表題のページ、すなわち1ページが表示されている区間を示している。このように、各区間は、表示画面30に表示された画面画像の切り替りを境界として定められている。
【0104】
また、t1は、「テーマ1」に対応する区間を再生するのに要する再生時間である。すなわち、t1は、テーマ1のページであるページ1の表示終了時刻と開始時刻の差分値である。ここで、先に述べた規定長は、tsで示される。すなわち、規定長は再生時間の単位で定められている。
【0105】
区間の長さtx(x=1〜6)の各々について規定長tsと比較し、規定長tsに比べて短い区間は、規定長tsよりも長い他の区間に統合する。例えば、図15(A)に示す「テーマ4」を表示する区間の長さt4および「テーマ5」の区間の長さt5は規定長に比べて短い。従って、「テーマ4」の区間および「テーマ5」の区間は、規定外区間と判断される。この場合、図15(B)に示すように、規定外区間は、その直後の区間に統合される。すなわち、「テーマ5」の区間は、「テーマ6」の区間に統合される。また、「テーマ4」の直後の区間、すなわち「テーマ5」の区間は規定外区間であるので、「テーマ4」の区間は、さらにその直後の区間、すなわち「テーマ6」の区間に統合される。すなわち、「テーマ4」の区間、「テーマ5」の区間、および「テーマ6」の区間が1つの区間に統合され、いずれも区間4に含まれることになる。
【0106】
プレゼンテーションにおいては、時間の都合上、途中のページの説明を省略する場合がある。図15の「テーマ4」の区間および「テーマ5」の区間ように、その表示時間が短い場合、これらの画面画像は「テーマ6」を表示させるため表示されたに過ぎず、画面画像に対する説明は省略されていると推測される。このように、説明の対象となっていないと予想される、表示時間の短い画面画像に対応する区間を省略することで、より見やすい情報に編集することができる。
【0107】
プレゼンテーション資料31の途中の画面画像の説明を省略する場合、省略する画面画像を表示させている間、プレゼンターは、次に説明する画面画像に関する内容を意識している場合が多い。このため、表示画面30に省略された画面画像が表示されている間は、その次に説明の対象となるページにおいて説明すべき事項に関連する説明をしていると予想される。また、実際のプレゼンテーションにおいても、このようなケースが多い。そこで、本実施の形態においては、規定外区間は、便宜的にその直後の区間に含めることにした。これにより、内容的に統一された区間を1つの区間とすることができる。
【0108】
説明を図12に戻す。動画情報が複数の区間に分割されると、次に、同期部433は、イベント情報340に基づいて、動画情報600とプレゼンテーション資料31とを同期させる(ステップS106)。次に、目次項目抽出部434は、プレゼンテーション資料31から動画情報600の目次として文字情報を抽出する(ステップS108)。具体的には、プレゼンテーション資料31の各画面画像は、タイトル属性が付与された文字情報を含んでおり、目次項目抽出部434は、タイトル属性に対応付けられた文字情報を抽出する。目次項目抽出部434は、プレゼンテーション資料31に含まれるすべてのページの画面画像から文字情報を抽出する。なお、本実施の形態においては、各画面画像における「テーマ・・・」という文字情報が、タイトル属性として記述されている。
【0109】
次に、目次項目抽出部434は、抽出いた目次項目を含む目次を生成する(ステップS109)。次に、対応付部435は、目次項目抽出部434が抽出した文字情報、すなわち目次項目を、当該目次項目を抽出した画面画像に対応付ける(ステップS110)。画面画像は、動画情報600の各区間に対応付けられている。従って、各目次項目は、画面画像を介して動画情報600の各区間に対応付けられる。
【0110】
ステップS102,ステップS104において、区間を統合した場合には(ステップS112,Yes)、同期調整部436は、動画情報600とプレゼンテーション資料31の同期を調整する(ステップS114)。
【0111】
ここで、図16を参照しつつ同期調整部436が同期を調整する方法について説明する。図16に示すように、動画情報600の各区間と、当該区間と同時に表示すべきプレゼンテーション資料31の各ページは同期している。規定外区間である「テーマ4」の区間および「テーマ5」の区間には、それぞれプレゼンテーション資料31のうち「テーマ4」を示す4ページと5ページが同期している。この場合、同期調整部436は、「テーマ4」の区間および「テーマ5」の区間を含む区間4全体に対してプレゼンテーション資料31の6ページを同期させる。すなわち、同期調整部436は、「テーマ4」の区間に対して、4ページにかえて6ページを同期させ、かつ「テーマ5」の区間に対して、5ページにかえて6ページを同期させる。
【0112】
規定外区間において表示画面30に表示される画面画像は、該当するページにおいて、その説明が省略されており、表示させる必要がない場合が多い。また、先に説明したように、これらの画面画像を表示しているとき、プレゼンターはその後に表示する画面画像に関する内容について説明している場合が多い。このため、同期部433によって同期された画面画像を同期させるよりも、その後に表示するページを同期したほうが、利用者は内容を理解しやすい。
【0113】
再び、図12を参照しつつ情報編集処理について説明する。同期調整が完了すると、次に、目次項目抽出部437は規定外区間に対応する目次項目を削除する(ステップS116)。
【0114】
図17は、図16に示す動画情報600の目次項目を示している。図17(A)は削除前の目次項目を示している。図17(B)は削除後の目次項目を示している。図16に示すように、規定外区間である「テーマ4」の区間および「テーマ5」の区間は、いずれも「テーマ6」の区間に統合されている。そこで、これら3つの区間を含む区間4に対しては、統合先の区間に同期するページ6のページ属性を目次項目として抽出する。これにより、目次項目が無駄に多くなるのを避けることができる。以上の処理により、図12に示す動画情報600に対する情報編集処理が全て完了する。
【0115】
次に、プレゼンテーションにおいて、本来表示すべき順番と逆の順番でプレゼンテーション資料31の画面画像が表示された場合の情報編集部35の処理について、図18を参照しつつ説明する。図18に示す動画情報610には、プレゼンテーション資料31のページ順と逆の順番にページが表示される部分が含まれている。すなわち、動画情報に含まれる表示画面30は、「テーマ5」を表示したのちに、再度「テーマ4」の画面画像、「テーマ3」の画面画像、および「テーマ2」の画面画像の順に表示している。
【0116】
なお、情報編集部35は、ページの切り替えをイベント種類として含むイベント情報に基づいて、ページ順と逆の順番に表示されていることを認識することができる。
【0117】
プレゼンテーションにおいては、既に説明した内容を、再び関連する画面画像を再度表示させて説明する場合がある。このような場合には、プレゼンターは、利用者インターフェースを用いて操作することにより。図18に示すように順にページを戻していく。この場合も情報編集部35は、図14から図17を参照しつつ説明した情報編集処理によって、規定長外区間を、当該規定長外区間の直後の区間に統合する。具体的には、図18に示すテーマ5の区間に続いて順に表示されるテーマ4の区間およびテーマ3の区間が規定外区間である場合には、「テーマ4」の区間および「テーマ3」の区間を「テーマ2」の区間に統合する。
【0118】
その一方で、ページ順に「テーマ1」の区間から「テーマ5」の区間の間に含まれる規定外区間である「テーマ4」の区間に対しては、直後の区間に含める処理を行わない。このように、一旦表示させたページを、再度ページを遡って表示させる場合に限り直後の区間に統合することとしてもよい。
【0119】
ページ順にプレゼンテーション資料31を表示させているときは、各ページについての説明を省略していても、聴講者の理解のためには画面画像の表示は残したほうがよい場合もある。このような場合には、本例のように、逆順にページが切り替る場合のみ規定外区間を統合することにより、より理解しやすい情報にすることができる。
【0120】
逆順にページが切り替る場合は、それ以前に既に、省略されたページについての説明がなされている場合が多い。従って、逆順にページが切り替る区間内の規定外区間を統合することにより、より適切な目次を生成することができる。
【0121】
次に、2次元バーコードを取得した場合の、印刷用データ生成部65の処理について説明する。2次元バーコードは、上述のように、所定の画面画像に付与された付帯情報の付帯情報IDを示している。2次元バーコードを取得すると、映像要約生成部105は、2次元バーコードを解読して、付帯情報IDを特定し、当該付帯情報IDに対する付帯情報と、この付帯情報に対応する画面画像データを特定する。そして、画面画像データと付帯情報を含む印刷用データを生成する。図19は、出力された印刷用データを示している。このように、2次元バーコードを取得すると、指定された2次元バーコードにより特定される付帯情報を印刷した印刷物を出力することができる。従って、利用者は、プレゼンテーション前に配布された印刷物に印刷された2次元バーコードにより、プレゼンテーション終了後に、所望の画面画像データに関連する情報を取得することができる。
【0122】
図20は、2次元バーコードリーダ6を示している。2次元バーコードリーダ6は、携帯電話に着脱可能に設けられている。2次元バーコードリーダ6は、図13において説明した印刷物に印刷された2次元バーコードを読み取り、これを解読する。これにより、2次元バーコードからURLが特定される。そして、利用者の携帯端末7を介して、2次元バーコードから特定されたURLが、ネットワーク8を介して、情報編集装置5の通信部67に送られる。そして、通信部67から印刷用データ生成部65にURLが送られ、印刷用データ生成部65は、URLにより特定される付帯情報等を利用して、印刷用データを生成する。以下、図21を参照しつつ、印刷用データを生成する処理について詳述する。
【0123】
まず、図示しない表示部に要約条件、印刷書式入力を入力する画面を表示することによって要約条件と印刷書式とを入力する(ステップS501)。ここで、要約条件とは、付帯情報を生成するための条件である。
【0124】
このとき、利用者が登録部111に登録されている要約条件(キーワードなど)や印刷書式(雛型など)を指定したか否か判断し(ステップS502)、登録データが指定された場合には(ステップS502:Yes)、登録部111から登録データを読み出す(ステップS510)。また、登録データが指定されていない場合には(ステップS502:No)、映像構造インデックス101に基づいて映像情報102で表される映像の構造を解釈する(ステップS503)。
【0125】
次に、印刷用データ生成部65は、映像要約作成サブルーチンを実行する(ステップS504)。映像要約作成サブルーチンは、映像要約生成部105、映像参照フレーム抽出部109においてなされる処理である。そして、要約条件にしたがって参照フレームを抽出する処理、抽出された参照フレームに付加されている文書と参照フレームとの割合を調整する処理、参照フレームの映像における位置を特定する処理を含むものである。
【0126】
次に、印刷用データ生成部65は、映像要約サブルーチンの処理によって得られる参照フレームおよび文書を印刷書式に基づいて雛型に配置し、参照フレームおよび文書を印刷時の様式に整形する(ステップS505)。また、参照フレームの位置に関する情報をバーコード付加部110でバーコードに変換すると共に参照フレームおよび文書に付加する(ステップS506)。そして、印刷時の様式に整形された参照フレームおよび文書とバーコードとを出力部50で使用される言語に変換して印刷言語を生成し(ステップS507)出力部50で印刷する(ステップS508)。
【0127】
さらに、映像要約生成部105は、今回使用した要約条件と印刷書式とを編集者が登録するか否か判断し(ステップS509)、登録する場合には(ステップS509:Yes)、要約条件および印刷書式を登録部111に登録する(ステップS511)。また、登録しない場合には(ステップS509:No)、登録を行うことなく処理を終了する。
【0128】
なお、本実施の形態で説明した映像情報要約方法は、予め用意されたプログラムをパーソナル・コンピューターやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フロッピー(R)ディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、伝送媒体としてまたは上記記録媒体を介して、インターネット等のネットワークを介して配布することができる。
【0129】
以上のように、映像構造インデックスを利用して映像を表す画像および文書を映像情報から抽出することにより効率的に映像情報を検索し、参照フレームを抽出することができる。また、参照フレームを説明するための文書を比較的簡易に取得することができる。
【0130】
また、編集者が設定した要約条件に沿って映像を要約し、編集者が設定した印刷書式に沿って印刷することにより、参照フレームおよび文書の選択に利用者の目的や嗜好を反映させることができる。また、参照フレームおよび文書を印刷する際の雛型にも利用者の目的や嗜好を反映させることができる。さらに、要約条件や印刷書式を編集者が登録することにより、任意の要約条件によって抽出された参照フレームおよび文書を任意の雛型で印刷することができる。印刷物を映像記録媒体のインデックスに利用すれば、各利用者にオリジナルのインデックスを作成することができる。
【0131】
図22は、実施の形態にかかる情報編集装置5のハードウェア構成を示す図である。情報編集装置5は、図2、図5、および図8を参照しつつ説明した、情報編集部35の情報編集プログラムなどが格納されているROM52、ROM52内のプログラムに従って情報編集装置5の各部を制御し、情報編集処理等を実行するCPU51、ワークエリアが形成され、情報編集装置5の制御に必要な種々のデータが記憶されているRAM53、ネットワークに接続して、通信を行う通信I/F57、および各部を接続するバス58を備えている。
【0132】
先に述べた情報編集装置5における情報編集処理を実行する情報編集プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フロッピー(R)ディスク(FD)、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0133】
また、本実施形態の情報編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【0134】
この場合には、情報編集プログラムは、情報編集装置5において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【0135】
また、プレゼンテーション装置2のハードウェア構成は、図22を参照しつつ説明した情報編集装置5のハードウェア構成と同様であるので、説明を省略する。
【0136】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【0137】
そうした第1変更例としては、本実施の携帯においては、2次元バーコードリーダ6により2次元バーコードを読み取ったが、これにかえて、スキャナにより2次元バーコードを画像として読み込んでもよい。この場合、情報編集装置5は2次元バーコードを解読する2次元バーコード読取部をさらに備える。そして、印刷用データ生成部65は、2次元バーコード読取部が解読したURLにより特定される付帯情報等を利用して、印刷用データを生成する。この場合、利用者は端末から情報編集部35に対してアクセスし、当該URLにより付帯情報を要求する。
【0138】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。そして、付帯情報識別情報が示す格納先に付帯情報が格納されると、利用者は、付帯情報識別情報に基づいて付帯情報を取得することができるという効果を奏する。
【0142】
また、請求項にかかる発明によれば、付帯情報識別情報は、URLであるので、利用者は、URLにアクセスすることによって、容易に付帯情報を取得することができるという効果を奏する。
【0143】
また、請求項にかかる発明によれば、撮影機器による撮影・録音が行われる前に、画面画像と付帯情報識別情報とを対応付けた出力用画面情報を例えば印刷物として出力することができる。従って、利用者は、撮影が行われる講演等を視聴する場合、講演の間、講演内容に沿って、画面画像等が記載された印刷物にメモを取り、後日、付帯情報識別情報に基づいて付帯情報を取得することができる。これにより、講演中の自分のメモと付帯情報との対応付けを容易に行うことができるという効果を奏する。
【0144】
また、請求項にかかる発明によれば、付帯情報識別情報は、2次元バーコードとして印刷されるので、利用者は、この2次元バーコードを、バーコードリーダ等で読み取らせ、付帯情報識別情報を取得することができるという効果を奏する。
【0145】
また、請求項にかかる発明によれば、付帯情報識別情報に基づいて、付帯情報識別情報に対応付けられている画面画像と付帯情報識別情報が示す格納先に格納されている付帯情報とを含む画面画像関連情報が生成されるので、利用者は、付帯情報識別情報に基づいて画面画像関連情報を取得することができるという効果を奏する。
【0146】
また、請求項にかかる発明によれば、雛型記憶手段は、画面画像関連情報を生成するときに利用する雛型を格納しているので、画像関連情報生成手段は、この雛型を利用することにより容易に画面画像関連情報を生成することができるという効果を奏する。
【0148】
また、請求項にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。そして、付帯情報識別情報が示す格納先に付帯情報が格納されると、利用者は、付帯情報識別情報に基づいて付帯情報を取得することができるという効果を奏する。
【0149】
また、請求項にかかる発明によれば、付帯情報が生成される前に、予め付帯情報識別情報と画面画像とを対応付けることができるので、付帯情報が生成される前に、利用者に対して付帯情報を取得するために利用される付帯情報識別情報を通知することができるという効果を奏する。そして、付帯情報識別情報が示す格納先に付帯情報が格納されると、利用者は、付帯情報識別情報に基づいて付帯情報を取得することができるという効果を奏する。
【図面の簡単な説明】
【図1】情報編集システム1の全体構成を示す図である。
【図2】情報編集装置5の情報編集部35と、プレゼンテーション装置2のイベント処理部32の機能構成を示すブロック図である。
【図3】プレゼンテーション資料31を模式的に示す図である。
【図4】イベント情報リスト340のデータ構成を模式的に示す図である。
【図5】動画ファイル生成部43の詳細な機能構成を示す機能ブロック図である。
【図6】情報編集部35が生成した情報ファイルを示す図である。
【図7】出力部50から出力された情報ファイルを示す図である。
【図8】印刷用データ生成部65の詳細な機能構成を示す機能ブロック図である。
【図9】映像構造インデックスを説明するための図である。
【図10】参照フレームの絞り込みを説明するための図である。
【図11】印刷書式として設定される雛型を例示する図である。
【図12】情報編集部35が動画ファイルを生成するときの処理を示すフローチャートである。
【図13】動画ファイルの印刷物を示す図である。
【図14】情報編集部35が情報ファイルを作成するときの情報編集処理を示すフローチャートである。
【図15】動画情報600を時間軸に沿って模式的に示す図である。
【図16】同期調整部436による同期の調整方法を説明するための図である。
【図17】図16に示す動画情報600の目次を示す図である。
【図18】動画情報610を示す図である。
【図19】出力された印刷用データを示す図である。
【図20】2次元バーコードリーダを示す図である。
【図21】印刷用データを生成する処理を示すフローチャートである。
【図22】情報編集装置5のハードウェア構成を示す図である。
【符号の説明】
1 情報編集システム
2 プレゼンテーション装置
3 投影機
4 DVカメラ
5 情報編集装置
6 2次元バーコードリーダ
7 携帯端末
8 ネットワーク
15 マウス
21 キーボード
30 表示画面
31 プレゼンテーション資料
32 イベント処理部
33 イベントキャプチャ部
34 イベント記録部
35 情報編集部
36 受信部
37 イベント制御部
38 イベント記録部
39 撮影機器制御部
40 動画情報キャプチャ部
41 動画情報管理部
42 イベント情報解釈部
43 動画ファイル生成部
44 送信部
50 出力部
54 指示受付部
60 付与部
61 付帯情報生成部
62 印刷用データ生成部
62 画面画像テーブル保持部
64 保持部
65 印刷用データ生成部
66 雛型保持部
67 通信部
101 映像構造インデックス
103 映像構造解釈部
105 映像要約生成部
106 印刷整形部
107 印刷言語生成部
109 映像参照フレーム抽出部
110 バーコード付加部
111 登録部
430 区間決定部
431 区間調整部
433 同期部
434 目次項目抽出部
435 対応付部
436 同期調整部
437 目次項目抽出部
500 表示部

Claims (8)

  1. 端末装置とネットワークを介して接続される情報配信装置であって、
    各画面画像と、当該各画面画像に対応する付帯情報の格納先を示す付帯情報識別情報とを、対応付けた画面画像テーブルを記憶する画面画像テーブル記憶手段と、
    表示画面に順次表示される前記各画面画像と当該各画面画像の内容を説明するプレゼンターの音声とを、録音機能を有する撮影機器で撮影・録音して生成された動画データおよび音声データを含むデジタルデータを、前記撮影機器から取得するデジタルデータ取得手段と、
    前記デジタルデータ取得手段により取得された前記デジタルデータに含まれる前記音声データから、前記各画面画像に対応する音声の内容に対応するテキストデータである前記付帯情報を生成する付帯情報生成手段と、
    前記付帯情報生成手段により生成された前記付帯情報を、当該付帯情報に対応する前記付帯情報識別情報が示す格納先に格納させる格納手段と、
    前記端末装置から前記付帯情報識別情報にアクセスされたことに基づいて、当該付帯情報識別情報が示す格納先に格納された前記付帯情報を前記端末装置に配信する配信手段と、
    を備えたことを特徴とする情報配信装置。
  2. 前記付帯情報識別情報は、前記付帯情報の格納先を示すURLであることを特徴とする請求項に記載の情報配信装置。
  3. 表示画面に順次表示される前記各画面画像と当該各画面画像の内容を説明するプレゼンターの音声との前記撮影機器による撮影・録音が行われる前に、前記画面画像テーブルにおいて対応付けられている前記画面画像と前記付帯情報識別情報とを含む出力用画面画像情報を生成する出力情報生成手段を更に備えたことを特徴とする請求項1または2に記載の情報配信装置。
  4. 前記出力情報生成手段は、前記付帯情報識別情報に基づいて2次元バーコードを生成し、生成した2次元バーコードと前記画面画像とを含む前記出力用画面画像情報を生成することを特徴とする請求項に記載の情報配信装置。
  5. 前記端末装置から前記付帯情報識別情報にアクセスされたことに基づいて、当該付帯情報識別情報に対応付けられている前記画面画像と当該付帯情報識別情報が示す格納先に格納されている前記付帯情報とを含む画面画像関連情報を生成する画像関連情報生成手段を更に備え、
    前記配信手段は、前記画像関連情報生成手段により生成された前記画面画像関連情報を前記端末装置に配信することを特徴とする請求項1から4のいずれか一項に記載の情報配信装置。
  6. 前記画面画像と前記付帯情報とを埋め込む雛型を記憶する雛型記憶手段を更に備え、
    前記画像関連情報生成手段は、前記雛型記憶手段に記憶されている前記雛型に前記画面画像と前記付帯情報とを埋め込むことにより前記画面画像関連情報を生成することを特徴とする請求項に記載の情報配信装置。
  7. 端末装置とネットワークを介して接続される情報配信装置で実行される情報配信方法であって、
    前記情報配信装置は、
    各画面画像と、当該各画面画像に対応する付帯情報の格納先を示す付帯情報識別情報とを、対応付けた画面画像テーブルを記憶する画面画像テーブル記憶手段を備え、
    デジタルデータ取得手段が、表示画面に順次表示される前記各画面画像と当該各画面画像の内容を説明するプレゼンターの音声とを、録音機能を有する撮影機器で撮影・録音して生成された動画データおよび音声データを含むデジタルデータを、前記撮影機器から取得するデジタルデータ取得ステップと、
    付帯情報生成手段が、前記デジタルデータ取得ステップにより取得された前記デジタル データに含まれる前記音声データから、前記各画面画像に対応する音声の内容に対応するテキストデータである前記付帯情報を生成する付帯情報生成ステップと、
    格納手段が、前記付帯情報生成手段により生成された前記付帯情報を、当該付帯情報に対応する前記付帯情報識別情報が示す格納先に格納させる格納ステップと、
    配信手段が、前記端末装置から前記付帯情報識別情報にアクセスされたことに基づいて、当該付帯情報識別情報が示す格納先に格納された前記付帯情報を前記端末装置に配信する配信ステップと、
    を有することを特徴とする情報配信方法。
  8. 請求項7に記載された情報配信方法をコンピュータに実行させることを特徴とする情報配信プログラム。
JP2003063484A 2003-03-10 2003-03-10 情報配信装置、情報配信方法、および情報配信プログラム Expired - Fee Related JP4233362B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003063484A JP4233362B2 (ja) 2003-03-10 2003-03-10 情報配信装置、情報配信方法、および情報配信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003063484A JP4233362B2 (ja) 2003-03-10 2003-03-10 情報配信装置、情報配信方法、および情報配信プログラム

Publications (2)

Publication Number Publication Date
JP2004274456A JP2004274456A (ja) 2004-09-30
JP4233362B2 true JP4233362B2 (ja) 2009-03-04

Family

ID=33125050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003063484A Expired - Fee Related JP4233362B2 (ja) 2003-03-10 2003-03-10 情報配信装置、情報配信方法、および情報配信プログラム

Country Status (1)

Country Link
JP (1) JP4233362B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4762594B2 (ja) * 2005-04-07 2011-08-31 株式会社東京ニュース通信社 番組表作成装置及び最新番組枠情報配信システム
US7761804B2 (en) * 2006-02-01 2010-07-20 Ricoh Company, Ltd. Avoiding disorientation under discontinuous navigation in an image flipping system
JP4577520B2 (ja) * 2006-06-21 2010-11-10 オンキヨー株式会社 コンテンツ記録装置およびそのプログラム
JP4569671B2 (ja) 2008-06-20 2010-10-27 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法、およびコンピュータプログラム
JP5335482B2 (ja) * 2009-02-27 2013-11-06 株式会社奥村組 セグメント情報管理システムによるセグメント管理方法
JP2011198007A (ja) * 2010-03-19 2011-10-06 Konica Minolta Business Technologies Inc プレゼンテーションシステム、管理装置およびプログラム
JP7018645B2 (ja) * 2016-12-05 2022-02-14 株式会社アイヴィジョン 映像生成装置
JP7215022B2 (ja) * 2018-09-05 2023-01-31 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
JP2004274456A (ja) 2004-09-30

Similar Documents

Publication Publication Date Title
US20080215984A1 (en) Storyshare automation
EP2132624B1 (en) Automatically generating audiovisual works
US20080155422A1 (en) Automated production of multiple output products
KR101007508B1 (ko) 비디오 신호 처리 장치, 비디오 신호 기록 장치, 비디오신호 재생 장치, 비디오 신호 처리 장치의 처리 방법,비디오 신호 기록 장치의 처리 방법, 비디오 신호 재생장치의 처리 방법, 기록 매체
US20070124325A1 (en) Systems and methods for organizing media based on associated metadata
US20100268729A1 (en) Multimedia synthetic data generating apparatus
KR20040077748A (ko) 화상 배신 장치
JP2001092838A (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP4233362B2 (ja) 情報配信装置、情報配信方法、および情報配信プログラム
US20040155898A1 (en) Image processing system
US7844163B2 (en) Information editing device, information editing method, and computer product
JP5896385B1 (ja) 写真撮影遊戯装置、写真シール作成装置、コンテンツ提供システム、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
US7610554B2 (en) Template-based multimedia capturing
US7353451B2 (en) Meta data creation apparatus and meta data creation method
JP2016116245A (ja) 写真撮影遊戯装置、写真シール作成装置、コンテンツ提供システム、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
JP4295532B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
JP4323172B2 (ja) 情報編集システム、情報編集装置、および情報編集プログラム
JP4171316B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
JP3831180B2 (ja) 映像情報印刷装置、映像情報要約方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004302681A (ja) 情報編集装置、情報編集方法、および情報編集プログラム
JP2004363831A (ja) 動画像処理装置及び動画像処理方法
JP6179027B2 (ja) スライドショー作成サーバ、ユーザ端末およびスライドショー作成方法
JP2004287525A (ja) 情報提供装置、情報提供方法、および情報提供プログラム
JP2004304350A (ja) 情報編集装置、情報編集システム、情報編集方法、および情報編集プログラム
JP2004236237A (ja) 情報編集装置、情報編集システム、情報編集方法、情報編集プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4233362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees