JP4295532B2 - 情報編集装置、情報編集方法、および情報編集プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、動画情報を編集する情報編集装置、情報編集方法、および情報編集プログラムに関する。
【０００２】
【従来の技術】
長時間の映像のうちから所望の一部のみを見たいという要望がある。この要望に応えるべく、近年では、所望の部分を容易に検索または頭出しする方法として、インデキシング技術が開発されている。インデキシング技術とは、映像全体を時間軸に沿って複数の部分に分割し、それぞれの部分に対して、検索可能とすべく記述情報を対応付ける技術である。
【０００３】
インデキシング技術としては、スライド等のドキュメントが表示されたタイミングに基づいて、当該ドキュメントに関連する映像を同期させるドキュメント処理方法が知られている。（例えば、特許文献１）。
【０００４】
【特許文献１】
特開２００２−２３２８５８号公報（第５−９頁）
【０００５】
【発明が解決しようとする課題】
しかし、上記技術においても、各区間を示す適切な目次項目を含む当該映像の目次を生成するのは困難である。また、人の手によって各映像に適したインデックスを付与すると処理に長時間を要してしまい、低コストで適切なインデックスを付与することのできる技術の開発が望まれている。
【０００６】
この発明は上記に鑑みてなされたもので、コストを抑えつつ、内容記述作業をより効率的に行うことができる情報編集装置、情報編集方法、および情報編集プログラムを得ることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、動画データを含むデジタルデータを編集する編集装置であって、前記デジタルデータを取得するデジタルデータ取得手段と、表示画面に表示された画面画像を示す画面画像情報を取得する画面画像情報取得手段と、前記画面画像情報取得手段が取得した前記画面画像情報から、予め定められた抽出条件に合致する文字情報を抽出する抽出手段と、前記抽出手段が抽出した前記文字情報を前記デジタルデータの目次項目として含む、動画情報の目次を生成する目次生成手段と、を備え、前記抽出手段は、フォントサイズが最大の文字情報を抽出することを特徴とする。
【０００８】
本発明によれば、デジタルデータに含まれる表示画面に表示された画面画像情報から、デジタルデータに対する目次項目とすべき文字情報を抽出するので、正確な文字情報を抽出することができる。
【０００９】
また、画面画像情報から目次項目を抽出するときの抽出条件が予め定められているので、自動的に文字情報を抽出することができる。従って、動画情報の目次を効率的に生成することができる。
【００１０】
また、本発明によれば、抽出条件として、画面画像に記載される文字情報のうちフォントサイズが最大であることが予め定められており、抽出手段は、この抽出条件に従って、フォントサイズが最大の文字情報を目次項目として抽出することができる。
【００１１】
画面画像において比較的重要な内容は、他の内容に比べて目に付きやすいように相対的に大きなサイズの文字で示すことが多い。このため、本発明のようにフォントサイズが大きい文字情報を抽出することができるので、その画面画像において重要な内容を示す文字情報を目次項目として抽出することができる。
【００４２】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる情報編集装置、情報編集方法、および情報編集プログラムの好適な実施の形態を詳細に説明する。
【００４３】
（実施の形態１）
図１は、この発明の実施の形態１である情報編集装置５を含む情報編集システム１の全体構成を示している。
【００４４】
情報編集システム１は、プレゼンテーション資料３１を格納するプレゼンテーション装置２と、このプレゼンテーション装置２と接続し、プレゼンテーション資料３１を表示するプロジェクター等の投影機３と、投影機３により投影された画像を表示する表示画面３０と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、ＤＶカメラ４が取り込んだ音声を含む動画情報（以下単に「動画情報」と称す）を編集する情報編集装置５とを備えている。なお、ここで、動画情報は、本発明のデジタルデータに相当する。
【００４５】
ＤＶカメラ４と情報編集装置５は、例えば、ＩＥＥＥ１３９４などのインターフェイスで接続されている。また、プレゼンテーション装置２と情報編集装置５は、ＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサネット（Ｒ）によるピア・ツー・ピア接続であってもよい。
【００４６】
プレゼンテーション装置２は、単にプレゼンテーション資料３１を格納しており、投影機３と通信可能であればよく、例えば、プレゼンターの所有するＰＣであってもよい。
【００４７】
編集者は、プレゼンターがプレゼンテーション資料３１を表示画面３０に表示させながらプレゼンテーションを行っている様子を、ＤＶカメラ４を用いて撮影する。ここで、編集者とは、情報編集システム１を利用して動画を編集する者のことである。
【００４８】
撮影が終了すると、情報編集装置５は、プレゼンテーション装置２からプレゼンテーション資料３１を取得し、さらに、ＤＶカメラ４からプレゼンテーションの様子を示す動画情報を取得する。そして、情報編集装置５は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料３１を対応付けた情報ファイルを生成する。
【００４９】
図２は、本実施の形態にかかる情報編集システム１に特徴的な処理を行う情報編集装置５の情報編集部３５と、プレゼンテーション装置２のイベント処理部３２の機能構成を示すブロック図である。
【００５０】
イベント処理部３２は、プレゼンテーション装置２に接続されたキーボード２１やマウス１５からの入力により、プレゼンテーションに関するイベントを示すイベント情報を取得するイベントキャプチャ部３３と、イベントキャプチャ部３３が取得したイベント情報を記録するイベント記録部３４と、イベント情報およびプレゼンテーション資料３１を情報編集装置５に送信する送信部４４とを有している。
【００５１】
また、情報編集部３５は、送信部４４からイベント情報およびプレゼンテーション資料３１を受け取る受信部３６と、受信部３６が受け取ったイベント情報を制御するイベント情報制御部３７と、イベント情報を記録するイベント記録部３８と、イベント記録部３８からイベント情報を取得し、イベント情報の内容を解釈するイベント情報解釈部４２と、編集者からの指示を受け付ける指示受付部５４と、指示受付部５４からの指示に従って、イベント情報解釈部４２によって解釈されたイベント情報に基づいて動画情報を編集し、情報ファイルを生成する情報ファイル生成部４３と、情報ファイル生成部４３が生成した情報ファイルを外部に出力する出力部５０と、ＤＶカメラ４が取り込んだ動画情報をキャプチャする動画情報キャプチャ部４０と、動画情報を管理する動画情報管理部４１と、ＤＶカメラ４を制御する撮影機器制御部３９とを有している。
【００５２】
ここで、プレゼンテーション資料３１は、本発明の画面画像情報に相当する。また、イベントキャプチャ部３３、受信部３６、および動画情報キャプチャ部４０は、それぞれ本発明のイベント情報取得手段、画面画像情報取得手段、および動画情報取得手段を構成する。
【００５３】
ここで、図３を参照しつつ、プレゼンテーション資料３１について説明する。プレゼンテーション資料３１は、プレゼンテーションの際に表示画面３０に表示すべき画面画像３１０，３１２，３１４，３１６，３１８，３２０を含んでいる。各画面画像３１０，３１２，３１４，３１６，３１８，３２０には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料３１を構成する画面画像は、当該プレゼンテーション資料３１の作成者が定めた順番に配列されている。図３に示すプレゼンテーション資料３１は、６ページ分の画面画像を含んでいる。これらは、プレゼンターからの指示により、１ページ、２ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料３１は、Ｍｉｃｒｏｓｏｆｔ（Ｒ）社製のＰｏｗｅｒ Ｐｏｉｎｔ（Ｒ）のファイルである。
【００５４】
通常、プレゼンテーションにおいて、プレゼンターは、以下の操作を行う。
１．プレゼンテーション装置２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作による、プレゼンテーション資料３１のページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．プレゼンテーション装置２の終了
ここで、ページめくりとは、表示画面３０に表示させる、プレゼンテーション資料３１を１ページから次のページすなわち２ページに切り替えることである。
【００５５】
以上の操作は、いずれもマウス１５またはキーボード２１における所定の操作に対応付けられている。例えば、プレゼンテーション装置２の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス１５によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。
【００５６】
イベント記録部３４は、このイベント情報のログを記録し、送信部４４は通信インターフェイスを介して情報編集部３５に送信する。
【００５７】
撮影機器制御部３９は、イベント情報に基づいてＤＶカメラ４を制御する。イベント記録部３８は、イベント処理部３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も記録する。
【００５８】
例えば、プレゼンテーション・ソフトの起動というイベントが発生したときは、このイベント情報をイベント記録部３８で記録する。さらに、撮影機器制御部３９により、ＤＶカメラ４からの動画情報取り込みを開始する。プレゼンテーション・ソフトが終了したときは、撮影機器制御部３９は、ＤＶカメラ４からの動画情報の取り込みを終了する。そして、イベント情報制御部３７は、プレゼンテーション・ソフトの終了をイベントとするイベント情報をイベント記録部３８に記録する。
【００５９】
イベント情報解釈部４２は、イベント情報の内容を解釈する。そして、情報ファイル生成部４３は、イベント情報解釈部４２によって解釈されたイベント情報の内容を参照し、プレゼンテーション資料３１及び動画情報に基づいて情報ファイルを生成する。
【００６０】
このように、情報編集部３５は、ＤＶカメラ４から取り込んだ動画情報中のイベントのイベント情報を動画情報とともに管理することができる。つまり、ＤＶカメラ４で撮影され取り込まれた動画情報は、時間の推移を規定する時間情報を付されて保存される。また、記録されたイベント情報は、情報ファイル生成部４３により、プレゼンテーション資料３１とマージされ、内容記述言語（ＭＰＥＧ−７など）により管理される。
【００６１】
図４は、イベント情報リスト３４０のデータ構成を模式的に示している。イベント情報リスト３４０には、イベント情報３４１，３４２，３４３・・・が、各イベントの発生した順番に配列されている。イベント情報には、発生したイベントの種類およびイベントが発生した日時が含まれている。例えばページ２が表示されると、「ページ２に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始した表示開始時刻および表示を終了した終了時刻を認識することができる。
【００６２】
図５は、図２において説明した、情報ファイル生成部４３の詳細な機能構成を示す機能ブロック図である。情報ファイル生成部４３は、区間決定部４３０と、区間調整部４３１と、同期部４３３と、目次項目抽出部４３４と、目次項目選択部４４０と、目次生成部４４４と、抽出条件保持部４４２と、対応付部４３５と、同期調整部４３６と、目次項目抽出部４３７とを有する。
【００６３】
区間決定部４３０は、ＤＶカメラ４から取得した動画情報６００を、プレゼンテーション装置２から取得したイベント情報７００に基づいて、複数の区間に分割する。具体的には、区間決定部４３０は、ページめくりを示すイベント情報が示す時刻に録画されたフレーム位置を動画情報の区間の境界位置として決定する。すなわち、一のページが表示されている区間は、同一区間となり、ページが切り替わるタイミングが、区間の境界に対応する。
【００６４】
区間調整部４３１は、区間決定部４３０が分割した区間の長さを調整する。具体的には、区間決定部４３０により決定された区間の長さが、予め定められた規定長に比べて短い場合に、この規定長よりも短い区間、すなわち規定長外区間を、当該規定長区間の直前または直後の区間に統合する。
【００６５】
同期部４３３は、イベント情報に基づいて、動画情報６００とプレゼンテーション資料３１との同期を取る。すなわち、動画情報６００の各区間を表示させるときに同時に表示させるべきプレゼンテーション資料３１の一のページを、各区間に対応付ける。
【００６６】
同期調整部４３６は、動画情報６００の規定外区間に対して、同期部４３３が同期させたプレゼンテーション資料３１のページにかえて、規定外区間の統合先の区間に同期されたページを同期させる。
【００６７】
抽出条件保持部４４２は、目次項目を抽出するための抽出条件を保持している。すなわち、抽出条件は予め定められている。なお、抽出条件保持部４４２は、指示受付部５４を介して利用者から入力された抽出条件を保持してもよい。
【００６８】
目次項目抽出部４３４は、抽出条件保持部４４２が保持する条件に基づいて、プレゼンテーション資料３１から、動画情報６００の目次の項目となるべき文字情報を抽出する。なお、抽出条件保持部４４２に指示受付部５４を介して利用者から入力された抽出条件が保持されている場合には、目次項目抽出部４３４は、指示受付部５４が利用者から取得した抽出条件に基づいて文字情報を抽出する。
【００６９】
目次項目選択部４４０は、目次項目抽出部４３４が複数の文字情報を抽出した場合に、複数の文字情報の中から目次項目に採用すべき一の文字情報を選択する。すなわち、一の文字情報を目次項目に採用することを決定する。
【００７０】
目次生成部４４４は、目次項目選択部４４０が選択した目次項目を含む、動画情報の目次を生成する。
【００７１】
対応付部４３５は、目次項目選択部４４０が選択した目次項目を、当該目次項目の抽出元である、プレゼンテーション資料３１の各ページに対応付ける。目次項目抽出部４３７は、目次項目抽出部４３４が抽出した目次項目を削除する。
【００７２】
図６は、情報編集部３５が生成した情報ファイルを示している。情報ファイルは、動画情報６００と、動画情報６００の各区間６１０に対応付けられた複数の画面画像３１０,３１２・・・を有している。なお、動画情報６００の各区間６１０は、複数のフレーム６２０を含んでいる。各区間６１０の長さは、イベント情報により決定される。このように、動画情報６００は、プレゼンテーション資料３１の各画面画像３１０，３１２・・・と対応付けられているので、動画情報６００とプレゼンテーション資料３１の各画面画像３１０，３１２・・・とを同期して表示させることができる。
【００７３】
図７は、出力部５０から出力された情報ファイルを示している。図７に示す表示部５００には、動画情報６００と、プレゼンテーション資料３１のうち、表示部５００に表示されている区間に同期されたページ３３０と、動画情報６００の目次８００とが表示されている。なお、目次８００と動画情報６００とはリンクしており、例えば、目次８００中の「テーマ１：製造業の空洞化」という項目が選択されると、そのとき表示されている動画の区間にかかわらず、動画情報６００の区間１が再生される。なお、区間１とは、映像中に含まれる表示画面３０にテーマ１が表示されている区間である。このように、目次を選択することにより、利用者の所望の区間を表示させることができる。
【００７４】
なお、本実施の形態においては、情報ファイル生成部４３は、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）を利用して情報ファイルを生成する。ここで、ＳＭＩＬとは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させる言語のことであり、ＸＭＬで記述されている。ＳＭＩＬを用いることにより、表示画面における表示位置、表示させるタイミング、表示させる時間などを指定することができる。
【００７５】
以下、図８を参照しつつ、情報編集部３５が情報ファイルを作成するときの情報編集処理について説明する。まず、区間決定部４３０は、ＤＶカメラ４から取得した動画情報６００を、プレゼンテーション装置２から取得したイベント情報７００に基づいて複数の区間に分割する（ステップＳ１００）。具体的には、「発生日時１０時１０分、イベント種類ページ２に切り替え」及び「発生日時１０時１６分、イベント種類ページ３に切り替え」を示す連続して記録された２つのイベント情報を取得した場合には、動画情報６００のうち１０時１０分から１０時１６分の間に録画された区間はページ２に対応する区間と決定される。すなわち、１０時１０分および１０時１６分の位置を境界位置とする区間に分割する。
【００７６】
次に、区間調整部４３１は、区間決定部４３０によって決定された各区間の長さを、予め定められた規定長と比較する。そして、規定長に比べて短い区間、すなわち規定長外区間があった場合（ステップＳ１０２，Ｙｅｓ）、規定長外区間を調整する（ステップＳ１０４）。
【００７７】
ここで、図９を参照しつつ、区間調整部４３１が規定長外区間を調整する方法について説明する。図９は、動画情報６００を時間軸に沿って模式的に示している。例えば、「テーマ１」の区間は、動画情報６００のうち、動画情報６００に映像として含まれている表示画面３０に「テーマ１」の表題のページ、すなわち１ページが表示されている区間を示している。このように、各区間は、表示画面３０に表示された画面画像の切り替りを境界として定められている。
【００７８】
また、ｔ１は、「テーマ１」に対応する区間を再生するのに要する再生時間である。すなわち、ｔ１は、テーマ１のページであるページ１の表示終了時刻と開始時刻の差分値である。ここで、先に述べた規定長は、ｔｓで示される。すなわち、規定長は再生時間の単位で定められている。
【００７９】
区間の長さｔｘ（ｘ＝１〜６）の各々について規定長ｔｓと比較し、規定長ｔｓに比べて短い区間は、規定長ｔｓよりも長い他の区間に統合する。例えば、図９（Ａ）に示す「テーマ４」を表示する区間の長さｔ４および「テーマ５」の区間の長さｔ５は規定長に比べて短い。従って、「テーマ４」の区間および「テーマ５」の区間は、規定外区間と判断される。この場合、図９（Ｂ）に示すように、規定外区間は、その直後の区間に統合される。すなわち、「テーマ５」の区間は、「テーマ６」の区間に統合される。また、「テーマ４」の直後の区間、すなわち「テーマ５」の区間は規定外区間であるので、「テーマ４」の区間は、さらにその直後の区間、すなわち「テーマ６」の区間に統合される。すなわち、「テーマ４」の区間、「テーマ５」の区間、および「テーマ６」の区間が１つの区間に統合され、いずれも区間４に含まれることになる。
【００８０】
プレゼンテーションにおいては、時間の都合上、途中のページの説明を省略する場合がある。図９の「テーマ４」の区間および「テーマ５」の区間ように、その表示時間が短い場合、これらの画面画像は「テーマ６」を表示させるため表示されたに過ぎず、画面画像に対する説明は省略されていると推測される。このように、説明の対象となっていないと予想される、表示時間の短い画面画像に対応する区間を省略することで、より見やすい情報に編集することができる。
【００８１】
プレゼンテーション資料３１の途中の画面画像の説明を省略する場合、省略する画面画像を表示させている間、プレゼンターは、次に説明する画面画像に関する内容を意識している場合が多い。このため、表示画面３０に省略された画面画像が表示されている間は、その次に説明の対象となるページにおいて説明すべき事項に関連する説明をしていると予想される。また、実際のプレゼンテーションにおいても、このようなケースが多い。そこで、本実施の形態においては、規定外区間は、便宜的にその直後の区間に含めることにした。これにより、内容的に統一された区間を１つの区間とすることができる。
【００８２】
説明を図８に戻す。動画情報が複数の区間に分割されると、次に、同期部４３３は、イベント情報７００に基づいて、動画情報６００とプレゼンテーション資料３１とを同期させる（ステップＳ１０６）。次に、目次項目抽出部４３４は、プレゼンテーション資料３１から動画情報６００の目次として文字情報を抽出する（ステップＳ１０８）。具体的には、プレゼンテーション資料３１の各画面画像は、タイトル属性が付与された文字情報を含んでおり、目次項目抽出部４３４は、タイトル属性に対応付けられた文字情報を抽出する。目次項目抽出部４３４は、プレゼンテーション資料３１に含まれるすべてのページの画面画像から文字情報を抽出する。ステップＳ１０８における処理は、図１３以降で詳述する。
【００８３】
次に、目次項目抽出部４３４は、抽出いた目次項目を含む目次を生成する（ステップＳ１０９）。次に、対応付部４３５は、目次項目抽出部４３４が抽出した文字情報、すなわち目次項目を、当該目次項目を抽出した画面画像に対応付ける（ステップＳ１１０）。画面画像は、動画情報６００の各区間に対応付けられている。従って、各目次項目は、画面画像を介して動画情報６００の各区間に対応付けられる。
【００８４】
ステップＳ１０２，ステップＳ１０４において、区間を統合した場合には（ステップＳ１１２，Ｙｅｓ）、同期調整部４３６は、動画情報６００とプレゼンテーション資料３１の同期を調整する（ステップＳ１１４）。
【００８５】
ここで、図１０を参照しつつ同期調整部４３６が同期を調整する方法について説明する。図１０に示すように、動画情報６００の各区間と、当該区間と同時に表示すべきプレゼンテーション資料３１の各ページは同期している。規定外区間である「テーマ４」の区間および「テーマ５」の区間には、それぞれプレゼンテーション資料３１のうち「テーマ４」を示す４ページと５ページが同期している。この場合、同期調整部４３６は、「テーマ４」の区間および「テーマ５」の区間を含む区間４全体に対してプレゼンテーション資料３１の６ページを同期させる。すなわち、同期調整部４３６は、「テーマ４」の区間に対して、４ページにかえて６ページを同期させ、かつ「テーマ５」の区間に対して、５ページにかえて６ページを同期させる。
【００８６】
規定外区間において表示画面３０に表示される画面画像は、該当するページにおいて、その説明が省略されており、表示させる必要がない場合が多い。また、先に説明したように、これらの画面画像を表示しているとき、プレゼンターはその後に表示する画面画像に関する内容について説明している場合が多い。このため、同期部４３３によって同期された画面画像を同期させるよりも、その後に表示するページを同期したほうが、利用者は内容を理解しやすい。
【００８７】
再び、図８を参照しつつ情報編集処理について説明する。同期調整が完了すると、次に、目次項目抽出部４３７は規定外区間に対応する目次項目を削除する。図１１は、図１０に示す動画情報６００の目次項目を示している。図１１（Ａ）は削除前の目次項目を示している。図１１（Ｂ）は削除後の目次項目を示している。図１０に示すように、規定外区間である「テーマ４」の区間および「テーマ５」の区間は、いずれも「テーマ６」の区間に統合されている。そこで、これら３つの区間を含む区間４に対しては、統合先の区間に同期するページ６のページ属性を目次項目として抽出する。これにより、目次項目が無駄に多くなるのを避けることができる。以上の処理により、図８に示す動画情報６００に対する情報編集処理が全て完了する。
【００８８】
次に、プレゼンテーションにおいて、本来表示すべき順番と逆の順番でプレゼンテーション資料３１の画面画像が表示された場合の情報編集部３５の処理について、図１２を参照しつつ説明する。図１２に示す動画情報６１０には、プレゼンテーション資料３１のページ順と逆の順番にページが表示される部分が含まれている。すなわち、動画情報に含まれる表示画面３０は、「テーマ５」を表示したのちに、再度「テーマ４」の画面画像、「テーマ３」の画面画像、および「テーマ２」の画面画像の順に表示している。
【００８９】
なお、情報編集装置３５は、ページの切り替えをイベント種類として含むイベント情報に基づいて、ページ順と逆の順番に表示されていることを認識することができる。
【００９０】
プレゼンテーションにおいては、既に説明した内容を、再び関連する画面画像を再度表示させて説明する場合がある。このような場合には、プレゼンターは、ユーザインターフェースを用いて操作することにより。図１２に示すように順にページを戻していく。この場合も情報編集部３５は、図８から図１１を参照しつつ説明した情報編集処理によって、規定長外区間を、当該規定長外区間の直後の区間に統合する。具体的には、図１２に示すテーマ５の区間に続いて順に表示されるテーマ４の区間およびテーマ３の区間が規定外区間である場合には、「テーマ４」の区間および「テーマ３」の区間を「テーマ２」の区間に統合する。
【００９１】
その一方で、ページ順に「テーマ１」の区間から「テーマ５」の区間の間に含まれる規定外区間である「テーマ４」の区間に対しては、直後の区間に含める処理を行わない。このように、一旦表示させたページを、再度ページを遡って表示させる場合に限り直後の区間に統合することとしてもよい。
【００９２】
ページ順にプレゼンテーション資料３１を表示させているときは、各ページについての説明を省略していても、聴講者の理解のためには画面画像の表示は残したほうがよい場合もある。このような場合には、本例のように、逆順にページが切り替る場合のみ規定外区間を統合することにより、より理解しやすい情報にすることができる。
【００９３】
逆順にページが切り替る場合は、それ以前に既に、省略されたページについての説明がなされている場合が多い。従って、逆順にページが切り替る区間内の規定外区間を統合することにより、より適切な目次を生成することができる。
【００９４】
次に、図１３を参照しつつ、図８に示したステップＳ１０８における詳細な処理について説明する。なお、図１３は、最も左側に配置され、または最も上側に配置され、かつフォントサイズが最大であることが抽出条件として設定されている場合の処理を示している。
【００９５】
目次項目抽出部４３４は、画面画像情報においてタイトルとして指定されている文字情報がある場合には（ステップＳ２００，Ｙｅｓ）、タイトルとして指定されている文字情報を画面画像情報から抽出する（ステップＳ２１０）。そして、図８に示したステップＳ１１０へ進む。
【００９６】
ここで、図１４を参照しつつ、タイトルとして指定されている文字情報について説明する。図１４は、タイトルとして指定される文字情報を入力すべきタイトル属性のテキストボックス６００を示している。本実施の形態においては、画面画像情報を生成する際に、当該画面画像情報の作成者が、画面画像３５０のタイトルとすべき文字情報をテキストボックス６００に入力する。テキストボックス６００に入力された文字情報は、タイトルとして指定される。すなわち、図１４においては、テキストボックス６００に入力された文字情報「議論に対する基本姿勢」という文字情報がタイトルとして指定される。
【００９７】
そして、ステップＳ２１０においては、タイトルとして指定された議論に対する基本姿勢」という文字情報がタイトル、すなわち目次項目として抽出される。このように、画面画像の作成者が付与したタイトルを目次項目として抽出できるので適切な目次を作成することができる。
【００９８】
再び説明を図１３に戻す。画面画像において、タイトルとして指定されている文字情報がない場合には（ステップＳ２００，Ｎｏ）、まず画面画像のうち最も左側に配置された文字情報を抽出する（ステップＳ２０１）。次に、最も上側に配置された文字情報を抽出する（ステップＳ２０２）。ステップＳ２０１およびステップＳ２０２においては、それぞれ文字情報の位置を示す位置情報、およびフォントサイズなどを取得し、抽出した文字情報とともに保持する。ここで、位置情報は、具体的には、画面におけるＸおよびＹ座標の値で示される情報である。
【００９９】
ステップＳ２００およびステップＳ２０２において複数の文字情報を抽出した場合、すなわちステップＳ２００およびステップＳ２０２において同一の一の文字情報を抽出した場合以外の場合には（ステップＳ２０４，Ｙｅｓ）、ステップＳ２００およびステップＳ２０２において選択した複数の文字情報のうちフォントサイズが最大の文字情報を、当該画面画像情報の目次項目として選択する（ステップＳ２０６）。全ての画面画像情報について、目次項目を抽出すると（ステップＳ２０８，Ｙｅｓ）、ステップＳ１０８における処理は完了する。そして、図８において示したステップ１０９へ進む。
【０１００】
なお、以上は、文字情報の抽出が常に行われる場合の処理を説明したが、文字情報の抽出処理を行うか否かは、利用者が指示受付部５４を介して設定可能である。文字情報の抽出処理を行わない設定がされている場合には、タイトル属性に対応付けられている文字情報のみに基づいて目次項目を生成する。
【０１０１】
また、他の例としては、目次項目抽出部４３４は、抽出条件に合致する文字情報であっても、所定の属性に対応付けられている場合には、その文字情報を抽出しなくともよい。例えば、作成者属性に対応付けられている文字情報等は、目次項目に適さない。また、各文字情報に対応付けられた属性は、画面画像の作成者が付与したものであるので、各属性に対応付けられている情報を目次項目としないことにより、作成者の意図に合った目次項目を生成することができる。
【０１０２】
図１５を参照しつつ、図１３において説明した処理をより具体的に説明する。図１５は画面画像３５０を示している。画面画像３５０の辺３５２は左辺である。また、辺３５４は上辺である。
【０１０３】
図１５に示す画面画像３５０のうち最も左側に配置された文字情報は、「▲１▼変革派」６１０および「▲２▼斬新派」６２０の２つである。また、最も上側に配置された文字情報とは、「議論に対する基本姿勢」６００である。従って、ステップＳ２０１において「▲１▼変革派」６１０および「▲２▼斬新派」６２０の２つの文字情報が抽出される。また、ステップＳ２０１において「議論に対する基本姿勢」６００の文字情報が抽出される。すなわち、目次項目抽出部４３４は全部で３つの文字情報を抽出する。
【０１０４】
このように複数の文字情報を抽出した場合、ステップ２０６において、目次項目選択部４４０は３つの文字情報のうちフォントサイズが最大の文字情報を選択する。「▲１▼変革派」６１０および「▲２▼斬新派」６２０の２つの文字情報のフォントサイズが１６であり、「議論に対する基本姿勢」６００の文字情報のフォントサイズが２４である場合、フォントサイズの大きい「議論に対する基本姿勢」６００の文字情報が目次項目として決定される。このように、複数の条件に従って適切な目次項目を決定することができる。
【０１０５】
図１６は、実施の形態にかかる情報編集装置５のハードウェア構成を示す図である。情報編集装置５は、図２および図５を参照しつつ説明した、情報編集部３５の情報編集プログラムなどが格納されているＲＯＭ５２、ＲＯＭ５２内のプログラムに従って情報編集装置５の各部を制御し、情報編集処理等を実行するＣＰＵ５１、ワークエリアが形成され、情報編集装置５の制御に必要な種々のデータが記憶されているＲＡＭ５３、ネットワークに接続して、通信を行う通信I／Ｆ５７、および各部を接続するバス６２を備えている。
【０１０６】
先に述べた情報編集装置５における情報編集処理を実行する情報編集プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１０７】
また、本実施形態の情報編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１０８】
この場合には、情報編集プログラムは、情報編集装置５において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１０９】
また、プレゼンテーション装置２のハードウェア構成は、図１３を参照しつつ説明した情報編集装置５のハードウェア構成と同様であるので、説明を省略する。
【０１１０】
(実施の形態２)
次に、実施の形態２にかかる情報編集システム１について説明する。実施の形態２にかかる情報編集システム１は、目次項目を抽出する処理方法が、実施の形態１にかかる情報編集システム１と異なる。
【０１１１】
図１７は、実施の形態２にかかる情報編集システム１における(ステップＳ１０８における詳細な処理を示すフローチャートである。実施の形態２にかかる情報編集システム１においては、ステップＳ２０１において、左上角に最も近い位置に配置された文字情報を抽出する。
【０１１２】
図１８を参照しつつ、ステップＳ２０１における処理を具体的に説明する。図１８において、画面画像３５０の頂点３６０が左上角である。この位置から各文字情報の配置されている位置までの距離を算出し、距離の最も短い位置に配置されている文字情報を目次項目として決定する。図１８においては、左上角３６０から文字情報６００までの距離６０１は、左上角３６０から文字情報６１０までの距離６１１に比べて短いので、文字情報６００が目次項目として抽出される。
【０１１３】
図１９に示される画面画像３５０には、最も上段には、作成日時が示されている。このように、最も上段には、作成日時や、作成者などが表示されている場合がある。このような場合には、本実施の形態のように、左上角に最も近い位置に配置された文字情報を目次項目として抽出するのが望ましい。
【０１１４】
以上、実施の形態にかかる情報編集システム１について説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【０１１５】
そうした第１の変更例としては、抽出条件は、本実施の形態に限定されるものではない。本実施の形態において説明した抽出条件にかえて、最も上側に配置されることのみを抽出条件としてもよく、フォントサイズが最大であることを抽出条件として設定してもよい。このように、抽出条件は、複数の条件の組み合わせであってもよく、または１つの条件のみで構成されていてもよい。
【０１１６】
第２の変更例としては、本実施の形態においては、同期調整部４３６は、同期部４３３は、イベント情報７００に基づいて動画情報と画面画像情報とを同期させ、その後同期調整部４３６は区間調整部４３１が調整した区間に基づいて、動画情報と画面画像情報との同期を調整したが、他の例としては、同期部４３３は、区間調整部４３１が区間を調整した後の動画情報に対して、各区間に対する画面画像情報を動画情報の各区間に対応付けてもよい。また、この場合は、目次抽出部４３４は、同期調整後の各区間に対応する目次項目を抽出してもよい。なお、この場合には、情報ファイル生成部４３は、同期調整部４３６および目次項目削除部４３７を有さなくともよい。
【０１１７】
このように、各処理の順番は、本実施の形態に限定されるものではなく、最終的に動画情報の各区間に対して、画面画像情報が１対１に対応付けられればよい。
【０１１８】
第４の変更例としては、本実施の形態においては、動画情報に表示画面３０が映像として含まれている場合について説明したが、動画情報には必ずしも表示画面３０の映像が含まれていなくてもよい。例えば、表示画面３０に表示される画面画像については、画面画像情報として取得するので、あえて映像中に含めることがないと判断した場合には、プレゼンテーションが行われている間は、プレゼンターが話している様子や、会場の様子などを録画してもよい。
【０１１９】
また例えば、本発明のデジタルデータは、当該動画情報にかえて、プレゼンターが表示画面３０を参照しつつ話している音声を録音した音声データであってもよい。この場合にも、本実施の形態において説明したのと同様に、プレゼンターが表示画面３０に表示する画面画像を切り替えるタイミングを含むイベント情報に基づいて音声データを編集する。プレゼンテーションの音声データが当該プレゼンテーションにおいて参照される画面画像に同期している場合には、このように音声データと画面画像とを同期させることにより、音声データの利便性を向上させることができる。
【０１２０】
第５の変更例としては、本実施の形態においては、規定外区間に同期する画面画像を変更し、かつ目次項目を省略したが、これにかえて、規定外区間に同期する画面画像の変更を行わなくともよい。例えば、目次項目が煩雑になるのを避けるため、区間統合および目次項目の削除を行いたいが、省略された画面画像の表示はそのまま残した方が、内容を理解する上で便宜な場合がある。このような場合には、本例のように、規定外区間であっても、同期する画面画像を同時に表示させてもよい。
【０１２１】
また、規定外区間に同期する画面画像を変更するのみで、目次項目の省略を行わなくともよい。このように、これらの２つの処理は独立して行うことができる。
【０１２２】
第６の変更例としては、本実施の形態においては、規定外区間を当該規定外区間の直後の区間に統合したが、これにかえて、規定外区間を当該規定外区間の直前の区間に統合してもよい。例えば、作成した情報ファイルの各区間の頭出しにおいて、規定外区間が表示されるのを避けたい場合には、規定外区間を直前の区間に統合してもよい。このように、規定外区間をいずれの区間に統合するかは、利用者の希望により、また対象とする動画情報の性質などに基づいて、便宜的に定めてもよい。
【０１２３】
第７の変更例としては、本実施の形態においては、最も左側に配置された文字情報および最も上側に配置された文字情報のうち少なくとも１つの文字情報抽出した結果、複数の文字情報を抽出した場合には、フォントサイズに基づいて１つの文字情報を選択したが、これにかえて、最も左上角に近い位置に配置された文字情報を抽出した結果、複数の文字情報を抽出した場合に、フォントサイズに基づいて１の文字情報を選択してもよい。左上角から等距離の位置は複数あるため、このように複数の文字情報を抽出する場合が想定されるためである。
【０１２４】
【発明の効果】
以上説明したように、本発明によれば、デジタルデータに含まれる表示画面に表示された画面画像情報から、デジタルデータに対する目次項目とすべき文字情報を抽出するので、正確な文字情報を抽出することができるという効果を奏する。
【０１２５】
また、画面画像情報から目次項目を抽出するときの抽出条件が予め定められているので、自動的に文字情報を抽出することができる。従って、動画情報の目次を効率的に生成することができるという効果を奏する。
【０１２６】
また、本発明によれば、抽出条件として、画面画像に記載される文字情報のうちフォントサイズが最大であることが予め定められており、抽出手段は、この抽出条件に従って、フォントサイズが最大の文字情報を目次項目として抽出することができるという効果を奏する。
【図面の簡単な説明】
【図１】情報編集システム１の全体構成を示す図である。
【図２】情報編集装置５の情報編集部３５と、プレゼンテーション装置２のイベント処理部３２の機能構成を示すブロック図である。
【図３】プレゼンテーション資料３１を模式的に示す図である。
【図４】イベント情報リスト３４０のデータ構成を模式的に示す図である。
【図５】情報ファイル生成部４３の詳細な機能構成を示す機能ブロック図である。
【図６】情報編集部３５が生成した情報ファイルを示す図である。
【図７】出力部５０から出力された情報ファイルを示す図である。
【図８】情報編集部３５が情報ファイルを作成するときの情報編集処理を示すフローチャートである。
【図９】動画情報６００を時間軸に沿って模式的に示す図である。
【図１０】同期調整部４３６による同期の調整方法を説明するための図である。
【図１１】図１０に示す動画情報６００の目次を示す図である。
【図１２】動画情報６１０を示す図である。
【図１３】図８において説明したステップＳ１０８における、情報編集部３５の詳細な処理を示すフローチャートである。
【図１４】タイトルとして指定される文字情報を入力すべきテキストボックス６００を示す図である。
【図１５】画面画像３５０から目次項目を抽出する処理を説明するための図である。
【図１６】情報編集装置５のハードウェア構成を示す図である。
【図１７】第２の変更例にかかる目次項目の抽出条件について説明するための図である。
【図１８】ステップＳ２０１における処理を具体的に説明するための図である。
【図１９】画面画像３５０から目次項目を抽出する処理を説明するための図である。
【符号の説明】
１ 情報編集システム
１５ マウス
２１ キーボード
３０ 表示画面
３１ プレゼンテーション資料
３２ イベント処理部
３３ イベントキャプチャ部
３４ イベント記録部
３５ 情報編集部
３６ 受信部
３７ イベント情報制御部
３８ イベント記録部
３９ 撮影機器制御部
４０ 動画情報キャプチャ部
４１ 動画情報管理部
４２ イベント情報解釈部
４３ 情報ファイル生成部
４４ 送信部
５０ 出力部
５４ 指示受付部
４３０ 区間決定部
４３１ 区間調整部
４３３ 同期部
４３４ 目次項目抽出部
４３５ 対応付部
４３６ 同期調整部
４３７ 目次項目抽出部
４４０ 目次項目選択部
４４２ 抽出条件保持部
４４４ 目次生成部
５００ 表示部

Claims (11)

1. 動画データを含むデジタルデータを編集する編集装置であって、
   前記デジタルデータを取得するデジタルデータ取得手段と、
   表示画面に表示された画面画像を示す画面画像情報を取得する画面画像情報取得手段と、
   前記画面画像情報取得手段が取得した前記画面画像情報から、予め定められた抽出条件に合致する文字情報を抽出する抽出手段と、
   前記抽出手段が抽出した前記文字情報を前記デジタルデータの目次項目として含む、動画情報の目次を生成する目次生成手段と、を備え、
   前記抽出手段は、フォントサイズが最大の文字情報を抽出することを特徴とする情報編集装置。
2. 前記抽出手段が前記画面画像において最も左側に配置された文字情報および最も上側に配置された文字情報のうち少なくとも１つの文字情報を抽出した結果、複数の前記文字情報を抽出した場合に、複数の文字情報のうちフォントサイズが最大の前記文字情報を目次の項目に採用することを決定する目次項目選択手段をさらに備え、
   前記目次生成手段は、目次項目選択手段によって選択された前記文字情報を項目として含む目次を生成することを特徴とする請求項１に記載の情報編集装置。
3. 前記抽出手段は、前記画面画像に当該画面画像情報のタイトルとして指定されている文字情報が含まれていない場合に、前記抽出条件に合致する前記文字情報を抽出することを特徴とする請求項１または２に記載の情報編集装置。
4. 前記抽出手段は、前記抽出条件に合致し、かつ所定の属性に対応付けられていない前記文字情報を抽出することを特徴とする請求項１から３のいずれか一項に記載の情報編集装置。
5. 利用者から前記抽出処理により目次項目を生成する旨の指示を受け付ける指示受付手段をさらに備え、
   前記抽出手段は、前記指示受付手段が前記指示を受け付けた場合に、前記文字情報を抽出することを特徴とする請求項１から４のいずれか一項に記載の情報編集装置。
6. 動画データを含むデジタルデータを編集する編集方法であって、
   表示画面に表示された画面画像に関連するデジタルデータを取得するデジタルデータ取得ステップと、
   前記表示画面に表示された画面画像を示す画面画像情報を取得する画面画像情報取得ステップと、
   前記画面画像情報取得ステップにおいて取得した前記画面画像情報から、予め定められた抽出条件に合致する文字情報を抽出する抽出ステップと、
   前記抽出ステップにおいて抽出した前記文字情報を前記デジタルデータの目次項目として含む、動画情報の目次を生成する目次生成ステップと、を含み、
   前記抽出ステップは、フォントサイズが最大の文字情報を抽出することを特徴とする情報編集方法。
7. 前記抽出手段が前記画面画像において最も左側に配置された文字情報および最も上側に配置された文字情報のうち少なくとも１つの文字情報を抽出した結果、複数の前記文字情報を抽出した場合に、複数の文字情報のうちフォントサイズが最大の前記文字情報を目次の項目に採用することを決定する目次項目選択ステップをさらに含み、
   前記目次生成ステップは、前記目次項目選択ステップによって選択された前記文字情報を項目として含む目次を生成することを特徴とする請求項６に記載の情報編集方法。
8. 前記抽出ステップは、前記画面画像に当該画面画像情報のタイトルとして指定されている文字情報が含まれていない場合に、前記抽出条件に合致する前記文字情報を抽出することを特徴とする請求項６または７に記載の情報編集方法。
9. 前記抽出ステップは、前記抽出条件に合致し、かつ所定の属性に対応付けられていない前記文字情報を抽出することを特徴とする請求項６から８のいずれか一項に記載の情報編集方法。
10. 利用者から前記抽出処理により目次項目を生成する旨の指示を受け付ける指示受付ステップをさらに含み、
    前記抽出ステップは、前記指示受付ステップが前記指示を受け付けた場合に、前記文字情報を抽出することを特徴とする請求項６から９のいずれか一項に記載の情報編集方法。
11. 請求項６から１０のいずれか一つに記載の方法をコンピュータに実行させる情報編集プログラム。

Images