JP4149825B2

JP4149825B2 - Indexing apparatus, indexing method and program

Info

Publication number: JP4149825B2
Application number: JP2003025201A
Authority: JP
Inventors: 小山　　毅
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2008-09-17
Anticipated expiration: 2023-01-31
Also published as: JP2004234568A

Description

【０００１】
【発明の属する技術分野】
この発明は、アプリケーションによって表示される画像の状態が所定の状態になったタイミングを取得するインデキシング装置、インデキシング方法およびプログラムに関する。
【０００２】
【従来の技術】
従来より、会議等でプレゼンテーションを行う際に、ＰＣ（Personal Computer）およびプロジェクター装置、またはＯＨＰ（オーバヘッドプロジェクタ）装置等を用い、複数の画像を順次切り替えてスクリーン等に表示させながら説明等を行う手法がとられることがある。
【０００３】
また、上記のような手法で行ったプレゼンテーションの様子をビデオカメラで撮影することもある。そして、このビデオカメラで撮影した録画データを再生することで、プレゼンテーションの再現を行うのである。
【０００４】
しかしながら、単にスクリーン等に表示される画像を含めてプレゼンテーションの様子をビデオカメラで録画し、それを再生するだけでは、スクリーンに表示される画像が鮮明に再現できない場合が多い。
【０００５】
また、プレゼンテーションは、グラフ、表、文書などの資料を表示する複数のスライド画像を順次表示させながら、表示されている資料について説明等を行うといった形式で行われるのが一般的である。したがって、上記のように単にプレゼンテーションの様子を録画し再生する方法では、ある１つの画像に表示されている資料についての説明等のみを再現したい場合に、ビデオ再生を早送りする等の操作を行って所望の再生位置を探し出すといった煩雑な操作を行わなくてはならない。
【０００６】
そこで、プレゼンテーションの様子をビデオに録画するとともに、プレゼンテーションの際に説明者が、各々の資料画像をスクリーンに表示させたタイミング情報を取得するといった技術が提案されている（例えば、特許文献１参照）。
【０００７】
かかる技術では、プレゼンテーションの様子を録画した映像を再生する際に、取得した各画像の表示タイミング情報を参照することで、プレゼンテーション映像の再生時刻がある画像の表示タイミングとなった時点で当該ある画像を、その画像データに基づいて表示させるようにしている。このように録画映像とは別に資料等を表示させるために用意されている画像データに基づいて資料画像を表示させることで、資料等の画像を鮮明に表示させることができる。
【０００８】
ところで、近年では、ＯＨＰ装置を利用するのではなく、ＰＣでプレゼンテーション用アプリケーションを動作させ、ユーザのキー操作に応じて順次画像データに基づく画像を表示させながらプレゼンテーションを行うのが主流となりつつある。
【０００９】
このようにＰＣで動作するプレゼンテーション用アプリケーションを利用する場合、スライド画像データがページ単位で用意されているので、表示対象となるスライド画像を切り替えたタイミングを取得することができる。
【００１０】
【特許文献１】
特開平１０−５５３９１号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、従来技術では、１枚、１枚のスライド画像といった単位で切り替えて画像表示を行うプレゼンテーション用アプリケーションを利用したプレゼンテーションであれば、切り替えタイミング情報を取得することができるものの、文書作成編集（いわゆるワードプロセッサ）アプリケーションで作成された文書画像を表示させながら、説明等を行う場合には文書中のページ切り替わり等のタイミング情報を取得することができない。
【００１２】
すなわち、文書作成編集アプリケーションによって作成される文書データは、１ページといった単位でデータを切り替えて表示させるといったものではなく、１つの文書データ中に複数ページにわたる文書が含まれ、表示画面に表示させる際にはこのような複数ページにわたる文書を表示範囲を順次スクロールさせながら連続して表示させている。
【００１３】
したがって、プレゼンテーション用アプリケーションのようにページ単位で用意されたスライド画像データの表示、つまり連続しない各画像ごとの表示を行う場合にはその切り替えタイミングを取得することができるが、文書作成編集アプリケーションのような連続して画像を表示させるアプリケーションについては表示ページが切り替わったなどの画像表示状態の変動タイミング等を取得することができないのである。
【００１４】
同様に連続して画像を表示させるアプリケーションとしては、動画像データに基づく映像を再生表示させるアプリケーションがあり、このようなアプリケーションについては再生上切り替わりといった概念がなく、再生シーンが切り替わった等のアプリケーションの所定の再生状態になったタイミングを取得することができない。
【００１５】
以上のように文書データ作成編集アプリケーションなどのように連続して画像を表示させるアプリケーションによる画像表示を行わせた場合に、ページの切り替わり等、所定の表示状態のタイミングを得るためには、ユーザがスクリーンを参照しながら表示状態が所定のタイミングになったことを確認し、その時刻等をメモに記載しておくといった煩雑な操作を行わなくてはならなかった。
【００１６】
この発明は上記に鑑みてなされたもので、プレゼンテーション用アプリケーションのようにページ単位で用意された画像を個別に表示するのではなく、連続する画像表示を行うアプリケーションによる画像表示状態が所定の画像表示状態となったタイミングを自動的に取得することができるインデキシング装置、インデキシング方法およびプログラムを得ることを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、撮影装置によって撮影される、または録音装置によって録音される再現データを記録する記録手段と、ユーザ操作に応じて文書データに基づいた連続する文書画像表示機能と当該文書データの作成編集機能とを実現する文書データ作成編集アプリケーションから、文書画像表示状態を取得する状態取得手段と、前記状態取得手段によって取得された前記文書データ作成編集アプリケーションによる文書画像表示状態が、前記文書データに基づいて表示される文書画像のページの切り替わり部分が表示画面内の決められた位置に表示されるという状態となったタイミングを取得するタイミング取得手段と、前記記録手段によって記録される再現データと、前記タイミング取得手段によって取得されたタイミングにおける前記文書データ作成編集アプリケーションの動作状態とを、前記タイミング取得手段によって取得されたタイミングに基づいて時系列に対応づけるインデキシング手段と、を具備することを特徴とするインデキシング装置である。
【００１８】
請求項１にかかる発明によれば、文書データ作成編集アプリケーションによる文書画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。そして、取得したタイミングにおける文書画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような文書画像表示状態となったかがわかり、文書データ作成編集アプリケーションによって表示された文書画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となる。
【００２７】
また、請求項２にかかる発明は、インデキシング装置で実行されるインデキシング方法であって、前記インデキシング装置は、撮影装置によって撮影される、または録音装置によって録音される再現データを記録する記録手段を備え、ユーザ操作に応じて文書データに基づいた連続する文書画像表示機能と当該文書データの作成編集機能とを実現する文書データ作成編集アプリケーションから、文書画像表示状態を取得する状態取得ステップと、前記状態取得ステップで取得された前記文書データ作成編集アプリケーションによる文書画像表示状態が、前記文書データに基づいて表示される文書画像のページの切り替わり部分が表示画面内の決められた位置に表示されるという状態となったタイミングを取得するタイミング取得ステップと、前記記録手段によって記録される再現データと、前記タイミング取得ステップで取得されたタイミングにおける前記文書データ作成編集アプリケーションの動作状態とを、前記タイミング取得ステップで取得されたタイミングに基づいて時系列に対応づけるインデキシングステップと、を含むことを特徴とするインデキシング方法である。
【００２８】
請求項２にかかる発明によれば、文書データ作成編集アプリケーションによる文書画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。そして、取得したタイミングにおける文書画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような文書画像表示状態となったかがわかり、文書データ作成編集アプリケーションによって表示された文書画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となる。
【００２９】
また、請求項３にかかる発明は、請求項２に記載されたインデキシング方法をコンピュータに実行させることを特徴とするプログラムである。
【００３０】
請求項３にかかる発明によれば、プログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様、文書データ作成編集アプリケーションによる文書画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。そして、取得したタイミングにおける文書画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような文書画像表示状態となったかがわかり、文書データ作成編集アプリケーションによって表示された文書画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となる。
【００３１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるインデキシング装置、インデキシング方法およびプログラムの好適な実施の形態を詳細に説明する。
【００３２】
Ａ．実施形態
図１は、本発明の一実施形態にかかるインデキシングシステムの構成を示す図である。同図に示すように、このインデキシングシステム１００は、ＰＣ（Personal Computer）１１０と、ＰＣ（Personal Computer）１２０と、ＤＶ（Digital Video）カメラ１３０と、投影機１４０とを備える。
【００３３】
ＰＣ１１０は、プロジェクター装置等である投影機１４０とIEEE（Institute of Electrical and Electronic Engineers）1394等のインターフェースを介して接続されており、このような通信手段を介して両者間でデータの授受を行うことができるようになっている。ＰＣ１２０は、ＤＶカメラ１３０とIEEE1394等のインターフェースを介して接続されており、このような通信手段を介して両者の間でデータの授受を行うことができるようになっている。
【００３４】
また、ＰＣ１１０とＰＣ１２０とは、IEEE802.11b等の無線通信インターフェースもしくは有線通信インターフェース等を介して接続されており、両者間でデータの授受を行うことができるようになっている。
【００３５】
ＰＣ１１０の電源を投入すると、ＣＰＵが、ファイル管理、メモリ管理、入出力の管理、ユーザインターフェース等の提供を行う基本ソフトウェアであるＯＳ（Operating System）を読み出して起動し、その後ユーザが指定したアプリケーション等がＣＰＵによって外部記憶装置から読み出されて実行され、種々の機能が実現できるようになっている。
【００３６】
ＰＣ１１０の外部記憶装置には、文書データ作成編集アプリケーション（ワードプロセッサアプリケーション）、表計算アプリケーション、動画像再生アプリケーションといった種々の機能を実現するアプリケーション等が格納されている。
【００３７】
かかるＰＣ１１０において、これらのアプリケーションを起動させることで、文書データ作成編集、表計算、動画像再生といった機能を実現することができる。例えば、文書データ作成編集アプリケーション（例えば、マイクロソフト社の「word」など）によれば、ディスプレイ等に表示させながら、文書データを作成することができ、作成した文書データに基づく文書を表示させたり、紙に印刷させたりすることができる。また、表計算アプリケーション（例えば、マイクロソフト社の「excel」など）によれば、数値データの集計・分析、数値データのグラフ化等の処理が行え、集計表やグラフなどをディスプレイに表示させたり、紙に印刷させたりすることができる。また、動画像再生アプリケーションによれば、所定の形式（例えばＭＰＥＧ（Moving Pictures Experts Group）２）の動画像データを再生し、再生画像をディスプレイ等に出力表示させることができる。
【００３８】
上述したようにＰＣ１１０は、投影機１４０と接続されているので、上記のような各アプリケーションによって実現される文書、グラフ、動画像等の表示をスクリーン上になすことができる。したがって、ユーザはＰＣ１１０を適宜操作することで、スクリーン上に文書、グラフ、動画像等を表示させながら、その表示された内容について説明等を行うといったプレゼンテーションができる。
【００３９】
なお、文書データ作成編集アプリケーションによる画像表示、表計算アプリケーションによる画像表示および動画像再生アプリケーションによる画像表示は、プレンゼーテーション用のアプリケーション（例えば、マイクロソフト社の「PowerPoint」等）のようにスライド単位で画像を表示させ、ユーザ指示に応じて表示画像を切り替えるといったものではなく、ユーザの指示にしたがって一連の文書等をスクロールさせながら表示したり、映像を再生するといった連続した画像表示である。
【００４０】
したがって、上記のアプリケーションによる画像表示には、１枚、１枚用意されているスライド画像を切り替えるといった明確な区切りがない。本実施形態では、上記のように画像表示状態の明確な区切りのない場合であっても、文書データ作成編集アプリケーションによって表示される文書のページが切り替わりといった画像表示状態の変化タイミングおよび変化内容といったイベントデータを取得する機能を実現するため、ＰＣ１１０の外部記憶装置にはイベントデータ取得アプリケーションが格納されている。イベントデータ取得アプリケーションによって実現される機能の詳細については後述する。
【００４１】
一方、ＰＣ１２０の外部記憶装置にはインデキシングアプリケーションが格納されており、かかるインデキシングアプリケーションを起動することで、ＰＣ１２０においてＤＶカメラ１３０によって撮影された撮影データと、上述したＰＣ１１０で動作するイベントデータ取得アプリケーションによって取得されたイベントデータとを対応つけることができる。そして、インデキシングアプリケーションはこのような対応つけによって、ＤＶカメラ１３０によって撮影された撮影データに基づく動画像再生と、文書データ作成編集アプリケーション等によって表示された画像の表示とを同期させることができる同期再生用データを作成する。
【００４２】
次に、上記のような同期再生用データを作成する場合のインデキシングシステム１００について説明する。かかるインデキシングシステム１００を利用し、プレゼンテーション等の様子を撮影した画像等を表示させる同期再生データを作成する場合、説明者がＰＣ１１０を操作して投影機１４０によってスクリーン等に所望の画像を表示させながら説明を行い、その説明をしている様子をＤＶカメラ１３０で撮影する必要がある。また、プレゼンテーションを行う前にユーザはＰＣ１２０においてインデキシングアプリケーションを起動させ、ＰＣ１１０において文書データ編集アプリケーションとイベントデータ取得アプリケーションを起動させる。なお、ＰＣ１１０で表計算アプリケーションや動画像再生アプリケーションを起動した場合であっても同期再生用データを作成することができるが、これについては後述する。
【００４３】
そして、これらのアプリケーションをＰＣ１１０およびＰＣ１２０において起動させたときのインデキシングシステム１００の機能構成を図２に示す。以下においては、これらの構成（アプリケーション等）を動作主体として説明するが、実際の動作主体はＣＰＵ等のハードウェアである。
【００４４】
同図に示すように、このインデキシングシステム１００におけるＰＣ１１０は、キーボードやマウス等を有するユーザインターフェース（Ｉ／Ｆ）１０７と、文書データ作成編集アプリケーション４０１と、イベントデータ取得アプリケーション４０２と、文書データ作成編集アプリケーションによって作成された文書データ等を記憶するハードディスクドライブ等の記憶部１０５とを備える。
【００４５】
上述したようにＰＣ１１０における文書データ作成編集アプリケーション４０１は、ユーザインターフェース１０７を介して入力されるユーザの操作指示内容にしたがって文書データに基づく文書画像を表示させる。かかるシステムにおいては、表示画像に対応するデータがＰＣ１１０から投影機１４０（図１参照）に出力されるので、文書画像は図示せぬスクリーン上に表示されることになる。そして、ユーザが表示スクロールを指示すれば、その指示にしたがって図示せぬ画面（スクリーン）上に表示される文書がスクロールされ、ユーザはかかる複数ページ分にわたる文書画像を順次スクロール表示させながら説明等を行う。
【００４６】
すなわち、図３に示すように、文書データ作成編集アプリケーション４０１によって作成された文書データに基づいて表示される画像は、印刷時にはページごとに用紙に印刷されるものの、画像表示の際には各ページの文書は独立したものではなく連続したものである。そして、これらの文書はページごとに個別に表示されるのではなく、表示範囲に入った部分が表示され、ユーザのスクロール指示によってその表示範囲を変動させることで、文書全体を表示させることができるのである。
【００４７】
イベントデータ取得アプリケーション４０２は、画像表示状態取得部４０５と、イベントデータ記録送信部４０６とを有している。画像表示状態取得部４０５は、上記のように文書データに基づく文書画像を表示させる文書データ作成編集アプリケーション４０１による画像の表示状態を取得する。画像の表示状態とは、文書データ作成編集アプリケーション４０１によって、文書データにおけるどの位置の文書が画面（スクリーン）上のどの位置に表示されているかといった状態である。画像表示状態取得部４０５は文書データ作成編集アプリケーション４０１による画像表示状態を常時監視して取得し、これをイベントデータ記録送信部４０６に供給する。
【００４８】
ここで、画像表示状態取得部４０５は、文書データ作成編集アプリケーション４０１から供給されるアプリケーションの状態を示す情報を取得することによって、画像表示状態を取得する。
【００４９】
例えば、文書データ作成編集アプリケーションがマイクロソフト社の「word」である場合にはＯＬＥ（Object Linking and Embedding）と呼ばれる技術を利用し、文書の○○行目を表示している、フォントサイズなど種々のアプリケーション状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション４０２とＯＬＥをサポートしている文書データ作成編集アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。
【００５０】
なお、このようなＯＬＥ技術を利用して文書データ作成編集アプリケーション４０１の状態を示す情報を取得し、文書データ作成編集アプリケーション４０１による画像表示状態（文書データに対応する文書のどの位置が画面上のどの位置に表示されるかといった状態）を取得することができるが、画像表示状態の取得方法はこれに限定されるものではない。例えば、文書データ作成編集アプリケーションによる画像表示状態を、当該アプリケーションが逐一イベントデータ取得アプリケーション４０２に対して通知する処理を実行するよう構成された文書データ作成編集アプリケーションを用いるようにしてもよい。
【００５１】
イベントデータ記録送信部４０６は、画像表示状態取得部４０５から供給される画像表示状態に基づいてイベントデータを作成記録するとともに、文書データ作成編集アプリケーション４０１による画像表示を利用して行われるプレゼンテーション等が終了した旨の指示があると、記録しておいたイベントデータと、文書画像表示に用いられた文書データとをＰＣ１２０に送信するようＰＣ１１０の通信インターフェース等を制御する。
【００５２】
より具体的にはイベントデータ記録送信部４０６は図４に示すような処理を行う。まず、イベントデータ記録送信部４０６は、画像表示状態取得部４０５から画像表示状態が供給されたか否かを判別する（ステップＳａ１）。そして、画像表示状態が供給された場合には、その画像表示状態が予め設定されている画像表示状態であるか否かを判別する（ステップＳａ２）。
【００５３】
ここで、予め設定された状態とは、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の状態を設定することができるが、本実施形態においてはかかる状態として、文書データによって表示される文書のページ切り替わり部分（図３中一点差線で示す部分）が表示範囲の上端位置に表示された状態が設定されている。つまり、１ページ目と２ページ目の切り替わり部分が表示範囲の上端位置にあるということは、図３右側に示すように表示範囲には２ページ目の文書が表示されていることになる。なお、ページの切り替わり部分には、予め文書のページ設定情報で設定されている行数に文書が達したためにページが切り替わる部分や、改ページを挿入したことで設定行数に達していなくてもページが切り替わる部分も含む。
【００５４】
すなわち、イベントデータ記録送信部４０６は、ユーザのスクロール指示等にしたがって文書データ作成編集アプリケーション４０１が、文書のあるページの切り替わり部分を表示範囲の上端位置に表示させた場合、予め設定された画像表示状態となったと判別するのである。
【００５５】
このように画像表示状態が予め設定された状態となると、イベントデータ記録送信部４０６は、その画像表示状態の内容と、その表示状態となったタイミングとを含むイベントデータを作成し、作成したイベントデータを記録する（ステップＳａ３）。ここで、画像表示状態の内容とは、「ＸページとＸ＋１ページの切り替わり部分が表示上端位置に表示された」という内容であり、かかる画像表示状態内容と「０：１５」等のタイミング情報とを含むイベントデータを記録する。なお、タイミング情報は、その表示状態となった時の絶対時刻でもよいし、ユーザによる指示があった時点等の所定の開始時からの経過時間であってもよい。
【００５６】
イベントデータ記録送信部４０６は、画像表示状態取得部４０５から画像表示状態が供給される毎に以上のようなステップＳａ１〜ステップＳａ３までの処理を行い、これにより１ページ目と２ページ目の切り替わり部分が上端位置に表示されたタイミング、２ページ目と３ページ目の切り替わり部分が上端位置に表示されたタイミングといった各ページの切り替わり部分が上端位置に表示されたタイミングを取得することができ、かかるタイミングを含むイベントデータを記録することができる。
【００５７】
一方、文書データ作成編集アプリケーション４０１による画像表示を行いながらの説明等が終了し、ユーザがその旨をＰＣ１１０のユーザインターフェース１０７を介して入力すると、終了指示がイベントデータ取得アプリケーション４０２に供給される。
【００５８】
かかる終了指示があると（ステップＳａ４の判別「Ｙｅｓ」）、イベントデータ記録送信部４０６は、終了指示時刻を含む終了イベントデータを作成するとともに、今まで記録していたイベントデータをＰＣ１２０に送信するよう通信インターフェースを制御する（ステップＳａ５）。また、イベントデータ記録送信部４０６は、文書データ作成編集アプリケーション４０１によって画像表示がなされていた元となる文書データを記憶部１０５から読み出して取得し、この文書データをＰＣ１２０に送信する制御を行い、処理を終了する。
【００５９】
図２に戻り、同期再生データ作成時におけるＰＣ１２０は、録画部４１１と、インデキシングアプリケーション４１２とを備える。
【００６０】
録画部４１１は、ソフトウェアである録画アプリケーションまたはハードウェア回路によって構成されるキャプチャボード等であり、ＤＶカメラ１３０に対して撮影開始、撮影終了等の指示を行うとともに、ＤＶカメラ１３０によって撮影されてＰＣ１２０に供給される映像データを外部記憶装置に記憶（録画）する。
【００６１】
同期再生データを作成する際において、撮影開始の指示は説明者によるプレゼンテーション等の開始と同期してユーザがＰＣ１２０に対して、もしくＤＶカメラ１３０に対して直接行うようにしてもよいし、以下のように自動的にプレゼンテーション開始と同期して撮影が行われるようにしてもよい。すなわち、上述したようにイベントデータ取得アプリケーション４０２に対してユーザが開始指示を行った場合に、それをイベントデータ取得アプリケーション４０２がＰＣ１２０に通知する。そして、この通知を受けた録画部４１１がＤＶカメラ１３０に対して撮影開始指示を行うようにしてもよい。このようにすることで、ユーザは、ＰＣ１１０に対するプレゼンテーション開始の指示と、ＰＣ１２０またはＤＶカメラ１３０に対する撮影開始の指示を同時に行うといった煩雑な操作を行わなくてもよくなる。
【００６２】
また、撮影終了も上記のようにイベントデータ取得アプリケーション４０２に対するユーザの終了指示に応じて録画部４１１が自動的に行うようにしてもよいし、ユーザがプレゼンテーションが終了したときに自ら終了指示をＰＣ１２０またはＤＶカメラ１３０に対して行うようにしてもよい。
【００６３】
そして、録画部４１１は、以上のようなＤＶカメラ１３０によるプレゼンテーションの様子の撮影が終了すると、撮影開始から撮影終了までに録画したデータを映像ファイルとして外部記憶装置に記憶させ、その保存ディレクトリやファイル名等の保存個所特定情報（パス情報）をインデキシングアプリケーション４１２に通知する。
【００６４】
インデキシングアプリケーション４１２は、上述したようにプレゼンテーション等が終了した後にＰＣ１１０で動作するイベントデータ取得アプリケーション４０２から供給されるイベントデータおよび文書データと、録画部４１１によって録画された映像ファイルとに基づいて、録画映像と文書画像とを同期再生させることができる同期再生データを作成する。
【００６５】
このように画像、映像、文字等の種々の異なる形式のデータの再生を制御して同期させるデータフォーマットとしては、例えばＳＭＩＬ（Synchronized Multimedia Integration Language）形式があり、本実施形態におけるインデキシングアプリケーション４１２は同期再生データとしてかかるＳＭＩＬ形式のデータを作成する。
【００６６】
このような同期再生データをＰＣ等で所定の再生ソフトウェア（例えばＳＭＩＬ形式データを再生するソフトウェア）により再生することで、その表示画面には図５に示すような表示がなされることになる。
【００６７】
同図に示すように、この表示画面には、ＤＶカメラ１３０が撮影したプレゼンテーションの様子を表示する映像表示欄５００と、プレゼンテーション中において映像表示欄５００にその時点で表示されている映像の撮影時に表示されていた文書ページを表示する文書表示欄５１０と、このプレゼンテーションで利用された文書ページを一覧表示する目次欄５２０とが表示されるようになっている。
【００６８】
また、目次欄５２０に表示されたページ番号をマウスによってクリック等することで、そのページの文書画像が文書表示欄５１０に表示されるとともに、そのページの文書画像を表示していたときに撮影された映像が映像表示欄５００に表示されるようになっている。
【００６９】
同期再生データとは、以上のような映像、文書画像、ページ番号等の文字を同期して再生表示させることを可能とするデータであり、以下、同期再生データ作成処理の詳細について説明する。
【００７０】
まず、インデキシングアプリケーション４１２は、ＰＣ１１０のイベントデータ取得アプリケーション４０２から供給された文書データに基づき、当該文書の各ページの画像を所定の形式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）などの汎用の形式）の文書ページ表示用のデータに変換して保存する。
【００７１】
次に、インデキシングアプリケーション４１２は、イベントデータ取得アプリケーション４０２から供給されるイベントデータ、文書画像表示用データおよび録画部４１１によって作成された映像ファイルに基づいて、図５に示されるように当該映像データに基づく映像と、スライド画像ファイル中のスライド画像表示用データに基づくスライド画像と、これらのスライド画像のタイトル等の文字情報を同期して表示させることができる同期再生データを作成する。
【００７２】
上述したように本実施形態では、このような同期再生データとしてＳＭＩＬ形式のデータを作成することとしており、インデキシングアプリケーション４１２は、供給される各データから、以下のデータを取得し、これらをＳＭＩＬ形式にしたがって記述することでＳＭＩＬ形式のプレゼンテーションデータを作成する。
（１）各ページの切り替わりタイミング（開始時刻、終了時刻）
（２）各ページの文書画像表示データ（ＪＰＥＧ等）の保存場所（ファイルパス情報）
（３）各ページの文書画像表示に対応する映像ファイルの保存場所（ファイルパス情報）
（４）映像表示欄５００、文書表示欄５１０、目次欄５２０（図５参照）をどのように配置するかを示すレイアウトデータ
【００７３】
なお、（４）のレイアウト情報については、イベントデータ等の供給されるデータからではなく、ユーザが設定指示したレイアウトにしたがって作成されたデータである。
【００７４】
また、（１）の情報については、イベントデータに含まれるページの切り替わりタイミング、つまりページの切り替わり部分が表示範囲の上端位置に達したタイミングであり、例えば１ページと２ページの切り替わり部分が表示範囲の上端位置に達したタイミングが２ページの表示開始タイミングかつ１ページの表示終了タイミングとして取得される。
【００７５】
このように作成される同期再生データにおける、ページ文書画像データと映像ファイルとの同期の対応関係について図６に模式的に示す。同図に示す例では、プレゼンテーション時にユーザの文書データ作成編集アプリケーション４０１に対する操作により、最初に１ページ目の文書が表示され、その後のスクロール指示等によって１ページ目と２ページ目の切り替わり部分が表示範囲の上端位置に「１：１５」の時点で達し、２ページ目と３ページ目の切り替わり部分が表示範囲の上端位置に「２：４３」の時点で達し、３ページ目と４ページ目の切り替わり部分が表示範囲の上端位置「３：５３」の時点で達したものとする。
【００７６】
プレゼンテーション時に以上のようなタイミングで文書画像のスクロール表示が行われると、１ページ目の文書画像が表示されている間（時刻０：００〜１：１５）に撮影された映像ファイルと１ページ目の文書画像表示用データとが対応つけられ、２ページ目の文書画像が表示されている間（時刻１：１５〜２：４５）に撮影されていた映像ファイルと２ページ目の文書画像表示用データとが対応つけられ、さらに３ページ目の文書画像が表示されている間（時刻２：４５〜３：５３）に撮影された映像ファイルが３ページ目の文書画像表示用データに対応つけられる。
【００７７】
インデキシングアプリケーション４１２は、ページごとの文書画像という静止画、プレゼンテーションの様子を撮影した映像ファイルといった異なる形式のデータの再生を上記のような対応関係に基づいて制御して同期させることができるＳＭＩＬ形式のデータを作成するのである。
【００７８】
かかる同期再生データをＰＣ等で所定の再生ソフトウェアにより再生することで、その表示画面には図５に示すような表示がなされることになる。この表示を参照しているユーザが目次欄５２０の「２ページ」をクリックすれば、同期再生データにはこの表示に２ページ目の文書画像表示用データへのパスおよびこれに対応する映像ファイル（開始時刻１：１５〜）のリンクが記述されているので、再生ソフトウェアによってこれに対応する２ページ目の文書画像が文書表示欄５１０に表示されるとともに、時刻１：１５から映像ファイルの再生が開始され映像表示欄５００に表示される。また、「３ページ」をクリックすれば、３ページ目の文書画像および映像ファイル（開始時刻２：４５）へのパスがリンクされているので、上記と３ページ目の文書画像が文書表示欄５１０に表示されるとともに、映像表示欄５００には時刻２：４５からの映像ファイルの再生映像が表示される。
【００７９】
もちろん、映像表示欄５００に表示される映像の時刻をユーザが指定することで、その指定時刻に表示されていたページの文書画像を文書表示欄５１０に表示させることもできる。例えば、ユーザが２：３０からの映像再生を指示した場合には、同期再生データにしたがって再生ソフトウェアが、その時刻からの映像再生を行うとともに、指定時刻２：３０に対応つけられている２ページの文書画像（１：１５〜２：４５の映像に対応している）を読み出して文書表示欄５１０に表示させる。
【００８０】
したがって、この再生内容を視聴した視聴者は、プレゼンテーションの様子を映像表示欄５００を参照しながら、映像表示欄５００で再生されるプレゼンテーションの各々の時刻でそれぞれスクリーンに表示されていたページの文書画像を、映像表示欄５００に表示される再生映像ではなく別個に文書表示欄５１０で参照することができる。
【００８１】
上記のようにプレゼンテーション等の様子を撮影した映像（音声付）と、そのプレゼンテーションの際にスクリーン上に表示されていた文書画像とを同期させて表示させることができる同期再生データは、プレゼンテーションの様子を再現するデータとして非常に優れたものである。このような同期再生データを作成するためには、上述したようにスクリーン上に表示される文書のページの切り替わりタイミングを含むイベントデータを取得する必要がある。
【００８２】
本実施形態では、上記のようにスライド画像毎の表示用データが用意され、かかる表示用データを切り替えてスライド画像を表示させるプレゼンテーション用アプリケーションを用いずに、複数ページにわたる文書画像を表示範囲をスクロールさせながら連続して表示する文書データ作成編集アプリケーションを用いた場合であっても、その文書のページの表示切り替わりタイミングを含むイベントデータを自動的に取得することができる。
【００８３】
したがって、プレゼンテーションの発表者以外の者が、発表者がスライド画像表示を切り替えた時刻や切り替えたページ番号等を逐一メモに記載するなどの煩雑な操作を行うことなく、ページ切り替わりといった画像表示状態が発生したタイミングを含むイベントデータを自動的に取得し、上記のような同期再生データの作成に用いることができるのである。
【００８４】
Ｂ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００８５】
（変形例１）
上述した実施形態においては、ユーザが文書データ作成編集アプリケーションによって文書画像を表示させたプレゼンテーションを行った場合について説明したが、文書データ作成編集アプリケーション以外であっても、連続して画像を表示させるアプリケーション、例えば動画像再生アプリケーションや表計算アプリケーション等であっても本発明を適用することができる。
【００８６】
例えば、表計算アプリケーションによって画像を表示させながらプレゼンテーション等を行う際に本発明を適用する場合、ＰＣ１１０で動作する表計算アプリケーションによる画像表示状態をイベントデータ取得アプリケーション４０２（図２参照）が取得し、上記実施形態と同様に取得した画像表示状態が予め設定された表示状態である場合にそのタイミングを含むイベントデータを作成記録するようにすればよい（図４参照）。
【００８７】
なお、表計算アプリケーションがマイクロソフト社の「excel」である場合には上述したＯＬＥと呼ばれる技術を利用し、どのグラフや表を表示している、フォントサイズなど種々のアプリケーション状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション４０２とＯＬＥをサポートしている表計算アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。また、ＯＬＥ技術を利用せずに、予めアプリケーション状態をイベントデータ取得アプリケーション４０２に対して通知するよう構成された表計算アプリケーションを用いるようにしてもよい。
【００８８】
ここで、予め設定された状態とは、上述した実施形態と同様、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の表示状態を設定することができるが、例えば表計算アプリケーションによって作成された複数のグラフ等を表示させる表計算データによって、図７に示すように１つのグラフの全体が表示範囲に表示されるといった表示状態などを設定することができる。
【００８９】
このような状態を設定しておいた場合、ユーザのスクロール指示等によって表示状態がグラフＡの全体が表示範囲内に表示されるといった状態に至ると、イベントデータ取得アプリケーション４０２がその表示状態に至ったタイミングを取得し、かかるタイミングを含むグラフＡを表示させたというイベントデータを作成して記録する。以上のようなイベントデータ取得処理を行うことで、グラフＢが表示されると、そのタイミングを含むグラフＢを表示させたというイベントデータが記録され、グラフＣが表示されると、そのタイミングを含むグラフＣを表示させたというイベントデータが記録されることになる。
【００９０】
そして、プレゼンテーション等の終了指示があると、上記のように記録されたイベントデータがイベントデータ取得アプリケーション４０２によってＰＣ１２０に送信され、ＰＣ１２０において同期再生データを作成する際に用いられる。
【００９１】
このように表計算アプリケーションであっても、そのアプリケーションによる画像表示状態を取得し、予め決められた画像表示状態（例えば、グラフや集計表を表示させる状態）となったタイミングを取得することができ、上記実施形態と同様、同期再生データを容易に作成することができる。
【００９２】
（変形例２）
また、連続して画像を表示させる動画像再生アプリケーションによって画像を表示させながら説明等を行う際にも、本発明を適用することができる。例えば、スポーツ映像を動画像再生アプリケーションによって再生させながら、再生されているスポーツ（例えば、野球映像ならバッティングフォーム等）について解説等を行う様子をＤＶカメラ１３０で撮影する場合などがある。
【００９３】
この場合、ＰＣ１１０で動作する動画像再生アプリケーションによる画像表示状態をイベントデータ取得アプリケーション４０２（図２参照）が取得し、上記実施形態と同様に取得した画像表示状態が予め設定された表示状態である場合にそのタイミングを含むイベントデータを作成記録するようにすればよい（図４参照）。
【００９４】
動画像再生アプリケーションとしては、ＭＰＥＧ２データを再生するアプリケーション等があり、その動画像再生状態をイベントデータ取得アプリケーション４０２に対して通知するよう構成された動画像再生アプリケーションを用いるようにすればよい。
【００９５】
ここで、予め設定された状態とは、上述した実施形態と同様、デフォルトもしくはユーザの指示にしたがって設定された画像表示状態であり、種々の表示状態を設定することができるが、例えば動画像再生アプリケーションによって再生される映像のシーンの切り替わりといった状態や、動画像データが編集作業によって複数の動画像がつなぎ合わされたものである場合にはその編集による接続部分の直前または直後を再生して表示させた状態など、映像についての何らかの切り替わり部分が表示された状態を設定することができる。
【００９６】
シーンの切り替わりを取得する方法としては、動画像データ中の再生時間において隣り合うフレームの画像内容の比較し、両画像の内容が大きく異なる場合にシーン切り替えがあったと判別する方法があり、かかる方法を用いてイベントデータ取得アプリケーションがシーンの切り替わりを検出すればよい。より具体的には、フレーム画像の色、配色、エッジ、テクスチャ情報などを利用し、時間的に隣り合うフレームの各情報に示される情報の変化が予め決められた条件となった場合にシーンが切り替わったと判別するようにすればよい。
【００９７】
このような状態を設定しておいた場合、動画像再生アプリケーションによる再生画像のシーンが切り替わると、イベントデータ取得アプリケーション４０２がその切り替わりタイミングを取得し、かかるタイミングを含むイベントデータを作成して記録する。以上のようなイベントデータ取得処理を行うことで、その後シーンが切り替わると、そのタイミングを含むイベントデータが記録されることになる。
【００９８】
そして、プレゼンテーション等の終了指示があると、上記のように記録されたイベントデータがイベントデータ取得アプリケーション４０２によってＰＣ１２０に送信され、ＰＣ１２０において同期再生データを作成する際に用いられる。
【００９９】
このように動画像再生アプリケーションであっても、そのアプリケーションによる画像表示状態を取得し、予め決められた画像表示状態（例えば、シーンの切り替わり）となったタイミングを取得することができ、上記実施形態と同様、同期再生データを容易に作成することができる。
【０１００】
（変形例３）
また、上述した実施形態では、文書データ作成編集アプリケーションから、「○○行目を表示している」等のアプリケーションの状態の通知を受けてイベントデータ取得アプリケーション４０２が画像表示状態を取得するようにしていたが、文書データ作成編集アプリケーションや表計算アプリケーションに対してユーザが行った操作指示内容を取得し、かかる操作指示内容に基づいてイベントデータ取得アプリケーション４０２が文書データ作成編集アプリケーションによる画像表示状態を求めるようにしてもよい。
【０１０１】
このようにして画像表示状態を取得する場合、まずイベントデータ取得アプリケーション４０２は文書データ作成編集アプリケーションから表示している文書のページ設定情報（縦横の文字数や印刷する際の用紙サイズ等）を取得しておく。そして、文書データに基づく文書画像が最初に表示された時点（１ページ目が表示されている状態）からのユーザの操作指示内容およびページ設定情報に基づいて、表示範囲のスクロール量を求め、現在どのような範囲の文書が表示されているかという画像表示状態を判別する。
【０１０２】
例えば、図８に例示するように、ページ設定情報に示される文書１ページの行数がＸ行であり、導出した初期状態からのスクロール量が２Ｘ行に相当する場合には、その時点では３ページ目の文書が表示範囲にあるといったように画像表示状態を判別することができるのである。
【０１０３】
このようにして判別した画像表示状態が、予め設定された画像表示状態（例えば、ページの切り替わり部分が表示範囲の上端位置に達した状態）となった場合に、上記実施形態と同様イベントデータ取得アプリケーション４０２がそのタイミングを含むイベントデータを記録するといった処理を行うようにすればよい（図４参照）。
【０１０４】
以上のようにすることで、上記実施形態と同様、自動的にイベントデータを取得することができ、同期再生データを容易に作成することができる。
【０１０５】
（変形例４）
また、上述した実施形態および変形例では、ＤＶカメラ１３０による撮影を行ったプレゼンテーション等が、１つのアプリケーションによって表示された画像を参照しながら行うといったケースを想定していたが、ＤＶカメラ１３０によって撮影される１つのプレゼンテーション等において、まず文書データ作成編集アプリケーションによる画像表示を行い、次に表計算アプリケーションによるグラフ等の表示を行い、その後動画像再生アプリケーションによる動画像表示を行うといったように複数のアプリケーションによる画像表示を行った場合であっても本発明を適用することができる。
【０１０６】
すなわち、イベントデータ取得アプリケーション４０２が、上述した実施形態および変形例で説明したように各々のアプリケーションによる画像表示状態を取得し、取得した画像表示状態が各々のアプリケーションについて予め設定されている画像表示状態となった場合に、そのタイミングを含むイベントデータを記録するようにすればよい。
【０１０７】
（変形例５）
また、上述した実施形態および変形例では、プレゼンテーション等を撮影した映像データと、文書画像等といった異なる形式のデータの再生を制御して同期させることができるＳＭＩＬ形式のデータを作成していたが、プレゼンテーション等を撮影した映像データに限らず、プレゼンテーション等を録音した音声データに基づく音声再生に、上記のように取得したイベントデータを用いて文書画像等の表示を同期させる同期再生データを生成するようにしてもよい。
【０１０８】
（変形例６）
また、上述した実施形態では、インデキシングアプリケーション４１２が、イベントデータ、ページ文書画像表示用データおよび映像ファイルに基づいて、映像と文書画像とを同期して表示させることができる同期再生データとしてＳＭＩＬ形式のデータを作成するようにしていた。
【０１０９】
このように同期再生データとしてＳＭＩＬ形式のデータを作成するようにしてもよいが、ＳＭＩＬ以外のデータであっても、映像（または音声等）と、文書画像等と撮影映像といった異なる形式のデータの再生を制御して同期させることができる形式のデータであればよく、ＳＭＩＬ形式以外の形式のデータを作成するようにしてもよい。
【０１１０】
（変形例７）
また、上述した実施形態では、ＰＣ１１０において文書データ作成編集アプリケーション４０１およびイベントデータ取得アプリケーション４０２が動作し、ＰＣ１２０においてインデキシングアプリケーション４１２が動作するといったように互いにデータの授受が可能な２台のＰＣが処理を分担して同期再生データを作成するようにしていたが、単独のＰＣ等の装置で同期再生データ作成を行うようにしてもよいし、３台以上の互いにデータの授受が可能なＰＣに処理を分担させて同期再生データの作成を実現するようにしてもよい。
【０１１１】
（変形例８）
また、上述した実施形態や変形例においては、ＰＣ１１０のＣＰＵがイベントデータ取得アプリケーション４０２の機能を実現するようにしていたが、これと同じイベントデータ取得処理を、コンピュータに実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。また、上記のような処理を行う専用のハードウェア回路によって実現する装置として構成し、ユーザに提供等するようにしてもよい。
【０１１２】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、文書データ作成編集アプリケーションによる文書画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。そして、取得したタイミングにおける文書画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような文書画像表示状態となったかがわかり、文書データ作成編集アプリケーションによって表示された文書画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となるという効果を奏する。
【０１１７】
また、請求項２にかかる発明によれば、文書データ作成編集アプリケーションによる文書画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。そして、取得したタイミングにおける文書画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような文書画像表示状態となったかがわかり、文書データ作成編集アプリケーションによって表示された文書画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となるという効果を奏する。
【０１１８】
また、請求項３にかかる発明によれば、プログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様、文書データ作成編集アプリケーションによる文書画像表示状態が、文書のページの切り替わり部分が表示画面内の決められた位置に表示されるといった状態となった場合に、そのタイミングが自動的に取得される。そして、取得したタイミングにおける文書画像表示状態と、撮影等される再現データとが取得されたタイミングに基づいて対応つけられる。したがって、この対応付けを参照すれば、撮影等された映像のどのタイミングにおいてどのような文書画像表示状態となったかがわかり、文書データ作成編集アプリケーションによって表示された文書画像と、撮影等された再現データの再生とを同期させるデータ等の作成が容易となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかるインデキシングシステムの構成を示す図である。
【図２】前記インデキシングシステムの機能構成を示すブロック図である。
【図３】前記インデキシングシステムの構成要素であるＰＣで動作する文書データ作成編集アプリケーションによる文書画像表示について説明する図である。
【図４】前記インデキシングシステムの構成要素であるイベントデータ取得アプリケーションによって行われる処理の手順を示すフローチャートである。
【図５】前記インデキシングシステムによって作成された同期再生データに基づく再生画像の一例を示す図である。
【図６】映像および文書画像といった異なる形式のデータを同期再生させる前記同期再生データにおける、映像と文書画像との対応関係を模式的に示す図である。
【図７】前記インデキシングシステムによって表計算アプリケーションによる画像表示状態を取得する方法を説明するための図である。
【図８】前記インデキシングシステムの変形例において、文書データ作成編集アプリケーションによる画像表示状態を取得する手法を説明するための図である。
【符号の説明】
１００インデキシングシステム
１０５記憶部
１０７インターフェース
１０７ユーザインターフェース
１３０ＤＶカメラ
１４０投影機
４０１文書データ作成編集アプリケーション
４０２イベントデータ取得アプリケーション
４０５画像表示状態取得部
４０６イベントデータ記録送信部
４１１録画部
４１２インデキシングアプリケーション[0001]
BACKGROUND OF THE INVENTION
  This invention acquires the timing when the state of the image displayed by the application becomes a predetermined stateindexingapparatus,indexingIt relates to a method and a program.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, when a presentation is given at a meeting or the like, an explanation is made using a PC (Personal Computer) and a projector device, or an OHP (Overhead Projector) device, etc. while sequentially switching a plurality of images and displaying them on a screen or the like May be taken.
[0003]
In addition, a video camera may be used to shoot a presentation made by the above method. Then, the presentation data is reproduced by playing back the recorded data shot by the video camera.
[0004]
However, there are many cases where the image displayed on the screen cannot be clearly reproduced simply by recording the presentation including the image displayed on the screen or the like with a video camera and reproducing it.
[0005]
In addition, the presentation is generally performed in a format in which a plurality of slide images for displaying materials such as graphs, tables, and documents are sequentially displayed, and the displayed materials are explained. Therefore, in the method of simply recording and playing back the presentation as described above, when it is desired to reproduce only the explanation of the material displayed in a certain image, an operation such as fast-forwarding video playback is performed. A complicated operation such as finding a desired reproduction position must be performed.
[0006]
Therefore, a technique has been proposed in which the state of the presentation is recorded in a video, and the presenter acquires timing information for displaying each material image on the screen during the presentation (see, for example, Patent Document 1). .
[0007]
In such a technique, when reproducing a video recording the state of a presentation, by referring to the display timing information of each acquired image, when the presentation video playback time reaches the display timing of an image, the certain image is displayed. Are displayed based on the image data. Thus, by displaying the document image based on the image data prepared for displaying the document or the like separately from the recorded video, the image of the document or the like can be displayed clearly.
[0008]
In recent years, instead of using an OHP device, it is becoming mainstream to run a presentation application on a PC and perform presentation while sequentially displaying images based on image data in accordance with user key operations.
[0009]
In this way, when using a presentation application that runs on a PC, slide image data is prepared in units of pages, so that the timing at which the slide image to be displayed is switched can be acquired.
[0010]
[Patent Document 1]
JP-A-10-55391
[0011]
[Problems to be solved by the invention]
However, in the prior art, although it is possible to obtain switching timing information for a presentation using a presentation application that displays images by switching in units of one sheet or one slide image, document creation editing (so-called so-called) When a description is given while displaying a document image created by a word processor) application, timing information such as page switching in the document cannot be acquired.
[0012]
That is, the document data created by the document creation / editing application is not to be displayed by switching data in units of one page, but when one document data includes a document covering a plurality of pages and is displayed on the display screen. In such a document, a document extending over a plurality of pages is continuously displayed while the display range is sequentially scrolled.
[0013]
Therefore, when displaying slide image data prepared in units of pages as in a presentation application, that is, when displaying each non-consecutive image, the switching timing can be obtained. For an application that continuously displays images, it is impossible to acquire the timing of changing the image display state such as when the display page is switched.
[0014]
Similarly, applications that continuously display images include applications that reproduce and display video based on moving image data. Such applications do not have a concept of switching on playback, and applications such as switching of playback scenes can be used. The timing when the predetermined playback state is reached cannot be acquired.
[0015]
As described above, when image display is performed by an application that continuously displays images, such as a document data creation / editing application, in order to obtain a predetermined display state timing such as page switching, the user must It was necessary to perform complicated operations such as confirming that the display state reached a predetermined timing while referring to the screen, and writing the time in a memo.
[0016]
  The present invention has been made in view of the above, and does not individually display images prepared in units of pages as in a presentation application, but an image display state by an application that performs continuous image display is a predetermined image display. It is possible to automatically acquire the timing when it becomes a stateindexingapparatus,indexingThe object is to obtain a method and a program.
[0017]
[Means for Solving the Problems]
  In order to achieve the above object, the invention according to claim 1Recording means for recording reproduction data shot by a shooting device or recorded by a recording device, a continuous document image display function based on document data, and a function for creating and editing the document data in response to a user operation Based on the document data, a state acquisition unit that acquires a document image display state from the document data creation / editing application and a document image display state by the document data creation / editing application acquired by the state acquisition unit are displayed. Timing acquisition means for acquiring timing when a page switching portion of a document image is displayed at a predetermined position in the display screen, reproduction data recorded by the recording means, and timing acquisition means Document data creation and editing at the timing of acquisition And the operation state of the application, a indexing apparatus characterized by comprising: a indexing means to be associated with the time series based on the acquired timing by the timing acquisition means.
[0018]
  According to the invention of claim 1,When the document image display state by the document data creation / editing application is such that the page switching portion of the document is displayed at a predetermined position in the display screen, the timing is automatically acquired. Then, the document image display state at the acquired timing and the reproduction data to be photographed are associated with each other based on the acquired timing. Therefore, by referring to this correspondence, it is possible to know what document image display state is reached at which timing of the captured video, the document image displayed by the document data creation / editing application, and the reproduced data captured. This makes it easy to create data that synchronizes with the playback of data.
[0027]
  Claims2The invention according toAn indexing method executed by an indexing device, the indexing device comprising recording means for recording reproduction data that is imaged by an imaging device or recorded by a recording device,According to user operationdocumentsBased on dataConsecutive documentsImage displayFunction and document data creation and editing functionRealizeDocument data creation and editingapplicationFrom the documentAcquired in the state acquisition step of acquiring the image display state and the state acquisition stepDocument by the document data creation / editing applicationThe image display state isThe page switching portion of the document image displayed based on the document data is displayed at a predetermined position on the display screen.A timing acquisition step for acquiring the timing when the state is reached;The reproduction data recorded by the recording means and the operation state of the document data creation / editing application at the timing acquired in the timing acquisition step correspond to the time series based on the timing acquired in the timing acquisition step. Indexing stepTheIncludeIt is characterized byIndexing methodIt is.
[0028]
  Claim2According to the invention concerningWhen the document image display state by the document data creation / editing application is such that the page switching portion of the document is displayed at a predetermined position in the display screen, the timing is automatically acquired. Then, the document image display state at the acquired timing and the reproduction data to be photographed are associated with each other based on the acquired timing. Therefore, by referring to this correspondence, it is possible to know what document image display state is reached at which timing of the captured video, the document image displayed by the document data creation / editing application, and the reproduced data captured. This makes it easy to create data that synchronizes with the playback of data.
[0029]
  Claims3The invention according toA computer is caused to execute the indexing method according to claim 2.It is a program.
[0030]
  Claim3According to the invention of the first aspect, by causing a computer to execute a program,When the document image display state by the document data creation / editing application is such that the page switching portion of the document is displayed at a predetermined position in the display screen, the timing is automatically acquired. Then, the document image display state at the acquired timing and the reproduction data to be photographed are associated with each other based on the acquired timing. Therefore, by referring to this correspondence, it is possible to know what document image display state is reached at which timing of the captured video, the document image displayed by the document data creation / editing application, and the reproduced data captured. This makes it easy to create data that synchronizes with the playback of data.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
  The present invention will be described below with reference to the accompanying drawings.indexingapparatus,indexingA preferred embodiment of the method and program will be described in detail.
[0032]
A. Embodiment
FIG. 1 is a diagram showing a configuration of an indexing system according to an embodiment of the present invention. As shown in the figure, the indexing system 100 includes a PC (Personal Computer) 110, a PC (Personal Computer) 120, a DV (Digital Video) camera 130, and a projector 140.
[0033]
The PC 110 is connected to the projector 140, which is a projector device, etc. via an interface such as IEEE (Institute of Electrical and Electronic Engineers) 1394, and exchanges data between them via such communication means. Can be done. The PC 120 is connected to the DV camera 130 via an interface such as IEEE1394, and can exchange data between them via such communication means.
[0034]
The PC 110 and the PC 120 are connected via a wireless communication interface such as IEEE802.11b or a wired communication interface, and can exchange data between the two.
[0035]
When the PC 110 is turned on, the CPU reads and starts an OS (Operating System), which is basic software for providing file management, memory management, input / output management, user interface, and the like, and then an application specified by the user Are read from the external storage device and executed by the CPU, and various functions can be realized.
[0036]
The external storage device of the PC 110 stores applications that realize various functions such as a document data creation / editing application (word processor application), a spreadsheet application, and a moving image reproduction application.
[0037]
In the PC 110, by starting up these applications, functions such as document data creation / editing, spreadsheet, and moving image reproduction can be realized. For example, according to a document data creation / editing application (for example, “word” of Microsoft Corporation), document data can be created while being displayed on a display or the like, a document based on the created document data can be displayed, It can be printed on paper. In addition, according to spreadsheet applications (for example, Microsoft's “excel”, etc.), numerical data can be aggregated / analyzed, numerical data graphed, etc., and aggregated tables and graphs can be displayed on the display, It can be printed on paper. Further, according to the moving image reproduction application, it is possible to reproduce moving image data in a predetermined format (for example, MPEG (Moving Pictures Experts Group) 2) and output and display the reproduced image on a display or the like.
[0038]
As described above, since the PC 110 is connected to the projector 140, it is possible to display on the screen a document, a graph, a moving image, and the like realized by each application as described above. Accordingly, by appropriately operating the PC 110, the user can make a presentation such as explaining the displayed content while displaying a document, a graph, a moving image, or the like on the screen.
[0039]
Note that image display by the document data creation / editing application, image display by the spreadsheet application, and image display by the moving image playback application are performed in units of slides as in the application for presentation (for example, “PowerPoint” of Microsoft Corporation). Instead of displaying an image and switching the display image in accordance with a user instruction, it is a continuous image display in which a series of documents or the like are scrolled and displayed in accordance with a user instruction.
[0040]
Therefore, the image display by the above application does not have a clear demarcation such as switching between one slide image and one slide image. In the present embodiment, even when there is no clear division of the image display state as described above, an event such as a change timing and a change content of the image display state such as switching of a document page displayed by the document data creation / editing application. In order to realize the function of acquiring data, an event data acquisition application is stored in the external storage device of the PC 110. Details of functions realized by the event data acquisition application will be described later.
[0041]
On the other hand, an indexing application is stored in the external storage device of the PC 120. By starting the indexing application, the image data captured by the DV camera 130 on the PC 120 and the event data acquisition application operating on the PC 110 described above are used. The acquired event data can be associated. Then, the indexing application can synchronize the moving image reproduction based on the photographing data photographed by the DV camera 130 and the display of the image displayed by the document data creation / editing application or the like by such association. Create data.
[0042]
Next, the indexing system 100 in the case of creating the synchronous reproduction data as described above will be described. When using the indexing system 100 to create synchronized playback data for displaying an image of a presentation or the like, the explainer operates the PC 110 to display a desired image on the screen or the like by the projector 140. It is necessary to explain and to take a picture of the explanation with the DV camera 130. Further, before the presentation, the user activates the indexing application on the PC 120 and activates the document data editing application and the event data acquisition application on the PC 110. Note that data for synchronous reproduction can be created even when a spreadsheet application or a moving image reproduction application is activated on the PC 110, which will be described later.
[0043]
FIG. 2 shows a functional configuration of the indexing system 100 when these applications are activated on the PC 110 and the PC 120. In the following description, these configurations (applications and the like) will be described as the operation subject, but the actual operation subject is hardware such as a CPU.
[0044]
As shown in the figure, the PC 110 in the indexing system 100 includes a user interface (I / F) 107 having a keyboard and a mouse, a document data creation / edit application 401, an event data acquisition application 402, and a document data creation / edit. And a storage unit 105 such as a hard disk drive for storing document data and the like created by the application.
[0045]
As described above, the document data creation / edit application 401 in the PC 110 displays a document image based on the document data in accordance with the contents of the user operation instruction input via the user interface 107. In such a system, data corresponding to the display image is output from the PC 110 to the projector 140 (see FIG. 1), so that the document image is displayed on a screen (not shown). If the user instructs display scrolling, the document displayed on a screen (screen) (not shown) is scrolled according to the instruction, and the user explains the document image while sequentially scrolling and displaying the document images over a plurality of pages. Do.
[0046]
That is, as shown in FIG. 3, an image displayed based on the document data created by the document data creation / edit application 401 is printed on paper for each page when printing, but each page is displayed when displaying an image. These documents are not independent but continuous. These documents are not displayed individually for each page, but a portion that falls within the display range is displayed, and the entire document can be displayed by changing the display range according to a user's scroll instruction. It is.
[0047]
The event data acquisition application 402 includes an image display state acquisition unit 405 and an event data recording / transmission unit 406. The image display state acquisition unit 405 acquires the display state of the image by the document data creation / edit application 401 that displays the document image based on the document data as described above. The image display state is a state in which the document data creation / editing application 401 is displaying which position in the document data is displayed on which screen (screen). The image display state acquisition unit 405 constantly monitors and acquires the image display state by the document data creation / edit application 401 and supplies it to the event data recording / transmission unit 406.
[0048]
Here, the image display state acquisition unit 405 acquires the image display state by acquiring information indicating the state of the application supplied from the document data creation / edit application 401.
[0049]
For example, if the document data creation / editing application is Microsoft's “word”, a technology called OLE (Object Linking and Embedding) is used to display the XX line of the document, various font sizes, etc. Information indicating the application state can be acquired. In this case, information indicating the application state as described above is acquired by calling a function so that data can be exchanged between the event data acquisition application 402 and the document data creation / editing application that supports OLE. be able to.
[0050]
Information indicating the state of the document data creation / edit application 401 is acquired using such OLE technology, and the image display state (which position of the document corresponding to the document data is displayed on the screen) by the document data creation / edit application 401 is acquired. The state in which the image display state is displayed can be acquired, but the method for acquiring the image display state is not limited to this. For example, a document data creation / editing application configured to execute a process in which the application displays the image display state of the document data creation / editing application to the event data acquisition application 402 one by one may be used.
[0051]
The event data recording / transmission unit 406 creates and records event data based on the image display state supplied from the image display state acquisition unit 405, and performs a presentation or the like performed using the image display by the document data creation / edit application 401. When there is an instruction to the effect, the communication interface of the PC 110 is controlled so that the recorded event data and the document data used for displaying the document image are transmitted to the PC 120.
[0052]
More specifically, the event data recording / transmission unit 406 performs processing as shown in FIG. First, the event data recording / transmission unit 406 determines whether an image display state is supplied from the image display state acquisition unit 405 (step Sa1). When the image display state is supplied, it is determined whether or not the image display state is a preset image display state (step Sa2).
[0053]
Here, the preset state is an image display state set according to a default or a user instruction, and various states can be set. In this embodiment, such a state is determined by document data. A state is set in which a page switching portion of the document to be displayed (portion indicated by a one-dot chain line in FIG. 3) is displayed at the upper end position of the display range. That is, the fact that the switching portion between the first page and the second page is at the upper end position of the display range means that the second page document is displayed in the display range as shown on the right side of FIG. It should be noted that the page switching portion may include a portion where the page has been switched because the document has reached the number of lines set in advance in the page setting information of the document, or even if the set number of rows has not been reached by inserting a page break. Also includes the part where the page changes.
[0054]
In other words, the event data recording / transmission unit 406 displays a preset image display when the document data creation / edit application 401 displays a page switching portion of a document at the upper end position of the display range in accordance with a user's scroll instruction or the like. It is determined that the state has been reached.
[0055]
When the image display state is set in advance as described above, the event data recording / transmission unit 406 creates event data including the content of the image display state and the timing when the display state is reached, and the created event Data is recorded (step Sa3). Here, the content of the image display state is the content that “the switching portion between the X page and the X + 1 page is displayed at the upper end position of the display”, and such image display state content and timing information such as “0:15” Record event data including Note that the timing information may be an absolute time when the display state is reached, or may be an elapsed time from a predetermined start time such as when a user gives an instruction.
[0056]
The event data recording / transmission unit 406 performs the processing from step Sa1 to step Sa3 as described above every time the image display state is supplied from the image display state acquisition unit 405, thereby switching between the first page and the second page. The timing at which the switching portion of each page is displayed at the upper end position, such as the timing at which the portion is displayed at the upper end position, the timing at which the switching portion of the second page and the third page is displayed at the upper end position, can be obtained. Event data including timing can be recorded.
[0057]
On the other hand, when the description while displaying the image by the document data creation / edit application 401 is finished and the user inputs that fact via the user interface 107 of the PC 110, an end instruction is supplied to the event data acquisition application 402.
[0058]
When there is such an end instruction (determination “Yes” in step Sa4), the event data recording / transmitting unit 406 creates end event data including the end instruction time and transmits the event data recorded so far to the PC 120. The communication interface is controlled (step Sa5). The event data recording / transmission unit 406 performs control to read out and acquire the original document data that has been displayed by the document data creation / editing application 401 from the storage unit 105 and transmit the document data to the PC 120. The process ends.
[0059]
Returning to FIG. 2, the PC 120 at the time of creating synchronized playback data includes a recording unit 411 and an indexing application 412.
[0060]
The recording unit 411 is a capture board or the like configured by a recording application that is software or a hardware circuit. The recording unit 411 instructs the DV camera 130 to start shooting, ends shooting, and the like, and is shot by the DV camera 130 and shot by the PC 120. Is stored (recorded) in an external storage device.
[0061]
When creating the synchronized playback data, the user may give an instruction to start shooting to the PC 120 or directly to the DV camera 130 in synchronization with the start of the presentation or the like by the presenter. As described above, shooting may be automatically performed in synchronization with the start of the presentation. That is, as described above, when the user gives a start instruction to the event data acquisition application 402, the event data acquisition application 402 notifies the PC 120 of this. Then, the recording unit 411 that has received this notification may instruct the DV camera 130 to start shooting. In this way, the user does not have to perform a complicated operation such as simultaneously giving an instruction to start presentation to the PC 110 and an instruction to start shooting to the PC 120 or the DV camera 130.
[0062]
Further, the end of shooting may be automatically performed by the recording unit 411 in response to the user's end instruction to the event data acquisition application 402 as described above. Alternatively, it may be performed on the DV camera 130.
[0063]
When the recording of the presentation state by the DV camera 130 is completed as described above, the recording unit 411 stores the data recorded from the start of shooting to the end of shooting in the external storage device as a video file, and the save directory and file The storage location specifying information (path information) such as the name is notified to the indexing application 412.
[0064]
The indexing application 412 performs recording based on the event data and document data supplied from the event data acquisition application 402 operating on the PC 110 after the presentation or the like is finished as described above, and the video file recorded by the recording unit 411. Synchronized reproduction data that can synchronize and reproduce video and document images is created.
[0065]
As a data format that controls and synchronizes the reproduction of various different types of data such as images, videos, characters, and the like in this way, for example, there is a SMIL (Synchronized Multimedia Integration Language) format, and the indexing application 412 in this embodiment is synchronized. Such SMIL format data is created as reproduction data.
[0066]
By reproducing such synchronous reproduction data with a predetermined reproduction software (for example, software for reproducing SMIL format data) on a PC or the like, a display as shown in FIG. 5 is made on the display screen.
[0067]
As shown in the figure, this display screen includes a video display field 500 for displaying the state of the presentation taken by the DV camera 130, and during the shooting of the video currently displayed in the video display field 500 during the presentation. A document display field 510 for displaying the displayed document page and a table of contents field 520 for displaying a list of document pages used in this presentation are displayed.
[0068]
In addition, when the page number displayed in the table of contents column 520 is clicked with the mouse, the document image of the page is displayed in the document display column 510 and is taken when the document image of the page is displayed. The video is displayed in the video display column 500.
[0069]
The synchronized playback data is data that enables the above-described characters such as video, document image, and page number to be played back and displayed in synchronization. Details of the synchronized playback data creation processing will be described below.
[0070]
First, based on the document data supplied from the event data acquisition application 402 of the PC 110, the indexing application 412 converts an image of each page of the document into a predetermined format (for example, a general-purpose format such as JPEG (Joint Photographic Experts Group)). Convert to document page display data and save.
[0071]
Next, based on the event data supplied from the event data acquisition application 402, the document image display data, and the video file created by the recording unit 411, the indexing application 412 converts the video data into the video data as shown in FIG. Synchronous reproduction data that can synchronize and display the video based on the slide image based on the slide image display data in the slide image file and the character information such as the title of these slide images is created.
[0072]
As described above, in the present embodiment, data in the SMIL format is created as such synchronized playback data, and the indexing application 412 acquires the following data from each supplied data, and stores these data in the SMIL format. SMIL format presentation data is created by writing according to the above.
(1) Switching timing of each page (start time, end time)
(2) Storage location (file path information) of document image display data (JPEG, etc.) of each page
(3) Storage location (file path information) of the video file corresponding to the document image display of each page
(4) Layout data indicating how to arrange the video display column 500, the document display column 510, and the table of contents column 520 (see FIG. 5).
[0073]
Note that the layout information (4) is not generated from supplied data such as event data, but is generated according to a layout instructed by the user.
[0074]
The information (1) is the switching timing of the page included in the event data, that is, the timing when the switching portion of the page reaches the upper end position of the display range. For example, the switching portion between the first page and the second page is the display range. The timing at which the upper end position is reached is acquired as the display start timing of page 2 and the display end timing of page 1.
[0075]
FIG. 6 schematically shows the correspondence relationship between the page document image data and the video file in the synchronous reproduction data thus created. In the example shown in the figure, the first page document is first displayed by the user's operation on the document data creation / editing application 401 at the time of presentation, and the switching portion of the first page and the second page is displayed by a subsequent scroll instruction or the like. The upper end position of the range is reached at “1:15”, and the switching portion of the second and third pages reaches the upper end position of the display range at the time of “2:43”, and the third and fourth pages are reached. It is assumed that the switching portion has reached the upper end position “3:53” of the display range.
[0076]
When the scroll display of the document image is performed at the timing as described above during the presentation, the video file and the first page shot while the document image of the first page is displayed (time 0:00 to 1:15). Is associated with the document image display data of the second page, and the video file captured while the document image of the second page is displayed (time 1:15 to 2:45) and the document image of the second page are displayed. The video file shot while the document image of the third page is displayed (time 2:45 to 3:53) is associated with the document image display data of the third page. .
[0077]
The indexing application 412 can control and synchronize the reproduction of data in different formats such as a still image as a document image for each page and a video file in which a presentation is captured based on the correspondence as described above. Create data.
[0078]
By reproducing such synchronous reproduction data with a predetermined reproduction software on a PC or the like, a display as shown in FIG. 5 is made on the display screen. If the user referring to this display clicks “page 2” in the table of contents column 520, the synchronized playback data includes the path to the document image display data on the second page and the video file corresponding thereto (see FIG. Since the link at the start time 1: 15-) is described, the document image of the second page corresponding to the link is displayed in the document display field 510 by the playback software, and the video file is played back from the time 1:15. It is started and displayed in the video display field 500. If “page 3” is clicked, the path to the document image and video file of the third page (start time 2:45) is linked. In the video display field 500, the playback video of the video file from time 2:45 is displayed.
[0079]
Of course, when the user designates the time of the video displayed in the video display column 500, the document image of the page displayed at the designated time can also be displayed in the document display column 510. For example, when the user instructs video playback from 2:30, the playback software performs video playback from that time according to the synchronized playback data, and two pages corresponding to the specified time 2:30 Document images (corresponding to images of 1:15 to 2:45) are read out and displayed in the document display field 510.
[0080]
Therefore, the viewer who has viewed the playback content refers to the document image of the page displayed on the screen at each time of the presentation played back in the video display column 500 while referring to the video display column 500 for the state of the presentation. Can be referred to separately in the document display column 510 instead of the reproduced video displayed in the video display column 500.
[0081]
Synchronized playback data that can be displayed in synchronization with the video (with audio) that captured the state of the presentation as described above and the document image displayed on the screen at the time of the presentation is the state of the presentation It is very excellent as data for reproducing. In order to create such synchronous reproduction data, it is necessary to acquire event data including the page switching timing of the document displayed on the screen as described above.
[0082]
In this embodiment, display data for each slide image is prepared as described above, and the display range of a document image spanning multiple pages is scrolled without using a presentation application that switches the display data and displays the slide image. Even in the case of using a document data creation / editing application that displays images continuously, event data including the display switching timing of the page of the document can be automatically acquired.
[0083]
Therefore, a person other than the presenter of the presentation can change the image display state such as page switching without performing complicated operations such as writing the time at which the presenter switched the slide image display, the page number to be switched, etc., one by one. Event data including the timing at which it occurred can be automatically acquired and used to create the synchronized playback data as described above.
[0084]
B. Modified example
In addition, this invention is not limited to embodiment mentioned above, Various deformation | transformation which is illustrated below is possible.
[0085]
(Modification 1)
In the above-described embodiment, the case where the user gave a presentation in which a document image is displayed by the document data creation / editing application has been described. However, an application that continuously displays images even if the application is not a document data creation / editing application. For example, the present invention can be applied to a moving image reproduction application, a spreadsheet application, and the like.
[0086]
For example, when the present invention is applied when a presentation is performed while displaying an image by a spreadsheet application, the event data acquisition application 402 (see FIG. 2) acquires the image display state by the spreadsheet application operating on the PC 110, Similar to the above embodiment, when the acquired image display state is a preset display state, event data including the timing may be created and recorded (see FIG. 4).
[0087]
When the spreadsheet application is Microsoft's “excel”, the above-described technology called OLE is used to acquire information indicating various graphs and tables, and various application states such as font size. be able to. In this case, information indicating the application state as described above can be acquired by calling a function so that data can be exchanged between the event data acquisition application 402 and a spreadsheet application that supports OLE. it can. In addition, a spreadsheet application configured to notify the event data acquisition application 402 in advance of the application state without using the OLE technology may be used.
[0088]
Here, the preset state is an image display state set according to a default or a user instruction as in the above-described embodiment, and various display states can be set. For example, a spreadsheet application As shown in FIG. 7, it is possible to set a display state such that the entire one graph is displayed in the display range by the spreadsheet data for displaying a plurality of graphs and the like created by the above.
[0089]
When such a state is set, when the display state reaches a state where the entire graph A is displayed within the display range by a user's scroll instruction or the like, the event data acquisition application 402 reaches the display state. Event data indicating that the graph A including the timing is displayed is created and recorded. By performing the event data acquisition process as described above, when the graph B is displayed, event data indicating that the graph B including the timing is displayed is recorded, and when the graph C is displayed, the timing is included. Event data indicating that the graph C is displayed is recorded.
[0090]
When there is an instruction to end a presentation or the like, the event data recorded as described above is transmitted to the PC 120 by the event data acquisition application 402 and used when the PC 120 creates synchronized reproduction data.
[0091]
Thus, even a spreadsheet application can acquire the image display state by the application and acquire the timing when the image display state is determined in advance (for example, a state in which a graph or a summary table is displayed). Similarly to the above embodiment, the synchronous reproduction data can be easily created.
[0092]
(Modification 2)
The present invention can also be applied to the description and the like while displaying images by a moving image reproduction application that continuously displays images. For example, there is a case where a DV camera 130 shoots a situation in which a sports video is being played by a moving image playback application and commentary on the sports being played (for example, a batting form for a baseball video) is performed.
[0093]
In this case, the event data acquisition application 402 (see FIG. 2) acquires the image display state by the moving image playback application operating on the PC 110, and the acquired image display state is a preset display state in the same manner as in the above embodiment. In some cases, event data including the timing may be created and recorded (see FIG. 4).
[0094]
Examples of the moving image reproduction application include an application for reproducing MPEG2 data, and a moving image reproduction application configured to notify the event data acquisition application 402 of the moving image reproduction state may be used.
[0095]
Here, the preset state is an image display state set according to a default or a user instruction, as in the above-described embodiment, and various display states can be set. If the application is in a state of switching scenes of the video to be played back, or if the moving image data is a combination of multiple moving images due to editing work, the immediately preceding or immediately following the connected part by editing is played back and displayed. It is possible to set a state in which some switching portion about the video is displayed.
[0096]
As a method of acquiring the scene change, there is a method of comparing the image contents of adjacent frames at the reproduction time in the moving image data, and determining that the scene change has occurred when the contents of both images are greatly different. The event data acquisition application may detect a scene change using. More specifically, when a change in information shown in each piece of information of temporally adjacent frames becomes a predetermined condition using the color, color scheme, edge, texture information, etc. of the frame image, the scene is What is necessary is just to discriminate | determine that it switched.
[0097]
When such a state is set, when the scene of the playback image switched by the moving image playback application is switched, the event data acquisition application 402 acquires the switching timing, and creates and records event data including the timing. . By performing the event data acquisition process as described above, when the scene is subsequently switched, event data including the timing is recorded.
[0098]
When there is an instruction to end a presentation or the like, the event data recorded as described above is transmitted to the PC 120 by the event data acquisition application 402 and used when the PC 120 creates synchronized reproduction data.
[0099]
As described above, even in the case of a moving image playback application, the image display state by the application can be acquired, and the timing at which a predetermined image display state (for example, scene switching) is obtained can be acquired. Similarly to the above, synchronous reproduction data can be easily created.
[0100]
(Modification 3)
In the above-described embodiment, the event data acquisition application 402 acquires the image display state upon receiving a notification of the application state such as “displaying the XX line” from the document data creation / editing application. However, the contents of the operation instruction given by the user to the document data creation / editing application or the spreadsheet application are acquired, and the event data acquisition application 402 displays the image display state by the document data creation / editing application based on the contents of the operation instruction. You may make it ask.
[0101]
When acquiring the image display state in this way, the event data acquisition application 402 first acquires the page setting information (the number of characters in the length and width, the paper size for printing, etc.) of the document being displayed from the document data creation and editing application. Keep it. Then, the scroll amount of the display range is obtained based on the user operation instruction content and the page setting information from the time when the document image based on the document data is first displayed (the state where the first page is displayed). An image display state indicating what range of document is displayed is determined.
[0102]
For example, as illustrated in FIG. 8, when the number of lines of one page of the document indicated in the page setting information is X lines, and the scroll amount from the derived initial state corresponds to 2X lines, 3 at that time The image display state can be determined such that the document of the page is in the display range.
[0103]
When the image display state thus determined becomes a preset image display state (for example, a state where the page switching portion has reached the upper end position of the display range), event data acquisition is performed as in the above embodiment. The application 402 may perform processing such as recording event data including the timing (see FIG. 4).
[0104]
As described above, event data can be automatically acquired as in the above embodiment, and synchronous reproduction data can be easily created.
[0105]
(Modification 4)
In the above-described embodiment and modification, it is assumed that a presentation or the like shot by the DV camera 130 is performed while referring to an image displayed by one application. In one presentation, etc., a plurality of applications such as first displaying an image by a document data creation and editing application, then displaying a graph by a spreadsheet application, and then displaying a moving image by a moving image reproduction application. The present invention can be applied even when the image is displayed by the above.
[0106]
That is, the event data acquisition application 402 acquires the image display state of each application as described in the above-described embodiments and modifications, and the acquired image display state is set in advance for each application. In such a case, event data including the timing may be recorded.
[0107]
(Modification 5)
In the above-described embodiment and modification, the SMIL format data that can synchronize by controlling the reproduction of the video data obtained by shooting the presentation and the data of different formats such as the document image is created. Synchronized playback data that synchronizes the display of document images etc. using the event data acquired as described above for audio playback based on audio data that recorded the presentation etc. is not limited to video data that captured the presentation etc. It may be.
[0108]
(Modification 6)
In the above-described embodiment, the indexing application 412 uses the SMIL format as synchronous reproduction data that can display the video and the document image in synchronization based on the event data, the page document image display data, and the video file. I was trying to create data.
[0109]
As described above, data in the SMIL format may be created as the synchronized playback data. However, even in the case of data other than SMIL, data in different formats such as video (or audio), document image, etc. Data in a format that can be synchronized by controlling reproduction may be used, and data in a format other than the SMIL format may be created.
[0110]
(Modification 7)
In the above-described embodiment, the document data creation / edit application 401 and the event data acquisition application 402 operate on the PC 110, and the indexing application 412 operates on the PC 120. However, it is also possible to create synchronized playback data using a single device such as a PC, or to process three or more PCs that can exchange data with each other. It is also possible to realize generation of synchronized reproduction data by sharing the above.
[0111]
(Modification 8)
In the above-described embodiment and modification, the CPU of the PC 110 realizes the function of the event data acquisition application 402. However, a program for causing a computer to execute the same event data acquisition process is executed on the Internet. The program may be provided to the user via a communication line such as, or the program may be recorded on a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) and provided to the user. May be. Further, it may be configured as a device realized by a dedicated hardware circuit that performs the above-described processing, and may be provided to the user.
[0112]
【The invention's effect】
  As described above, according to the invention of claim 1,When the document image display state by the document data creation / editing application is such that the page switching portion of the document is displayed at a predetermined position in the display screen, the timing is automatically acquired. Then, the document image display state at the acquired timing and the reproduction data to be photographed are associated with each other based on the acquired timing. Therefore, by referring to this correspondence, it is possible to know what document image display state is reached at which timing of the captured video, the document image displayed by the document data creation / editing application, and the reproduced data captured. It is easy to create data that synchronizes playback withThere is an effect.
[0117]
  Claims2According to the invention concerningWhen the document image display state by the document data creation / editing application is such that the page switching portion of the document is displayed at a predetermined position in the display screen, the timing is automatically acquired. Then, the document image display state at the acquired timing and the reproduction data to be photographed are associated with each other based on the acquired timing. Therefore, by referring to this correspondence, it is possible to know what document image display state is reached at which timing of the captured video, the document image displayed by the document data creation / editing application, and the reproduced data captured. It is easy to create data that synchronizes playback withThere is an effect.
[0118]
  Claims3According to the invention of the first aspect, by causing a computer to execute a program,When the document image display state by the document data creation / editing application is such that the page switching portion of the document is displayed at a predetermined position in the display screen, the timing is automatically acquired. Then, the document image display state at the acquired timing and the reproduction data to be photographed are associated with each other based on the acquired timing. Therefore, by referring to this correspondence, it is possible to know what document image display state is reached at which timing of the captured video, the document image displayed by the document data creation / editing application, and the reproduced data captured. It is easy to create data that synchronizes playback withThere is an effect.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an indexing system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a functional configuration of the indexing system.
FIG. 3 is a diagram illustrating document image display by a document data creation / editing application operating on a PC that is a component of the indexing system.
FIG. 4 is a flowchart showing a procedure of processing performed by an event data acquisition application that is a component of the indexing system.
FIG. 5 is a diagram showing an example of a reproduction image based on synchronous reproduction data created by the indexing system.
FIG. 6 is a diagram schematically showing a correspondence relationship between a video and a document image in the synchronous reproduction data for synchronously reproducing data of different formats such as a video and a document image.
FIG. 7 is a diagram for explaining a method of acquiring an image display state by a spreadsheet application by the indexing system.
FIG. 8 is a diagram for explaining a method of acquiring an image display state by a document data creation / edit application in a modification of the indexing system.
[Explanation of symbols]
100 indexing system
105 Storage unit
107 interface
107 User interface
130 DV camera
140 Projector
401 Document data creation and editing application
402 Event data acquisition application
405 Image display state acquisition unit
406 Event data recording / transmission unit
411 Recording unit
412 Indexing application

Claims

Recording means for recording reproduction data photographed by a photographing device or recorded by a recording device;
State acquisition means for acquiring a document image display state from a document data creation / editing application that realizes a continuous document image display function based on document data and a creation / editing function of the document data in accordance with a user operation;
The document image display state by the document data creation / editing application acquired by the state acquisition means is displayed at a predetermined position in the display screen of the page switching portion of the document image displayed based on the document data. Timing acquisition means for acquiring the timing of the state,
The reproduction data recorded by the recording unit and the operation state of the document data creation / editing application at the timing acquired by the timing acquisition unit are associated in time series based on the timing acquired by the timing acquisition unit. Indexing means ;
An indexing device comprising:

An indexing method executed by an indexing device,
The indexing device is
Comprising recording means for recording reproduction data photographed by a photographing device or recorded by a recording device;
A state acquisition step of acquiring a document image display state from a document data creation / editing application that realizes a continuous document image display function based on document data and a creation / editing function of the document data in accordance with a user operation;
The document image display state by the document data creation / editing application acquired in the state acquisition step is displayed at a predetermined position in the display screen of the page switching portion of the document image displayed based on the document data. A timing acquisition step for acquiring the timing of the state ,
The reproduction data recorded by the recording unit and the operation state of the document data creation / editing application at the timing acquired in the timing acquisition step are associated in time series based on the timing acquired in the timing acquisition step. Indexing step,
An indexing method comprising :

A program for causing a computer to execute the indexing method according to claim 2 .