JP4549325B2 - 映像情報インデキシング支援装置、プログラム及び記憶媒体 - Google Patents

Description

本発明は、映像情報のインデキシングを支援する映像情報インデキシング支援装置、プログラム及び記憶媒体に関する。

映像情報に対しインデキシングを行なう場合、映像内容に関してどのようなイベントが発生したのか、映像内容に対してイベントに関する情報を付加する必要がある。この作業は、作業者が実際に撮影した映像をすべて見て映像の内容を把握し、シーンの切り替わり、話題の切り替わりを判断し、付加すべきイベントに関する情報を決めていくことにより行われている。このようなインデキシングを施された映像情報は、シーン単位での閲覧や、映像内容に付加した情報による検索を行なうことが可能となる。

しかしながら、このような作業により映像情報に対するインデキシングを行なうのでは、作業に多くの時間を要して煩雑であるという不具合がある。特に、映像のキャプチャ及び編集や、映像内容の記述等の作業に多くの時間と労力を必要とする。

本発明の目的は、映像情報のインデキシングを容易に行なえるようにすることである。

請求項１に記載の発明は、映像情報インデキシング支援装置において、所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像をキャプチャする映像キャプチャ手段と、前記映像キャプチャ手段によりキャプチャされた映像を記憶する映像記憶手段と、前記プレゼンテーションソフトウェアに対する操作指示を入力する入力手段と、前記映像キャプチャ手段によるキャプチャ動作中に、前記プレゼンテーションソフトウェアに対して前記入力手段より入力された操作指示の内容とその発生タイミングとをイベント情報として取得するイベント情報取得手段と、前記映像キャプチャ手段によりキャプチャされた映像と前記イベント情報とを、前記イベント情報中のイベントの発生タイミング及び前記キャプチャされた映像のタイミングにより関連付けるインデックス生成手段とを備えている。

したがって、所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像のキャプチャのみならず、キャプチャ動作中に、前記プレゼンテーションソフトウェアに対して入力された操作指示の内容とその発生タイミングとをイベント情報として取得し、キャプチャされた映像とイベント情報とを時系列的に対応付けることができるので、プレゼンテーションの映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。

請求項２に記載の発明は、請求項１に記載の映像情報インデキシング支援装置において、前記イベント情報取得手段は、少なくとも、前記プレゼンテーションソフトウェアに対するプレゼンテーション資料のページの切り換えを行うための操作指示を取得することを特徴とする。

したがって、プレゼンテーションに使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。

請求項３に記載の発明は、請求項２に記載の映像情報インデキシング支援装置において、前記インデックス生成手段は、前記操作指示に対応して再生されるプレゼンテーション資料のページに含まれる情報を抽出し、当該操作指示に対応する前記イベント情報に付加することを特徴とする。

したがって、プレゼンテーション資料のページに含まれる情報で検索することで、関連情報だけを抜粋し閲覧することができる。

請求項４に記載の発明は、所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像をキャプチャするステップと、前記キャプチャされた映像を記憶するステップと、前記キャプチャステップの実行中に、前記プレゼンテーションソフトウェアに対して入力された操作指示の内容とその発生タイミングとをイベント情報として取得するステップと、前記キャプチャされた映像と前記イベント情報とを、前記イベント情報中のイベントの発生タイミング及び前記キャプチャされた映像のタイミングにより関連付けるステップとをコンピュータに実行させるためのプログラムである。

したがって、コンピュータにより、所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像のキャプチャのみならず、キャプチャ動作中に、前記プレゼンテーションソフトウェアに対して入力された操作指示の内容とその発生タイミングとをイベント情報として取得し、キャプチャされた映像とイベント情報とを時系列的に対応付けることができるので、プレゼンテーションの映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。

請求項５に記載の発明は、請求項４に記載のプログラムにおいて、少なくとも、前記プレゼンテーションソフトウェアに対するプレゼンテーション資料のページの切り換えを行なうための操作指示をイベント情報として取得することを特徴とする。

したがって、プレゼンテーションに使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。

請求項６に記載の発明は、請求項５に記載のプログラムにおいて、前記操作指示に対応して再生されるプレゼンテーション資料のページに含まれる情報を抽出し、当該操作指示に対応する前記イベント情報に付加することを特徴とする。

したがって、コンピュータにより、プレゼンテーション資料のページに含まれる情報で検索することで、関連情報だけを抜粋し閲覧することができる。

請求項７に記載の発明は、請求項４〜６のいずれかに記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。

したがって、その記憶しているプログラムをコンピュータにインストールすることにより、請求項４〜６のいずれかに記載の発明と同様の作用、効果を奏する。

請求項１，４に記載の発明は、所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像のキャプチャのみならず、キャプチャ動作中に、前記プレゼンテーションソフトウェアに対して入力された操作指示の内容とその発生タイミングとをイベント情報として取得し、キャプチャされた映像とイベント情報とを時系列的に対応付けることができるので、プレゼンテーションの映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。

請求項２，５に記載の発明は、請求項１，４に記載の発明において、プレゼンテーションに使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。

請求項３，６に記載の発明は、請求項２，５に記載の発明において、プレゼンテーション資料のページに含まれる情報で検索することで、関連情報だけを抜粋し閲覧することができる。

請求項７に記載の発明は、その記憶しているプログラムをコンピュータにインストールすることにより、請求項４〜６のいずれかに記載の発明と同様の効果を奏する。

本発明の一実施の形態について説明する。

図１は、本実施の形態である映像情報インデキシング支援システム１の全体のハードウエア構成を示すブロック図である。

本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行なう場合、通常、発表者は、プロジェクター等の投影機に接続したパーソナルコンピュータ（ＰＣ）に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。

そこで、この映像情報インデキシング支援システム１は、プレゼンテーション用のＰＣ２と、このＰＣ２に接続されて、プレゼンテーション映像を表示するプロジェクター等の投影機３と、プレゼンテーションの状況を動画撮影する撮影装置であるＤＶカメラ４と、このＤＶカメラ４を制御可能にＩＥＥＥ１３９４などのインターフェイスで接続された撮影用のＰＣ５とを備えている。ＰＣ２とＰＣ５とはＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサ（Ｅｔｈｅｒ）ネットによるピア・ツー・ピア接続などであってもよい。

図２は、ＰＣ２，５の電気的な接続を示すブロック図である。図２に示すように、ＰＣ２，５は、各種演算を行ない各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。

バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とを備えている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていてもよい。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。

ＰＣ２，５のそれぞれには、その磁気記憶装置１４に、この発明のプログラムを実現する映像情報インデキシング支援プログラムが記憶されている。この映像情報インデキシング支援プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりＰＣ２，５は動作可能な状態となる。すなわち、ＣＰＵ１１が映像情報インデキシング支援プログラムに基づいて動作することにより、後述の各種モジュールの機能をそれぞれ実現する。なお、映像情報インデキシング支援プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。

以下では、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援システム１が行なう処理の内容について説明する。

図３は、映像情報インデキシング支援プログラム等に基づいて実現される映像情報インデキシング支援システム１の機能ブロック図である。

ＰＣ２は、その磁気記憶装置１４に電子化されたプレゼンテーション資料３１が記憶されていて、ユーザはプレゼンテーション・ソフトによりプレゼンテーション資料３１を用いたプレゼンテーションを行なう。このとき、ＰＣ２は、後述のイベントを発生するイベント発生装置として機能する。

通常、プレゼンテーションを行なう場合のＰＣ２の操作は以下のような手順である。
１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作によるページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了

ＰＣ２は、映像情報インデキシング支援プログラムに基づいてイベント送信装置３２としても機能して、イベント発生装置としてのＰＣ２の操作、すなわち、プレゼンテーションの発表時にＤＶカメラ４で撮影する映像内容に関して発生するイベントを的確に記録することで、ＤＶカメラ４で撮影する映像に対するインデキシングを効率良く行なうことを支援する。

前述のような手順でプレゼンテーションの発表が行われる際に、ＰＣ２上で捉えることができる映像内容に関して発生するイベントとしては、例えば以下の１〜３に示すようなものがある。すなわち、ここでは、ＤＶカメラ４の映像内容の被写体の少なくとも一部をなすプレゼンテーション映像の画面の切換えを行なうコンピュータの操作をイベントとしている。また、このイベントに関する情報であるイベント情報として、イベントの種類とその発生時刻も正確に記録する必要がある。
１．プレゼンテーション・ソフトの起動、終了
２．キーボード２１の操作（どのキーが押されたか）
３．マウス１５の操作（ドラッグ、クリック）

そこで、イベント送信装置３２は、イベントキャプチャーモジュール３３により、これらのイベントの種類とその発生時刻をイベント情報として取得する。そして、イベント記録モジュール３４は、このイベント情報のログを記録し、イベント送信モジュール４４は通信インターフェイスを介してＰＣ５（ＰＣ５が映像情報インデキシング支援プログラムに基づいて実現するイベント受信装置３５）に送信する。

このイベント送信装置３２から送信されたイベント情報は、本発明の映像情報インデキシング支援装置を実施するイベント受信装置３５において、イベント受信モジュール３６により受信される。そして、イベント制御モジュール３７は、イベント記録モジュール３８と撮影機器制御モジュール３９に、受信したイベント情報を渡す。イベント記録モジュール３８は、イベント記録手段、イベント記録処理を実現するもので、イベント情報を時系列に記録する。

撮影機器制御モジュール３９は、イベント情報に基づいてＤＶカメラ４を制御する。映像キャプチャモジュール４０は、映像キャプチャ手段、映像キャプチャ処理を実現するもので、ＤＶカメラ４で撮影した画像をキャプチャする。映像ファイル管理モジュール４１は、映像記憶手段、映像記憶処理を実現するもので、ＤＶカメラ４で撮影した画像の映像ファイルを記憶して管理する。また、イベント記録モジュール３８が記録するイベント情報には、イベント送信装置３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も含まれる。

イベント解釈モジュール４２は、イベント情報の内容を解釈し、インデックス生成モジュール４３は、ＰＣ５の磁気記憶装置１４に記憶されているプレゼンテーション資料３１、映像ファイル及びイベント情報に基づいて、ＤＶカメラ４で撮影した映像のインデキシングを行なう。

次に、イベント送信装置３２とイベント受信装置３５との間のイベント情報の交換について具体的に説明する。

１．プレゼンテーション・ソフトの起動というイベントが発生したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影を開始する。また、このイベント情報をイベント記録モジュール３８で記録する。

２．プレゼンテーション資料３１のスライドが進行しているときは、キーボード２１のキー操作によるイベントが発生するので、このイベント情報をイベント記録モジュール３８で記録する。

３．プレゼンテーション・ソフトが終了したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影を終了する。また、このイベント情報をイベント記録モジュール３８で記録する。

このようにして、ＤＶカメラ４で撮影された映像中のイベントのイベント情報を映像情報とともにイベント受信装置３５で記録管理することができる。

この記録されたイベント情報は、インデックス生成手段であるインデックス生成モジュール４３により、以下のような手順で、映像ファイル、プレゼンテーション資料３１とマージされ、内容記述言語（ＭＰＥＧ−７など）により映像インデックスとして管理される。

１．イベント情報に付随するプレゼンテーション内容の付加
例えば、キーボード２１のキー操作が順に、「Ｎ，Ｎ，Ｎ，Ｐ，Ｎ，Ｎ」と押下されるイベントが発生した場合、プレゼンテーション資料３１のページの推移は、「１，２，３，２，３，４」といった推移が予想される。そこで、図４（ａ）に示すように、このようなイベントの発生に対応するページのプレゼンテーション資料３１から文字情報５１を抽出し、キーボード２１の操作によるイベント情報５２に付加することで、イベントの発生時刻に表示しているプレゼンテーションの内容を代表する文字列を付加情報であるインデックス情報５３として付加することができる（図４（ｃ）参照）。

２．ビデオ映像情報に対する映像物理ファイル構成
実際に撮影された映像は、撮影カットの単位で物理ファイル５４として（ＡＶＩ，ＭＰＥＧ−１，２，４等）格納される（図４（ｂ）参照）。そして、実際に１つの意味のある映像のまとまりを映像ファイル群４５として扱う（図４（ｃ）参照）。

３．プレゼンテーション内容を含むイベント情報と映像物理ファイルのマッピング
１つの意味のまとまりとして管理される映像ファイル群５５とインデックス情報５３とは、映像に記録されているタイムコード（記録されていない場合は、１秒間のフレーム数による換算）により対応付けられ（図４（ｃ）参照）、イベントと映像再生位置を特定することが可能になる。これにより、映像情報とイベント情報とを時系列的に対応付けて記録することができる。ＤＶカメラ４による撮影の開始、終了のイベント情報５６もインデックス情報５７として、これらと対応付けられる。

このように、映像情報である映像ファイル群５５と、その内容情報を管理するインデックス情報５３，５７（ＭＰＥＧ−７）とをペアにして記録し、管理することで、録画した映像に対し、プレゼンテーション資料３１の切り替わりを１つのシーンとして検索したり、プレゼンテーション資料３１に記載された内容で検索することで、関連情報だけを抜粋し閲覧したりすることが可能になる。

本発明の一実施の形態であるシステムの全体の概略構成を示すブロック図である。 本システムで使用するＰＣの電気的な接続を示すブロック図である。 本システムの機能ブロック図である。 本システムによるインデキシングの処理について説明する説明図である。

符号の説明

４・・・撮影装置、１７・・・記憶媒体、３５・・・映像情報インデキシング支援装置、３８・・・イベント記録手段、イベント記録処理、３９・・・撮影制御手段、撮影制御処理、４０・・・映像キャプチャ手段、映像キャプチャ処理、４１・・・映像記憶手段、映像記憶処理、４３・・・インデックス生成手段、インデックス生成処理

Claims (7)

1. 所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像をキャプチャする映像キャプチャ手段と、
   前記映像キャプチャ手段によりキャプチャされた映像を記憶する映像記憶手段と、
   前記プレゼンテーションソフトウェアに対する操作指示を入力する入力手段と、
   前記映像キャプチャ手段によるキャプチャ動作中に、前記プレゼンテーションソフトウェアに対して前記入力手段より入力された操作指示の内容とその発生タイミングとをイベント情報として取得するイベント情報取得手段と、
   前記映像キャプチャ手段によりキャプチャされた映像と前記イベント情報とを、前記イベント情報中のイベントの発生タイミング及び前記キャプチャされた映像のタイミングにより関連付けるインデックス生成手段と
   を備えたことを特徴とする映像情報インデキシング支援装置。
2. 前記イベント情報取得手段は、少なくとも、前記プレゼンテーションソフトウェアに対するプレゼンテーション資料のページの切り換えを行なうための操作指示を取得することを特徴とする請求項１に記載の映像情報インデキシング支援装置。
3. 前記インデックス生成手段は、前記操作指示に対応して再生されるプレゼンテーション資料のページに含まれる情報を抽出し、当該操作指示に対応する前記イベント情報に付加することを特徴とする請求項２に記載の映像情報インデキシング支援装置。
4. 所定のプレゼンテーションソフトウェアにより再生される電子化されたプレゼンテーション資料を用いたプレゼンテーションを撮影装置で撮影した動画の映像をキャプチャするステップと、
   前記キャプチャされた映像を記憶するステップと、
   前記キャプチャステップの実行中に、前記プレゼンテーションソフトウェアに対して入力された操作指示の内容とその発生タイミングとをイベント情報として取得するステップと、
   前記キャプチャされた映像と前記イベント情報とを、前記イベント情報中のイベントの発生タイミング及び前記キャプチャされた映像のタイミングにより関連付けるステップと
   をコンピュータに実行させるためのプログラム。
5. 少なくとも、前記プレゼンテーションソフトウェアに対するプレゼンテーション資料のページの切り換えを行なうための操作指示をイベント情報として取得することを特徴とする請求項４に記載のプログラム。
6. 前記操作指示に対応して再生されるプレゼンテーション資料のページに含まれる情報を抽出し、当該操作指示に対応する前記イベント情報に付加することを特徴とする請求項５に記載のプログラム。
7. 請求項４〜６のいずれかに記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images