JP4136406B2 - プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム - Google Patents
プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム Download PDFInfo
- Publication number
- JP4136406B2 JP4136406B2 JP2002075227A JP2002075227A JP4136406B2 JP 4136406 B2 JP4136406 B2 JP 4136406B2 JP 2002075227 A JP2002075227 A JP 2002075227A JP 2002075227 A JP2002075227 A JP 2002075227A JP 4136406 B2 JP4136406 B2 JP 4136406B2
- Authority
- JP
- Japan
- Prior art keywords
- presentation
- image
- still image
- video
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子プレゼンテーション資料から映像インデックスを生成するプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータの発達とコストダウンに伴い、電子プレゼンテーショファイル（以下、プレゼンファイルと称する）をプレゼンテーションツールで表示させながらプレゼンテーションを行うことが多くなった。また、近年のデータ蓄積装置の大容量化や撮影デバイスの発達は、プレゼンテーションの様子を撮影して映像として残し、後で再現するということも可能にしている。そして、プレゼンテーション終了後でも、映像とプレゼンファイルを同時にパーソナルコンピュータで表示させ、発表者の発言・行動と資料を同時に試聴することでプレゼンテーションの場により近い状態を再現することもできる。
【０００３】
【発明が解決しようとする課題】
プレゼンファイルからテキスト情報を抽出すれば、映像の検索用インデックスとして利用することも可能である。そのために、映像の時間範囲とそれに対応するプレゼンファイルのページを関連付ける方法がある。その一つに特開平８−２７２９８９号公報の映像使用による資料作成支援システムがある。これは、オペレータが手動でテキスト情報と映像情報の時間範囲を指定して対応付けを行う装置であるが、オペレータの負荷が大きいという問題がある。また、今後、撮影時にその対応付けに関する情報を収集するアプリケーションやデバイスが現れることも予想されるが、過去に行われた映像とそのプレゼンファイルには適用できない。
【０００４】
本発明は上記事情に鑑みてなされたものであり、プレゼンテーション資料が映り、かつ固定カメラによってプレゼンテーションの様子を撮影した映像と、それに利用されたプレゼンテーション資料の対応付けを効率よく行うことが可能なプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムを提供することを目的とする。
【０００５】
また、対象となる映像のインデックス情報の生成を効率よく行うことができるプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
係る目的を達成するために請求項１記載の発明は、プレゼンファイルを蓄積するプレゼンファイル蓄積部と、プレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出部と、テキスト情報とテキスト情報に対応するページ番号とを対応付けて蓄積するテキスト情報蓄積部と、プレゼンファイルから第１の静止画像を作成する静止画像作成部と、第１の静止画像と第１の静止画像に対応するページ番号とを対応付けて蓄積する第１の画像蓄積部と、プレゼンテーションの映像ファイルを蓄積する映像ファイル蓄積部と、映像ファイルからフレーム毎に第２の静止画像を生成する静止画像生成部と、第２の静止画像の領域を指定できるインターフェースを有する静止画像の領域指定部と、指定された領域を第２の静止画像から抽出し第３の静止画像を生成する静止画像の部分領域抽出部と、第３の静止画像と第３の静止画像に対応するフレーム番号とを対応付けて蓄積する第２の画像蓄積部と、第２の画像蓄積部に蓄積された第３の静止画像毎に、第１の画像蓄積部に蓄積された第１の静止画像との比較を行い、類似度を算出する画像類似度算出部と、複数の類似度の中から最大の類似度を決定する最大類似度画像組決定部と、を有し、最大類似度に基づき、第３の静止画像のフレーム番号と第１の静止画像のページ番号とを対応付けることにより、プレゼンファイルと映像ファイルの対応付けを行うことを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、ページ番号とフレーム番号を蓄積する対応蓄積部と、テキスト情報とページ番号とフレーム番号を組にして登録及び検索可能な検索データベースを有し、プレゼンテーション資料に記述された文字をキーワードとして対応するプレゼンテーション映像の部分映像とプレゼンテーション資料を管理することを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または２記載の発明において、第２の静止画像の領域指定部に、固定カメラで撮影した映像の全フレームのエッジを抽出し累積し、累積頻度が高く直線を表すエッジを境界線として抽出し、映像中のプレゼンテーション資料の位置の候補を表示するインターフェースの機能を有し、プレゼンテーション資料の領域指定を支援できるインターフェースを有することを特徴とする。
【０００９】
請求項４記載の発明は、請求項１から３の何れか一項記載の発明において、固定カメラで撮影した連続する 2 フレームの画像間の類似度を算出し、その類似度があらかじめ設定した閾値を超えるほど類似している場合はフレーム番号的に後の画像は省略し、処理を行わないという機能を持つ省略可能画像判定部を有し、連続して存在する類似したフレームを省略してプレゼンファイルと映像ファイルの対応付けを行うことを特徴とする。
【００１２】
請求項５記載の発明は、請求項１から４の何れか一項に記載の発明において、最大類似度画像組決定部に、直前に処理した結果であるｍ＿ＭＡＸを一時的に記憶しておき（ｍ＿ＭＡＸ＿ｐｒｅ）、最大類似度を計算する際に、ｍ＿ＭＡＸ＿ｐｒｅ +1 番目のページの類似度を通常より１．５倍で計算し、ｍ＿ＭＡＸ＿ｐｒｅ -1 番目の類似度を通常より１．２倍で計算するというとして、重みをつけて類似度を計算する機能を有し、ページ番号とフレーム番号の対応付け精度を向上させることを特徴とする。
【００１３】
【発明の実施の形態】
次に、添付図面を参照しながら本発明のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムに係る実施の形態を詳細に説明する。図１及び図２を参照すると本発明のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムに係る実施の形態が示されている。
【００１４】
［実施例１］
本発明に係る実施形態の構成を図１に示す。図１に示されるように本実施形態は、プレゼンファイル蓄積部１０１、テキスト情報抽出部１０２、静止画像作成部１０４、テキスト情報蓄積部１０３、プレゼンファイルからの画像蓄積部１０５、映像ファイル蓄積部２０１、静止画像生成部２０２、静止画像の領域指定部２０３、静止画像の部分領域抽出部２０４、映像からの画像蓄積部２０５、画像類似度算出部３０１、最大類似度画像組決定部３０２、映像とプレゼン対応蓄積部３０３、検索データベース３０４を有して構成される。なお、図１に示された蓄積部は、データを蓄積することができる、例えばハードディスクのような装置である。また、以下の説明において用いるＮは、プレゼンファイルのページ数、Ｍは映像ファイルのフレーム数を表すものとする。
【００１５】
まず、３つの前処理を行う。これら３つの処理はどのような順で行われてもかまわない。
＜前処理１＞
テキスト情報抽出部１０２は、プレゼンファイル１１からＮページ分、それぞれのページ毎にテキスト情報１２を抽出し、そのテキスト情報１２とページ番号１９を組にして、テキスト情報蓄積部１０３に蓄積する。テキスト情報抽出部１０２は、プレゼンファイル及びそれに対応したアプリケーションに依存するので一概にここで説明することはできない。しかしながら、仮にそのアプリケーションがＨＴＭＬ形式でプレゼンファイルを出力することが可能とするならば、タグ以外の文字を、そのテキスト情報とすることにより実現できる。
【００１６】
＜前処理２＞
静止画像作成部１０４は、プレゼンファイル１１からＮページ分、それぞれのページ毎にプレゼンテーション時にスクリーンに表示されるものと同じ画像１４を作成し、ページ番号１５と組にして、画像蓄積部１０５に蓄積する。静止画像抽出部１０４も、プレゼンファイル及びそれに対応したアプリケーションに依存するので、一概にここで説明することはできない。そのアプリケーションが画像作成の機能を持たないとしても、ＯＳレベルでスクリーンダンプをとることができれば実現できる。
【００１７】
＜前処理３―１＞
静止画像生成部２０２は、映像ファイル２１からＭフレーム分、それぞれのフレームごとに画像ファイル２３を生成し、フレーム番号２４と組にして一時的に保存する。静止画像生成部２０２は映像ファイルのフォーマットに依存するので一概に明示できないが、フレーム番号あるいはタイムコードを指定して、映像ファイルから該当する静止画像を取得することができれば特に限定はしない。ＭＰＥＧ−１などの一般的なフォーマットではこの機能を実現する技術は公知である。
【００１８】
＜前処理３−２＞
領域指定部２０３は、ユーザーに対して画像ファイル２３を表示し、その部分領域を指定することが可能なインターフェイスにより、その指定された画像領域情報２５を一時的に保存しておく。ここでユーザーは、画像ファイル２３のプレゼンテーション資料が映っている領域を指定する。領域指定部２０３は、この機能を持つならば特に限定はしない。例えば、ＰＧＭ形式のファイルが作成できるエディタでも、プレゼン資料が映っている部分を黒、そうでない部分を白と仕様を決定すれば構わない。
【００１９】
＜前処理３−３＞
領域抽出部２０４は、画像ファイル２３のうち画像領域情報２５で指定された部分画像を抽出し、画像ファイル２６として画像蓄積部２０５に蓄積する。その際、フレーム番号２７と組にして蓄積する。この処理はフレームの数であるＭ回行われる。
【００２０】
上記前処理１〜３によってプレゼンファイルからＮ枚の画像Ｐ1 〜ＰN が、映像ファイルからＭ枚の画像Ｖ1 〜ＶM が生成される。
【００２１】
＜処理＞
上記Ｎ枚の画像とＭ枚の画像をそれぞれ比較し類似度を計算する。比較の組み合わせはＮ×Ｍ組となる。その動作フローは、図2 のステップＳ１〜Ｓ５に該当する。
【００２２】
初期状態では、ページカウンターｎ＝１、フレームカウンターｍ＝１である（ステップＳ１）。ｍがＭ以下（ステップＳ２／ＹＥＳ）で、ｎがＮ以下（ステップＳ３／ＹＥＳ）である場合、画像類似度算出部３０１によって、画像Ｐn と画像Ｖm を比較しその類似度を計算する（ステップＳ４）。その類似度３０は、値ｎと値ｍと共に、最大類似度決定部３０２に蓄積される。類似度を比較後、ページカウンターｎをカウントアップ（ステップＳ５）し、ある画像Ｖm に対して画像Ｐ1 〜ＰN の全類似度を算出する。
【００２３】
画像類似度部３０１は、２画像の類似度を比較する機能を有するものであれば特に限定はしない。しかしながら画像特徴の分野で様々な方法が知られている中でも、プレゼンテーション資料という画像の特性から見て、カラーヒストグラム特徴による比較、角度ごとに抽出したエッジ特徴による比較、及び両方の組み合わせによる比較が考えられる。
【００２４】
ある画像Ｖm に対して画像Ｐ1 〜ＰN の全類似度を計算すると（ステップＳ３／ＮＯ）、最大類似度画像組決定部３０２によって、Ｖm に対して最大の類似度を示すＰM ＿MAX を求める（ステップＳ６）。最大類似度画像組決定部３０２は、数値で表されたN 個の類似度中、最大の値を選択する。その後、フレームカウンタｍをカウントアップして（ステップＳ７）、次の画像Ｖm に対して画像Ｐ1 〜ＰN の全類似度を計算する。
【００２５】
上記処理により、Ｖ1 〜Ｖm の各画像に対して、類似度が最大となるＰ1 ＿MAX 〜ＰM ＿MAX が決定される。対応するフレーム番号とページ番号の組を( フレーム番号, ページ番号) とすると、（１，１＿ＭＡＸ）〜（Ｍ，Ｍ＿ＭＡＸ）が決定されたといえる。
【００２６】
前処理１でページごとに抽出したテキスト情報３７をページ毎に表すとＴ1 〜ＴN となる。これらのテキスト情報と、前述したフレーム番号とページ番号の組をあわせて( フレーム番号, ページ番号, テキスト情報) とすると、（１，１＿ＭＡＸ，Ｔ 1＿MAX ）〜（Ｍ，Ｍ＿ＭＡＸ，ＴM ＿MAX ）となる。これらを検索ＤＢ３０４に登録し、テキスト情報をインデックスとすれば、該当するフレーム番号、ページ番号を検索することができる。検索ＤＢ３０４は、テキスト情報をキーワードに検索し、結果として対応するフレーム番号及びページ番号を取得できる機能を有すれば、特に限定はしない。
【００２７】
上述のように本実施形態は、プレゼンテーション資料の全体あるいは一部を含み、かつ固定カメラによってプレゼンテーションの様子を撮影した映像と、それに利用されたプレゼンテーション資料の対応づけを効率良く行うことができる。これにより、対象となる映像のインデックス情報生成が容易になる。
【００２８】
［実施例２］
この実施例は請求項３に対応する。実施例１の“静止画像の領域指定部２０３”に、画像中のプレゼンテーション資料の存在する領域の候補を表示する機能を加えたものである。領域候補の抽出法は、画像中の境界線を抽出する公知の技術であるＳｎａｋｅｓや、本発明には固定カメラで撮影した映像を対象とするという前提があるので映像の全フレームのエッジを抽出し累積し、累積頻度が高く直線を表すエッジを境界線として抽出するなどの方法が考えられるが、その限りではない。
【００２９】
このように本実施形態は、上述した実施例１と比較して、映像からのプレゼンテーション資料が映っている領域の指定が容易になり、前述した対応付けを効率よく行うことができる。
【００３０】
［実施例３］
この実施例は請求項４に対応する。実施例１では、映像の全フレームに対して処理を行っていたが、本発明は固定カメラで撮影した映像を対象とするという前提があるので、対象となる映像が変化するのはプレゼンテーション資料が異なるページに移った場合である。これは、実施例１における“映像からの画像蓄積部２０５”に蓄積された画像に対して、連続する2 フレームの画像間の類似度を算出し、その類似度があらかじめ設定した閾値を超えるほど類似している場合はフレーム番号的に後の画像は省略し、処理を行わないという機能を持つ“省略可能画像判定部５０１”によって実現する。この画像類似度の比較は、実施例１に述べた方法と同じで構わない。この実施例では、“映像からの画像蓄積部２０５”から出力される“画像ファイル２８”と“フレーム番号２９”に、“最後尾フレーム番号51”を加える必要がある。この“最後尾フレーム番号５１”は、前述した類似した画像の省略を繰り返した結果、最後に省略されたフレーム番号であり、“フレーム番号２９”〜“最後尾フレーム番号５１”までの全フレームはある閾値を越えるほど類似している。この最後尾フレーム番号は、フレーム番号３２、３４、３６に対しても同様に加える必要がある。
【００３１】
請求項１では、フレーム数Ｍ×ページ数Ｎ回の画像類似度算出処理を要するのに対し、各ページ一回づつしか説明しない（＝映像中に現れない）とすれば、Ｍ−１＋Ｎ×Ｎ回の処理となるので、処理時間が短くなる。なお、式中のＭ−１とは、省略可能画像判定部５０１内での画像類似度算出回数である。
【００３２】
［実施例４］
本発明では、カメラの位置と映されるプレゼンテーション資料の位置関係は特に制限しない。よって映像中に映っているプレゼンテーション資料の形状は矩形とは限らない。この実施例では、“映像からの画像蓄積部２０５”に蓄積された矩形とは限らない“画像ファイル２６”を、“画像ファイル１７”の形状及びサイズに変換する機能を持つ“画像正規化部５０２”を持つ。変換には、“画像ファイル２６”の四辺を直線近似し、アフィン変換を行い“画像ファイル２６”の画素数+ 変換後の画素数に対して、2画像の領域間の異なる画素がある一定の閾値以下になるまで、直線近似を繰り返すという方法が考えられるがその限りではない。
【００３３】
［実施例５］
実施例４とは逆に、“プレゼンファイルからの画像蓄積部１０５”に蓄積された“画像ファイル１７”を、矩形とは限らない“画像ファイル２６”の形状及びサイズに変換する機能を持つ“画像変換部５０２”を持つ。変換には、“画像ファイル２６”の四辺を直線近似し、アフィン変換を行い“画像ファイル２６”の画素数+ 変換後の画素数に対して、2 画像の領域間の異なる画素がある一定の閾値以下になるまで、直線近似を繰り返すという方法が考えられるがその限りではない。
【００３４】
［実施例６］
実施例１の“最大類似度画像組決定部３０２”において、ページ番号に重みをつけて計算できる機能を加えることで実現する。例えば、一般にプレゼンテーションは、小さいページ番号から大きい番号へ順に説明が進み、稀に戻ったりするものだと考えた場合、実施例１において、直前に処理した結果であるｍ＿ＭＡＸを一時的に記憶しておき（ｍ＿ＭＡＸ＿ｐｒｅとする）、最大類似度を計算する際に、ｍ＿ＭＡＸ＿ｐｒｅ+1番目のページは直後のページなので出現する可能性が高いと想定し、類似度を通常より１．５倍で計算し、ｍ＿ＭＡＸ＿ｐｒｅ-1番目は一つ前に戻って説明することもあるので、類似度を通常より１．２倍で計算するというとして、重みをつける。
【００３５】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【００３６】
【発明の効果】
以上の説明より明らかなように請求項１、２記載の発明は、プレゼンテーション資料の全体あるいは一部を含み、かつ固定カメラによってプレゼンテーションの様子を撮影した映像と、それに利用されたプレゼンテーション資料の対応付けを効率よく行うことができる。これにより、対象となる映像のインデックス情報生成が容易となる。
【００３７】
請求項３記載の発明は、請求項１記載の発明と比較して、映像からプレゼンテーション資料が映っている領域の指定が容易になり、前述した対応付けが効率よく行える。
【００３８】
請求項４に関して、請求項１では、フレームＭ×ページ数Ｎ回の画像類似度算出処理を要するのに対し、各ページ一回づつしか説明しない（映像中に現れない）とすれば、Ｍ−１＋Ｎ×Ｎ回の処理となるので、処理時間が短くなる、式中のＭ−１とは、省略可能画像判定部内での画像類似度算出回数である。
【００４０】
請求項５に関して、画像類似度の比較だけでは、対応付けが困難な場合（類似度が同値であったなど）に、対応付けを行うことができる。
【図面の簡単な説明】
【図１】本発明に係る実施形態の構成を表すブロック図である。
【図２】動作手順を示すフローチャートである。
【符号の説明】
１０１ プレゼンファイル蓄積部
１０２ テキスト情報抽出部
１０３ テキスト情報蓄積部
１０４ 静止画像作成部
１０５ プレゼンファイルからの画像蓄積部
２０１ 映像ファイル蓄積部
２０２ 静止画像生成部
２０３ 静止画像の領域指定部
２０４ 静止画像の部分領域抽出部
２０５ 映像からの画像蓄積部
３０１ 画像類似度算出部
３０２ 最大類似度画像組決定部
３０３ 映像とプレゼン対応蓄積部
【発明の属する技術分野】
本発明は、電子プレゼンテーション資料から映像インデックスを生成するプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータの発達とコストダウンに伴い、電子プレゼンテーショファイル（以下、プレゼンファイルと称する）をプレゼンテーションツールで表示させながらプレゼンテーションを行うことが多くなった。また、近年のデータ蓄積装置の大容量化や撮影デバイスの発達は、プレゼンテーションの様子を撮影して映像として残し、後で再現するということも可能にしている。そして、プレゼンテーション終了後でも、映像とプレゼンファイルを同時にパーソナルコンピュータで表示させ、発表者の発言・行動と資料を同時に試聴することでプレゼンテーションの場により近い状態を再現することもできる。
【０００３】
【発明が解決しようとする課題】
プレゼンファイルからテキスト情報を抽出すれば、映像の検索用インデックスとして利用することも可能である。そのために、映像の時間範囲とそれに対応するプレゼンファイルのページを関連付ける方法がある。その一つに特開平８−２７２９８９号公報の映像使用による資料作成支援システムがある。これは、オペレータが手動でテキスト情報と映像情報の時間範囲を指定して対応付けを行う装置であるが、オペレータの負荷が大きいという問題がある。また、今後、撮影時にその対応付けに関する情報を収集するアプリケーションやデバイスが現れることも予想されるが、過去に行われた映像とそのプレゼンファイルには適用できない。
【０００４】
本発明は上記事情に鑑みてなされたものであり、プレゼンテーション資料が映り、かつ固定カメラによってプレゼンテーションの様子を撮影した映像と、それに利用されたプレゼンテーション資料の対応付けを効率よく行うことが可能なプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムを提供することを目的とする。
【０００５】
また、対象となる映像のインデックス情報の生成を効率よく行うことができるプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
係る目的を達成するために請求項１記載の発明は、プレゼンファイルを蓄積するプレゼンファイル蓄積部と、プレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出部と、テキスト情報とテキスト情報に対応するページ番号とを対応付けて蓄積するテキスト情報蓄積部と、プレゼンファイルから第１の静止画像を作成する静止画像作成部と、第１の静止画像と第１の静止画像に対応するページ番号とを対応付けて蓄積する第１の画像蓄積部と、プレゼンテーションの映像ファイルを蓄積する映像ファイル蓄積部と、映像ファイルからフレーム毎に第２の静止画像を生成する静止画像生成部と、第２の静止画像の領域を指定できるインターフェースを有する静止画像の領域指定部と、指定された領域を第２の静止画像から抽出し第３の静止画像を生成する静止画像の部分領域抽出部と、第３の静止画像と第３の静止画像に対応するフレーム番号とを対応付けて蓄積する第２の画像蓄積部と、第２の画像蓄積部に蓄積された第３の静止画像毎に、第１の画像蓄積部に蓄積された第１の静止画像との比較を行い、類似度を算出する画像類似度算出部と、複数の類似度の中から最大の類似度を決定する最大類似度画像組決定部と、を有し、最大類似度に基づき、第３の静止画像のフレーム番号と第１の静止画像のページ番号とを対応付けることにより、プレゼンファイルと映像ファイルの対応付けを行うことを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、ページ番号とフレーム番号を蓄積する対応蓄積部と、テキスト情報とページ番号とフレーム番号を組にして登録及び検索可能な検索データベースを有し、プレゼンテーション資料に記述された文字をキーワードとして対応するプレゼンテーション映像の部分映像とプレゼンテーション資料を管理することを特徴とする。
【０００８】
請求項３記載の発明は、請求項１または２記載の発明において、第２の静止画像の領域指定部に、固定カメラで撮影した映像の全フレームのエッジを抽出し累積し、累積頻度が高く直線を表すエッジを境界線として抽出し、映像中のプレゼンテーション資料の位置の候補を表示するインターフェースの機能を有し、プレゼンテーション資料の領域指定を支援できるインターフェースを有することを特徴とする。
【０００９】
請求項４記載の発明は、請求項１から３の何れか一項記載の発明において、固定カメラで撮影した連続する 2 フレームの画像間の類似度を算出し、その類似度があらかじめ設定した閾値を超えるほど類似している場合はフレーム番号的に後の画像は省略し、処理を行わないという機能を持つ省略可能画像判定部を有し、連続して存在する類似したフレームを省略してプレゼンファイルと映像ファイルの対応付けを行うことを特徴とする。
【００１２】
請求項５記載の発明は、請求項１から４の何れか一項に記載の発明において、最大類似度画像組決定部に、直前に処理した結果であるｍ＿ＭＡＸを一時的に記憶しておき（ｍ＿ＭＡＸ＿ｐｒｅ）、最大類似度を計算する際に、ｍ＿ＭＡＸ＿ｐｒｅ +1 番目のページの類似度を通常より１．５倍で計算し、ｍ＿ＭＡＸ＿ｐｒｅ -1 番目の類似度を通常より１．２倍で計算するというとして、重みをつけて類似度を計算する機能を有し、ページ番号とフレーム番号の対応付け精度を向上させることを特徴とする。
【００１３】
【発明の実施の形態】
次に、添付図面を参照しながら本発明のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムに係る実施の形態を詳細に説明する。図１及び図２を参照すると本発明のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステムに係る実施の形態が示されている。
【００１４】
［実施例１］
本発明に係る実施形態の構成を図１に示す。図１に示されるように本実施形態は、プレゼンファイル蓄積部１０１、テキスト情報抽出部１０２、静止画像作成部１０４、テキスト情報蓄積部１０３、プレゼンファイルからの画像蓄積部１０５、映像ファイル蓄積部２０１、静止画像生成部２０２、静止画像の領域指定部２０３、静止画像の部分領域抽出部２０４、映像からの画像蓄積部２０５、画像類似度算出部３０１、最大類似度画像組決定部３０２、映像とプレゼン対応蓄積部３０３、検索データベース３０４を有して構成される。なお、図１に示された蓄積部は、データを蓄積することができる、例えばハードディスクのような装置である。また、以下の説明において用いるＮは、プレゼンファイルのページ数、Ｍは映像ファイルのフレーム数を表すものとする。
【００１５】
まず、３つの前処理を行う。これら３つの処理はどのような順で行われてもかまわない。
＜前処理１＞
テキスト情報抽出部１０２は、プレゼンファイル１１からＮページ分、それぞれのページ毎にテキスト情報１２を抽出し、そのテキスト情報１２とページ番号１９を組にして、テキスト情報蓄積部１０３に蓄積する。テキスト情報抽出部１０２は、プレゼンファイル及びそれに対応したアプリケーションに依存するので一概にここで説明することはできない。しかしながら、仮にそのアプリケーションがＨＴＭＬ形式でプレゼンファイルを出力することが可能とするならば、タグ以外の文字を、そのテキスト情報とすることにより実現できる。
【００１６】
＜前処理２＞
静止画像作成部１０４は、プレゼンファイル１１からＮページ分、それぞれのページ毎にプレゼンテーション時にスクリーンに表示されるものと同じ画像１４を作成し、ページ番号１５と組にして、画像蓄積部１０５に蓄積する。静止画像抽出部１０４も、プレゼンファイル及びそれに対応したアプリケーションに依存するので、一概にここで説明することはできない。そのアプリケーションが画像作成の機能を持たないとしても、ＯＳレベルでスクリーンダンプをとることができれば実現できる。
【００１７】
＜前処理３―１＞
静止画像生成部２０２は、映像ファイル２１からＭフレーム分、それぞれのフレームごとに画像ファイル２３を生成し、フレーム番号２４と組にして一時的に保存する。静止画像生成部２０２は映像ファイルのフォーマットに依存するので一概に明示できないが、フレーム番号あるいはタイムコードを指定して、映像ファイルから該当する静止画像を取得することができれば特に限定はしない。ＭＰＥＧ−１などの一般的なフォーマットではこの機能を実現する技術は公知である。
【００１８】
＜前処理３−２＞
領域指定部２０３は、ユーザーに対して画像ファイル２３を表示し、その部分領域を指定することが可能なインターフェイスにより、その指定された画像領域情報２５を一時的に保存しておく。ここでユーザーは、画像ファイル２３のプレゼンテーション資料が映っている領域を指定する。領域指定部２０３は、この機能を持つならば特に限定はしない。例えば、ＰＧＭ形式のファイルが作成できるエディタでも、プレゼン資料が映っている部分を黒、そうでない部分を白と仕様を決定すれば構わない。
【００１９】
＜前処理３−３＞
領域抽出部２０４は、画像ファイル２３のうち画像領域情報２５で指定された部分画像を抽出し、画像ファイル２６として画像蓄積部２０５に蓄積する。その際、フレーム番号２７と組にして蓄積する。この処理はフレームの数であるＭ回行われる。
【００２０】
上記前処理１〜３によってプレゼンファイルからＮ枚の画像Ｐ1 〜ＰN が、映像ファイルからＭ枚の画像Ｖ1 〜ＶM が生成される。
【００２１】
＜処理＞
上記Ｎ枚の画像とＭ枚の画像をそれぞれ比較し類似度を計算する。比較の組み合わせはＮ×Ｍ組となる。その動作フローは、図2 のステップＳ１〜Ｓ５に該当する。
【００２２】
初期状態では、ページカウンターｎ＝１、フレームカウンターｍ＝１である（ステップＳ１）。ｍがＭ以下（ステップＳ２／ＹＥＳ）で、ｎがＮ以下（ステップＳ３／ＹＥＳ）である場合、画像類似度算出部３０１によって、画像Ｐn と画像Ｖm を比較しその類似度を計算する（ステップＳ４）。その類似度３０は、値ｎと値ｍと共に、最大類似度決定部３０２に蓄積される。類似度を比較後、ページカウンターｎをカウントアップ（ステップＳ５）し、ある画像Ｖm に対して画像Ｐ1 〜ＰN の全類似度を算出する。
【００２３】
画像類似度部３０１は、２画像の類似度を比較する機能を有するものであれば特に限定はしない。しかしながら画像特徴の分野で様々な方法が知られている中でも、プレゼンテーション資料という画像の特性から見て、カラーヒストグラム特徴による比較、角度ごとに抽出したエッジ特徴による比較、及び両方の組み合わせによる比較が考えられる。
【００２４】
ある画像Ｖm に対して画像Ｐ1 〜ＰN の全類似度を計算すると（ステップＳ３／ＮＯ）、最大類似度画像組決定部３０２によって、Ｖm に対して最大の類似度を示すＰM ＿MAX を求める（ステップＳ６）。最大類似度画像組決定部３０２は、数値で表されたN 個の類似度中、最大の値を選択する。その後、フレームカウンタｍをカウントアップして（ステップＳ７）、次の画像Ｖm に対して画像Ｐ1 〜ＰN の全類似度を計算する。
【００２５】
上記処理により、Ｖ1 〜Ｖm の各画像に対して、類似度が最大となるＰ1 ＿MAX 〜ＰM ＿MAX が決定される。対応するフレーム番号とページ番号の組を( フレーム番号, ページ番号) とすると、（１，１＿ＭＡＸ）〜（Ｍ，Ｍ＿ＭＡＸ）が決定されたといえる。
【００２６】
前処理１でページごとに抽出したテキスト情報３７をページ毎に表すとＴ1 〜ＴN となる。これらのテキスト情報と、前述したフレーム番号とページ番号の組をあわせて( フレーム番号, ページ番号, テキスト情報) とすると、（１，１＿ＭＡＸ，Ｔ 1＿MAX ）〜（Ｍ，Ｍ＿ＭＡＸ，ＴM ＿MAX ）となる。これらを検索ＤＢ３０４に登録し、テキスト情報をインデックスとすれば、該当するフレーム番号、ページ番号を検索することができる。検索ＤＢ３０４は、テキスト情報をキーワードに検索し、結果として対応するフレーム番号及びページ番号を取得できる機能を有すれば、特に限定はしない。
【００２７】
上述のように本実施形態は、プレゼンテーション資料の全体あるいは一部を含み、かつ固定カメラによってプレゼンテーションの様子を撮影した映像と、それに利用されたプレゼンテーション資料の対応づけを効率良く行うことができる。これにより、対象となる映像のインデックス情報生成が容易になる。
【００２８】
［実施例２］
この実施例は請求項３に対応する。実施例１の“静止画像の領域指定部２０３”に、画像中のプレゼンテーション資料の存在する領域の候補を表示する機能を加えたものである。領域候補の抽出法は、画像中の境界線を抽出する公知の技術であるＳｎａｋｅｓや、本発明には固定カメラで撮影した映像を対象とするという前提があるので映像の全フレームのエッジを抽出し累積し、累積頻度が高く直線を表すエッジを境界線として抽出するなどの方法が考えられるが、その限りではない。
【００２９】
このように本実施形態は、上述した実施例１と比較して、映像からのプレゼンテーション資料が映っている領域の指定が容易になり、前述した対応付けを効率よく行うことができる。
【００３０】
［実施例３］
この実施例は請求項４に対応する。実施例１では、映像の全フレームに対して処理を行っていたが、本発明は固定カメラで撮影した映像を対象とするという前提があるので、対象となる映像が変化するのはプレゼンテーション資料が異なるページに移った場合である。これは、実施例１における“映像からの画像蓄積部２０５”に蓄積された画像に対して、連続する2 フレームの画像間の類似度を算出し、その類似度があらかじめ設定した閾値を超えるほど類似している場合はフレーム番号的に後の画像は省略し、処理を行わないという機能を持つ“省略可能画像判定部５０１”によって実現する。この画像類似度の比較は、実施例１に述べた方法と同じで構わない。この実施例では、“映像からの画像蓄積部２０５”から出力される“画像ファイル２８”と“フレーム番号２９”に、“最後尾フレーム番号51”を加える必要がある。この“最後尾フレーム番号５１”は、前述した類似した画像の省略を繰り返した結果、最後に省略されたフレーム番号であり、“フレーム番号２９”〜“最後尾フレーム番号５１”までの全フレームはある閾値を越えるほど類似している。この最後尾フレーム番号は、フレーム番号３２、３４、３６に対しても同様に加える必要がある。
【００３１】
請求項１では、フレーム数Ｍ×ページ数Ｎ回の画像類似度算出処理を要するのに対し、各ページ一回づつしか説明しない（＝映像中に現れない）とすれば、Ｍ−１＋Ｎ×Ｎ回の処理となるので、処理時間が短くなる。なお、式中のＭ−１とは、省略可能画像判定部５０１内での画像類似度算出回数である。
【００３２】
［実施例４］
本発明では、カメラの位置と映されるプレゼンテーション資料の位置関係は特に制限しない。よって映像中に映っているプレゼンテーション資料の形状は矩形とは限らない。この実施例では、“映像からの画像蓄積部２０５”に蓄積された矩形とは限らない“画像ファイル２６”を、“画像ファイル１７”の形状及びサイズに変換する機能を持つ“画像正規化部５０２”を持つ。変換には、“画像ファイル２６”の四辺を直線近似し、アフィン変換を行い“画像ファイル２６”の画素数+ 変換後の画素数に対して、2画像の領域間の異なる画素がある一定の閾値以下になるまで、直線近似を繰り返すという方法が考えられるがその限りではない。
【００３３】
［実施例５］
実施例４とは逆に、“プレゼンファイルからの画像蓄積部１０５”に蓄積された“画像ファイル１７”を、矩形とは限らない“画像ファイル２６”の形状及びサイズに変換する機能を持つ“画像変換部５０２”を持つ。変換には、“画像ファイル２６”の四辺を直線近似し、アフィン変換を行い“画像ファイル２６”の画素数+ 変換後の画素数に対して、2 画像の領域間の異なる画素がある一定の閾値以下になるまで、直線近似を繰り返すという方法が考えられるがその限りではない。
【００３４】
［実施例６］
実施例１の“最大類似度画像組決定部３０２”において、ページ番号に重みをつけて計算できる機能を加えることで実現する。例えば、一般にプレゼンテーションは、小さいページ番号から大きい番号へ順に説明が進み、稀に戻ったりするものだと考えた場合、実施例１において、直前に処理した結果であるｍ＿ＭＡＸを一時的に記憶しておき（ｍ＿ＭＡＸ＿ｐｒｅとする）、最大類似度を計算する際に、ｍ＿ＭＡＸ＿ｐｒｅ+1番目のページは直後のページなので出現する可能性が高いと想定し、類似度を通常より１．５倍で計算し、ｍ＿ＭＡＸ＿ｐｒｅ-1番目は一つ前に戻って説明することもあるので、類似度を通常より１．２倍で計算するというとして、重みをつける。
【００３５】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【００３６】
【発明の効果】
以上の説明より明らかなように請求項１、２記載の発明は、プレゼンテーション資料の全体あるいは一部を含み、かつ固定カメラによってプレゼンテーションの様子を撮影した映像と、それに利用されたプレゼンテーション資料の対応付けを効率よく行うことができる。これにより、対象となる映像のインデックス情報生成が容易となる。
【００３７】
請求項３記載の発明は、請求項１記載の発明と比較して、映像からプレゼンテーション資料が映っている領域の指定が容易になり、前述した対応付けが効率よく行える。
【００３８】
請求項４に関して、請求項１では、フレームＭ×ページ数Ｎ回の画像類似度算出処理を要するのに対し、各ページ一回づつしか説明しない（映像中に現れない）とすれば、Ｍ−１＋Ｎ×Ｎ回の処理となるので、処理時間が短くなる、式中のＭ−１とは、省略可能画像判定部内での画像類似度算出回数である。
【００４０】
請求項５に関して、画像類似度の比較だけでは、対応付けが困難な場合（類似度が同値であったなど）に、対応付けを行うことができる。
【図面の簡単な説明】
【図１】本発明に係る実施形態の構成を表すブロック図である。
【図２】動作手順を示すフローチャートである。
【符号の説明】
１０１ プレゼンファイル蓄積部
１０２ テキスト情報抽出部
１０３ テキスト情報蓄積部
１０４ 静止画像作成部
１０５ プレゼンファイルからの画像蓄積部
２０１ 映像ファイル蓄積部
２０２ 静止画像生成部
２０３ 静止画像の領域指定部
２０４ 静止画像の部分領域抽出部
２０５ 映像からの画像蓄積部
３０１ 画像類似度算出部
３０２ 最大類似度画像組決定部
３０３ 映像とプレゼン対応蓄積部
Claims (5)
- プレゼンファイルを蓄積するプレゼンファイル蓄積部と、
前記プレゼンファイルからページ毎にテキスト情報を抽出するテキスト情報抽出部と、
前記テキスト情報と前記テキスト情報に対応するページ番号とを対応付けて蓄積するテキスト情報蓄積部と、
前記プレゼンファイルから第１の静止画像を作成する静止画像作成部と、
前記第１の静止画像と前記第１の静止画像に対応するページ番号とを対応付けて蓄積する第１の画像蓄積部と、
プレゼンテーションの映像ファイルを蓄積する映像ファイル蓄積部と、
前記映像ファイルからフレーム毎に第２の静止画像を生成する静止画像生成部と、
前記第２の静止画像の領域を指定できるインターフェースを有する静止画像の領域指定部と、
指定された前記領域を前記第２の静止画像から抽出し第３の静止画像を生成する静止画像の部分領域抽出部と、
前記第３の静止画像と前記第３の静止画像に対応するフレーム番号とを対応付けて蓄積する第２の画像蓄積部と、
前記第２の画像蓄積部に蓄積された第３の静止画像毎に、前記第１の画像蓄積部に蓄積された第１の静止画像との比較を行い、類似度を算出する画像類似度算出部と、
複数の前記類似度の中から最大の類似度を決定する最大類似度画像組決定部と、
を有し、
前記最大類似度に基づき、前記第３の静止画像のフレーム番号と前記第１の静止画像のページ番号とを対応付けることにより、プレゼンファイルと映像ファイルの対応付けを行うことを特徴とする、プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム。 - ページ番号とフレーム番号を蓄積する対応蓄積部と、テキスト情報とページ番号とフレーム番号を組にして登録及び検索可能な検索データベースを有し、プレゼンテーション資料に記述された文字をキーワードとして対応するプレゼンテーション映像の部分映像とプレゼンテーション資料を管理することを特徴とする請求項１記載のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム。
- 前記第２の静止画像の領域指定部に、固定カメラで撮影した映像の全フレームのエッジを抽出し累積し、累積頻度が高く直線を表すエッジを境界線として抽出し、映像中のプレゼンテーション資料の位置の候補を表示するインターフェースの機能を有し、プレゼンテーション資料の領域指定を支援できるインターフェースを有することを特徴とする請求項１または２記載のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム。
- 固定カメラで撮影した連続する 2 フレームの画像間の類似度を算出し、その類似度があらかじめ設定した閾値を超えるほど類似している場合はフレーム番号的に後の画像は省略し、処理を行わないという機能を持つ省略可能画像判定部を有し、連続して存在する類似したフレームを省略してプレゼンファイルと映像ファイルの対応付けを行うことを特徴とする請求項１から３の何れか一項に記載のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム。
- 前記最大類似度画像組決定部に、直前に処理した結果であるｍ＿ＭＡＸを一時的に記憶しておき（ｍ＿ＭＡＸ＿ｐｒｅ）、最大類似度を計算する際に、ｍ＿ＭＡＸ＿ｐｒｅ +1 番目のページの類似度を通常より１．５倍で計算し、ｍ＿ＭＡＸ＿ｐｒｅ -1 番目の類似度を通常より１．２倍で計算するというとして、重みをつけて類似度を計算する機能を有し、ページ番号とフレーム番号の対応付け精度を向上させることを特徴とする請求項１から４の何れか一項に記載のプレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002075227A JP4136406B2 (ja) | 2002-03-18 | 2002-03-18 | プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002075227A JP4136406B2 (ja) | 2002-03-18 | 2002-03-18 | プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271655A JP2003271655A (ja) | 2003-09-26 |
| JP4136406B2 true JP4136406B2 (ja) | 2008-08-20 |
Family
ID=29204361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002075227A Expired - Fee Related JP4136406B2 (ja) | 2002-03-18 | 2002-03-18 | プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4136406B2 (ja) |
-
2002
- 2002-03-18 JP JP2002075227A patent/JP4136406B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003271655A (ja) | 2003-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046235B (zh) | 基于人脸识别的声像档案搜索方法、系统、设备及介质 | |
| JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
| US8600106B1 (en) | Method and apparatus for tracking objects within a video frame sequence | |
| JP2006338313A (ja) | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 | |
| JP2007110193A (ja) | 画像処理装置 | |
| JP2008257460A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JPWO2011001587A1 (ja) | コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム | |
| JP4327827B2 (ja) | 映像記録再生システムおよび映像記録再生方法 | |
| US20120249880A1 (en) | Method and apparatus for detecting camera motion type in video | |
| JP2006079457A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
| US7042525B1 (en) | Video indexing and image retrieval system | |
| CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
| US20190364196A1 (en) | Method and Apparatus for Generating Shot Information | |
| WO2019184719A1 (zh) | 一种拍照的方法和装置 | |
| JP4572175B2 (ja) | 非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラム | |
| US9224069B2 (en) | Program, method and apparatus for accumulating images that have associated text information | |
| JP2005141584A (ja) | 画像削除装置，及び画像圧縮装置 | |
| JP4136406B2 (ja) | プレゼンテーション映像と電子プレゼンテーション資料の対応付けシステム | |
| JP6778625B2 (ja) | 画像検索システム、画像検索方法及び画像検索プログラム | |
| EP2287749A1 (en) | Data retrieval device | |
| CN113361426A (zh) | 车辆定损图像获取方法、介质、装置和电子设备 | |
| JP2002245051A (ja) | 動画像検索装置及び方法、その方法をコンピュータに実行させるためのプログラム並びにそのプログラムを記録した記録媒体 | |
| JP2007087049A (ja) | 動画像処理装置 | |
| De et al. | Discrete orthogonal moments based framework for assessing blurriness of camera captured document images | |
| KR20180081303A (ko) | 뉴스 인터뷰 영상의 오버레이 텍스트 기반 인물 인덱싱 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080603 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |