JP3809775B2

JP3809775B2 - スキャン・ドキュメントをビデオにリンクする方法、情報システム、及びプログラム

Info

Publication number: JP3809775B2
Application number: JP2001123757A
Authority: JP
Inventors: チィーウパトリック; ティー．フートジョナサン; ガーゲンショーンアンドレアス; エス．ボレッキージョン
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2000-05-31
Filing date: 2001-04-23
Publication date: 2006-08-16
Anticipated expiration: 2021-04-23
Also published as: US20060143567A1; US7051271B1; JP2002027190A; US7712017B2

Description

【０００１】
【発明の属する技術分野】
本発明は、情報を取得することに係り、より詳細には、情報のリンキングタイプに関する。
【０００２】
【従来の技術】
ミーティングのようなイベントは重要な情報を保存するために記録されてもよい。しばしば、ミーティングのビデオは、ミーティングに出席することができなかった者によって検索され得る重要な情報を含むこともある。ミーティングの間、プレゼンタ又は出席者は、彼らのプレゼンテーションをより効果的にするためにプリントを配布することがある。特定の配布用プリント又はスライドに関する議題はそのミーティングの重要な局面となり得る。その後のビデオのビューワは特定の配布用プリントに関連したビデオのセグメントのみをビューしたいとする。
【０００３】
配布用プリントは広く使用され、ミーティング中、関係者はそれらと対話することを快く感じる。人々はやり方について特別に意識せずとも、配布用プリントにノートや注釈をつけることができる。このことは、特に、技術的にトレーニングを受けていないかもしれないミーティングの出席者の集まりに用いられる大部分の電子的ドキュメント及びデバイスに関しては当てはまらない。というのは、皆さんが注目し出席しなければならないミーティングの間は目立たない形式のファクタ及び要求度の低いユーザインターフェースを有する最も単純なテクノロジーのみが使用可能となるからである。
【０００４】
Cornell Lecture Browser（コーネルレクチャブラウザ：ＣＬＢ）は、ユーザが指定されたフォーマットでディジタルドキュメントに関連するビデオのセグメントをビューすることを可能とする。ＣＬＢは指定されたディジタルドキュメントをビデオ録画されたイベントのセクションにマッチングさせる。しかしながら、いくつかのシナリオ（場面）において、配布用プリントである前もってフォーマッティングされたディジタルファイルは全てのイベントにおいて利用可能とは限らない。配布用プリントはミーティングで使用可能な唯一のドキュメントであるかもしれない。また、指定されたディジタル式の配布用プリントを生成することは、出席者が有さない特別の装置や知識を必要とすることもある。
【０００５】
これに対して、配布用プリントは、ディジタルファイルを生成するために簡単にスキャンすることができる。スキャニング装置は比較的安価で操作しやすい。にもかかわらず、配布用プリント及び／又はスライドをスキャンする際、ＣＬＢを使用すれば、あえて克服する必要のない多数の問題に出くわすことになる。第１に、スキャン・ドキュメントは、スキャンされた配布用プリントをビデオテープのセグメントにマッチングさせることを妨げるかなりのマージンを有することがある。第２に、スキャン・ドキュメントはスキャニングの間に僅かに回転され、スキューされたスキャン・ドキュメントが結果的に生じ、これにより、スキャン・ドキュメントをビデオのセグメントにマッチングさせることが妨げられる。第３に、ビデオがカラーでビデオ録画されている間、配布用プリントがモノクロームであることによって、スキャン・ドキュメントとビデオのセグメントの間のマッチングが更に妨げられる。第４に、配布用プリントは、手書きの注釈がスキャンされるので、スキャン・ドキュメントとビデオのセグメントのマッチングが更に複雑になる。
【０００６】
【発明が解決しようとする課題】
従って、スキャン・ドキュメントをビデオのセグメントにリンクさせるソフトウェアを有する方法、システム、及びプログラムを提供することが望ましい。本発明の方法、システム、及びプログラムは、かなりのマージンを有しつつ、スキャニングの間に回転するスキャン・ドキュメントをリンクさせることを可能としなければならない。本発明の方法、システム、及びプログラムは、モノクロームのスキャン・ドキュメントをカラービデオに、又はその逆に、リンクさせなければならない。
【０００７】
【課題を解決するための手段】
本発明の実施の形態によれば、スキャン・ドキュメントをビデオのセグメントにリンクする方法が提供されている。スキャン・ドキュメントのマージンは除去され、ドキュメントはスケーリングされる。スキャン・ドキュメントはスキャン・ドキュメント識別子へ正規直交変換される。次に、複数のビデオフレームを有するビデオ・ファイルが得られる。複数のビデオフレームが複数のそれぞれのビデオフレーム識別子に正規直交変換される。スキャン・ドキュメント識別子が複数のビデオフレーム識別子と比較される。比較ステップの比較結果に応答して、スキャン・ドキュメントが複数のビデオフレーム内の第１のビデオフレームにリンクされる。
【０００９】
本発明の他の実施の形態によれば、正規直交変換は、離散コサイン変換である。
【００１０】
本発明のまた他の実施の形態によれば、変換ステップが最下位情報を除去することを含む。
【００１１】
本発明の他の実施の形態によれば、複数のビデオフレームを変換するステップの正規直交変換が、離散コサイン変換を用いることを含む。
【００１２】
本発明の他の実施の形態によれば、比較ステップが、スキャン・ドキュメントからのカラー情報と複数のビデオフレームからのカラー情報を比較することを含む。
【００１３】
本発明の他の実施の形態によれば、リンクステップが、スキャン・ドキュメントを複数のビデオフレーム内の第１と第２とのフレームにリンクすることを含む。
【００１４】
本発明の他の実施の形態によれば、スキャン・ドキュメントは、手書きの注釈を含む。
本発明の他の実施の形態によれば、スキャン・ドキュメントは、配布プリント又はスライドであって、ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である。
【００１５】
本発明の他の実施の形態によれば、スキャン・ドキュメントをビデオ・ファイルのセグメントにリンクする情報システムが提供されている。情報システムは、マージンを有するスキャン・ドキュメントを得て、前記得られたスキャン・ドキュメントから前記マージンを除去し、前記スキャン・ドキュメントをスケーリングし、スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換し、複数のビデオフレームを有するビデオ・ファイルを得て、複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換し、前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較し、比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせる第１の処理デバイスを備えている。
第１の処理デバイスは、パーシステント記憶デバイスに連結されており、このパーシステント記憶デバイスは、変換されたスキャン・ドキュメントと変換されたビデオフレームの比較結果に応答して、スキャン・ドキュメント・ファイルとビデオ・ファイルのセグメントとの間にリンクを生成するリンキング・ソフトウェアを記憶する。
【００１６】
本発明の他の実施の形態によれば、情報システムは、第１の処理デバイスに連結されたスキャナを更に有する。このスキャナは、物理的ドキュメントから、スキャンされたドキュメント又はディジタルファイルを生成する。
【００１７】
本発明の他の実施の形態によれば、カメラは、第１の処理デバイスに連結され、ビデオ・ファイルを記録するために使用される。
【００１８】
本発明の他の実施の形態によれば、第２の処理デバイスが第１の処理デバイスに連結され、スキャン・ドキュメントの選択に応答してビデオのセグメントをビューするために使用される。
本発明の他の実施の形態によれば、スキャン・ドキュメントは、配布プリント又はスライドであって、ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である。
【００１９】
本発明の更に他の実施の形態によれば、スキャン・ドキュメントを得るためのプログラムが提供されている。このプログラムは、コンピュータに、マージンを有するスキャン・ドキュメントを得るステップ、前記スキャン・ドキュメントから前記マージンを除去するステップ、前記スキャン・ドキュメントをスケーリングするステップ、スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換するステップ、複数のビデオフレームを有するビデオ・ファイルを得るステップ、複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換するステップ、前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較するステップ、及び比較ステップの比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせるステップ、を実行させるためのプログラムである。
【００２１】
本発明の他の実施の形態によれば、正規直交変換するステップが、最下位情報を除去しスキャン・ドキュメントのマージンを除去することを含む。
【００２２】
本発明の他の実施の形態によれば、プログラムが、スキャン・ドキュメントから手書きの注釈を抽出するステップを更に含む。
本発明の他の実施の形態によれば、スキャン・ドキュメントは、配布プリント又はスライドであって、ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である。
【００２３】
本発明の第１の態様は、（ａ）マージンを有するスキャン・ドキュメントを得るステップと、（ｂ）スキャン・ドキュメントからマージンを除去するステップと、（ｃ）スキャン・ドキュメントをスケーリングするステップと、（ｄ）スキャン・ドキュメント識別子へスキャン・ドキュメントを正規直交変換するステップと、（ｅ）複数のビデオフレームを有するビデオ・ファイルを得るステップと、（ｆ）複数のそれぞれのビデオフレーム識別子に複数のビデオフレームを正規直交変換するステップと、（ｇ）スキャン・ドキュメント識別子を複数のビデオフレーム識別子と比較するステップと、（ｈ）ステップ（ｇ）の比較結果に応じて、スキャン・ドキュメントを複数のビデオフレーム内の第１のビデオフレームとリンクさせるステップと、を備える、スキャン・ドキュメントをビデオにリンクする方法である。
【００２４】
本発明の第２の態様は、スキャン・ドキュメントを得るステップ（ａ）は、ドキュメントをスキャニングするステップを含む、第１の態様に記載の方法である。
【００２５】
本発明の第３の態様は、マージンを除去するステップ（ｂ）が均一カラーを有するマージンが除去されるまで、スキャン・ドキュメントの境界ボックスを低減することを含む、第１の態様に記載の方法である。
【００２６】
本発明の第４の態様は、スケーリングするステップ（ｃ）がスキャン・ドキュメントを約６４画素×約６４画素にスケーリングすることを含む、第１の態様に記載の方法である。
【００２８】
本発明の第５の態様は、正規直交変換が離散コサイン変換である、第１の態様に記載の方法である。
【００２９】
本発明の第６の態様は、変換するステップ（ｄ）が最下位情報を除去することを含む、第１の態様に記載の方法である。
【００３０】
本発明の第７の態様は、ビデオ・ファイルを得るステップ（ｅ）がイベントをビデオレコーダに記録することを含む、第１の態様に記載の方法である。
【００３３】
本発明の第８の態様は、変換するステップ（ｆ）が最下位情報を取り除くことを含む、第１の態様に記載の方法である。
【００３４】
本発明の第９の態様は、比較するステップ（ｇ）が、スキャン・ドキュメントからのカラー情報と複数のビデオフレームからのカラー情報とを比較することを含む、第１の態様に記載の方法である。
【００３５】
本発明の第１０の態様は、リンクするステップが、スキャン・ドキュメントを、複数のフレーム内の第１及び第２のフレームにリンクすることを含む、第１の態様に記載の方法である。
【００３６】
本発明の第１１の態様は、スキャン・ドキュメントが手書きの注釈を含む、第１の態様に記載の方法である。
【００３７】
本発明の第１２の態様は、スキャン・ドキュメントから注釈を抽出するステップを更に備える、第１１の態様に記載の方法である。
【００３８】
本発明の第１３の態様は、スキャン・ドキュメントからユニバーサル・リソース・ロケータ・アドレスをダブルクリックすることによってビデオ・ファイルのセグメントをビューするステップを更に備える、第１の態様に記載の方法である。
本発明の第１４の態様は、スキャン・ドキュメントは、配布プリント又はスライドであって、ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である、第１の態様に記載の方法である。
【００３９】
本発明の第１５の態様は、マージンを有するスキャン・ドキュメントを得て、前記得られたスキャン・ドキュメントから前記マージンを除去し、前記スキャン・ドキュメントをスケーリングし、スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換し、複数のビデオフレームを有するビデオ・ファイルを得て、複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換し、前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較し、比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせる第１の処理デバイスを備えた情報システムである。
【００４０】
本発明の第１６の態様は、第１の処理デバイスに連結されスキャン・ドキュメント・ファイルを物理的ドキュメントから生成するスキャナを更に備える、第１５の態様に記載の情報システムである。
【００４１】
本発明の第１７の態様は、第１の処理デバイスに連結されビデオ・ファイルを生成するカメラを更に備える、第１５の態様に記載の情報システムである。
【００４２】
本発明の第１８の態様は、第１の処理デバイスに連結されビデオ・ファイルのセグメントをビューする第２の処理デバイスを更に備える、第１５の態様に記載の情報システムである。
本発明の第１９の態様は、スキャン・ドキュメントは、配布プリント又はスライドであって、ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である、第１５の態様に記載の情報システムである。
【００４３】
本発明の第２０の態様は、コンピュータに、（ａ）マージンを有するスキャン・ドキュメントを得るステップ、（ｂ）前記スキャン・ドキュメントから前記マージンを除去するステップ、（ｃ）前記スキャン・ドキュメントをスケーリングするステップ、（ｄ）スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換するステップ、（ｅ）複数のビデオフレームを有するビデオ・ファイルを得るステップ、（ｆ）複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換するステップ、（ｇ）前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較するステップ、及び（ｈ）ステップ（ｇ）の比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせるステップ、を実行させるためのプログラムである。
【００４６】
本発明の第２１の態様は、正規直交変換するステップ（ｄ）が最下位情報を除去することを含む、第２０の態様に記載のプログラムである。
【００４８】
本発明の第２２の態様は、スキャン・ドキュメントから手書きの注釈を抽出するステップを更に含む、第２０の態様に記載のプログラムである。
【００５０】
本発明の第２３の態様は、比較するステップ（ｇ）が、スキャンされたドキュメントからのカラー情報とビデオ・ファイルからのカラー情報とを比較する、第２０の態様に記載のプログラムである。
本発明の第２４の態様は、スキャン・ドキュメントは、配布プリント又はスライドであって、ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である、第２０の態様に記載のプログラムである。
【００５１】
【発明の実施の形態】
図１及び図７は、本発明の実施の形態による記録されたイベントにおいて使用されるブラウザインターフェース１００ａを示す。以下に詳細に記述されるように、ブラウザ１００とリンキング・ソフトウェア８００は、ユーザが、インターネット上で、スキャン・ドキュメント１０１ａを参照するミーティング等の記録されたイベント５０のセグメントを、ビューすることを可能とする。
【００５２】
本発明の実施の形態において、ユーザインターフェース１００ａは、File（ファイル）、Edit（編集）、View（表示）、Help（ヘルプ）ファンクションを有するプルダウンメニュー１０３を含む。コントロール１０２によって、ユーザは、ビデオ再生をコントロールすることができる。本発明の実施の形態において、図７に示されるように、コントロール１０２によって、ユーザは、カメラ８５１を用いてイベント５０のビデオ記憶であるビデオ・ファイル２００の再生をコントロールすることができる。ウィンドウ２０３は、スキャン・ドキュメントのディスプレイと記録されたイベント５０の再生を許容する。バーチャート１０４は特定のスキャン・ドキュメントがイベント５０において使用される周波数と持続時間を示す。
【００５３】
図２は、ビデオ・ファイル２００、詳細には、ビデオ・ファイル２００のビデオフレーム２００ａをディスプレイするために使用されるウィンドウ２０３を有するブラウザインターフェース１００ａを示す。ビデオフレーム２００ａにおいて、ドキュメント投影１０１ｂがウィンドウ２０３内に記録され示されている。ウィンドウ１０５は、ビデオフレーム２００ａがイベント５０の進行中にディスプレイされる相対タイムをディスプレイする。同様に、バー１０４ａは、ドキュメント１０１がウィンドウ２０３内にプロジェクション（投影）１０１ｂとして表示される時間と継続期間を表す。
【００５４】
図３は、スキャン・ドキュメント１０１ａを参照するビデオ・ファイル２００のセグメントにアクセスするためのブラウザ・インターフェース３００を示す。図１と同様に、ブラウザ・インターフェース３００は、スキャン・ドキュメント３０１及び１０１ａをビューするためのウィンドウ３０２を有する。本発明の実施の形態において、ユーザは、スキャン・ドキュメント３０１及び１０１ａをダブルクリックし、そうすると、ブラウザ・インターフェース１００ａは、ウィンドウ２０３内に、スキャン・ドキュメントを参照するイベント５０の対応する記録されたセグメントを再生する。本発明の他の実施の形態において、スキャン・ドキュメント３０１及び１０１ａは、ハイパーリンクされたユニバーサル・リソース・ロケーション（“ＵＲＬ”）アドレスによって表されてもよい。
【００５５】
図７に示されるように、リンキング・ソフトウェア８００は、スキャン・ドキュメントをこのスキャン・ドキュメントが参照されるビデオ・ファイルの対応するセグメントにリンクさせる。本発明の実施の形態によって、全体の記録をビューすることを必要とせずに、ユーザは、記録されたイベントの有効なセグメントをビューすることができる。これにより、イベント５０の有効セグメントのみをビューすることによって、大量の時間と資源が節約される。更に、本発明の実施の形態によって、記録のセグメントをスキャン・ドキュメントにリンクする際に、ユーザは、比較的安価な、ユーザ・フレンドリーなスキャニング装置を使用することができる。
【００５６】
図４乃至図６は、記録されたイベントのセグメントにスキャン・ドキュメントをリンクさせる方法を示す。当業者には理解されるであろうが、図４乃至図６は、特定のファンクションを実行するための論理ブロックを示す。他の実施の形態においては、より多くの又はより少ない論理ブロックが使用されてもよい。本発明の実施の形態において、論理ブロックは、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・サブルーチン、コード・フラグメント、ハードウェア・オペレーション、及びユーザ・オペレーションを、単独又は組み合わせて、表す。
【００５７】
方法２２０は、論理ブロック２０１によって示されるように、スキャン・ドキュメント１０１ａ又はドキュメント１０１のディジタル表示を生成するために、ドキュメント１０１をディジタルにスキャニングすることによって、開始される。あるイベントにおいて、ドキュメント１０１は、物理的な配布用プリントである。他の実施の形態において、ドキュメント１０１は、手書きの注釈を有したり、プロジェクションのためのスライドであったりする。マージンは、次に、論理ブロック２０２によって図示されるように、スキャン・ドキュメントから除去される。スキャンコンバータによって生じるブラックマージンと配布用プリントにおけるホワイトマージンは、以下に記述されるように、ドキュメントを変換する際に、重大な影響を与える。この問題は、均一のカラーを有する全てのマージンが除去されるまで画像の境界ボックスを低減することによって解決される。均一のホワイトではない背景を有するスライドがホワイトの用紙にプリントされ、人工的なマージンなしで画像と比較される場合は、いくつかの層状の均一マージンを取り去ることが必要となる。
【００５８】
スキャン・ドキュメントは次に論理ブロック２０３によって示されているようにスケーリングされる。本発明の実施の形態において、ドキュメントは、約６４×６４画素にスケーリングされる。
【００５９】
正規直交変換は、次に、論理ブロック２０４によって示されるように、ドキュメント上で実行される。この変換は、画像圧縮において一般的な小さなサブブロックよりもむしろ、スキャン・ドキュメント１０１ａ全体に適用される。本発明の好ましい実施の形態においては、離散コサイン変換（ＤＣＴ）が、スキャン・ドキュメント１０１ａ上で実行され、ドキュメント識別子又は一連のＤＣＴ係数を生成する。
【００６０】
変換は、グレースケール画像上で実行されるか又はカラー情報がカラー情報に基づいた一つ以上の付加的な特徴（シグネチャ）を計算することによってキャプチャされ得る。現存のルミナンス（Ｙ）特徴に加算するためにスキャン・ドキュメント（ＹＵＶカラースペースにおけるＵＶ成分）のクロマチック（色）成分に対する付加的特徴を演算することによって達成される。クロマチック成分は空間的な解像度をあまり必要としないので、より小さな特徴で表すことができる。
【００６１】
或いは、ＹＵＶ又はＲＧＢの各カラー成分は分離画像として扱われる。このように、三つの特徴が計算され、各スキャン・ドキュメント毎に比較される。これによって、類似点距離内の全体的なカラーによる重み付けが可能となる。
【００６２】
カラー情報を使用する更に他の実施の形態は、ルミナンス（Ｙ）特徴を得ることとカラーヒストグラムを得ることとを組み合わせることである。第１のステップにおいて、スキャンされた画像は、ルミナンス特徴類似点によって発見され得る。トップランキングされるスキャン画像は、カラーヒストグラムの類似点又は同様のアプローチによって検討される。
【００６３】
カラーヒストグラムは画像変換及び回転へのＤＣＴ（離散コサイン変換）係数に対してあまりセンシティブでないが、スキャン・ドキュメント及びドキュメントのビデオ・ファイルの間でマッチングを見つけるための唯一の手段としては適していない。同一の背景と同一の量のテキストとを有する二つのスキャン・ドキュメントは、テキストが異なっていても、同一のカラーヒストグラムを生成する。ＤＣＴ係数を用いるとき、ページ上のテキスト分布における変化は、わずかな低周波係数によって認識され得る。同一場所で同一長さの異なるワードを区別する場合、より高い周波数の係数が必要とされる。ワードの感知と注釈のフィルタリングの間の適切なバランスが必要である。にもかかわらず、カラー情報又は特徴は、画像識別子の一部として使用され得る。
【００６４】
変換されたデータは、最下位情報を放棄することによって低減される。実施の形態において、スキャン・ドキュメント係数は論理ブロック２０５によって、図示されるように、切り捨てられる。実施の形態において、最下位情報を放棄するために主成分分析（ＰＣＡ）又は線形識別分析（ＬＤＡ）が使用され得る。好ましい実施の形態において、もっともばらつきの高い係数を選択することが好ましい。本発明の実施の形態においては、２５６個の最低周波数のＤＣＴ係数がローパス・フィルタを用いて保持される。打切られたＤＣＴ係数は、配布用プリントをスキャンする間に発生し得るように、画像の変換、回転、又はスケーリングにおける小さな誤差は感知しない。
【００６５】
スキャン・ドキュメント係数は次に論理ブロック２０６に示されているように正規化される。
【００６６】
ドキュメント係数は次に論理ブロック２０７によって保存される。
【００６７】
次に、論理ブロック２０８によって示されるように、他のドキュメントをスキャンする必要があるか否かが決定される。他のドキュメントがスキャンされる必要がある場合、論理ブロック２０１乃至２０７は反復される。そうでなければ、コントロールは論理ブロック２０９へ移行する。
【００６８】
ディジタルビデオ・ファイルは次に論理ブロック２０９に示されるようにして得られる。本発明の実施の形態において、カメラ８５１はミーティングが行われているミーティングルームに位置決めされ、これによって、ミーティングはビデオ・ファイル２００として記録され得る。次に、ビデオ・ファイル２００からのビデオフレームは、論理ブロック２１０に示されるように検索される。本発明の実施の形態において、６番目ごとのビデオフレームが得られる。
【００６９】
マージンからのビデオは、論理ブロック２１０ａによって示され、上述されるように、取り除かれる。
【００７０】
ビデオフレームは、次に、論理ブロック２１０ｂによって示され、上述されるように、スケーリングされる。
【００７１】
正規直交変換は、次に、論理ブロック２１１によって示されるようにビデオフレーム上で実行され、ビデオフレーム識別子を提供する。本発明の実施の形態において、正規直交変換は上記のように離散コサイン変換である。ビデオフレーム係数は、次に、論理ブロック２１２によって示され、上述されるように、切り捨てられる。本発明の実施の形態において、２５６個の最低周波数のＤＣＴ係数が得られる。
【００７２】
ＤＣＴ係数は次に論理ブロック２１３によって示されるように正規化される。
【００７３】
ビデオフレーム係数は次に論理ブロック２１４に示されるように保存される。
【００７４】
論理ブロック２１５によって示されるようにビデオフレームが残っているか否かが決定される。ビデオフレームが残っている場合、論理コントロールは論理ブロック２１０へ移行して戻り、論理ブロック２１０乃至２１４が反復される。そうでない場合、論理コントロールは論理ブロック２１６ａへ移行する。
【００７５】
スキャン・ドキュメントからの保存されたドキュメント係数は論理ブロック２１６ａによって示されるように検索される。
【００７６】
ビデオのフレームからの保存されたフレーム係数は次に論理ブロック２１６ｂによって示されるように検索される。
【００７７】
論理ブロック２１６によって示されるように、スキャン・ドキュメント１０１ａを表す検索されたＤＣＴ係数とビデオフレームのＤＣＴ係数との間で計算が行われる。任意の特定のビデオフレームとスキャン画像との間の類似度は、係数同士の類似度を測定することによって計算され得る。本発明の実施の形態において、ドキュメント係数とビデオフレーム係数との間のユークリッド距離が計算される。この計算は、パフォーマンスを高めるために有用に重み付けされることができ、例えば、ＤＣ成分を少なめに重み付けし、これにより、本方法は、全体の画像の明るさにあまり依存しなくてもよくなる。
【００７８】
本発明の実施の形態によれば、論理ブロック２１７によって示されるように、ユークリッド距離が所定のしきい値より小さいか否かが決定される。距離が所定のしきい値よりも小さくない場合、論理コントロールは論理ブロック２１６ｂへ移行して戻る。そうでない場合、論理コントロールは論理ブロック２１８へ移行する。
【００７９】
本発明の他の実施の形態によれば、論理ブロック２１７はドキュメント係数とビデオフレーム係数との間で最小のユークリッド距離を求めることによって置き換えられる。例えば、最小から５番目迄のユークリッド距離がマッチングとして使用される。
【００８０】
論理ブロック２１８に示されているように、スキャンされたディジタル・ドキュメントは次にビデオフレームにリンク又はインデックス付けされる。論理ブロック２１９において他のスキャンされたドキュメント係数が検索されるか否かが決定される。他のスキャン・ドキュメントがある場合、論理は論理ブロック２１６ａへ移行し、そこで、論理ブロック２１６ａ乃至２１８が反復される。そうでない場合、本方法は終了する。
【００８１】
配布プリントはイベント５０において何回も参照され得る。例えば、質疑と応答の期間中、スピーカは質問の中で参照される配布プリントに戻ることができる。これを処理するため、上述されるように、方法２２０は、（第１のマッチングで停止するよりも）ビデオ・ファイル２００を完全に通過し、一連の出現プラス各出現の継続時間を求める。
【００８２】
ユーザインターフェースにおいて、出現回数及び各出現の継続時間における情報は、「一時的アイコン」を用いて示され得る。一時的アイコンは、配布プリントが参照された回数を表す時間を示すクロックアイコンである。アイコンは、出現の継続時間を示すアークを有する（ダイバーズウォッチと同様の）ベゼルの周りにリングを有する。更に、アーク及び／又はクロックフェースのカラーは、再生中に、イベントのセグメントがアクセスされたか又は部分的にアクセスされたかを示すためにカラー変更する。
【００８３】
配布プリントは注釈をつけるのが非常に簡単である。インクの注釈は上述された画像のマッチングのために無視され得る。というのは、細いラインであるインクストロークは、放棄される高周波係数に貢献するだけなので、失敗する。
【００８４】
インクの注釈を抽出するために、オリジナルと注釈がつけられた配布プリントとの間で単純な比較が実行されてもよい。一つ以上のセットの配布プリントに注釈がつけられた時、これらのインクストロークが抽出され、スキャン・ドキュメントの共通のバックグラウンド上に選択的に層状配置される。インクの注釈とノートをディスプレイするための他の方法は、単にそれらをバックグラウンドなしで示すことである。いかなる場合においても、インクストロークは、ビデオ記録においてそれらの対応するセグメントを再生するためにハイパーリンクされてもよい。
【００８５】
図７は、本発明の実施の形態による、スキャン・ドキュメントを記録されたイベントのセグメントにリンクするのに適した例示的な情報システムのハードウェアとソフトウェアのコンポーネントを示す。図７のシステム７９９は、処理デバイス８０３を含み、処理デバイス８０３は、コネクション８２９等の一つ以上の通信経路によってローカルエリアネットワーク（ＬＡＮ）８４０に、そして、本明細書中ではインターネット８８０として図示される広域ネットワーク（ＷＡＮ）にも接続される。ＬＡＮ８４０を介して、処理デバイス８０３は、スキャナ８４１及びカメラ８５１等の他の処理デバイスと通信することができる。他の実施の形態において、スキャナ８４１とカメラ８５１は、物理的にＬＡＮ８４０に接続されない。処理デバイス８０３は、インターネット８８０を介して、ウェブクライアント８８１等の他の処理デバイスと局所的及び遠隔的に通信することができる。理解されるように、処理デバイス８０３からインターネット８８０への接続は、種々の方法、例えば、コネクション（ワイヤド又はワイヤレス）８２９を介して直接、ローカル・エリア・ネットワーク８４０を介して、又は（図示されない）モデムによって行われる。
【００８６】
本発明の実施の形態における処理デバイス８０３は、パーソナル又はオフィスコンピュータである。例示的な実施の形態は、Dell(登録商標)Dimension（登録商標）XPS Bシリーズのデスクトップコンピュータ（Dell Computer Company, Round Rock, TX）を使用している。他の実施の形態においては、処理デバイス８０３は、パーソナルディジタルアシスタント、ハンドヘルドコンピュータ、「スマート」テレフォン、情報機器、又は同等のものである。説明するために、処理デバイス８０３は、ハードウェアコンポーネント８０１とソフトウェアコンポーネント８０２に便宜的に分けられる。しかしながら、当業者は、この分割が概念的且つ任意であり、ハードウェアとソフトウェアの間のラインがハードで迅速なものではないことを理解するであろう。また、ホストコンピュータとその装着された周辺機器の間のラインがハードで迅速なものではなく、特に、いくつかのコンピュータの周辺機器であると考えられるコンポーネントは他のコンピュータの総合パーツであると考えられるということが理解されよう。
【００８７】
ハードウェアコンポーネント８０１は、プロセッサ（ＣＰＵ）８０５、メモリ８０６、パーシステント・ストレージ８０８、ユーザＩ／Ｏ８２０、及びネットワークインターフェース８２５を有する。これらのコンポーネントは当業者によってよく理解されており、従って、本明細書中では簡単に説明されている。
【００８８】
プロセッサ８０５は、例えば、多重処理のために構成されたマイクロプロセッサ又はマイクロプロセッサの集合体である。処理デバイス８０３の役割が、協働する複数のコンピュータによっていくつかの実施の形態において果たされることが理解されよう。即ち、このような実施の形態において、図７のシステムにおける処理デバイス８０３の機能は、これらの処理デバイスの組み合わせによって実行され、プロセッサ８０５の処理能力は、複数のコンピュータの組み合わされたプロセッサによって提供される。
【００８９】
メモリ８０６は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、仮想メモリ、又は他のメモリテクノロジー等のコンピュータ読み取り可能媒体を、単独又は組み合わせて、有し得る。パーシステントストレージ（持続性記憶装置）８０８は、例えば、磁気ハードディスク、フロッピディスク、又は他のパーシステント読み書きデータ記憶テクノロジーを、単独又は組み合わせて、有し得る。パーシステントストレージ８０８は、ＣＤ−ＲＯＭ又は他の大容量記憶テクノロジーによって提供され得るような大容量又はアーカイバル記憶を更に有し得る。（ウェブクライアント８８１は同様のソフトウェア及びハードウェアコンポーネントを有していてもよいことに注目されたい。）一つの実施の形態において、パーシステントストレージ８０８は、スキャンされたディジタルドキュメント１０１ａとビデオ・ファイル２００とを記憶する。
【００９０】
ユーザＩ／Ｏ（入力／出力）ハードウェア８２０は、ＣＲＴ又はフラットパネルディスプレイ、アルファニューメリックキーボード、及びマウス又は他のポインティングデバイス等のビジュアルディスプレイモニタを一般的に有し、プリンタ、光学スキャナ、又はユーザ入力及び出力用の他のデバイスを更に選択的に有する。実施の形態において、ユーザＩ／Ｏ（入力／出力）ハードウェア８２０は、スキャンされたディジタルドキュメント１０１ａに対応するビデオ・ファイル２００のセグメントの再生を選択するために使用される。
【００９１】
ネットワークＩ／Ｏ（入力／出力）ハードウェア８２５は、処理デバイス８０３と外の世界との間にインターフェースを提供する。より詳細には、ネットワークＩ／Ｏ８２５は、プロセッサ８０５を、ＬＡＮ８４０及びインターネット８８０を通してコネクション８２９を介して、他のプロセッサ及びデバイスと通信させる。
【００９２】
ソフトウェアコンポーンネント８０２は、オペレーティングシステム９００とオペレーティングシステム９００の制御下での一組のタスクとを有する。当業者に公知であるように、オペレーティングシステム９００はまた、プロセッサ８０５に、パーシステントストレージ８０８、ユーザＩ／Ｏ８２０、及びネットワークインターフェース８２５等の種々のデバイスをコントロールさせる。プロセッサ８０５は、メモリ８０６と、コンピュータシステム８０３の他のコンポーネントと共にオペレーティングシステム９００のソフトウェアとそのタスクを実行する。
【００９３】
一つの実施の形態において、ソフトウェア８０２は、ブラウザ１００とビデオ・ファイル２００を再生するためのビデオプレーヤ９０１と、を有する。一つの実施の形態において、ビデオプレーヤ９０１は、ＭＰＥＧ（Moving Picture Experts Group：動画像圧縮方式標準化作業グループ）プレーヤ又はリアルビデオ（RealVideo）プレーヤである。本発明の実施の形態において、ブラウザ１００は、カリフォルニア州マウンテンビューにあるNetscape Communications Corporation によって提供されるNetscape 6.0 browserであってもよい。
【００９４】
本発明の実施の形態において、リンキング・ソフトウェア８００は、磁気ハードディスク、フロッピディスク、ＣＤ−ＲＯＭ、又は他の書き込み可能データ記憶テクノロジーが単独又は組み合わされて用いられるコンピュータ読み取り可能媒体に記憶される。
【００９５】
当業者は、図７のシステムは、あくまでも図示を目的としており、本発明は、これらに限定されるものではなく、図７に示されているものに代わって又はそれ以外に、広範囲の演算、通信、情報、及びドキュメント処理デバイスを使用することができることを理解するであろう。例えば、インターネット８８０を介した接続は一般的に中間ルータコンピュータ（図示しない）によるパケットスイッチを有し、処理デバイス８０３は、有してはいるがそれらに限定されないスキャナ８４１及びカメラ８５１を有する任意の数の処理デバイスにアクセスする傾向がある。
【００９６】
前述の本発明の好ましい実施の形態は図示と説明のために提供されている。本発明を全て網羅しようとするものではなく、開示されている正確な形態に本発明を限定しようとするものでもない。明らかに、多くの変更及び変形が当業者に理解されるであろう。実施の形態は、本発明の原理とその実践的な適用を最もわかりやすく説明すべく選択され記述され、これにより、他の当業者が本発明を考えられる特定の使用に合うように、種々の実施の形態に対して及び種々の改良をもって理解することが可能となるであろう。本発明の範囲は、クレーム及びそれらの同等のものによって定義されるように意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態による、ブラウザ内にディスプレイされたビデオフレームを示す図である。
【図２】本発明の実施の形態による、図１に示されたスキャン・ドキュメントを用いたミーティングのビデオを示す図である。
【図３】本発明の実施の形態による、ビデオのセグメントを参照するスキャン・ドキュメントをビューすることを示す図である。
【図４】本発明の実施の形態による、スキャン・ドキュメントをビデオのセグメントにリンクする方法を示すフローチャートの一部である。
【図５】本発明の実施の形態による、スキャン・ドキュメントをビデオのセグメントにリンクする方法を示すフローチャートの一部である。
【図６】本発明の実施の形態による、スキャン・ドキュメントをビデオのセグメントにリンクする方法を示すフローチャートの一部である。
【図７】本発明の実施の形態による、単純化されたハードウェア及びソフトウェアを示すブロック図である。

Claims

（ａ）マージンを有するスキャン・ドキュメントを得るステップと、
（ｂ）前記スキャン・ドキュメントから前記マージンを除去するステップと、
（ｃ）前記スキャン・ドキュメントをスケーリングするステップと、
（ｄ）スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換するステップと、
（ｅ）複数のビデオフレームを有するビデオ・ファイルを得るステップと、
（ｆ）複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換するステップと、
（ｇ）前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較するステップと、
（ｈ）ステップ（ｇ）の比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせるステップと、
を備える、スキャン・ドキュメントをビデオにリンクする方法。
前記スキャン・ドキュメントを得るステップ（ａ）は、ドキュメントをスキャニングするステップを含む、請求項１に記載の方法。
前記マージンを除去するステップ（ｂ）が、均一カラーを有するマージンが除去されるまで、前記スキャン・ドキュメントの境界ボックスを低減することを含む、請求項１に記載の方法。
前記スケーリングするステップ（ｃ）が前記スキャン・ドキュメントを約６４画素×約６４画素にスケーリングすることを含む、請求項１に記載の方法。
前記正規直交変換が離散コサイン変換である、請求項１に記載の方法。
前記変換するステップ（ｄ）は最下位情報を除去することを含む、請求項１に記載の方法。
ビデオ・ファイルを得るステップ（ｅ）がイベントをビデオレコーダに記録することを含む、請求項１に記載の方法。
前記正規直交変換するステップ（ｆ）が前記最下位情報を取り除くことを含む、請求項１に記載の方法。
前記比較するステップ（ｇ）が、前記スキャン・ドキュメントからのカラー情報と前記複数のビデオフレームからのカラー情報とを比較することを含む、請求項１に記載の方法。
前記リンクするステップが、前記スキャン・ドキュメントを、前記複数のフレーム内の第１及び第２のフレームにリンクすることを含む、請求項１に記載の方法。
前記スキャン・ドキュメントが手書きの注釈を含む、請求項１に記載の方法。
前記スキャン・ドキュメントから前記注釈を抽出するステップを更に備える、請求項１１に記載の方法。
前記スキャン・ドキュメントからユニバーサル・リソース・ロケータ・アドレスをダブルクリックすることによって前記ビデオ・ファイルのセグメントをビューするステップを更に備える、請求項１に記載の方法。
前記スキャン・ドキュメントは、配布プリント又はスライドであって、
前記ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である、請求項１に記載の方法。
マージンを有するスキャン・ドキュメントを得て、
前記得られたスキャン・ドキュメントから前記マージンを除去し、
前記スキャン・ドキュメントをスケーリングし、
スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換し、
複数のビデオフレームを有するビデオ・ファイルを得て、
複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換し、
前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較し、
比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせる第１の処理デバイス
を備えた情報システム。
前記第１の処理デバイスに連結され前記スキャン・ドキュメントを物理的ドキュメントから生成するスキャナを更に備える、請求項１４に記載の情報システム。
前記第１の処理デバイスに連結され前記ビデオ・ファイルを生成するカメラを更に備える、請求項１４に記載の情報システム。
前記第１の処理デバイスに連結され前記ビデオ・ファイルの前記セグメントをビューする第２の処理デバイスを更に備える、請求項１４に記載の情報システム。
前記スキャン・ドキュメントは、配布プリント又はスライドであって、
前記ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である、請求項１４に記載の情報システム。
コンピュータに、
（ａ）マージンを有するスキャン・ドキュメントを得るステップ、
（ｂ）前記スキャン・ドキュメントから前記マージンを除去するステップ、
（ｃ）前記スキャン・ドキュメントをスケーリングするステップ、
（ｄ）スキャン・ドキュメント識別子へ前記スキャン・ドキュメントを正規直交変換するステップ、
（ｅ）複数のビデオフレームを有するビデオ・ファイルを得るステップ、
（ｆ）複数のそれぞれのビデオフレーム識別子に前記複数のビデオフレームを正規直交変換するステップ、
（ｇ）前記スキャン・ドキュメント識別子を前記複数のビデオフレーム識別子と比較するステップ、及び
（ｈ）ステップ（ｇ）の比較結果に応じて、前記スキャン・ドキュメントを前記複数のビデオフレーム内の第１のビデオフレームとリンクさせるステップ、
を実行させるためのプログラム。
前記スキャン・ドキュメントは、配布プリント又はスライドであって、
前記ビデオ・ファイルは、配布プリント又はスライドを参照するミーティングのビデオ記録である、請求項２０に記載のプログラム。