JP4509366B2 - 文書上の情報をスキャンしてフォーマット化するシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ハンドヘルド装置によってユーザに読み取り可能な情報をスキャンする方法及びシステムに関し、より詳細には、ユーザの将来的な使用のためスキャンした情報を発見的に整理する方法及びシステムに関する。
【０００２】
【従来の技術】
毎日、人は様々なソースから多くの記事を読む。日刊新聞をざっと見ただけで、人が一日に見る可能性のある多くの記事や広告がわかる。職場では、例えば業界誌、定期刊行ニュース、あるいはインフラオフィス通信などからさらに多くの情報を読む可能性がある。しかしながら、このように多くの情報から、重要な情報をいかに効率的に獲得しあるいは保持すべきか途方に暮れる経験が多々ある。
【０００３】
このような情報を読みながら、自分にとって特に重要な情報を見つけると、人は次のようなことを行う。まず、その重要な情報及びその情報源を書き留める可能性がある。さらには、その記事又は広告を切り抜いたりあるいはフォトコピーして、ある種のフォルダに入れることもある。しかしながら、その場合に情報を記録せず、単に自分の記憶を信じるケースが非常に多い。ところが、前記２つのオプションの１つを行ったとしても、情報は依然として効果的な方法で収集され、保存されているわけではない。よって、その記録の保存方法は曖昧なことが多く、後に検索する際には厄介である。
【０００４】
近年、有用な情報を収集するためのハンドヘルド装置が開発されている。これらのシステムは、通常、文書の解釈及び認識についてユーザのガイダンスを求める。例えば、システムがモードブックを用いて走査ペンのモードを手動で変更する場合がある。モードブックは複数のモードカードを含み、各モードカードにはペンのモードを変更したりあるいはコマンドを入力すべく機能する、少なくとも１つのスキャン可能なデータフィールドが含まれる。スキャン可能な各データフィールドは、機械読み取り可能な情報（例えば、バーコード、２次元グリフコード、又は簡単に認識できる文字）と人が読み取り可能なラベルから成る。
【０００５】
ユーザは、次のようにモードブックを使用する。まず、ユーザが現在スキャンしている文書のタイプに関連するモードカードを見つけ、「開始タイトル」など、スキャンしようとする情報のタイプに関連したフィールドに走査ペンを走らせる。こうして、モードカードはどんなタイプの情報を収集しているのかを走査ペンに知らせる。よって、ユーザはモードカードのフィールドを交互にスキャンし、スキャンした情報をどのように処理するかについてシステムに指示する。
【０００６】
【発明が解決しようとする課題】
上記タイプのシステムの問題は、ユーザ側にかなり多くの介入が要求されることである。例えば、モードカードを常に参照することによって、ユーザによる文書読み取りの通常フローが中断する。さらに、ユーザによって要求される作業量が増えれば、ユーザが実際にその文書を最初に検討する機会が妨げられてしまう。
【０００７】
したがって、情報を読みながら重要な情報を保存すべく使用でき、ユーザ側の介入が最小限で機能する走査システムが求められている。さらに、収集した情報を、ユーザが効率よく見ることのできるフォーマットに自動的に整理できるシステムが求められている。
【０００８】
【課題を解決するための手段】
本発明によるシステム及び方法は、ユーザ側の介入を最小限にして、ユーザに読み取り可能な情報をスキャンする。さらに、本発明のシステム及び方法は、スキャンした情報を、ユーザが要求に応じて検討、修正、及び訂正できるフォーマットに自動的に整理する。
【０００９】
上記及びそれ以外の効果を達成するため、本発明のシステム及び方法は、文書上の情報（indicia）をスキャンし、フォーマット化する。システムは、文書上の情報のうちユーザが指定した部分の情報をスキャンする走査ヘッドと、ユーザが指定した部分ごとに、スキャンされた情報と当該情報がスキャンされた時間を表す時間情報とを保存するメモリとを含む。システムはさらに、テキストのフォントタイプ、テキストのフォントサイズ、文書におけるテキストの位置、及び文字列のフォーマットの少なくとも１つに関連して予め設定されたルールに従って、メモリに保存されたスキャンされた情報のそれぞれを分析することで、スキャンされた情報のそれぞれを、文書の識別情報又はユーザにとって重要な特定情報として認識する処理装置を含む。処理装置は、メモリに保存された時間情報を参照して、メモリに保存されたスキャンされた情報のうち、互いに予め定められた時間内にスキャンされた情報を上述の認識の結果と共に含むデータエントリを作成する。
【００１０】
前述の全体的な説明及び下記の詳細な説明は単なる例示であり、請求の範囲内で本発明のさらなる説明が提供されることを意図する。
【００１１】
【発明の実施の形態】
システムによる整理
図１は、本発明による走査ペンシステム１０のブロック図である。図１に示されるように、システム１０は、走査ペン１００とコンピュータ２００とを含む。走査ペン１００は、リンク１５を介してコンピュータ２００と通信する。リンク１５は、例えば、赤外線リンク、無線リンクまたはケーブル通信を含んでもよい。さらに、コンピュータ２００は、パーソナルコンピュータ、ネットワークコンピュータ、ワークステーション、またはメインフレームコンピュータなど、任意のコンピュータでよい。
【００１２】
本発明のシステムにおいては、ユーザは文書の表面を横断するようにペン１００を走らせる。ユーザが文書を横断してペン１００を走らせると、ペン１００はそのヘッドの下方を通過する文書のテキスト情報をスキャンして収集する。ペン１００は、好ましくはスキャンしたテキストに対して文字認識を行い、この情報を処理するためにコンピュータ２００に送る。特に、コンピュータ２００は、スキャンした情報を所望のフォーマットでユーザに表示するために、テキスト情報を発見的に整理する。
【００１３】
図１に示されるように、走査ペンは、走査ヘッド１１０、処理装置１２０、データベース１３０、ユーザインタフェース１４０及びデータインタフェース１５０を含み、これらがそれぞれバス１６０を介して接続されている。なお、図１には上記要素を含むペン１００が示されているが、本発明によるペン１００は、単にスキャンした情報をリアルタイムで直接コンピュータ２００に送信する走査ヘッドのみを含んでもよい。この場合には、ペン１００によって行われる下記の処理すべてをコンピュータ２００が行う。
【００１４】
走査ヘッド１１０は、好ましくは、文書のテキストを捕え、それをディジタル形式に変換する単線（single-line）走査装置である。走査ヘッド１１０は、好ましくは、文字、グリフ、バーコード又は手書き文字でさえも認識する光学式文字認識（ＯＣＲ）装置を含む。したがって、走査ヘッド１１０は、スキャンしたテキストを、フォントの種類及びサイズなどのテキスト情報を保持するテキストファイル（例えば、ＡＳＣＩＩまたはＨＴＭＬファイル）に変換する。あるいは、走査ヘッド１１０は、単にスキャンしたテキストをビットマップファイルに変換し、このビットマップファイルがコンピュータ２００に転送されてここで文字認識を行ってもよい。
【００１５】
データベース１３０は、走査ヘッド１１０から出力されたテキスト情報を保存する。情報の保存に先立ち、処理装置１２０は、走査ヘッド１１０がその情報をスキャンした時刻を示すクロックの値に基づき、好ましくはテキスト情報にタイムスタンプする。以下に説明するように、このタイムスタンプは認識処理において用いられ、スキャンされたテキスト情報が互いに時間的に近くスキャンされた別の情報と関連づけられる。さらに、上記クロックの値は、一日の時間を示す相対時間と、ペン１００による処理の開始に伴って始まった絶対時間のいずれを示してもよい。
【００１６】
処理装置１２０は、さらに、ユーザインターフェース１４０から受信した制御信号に基づきペン１００の動作を制御する。図１には示されていないが、ユーザインターフェース１４０は、好ましくは、ボタン、表示ライト又はディスプレイ画面などの種々のユーザ入出力装置を備える。ユーザは、以下に説明するように、インターフェース１４０のボタンを使って、特定のテキスト走査に優先順位又は特定の意味を与えてもよい。また、ユーザインターフェース１４０により、ユーザは、スキャンモード、ダウンロードモード、又はＯＦＦモードを含む、走査ペン１００の動作モードを選択することができる。スキャンモードでは、走査ペン１００は、データベース１３０に保存されるテキスト情報を収集する。ダウンロードモードを選択することにより、ユーザはペン１００にデータベース１３０の内容をデータインターフェース１５０及びリンク１５を介してコンピュータ２００に送信させることができる。データインターフェース１５０は、好ましくは、双方向赤外線送受信器またはコンピュータ２００との配線接続を可能にするポートを含む。
【００１７】
図１に示されるように、コンピュータ２００は、データインターフェース２１０、データベース２２０、処理装置２３０、及びネットワークサーバ２４０を含み、これらはそれぞれバス２６０を介して接続されている。データインターフェース２１０はデータインターフェース１５０と同様であり、データインターフェース１５０からリンク１５を介して送信されたテキスト情報を受信し、受信したテキスト情報をベータベース２２０に保存する。コンピュータ２００は、ユーザがインターネットなどのネットワークにリンクし、スキャンしたテキスト情報に関連する情報を探せるようにネットワークサーバ２４０を含む。
【００１８】
処理装置２３０は、データベース２２０に保存された情報を発見的に整理するためのソフトウェアプログラム（図示せず）を実行する。好ましくは、スキャンした情報に対する文字認識ルーチンはペン１００が行うが、処理装置２３０も同様にこの動作を行ってもよい。いずれの場合にも、処理装置２３０は、認識されたテキスト情報を受信し、認識されたテキストに発見的に意味を付与してデータエントリを作成する。例えば、処理装置２３０は以下に説明する論理に基づいてテキスト列を分析し、そのテキストをタイトルに対応するとして指定してもよい。さらに、処理装置２３０は、認識された数字をページ番号であると判断してもよい。
【００１９】
処理装置２３０がテキストに意味を与えると、認識されたテキストがグループ化されてデータエントリが形成される。各データエントリは、ユーザにとって重要である文書内の特定テキストに対応する。一般的に、データエントリには、ユーザにとって重要な特定テキストと文書を識別する情報、及び文書におけるこのテキストが含まれる場所から構成される。
【００２０】
図２には、本発明による走査ペン１００の１実施形態が示されている。図２に示されるように、走査ペン１００は、走査ヘッド１１０、プッシュボタン１４２、ディスプレイ１４４及びデータインターフェース１５０を含む。ボタン１４２及びディスプレイ１４４は、図１に関して上記説明したユーザインターフェース１４０に対応している。
【００２１】
本発明によるシステムにおいては、認識されたテキストとペン１００の選択された動作モードをディスプレイ画面１４４によってユーザに確認できる。さらに、図２には一般的なペンの形状を有する走査ペン１００が示されているが、ペン１００は他の形状でもよい。例えば、走査ペン１００は、パームパイロット（登録商標）に接続するための個別ユニットを含んでもよい。この場合も、走査ペン１００はここに説明した機能及び動作をすべて行うが、パームパイロット（登録商標）のディスプレイを共有してもよい。また、ペン１００はユーザの指先にはめるシンブルなどの小型装置の形状でもよい。
【００２２】
システムの動作
図３は、走査ペンシステム１０を動作させるための本発明による方法を示すフローチャートである。図示される方法は、ユーザがユーザインターフェース１４０のボタンを押し、ペン１００が動作モードに入ると開始する。ペン１００が動作モードになると、ユーザは走査ペンによって文書の表面を横断するように一連の「走査（swipe）」を行う。各走査ごとに、スキャンしたテキストのディジタル表示が生成される。
【００２３】
図３に示されるように、ユーザはまず、文書を識別する情報をスキャンする（ステップ３１０）。この識別情報には、好ましくは、文書名、文書の発行ナンバー及び発行日、及びユーザが特定テキストをスキャンしたい文書中特定位置の
ページや項目の見出しなども含む書籍データが含まれる。例えば、雑誌「ポピュラーサイエンス」を例にすると、ユーザは次の書籍情報をスキャンしてもよい。
【００２４】
ポピュラーサイエンス
１９９９年２月
ウェブの解放
クリスオマリー著
４８
【００２５】
前記識別情報は、文書の表紙に示されたバーコードやロゴでもよい。これらのいずれによっても、文書名及びおそらくは文書に関する他の書籍情報も識別できる。このような場合、コンピュータ２００は、バーコード又はロゴをデータベースに保存された製品情報に比較し、この書籍情報を決定する。ユーザが上記の書籍情報をスキャンすると、走査ヘッド１１０はスキャンしたテキストに対してＯＣＲルーチンを行い、このテキストのディジタル表示をデータベース１３０に保存する。
【００２６】
次に、ユーザはペン１００を使用して、ユーザにとって重要でユーザが得たい文書中の特定テキストをスキャンする（ステップ３２０）。例えば、ユーザは上記ポピュラーサイエンスの記事中の特定の一節を興味深く思うかも知らないし、あるいはその記事を参照するために特定の「キーワード」（例えば、インターネット、無線、ハンドヘルド、ブラウザなど）を識別したいかもしれない。ユーザは、関心あるテキスト部分をペン１００でスキャンする。スキャンされたテキストに対し、走査ヘッド１１０がＯＣＲルーチンを行い、この特定テキスト情報のディジタル表示がデータベース１３０に保存される。
【００２７】
ステップ３１０及び３２０に関して上記説明したように、ペン１００には好ましくは、フォントの種類及びサイズが保持された、スキャンされたテキストのディジタル表示が保存される。文書のスキャンが完了すると、ユーザはデータインターフェース１５０，２１０及びリンク１５を介して、保存された情報をコンピュータ２００に転送する。転送された情報は、コンピュータ２００のデータベース２２０に保存される。コンピュータ２００は、発見的認識処理において、この保持されたテキスト情報を使用する。
【００２８】
処理装置２３０はデータベース２２０に保存されたデータに対して種々の認識処理を行い、個々のデータエントリを発見的に作成する（ステップ３３０）。各エントリは、（１）識別情報と、（２）特定テキスト情報自体とを含む。前記識別情報は、（ａ）文書名、（ｂ）文書の発行日、巻数、（ｃ）ユーザが特定テキスト情報をスキャンしたページの番号、（ｄ）特定テキスト情報を含む項目のタイトル又は見出しなどである。処理装置２３０はユーザがペン１００によってスキャンした各特定情報ごとにデータエントリを作成する。
【００２９】
各エントリの作成において、処理装置２３０は、異なる文書でも通常はある共通の認識可能なフォーマット及びスタイルに従っているという事実を利用する。例えば、ページ番号は、周りに文字の存在しない数字として認識することができる。したがって、処理装置２３０は、スキャンしたテキストのフォントタイプ、フォントサイズ、周辺テキスト、及び特定テキストフォーマットを発見的に分析して自動的に各エントリを作成する。この分析に基づき、処理装置２３０はそのテキストの意味、すなわちスキャンしたテキストの表す情報の種類を判定する。
【００３０】
このため、処理装置２３０は、特定の認識処理を実行するためのソフトウェアインストラクションを含む。これらのインストラクションは、好ましくは、特定の文脈において特定種類のテキストを識別するルールの形式をとる。処理装置２３０はこれらの言語ルールを使用してテキストを分析し、その意味及びエントリにおけるその配置を決定する。言語ルールの例を以下に示す。
【００３１】
１．文書名
処理装置２３０は、テキストが後に続くロゴを識別すると、それを文書名として認識する。さらに、文書名は通常本文より大きい活字及びフォントスタイルでプリントされている。よって、処理装置２３０は、テキストのフォントタイプ及びフォントサイズにもとづき、そのテキストが文書名に対応すると認識してもよい。
【００３２】
２．タイトル及び小見出し
処理装置２３０は、記事または本の章の場合には、センタリングされた１ラインをタイトルと認識する。また、処理装置２３０は、タイトルの下のより小さい活字のラインをそのタイトルの著者名と認識してもよい。文書の本文中では、太字で印刷され、他の文字列から離れた文字列を小見出しと認識してもよい。
【００３３】
３．ページ番号
処理装置２３０は、付近を文字によって取り巻かれていない単独の数字を識別すると、それをページ番号として認識する。
【００３４】
４．ユニフォームリソースロケータ（ＵＲＬ）及び他のデータフォーマット
処理装置２３０は、ＵＲＬのフォーマットを有する文字列を識別すると、それをＵＲＬとして認識する。さらに、そのＵＲＬと時間的に近く（例えば、２〜３秒以内に）スキャンされたテキストを、そのＵＲＬにおいて検出した情報の記載であると認識してもよい。また、処理装置２３０は所定のデータフォーマットを有するテキストを識別することにより、その他のデータフォーマットを認識してもよい。
【００３５】
ユーザにとって重要な特定テキスト情報は、好ましくは、ユーザがスキャンした識別情報に続くテキストとして処理装置２３０により認識される。あるいは、処理装置２３０は、ユーザに重要な特定テキストを、上記の言語ルールに当てはまらないテキストとして認識してもよい。その場合、このようなテキスト、例えばスキャンされた識別情報によって識別された記事の「キーワード」は上記のようにデータエントリに含まれる。
【００３６】
本発明の別の実施形態においては、特定の雑誌など、異なる種類の文書に対応する入力テンプレートでコンピュータ２００をプログラムしてもよい。これらのテンプレートは、文書に含まれる情報の識別において、コンピュータ２００の認識処理をガイドすることができる。特に、これらのテンプレートにより、システム１０がガイドする文書の予想される性質、構造及び内容に関する情報を提供してもよい。これらのテンプレートは、好ましくは、文書中の特定データ項目が見つけやすい場所、これらのデータ項目のフォーマット及び上記認識処理に役立つ他の要件を示す。
【００３７】
ユーザはペン１００のユーザインターフェース１４０またはコンピュータ２００のインターフェースを使用してテンプレートを選択してもよい。また、ユーザがさらなる入力を行わなくてもシステム１０が文書の適当なテンプレートを発見的に決定してもよい。これは、各種の文書が標準的なフォーマットに従っているために可能である。例えば、雑誌と新聞はそれぞれ特有の認識可能なフォーマットを有する。上記の認識処理にもとづき、システム１０は適当なテンプレートを識別できる。
【００３８】
本発明のさらなる実施形態においては、ユーザはインターフェース１４０のボタンを使用して特定テキストスキャンに優先順位又は特別な意味を与えてもよい。例えば、文書名のスキャン時に、ユーザはボタンを押して、ペン１００が文書名をスキャンしていることを示してもよい。この情報は、データベース１３０に保存されたテキスト情報に添付され、認識処理過程において処理装置２３０に使用される。
【００３９】
ステップ３３０において既に説明したように、認識されたテキストに意味を与えた後、処理装置２３０は個々のデータエントリを形成する（ステップ３４０）。処理装置２３０は、各項目がスキャンされた時間に基づき、スキャンされた異なる項目を互いに関連づける。各項目のスキャン時間は、処理装置１２０によって、各スキャン項目に添付されたタイムスタンプにより決定する。従って、タイムスタンプの値及びテキスト情報に与えられた意味に基づき、処理装置２３０は識別情報とユーザにとって重要な特定情報とを含むデータエントリを作成する。データエントリは、例えば以下のようになる。
【００４０】
ポピュラーサイエンス、１９９９年２月、４８ページ、「ウェブの解放」
クリスオマリー、テキスト：インターネット、無線、ハンドヘルド、ブラウザ。
【００４１】
次に、コンピュータ２００は、ユーザに表示するため、認識した情報を自動的に整理する（ステップ３５０）。例えば、コンピュータ２００はデータエントリの時間順目録又は書籍索引を作成してもよい。特に、時間順目録は、それぞれのタイムスタンプ値に基づき時間順に整理された全データエントリを含んでもよい。書籍索引は、各文書の名前によって整理され、さらにその文書の特定の号（issues）及び各号に含まれる記事又はタイトルによって整理されたデータエントリを含んでもよい。いずれのフォーマットでも、ユーザは、例えば文書名又はデータエントリに含まれるキーワードに基づいて所望の情報を検索することができる。
【００４２】
各エントリはさらに、ネットワークサーバ２４０を介してネットワーク上の情報にリンクしてもよい。例えば、処理装置２３０が、ユーザのスキャンした特定のＵＲＬを認識した場合、コンピュータ２００は対応するデータエントリとともにそのＵＲＬへのリンクを含んでもよい。また、コンピュータ２００は、オリジナル文書の完全なテキストバージョンが保存されているオンラインロケーションへのリンクを提供することもできる。このように、ユーザは、コンピュータ２００が作成した特定のデータエントリの読み取りに関連して文書全体又はその中の関連記事を見ることができる。さらに、ＵＲＬの言語ルールに関して上述したように、そのＵＲＬにおいて見つけた情報の認識された記載によりリンクを参照してもよい。
【００４３】
このような特性により、必要又は所望された場合に、作成されたデータエントリをさらなる情報を求めて「見直す」能力が強化される。例えば、索引にはユーザの記憶を呼び起こすためのキーワードなど、文書に含まれる情報のハイライト部分しか含まれていない場合もある。このような場合には、ユーザは全文書のオンラインバージョンを選択し、さらなる情報を得ることができる。さらに、データエントリはページ番号が含む可能性があるので、コンピュータ２００のネットワークサーバ２４０によって、ユーザを文書のオンラインバージョンの関連部分に直ちに接続することができる。
【００４４】
以上テキスト情報を記録、認識、整理するシステムとしてシステム１０を説明したが、システム１０によってハンドライティング（手書き文字）又はスピーチを処理してもよい。このために、コンピュータ２００は、当業界のおいて周知のハンドライティング認識用の認識ソフトウェアを含んでもよい。コンピュータ２００は、ペン１００によってスキャンした手書きの情報を、データエントリと共に含む。ペン１００はマイクロフォンをさらに含み、スキャンしたテキストに関連させてユーザの発声をデータエントリに記録してもよい。コンピュータ２００はその音声をディジタル化し、記録に話し言葉が含まれる場合には音声認識装置を用いてそれを認識することができる。
【００４５】
文書情報を自動的に処理する場合、システム１０がテキストを正確に識別できない可能性が十分にある。したがって、システム１０は、ユーザがコンピュータ２００を使ってスキャンしたテキストを検討し、必要な訂正を行えるようにする。当業者であれば理解できるように、ユーザは認識処理を調整してその精度を高めることもできる。これは、認識分析のために使用される前記言語ルールを調整したり、あるいはユーザのガイダンスを求めたりするいくつかの手段により実現できるが、その手段はこれらの例に限定されない。
【図面の簡単な説明】
【図１】 本発明による走査ペンシステム１０のブロック図である。
【図２】 本発明による走査ペン１００の１実施形態を示す図である。
【図３】 走査ペンシステム１０を動作させる本発明による方法を示すフローチャートである。
【符号の説明】
１０ 走査ペンシステム、１５ リンク、１００ 走査ペン、１１０ 走査ヘッド、１２０ 処理装置、１３０ データベース、１４０ ユーザインターフェース、１４２ ボタン、１４４ ディスプレイ画面、１５０ データインターフェース、１６０ バス、２００ コンピュータ、２１０ データインターフェース、２２０ データベース、２３０ 処理装置、２４０ ネットワークサーバ、２６０ バス。

Claims (3)

1. 文書上の情報をスキャンしてフォーマット化するシステムであって、
   文書上の情報のうちユーザが指定した部分の情報をスキャンする走査ヘッドと、
   前記ユーザが指定した部分ごとに、スキャンされた情報と当該情報がスキャンされた時間を表す時間情報とを保存するメモリと、
   テキストのフォントタイプ、テキストのフォントサイズ、文書におけるテキストの位置、及び文字列のフォーマットの少なくとも１つに関連して予め設定されたルールに従って、前記メモリに保存されたスキャンされた情報のそれぞれを分析することで、前記スキャンされた情報のそれぞれを、前記文書の識別情報又はユーザにとって重要な特定情報として認識し、前記メモリに保存された時間情報を参照して、前記メモリに保存されたスキャンされた情報のうち、互いに予め定められた時間内にスキャンされた情報を前記認識の結果と共に含むデータエントリを作成する処理装置と、
   を備えるシステム。
2. 請求項１に記載のシステムにおいて、
   前記処理装置は、ユーザに表示するために、前記認識した情報を自動的にフォーマットに整理する第１処理部を含むことを特徴とするシステム。
3. 文書上の情報をスキャンして整理する方法であって、
   文書上の情報のうちユーザが指定した部分の情報をスキャンするステップと、
   前記ユーザが指定した部分ごとに、スキャンされた情報と当該情報がスキャンされた時間を表す時間情報とをメモリに保存するステップと、
   テキストのフォントタイプ、テキストのフォントサイズ、文書におけるテキストの位置、及び文字列のフォーマットの少なくとも１つに関連して予め設定されたルールに従って、前記メモリに保存されたスキャンされた情報のそれぞれを分析することで、前記スキャンされた情報のそれぞれを、前記文書の識別情報又はユーザにとって重要な特定情報として認識するステップと、
   前記メモリに保存された時間情報を参照して、前記メモリに保存されたスキャンされた情報のうち、互いに予め定められた時間内にスキャンされた情報を前記認識の結果と共に含むデータエントリを作成するステップと、
   を含む方法。

Images