JP5238249B2 - レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 - Google Patents
レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 Download PDFInfo
- Publication number
- JP5238249B2 JP5238249B2 JP2007506296A JP2007506296A JP5238249B2 JP 5238249 B2 JP5238249 B2 JP 5238249B2 JP 2007506296 A JP2007506296 A JP 2007506296A JP 2007506296 A JP2007506296 A JP 2007506296A JP 5238249 B2 JP5238249 B2 JP 5238249B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- user
- text
- portable
- scanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 193
- 238000003860 storage Methods 0.000 claims description 119
- 230000003287 optical effect Effects 0.000 claims description 107
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 4
- 230000006266 hibernation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 95
- 238000004891 communication Methods 0.000 description 81
- 238000012015 optical character recognition Methods 0.000 description 76
- 230000006870 function Effects 0.000 description 71
- 238000012545 processing Methods 0.000 description 69
- 230000009471 action Effects 0.000 description 62
- 230000033001 locomotion Effects 0.000 description 56
- 238000010586 diagram Methods 0.000 description 40
- 241000699666 Mus <mouse, genus> Species 0.000 description 39
- 230000003993 interaction Effects 0.000 description 36
- 230000008901 benefit Effects 0.000 description 28
- 230000006399 behavior Effects 0.000 description 27
- 230000000694 effects Effects 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 27
- 239000013598 vector Substances 0.000 description 26
- 239000000463 material Substances 0.000 description 25
- 239000000835 fiber Substances 0.000 description 24
- 239000012634 fragment Substances 0.000 description 23
- 230000004044 response Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 20
- 210000003128 head Anatomy 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 17
- 239000000047 product Substances 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 14
- 239000000523 sample Substances 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 11
- 238000007639 printing Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000036961 partial effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000000977 initiatory effect Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000003825 pressing Methods 0.000 description 7
- 230000000153 supplemental effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000013475 authorization Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008570 general process Effects 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 239000012925 reference material Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241000921645 Ranunculus auricomus Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000012776 electronic material Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013611 frozen food Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Landscapes
- Facsimiles In General (AREA)
- Mobile Radio Communication Systems (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本願は、米国特許出願第11/004,637号(2004年12月3日出願)の一部継続出願であり、その出願は、本明細書において、参考によりその全容が援用される。
1.システムの性質
電子副本を有するすべての紙の文書について、電子副本を識別することができる情報が紙の文書内に離散的な量で存在する。いくつかの実施形態において、システムは、例えば携帯用スキャナを使用して、文書の電子副本を識別し位置を特定するために、紙の文書から取得したテキストのサンプルを使用する。ほとんどの場合、設備によって必要とされるテキストの量は極めて少なく、そのうち紙の文書のための識別子およびその電子副本へのリンクとして頻繁に機能することができるのは、文書からのテキストのうち数単語である。また、システムはそれらの数単語を使用して、文書だけでなく、文書内のロケーションも識別することができる。
システムが、紙の文書内にあるテキストの一部分を確立された特定のデジタルエンティティと関連付けると、システムは当該関連付けにおいて膨大な機能性を築くことができる。
システムの一般的な使用は、紙の文書からテキストをスキャンするために光学スキャナを使用することから始まるが、他のタイプの文書から取得する他の方法も同様に適用できることに留意することが重要である。したがってシステムは、レンダリングされた文書からテキストをスキャンまたは取得することとして説明される場合があり、ここでそれらの用語を以下のように定義する。
この項では、紙/デジタル統合のためのシステムの構成要素となるデバイス、プロセス、およびシステムのいくつかを説明する。様々な実施形態において、システムは、基本機能を提供するこの基本コア上に、多種多様なサービスおよびアプリケーションを築く。
図1は、コアシステムの一実施形態における情報の流れを示すデータフロー図である。他の実施形態は、本明細書において図示されている段階または要素のすべてを使用することはできないが、さらに多くを使用するものもある。
図2は、一般的な動作環境という状況におけるシステムの一般的な実装に含まれるコンポーネントのコンポーネント図である。図示するように、動作環境は、1つ以上の光学スキャン取得装置202または音声取得装置204を含む。いくつかの実施形態において、同一のデバイスは両方の機能を実行する。各取得装置は、直接配線または無線接続のいずれかを使用して、もしくは、有線または無線接続を使用して通信を行うことができ、後者は一般的に無線基地局214を含むネットワーク220を介して、コンピュータ212および移動局216(例えば、携帯電話またはPDA)等システムの他の部分と通信を行うことができる。いくつかの実施形態において、取得装置は移動局に統合され、音声通信および写真撮影のためにデバイスで使用されるいくつかの音声および/または光学コンポーネントを任意で共有する。
上述のように、取得装置は、レンダリングされた文書から画像データを取得する光学スキャナを使用して、もしくはユーザの口頭によるテキストの読み上げを取得する音声記録装置、または他の方法を使用して、テキストを取得することができる。取得装置のいくつかの実施形態は、バーコード等の機械可読コードを含む、画像、グラフィカルシンボルおよびアイコン等を取得することもできる。当該デバイスは非常に単純で、ただトランデューサ、いくつかの記憶領域、およびデータインターフェースのみからなり、システムのどこか他の場所にある他の機能性に依存しているか、またはさらにフル装備のデバイスであってよい。例として、この項では、光学スキャナに基づき、適当な数の特徴を持つデバイスを説明する。
紙‐デジタル統合が一般的になるにつれて、現行の技術にはこの統合をさらにうまく利用するため、またはそれをさらに効率的に実装できるようにするために変更され得る多くの側面がある。この項では、それらの問題を明らかにする。
文書の集合を検索することは、ワールドワイドウェブのように大きな集合でさえ、一般ユーザにとって普通のことになってきて、ユーザはキーボードを使用して検索エンジンに送信される検索クエリーを構築する。この項および次項では、レンダリングされた文書からの取得に由来するクエリーの構築および該当するクエリーを扱う検索エンジンの両方の側面について論じる。
説明したシステムの使用は、一般に、上記の第1.2項で述べたものを含むいくつかの方法のうちいずれかを使用して、レンダリングされた文書から取得される数単語で始まる。入力が、それをテキストに変換するために何らかの解釈を必要とする場合、例えばOCRまたはスピーチ入力の場合、文書集合を使用して認識プロセスを促進できるように、システム内においてエンドツーエンドフィードバックがあってよい。エンドツーエンドフィードバックは、認識または解釈の近似を実行し、文書と一致する1つ以上の候補のセットを識別し、次いで、候補文書内の可能な一致からの情報を使用して認識または解釈をさらに洗練および制限することによって適用できる。候補文書は、推定関連性に従って(例えば、これらの文書内のスキャンを行った他のユーザの数、またはインターネット上でのそれらの人気に基づいて)重み付けされることができ、これらの重み付けはこの反復認識プロセスに適用されることができる。
3.2.短いフレーズの検索
数単語に基づく検索クエリーの選択力はこれらの単語の相対位置が既知である場合に大幅に強化されるため、システムが集合内のテキストのロケーションを識別するために取得される必要があるのは少量のテキストのみである。通常、入力テキストは、短いフレーズ等の連続的な単語の配列であろう。
フレーズが由来する文書の位置を特定することに加えて、システムは当該文書内のロケーションを識別し、この知識に基づいてアクションをとることができる。
システムは、レンダリングされた文書において透かしまたは他の特別なマーキングを使用する等による、文書およびロケーションを発見する他の方法を用いてもよい。
取得されたテキストに加えて、他のファクタ(すなわち、ユーザID、プロファイル、コンテクストについての情報)が、取得時刻、ユーザのIDおよび地理的位置、ユーザの習慣および最近のアクティビティについての知識等、検索クエリーの一部を形成してよい。
検索クエリーは、使用される特定の取得方法において発生しそうなエラーのタイプを考慮して構築されてよい。これの一例は、特定文字の認識において疑わしいエラーの表示であり、この場合には、検索エンジンはこれらの文字をワイルドカードとして処理するか、それらに低い優先順位を割り当てることができる。
時に、取得装置は、データ取得時に検索エンジンまたは集合と通信を行えない場合がある。このため、デバイスのオフライン使用に役立つ情報は事前にデバイスへ、またはデバイスが通信を行える何らかのエンティティへダウンロードすることができる。集合に関連するインデックスのすべてまたは実質的部分をダウンロードできる場合もある。このトピックについては、第15.3項でさらに論じる。
クエリーの通信および結果の受信に関連して遅延および費用が発生しそうな場合、このプリロードされた情報は、ローカルデバイスのパフォーマンスを改善し、通信費を削減し、役に立ち、かつ時宜を得たユーザフィードバックを提供することができる。
パフォーマンス上の理由から、単一の取得を受けて複数のクエリーが順に、または同時に開始される場合がある。単一の取得を受けて、例えば新しい単語が取得に追加された際に、または複数の検索エンジンを同時にクエリーするために、いくつかのクエリーが送信される場合がある。
多くの場合、従来のオンラインクエリーを扱う検索エンジンは、レンダリングされた文書に由来するクエリーも扱うことが望ましい。従来の検索エンジンは、説明したシステムでそれらを使用するのにより適合するようにするために、多くの手法で強化または修正されることができる。
多くの場合、紙由来または従来のクエリーを使用して同一のインデックスが検索され得るが、インデックスは現在のシステムにおいて様々な手法で使用するために強化される場合がある。
紙ベースの検索の場合に役立つ該当するインデックスに、余分のフィールドを追加することができる。
第1の例は、文書が存在すること、または紙形態で配布されていることが既知である、フィールド表示である。システムは、クエリーが紙から生じたものである場合、該当する文書に高い優先順位を与える場合がある。
この例では、紙の文書の人気に関する(および、任意でこれらの文書内のサブ領域に関する)統計データ―例えばスキャンアクティビティの量、発行者および他のソースによって提供される発行部数等―を、該当する文書に高い優先順位を与える、デジタル副本文書の優先順位を高める(例えば、ブラウザベースのクエリーまたはウェブ検索)等のために使用する。
別の重要な例は、文書の特別なレンダリングのレイアウトについての情報を記録することであってよい。
最後に、テキストの特定の部分が市場に出される項目に言及している、またはある段落がプログラムコードを含む等、ソースマークアップから推測され得るが紙の文書において明らかではない意味情報をインデックスに記録することもできる。
インデックスの性質を修正できる第2のファクタは、使用されそうな取得のタイプについての知識である。光学スキャンによって開始された検索は、インデックスがOCRプロセスにおいて混同しやすい文字を考慮に入れる場合、または文書内で使用されたフォントについての何らかの知識を含む場合に利益となり得る。同様に、クエリーがスピーチ認識から生じたものである場合、同音素に基づくインデックスは、はるかに効率的に検索され得る。説明したモデルにおけるインデックスの使用に影響を及ぼし得るさらなるファクタは、認識プロセス中の反復フィードバックの重要性である。テキストが取得されている際に検索エンジンがインデックスからのフィードバックを提供できる場合、取得の精度を大幅に向上させることができる。
第9項において説明したオフセットベース/自己相関OCR方法を使用してインデックスが検索される可能性が高い場合、いくつかの実施形態において、システムは適切なオフセットまたは署名情報をインデックス内に格納する。
最後に、説明したシステムにおいて、多数のインデックスについて検索を行うことが一般的であってよい。インデックスは、いくつかの機械または企業ネットワーク上で保持されることができる。部分的なインデックスは、取得装置または取得装置に近い機械にダウンロードされてよい。特定の関心、習慣、または許可を持つユーザまたはユーザの群について、分離インデックスが作成される場合がある。インデックスは、各ファイルシステム、各ディレクトリ、ユーザのハードディスク上の各ファイルにさえ存在し得る。インデックスは、ユーザおよびシステムによって発行およびサブスクライブされる。そこで、効率的に配布、更新、マージ、および分離できるインデックスを構築することが重要になる。
4.2.1.紙からの取得であることを知る
検索エンジンは、紙の文書に由来する検索クエリーを認識した場合に異なるアクションをとることができる。当該エンジンは、例えば、ある取得方法において現われそうなエラーのタイプに対して、より耐性がある手法でクエリーを扱うかもしれない。
以下の第13項では、取得されたテキスト自体の外側にあるが、文書の識別において大きな助力となり得る様々な異なるファクタについて説明する。これらは、最近のスキャンの履歴、特定のユーザの長期的な読書習慣、ユーザの地理的位置およびユーザの特定の電子文書の最近の使用等を含む。該当するファクタを、本明細書においては「コンテクスト」と称する。
検索プロセスへの重要な入力は、ユーザのコミュニティが文書のレンダリング版とどのように情報のやりとりをするか―例えば、どの文書が最も広く、誰によって読まれているか―の、より広範なコンテクストである。最も頻繁にリンクされるページ、または過去の検索結果から最も頻繁に選択されるページを返す検索エンジンには類似性がある。このトピックに関するこれ以上の議論については、第13.4および14.2項を参照のこと。
説明したシステムは、文書全体についての情報だけでなく、文書のサブ領域についての情報、個別の単語に至るまでも発し使用することができる。現存する多くの検索エンジンは、単純に文書または特定のクエリーに関連するファイルを位置付けることに集中する。細粒なことに取り組み、文書内でロケーションを識別することができる検索エンジンは、説明したシステムに重大な利益を提供するであろう。
検索エンジンは、現在保持しているさらなる情報の一部を使用して、返される結果に影響を及ぼすことができる。
取得‐検索‐取り込みプロセスを実行することに加えて、説明したシステムはまた、余分の機能性を文書、特に文書内にあるテキストの特定のロケーションおよびセグメントと関連付ける。この余分の機能は多くの場合、これに限らないが、その電子副本と関連付けられることにより、レンダリングされた文書と関連付けられる。例として、ウェブページにおけるハイパーリンクは、当該ウェブページのプリントアウトがスキャンされる際に同一の機能性を有する場合がある。電子文書においては定義されていないが、どこか他の場所で格納されるまたは発生する機能性もある。
文書においてマークアップが「オーバーレイ」であるとして考える一手法は、文書またはその一部についての情報をさらに提供し、またそれに関連するアクションを特定することができる。マークアップは人間に解読可能なコンテンツを含むことができるが、多くの場合、ユーザに対して不可視であり、かつ/または機械使用を意図されている。例として、レンダリングされた文書内の特定のエリアからユーザがテキストを取得する場合に付近のディスプレイ上のポップアップメニューに表示されるオプション、または特定のフレーズの発音を示す音声サンプルが挙げられる。
いかなる文書も複数のオーバーレイを同時に有することができ、これらは様々なロケーションをソースとするものであってよい。マークアップデータは、文書の著者により、またはユーザにより、もしくは他の何らかの関係者により、作成または提供されることができる。
ユーザは、マークアップデータをインストール、またはその特定のソースをサブスクライブし、したがって、特定の取得に対するシステムの応答をパーソナル化することもできる。
文書内のいくつかの要素は、特定の文書内におけるそれらのロケーションよりもむしろそれら自体の特性に基づいて、特定の「マークアップ」またはそれらに関連する機能性を有することができる。例としては、ユーザを関心のある組織についてのさらなる情報にリンクさせることができるロゴおよび商標に加えて、純粋にスキャンされることを目的として文書内に印刷される特別なマークが挙げられる。これはテキスト中の「キーワード」または「キーフレーズ」にも当てはまる。組織は、それが関連する、または関連付けたい特定のフレーズを登録し、それらに当該フレーズがスキャンされる場所であればどこでも利用可能なある一定のマークアップを添付するかもしれない。
5.3.1.マルチメディアを含む、ユーザコメントおよび注釈
注釈は、文書に関連し得る別のタイプの電子情報である。例えば、ユーザは、後に音声注釈として取り込むために、特定の文書についての当該ユーザの考えの音声ファイルを添付することができる。マルチメディア注釈の別の例として、ユーザは、文書内で言及された場所の写真を添付することができる。ユーザは、概して文書に注釈を提供するが、システムは他のソースからの注釈を関連付けることができる(例えば、ワークグループ内の他のユーザは注釈を共有することができる)。
ユーザソースのマークアップの重要な例は、校正、編集、またはレビュープロセスの一部としての、紙の文書の注釈である。
先に述べたように、マークアップデータは多くの場合、文書の他の読者等、第三者によって提供されることができる。オンラインディスカッションおよびレビューは、特定の仕事、ボランティアで寄稿される翻訳および説明に関するコミュニティ管理の情報として、良い例である。
システムの何人かまたはすべてのユーザにより文書から取得したデータを解析することによって、コミュニティのアクティビティおよび関心に基づいてマークアップが発生し得る。例として、実際に「この本を楽しんだ人は、・・・も楽しんだ」とユーザに教えるマークアップまたは注釈を作成するオンライン書店が挙げられるかもしれない。マークアップは匿名性が低くてもよく、ユーザに、当該ユーザが持つ連絡先リストの中でこの文書を最近読んだ人を教えてもよい。データストリーム解析の他の例を、第14項に含む。
マークアップは、多くの場合、企業データベースからの入力、公衆インターネットからの情報、またはローカルオペレーティングシステムにより収集された統計等、外部イベントおよびデータソースに基づくものであろう。
多くの場合、ユーザのIDは知られることになる。これが「匿名ID」である場合があり、その場合ユーザは例えば取得装置の製造番号のみで識別される。しかしながら、一般に、システムがユーザについてはるかに詳細な知識を有し、システムをパーソナル化し、ユーザ名でアクティビティおよび取引の実行を可能にするためにそれを使用することができると予期される。
最も単純かつ最も有用な機能の1つは、ユーザのために、当該ユーザが取得したテキスト、ならびに、見つかったあらゆる文書の詳細、当該文書内のロケーション、および結果としてとられるあらゆるアクションを含む、当該取得に関するさらなる情報を記録に留めることである。
ユーザには、「ライフライブラリ」という当該ユーザが読んで取得したすべての記録が提示される場合がある。これは、単純に個人的関心のためのものであってもよいが、例えば、次の論文の参考文献となる資料を収集している研究者によってライブラリ内で使用されてもよい。
ユーザの過去の取得に関する記録は、システムにも有用である。システム操作の多くの側面は、ユーザの読書習慣および履歴を知ることによって強化されることができる。最も単純な例は、ユーザによって行われるいかなるスキャンも当該ユーザが最近においてスキャンした文書から生じている可能性が高いことであり、特に前回のスキャンが過去数分の間だった場合には、同一の文書からのものである可能性が極めて高い。同様に、文書が最初から最後という順序で読まれている可能性も高い。したがって、英語の文書の場合、後のスキャンは文書のずっと下で発生する可能性も高い。該当するファクタは、システムが、曖昧な場合の取得のロケーションを確立するのを助けることができ、取得される必要があるテキストの量を削減することもできることである。
取得プロセスは概してある種のデバイス、一般には光学スキャナまたはボイスレコーダから始まるため、このデバイスは、ユーザを識別しある一定のアクションを許可するキーとして使用されることができる。
デバイスは、携帯電話または携帯電話アカウントに関連する他の何らかの手法に埋め込まれてよい。例えば、スキャナはアカウントに関連するSIMカードをスキャナに挿入することによって、携帯電話アカウントに関連することができる。同様に、デバイスは、クレジットカードまたは他の支払いカードに埋め込まれてよく、または該当するカードがそれに接続されるための設備を有してもよい。したがって、デバイスは支払いトークンとして使用されることができ、レンダリングされた文書からの取得によって金融取引を開始することができる。
スキャナは、特定のユーザまたはアカウントと関連する何らかのトークン、シンボル、またはテキストをスキャンするプロセスを通じて、当該ユーザまたはアカウントに関連してもよい。また、スキャナは、例えばユーザの指紋をスキャンすることによって、バイオメトリック認証に使用されてもよい。音声ベースの取得装置の場合、システムは、ユーザの声紋を一致させることによって、またはユーザにある一定のパスワードまたはフレーズを言うよう要求することによって、ユーザを識別することができる。
ユーザを識別および認証するため、ならびにユーザに代わって取引を開始するために取得装置が使用される場合、デバイスとシステムの他の部分との間の通信がセキュアであることが重要である。デバイスと他のコンポーネントとの間の通信が傍受される、スキャナをまねた別のデバイス、いわゆる「中間者」攻撃のような状況に対して保護することも重要である。
説明したシステムの利点は、多くのシステムの利益を得るために、文書を作成、印刷、または発行する従来のプロセスを変更する必要がないことである。しかしながら、文書の作成者または発行者―以後、単純に「発行者」と称する―は、説明したシステムをサポートするための機能性の作成を希望する場合があるという理由がある。
システムは、印刷された文書が関連する電子存在を有するのを可能にする。従来、発行者はCD‐ROMを、さらなるデジタル情報、チュートリアルムービーおよび他のマルチメディアデータ、サンプルコードまたは文書、もしくはさらなる参考資料を含む本とともに出荷することが多い。また、一部の発行者は、正誤表、追加コメント、更新された参考資料、参考文献および関連データのさらなるソース、ならびに他の言語への翻訳等、発行後に更新され得る情報に加え、該当する資料を提供する特定の発行物に関連するウェブサイトを保持する。オンラインフォーラムによって、読者は発行物に関するコメントを寄稿することができる。
いくつかの発行者は、新しい関連事項の通知を受けたい場合、また本の新版が発行された際、読者がサブスクライブできるメーリングストを有することができる。説明したシステムを使用すると、ユーザは特定の文書または文書の一部への関心をより容易に登録することができ、発行者が該当するいかなる機能性の提供を検討する前であっても登録できる場合がある。読者の関心は発行者へ提供され、場合によっては更新、さらなる情報、新版、または、現存する本において関心を持たれていると確認されたトピックに関する全く新しい発行物の提供する時期および場所についても影響を及ぼす。
単純に文書内に既に存在するテキストの使用を通じて、システムの多くの側面が可能となる。しかしながら、システムと連動して使用され得る知識のもとに文書が作り出される場合、特別なマークの形態で余分の情報を印刷することにより、余分の機能性を追加してもよく、これを使用してテキストまたは要求されたアクションをより密接に識別することができ、またはシステムとの文書のインタラクションを強化することができる。最も単純かつ最も重要な例は、文書がシステムを通じて確かにアクセス可能であるという読者への表示である。例えば、この文書はそれに関連するオンラインディスカッションフォーラムを有するということを示すために、特別なアイコンを使用してもよい。
印刷された文書への所有またはそれへのアクセスが、ユーザにある一定の特権、例えば文書の電子コピーまたは追加資料へのアクセス等を与えるであろう状況がいくつかある。説明したシステムを使用すると、該当する特権は、ユーザが単純に文書からテキストの一部を取得した、または特別に印刷されたシンボルをスキャンした結果として付与されることができる。ユーザが文書全体を所有していたことをシステムが確認する必要がある場合、特定のページから特定の項目またはフレーズ、例えば「46ページ2行目」をスキャンするよう、ユーザに促すかもしれない。
印刷された文書が余分の資料および機能性へのゲートウェイである場合、該当する特徴へのアクセスも期限付きである場合がある。有効期限後、ユーザはその特徴に再度アクセスするために、手数料を支払うか文書の新版を取得することを要求される場合がある。当然ながら、紙の文書は依然として使用可能であるが、強化された電子機能性の一部を喪失してしまう。これは、例えば、電子資料へのアクセスに対する手数料を受け取る、またはユーザに時々新版を購入するよう要求することで発行者に利潤があるため、または、まだ流通している旧版の印刷された文書に関連する不都合があるため、望ましい場合がある。クーポンは、有効期限を有し得る商業文書のタイプの例である。
第10.5項では、著者への報酬と広告価格に影響する、システムの統計の使用について論じる。
説明したシステムの重要な側面は、文書のレンダリングされたコピーにアクセスできるユーザに、当該文書の電子版へのアクセスを提供する能力である。文書は、ユーザがアクセスできるパブリックネットワークまたはプライベートネットワーク上で自由に利用できる場合がある。システムは、取得されたテキストを使用して文書を識別し、位置付け、かつ取り込み、場合によってはそれをユーザの画面に表示するか、またはユーザの電子メール受信箱へ預ける。
文書へのアクセスは、例えばユーザがセキュアなネットワークに接続されている場合、特別なユーザ、または特定の基準を満たすユーザ、に制限される場合があり、もしくは、ある一定の環境においてのみ利用可能な場合がある。第6項では、ユーザおよびスキャナの証明書が確立され得る手法のいくつかについて説明している。
一般の人々には自由に利用できない文書は、多くの場合、発行者または著作権保持者への報酬として、手数料を支払うことによってアクセス可能であり続ける場合がある。システムは、支払い設備を直接的に実装するか、または、第6.2項で説明したものを含む、ユーザに関連する他の支払い方法を活用することができる。
電子文書は一時的なものである場合が多く、レンダリングされた文書のデジタルソース版は、現在は利用可能であるが、将来はアクセス不可能となる。システムは、ユーザがそれを要求していない場合であっても、ユーザに代わって現行版を取り込み、格納することができ、したがって、ユーザが将来それを要求するはずのアベイラビリティを保証する。これは、システムの使用、例えば、将来の取得を識別するプロセスの一部として検索するためにもそれを利用可能にする。
支払いは、ユーザの現存する別のアカウントまたはサブスクライブとの関連付けに基づいて、放棄、削減または充足される場合がある。例えば、新聞の印刷版へのサブスクライバは、自動的に電子版を取り込む権利を与えられるかもしれない。
紙の文書からテキストを取得し、電子オリジナルを識別し、当該オリジナル、または取得と関連する当該オリジナルの一部を印刷するプロセスは、以下のような多くの利点を持つ従来の写真式複写の代替を形成する。
法律文書、もしくは歴史的または他の特別な意義を有する文書の場合等、文書が特に貴重な場合、人々は一般に、多くの場合何年もの間、それらの文書のコピーを使い、一方、オリジナルは安全な場所に保管しておく。
光学式文字認識(OCR)技術は従来、例えばページ全体を取得するフラットベッドスキャナ等による、大量のテキストを含む画像に焦点を当ててきた。OCR技術は、多くの場合、有用なテキストを作り出すためにユーザによる相当な訓練および補正を必要とする。OCR技術は多くの場合、OCRを行う機械に相当な処理能力を要求し、一方、多くのシステムは辞書を使用し、それらは概して事実上無限の語彙について動作すると予期される。
説明したシステムとともに使用するためのスキャン装置は、多くの場合小型で、携帯型で、かつ低電力であろう。スキャン装置は、一度に数単語しか取得できず、いくつかの実装においては、一度に文字全体どころか、テキストを横断する水平スライスを取得することさえできず、該当するスライスは、テキストを推測できる認識可能な信号を形成するために綴じられているものである。スキャン装置は、極めて限られた処理能力または記憶領域等を有する場合もあり、一方、いくつかの実施形態においては、OCRプロセス自体のすべてを実行することができ、多くの実施形態は、場合によっては後で、取得した信号をテキストに変換するための、より強力なデバイスへの接続に依存するであろう。最後に、スキャン装置は、ユーザインタラクションのための極めて限られた設備を有する場合があり、そのため、いかなるユーザ入力の要求も後に延期する、または、現在一般的であるよりも大いに「最良推定」モードで動作する必要がある。
説明したシステム内のOCRの主な新しい特性は、一般に、どこか別の場所に存在するテキストの画像を調べ、これをデジタル形態で取り込むことができるという事実である。テキストの正確な転写は、したがって常にOCRエンジンから要求されるとは限らない。OCRシステムは、場合によっては確率加重を含む、考えられる一致のセットまたはマトリクスを出力することができ、デジタルオリジナルを検索するためにこれをまた使用することができる。
認識を実行するデバイスが、処理時に文書インデックスと接触できる場合、OCRプロセスは、それが進行するにつれて文書集合のコンテンツにより知らされることができ、実質的により高い認識精度を提供する可能性がある。
システムが文書の起こりそうな印刷レンダリングの側面についての知識を有する場合―例えば、印刷に使用されるフォント書体、またはページのレイアウト、またはどの項がイタリック体になっているか等―これも認識プロセスにおいて助力となり得る。(第4.1.1項)
9.5.フォントキャッシュ‐ホスト上でフォントを決定する、クライアントにダウンロードする
文書集合内の候補ソーステキストが識別されると、フォントまたはそのレンダリングは認識を助けるためにデバイスへダウンロードされることができる。
テキスト断片のコンポーネント文字は、文書署名として使用されるテキストの断片を表すための最も評価されている手法であり得るが、テキスト断片の実際のテキストが使用される必要がないテキストのその他の代表例は、デジタル文書および/またはデータベースにおいてテキスト断片の位置を特定しようとする際、もしくはテキスト断片の代表例を可読形態にして明確にする際に、十分よく作用することができる。テキスト断片の他の代表例は、実際のテキストが不足を表す利益を提供することができる。例えば、テキスト断片の光学式文字認識は、断片全体の光学式文字認識に頼ることなくテキスト断片を検索および/または再作成するために使用され得る、取得されたテキスト断片のその他の代表例とは異なり、多くの場合エラーを起こしやすい。該当する方法は、現在のシステムで使用されているいくつかのデバイスにより適切である場合がある。
従来のテンプレートマッチングOCRは、スキャンされた画像を文字画像のライブラリと比較する。要するに、アルファベットは各フォントで格納され、新しくスキャンされた画像は一致する文字を見つけるために格納された画像と比較される。プロセスは、概して、正しいフォントが識別されるまで初期遅延を有する。ほとんどの文書が初めから終わりまで同一のフォントを使用するため、その後のOCRプロセスは比較的迅速である。したがって、その後の画像は、最近識別されたフォントライブラリとの比較によってテキストに変換されることができる。
検索プロセスにおいて、画像を使用に適合する形態に機械転写できない場合、後にユーザが使用するため、考えられる手動転写のため、または、後に異なるリソースがシステムに利用可能になった際に処理するために、画像自体を保存することができる。
システムによって可能になるアクションの多くは、結果として何らかの商取引を引き起こす。システムを介して紙から開始される商業活動を説明するために、本明細書では「Pコマース」というフレーズを使用する。
ユーザが文書からテキストを取得した場合、ユーザは当該文書を紙または電子形態のいずれかで購入するよう提案される場合がある。ユーザは、紙の文書において引用または言及されたもの、または同様のサブジェクトものの、または同一の著者によるものといった関連文書を提供される場合もある。
テキストの取得は、他の商業活動と様々な手法でリンクされている場合がある。取得されたテキストは、アイテムを販売するために明確にデザインされているカタログ内にあってよく、この場合、テキストはアイテムの購入とかなり直接的に関連しているであろう(第18.2項)。テキストは広告の一部であってもよく、この場合、広告されているアイテムの販売が結果として起こり得る。
テキストまたはシンボルが、実際にアイテムまたはその包装に印刷されている場合がある。例としては、電子機器の後部または底面にあるラベル上に見られる製造番号または製品IDが挙げられる。システムは、当該テキストを取得することにより、1つ以上の同一アイテムを購入するための便利な手法をユーザに提案することができる。また、マニュアル、サポート、または修理サービスが提供されることもある。
広告からのテキストの直接取得に加えて、システムは、レンダリングされた文書において必ずしも明確ではないが、人々が読んでいるものに基づいた新しい種類の広告を可能にする。
従来の紙の発行物において、広告には概して新聞記事のテキストと比較して大幅なスペースを費やし、限られた数のそれらが配置されるのは特定の記事の周辺である。説明したシステムにおいて、広告は個別の単語またはフレーズと関連してよく、当該テキストを取得すること、および場合によっては過去のスキャンの履歴を考慮することによって、ユーザが示した特定の関心に従って選択されてよい。
システムは、自身が使用するためのユーザコンテクストの他の側面についての大量の情報を収集しており(第13項)、ユーザの地理的位置の推定値がよい例である。該当するデータを使用して、システムのユーザに対して提示される広告を調整することもできる。
システムは、広告主および販売業者への報酬の新しいモデルをいくつか可能にする。広告主を含む、印刷された文書の発行者は、文書から発生した購入からいくらかの収入を受け取ることができる。これは、元の印刷された形態で存在する広告であってもなくても真実であってよく、発行者、広告主またはある第三者のいずれかによって電子的に追加されたものであってよく、該当する広告のソースはユーザがサブスクライブしたものであってよい。
システムによって発生した統計の解析は、発行物のある部分の人気を示すことができる(第14.2項)。例えば、新聞において、システムは、特定のページまたは記事を見るのに読者が費やしている時間、もしくは特定のコラムニストの人気を示すかもしれない。状況次第で、著者または発行者にとって、書かれた単語または配布されたコピーの数等のもっと従来の評価指数よりも、読者のアクティビティに基づいて報酬を受け取ることが適切である場合がある。あるサブジェクトについてのその著作物が頻繁に読まれる権威となりつつある著者は、将来のサブスクライブでは、同一数のコピーを販売したがめったに開かれない著者とは違うと考えられるかもしれない。(第7.6項も参照のこと)
10.5.2.人気ベースの広告
文書における広告についての決定は、読者層についての統計に基づくものであってもよい。最も人気のあるコラムニストの周辺の広告スペースは、割増料金で販売される場合がある。広告主は、文書が発行された後、それがどのように受け取られたかについての知識に基づいて、何度か請求される、または報酬を支払われることさえあるかもしれない。
第6.1および16.1項で説明した「ライフライブラリ」またはスキャン履歴は、ユーザの関心および習慣についての極めて価値のある情報のソースであってよい。適切なコンテンツおよびプライバシーの問題に適用させて、該当するデータは商品またはサービスの提供をユーザに知らせることができる。匿名の形態であっても、収集された統計は非常に有用となり得る。
広告および他の商取引の機会は、テキスト取得時、直ちにユーザに提示されない場合がある。例えば、小説の続編を購入する機会はユーザが小説を読んでいる時に利用可能となり得ないが、システムは続編が発行される当該機会をユーザに提示することができる。
現代のオペレーティングシステム(OS)および他のソフトウェアパッケージは、説明されたシステムの使用に有利に利用されることができる。多くの特性を有し、その使用のためにより良いプラットフォームを提供するために様々な手法で修正してもよい。
現在およびこれからのファイルシステム、ならびにそれらの関連データベースは、多くの場合、各ファイルに関連する様々なメタデータを格納する能力を有する。従来、このメタデータは、ファイルを作成したユーザのID、作成日時、最終修正、および最終使用等を含んでいた。より新しいファイルシステムは、キーワード、画像特性、文書ソース、および格納されるユーザコメント等の余分の情報を可能にし、いくつかのシステムにおいて、このメタデータは恣意的に拡張されることができる。したがって、ファイルシステムを使用して、現在のシステムを実装するのに有用となり得る情報を格納することができる。例えば、説明したシステムを使用してどのテキストが、いつ、および誰によって紙から取得されたかについての詳細のように、ある文書が前回印刷された日時はファイルシステムによって格納されることができる。
取得装置の適用性は単一のソフトウェアアプリケーションを超えて拡張しているため、ペンスキャナ等の取得装置の使用が増加するにつれて、マウスおよびプリンタへのサポートが提供されたのとほぼ同一の手法で、それらのオペレーティングシステムへのサポートを築くことが望ましくなるであろう。システムの動作の他の側面に関しても、同じことが言えるであろう。以下に例をいくつか挙げる。いくつかの実施形態において、説明したシステムの全体、またはそのコアは、OSによって提供される。いくつかの実施形態において、システムのサポートは、システムの側面を直接的に実装するものを含む他のソフトウェアパッケージにより使用され得るアプリケーションプログラミングインターフェース(API)によって提供される。
レンダリングされた文書からテキストを取得する方法のほとんどは、ソースデータ、一般にスキャンされた画像または何らかの話された言葉を、システムにおいて私用するのに適合するテキストとして解釈するために、何らかの認識ソフトウェアを必要とする。過去においてOCRの使用は一般に狭い範囲のアプリケーションに限られていたため、OSがOCRのサポートを含むことはあまり一般的でないが、一部のOSは、スピーチまたは手書き文字認識のサポートを含む。
光学スキャンまたは他の取得が発生し、OSに対して提示された場合、取得の所有権を請求するサブシステムが他にないイベントにおいて、そのような状況でとられるデフォルトアクションを有する場合がある。デフォルトアクションの例としては、代替の選択肢をユーザに提示すること、または、取得したテキストを検索設備に内蔵されたOSに提示することが挙げられる。
レンダリングされた文書のデジタルソースが見つかった場合、OSは、特定の文書、または当該分類の文書がスキャンされる場合にとる標準アクションを有する場合がある。アプリケーションおよび他のサブシステムは、ある一定のファイルタイプを扱うための能力についてアプリケーションによって知らされるのと同様の方式で、特定タイプの取得の潜在的なハンドラとしてOSに登録することができる。
第12.1.3項では、特に光学スキャンの場合における「ジェスチャ」の使用について論じており、ここで、携帯用スキャナによって行われる特定の動きはテキストの領域の開始および終了をマーキングする等の標準アクションを表すかもしれない。
同様に、テキストのある一定のアイテムおよび他のシンボルは、スキャンされる際に標準アクションを引き起こすことができ、OSはこれらの選択を提供することができる。例としては、いかなる文書におけるテキスト「[印刷]」のスキャンも、OSに当該文書のコピーを取り込み印刷させるだろうということが挙げられるかもしれない。OSは、該当するアクションを登録し、それらを特定のスキャンと関連付けるための手法を提供することもできる。
ほとんどのソフトウェアアプリケーションは、実質的に、OSによって提供される標準的なグラフィカルユーザインターフェースコンポーネントに基づく。
システムの一般的な使用は、ユーザが紙の文書のあるエリアをスキャンすること、ならびに、システムがそれを表示または編集できるソフトウェアパッケージにおいて電子副本を開き、スキャンされたテキストを当該パッケージにスクロールおよびハイライトさせることであってよい(第12.2.1項)。このプロセスの第1の部分、電子文書を見つけて開くことは一般にOSによって提供され、ソフトウェアパッケージにわたって標準である。しかしながら、第2の部分―文書内においてテキストの特定の一部分の位置を特定し、パッケージにそれをスクロールおよびハイライトさせること―は未だ標準化されておらず、パッケージごとに異なる実装をされていることが多い。この機能性に関する標準APIのアベイラビリティは、システムのこの側面の操作を大幅に強化することが可能である。
テキストの一部分が文書内において位置付けられると、システムは当該テキストにおいて様々な操作を実行することを望む場合がある。例として、システムは周囲のテキストを要求する場合があり、そのため、ユーザによる数単語の取得は結果としてシステムにそれらを含む文または段落全体へアクセスさせる可能性がある。ここでも、この機能性は、テキストを扱うソフトウェアの全部において実装されるのではなく、OSによって有効に提供され得る。
システムによって可能になる操作のいくつかはユーザフィードバックを要求し、これはデータを扱うアプリケーションのコンテクスト内において任意で要求される場合がある。いくつかの実施形態において、システムは、従来は同一のテキストにおいて右マウスボタンをクリックすることに関連するアプリケーションポップアップメニューを使用する。システムは、該当するメニューに余分のオブションを挿入し、それらを紙の文書のスキャン等のアクティビティの結果として表示させる。
次第にネットワーク化されている今日の世界では、個別の機械において利用可能な機能性のほとんどにネットワーク上でアクセスすることもでき、説明したシステムに関連する機能性も例外ではない。例として、オフィス環境においては、ユーザが受け取った多くの紙の文書は同一の企業ネットワーク上にある他のユーザの機械によって印刷されたものである場合がある。1つのコンピュータ上のシステムは、取得を受けて、適切な許可制御を適用し、当該取得に対応し得る文書用にそれらの他の機械をクエリーすることができる。
紙とデジタル文書の統合において重要なファクタは、両者の間の取引についてできる限り多くの情報を保持することである。いくつかの実施形態において、OSは、あらゆる文書がいつ誰によって印刷されたかを簡単な記録に留める。いくつかの実施形態において、OSは、システムによる使用により適したものにする1つ以上のアクションをさらに行う。例として以下のものが挙げられる。
OSは多くの場合、特定の意義を有するある一定のカテゴリのフォルダおよびファイルを保持している。ユーザの文書は、仕様およびデザインによって、例えば「マイドキュメント」フォルダ内で見つかる。標準ファイルオープンダイアログは、最近開かれた文書のリストを自動的に含むことができる。
システムの重要な側面は一般に第5項で論じた「マークアップ」概念を使用して提供されるため、OS自体に加えて複数のアプリケーションにアクセス可能な手法でOSによって提供される該当するマークアップのサポートを有することは明らかに有利であろう。また、マークアップの層は、その制御下における文書についての知識および提供可能な設備に基づいて、OSによって提供されることができる。
増えつつあるオペレーティングシステムは、何らかの形で「デジタル権利管理」、つまり、特定のユーザ、ソフトウェアエンティティ、または機械に付与された権利に従って特定のデータの使用を制御するための能力をサポートしている。それにより、例えば権限のないコピーまたは特定の文書の配布を阻止することができる。
システムのユーザインターフェースは、取得装置が比較的ダムでありケーブルによってそれに接続されている場合には完全にPC上にあってよく、または、それが高性能でありそれ自体が大きな処理能力を持つ場合には完全にデバイス上にあってよい。何らかの機能性が各コンポーネントに備わっている場合がある。システムの機能性の一部または全部が、携帯電話またはPDA等の他のデバイス上で実装される場合もある。
すべての取得装置について、しかし特に光学スキャナの場合、スキャン時のユーザの注意は概してデバイスおよび紙に注がれるであろう。そこで、スキャンプロセスの一部として必要とされるいかなる入力およびフィードバックも、ユーザの注意がどこか、例えばコンピュータの画面上にあることを必要以上に要求しないことが極めて望ましい。
携帯型スキャナは、特定の状況についてユーザにフィードバックを提供する様々な手法を有することができる。最も明らかなタイプは、スキャナが表示ライトまたはフルディスプレイまで組み込む直接視覚的なもの、およびスキャナがビープ音、クリック音、または他の音を鳴らすことができる聴覚的なものである。重要な代替としては、スキャナが振動したり、ブンブンうなったり、またはユーザの触覚を刺激したりできる触覚フィードバック、および高性能のディスプレイへの光の有色点から何かを紙に投影することによりステータスを示す投影フィードバックが挙げられる。
十分なコンテンツ―存在する場合、一致するものを見つけるために十分なスキャンが行われた―非接続操作に重要
既知のコンテクスト―位置を特定されたテキストのソース
既知の固有コンテクスト―位置を特定されたテキストの1つの固有ソース
コンテンツのアベイラビリティ―コンテンツがユーザに自由に利用可能か、または費用がかかるかの表示
通常システムの後の段階に関連するユーザインタラクションの多くは、例えば文書の一部または全部を表示するための十分な能力を有する場合、取得装置において行われることもできる。
デバイスは、基本的なテキスト取得に加えて、入力を提供するための様々な手法をユーザに提供することができる。デバイスが、キーボードおよびマウス等の入力オプションを有するホストマシンと密接に関連している場合であっても、ユーザが例えばスキャナを操作することとマウスを使用することとの間で切り替えるのに混乱を生じさせる場合がある。
紙全体にわたってスキャナを移動させる主な理由はテキストを取得することであるが、いくつかの動きはデバイスによって検出され、ユーザの他の意図を示すために使用されることができる。該当する動きを、本明細書においては「ジェスチャ」と称する。
システムの多くの側面は、スキャナとラップトップ型ホストコンピュータ等のシステムのコンポーネント間の、または企業データベースおよびインターネット検索との接続の形態で外部との、いずれかのネットワーク接続性に依存する場合がある。しかしながら、この接続性は常に存在することはできず、したがってシステムの一部または全部が「オフライン」であると見なされる場合もあるということになる。システムがそれらの状況で有効に機能し続けられるようにすることが望ましい。
スキャナは多くの場合、ユーザとのより詳細なインタラクションを含むシステムの機能の多くを実行するために、PC、PDA、電話、またはデジタルカメラ等、他の何らかのデバイスと通信を行うであろう。
取得を受け取ると、ホストデバイスは様々なアクティビティを開始することができる。位置を特定した後にシステムによって実行される可能なアクティビティのリスト、ならびに、取得および当該文書内のロケーションに関連する電子副本を以下に挙げる。
ローカル記憶領域またはリモートロケーションから文書を取り込むことができる。(第8項)
オペレーティングシステムのメタデータおよび文書に関連する他の記録を更新することができる。(第11.1項)
次の関連操作を判定するために、文書に関連するマークアップを調べることができる。(第5項)
文書においてソフトウェアアプリケーションを編集、ビュー、または操作開始することができる。アプリケーションの選択は、ソース文書、またはスキャンのコンテンツ、または取得の他の何らかの側面に依存する場合がある。(第11.2.2、11.2.3項)
アプリケーションは、取得のロケーションへスクロール、そこをハイライト、挿入ポイントをそこへ移動、またはそこを表示することができる。(第11.3項)
取得されたテキストの正確な範囲は、例えば、取得されたテキストの周囲の単語、文、または段落全体を選択するように修正されることができる。(第11.3.2項)
取得テキストをクリップボードにコピーするため、もしくは、他の標準的なオペレーティングシステムまたはその上でのアプリケーション固有の操作を実行するためのオプションをユーザに与えることができる。
ユーザが選択するための将来可能な操作のセットを判定するために、マークアップを調べることができる。
システムによってとられる適切なアクションは、明らかな場合もあるが、ユーザによって行われる選択を必要とする場合もある。これを行うための1つの良い手法は、「ポップアップメニュー」の使用によるもの、または、コンテンツが画面にも表示されている場合には、コンテンツ付近に現われるいわゆる「コンテクストメニュー」を使用するものである(第11.3.3項を参照)。いくつかの実施形態において、スキャナ装置は紙の文書にポップアップメニューを投影する。ユーザは、キーボードおよびマウス等の従来の方法を使用して、または取得装置の制御(第12.1.2項)、ジェスチャ(第12.1.3項)を使用して、またはスキャナを使用してコンピュータディスプレイと情報をやりとりすることによって(第12.2.4項)、該当するメニューを選択することができる。いくつかの実施形態において、取得の結果として現われ得るポップアップメニューは、ユーザが応答しない場合―例えば、ユーザがメニューを無視し、別の取得を行った場合―に生じるアクションを表すデフォルト項目を含む。
ユーザがテキスト取得を開始すると、始めはいくつかの文書または一致しそうな他のテキストロケーションがあるであろう。テキストの取得が進んで他のファクタが考慮に入れられると(第13項)、候補ロケーションの数は実際のロケーションが識別されるまで減少し、またはさらなる曖昧性の除去はユーザ入力なしには不可能である。いくつかの実施形態において、システムは、例えばリスト、サムネイル画像、またはテキストセグメント形態で、見つかった文書またはロケーションのリアルタイム表示を、および取得が継続するにつれて数を減少させるため、当該ディスプレイ内の要素の数を提供する。いくつかの実施形態において、システムはすべての候補文書のサムネイルを表示し、ここでサムネイルのサイズまたは場所は、それが正しい一致であるという可能性に依存する。
いくつかの光学スキャナは、紙の上に加えて、画面上に表示されたテキストを取得することができる。したがって、レンダリングされた文書という用語は、本明細書においては、紙への印刷がレンダリングの唯一の形態ではないこと、および、システムによって使用するためのテキストまたはシンボルの取得は、電子ディスプレイ上に当該テキストが表示された際と等しく価値があり得ることを示すために使用される。
説明したシステムの重要な側面は、使用中の文書を識別するのを助けるための、テキストの文字列の単純な取得以外のファクタの使用である。適量のテキストの取得は、多くの場合、文書を一意に識別することができるが、多くの状況において識別するのは少数の候補文書である。1つの解決策は、スキャンされている文書を確認するようユーザに促すことであるが、好ましい代替は、可能性を自動的に絞り込むために他のファクタを活用することである。該当する補足情報は、取得される必要があるテキストの量を劇的に削減し、かつ/または、電子副本内においてロケーションを識別できる信頼性および速度を高めることができる。この余分の資料を「コンテクスト」と称し、これについては第4.2.2項で簡単に論じた。ここではそれをさらに深く考察する。
おそらく、該当する情報の最も重要な例は、ユーザの取得履歴である。
有用なコンテクストの別の例は、ユーザの地理的位置である。例えば、パリにいるユーザは「Seattle Times」よりも「Le Monde」を読む傾向が強い。したがって、文書の印刷版のタイミング、サイズ、地理的配布が重要となる場合があり、システムの操作からある程度の推定が可能である。
より従来の手段により検索または取り込みされたものを含み、電子文書のユーザによる最近の使用も役立つ表示となり得る。
企業ファイルサーバ上で最近修正されたのはどの文書か
最近電子メールで送られたのはどの文書か
これらの例はすべて、ユーザがそれらの文書の紙版を読んでいる可能性が高いことを示唆しているかもしれない。対照的に、文書が備わっている収納庫が、その文書が印刷されたことがない、または、印刷されるかもしれない場所へ送信されたことがないと断言することができる場合、紙から発生するいかなる検索においても安全に削除されることができる。
第14項では紙ベースの検索から結果として生じるデータストリームの解析について取り上げているが、本明細書において、他の読者への文書の人気について、人気のタイミングについて、および最も頻繁にスキャンされる文書の部分についての統計はすべて、検索プロセスにおいて有益となり得るさらなるファクタの例であることに留意すべきである。システムは、紙の世界にGoogleタイプのページランキングの可能性をもたらす。
システムの使用は、副次的な結果として非常に価値のあるデータストリームを発生させる。このストリームは、ユーザがいつ何を読んでいるかについての記録であり、多くの場合、ユーザが読んだものの中で特に価値があると感じるものについての記録である。該当するデータは、紙の文書について以前は実際に利用可能ではなかった。
ある任意のユーザがどの文書を読んでいるかシステムが知っている場合、あるに任意の文書を誰が読んでいるかをシステムが推測することもできる。これにより、例えば、誰がいつそれを読んでいるか、どの程度広範にわたって配布されたか、配布にどのくらい時間がかかったか、および、誰が現在版を見ていて、誰が未だ旧版のコピーを使っているかの解析を可能にするための、組織を通じた文書の追跡が可能になる。
ユーザが特に関心のあるテキストまたは他のデータを取得している状況において、システムは、ある文書およびそれらの文書の特定のサブ領域の人気を推測することができる。これは、システム自体に対し価値のある入力(第4.2.2項)、ならびに、著者、発行者、および広告主にとって重要な情報ソース(第7.6項、第10.5項)を形成する。このデータは、検索エンジンおよび検索インデックスに統合されている―例えば、レンダリングされた文書から生じるクエリーの検索結果のランキングを助力するため、および/または、ウェブブラウザに打ち込まれた従来のクエリーをランキングするのを助力するため―場合にも有用である。
ユーザが何を読んでいるかという知識は、システムが、ユーザの関心およびアクティビティの極めて詳細なモデルを作成することを可能にする。これは、抽象的な統計的基礎―「この新聞を買うユーザの35%は当該著者の最新本も読む」―において有用であり得るが、以下で論じるような個人ユーザとの他のインタラクションも可能にする。
例を1つ挙げると、1人のユーザを、関連の関心を有する他のユーザと接続するというものである。これらは、ユーザにとって既知の人々であってよい。システムは、大学教授に「XYZ大学のあなたの同僚もこの新聞を読んだばかりだということを知っていましたか」と尋ねることができる。システムは、ユーザに「近隣で“Jane Eyre”を読んでいる他の人とリンクすることを希望しますか」と尋ねることができる。該当するリンクは、物質世界またはオンラインのいずれかにおいて、ブッククラブまたは同様の社会構造の自動形成の基礎となり得る。
第10.6項では、製品およびサービスを、それらのシステムとのインタラクションに基づいて、個人ユーザに提供するという考えについて既に述べた。例えば、現在のオンライン書籍販売業者は、多くの場合、ユーザの前回の書籍販売業者とのインタラクションに基づいてユーザに推薦を行う。該当する推薦は、それらが実際の本とのインタラクションに基づいたものである場合に、よりいっそう有用となる。
システムが、文書を発行する人々、それらを通じて広告をする人々、および紙から開始される他の販売に影響を及ぼし得る、いくつかの手法について論じてきた(第10項)。一部の商業活動は、紙の文書との直接的なインタラクションを全く持たないが、それにも関わらずそれらから影響を受ける場合がある。例えば、ある1つのコミュニティにいる人々は、経済面よりもスポーツ面を読むのに時間を費やすという知識は、ヘルスクラブを設立しようとしている誰かにとっては関心のあるものかもしれない。
どの文書のどの部分を誰がいつどこで読んでいるか等の論じた統計に加えて、文書の位置が特定されたか否かにかかわらず、取得されたテキストの実際のコンテンツを調べることも関心を集める場合がある。
システムで使用する取得装置は、レンダリングされた文書からテキストを取得する手法を必要とするにすぎない。前述したように(第1.2項)、この取得は、文書の一部の写真を撮影すること、および、いくつかの単語を携帯電話キーパッドに打ち込むことを含む様々な方法によって実現できる。この取得は、1〜2行のテキストを同時に記録できる小型携帯用光学スキャナ、または、ユーザが文書からテキストを読み込むボイスレコーダ等の音声取得装置を使用して実現できる。使用されるデバイスは、これらの組み合わせ―例えば、ボイス注釈も記録できる光学スキャナ―であってよく、取得機能性は、携帯電話、PDA、デジタルカメラ、または携帯音楽プレーヤー等の他のデバイスに内蔵されてもよい。
該当するデバイスのための、場合によっては有益となる追加の入力および出力設備の多くについて、第12.1項で説明した。それらは、入力用のボタン、スクロールホイールおよびタッチパッド、ならびに、出力用のディスプレイ、表示ライト、音声および触覚変換器を含む。デバイスがそれらのうちの多くを組み込む場合もあれば、極めて少ない場合もあるであろう。時に取得装置は、例えば無線リンクを使用して、既にそれらを有する別のデバイスと通信を行うことができるであろうし(第15.6)、時に取得機能性は、該当する他のデバイスに組み込まれるであろう(第15.7項)。
いくつかの実施形態において、デバイスは、システム自体の大部分を実装する。しかしながら、いくつかの実施形態において、多くの場合デバイスは、PCまたは他のコンピュータ機器と、および通信設備を使用してより広範な世界と通信を行う。
第3.5および12.1.4項では、非接続操作のトピックを取り上げた。取得装置がシステムの全機能性の限られたサブセットしか有しておらず、システムの他の部分と通信を行っていない場合、利用可能な機能性は削減される可能性があるが、デバイスは依然として有用であり得る。最も単純なレベルでは、デバイスは取得されている生画像または音声データを記録することができ、これは後に処理されることができる。しかしながら、ユーザの利益のためには、可能であれば、取得されたデータは進行中のタスクに十分でありそうか、それは識別されることができる、または識別可能でありそうか、および、データのソースは識別されることができる、または後に識別可能でありそうか、についてフィードバックを与えることが重要である。その後ユーザは、それらの取得アクティビティが有意義なものか否かを知るであろう。上記の事柄すべてが不明の場合であっても、ユーザが後にそれらを参照することができるように、最低限でもやはり生データを格納することができる。例えばOCRプロセスによってスキャンを認識することができない場合、ユーザにスキャンの画像が提示される場合がある。
シンプルスキャナは、テキストの行の長さに沿って移動する際にページからピクセルを読み出すことができるスキャンヘッドを有する。スキャンヘッドは、ページに沿ってその動きを検出し、動きについての何らかの情報とともにピクセルを記録することができる。シンプルスキャナは、各スキャンをタイムスタンプすることを可能にするクロックも有する。クロックは、シンプルスキャナが接続性を有する場合、ホスト装置と同期される。クロックは、実際の時間帯を表すことはできないが、ホストがスキャンの実際の時刻、または最悪の場合でもスキャン間での経過時間を推測できるように、そこから相対的時間を決定することはできる。
シンプルスキャナは、そのフル操作のための接続性にも依存するが、かなりの量のオンボードストレージ、および、オフライン中に取得されたデータについてよりよい判断をするのを助けることができる処理を有する。
次に、光学スキャナ装置において特に望ましい場合がある特徴の一部について検討する。
紙の人気を継続させている理由の1つは、例えばコンピュータが実行不可能または不便である多種多様な状況におけるその使用の容易さである。ユーザの紙とのインタラクションの実質的部分を取得することを目的としているデバイスは、したがって使用時も同様に便利であるはずである。過去のスキャナはこうだったわけではなく、最も小型の携帯用デバイスでさえ、少々扱いにくいものであった。ページに接触するようにデザインされたものは、紙に対して正確な角度で支え、スキャンされるテキストの長さに沿って極めて慎重に移動させる必要がある。これは事務机で営業報告書をスキャンする際には許容可能であるが、電車を待ちながら小説からフレーズをスキャンする際には実行不可能な場合がある。紙から離れて動作するカメラタイプの光学素子に基づくスキャナも、状況に応じて同様に有用となり得る。
第6項で説明したように、取得装置は、セキュアな取引、購入、および他の様々な操作のための識別および権限付与の重要な部分を形成することができる。したがって取得装置は、該当する役割のため必要な回路およびソフトウェアに加えて、スマートカードリーダ、RFID、またはPINを打ち込むためのキーパッド等、それをよりセキュアにすることができる様々なハードウェア特徴を組み込むことができる。
いくつかの実施形態において、デバイスは、隣接する他のデバイスとの関連付けを形成し、自身の、またはそれらの機能性のいずれかを改善することができる。いくつかの実施形態において、例えば、デバイスは、その操作についてより詳細なフィードバックを与えるために、隣接するPCまたは電話を使用するか、またはそれらのネットワーク接続性を使用する。一方、デバイスは、その役割において、他のデバイスによって実行される操作を認証するためのセキュリティおよび識別装置として動作することができる。または単純に、当該デバイスへの周辺機器として機能するための関連付けを形成することができる。
いくつかの実施形態において、取得装置の機能性は、既に使用中である他の何らかのデバイスに統合される。統合されたデバイスは、電源、データ取得および記憶領域、ならびにネットワークインターフェースを共有することができる場合がある。該当する統合は、単に便宜上、費用を削減するため、または、他の形では利用不可能な機能性を可能にするために行われる場合がある。
PDA、MP3プレーヤー、ボイスレコーダ、デジタルカメラまたは携帯電話等の別の処理/記憶域装置
利便性のためだけによく持ち運ばれる他のアイテム―時計、宝石、ペン、車のキーケース
15.7.1.携帯電話統合
統合の利益の例として、取得装置として修正された携帯電話の使用を検討する。
この項では、システムおよびその上に築かれ得るアプリケーションの使用例を列挙する。このリストは、純粋に例示的なものであって、包括的な意味ではないことを目的としている。
16.1.ライフライブラリ
ライフライブラリ(第6.1.1項も参照)は、サブスクライバが保存を希望するあらゆる重要な文書のデジタルアーカイブ、および、このシステムのサービスの実施形態のセットである。重要な本、雑誌記事、新聞の切り抜き等は、すべてライフライブラリにデジタル形態で保存されることができる。また、サブスクライバの注釈、コメント、および注記は、文書とともに保存されることができる。ライフライブラリには、インターネットおよびワールドワイドウェブを介してアクセスできる。
ライフライブラリ概念の変形、またはその強化が「ライフセーバ」であり、ここでシステムはユーザによって取得されたテキストを使用して、ユーザのアクティビティについてさらに推測する。特定のレストランのメニュー、劇場パフォーマンスのプログラム、特定の鉄道駅の時刻表、または地方紙の記事のスキャンは、システムがユーザのロケーションおよび社会活動についてさらに推測を行うことを可能にし、それらを記した自動日程表を例えばウェブサイトとして構築する場合がある。ユーザは、日程表を編集および修正し、写真等のさらなる資料を追加し、当然ながら、スキャンされた項目を再度見ることができるであろう。
説明したシステムにサポートされている携帯スキャナは、学術的設定における多くの強力な使用法を有する。それらは、生徒/教師インタラクションを強化し、学習経験を増強することができる。いくつかある使用法の中で、生徒は自身の独自の必要性を適合するために教材に注釈を入力することができ;教師は学業成績を監視することができ;また教師は生徒の課題に引用されているソース資料を自動的に検証することができる。
本等の紙の文書との子供のインタラクションは、このシステムの実施形態の特別なセットを用いるリテラシー獲得システムによって監視される。子供は、リテラシー獲得システムの他の要素と通信を行う携帯スキャナを使用する。携帯スキャナに加えて、リテラシー獲得システムは、ディスプレイおよびスピーカを有するコンピュータ、ならびにコンピュータによってアクセス可能なデータベースを含む。スキャナは、コンピュータ(ハードワイヤド、短距離RF等)と連結されている。本の中で未知の単語を見ると、子供はスキャナでそれをスキャンする。一実施形態において、リテラシー獲得システムは、単語を識別するためにスキャンされたテキストをそのデータベース内のリソースと比較する。データベースは、辞書、類語辞典、および/またはマルチメディアファイル(例えば、サウンド、グラフィック等)を含む。単語が識別された後、システムはコンピュータスピーカを使用して単語およびその定義を子供に対して発音する。別の実施形態において、単語およびその定義はリテラシー獲得システムによってコンピュータのモニタ上に表示される。スキャンされた単語についてのマルチメディアファイルは、コンピュータおよびスピーカを通じて再生されることもできる。例えば、「Goldilocks and the Three Bears」を読んでいる子供が「bear(熊)」という単語をスキャンした場合、システムは「bear」という単語を発音し、熊についての短いビデオをコンピュータのモニタ上に再生するかもしれない。このようにして、子供は書かれた単語の発音を学習し、マルチメディアプレゼンテーションを介して単語が意味するものを視覚的に教わる。
いくつかの実施形態において、システムは個人辞書をコンパイルする。読者が、新しい、興味深い、もしくは特に有用または厄介なある単語を見た場合、当該読者は、それを(その定義とともに)コンピュータファイルに保存する。このコンピュータファイルは読者のパーソナル化された辞書となる。この辞書は、概して一般辞書よりサイズが小さいため、移動局または関連デバイスにダウンロードすることができ、したがって、システムが直ちにアクセス可能でない場合でも利用することができる。いくつかの実施形態において、個人辞書エントリは、適切な単語の発音を支援するための音声ファイルおよび単語がスキャンされた紙の文書がどれであるかを識別する情報を含む。
譜表上の音符の配置は、テキストの行における文字の配列と同様である。このシステムにおいてテキストを取得するためのものとして論じた同一のスキャン装置を使用して楽譜を取得することができ、既知の楽曲のデータベースに対して検索を構築する類似のプロセスは、取得が発生した曲が識別され、次いで取り込まれ、再生される、または何らかのさらなるアクションの基礎となることを可能にするであろう。
教師は、生徒の論文からテキストをスキャンして、スキャンされたテキストをシステムに提示することにより、システムを使用して盗用を検出すること、またはソースを検証することができる。例えば、生徒の論文内の引用が、当該生徒が引用したソースのものであることを検証したいと希望する教師は、引用の一部をスキャンして、システムによって識別された文書のタイトルと生徒によって引用された文書のタイトルを比較することができる。同様に、システムは、生徒のオリジナル作品として提出された課題からのテキストのスキャンを使用して、テキストがオリジナルではなくコピーされたものであるか否かを暴くことができる。
いくつかの実施形態において、学術書からテキストを取得することは、生徒または職員をさらに詳細な説明、さらなる練習問題、生徒と職員の教材についての議論、関連する過去の例題、サブジェクトのさらなる読み上げ、サブジェクトについての講義の録音等にリンクさせる(第7.1項も参照)。
いくつかの実施形態において、システムは外国語を教えるために使用される。例えば、スペイン語の単語をスキャンすることで、その英語での定義とともに単語をスペイン語で読み上げさせるかもしれない。
特定のトピックを研究しているユーザは、印刷および画面上両方において、何らかの個人アーカイブ内のトピックに関連するように記録したいと希望するかもしれないあらゆる種類の資料に遭遇する場合がある。システムは、資料の任意の部分内にある短いフレーズをスキャンした結果として、このプロセスを自動にすることができ、そのサブジェクトについての発行物への挿入に適合する参考文献を作成することもできるであろう。
明らかに、商業活動はこの文書において論じられたほとんどすべてのプロセスから作り上げられることができるが、本明細書においては、数少ない明らかな収益ストリームに集中する。
従来のインターネット検索エンジンは一般に電子文書の無料検索を提供し、インデックス内にコンテンツを含むコンテンツプロバイダへの請求も行わない。いくつかの実施形態において、システムは、ユーザに対して請求を、かつ/もしくは検索エンジンおよび/またはシステムの操作および使用に関連するコンテンツプロバイダに支払いを提供する。
顧客は、携帯スキャナを使用して紙のカタログから購入を行うことができる。サブスクライバは、カタログを識別する情報をカタログからスキャンする。この情報は、カタログからのテキスト、バーコード、またはカタログの別の識別子である。サブスクライバは購入を希望する製品を識別する情報をスキャンする。カタログ郵送ラベルは、カタログベンダに対して顧客を識別する顧客識別番号を含んでよい。その場合、サブスクライバはこの顧客識別番号もスキャンすることができる。システムは、顧客の選択および顧客識別番号をベンダに提供することによってカタログ購入を容易にするために、サブスクライバとベンダとの間の媒介として作用する。
顧客は、紙のクーポンをスキャンし、クーポンの電子コピーを後の取り込みおよび使用のためにスキャナ、またはコンピュータ等のリモートデバイスに保存する。電子記憶装置の利点は、顧客が紙のクーポンを持ち運ぶ負担から解放されることである。さらなる利点は、電子クーポンはいかなるロケーションからでも取り込みできることである。いくつかの実施形態において、システムはクーポン有効期限を追跡し、まもなく期限切れとなるクーポンについて消費者に警告し、かつ/または期限切れのクーポンを記憶領域から削除することができる。クーポンの発行者にとっての利点は、誰がクーポンを使用しているか、ならびに、いつどこでそれらが取得および使用されたかについてさらにフィードバックを受け取る可能性である。
19.1.形態
システムを使用して、紙の形態に対応する電子文書を自動投入することができる。ユーザは、紙の形態を一意に識別する何らかのテキストおよびバーコードにおいてスキャンする。スキャナは、形態の識別およびユーザを識別する情報を、隣接するコンピュータに伝える。隣接するコンピュータはインターネット接続を有する。隣接するコンピュータは、形態の第1のデータベースおよびスキャナのユーザについての情報を有する第2のデータベース(サービスプロバイダのサブスクライバ情報データベース等)にアクセスすることができる。隣接するコンピュータは、第1のデータベースから紙の形態の電子版にアクセスし、第2のデータベースから取得したユーザの情報から、形態のフィールドを自動投入する。隣接するコンピュータはその後、完成した形態を、対象とする受信者に電子メールで送る。あるいは、コンピュータは、隣接するプリンタで完成した形態を印刷することができる。
システムを使用して、紙の文書から電子アドレス帳または他の連絡先リストを自動的に投入することができる。例えば、新しい知人の名刺を受け取った際、ユーザは名刺の画像を当該知人の電話番号とともに取得することができる。システムは、名刺の電子コピーの位置を特定し、携帯電話のオンボードアドレス帳を新しい知人の連絡先情報によって更新するためにこれを使用することができる。電子コピーは、新しい知人について、名刺に詰め込める以上の情報を含むことができる。さらに、オンボードアドレス帳は、電子コピーへのいかなる変化も携帯電話のアドレス帳において自動的に更新されるように、電子コピーへのリンクも格納することができる。この例において、名刺は任意で電子コピーの存在を示すシンボルまたはテキストを含む。電子コピーが存在しない場合、携帯電話はOCRおよび標準的な名刺フォーマットの知識を使用して、アドレス帳のエントリに新しい知人を記入することができる。シンボルは、画像から直接的に情報を抽出するプロセスにおいても助力となり得る。例えば、名刺の電話番号の隣にある電話アイコンは、電話番号のロケーションを決定するために認識されることができる。
システムは、校正および編集プロセスを強化することができる。システムが編集プロセスを強化する一手法は、紙の文書との編集者のインタラクションを、その電子副本にリンクさせることによるものである。編集者が紙の文書を読み、文書の様々な部分をスキャンする際、システムは紙の文書の電子副本に対して適切な注釈入力または編集を行うであろう。例えば、編集者がテキストの一部をスキャンし、スキャナで「新しい段落」制御ジェスチャを行う場合、スキャナと通信を行っているコンピュータは、文書の電子コピー内のスキャンされたテキストのロケーションに「新しい段落」改行を挿入するであろう。
ユーザは、文書からテキストの一部をスキャンし、次いでスキャンされたテキストと関連するボイス録音を行うことにより、文書に対してボイス注釈入力を行うことができる。いくつかの実施形態において、スキャナはユーザのボイス注釈を録音するためのマイクロホンを有する。口頭での注釈が録音された後、システムはテキストがスキャンされた文書を識別し、文書内においてスキャンされたテキストの位置を特定し、当該地点にボイス注釈を添付する。いくつかの実施形態において、システムはスピーチをテキストに変換し、テキストのコメントとして注釈を添付する。
説明したシステムを使用して、電子ヘルプメニューで紙の文書を強化することができる。いくつかの実施形態において、紙の文書に関連するマークアップ層は、文書のためのヘルプメニュー情報を含む。例えば、ユーザが文書のある部分からテキストをスキャンする場合、システムは文書に関連するマークアップをチェックし、ユーザにヘルプメニューを提示する。ヘルプメニューは、スキャナのディスプレイ上または関連の隣接するディスプレイ上に提示される。
場合によっては、テレビ、コンピュータモニタ、または他の同様のディスプレイから情報をスキャンできることが利点となり得る。いくつかの実施形態において、携帯スキャナはコンピュータモニタおよびテレビから情報をスキャンするために使用される。いくつかの実施形態において、携帯光学スキャナは、ラスタライジング、画面ブランキング等の従来のブラウン管(CRT)ディスプレイ技術と連動するように最適化された明るさセンサを有する。
ディスプレイの直接的スキャンの一使用法は、第15.6項において説明したようなデバイスの関連付けである。例えば、いくつかの実施形態において、公衆ブースはそのモニタ上に動的セッションIDを表示する。ブースは、インターネットまたは企業イントラネット等の通信ネットワークに接続されている。セッションIDは定期的に、しかし、新しいセッションIDがすべてのユーザに対して表示されるよう、少なくともブースが使用されるごとに変化する。ブースを使用するためには、サブスクライバはブースにおいて表示されているセッションIDをスキャンし、セッションIDをスキャンすることによって、ユーザはシステムに、印刷された文書からのスキャン、またはブース画面自体から生じたコンテンツ配信のため、自身のスキャナを一時的にブースに関連付けたいと希望していることを告げる。スキャナは、セッションIDおよびスキャナを認証する他の情報(製造番号、アカウント番号、または他の識別情報等)をシステムに直接伝えることができる。例えば、スキャナは、ユーザの携帯電話(Bluetooth(商標)を介してユーザのスキャナと対になっている)を通じてセッション開始メッセージを送信することによってシステムと直接的に(ここで「直接的に」はメッセージにブースを通過させずにという意味である)通信を行うことができる。あるいは、スキャナは、ブースとの無線リンクを確立し、(場合によってはBluetooth(商標)等の短距離RFを介して)セッション開始情報をブースに転送することによってブースの通信リンクを使用することができ;それに応えて、ブースはインターネット接続を介してシステムにセッション開始情報を送信する。
図4は、携帯スキャン装置の一般的な使用を示す透視図である。図示した例において、ユーザはスキャン機能を有する携帯機器500を介して新聞410からテキストをスキャンする。ユーザは携帯スキャナ500を使用してテキスト420の行の一部をスキャンした。テキスト420の行の一部の画像は、スキャナ500によって格納され、リモート記憶域用に別のデバイスへ伝送される、圧縮される、または様々な手法で処理される。いくつかの実施形態において、携帯スキャナ500は、新聞記事を一意に識別するために十分な情報がスキャンされた時を示す。
いくつかの実施形態において、携帯スキャナ500は、文書を識別するために十分な情報がスキャンされたことをユーザに示すことができる。例えば、携帯スキャナ500は、文書を一意に識別する特定のスキャンを示す所定の閾値を有してよい。閾値を満たす、または超える場合、携帯スキャナ500は、ユーザインターフェース560を介して、文書を識別するために十分な情報がスキャンされたことをユーザに示す。これらの所定の閾値は、ヒューリスティックス(すなわち、経験則)、統計的解析、または他の適合する方法に基づいて決定され得る。
いくつかの実施形態において、携帯スキャナ500は、文書または文書の群のロケーションを識別するために十分な情報がスキャンされたことをユーザに示す。例えば、携帯スキャナ500は、文書または文書の群内のロケーションを一意に識別する特定のスキャンを示す閾値を有してよい。閾値を満たす、または超える場合、携帯スキャナ500は、ユーザインターフェース560を介して、文書または文書の群内のロケーションを識別するために十分な情報がスキャンされたことをユーザに示すであろう。これらの閾値は、ヒューリスティックス(すなわち、経験則)、統計的解析、特別な文書または文書の群についての情報(例えば、インデックス)、または他の適合する方法に基づいて決定され得る。
いくつかの実施形態において、携帯スキャナ500はユーザインターフェース560を介したユーザ入力によって制御される。例えば、ユーザインターフェース560がユーザにメニューを示すことができるディスプレイを含む場合、ユーザはメニュー選択肢を選択して携帯スキャナ500のアクションを制御することができる。
携帯機器500は、課金、サブスクリプション、および/または装置識別子に関する情報を格納するための記憶装置580を含んでよい。この記憶装置580は、サブスクライバ識別モジュール(SIM)またはスマートカードのように取り外し可能であってよく、もしくは、プログラム可能な読み取り専用記憶装置(PROM)等のように取り外し不可能であってもよい。スキャンされたデータに基づいて文書の電子コピーの位置が特定されている場合、サブスクリプション情報を使用して、当該ユーザに電子コピーへのアクセスを許可するべきか否かを検証することができる。例えば、新聞はそのオンライン版へのアクセスに対して追加手数料を請求することができる。ユーザのサブスクリプション情報は、当該ユーザがオンライン版にサブスクライブしているか否かを示すアカウント番号を含む場合がある。
主にオンボードGPS受信機を参照してロケーションモジュール545を論じてきたが、その他多くのロケーション技術を使用することができる。これらの技術としては、強化観測時間差(EOTD)、アシステッドGPS(A−GPS)、ディファレンシャルGPS(DGPS)、到来時間差(TDOA)、到来角、三角測量およびローカルトランシーバ・パイロット信号の監視が挙げられる。EOTD、TDOAおよび到来角は、ネットワーク内のロジックが、携帯装置の場所を推定するために各基地局において受信した信号についてのデータを相関させるよう、携帯機器がネットワーク基地局に信号を伝送する際に最も適合する。三角測量は、内部であっても外部であってもよい。携帯装置は、少なくとも3つの外部伝送器(IEEE802.11基地局等)から信号を受信した際に内部三角測量を実行し、受信した信号の特性に基づいておおよそのロケーションを計算する。外部三角測量は、携帯機器の外側にあるネットワークレシーバが、携帯機器から受信した信号の特性に基づいて携帯機器のロケーションを推定するために使用される場合に発生する。いくつかの実施形態において、システムは、外部レシーバからの携帯機器の距離を推定するために、1つを超える外部レシーバにおいて受信した信号強度を使用する。固定伝送器は、多くの場合、モバイルレシーバが所望の伝送器からの信号に「ロックオン」できるように特定の伝送器を識別するパイロット信号をブロードキャストする。固定伝送器のロケーションおよびおおよそのサービスエリアが既知である場合、携帯機器のロケーションは、「連絡が来る」伝送器がどれであるかに基づいて推定され得る。例えば、携帯装置がIEEE802.11無線アクセスポイントから信号を受信している場合、携帯機器は、無線アクセスポイントの300フィート以内(現在、IEEE802.11g伝送器のおおよその屋外範囲)にあると想定され得る。
様々な実施形態においてシステムで使用される携帯データ取得装置は、本文書全体を通して様々な点で説明されている。この点から、様々なタイプの携帯データ取得装置の性能および機能について詳述するためのさらなる議論が提供される。
携帯データ取得装置は、情報および命令を入力および出力するための様々な手段を含む。ユーザ、通信サービスプロバイダ、リモートネットワークデバイス、および取得された情報は、情報および命令(操作命令等)の潜在的ソースの一部である。
いくつかの実施形態において、ユーザインターフェース(UI)は、携帯データ取得装置とのユーザのインタラクションの主な手段である。情報および制御コマンドは、ユーザインターフェースを通じて携帯データ取得装置へ入力される。ユーザはユーザインターフェースを通じて携帯データ取得装置と情報をやりとりする。ユーザは、UIを介して携帯データ取得装置に制御コマンドおよび情報を提示する。同様に、ユーザはUIを介して携帯データ取得装置から情報を受け取る。例えば、ユーザは、デバイス上のキーパッドを通じてテキストを入力し、デバイスのディスプレイ上でキーパッドエントリの視覚的確認を受け取ることができる。
データを入力するためのUI手段は、大きく分けると、聴覚、触覚、ジェスチャおよび光学という4つのカテゴリで説明できる。様々な実施形態において、携帯データ取得装置はこれらのカテゴリの一部または全部からのUI手段による様々な組み合わせを有する。
聴覚UIは、スピーチ等のサウンド信号を携帯データ取得装置に入力する手段からなる。音信号の電気エネルギーへの変換には、マイクロホン等の音声‐電気トランデューサが必要である。携帯機器は、デジタル化された波形として格納すること、伝送すること、またはテキストに変換し、デジタル化されたテキストとして格納することを含む、音信号に対する多くのアクションを実行することができる。
いくつかの実施形態において、携帯機器はスピーチを取得するためのマイクロホンを含む。この特徴は、ボイス注釈を文章に入力するため、メッセージを記録するため、および他のユーザと話すため(例えば、データ取得装置が携帯電話機能を有する場合)に有用である。
いくつかの実施形態において、携帯データ取得装置は、機械的または触覚(接触)的入力を受け入れる。いくつかの実施形態において、携帯データ取得装置は、ユーザが押下できる、データ取得プロセスを開始するスイッチを含む。チップスイッチのある実施形態において、ユーザは紙にデバイスを押し付けてスキャンプロセスを開始する。他の実施形態において、携帯データ取得装置は、スキャンターゲットへの近接を検出するためにセンサを用いる。
ジョグホイールは、いくつかのコンピュータマウス上のホイールと同様に、コンピュータアプリケーションまたはメニューと情報をやりとりするために有用である。例えば、いくつかの実施形態において、システムは隣接するディスプレイ上にスキャナユーザに対する選択肢のメニューを提示する。携帯スキャナを紙から持ち上げてメニュー項目の1つをスキャンせずに、ユーザはサムホイールを移動させてメニュー選択肢をスクロールさせることができる。
いくつかの実施形態において、携帯データ取得装置は、データをデバイスに入力するためのキーパッドおよび/またはボタンを有する。いくつかの実施形態において、取得装置は、選択を元に戻すまたは消去するための取り消しボタン、および、選択を確認する(例えば、購入を確認する)ための確認ボタンを有する。いくつかの実施形態において、取得装置は、コンテクストスイッチを示す、またはコンテクストを設定することを望むためのボタンを有する。例えば、第1の文書からテキストをスキャンした後、ユーザは、コンテクストボタンを押下することによって自身が第1の文書からのスキャンを終えたことを示すことができ、次に―コンテクストボタンを押下することによって―第2の文書からテキストをスキャンし、ユーザは自身のスキャンコンテクストが変更していることをシステムに通知する。
いくつかの実施形態において、携帯データ取得装置は、チップスイッチまたは近似センサを有する。ペン型のスキャナにおいて、チップスイッチは、スキャナの先端が文書に押し付けられた際に起動されるスイッチである。ユーザが紙にスキャナを押し付けることがどのくらい難しいかに基づいてスキャナがその挙動を修正できるように、チップスイッチは圧力感知機能を含んでよい。例えば、スキャナは(コンピュータおよび文書処理ソフトウェアと組み合わせて)紙にしっかりと押し付けられている場合、ハイライト機能を実行することができる。別の例として、スキャナは、紙にスキャナ先端を押し付け、チップスイッチを起動することによって、オン/オフを切り替えることができる。
いくつかの実施形態において、携帯データ取得装置は、文書における表面変化を検出するために、平行な2つの顆粒/表面テクスチャセンサを有する。この種の入力センサの一般的使用法は、点字テキストを取得することである。平行な表面テクスチャセンサは、平行なセンサが伝播する相対速度/距離からセンサの角度を決定することができる。非接触光学センサは、携帯データ取得装置の実施形態での使用にとても適している、よくあるタイプの表面テクスチャセンサである。
ユーザは、携帯データ取得装置に、それを使ってジェスチャすることによってデータおよびコマンドを入力することができる。デバイスは、スキャンヘッドの下を通過するデータを観測すること、運動センサにおける変化を監視すること、または、機械的運動感知手段によって、ジェスチャを検出することができる。
表面および光学素子の下を通過するデータを観測することによって、携帯データ取得装置は、光学コンピュータマウスがするのとほぼ同一の手法で相対運動を計算することができる。デバイスの相対運動を解析することにより、デバイスは、デバイスを使ってユーザがどのジェスチャを行ったかを判定することができる。いくつかの実施形態において、レンダリングされた文書の表面におけるパターンを観測することによって、光学系が相対運動を検出することもできる。いくつかの実施形態において、携帯データ取得装置は、レンダリングされた文書の表面における絶対位置コードをチェックすることによって、絶対位置を検出することができる。
いくつかの実施形態において、携帯取得装置は、速度または方向における変化を感知するために加速度計等の加速度センサを含み、それによって制御ジェスチャを決定する。いくつかの実施形態において、携帯取得装置は、運動およびジェスチャを検出するためにジャイロスコープを使用する。単一チップリングレーザジャイロスコープは、このタスクに特に適している。
いくつかの実施形態において、携帯データ取得装置は、転動体または光学的に符号化されたインクペンのボールポイントと同様のボールを含む。紙の表面に沿ってボールが移動すると、光学センサは、光学的に符号化された要素の運動を検出する。
ユーザは、光学感知システムによって、携帯データ取得装置にデータおよびコマンドを入力することができる。
キーワードまたはシンボルをスキャンすることによって、ユーザはコマンドおよびデータをデバイスに入力することができる。携帯機器は、ある特定のグラフィカルシンボルをコマンドとして認識するようにプログラムされることができる。例えば、ユーザが「$」というシンボルをスキャンした場合、携帯機器はそれを購入等の金融取引を開始するためのコマンドとして認識する。
携帯データ取得装置のUIは、情報をユーザに提示することもできる。通常、この情報はデバイスの動作ステータスにかかわるものである。情報をユーザに提示するためのUI出力手段は、大きく分けて、聴覚、触覚、および光学という3つのカテゴリに格納できる。携帯データ取得装置の実施形態は、これらのカテゴリの一部または全部からのUI出力手段の様々な組み合わせを有するであろう。
多くの実施形態において、携帯データ取得装置は、ユーザに警報を提供する能力を有する。これらの警報は、電気信号を音に変換するために、スピーカ等の電気音響変換器を必要とする。
いくつかの実施形態において、携帯取得装置は、音を発生させるためのスピーカまたは圧電素子を有する。これらのスピーカを使用して、ユーザにテキストを読み聞かせる、またはデバイスのステータスの変更に対してユーザに警告することができる。例えば、いくつかの実施形態において、デバイスはスキャン中に、紙の文書が識別され、紙の文書の電子副本の位置が特定されたことをユーザに警告するためにビープ音を発する。別の例として、テキストが紙の文書からスキャンされる際、取得装置は、スキャンされたテキストにテキストトゥースピーチプロセスを適用し、結果として生じた音声を再生する。
いくつかの実施形態において、携帯データ取得装置は、振動によりユーザと通信を行う。触覚UIは、環境雑音レベルのために警報が聞こえない環境、または警報が社会的に許容不可能な場所(例えば、映画館の中)において特に有用である。
いくつかの実施形態において、携帯データ取得装置は、デバイスのステータスの変化をユーザに警告するための振動素子を有する。いくつかの携帯電話実施形態において、この振動素子は電話機の電池パックに含まれる。いくつかの実施形態において、携帯機器は、スキャンヘッドがオフラインで移動する場合、車線の外側をドリフトしていることを運転者に警告する「ランブルストリップ」と同様に振動する。
いくつかの実施形態において、携帯データ取得装置は、UIを介し視覚的手段でユーザと通信を行う。いくつかの実施形態において、デバイスは、スキャンされている紙にメニューまたは他の情報を投影する。例えば、取得装置がコンピュータ上の文書処理プログラムと連動している場合、デバイスは、文書処理プログラムにおいて、システムがオープン文書内でスキャンされたテキストを黄色でハイライトすることを示すために、紙に黄色の光を投影することができる。
携帯データ取得装置はディスプレイを含むことができる。場合によっては、隣接するディスプレイは、携帯機器のための情報がディスプレイに至り、そこに示されるように、携帯データ取得装置と関連付けられる場合がある。コンピュータモニタ等の隣接するディスプレイを使用することは、携帯機器がディスプレイを有さない場合、または、情報が携帯機器の小型ディスプレイに提示するのに適合しない場合に特に役立つ。
ユーザと視覚的に通信を行うために、発光ダイオード(LED)を使用することもできる。例えば、いくつかの実施形態において、デバイスは、取得装置がオンになり、データを取得する準備が整ったことを示すために、緑色LEDを起動する。
携帯データ取得装置の通信インターフェースは、携帯データ取得装置が他のデバイスと通信を行うのを可能にするトランシーバを含む。携帯データ取得装置は、コンピュータ、携帯電話、および無線トランシーバ等、他の互換性のある電子デバイスと通信を行うことができる。
いくつかの実施形態において、携帯取得装置は、有線接続を使用して他の電子デバイスと通信を行う。コンピュータにテザー接続されている場合、適合するいかなるプロトコルを使用して通信を行ってもよい。いくつかの実施形態において、携帯取得装置は、テザー接続を介してホストコンピュータと通信を行うために、ユニバーサルシリアルバス(USB)プロトコルを使用する。
ユニバーサルシリアルバス(USB)は、いくつかの実施形態において携帯データ取得装置によって使用されるプロトコルである。いくつかの実施形態において、コンピュータと携帯取得装置との間の通信チャネルを提供することに加えて、USBは携帯機器のバッテリを再充電するための電力を提供する。いくつかの実施形態において、USBインターフェースはユーザが携帯取得装置にUSB記憶装置デバイスを取り付けることを可能にする。
光ファイバ通信チャネルは、携帯データ取得装置のいくつかの実施形態によって使用されてもよい。異なる実施形態に適合するファイバタイプは、シングルモードとマルチモードである。マルチモードファイバの1つの利点は、安価なLED光源の使用が可能であることである。コネクタカップリングおよび配置も、マルチモードファイバにとってはあまり重大ではない。
いくつかの実施形態において、携帯機器の通信インターフェースは、無線インターフェースである。適合する無線技術は、短距離RF(Bluetooth、IEEE802.11等)、携帯電話、または光学素子(赤外線等)である。通信インターフェースが無線機能を含む場合、一般に、無線機能を実装するために必要なアンテナまたはレンズも含む。
いくつかの実施形態において、携帯データ取得装置は、IEEE 802.11規格のトランシーバを用いた、無線ローカルエリアネットワーク(WLAN)機能を実装する。携帯機器は、一般にWLAN「ホットスポット」を使用して、リモートコンピュータとの通信を行う。いくつかの実施形態において、携帯データ取得装置は、携帯電話またはパーソナルコンピュータのような隣接する装置との通信を行い、またそれらと組み合わせるために、Bluetooth(BT)の短距離無線周波(RF)手法を使用する。携帯データ取得機能を実装する携帯電話はまた、リモートコンピュータに取得したデータを伝送するために、携帯電話通信ネットワークも使用することができる。
携帯データ取得装置は、データ取得サブシステムを備える。このデータ取得サブシステムは、音声、光学、および/または磁気帯データを取得する機能を有する。取得したデータは、以降の処理および送信のために記憶装置内に格納される。いくつかの実施形態において、取得した情報は、記憶装置の空間および通信チャネル帯域幅を節約するために、圧縮および/または自動的に削除することができる。自動削除の一例では、OCR処理によって取得した情報が文字に変換されたときに、スキャンされた画像を削除している。取得した情報の全てを含まない画像を格納することによって、記憶装置を節約することができる。その例として、GIFまたはJPG等の圧縮フォーマットが挙げられる。別の方法では、不必要な色情報を格納しない。例えば、一般的なCCD画像センサでは、各ピクセルに対して、24段階の色情報を取得する(すなわち、1,600万以上の異なる色を識別する)。標準的なOCRのために、携帯取得装置では、白、ほぼ白、ほぼ黒、および黒の識別(2ビット)ができればよい。この24から2ビットへの削減によって、およそ92%の記憶領域のスペースが節約される。
携帯データ取得装置は、光学データ取得システムを備えているが、いくつかの実施形態において、音声取得サブシステムは多くの状況において有用である。音声取得サブシステムによって、ユーザは、一般にレンダリングされた文書からテキストを読み出すことができる。まず、オンボードマイクロホンが、話された言葉を取得する。続いて、スピーチ−テキストアプリケーションが、スピーチをテキスト形態に変換する。次いでそのテキストは、例えば、レンダリングされた文書の電子副本の位置の特定に使用される。いくつかの実施形態において、データ取得は、携帯電話または以下に述べるスキャノテータ(scannotator)である。
いくつかの実施形態において、携帯データ取得装置は、光学データ取得サブシステムを備える。光学データ取得システムは、一般に画像センサおよび光学経路を備える。光学経路は、携帯機器の筐体内のアパーチャを通っている。いくつかの実施形態において、光学要素は、携帯機器の筐体の一部を含む。光学経路は、光の焦点を合わせるためのレンズまたはアパーチャ、および/または光学経路を保護するための透明なカバーを備えることができる。いくつかの実施形態において、画像ルートは、光学経路の一部であり、レンダリングされた文書から画像センサに光を導く。
光取得サブシステムは、様々な構成により実装され、それぞれが特定のアプリケーションに対して特定の利点を有する。
いくつかの実施形態において、光検出要素は、一次元の線形センサアレイである。一次元アレイは、光情報を取得する1列のセンサで構成されている。一次元アレイは、いくつかのバイオメトリックアプリケーション、特に指紋スキャンに適している。いくつかの実施形態において、センサは、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)装置のいずれかである。しかし、あらゆる好適な光検出装置と置き換えることができる。
二次元センサは一次元アレイに類似しているが、センサ要素の列は、互いに2次元の同一平面上のオフセットを有する。二次元アレイは、それらが距離、スキャン角度、およびスキューに関する情報を生成するという利点を有する。いくつかの実施形態において、二次元アレイは、少なくとも平行する2行または2列のセンサ要素から構成される。しかし、二次元センサアレイでは、多くのトポロジの変化が起こりうる。
いくつかの実施形態において、光学データ取得サブシステムは、光検出要素に光の焦点を合わせるためのレンズを備える。レンズ系は、二次元アレイ光センサへの非常に有用な追加物である。
いくつかの実施形態において、画像ルートは、光学取得システムの一部を形成する。いくつかの実施形態において、光ファイバ画像ルートは、情報を取得している面と接触している。いくつかの実施形態において、光ファイバ画像ルートは、スキャンされた面の上に配置され、より多くの周辺光がスキャン領域に入ることができる。この構成では、個々のファイバの許容する制限角が、画像ルートの先端が文書の表面からわずかに外れていても、高品質な画像が保証される。データ取得端(スキャンされた面に最も近い端)上の透明なプラスチックセパレータまたはキャップを備えた画像ルートは、光ファイバ画像ルート自体がスキャンされた面と接触しないので、周辺光がその表面を照らして、ユーザにスキャンされた材料の良好な視界を提供することができる、一実施態様である。画像ルートの先端と撮像される画像の表面との間の分離間隔は、一般に、0.001インチ乃至0.1インチである。画像ルートは、画像ルートがレンダリングされた文書に対して垂直に保持されていない場合であっても、データ取得を可能にするように形成することが可能である。いくつかの実施形態において、画像ルートは、くさび形の先端を有するように形成される。いくつかの実施形態において、光学経路を横切るように見る場合に、光ファイバの画像ルートは、透明または半透明であるため、ユーザは、その束を介してレンダリングされた文書を見ることができる。したがって、画像ルートは、光センサにスキャンした画像を搬送するための手段に加えて、ファインダーとしての機能を果たすことができる。
概して、光ファイバ画像ルートは、周辺光を介して取得することができるが、いくつかの実施形態において、画像ルートファイバのサブセットのような光学要素は、光源から文書の表面に光を搬送することができる。これらのファイバは、基本的に、レンダリングされた文書の面を照明するための、小さなフラッシュ光としての役割を果たす。残りのファイバは、照明されたデータを取得し、画像センサに搬送する。一般に画像ルートの外側のファイバは、特に、文書の表面全体に容易に引き込まれるように、光ファイバ画像ルートが形成されている実施形態において、文書に光を搬送するために使用される。
いくつかの実施形態において、携帯データ取得装置は、画像センサを備える。固体光学画像センサは、コンピュータディスプレイから情報を取得することができ、最新のデジタルカメラの主要なコンポーネントである。好適な画像センサの一例には、CMOS(相補型金属酸化膜半導体)画像センサが挙げられる。別の例には、電荷結合素子(CCD)画像センサが挙げられる。これらのすべての技術によって、一般にコンピュータチップは、センサのグリッドにわたる電気的な信号として、光を決定することができる。別の例には、線形配列の光感応フォトトランジスタが挙げられる。
いくつかの実施形態において、光学スキャンサブシステムは、不可視スペクトラムにおいて動作する。不可視スペクトラムにおける光検出能力によって、携帯スキャン装置は、UVまたはIR特性を有するインクで印刷された隠し制御シンボルを取得することができる。適切な「書き込み可能」領域を含む文書に関して、いくつかの実施形態において、携帯データ取得装置は、(例えば、化学的、熱的、または光学的に)この領域の読み出しおよび変更の両方を行うことによって、情報を残す。いくつかの実施形態において、携帯データ取得装置は、スキャナが確認できる特殊なインク(例、IR)を使用し、この文書または文書の一部がスキャンされたことを知らせる。
いくつかの実施形態において、携帯データ取得装置は、人間および機械に解読可能なデータを取得する。人間に解読可能なデータの一例には、テキストが挙げられる。機械に解読可能なデータの例には、バーコード、アイコン、および隠しデータ(グラフィック内に埋め込まれたもの、不可視スペクトラムにおける特性を有するインクで書き込まれたもの等)が挙げられる。
いくつかの実施形態において、携帯取得装置はまた、ディスプレイ装置から直接読み出すこともできるので、ディスプレイ画面上での直接的な指示、ハイライト、抜粋、下線、コピー、ペースト、消去等に使用することができる。この機能によって、ユーザが文書を印刷し、印刷された版に携帯スキャナで直接作業を行い(場合により、動的な表示と情報のやり取りも行う)、そしてより新しい版を印刷する、といった強力な文書編集システムがもたらされる。この方法は、紙およびデジタルの両側面の最良の特長のうちのいくつかを組み合わせる。
いくつかの実施形態において、携帯取得装置は、セキュリティおよび権限付与のためのバイオメトリック(音声、指紋、網膜、DNA)情報を取得する。上述のように、一次元の線形光学アレイは、ユーザの指をアレイに通すことによって、指紋スキャナとして機能することができる。
いくつかの実施形態において、携帯データ取得装置は、一般的にクレジットカードに使用される磁気帯からデータを取得し、pコマース(購入)アプリケーションに特に有用である。
処理装置または他の制御ロジックは、携帯データ取得装置全体の動作を協調させる。通常、処理装置は、記憶装置内に格納されるプログラムによって動作する。処理装置の機能および動作の挙動に対する特定の関連性のうち、記憶装置は、光センサによって取得されるデータの取り込み、格納、および処理に関するプログラム命令を格納する。処理装置は、レンダリングされた文書の取得、格納、および処理のために、記憶装置から命令を取得することができる。
いくつかの実施形態において、処理装置は、光センサによって取得した画像を取り込み、もしあれば、どの文字が画像内に現れているのかを判断するために、従来の光学式文字認識(OCR)技術を実行することが可能である。
いくつかの実施形態において、携帯データ取得装置は、特定のアクションが行われたタイムおよびロケーションの注記に使用される、タイムおよび/またはロケーションスタンプを作成する。例えば、ユーザが文書からテキストをスキャンするとき、携帯機器は、スキャンされたテキストに関連付けたタイムスタンプおよび/またはロケーションスタンプを作成する。携帯機器は、ホストコンピュータまたはサービスプロバイダのネットワークに、スキャンされたテキストとともにこのタイム/ロケーションを伝送して、スキャンに対するコンテキストを確立する。携帯機器は、ネットワークからのタイムシグナルが利用可能な場合に、タイムデータまたはネットワークタイムのために内部クロックを使用することができる。携帯機器のロケーションの判定には、GPSおよび他の多くの方法が利用可能である。いくつかの実施形態において、携帯機器は、タイム/ロケーションデータのための内部クロックおよびGPS技術を使用する。
取得したデータは、上述の一義化および電子副本のロケーションに加えて、様々な用途に使用することができる。いくつかの実施形態において、携帯データ取得装置は、スキャンされたデータを介して制御およびプログラムされる。ユーザは、プレーンテキストからの、またはマップキーに類似するコマンドの印刷されたメニューからのコマンドでスキャンすることができる。例えば、ユーザは、次の取得したデータを制御コマンドとして扱わなければならない、携帯スキャナを通知する、特殊なアイコンをスキャンすることができる。次いでユーザは、携帯機器に予めコマンドに関連付けたアクションを実行させる、この例では、Fredに電話をするという、「Call Fred」のようなコマンドをスキャンする。同様に、いくつかの実施形態において、携帯機器は、それ自体によってスキャンされた場合(文字の一部としてではなく)に、ユーザが、pコマースでの購入取引を始めたい旨を示す、「purchase」という単語を認識するようにプログラムすることができる。
ユーザが、携帯データ取得装置と情報のやり取りをするための直感的な方法は、その装置によるジェスチャによるものである。ユーザの経験は、所定のアクションおよび挙動を特定のジェスチャに関連付けることによって大きく強化される。これらのジェスチャのうちのいくつかを、それらの検出方法とともに、以下に述べる。
ジェスチャベースのコマンドを検出し、これに基づいて動作するために、携帯用文書データ取得装置は、動作を検出および解釈することができなければならない。動作を検出し、ジェスチャコマンドに動作をマップする様々な方法を以下に述べる。いくつかの実施形態において、携帯機器は、ジェスチャを識別するために、逐次的な画像取得の間の動作ベクトルを計算する。
いくつかの実施形態において、動作ベクトルの計算は、どのジェスチャが対象とされたかを判定するための試みに従う。このステップの複雑さは、どのジェスチャ分類が存在するかに左右される場合がある。例えば、スキャナが、例えば後方等の1つのジェスチャだけを認識する場合、分類の試みは、動作のあらゆる垂直成分を考慮する必要がない場合がある。スキャナが後方へのジェスチャだけを認識するような、いくつかの実施形態において、複数のベクトルを、本願明細書に説明されるように、単一の代表的なベクトルに置き換えることが可能である。例えば、ユーザが水平方向の完全なスキャンを試みるが、代わりに垂直方向の振動が少ない場合、スキャナは、このユーザが、水平方向のラインを対象としており、無数のベクトルを1つの水平方向のベクトルに置き換えることを、判定することが可能である。
携帯用データ取得装置によるジェスチャの直感的かつ基本的な方法では、テキストのラインに沿って前後方向にスキャンする。いくつかの実施形態において、携帯用データ取得装置は、スキャンされたテキスト画像を、格納した文字テンプレートと比較することによって、テキストのラインに沿った前後方向の動きを認識する。一例として、アルファベットを使用するとき、スキャンされた文字がテンプレートと一致する場合、スキャナは右から左(前方)へ移動している。スキャンされた文字がテンプレートの鏡像である場合、スキャナは右から左(逆方向)に移動している。いくつかの実施形態において、前後方向の動作は、前述のベクトル法で決定される。
携帯用データ取得装置によるジェスチャの別の直感的かつ基本的な方法では、テキストの領域を円で囲む。いくつかの実施形態において、サークルジェスチャは、前述のベクトル法によって識別される。いくつかの実施形態において、携帯機器は、円動作を検出するために、絶対位置情報を使用する。1つの方法では、例えば、符号化されたグリッドが印刷された文書から絶対位置情報が得られる。装置によって撮影される画像には、文書面に対する装置の動作を判定するために使用することができる、絶対位置情報が含まれる。
テキストの文字列を横切って前後にラビングすることは、携帯用画像データ取得装置の制御に使用することが可能な、別の直感的かつ基本的なジェスチャである。いくつかの実施形態において、ラビングまたは前後のジェスチャは、ハイライトコマンドとして解釈することが可能である。例えば、ユーザは、前方へのジェスチャによる一連のスキャンを行い、ラビングジェスチャによって1つのスキャンターゲットを指定することが可能である。それに応じて、スキャナは、以降の検索において文字がハイライトされる(例えば、「ラビング」されたテキストが明るい色のフィールド上にある)ように、ラビング動作によって識別された文字にフラグをたてることができる。別の実施形態では、前方へのジェスチャで示されたテキストに、下線を引くことが可能である。
いくつかの実施形態において、前方へのスキャンによって、スキャナは、スキャンした情報を記憶装置に格納させる。このスキャンまたはその一部が、後方へのジェスチャによって続けてスキャンされる場合、後方にスキャンされたこの部分は記憶装置から除去される。一例として、図11は、文書1120を横切って後方(右から左)1110に移動するスキャナ1100を示す。以前の前方へのスキャンによって取得され、記憶装置に格納されたテキストを、ボックス1130で示す。ボックス0は、後方へのスキャンによって取得された「第1」の文字である、最も右の文字とともに、後方にスキャンされたテキストを示す。ボックス0内にあるテキストが、後方へのスキャンによって取得されたときに、各文字は、予めスキャンされた文字列と比較される。スキャナ1100は、後方へのスキャンのうちの第1(最も右)の文字と、前方へのスキャンのうちの最後(最も右)の文字とを比較し、後方へのスキャンによる文字が、スキャンされた文字列に一致しなくなるまで、同じ方法を継続する。スキャナは、前方へのスキャンに対応する位置でその文字と一致しない、後方へのスキャンにおける文字に遭遇した場合に、2つの文字列の比較を止める。比較を止めた後、スキャナは、記憶装置から一致する文字を削除する。
いくつかの実施形態において、ジェスチャコマンドは、コンピュータディスプレイにレンダリングされた文書に使用することができる。例えば、ユーザは、テキストを挿入するロケーションを識別するために、コンピュータモニタ上でキャレット(「^」)スキャンのジェスチャを行うことが可能である。この例では、スキャナは、コンピュータと通信を行い、示されたロケーションでテキストを挿入するためのコマンドとして、キャレットジェスチャを認識する。それに応じて、コンピュータは、最後の前方へのスキャンによるテキストを挿入する。
いくつかの実施形態において、携帯用データ取得装置は、他の電子装置を制御すること、(例えば、コンピュータディスプレイを使用することによって)それ自体のユーザインターフェースを強化するために他の電子装置を使用すること、および、例えばスキャンされたデータを入力できるようにすることによって、他の電子装置のユーザインターフェースを強化すること、ができる。
いくつかの実施形態において、携帯データ取得装置は、ホストマシンと組み合わされる。ホストマシンは、コンピュータ、携帯情報端末(PDA)装置、または、携帯電話またはBlackberryTMテキストメッセージング装置のような、移動通信装置であることが好ましい。認証およびセキュリティ情報の交換は、携帯機器とホスト装置との間の組み合わせ処理の一部である。携帯機器は、現在組み合わせられていないホスト装置との情報のやり取りに先立って、認証およびセキュリティプロシージャを実行する。セキュリティプロシージャは、バイオメトリック認証のようなユーザ識別プロシージャを任意に含むことができる。
いくつかの実施形態において、携帯用文書データ取得装置は、パーソナルコンピュータ(PC)の動作を制御する。携帯用機器は、PCにソフトウェアを開始させる、および/または他のアクションを行わせる、データおよび命令をPCにサブミットする。例えば、コンピュータおよびLCDプロジェクタによってPower PointTMのプレゼンテーションを行う場合、ユーザは、Power PointTMのスライドの紙コピーをスキャンすることによって、コンピュータの動作を制御することができる。ユーザは、スライドから情報をスキャンして、コンピュータにスライドを進めさせる。携帯用機器はまた、レンダリングされた文書から、文書処理用ソフトウェア、ウェブブラウザ、および他のソフトウェアアプリケーションを制御するためにも使用することができる。ユーザは、携帯用機器を備えたパーソナルコンピュータを制御することによって、電子文書の編集、インターネット上での購入、およびメッセージの送信を行うことができる。
いくつかの実施形態において、携帯用データ取得装置は、ホストコンピュータのデータ入力装置としての機能を果たす。携帯用機器およびホストコンピュータは、文書処理用ソフトウェアと組み合わせて、強力な文書編集システムを構成する。
いくつかの実施形態において、携帯データ取得装置は、ビデオ録画装置を制御することができる。例えば、携帯機器は、テレビガイドからデータを取得することによって、所定のテレビ番組を録画するようにビデオ録画装置をプログラムするためのコマンドを伝送することができる。いくつかの実施形態において、携帯機器は、赤外線(IR)通信によってビデオ録画装置にコマンドを伝送する。
携帯用データ取得装置のユーザインターフェースは、デバイスの現在の状態について、ユーザに通知することができる。このデバイスは、ユーザに視覚、聴覚、または触覚のインジケータによって通知することができる。より有用なユーザインターフェースの状態インジケータのうちのいくつかを後述するが、それらは可能性のあるものの包括的なリストではない。
いくつかの実施形態において、携帯取得装置は、ユーザに、文書を識別するに十分な情報が取得されたことを示す。例えば、携帯用スキャナは、特定のスキャンが一意に文書を識別することを示す、所定の閾値を格納することが可能である。閾値に一致、またはこれを超えた場合、携帯スキャナは、ユーザインターフェースを介してユーザに、文書を識別するに十分な情報が取得されたことを示す。これらの所定の閾値は、発見的手法(すなわち経験則)、統計分析、または他の好適な方法に基づいて決定することができる。
いくつかの実施形態において、システムは、書き込まれた表記の一意の文字の観察に基づいた、十分性の閾値を決定するために、発見的手法を使用する。大部分の文書は、10語足らずの単語(およそ20乃至50の文字またはシンボル)をスキャンすることによって、一意的に識別することができる。この発見的手法は、試験されるすべての言語にわたって保持される。4乃至10語の範囲のスキャンによって複製文書がもたらされるイベントにおいて、ユーザに、結果を絞り込むために更なる端号をスキャンするように促すことができる。
いくつかの実施形態において、携帯用データ取得装置は、ユーザが文書に組み込まれた制御データに遭遇したときに、ユーザに通知する。例えば、携帯機器は、既知のキーワードに遭遇したときにユーザに通知することができる。別の例として、携帯用機器は、ユーザに、マークアップレイヤーによって文書内に定義されたアクティブな領域を通知することができる。更なる例として、デバイスは、不可視特性を有するインク(例、UV/IRインク)で組み込まれた制御データ、または二次元バーコードに遭遇したときに、ユーザに通知することができる。
いくつかの実施形態において、携帯機器は、デバイスが現在のコンテキストを認識しているかどうか(例えば、ユーザが、現在既知の文書等の領域内で作業している文書のIDを、デバイスが知っているかどうか)をユーザに示す。コンテクスト「ロック」は、特にpコマースのアプリケーションに有用である。例えば、コンテクストインジケータは、どのカタログからアイテムを調べているかを、ユーザに通知することができる。したがって、適切なアイテムの適切なベンダーからの購入を確保する。いくつかの実施形態において、コンテクストインジケータは、レンダリングされた文書の名前または他の識別情報を表示する。
いくつかの実施形態において、携帯機器は、オンラインまたはオフラインモードで動作していることを、ユーザに通知する。デバイスがオンラインである場合、デバイスは、ホストコンピュータまたはサービスプロバイダのネットワークへのアクティブな接続を有する。デバイスがオフラインである場合、デバイスは、現在他のシステムデバイスと通信していない。
いくつかの実施形態において、デバイスは、データを取得していること、それ以外ならば適切に機能していることを、ユーザに通知する。
いくつかの実施形態において、デバイスは、ユーザにエラーを通知する。例えば、デバイスは、紙の文書が識別されたが、ユーザはその紙の文書の電子副本の利用が許可されていないことを、警告音を出してユーザに通知することが可能である。更なる例として、デバイスは、最後のスキャンを繰り返さなければならないこと、ホストコンピュータまたはサービスプロバイダネットワークへのアクセスが拒否されたこと、文書の配信が行われなかったこと(例えば、ユーザのライフライブラリアーカイブが、文書を受信/承認しなかった)、携帯機器の記憶容量不足、バッテリ容量の低下等を、ユーザに通知することができる。
いくつかの実施形態において、携帯機器は、どの色でハイライト機能を生成するのかを、ユーザに示す。いくつかの実施形態において、ホストコンピュータは、ディスプレイ上に、現在のハイライトモードの色を示す(例えば、黄色は、文書処理用ソフトウェアが黄色でハイライトしていることを意味する)。
いくつかの実施形態において、携帯データ取得装置は、無許可の個人がそのデバイスを使用できない、データ伝送がプライベートである、およびユーザIDが商取引のために検証できる、セキュリティおよびプライバシ処理を有する。
いくつかの実施形態において、携帯用データ取得装置およびその関連づけられたシステムは、セキュリティおよびプライバシのためにバイオメトリックを使用する。例えば、ユーザは、携帯機器で自分の指紋をスキャンすることによって、自分のIDを検証することができる。別の例として、いくつかの実施形態において、デバイスは、楕円形の曲線暗号化のための指紋スキャンを使用する等、プライバシのためのデータの暗号化のためにバイオメトリック情報を使用する。いくつかの実施形態において、携帯用機器は、テキストおよびバイオメトリックをスキャンするために、同じ光学経路を使用する。
いくつかの実施形態において、携帯用文書データ取得装置は、デバイスがオンラインか、オフラインかによって異なる挙動を示す。ホストコンピュータ、通信ネットワーク、またはデータ取得サービスプロバイダのネットワークのような他のデバイスと通信していない場合、デバイスはオンラインである。スキャナサービスプロバイダのネットワークとも称される、データ取得サービスプロバイダのネットワークは、ライフライブラリアーカイブプロバイダのような携帯用文書データ取得装置をサポートする、サービスプロバイダである。
ユーザが必要とするであろう情報のローカルキャッシングによって、システムは、待ち時間を削減し、ネットワークの帯域幅を節約することができる。ローカルにキャッシュされた検索インデックス、キーワードライブラリ、マークアップ情報、およびフォントライブラリは、ユーザ経験およびネットワークの動作を強化する。フォントライブラリのローカルキャッシングによって、携帯機器は、それがオフラインモードであっても、テンプレートベースのOCRを実行することが可能になる。
いくつかの実施形態において、携帯用文書データ取得装置は、フォントライブラリおよびフォントテンプレートをローカルにキャッシュする。フォントテンプレートは、そのフォントが認識された後に、デバイスにダウンロードすることができる。携帯用機器がアルファベットで各文字の一例を取得するまで待つ必要はない。システムがいくつかの取得された文字のフォントを認識した後、ローカルキャッシュ機能を備えたデータ取得装置に、フォントライブラリをダウンロードすることができる。システムは、フォントテンプレートを携帯データ取得装置にローカルにキャッシングすることによって、OCRの待ち時間を削減することができる。
いくつかの実施形態において、システムは、携帯データ取得装置上の検索インデックスをキャッシュする。いくつかの実施形態において、システムは、ユーザが必要としそうなインデックスを予めキャッシュすることができる。例えば、システムは、携帯機器に地方紙の最新のインデックスを毎日予めキャッシュすることが可能である。
キーワードのライブラリは、携帯データ取得装置の好適な実施形態に、ローカルにキャッシュすることができる。キーワードをローカルにキャッシングすることによって、携帯機器は、キーワードの取得に応えて、その挙動をローカルに判定することが可能になる。挙動のローカルな判定は、携帯機器がホストマシンまたはサービスプロバイダのネットワークに接続されていない場合に、特に有用である。
いくつかの実施形態において、携帯データ取得装置は、文書のマークアップデータをダウンロードする。この機能によって、携帯機器は、文書からのデータ取得に応えて、その挙動のうちの少なくともいくつかのローカルな判断が可能になる。
いくつかの実施形態において、携帯スキャナは、取得したデータ内のキーワードを認識して、キーワードのアプリケーションをサポートする。キーワードに応えて行われるアクションは、システムおよびキーワードを取得したレンダリングされた文書に関連付けられたマークアップ文書によって予め定められる。概して、グローバルなキーワードの定義は、システムレベルで保持され、ローカルなキーワードの定義は、マークアップ文書に保持される。マークアップ文書において特に定めのない限り、ローカルな定義は、グローバルな定義をオーバーライドする。
いくつかの実施形態において、携帯用文書データ取得は、検索アプリケーションをサポートする。検索クエリーに対する入力は、特に紙の文書からの光学スキャンによって、レンダリングされた文書から取得される。
システムは、レンダリングされた文書を識別して、そのレンダリングされた文書の電子副本の位置を特定するために、レンダリングされた文書から取得されたデータを使用することができる。システムは、文書のコーパスのインデックスを検索することによって、文書の識別および位置の特定を行う。システムは、検索エンジンまたは検索アプリケーションソフトウェアに検索クエリーをサブミットすることによって、検索を実行する。
検索クエリーは、携帯データ取得装置内、またはネットワーク内に構成することが可能である。いくつかの実施形態において、検索クエリーのメッセージは、携帯機器の識別子を含む。
検索に関するコンテクストは、検索結果の精度を高めることができる。いくつかの実施形態において、携帯用文書データ取得装置は、コンテクスト情報を含む検索クエリーをサブミットする。コンテクストは、ユーザの履歴から、ユーザの集団の総計的な過去の挙動から、文書の特性から、または検索の状況から、導出することができる。
検索語が文書から取得された時刻は、一義化のための有用なコンテクストである。例えば、検索クエリーが文書から取得された日付を検索エンジンが知っている場合、検索エンジンは、文書が取得されたデータのソースにはなりえないので、取得日時以降に発行されたあらゆる文書を無視することができる。いくつかの実施形態において、検索クエリーは、いつ検索文字列がレンダリングされた文書から取得されたかを示す、タイムスタンプを含む。
検索語が文書から取得されたロケーションは、一義化のための有用なコンテクストである。例えば、検索クエリーが文書から取得された地理的位置を検索エンジンが知っている場合、検索エンジンは、取得されたデータのソースにはなりえそうにないので、そのロケーションにおいて発行または配信されたあらゆる文書を無視することができる。いくつかの実施形態において、検索クエリーは、どの地理的位置において検索文字列がレンダリングされた文書から取得されたかを示す、ロケーションスタンプを含む。
ユーザの履歴は、文書の識別および位置の特定のための有用なコンテキストである。例えば、毎朝Seattle Times紙から、および午後にEconomist誌からテキストをスキャンするパターンを有する場合、朝にサブミットされた検索クエリーは、Economist誌のものではなく、Seattle Times紙からのものである可能性がより高い。いくつかの実施形態において、システムは、ユーザの履歴に基づいて、検索クエリーをランク付けする。
携帯文書データ取得装置の全ての使用の凝集挙動はまた、一義化のための有用なコンテキストを提供する。ユーザは、どちらかと言えば類似した文書から類似した情報をスキャンする。例えば、ユーザ集団が、最近、最新の小説Harry Potterから多数の検索クエリーをサブミットし、最新の書籍Sean Hannityからはサブミットしていない場合がある。したがって、検索クエリーが複数の一致を返す場合、ソース文書は、書籍Sean Hannityではなく、最新の小説Harry Potterである可能性がより高い。故に、いくつかの実施形態において、システムは、ユーザ集団の凝集挙動に基づいて、検索クエリーの結果をランク付けする。
いくつかの実施形態において、携帯機器は、紙の文書から逐次的なテキストを取得して、そのテキストに基づいて検索クエリーを構成する。検索クエリーは、次いで検索エンジンまたは他の検索ソフトウェアにサブミットされる。検索エンジンは、紙の文書の識別およびその紙の文書の電子副本を見つけるために、そのデータインデックスの検索を実行する。いくつかの実施形態において、携帯取得装置は、より多くの情報が紙の文書から取得されても、単に電子副本の識別に十分な情報をサブミットすることによって、通信帯域幅を節約する。無線帯域幅が制限されているので、これは、無線システムが必要な情報だけを送信することにおける利点である。いくつかの実施形態において、システムによって、ユーザは、デバイスのキーパッドからより多くのテキストを入力することによって、検索クエリーの修正または強化を可能にする。
いくつかの実施形態において、携帯用機器およびシステムは、部分的な単語の一義化をサポートする。テキストがレンダリングされた文書から取得される場合、ユーザが単語の境界上で取得を開始および終了することを困難にする。取得された文字列の始めと終わりの単語は、概して省略される。検索インデックスは、因習的に全ての単語から構成されているので、部分的な単語では、従来の検索アプリケーションに対する価値がほとんどまたはまったく無い。しかし、これらの省略された、または「部分的な」単語は、それでも大きな一義化値を有する場合がある。いくつかの実施形態において、検索エンジンは、複数の検索結果の中から選択するために、部分的な単語を使用する。例えば、検索エンジンは、検索インデックスを検索するためにすべての単語を使用し、その結果の中から選択するために検索文字列の終わりの部分的な単語を使用する。したがって、これらのエンジンに対する検索クエリーは、部分的な単語の情報を含むことが好ましい。
いくつかの実施形態において、携帯データ取得装置は、1つの動作中に、複数の行を取得することができる。ページの一部を撮影するために内蔵カメラを使用する携帯電話、2行のテキストを取得する光学ヘッドを備えたペンベースのスキャナ等は、光学スキャナが1行以上のテキストを取得することができる、シナリオの例である。図15は、文書1520のうちの2行からテキストを取得する携帯スキャナ1510を示す。ボックス1500は、取得されたテキストを示す。1行以上のテキストが取得される場合、各行は、「行1のテキスト」AND「行2のテキスト」フォーマットで、検索クエリーにサブミットすることができる。別様には、おおよその列幅が分かっている場合、検索クエリーは、「行1のテキスト」WITHIN X WORDS「行2のテキスト」として構成することができる。ここで、Xは、概しておおよその列幅よりも小さい。図15に示される例に関して、一義化の検索クエリーは、「study of law commeiited to」AND「and public service the」として構成することができる。
いくつかの実施形態において、システムは、文書を識別するためにタイムスタンプおよびロケーションスタンプを使用する。例えば、Associated Press社の記事は、多くの新聞で見られるが、適切な新聞社は、そのロケーションスタンプによって判定することができる。ロケーションスタンプが、そのスキャンがSeattleで行われたことを示す場合、スキャンされたAP社の記事のソースはSeattleの新聞社である可能性がより高い。同様に、タイムスタンプは、タイムスタンプの前に発行されたものに対して、候補となる文書の範囲を狭くするために使用することができる。いくつかの実施形態において、携帯用機器は、タイムおよび/またはロケーションスタンプを含む、検索クエリーを構成することができる。
いくつかの実施形態において、システムは、単語長によって文書にインデックスを付けて検索する。最も簡単な場合において、長い、短い、および不確定な、3つの単語長が使用される。長い、および短い単語の逐次的なパターンは、十分な長さの各文書に対する一意の識別子を形成する。したがって、文書は、従来のテキストに基づいた検索クエリーではなく、単語長に基づいた検索クエリーをサブミットすることによって、位置を特定することができる。単語長の検索クエリーの例には、11001110?010??10110が挙げられ、ここで、1=短い単語、2=長い単語、3=不確定な単語である。不確定なあらゆるオブジェクトは、基本的に、検索エンジンによってワイルドカードとして扱われる。単語長の検索は、取得された画像において個々の文字を識別することができない、撮像装置に特に有用である。例えば、低解像度の携帯電話のカメラは、レンダリングされた文書の撮像に使用されるが、その画像を文字レベルでは解像することができない。文書は、それでも、長い、および短い単語の一致する逐次的なパターンを検索することによって、識別することができる。同様に、文書は、本明細書の他の場所で説明したように、文字の繰り返し頻度を示す、畳み込みベースのクエリーによってインデックスを付けて検索することができる。
スキャンされたテキストから生じる検索クエリーは、フォントのタイプ、サイズ、および色等の、テキストに関する情報を含むことができる。これらのテキストは、そのテキストが取得された文書の一義化に使用することができる。しかし、従来の検索クエリーでは、この情報を無駄にしている。
ユーザが既知の文書内を検索している場合、検索クエリーには、その文書の識別子を含むことができる。検索エンジンは、対象とする文書に検索結果を制限するために、文書の識別子を使用することができる。従来の検索クエリーは、文書の識別子を含まない。
ユーザの経験を強化するために、検索を、ローカルの装置とネットワークとに並行して行うことができる。1つの検索が結果を返すときに、他の検索を終了させることができる。
いくつかの実施形態において、携帯文書データ取得装置のスキャナとスキャンサービスプロバイダのネットワークとの間のメッセージは、一意の取引コードを含む。取引コードによって、システムは各取引を識別することができる。いくつかの実施形態において、取引コードは、スキャナID、スキャンされた情報、文書情報、およびタイム/ロケーション情報のハッシュから作成される。
いくつかの実施形態において、ネットワークおよび携帯用文書データ取得装置は、一義化処理を繰り返す。例えば、ユーザは、紙の文書から取得されるデータによって構成される検索クエリーをサブミットする。サービスプロバイダは、検索クエリーを検索エンジンにサブミットするが、文書を一義化することができない。それに応じて、ネットワークは、レンダリングされた文書から更なる情報を取得するようにユーザを促す。ユーザは、更なる情報をサブミットし、サービスプロバイダは、予めサブミットされた情報とともに新しい情報を使用してレンダリングされた文書を一義化する。サービスプロバイダおよびユーザは、文書を一義化するために必要な回数だけこの処理を繰り返す。サービスプロバイダは、一般に予めサブミットされた情報を保持して、その情報を新しくサブミットされた情報と統合して文書を一義化する。
いくつかの実施形態において、携帯用文書データ取得装置は、課金、サブスクリプション、および/または装置識別子に関する情報を格納するための記憶装置を備える。この記憶装置は、加入者識別モジュール(SIM)またはスマートカードのような着脱可能なものであるか、またはプログラマブル読み出し専用記憶装置(PROM)のような着脱不可能なものであってよい。いくつかの実施形態において、SIM記憶装置は、ユーザの携帯電話のサービスアカウントに関連付けられる。文書の電子コピーが取得されたデータに基づいている場合、サブスクリプション情報は、ユーザにその電子コピーの利用を許可するべきかどうかを検証するために使用することができる。例えば、新聞は、そのオンライン版へのアクセスに追加料金を課す場合がある。サービスプロバイダのユーザアカウントは、新聞のような紙の文書のサブスクリプション情報を含むことができ、その情報はユーザが紙の文書のオンライン版を購読しているかどうかを示す。
いくつかの実施形態において、携帯用文書データ取得装置は、注釈アプリケーションを含む。注釈ソフトウェアによって、デバイスは、音声またはテキストの注釈を、文書内のロケーション、マーク、またはテキストに添付することが可能になる。注釈は、文書内のテキスト文字列または絶対的なロケーションに関連付けることができる。注釈がテキスト文字列に関連付けられている場合、システムは、注釈が添付されたテキストを編集または削除するかどうかをサブスクライバに通知することができる。編集または削除に進む前に、システムは、続行したいかどうかの確認をユーザに求める。
テキスト注釈は、携帯機器のキーパッドを介して、または音声データのテキストへの変換によって、レンダリングされた文書からテキストをスキャンすることによって入力することができる。
いくつかの実施形態において、携帯用文書データ取得装置は、音声を取得するためのマイクロホンを備える。取得されたスピーチは、以下のスキャノテータ(scannotator)の項で詳述するように、ユーザによって指定されたロケーションで、音声ファイルとして文書に注釈を入力することができる。
いくつかの実施形態において、携帯用文書データ取得装置は、オンボードのOCR機能を有する。いくつかの実施形態において、システムは、ホストコンピュータまたはサービスプロバイダ上でOCRを実行する。OCRは、テンプレートマッチング、畳み込み、および単語長OCRを含む、多数の好適な方法によって達成することができる。
いくつかの実施形態において、携帯データ取得装置は、コードまたはプレーンテキストに商標シンボルを変換する。携帯機器は、認識することができる商標シンボルのデータベースを有する。携帯機器が認識する商標をスキャンする場合、携帯機器は、コードを商標画像の代わりに用いることができる。次いで携帯機器は、サービスプロバイダのネットワークにコードを送信する。サービスプロバイダは、商標コードに関連付けられた所定のアクションを行う。例えば、ユーザは、MitsubishiTMの「3つの菱形」の商標の画像をスキャンする場合がある。携帯スキャナは、その画像をオンボードの商標シンボルのライブラリと比較し、その3つの菱形のシンボルをMitsubishi社の商標として識別する。ライブラリは、システムのサービスプロバイダに対してその商標を一意に識別する、各商標に関連付けられた一意のコードを有する。携帯スキャナは、画像ファイル全体をサービスプロバイダに伝送するのではなく、コードを置換してそのコードを伝送する。画像の代わりにコードを用いることによって、ネットワークへのメッセージのサイズが削減され、無線通信の重要な利点となる。いくつかの実施形態において、システムは、画像ファイルを許可しない、いくつかの通信チャネル(携帯電話のSMSチャネル等)を通じて英数字コードを送信する。当然、商標の画像はまた、アスキーテキストにも変換することができる。例えば、MitsubishiTMの3つの菱形のロゴは、テキスト文字列「Mitsubishi社の商標」に変換することができる。
いくつかの実施形態において、光学スキャンサブシステムは、個々の文字が何であっても、単語長を適切な近似に区別する。幸いにも、単語長のパターンはまた、文書の識別にも使用することができる。文書の画像内の単語をカテゴリにソートすることによって、携帯スキャナは、文書の識別に使用することができるコードを構成することができる。最も簡単な場合において、長い、短い、および未知の、3つのカテゴリが使用される。短い単語は、ある所定の文字数よりも文字が少なく、長い単語は、所定の文字数よりも文字が多い。すなわち、短い単語<X<長い単語、である。ここで、Xは、長い単語と短い単語をと区別する所定の文字数である。単語長によって文書に付けられる特殊なインデックスを検索することによって、レンダリングされた文書を識別する。電子副本の位置が特定された後、電子副本内の長い/短い/未知の連続的な文字列の一致を見つけることによって、また単語長のパターンをその単語の個々の文字に変換することによって、スキャンされた文字列にOCRを実行するために、電子副本を使用することができる。
テンプレートマッチングOCRは、取得された画像と格納された文字イメージを比較する。一致が見つかったとき、その文字は識別される。テンプレートマッチングOCRは、フォントのスタイル、サイズ、イタリック等の変化に影響されやすい。基本的に、取得された文字を、格納されたテンプレートとは異なって見せる可能性があるものは、テンプレートマッチングシステム内にあると考えなければならない。テンプレートマッチングは、商標およびグラフィカルアイコンの画像の認識に非常に有用である。
図16は、文字オフセットを決定するための畳み込みの一実施形態を示す。概略的に、この実施形態は、それ自体を横切るテキストの画像をスライドさせるものと想定することが可能である。テキストの文字列に対して畳み込みパターンが決定されると、OCRは、統計学的な分析によって、または畳み込みを強化したインデックスの検索を介してソース文書を識別することによって、実行することができる。この実施形態は、センサ画像が画像を取得した後、1610より始まる。このスキャナの処理装置は、この元の画像と比較するために、ピクセルのキューを作成することが可能である。このキューは、この元の画像のコピーを垂直にスライスしたものとすることが可能である。別の方法では、比較すべき垂直スライスのトラックを保持するためにアドレスポインタを使用し、次いでプロセッサ内にこれらのスライスの一時的なコピーを作成する。次のステップ1620は、1つの長さを比較する。長さとは、垂直スライスの水平方向の幅のことである。
MicrosoftTM Internet Explorerのようなコンピュータ実行のウェブブラウザソフトウェアは、携帯データ取得装置のいくつかの実施形態に含まれる。コンピュータが携帯機器の内蔵ウェブページを利用することができるように、携帯機器は、USBケーブルのような通信チャネルによってコンピュータに接続される。
以下、携帯用文書データ取得装置の例示的な実施形態を説明する。これらの例では、すべての可能な実施形態を説明できないが、何が可能であるかという概要の提供を意図するものである。
携帯文書データ取得装置の携帯電話での実施形態では、携帯電話およびスキャナの機能を含む。携帯電話は、専用のスキャンサブシステムまたは統合型カメラによって、画像データを取得することができる。音声注釈は、携帯電話のマイクロホンで取得することができる。ユーザは、携帯電話のキーパッドから、携帯電話のスキャナを介して、またはマイクロホンを介して、検索クエリーテキストを入力することができる。
携帯電話のカメラをスキャン装置として使用することによる1つの問題点は、どのテキストがスキャンされるのかをユーザに示すことである。いくつかの実施形態において、携帯電話は、スキャンされる表面におおよそのスキャン領域をハイライトする光線を投影する。いくつかの実施形態において、携帯電話は、スキャンされる領域を携帯電話のディスプレイ上に表示する。ディスプレイは、ユーザに画像のどのサブセットがスキャンされるのか、またはOCRされるのかを示すための、様々な方法において画質が向上される。例えば、ディスプレイは、テキストが取得される領域の周囲に、ボックスを描画することができる。別様には、携帯電話は、例えば、ディスプレイ上の赤いライン、または陰影を付けた背景等をカメラまたは文書ソースから文書の画像上に重ね合わせることによって、ディスプレイ上にスキャン領域の境界を示すことができる。
いくつかの実施形態において、システムは、以下によって携帯電話のコンテクストにおける紙の文書を一義化する。
簡単なスキャンでは、すべての実施形態において、携帯電話のカメラの全解像度が必要ではない場合がある。カメラのセンサ領域の選択された部分だけを使用することによって、データ転送率がより高くなり、消費電力がより少なくなる。
携帯電話のサービスプロバイダを有する携帯電話サブスクライバのアカウントは、pコマース購入取引に対するアカウント/課金情報に使用することができる。
携帯電話は、レンダリングされた文書から情報を取得することによって、商取引を開始することができる。例えば、ユーザは、自分の携帯電話のカメラによって文書から、2、3行のテキストの画像を取得し、携帯電話は、取得したデータ内のキーワードを認識し、そのキーワードは、携帯電話内のソフトウェアアプリケーションを起動させるが、このアプリケーションは、キーワードに関連付けられた製品の販売の提案の配信を携帯電話に行わせる。ユーザは、その取引を完了させたいかどうかを(おそらくは携帯電話のキーパッドで)示すことができる。YESの場合は、ユーザの携帯電話アカウントに、購入費用が課金される。
いくつかの実施形態において、携帯電話は、スキャンするための中間プラットホーム(ホスト装置)である。例えば、当該の状態は、BlueToothTMスキャナを携帯電話に接続した場合に生じさせることができる。中間プラットフォームとして機能している場合、携帯電話は、文書のインデックス、マークアップ文書、および携帯電話とともに使用されるユーザ/スキャナに特有に、ユーザアカウントのデータを格納することができる。
検索クエリーは、携帯電話ネットワークのショートメッセージサービス(SMS)の携帯電話のためのテキストメッセージングシステムを使用することによって、サービスプロバイダまたはネットワークに効率的に伝送することができる。画像および音声ファイルは、携帯電話のマルチメディアメッセージサービス(MMS)によって送信することができ、MMSによって、携帯電話は、マルチメディアメッセージの送受信を行うことができる。
携帯データ取得装置の一実施形態には、スキャナ機能を備えた光学マウスが挙げられる。いくつかの実施形態において、光学マウスは、スキャンおよび動作検出に、同じ光学経路を使用する。いくつかの実施形態において、光学マウスは、スキャンされるテキストを観察するためのファインダーを備える。
アダプタポートを備えたスキャンアクセサリは、携帯データ取得装置の別の例である。スキャンアクセサリは、携帯電話またはPDAのような別のデバイス上の適切なコネクタにプラグ接続され、それによって、スキャン機能を備えたデバイスをアップグレードする。いくつかの実施形態において、アクセサリは、単に光取得サブシステムおよびアダプタ(アダプタを介して電力を取り出す)を有する。いくつかの実施形態において、アクセサリには、制御ロジック、記憶装置、および電源が挙げられる。
いくつかの実施形態において、システムは、音声注釈をレンダリングされた文書の電子副本内の選択された位置(「システム」)の標的とする。口頭による注釈を紙の文書内の選択された位置の標的とするために、ユーザは、携帯用光学スキャナを使用して、その選択された位置のテキストの部分をスキャンする。ユーザは、次いで注釈を話し、その注釈は、光学スキャナ内のマイクロホンによって取得され、スキャンされたテキストの部分とともに格納される。
以下は、携帯用文書データ取得装置のいくつかの例示的な使用である。これらの例では、すべての可能な実施形態を説明できないが、いくつかの使用の概要の提供を意図するものである。
いくつかの実施形態において、携帯用文書データ取得装置は、pコマース機能、および、アプリケーションを備える。例えば、いくつかの実施形態では、pコマースアクティビティに関するアイコンおよびキーワードを認識することができる。これらのキーワードおよびアイコンは、紙の文書からデータを取得することによって、商品およびサービスを購入するためのpコマース取引ソフトウェアを開始させることができる。いくつかの実施形態において、デバイスは、$(購入)マークに遭遇すると、購入状態またはモードに入る。購入処理が自動化されているので、いくつかの実施形態によって、サブスクライバは、カタログまたは広告から単一のスキャンによる購入取引の完了が可能になる。いくつかの実施形態において、デバイスは、クレジットカードの処理装置と直接情報のやりとりができるように、オンボードの記憶装置に金融情報を格納することができる。
いくつかの実施形態において、携帯用文書データ取得装置は、レンダリングされた文書とともにキーワードおよびマークアップ文書の使用をサポートする。いくつかの実施形態は、特定のスキャンが特に処理されることを示す、テキスト内の様々な補足的マーク(例、下線、フォント、テキストの色、トークン、アイコン等)を認識する。これらの補足的マークのうちの1つに遭遇した場合、デバイスは、検出されたマークに関連付けられたアプリケーションを実行する。様々な実施形態によってサポートされるキーワードには、会社名、および商標が挙げられる。いくつかの商標およびアイコンは、携帯電話においてコードまたはテキストに変換され、SMSまたは他のテキストベースのメッセージングを介して、サービスプロバイダに送信される。携帯電話におけるキーワードリストのローカルなキャッシングは、グラフィックのテキストへのローカルな変換に有用である。別様には、グラフィカルな商標およびアイコンを、マルチメディアメッセージングを介して、画像として伝送することができる。
いくつかの実施形態において、携帯データ取得装置は、スキャンサービスプロバイダからのサービスに対するプリペイドサブスクリプションを有する。プリペイドアカウントには、2の主な利点がある。第1の利点は、プリペイドアカウントによって、匿名でのシステムの使用が可能になる、サブスクライバのプライバシが保護されることである。第2の利点は、プリペイドアカウントは、潜在的なサブスクライバ数が、クレジット履歴の乏しい、または無い人々に拡大されることである。前もって代金を払うことによって、サブスクライバは、自分のクレジット履歴に関係なく、システムサービスを使用することができる。
当業者には、上述のシステムが、様々な方法での適用および拡張が可能であると理解されよう。上述の説明は特定の実施態様について言及しているが、本発明の範囲は、専ら以下の請求項およびそこに詳述される要素によって定義される。
Claims (29)
- 携帯機器がオフラインの間に、レンダリングされた文書から1つ又は複数の単語をスキャンし、スキャンされた前記1つ又は複数の単語に基づいて数を推定する光学スキャン装置と、
前記光学スキャン装置によってスキャンされた前記1つ又は複数の単語を格納する記憶装置と、
前記数が、前記記憶装置に格納された単語カウントの所定の閾値を満たしまたは超えたことを、前記携帯機器がオフラインの間に確認したとき、知らせるインターフェースと、を備え、
前記1つ又は複数の単語は、オンライン接続されたときに元の文書を一意的に識別するのに使用される、携帯機器。 - 前記記憶装置のスペースを節約するため、前記光学スキャン装置によってスキャンされた前記1つ又は複数の単語を圧縮する画像圧縮ロジックをさらに備える、請求項1に記載の携帯機器。
- 前記光学スキャン装置によってスキャンされる前記1つ又は複数の単語を照らす照明源をさらに備える、請求項1に記載の携帯機器。
- 前記単語カウントの所定の閾値が格納された前記記憶装置は、課金情報を格納する、請求項1に記載の携帯機器。
- 前記単語カウントの所定の閾値が格納された前記記憶装置は、サブスクリプション情報を格納する、請求項1に記載の携帯機器。
- 前記単語カウントの所定の閾値が格納された前記記憶装置は、装置識別子情報を格納する、請求項1に記載の携帯機器。
- 電源をさらに備える、請求項1に記載の携帯機器。
- 前記携帯機器の使用寿命を延ばすため、前記携帯機器の電力消費を監視して、ハイバーネーションまたは低電力モードを使用可能にする電力管理ロジックをさらに備える、請求項7に記載の携帯機器。
- 前記携帯機器の位置を確認するロケーションモジュールをさらに備える、請求項1に記載の携帯機器。
- 前記ロケーションモジュールはGPSモジュールを備える、請求項9に記載の携帯機器。
- 前記ロケーションモジュールがA−GPSモジュールを含む、請求項9に記載の携帯機器。
- 前記ロケーションモジュールがDGPSモジュールを含む、請求項9に記載の携帯機器。
- 前記ロケーションモジュールが、無線信号の三角測量により前記携帯機器の位置を確認する三角測量モジュールを含み、前記無線信号に基づいて近似位置を計算する、請求項9に記載の携帯機器。
- 前記ロケーションモジュールがローカルトランシーバのパイロット信号を監視するモジュールを含む、請求項9に記載の携帯機器。
- 前記ロケーションモジュールが、前記携帯機器の前記位置を推定する到達時間差(TDOA)モジュールを含む、請求項9に記載の携帯機器。
- 前記ロケーションモジュールが、前記携帯機器の前記位置を推定する強化観測時間差(EOTD)モジュールを含む、請求項9に記載の携帯機器。
- 前記ロケーションモジュールが、前記携帯機器の前記位置を推定する到来角を確認するモジュールを含む、請求項9に記載の携帯機器。
- 光学スキャン装置がオフラインの間にスキャンされた1つ又は複数の単語が、記憶装置に格納された単語カウントの所定の閾値を満たしまたは超えたことを通知する方法であって、
前記光学スキャン装置がオフラインの間に、前記光学スキャン装置が、文書からスキャンされた前記1つ又は複数の単語を受け取るステップと、
前記光学スキャン装置がオフラインの間に、前記光学スキャン装置が、前記文書からスキャンされた前記1つ又は複数の単語に基づいて数を確認するステップと、
前記光学スキャン装置がオフラインの間に、前記光学スキャン装置が、前記記憶装置に格納された前記単語カウントの所定の閾値と前記数とを比較するステップと、
前記光学スキャン装置がオフラインの間に、前記光学スキャン装置が、前記数が前記単語カウントの所定の閾値を満たしまたは超えたことを知らせるステップと、を包含し、
スキャンされた前記1つ又は複数の単語は、オンライン接続されたときに前記文書を一意的に識別するために使用される、方法。 - 前記知らせるステップは、視覚信号を生成することによって履行される、請求項18に記載の方法。
- 前記記憶装置に格納された前記単語カウントの所定の閾値は20文字以上40文字以下の単語数閾値である、請求項18に記載の方法。
- 前記知らせるステップは、音声信号を生成することによって履行される、請求項18に記載の方法。
- オンライン接続されたときに、前記光学スキャン装置が前記文書を識別するステップをさらに包含する、請求項18に記載の方法。
- 前記光学スキャン装置がオフラインの間に、前記文書からスキャンされた前記1つ又は複数の単語を受け取るステップは、前記文書から前記1つ又は複数の単語をスキャンすることを含み、前記1つ又は複数の単語のスキャンは、前記文書に表された前記1つ又は複数の単語の順序で前記1つ又は複数の単語をスキャンすることを含む、請求項22に記載の方法。
- 前記光学スキャン装置がオフラインの間に、前記文書からスキャンされた前記1つ又は複数の単語を受け取るステップは、前記文書から前記1つ又は複数の単語をスキャンすることを含み、前記1つ又は複数の単語のスキャンは、前記文書に表された前記1つ又は複数の単語の逆順で前記1つ又は複数の単語をスキャンすることを含む、請求項22に記載の方法。
- 前記光学スキャン装置がオフラインの間に、前記文書からスキャンされた前記1つ又は複数の単語を受け取るステップは、前記光学スキャン装置を前記文書にわたって手動で移動することを含む、請求項22に記載の方法。
- 前記光学スキャン装置がオフラインの間に、前記文書からスキャンされた前記1つ又は複数の単語を受け取るステップは、前記文書のサブ領域から前記1つ又は複数の単語をスキャンすることを含む、請求項22に記載の方法。
- 前記光学スキャン装置がオフラインの間に、前記文書からスキャンされた前記1つ又は複数の単語を受け取るステップは、十単語未満をスキャンすることを含む、請求項22に記載の方法。
- 前記光学スキャン装置がオフラインの間に、前記文書からスキャンされた前記1つ又は複数の単語を受け取るステップは、少なくとも十単語を備えた画像をスキャンすることを含む、請求項22に記載の方法。
- 特定のスキャンが前記文書内の位置を一意に識別することを、前記光学スキャン装置が示すステップをさらに包含する、請求項26に記載の方法。
Applications Claiming Priority (203)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US55876004P | 2004-04-01 | 2004-04-01 | |
US55927804P | 2004-04-01 | 2004-04-01 | |
US55889304P | 2004-04-01 | 2004-04-01 | |
US55837004P | 2004-04-01 | 2004-04-01 | |
US55926504P | 2004-04-01 | 2004-04-01 | |
US55927704P | 2004-04-01 | 2004-04-01 | |
US55922604P | 2004-04-01 | 2004-04-01 | |
US55879104P | 2004-04-01 | 2004-04-01 | |
US55852704P | 2004-04-01 | 2004-04-01 | |
US55889204P | 2004-04-01 | 2004-04-01 | |
US55871704P | 2004-04-01 | 2004-04-01 | |
US55927904P | 2004-04-01 | 2004-04-01 | |
US55886704P | 2004-04-01 | 2004-04-01 | |
US55878904P | 2004-04-01 | 2004-04-01 | |
US55896904P | 2004-04-01 | 2004-04-01 | |
US55896804P | 2004-04-01 | 2004-04-01 | |
US55849904P | 2004-04-01 | 2004-04-01 | |
US60/559,265 | 2004-04-01 | ||
US60/558,370 | 2004-04-01 | ||
US60/558,791 | 2004-04-01 | ||
US60/558,527 | 2004-04-01 | ||
US60/558,789 | 2004-04-01 | ||
US60/558,968 | 2004-04-01 | ||
US60/558,867 | 2004-04-01 | ||
US60/558,969 | 2004-04-01 | ||
US60/558,760 | 2004-04-01 | ||
US60/558,893 | 2004-04-01 | ||
US60/559,226 | 2004-04-01 | ||
US60/558,717 | 2004-04-01 | ||
US60/559,279 | 2004-04-01 | ||
US60/559,278 | 2004-04-01 | ||
US60/558,499 | 2004-04-01 | ||
US60/558,892 | 2004-04-01 | ||
US60/559,277 | 2004-04-01 | ||
US55912504P | 2004-04-02 | 2004-04-02 | |
US55912704P | 2004-04-02 | 2004-04-02 | |
US55890904P | 2004-04-02 | 2004-04-02 | |
US55903304P | 2004-04-02 | 2004-04-02 | |
US55908704P | 2004-04-02 | 2004-04-02 | |
US55913104P | 2004-04-02 | 2004-04-02 | |
US60/559,125 | 2004-04-02 | ||
US60/559,131 | 2004-04-02 | ||
US60/559,033 | 2004-04-02 | ||
US60/559,127 | 2004-04-02 | ||
US60/559,087 | 2004-04-02 | ||
US60/558,909 | 2004-04-02 | ||
US55976604P | 2004-04-06 | 2004-04-06 | |
US60/559,766 | 2004-04-06 | ||
US56176804P | 2004-04-12 | 2004-04-12 | |
US60/561,768 | 2004-04-12 | ||
US56352004P | 2004-04-19 | 2004-04-19 | |
US56348504P | 2004-04-19 | 2004-04-19 | |
US60/563,520 | 2004-04-19 | ||
US60/563,485 | 2004-04-19 | ||
US56468804P | 2004-04-23 | 2004-04-23 | |
US56484604P | 2004-04-23 | 2004-04-23 | |
US60/564,846 | 2004-04-23 | ||
US60/564,688 | 2004-04-23 | ||
US56666704P | 2004-04-30 | 2004-04-30 | |
US60/566,667 | 2004-04-30 | ||
US57138104P | 2004-05-14 | 2004-05-14 | |
US57156004P | 2004-05-14 | 2004-05-14 | |
US60/571,560 | 2004-05-14 | ||
US60/571,381 | 2004-05-14 | ||
US57171504P | 2004-05-17 | 2004-05-17 | |
US60/571,715 | 2004-05-17 | ||
US58920104P | 2004-07-19 | 2004-07-19 | |
US58920304P | 2004-07-19 | 2004-07-19 | |
US58920204P | 2004-07-19 | 2004-07-19 | |
US60/589,203 | 2004-07-19 | ||
US60/589,202 | 2004-07-19 | ||
US60/589,201 | 2004-07-19 | ||
US59882104P | 2004-08-02 | 2004-08-02 | |
US60/598,821 | 2004-08-02 | ||
US60289604P | 2004-08-18 | 2004-08-18 | |
US60293004P | 2004-08-18 | 2004-08-18 | |
US60289704P | 2004-08-18 | 2004-08-18 | |
US60294704P | 2004-08-18 | 2004-08-18 | |
US60289804P | 2004-08-18 | 2004-08-18 | |
US60295604P | 2004-08-18 | 2004-08-18 | |
US60292504P | 2004-08-18 | 2004-08-18 | |
US60/602,898 | 2004-08-18 | ||
US60/602,925 | 2004-08-18 | ||
US60/602,897 | 2004-08-18 | ||
US60/602,956 | 2004-08-18 | ||
US60/602,896 | 2004-08-18 | ||
US60/602,930 | 2004-08-18 | ||
US60/602,947 | 2004-08-18 | ||
US60346604P | 2004-08-19 | 2004-08-19 | |
US60308104P | 2004-08-19 | 2004-08-19 | |
US60308204P | 2004-08-19 | 2004-08-19 | |
US60/603,081 | 2004-08-19 | ||
US60/603,082 | 2004-08-19 | ||
US60/603,466 | 2004-08-19 | ||
US60335804P | 2004-08-20 | 2004-08-20 | |
US60349804P | 2004-08-20 | 2004-08-20 | |
US60/603,358 | 2004-08-20 | ||
US60/603,498 | 2004-08-20 | ||
US60410304P | 2004-08-23 | 2004-08-23 | |
US60410004P | 2004-08-23 | 2004-08-23 | |
US60410204P | 2004-08-23 | 2004-08-23 | |
US60409804P | 2004-08-23 | 2004-08-23 | |
US60/604,100 | 2004-08-23 | ||
US60/604,102 | 2004-08-23 | ||
US60/604,103 | 2004-08-23 | ||
US60/604,098 | 2004-08-23 | ||
US60522904P | 2004-08-27 | 2004-08-27 | |
US60510504P | 2004-08-27 | 2004-08-27 | |
US60/605,105 | 2004-08-27 | ||
US60/605,229 | 2004-08-27 | ||
US61345504P | 2004-09-27 | 2004-09-27 | |
US61360204P | 2004-09-27 | 2004-09-27 | |
US61346104P | 2004-09-27 | 2004-09-27 | |
US61334104P | 2004-09-27 | 2004-09-27 | |
US61340004P | 2004-09-27 | 2004-09-27 | |
US61345604P | 2004-09-27 | 2004-09-27 | |
US61345404P | 2004-09-27 | 2004-09-27 | |
US61363404P | 2004-09-27 | 2004-09-27 | |
US61333904P | 2004-09-27 | 2004-09-27 | |
US61336104P | 2004-09-27 | 2004-09-27 | |
US61324304P | 2004-09-27 | 2004-09-27 | |
US61363204P | 2004-09-27 | 2004-09-27 | |
US61346004P | 2004-09-27 | 2004-09-27 | |
US61363304P | 2004-09-27 | 2004-09-27 | |
US61334004P | 2004-09-27 | 2004-09-27 | |
US61362804P | 2004-09-27 | 2004-09-27 | |
US61324204P | 2004-09-27 | 2004-09-27 | |
US61358904P | 2004-09-27 | 2004-09-27 | |
US60/613,628 | 2004-09-27 | ||
US60/613,242 | 2004-09-27 | ||
US60/613,589 | 2004-09-27 | ||
US60/613,243 | 2004-09-27 | ||
US60/613,633 | 2004-09-27 | ||
US60/613,460 | 2004-09-27 | ||
US60/613,340 | 2004-09-27 | ||
US60/613,341 | 2004-09-27 | ||
US60/613,634 | 2004-09-27 | ||
US60/613,400 | 2004-09-27 | ||
US60/613,632 | 2004-09-27 | ||
US60/613,602 | 2004-09-27 | ||
US60/613,455 | 2004-09-27 | ||
US60/613,461 | 2004-09-27 | ||
US60/613,361 | 2004-09-27 | ||
US60/613,456 | 2004-09-27 | ||
US60/613,454 | 2004-09-27 | ||
US60/613,339 | 2004-09-27 | ||
US61511204P | 2004-10-01 | 2004-10-01 | |
US61537804P | 2004-10-01 | 2004-10-01 | |
US61553804P | 2004-10-01 | 2004-10-01 | |
US60/615,378 | 2004-10-01 | ||
US60/615,538 | 2004-10-01 | ||
US60/615,112 | 2004-10-01 | ||
US61712204P | 2004-10-07 | 2004-10-07 | |
US60/617,122 | 2004-10-07 | ||
US62290604P | 2004-10-28 | 2004-10-28 | |
US60/622,906 | 2004-10-28 | ||
US11/004,637 | 2004-12-03 | ||
US11/004,637 US7707039B2 (en) | 2004-02-15 | 2004-12-03 | Automatic modification of web pages |
US63345204P | 2004-12-06 | 2004-12-06 | |
US63367804P | 2004-12-06 | 2004-12-06 | |
US63345304P | 2004-12-06 | 2004-12-06 | |
US63348604P | 2004-12-06 | 2004-12-06 | |
US60/633,486 | 2004-12-06 | ||
US60/633,453 | 2004-12-06 | ||
US60/633,678 | 2004-12-06 | ||
US60/633,452 | 2004-12-06 | ||
US63462704P | 2004-12-09 | 2004-12-09 | |
US63473904P | 2004-12-09 | 2004-12-09 | |
US60/634,739 | 2004-12-09 | ||
US60/634,627 | 2004-12-09 | ||
US64768405P | 2005-01-26 | 2005-01-26 | |
US60/647,684 | 2005-01-26 | ||
US64874605P | 2005-01-31 | 2005-01-31 | |
US60/648,746 | 2005-01-31 | ||
US65337205P | 2005-02-15 | 2005-02-15 | |
US60/653,372 | 2005-02-15 | ||
US65367905P | 2005-02-16 | 2005-02-16 | |
US65384705P | 2005-02-16 | 2005-02-16 | |
US65389905P | 2005-02-16 | 2005-02-16 | |
US65366305P | 2005-02-16 | 2005-02-16 | |
US65366905P | 2005-02-16 | 2005-02-16 | |
US60/653,679 | 2005-02-16 | ||
US60/653,669 | 2005-02-16 | ||
US60/653,899 | 2005-02-16 | ||
US60/653,663 | 2005-02-16 | ||
US60/653,847 | 2005-02-16 | ||
US65437905P | 2005-02-17 | 2005-02-17 | |
US60/654,379 | 2005-02-17 | ||
US65432605P | 2005-02-18 | 2005-02-18 | |
US65419605P | 2005-02-18 | 2005-02-18 | |
US65436805P | 2005-02-18 | 2005-02-18 | |
US60/654,368 | 2005-02-18 | ||
US60/654,326 | 2005-02-18 | ||
US60/654,196 | 2005-02-18 | ||
US65528005P | 2005-02-22 | 2005-02-22 | |
US65569705P | 2005-02-22 | 2005-02-22 | |
US60/655,697 | 2005-02-22 | ||
US60/655,279 | 2005-02-22 | ||
US60/655,281 | 2005-02-22 | ||
US60/655,280 | 2005-02-22 | ||
US60/655,987 | 2005-02-22 | ||
US60/657,309 | 2005-02-28 | ||
PCT/US2005/011014 WO2005098597A2 (en) | 2004-02-15 | 2005-04-01 | Data capture from rendered documents using handheld device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011154626A Division JP5529082B2 (ja) | 2004-04-01 | 2011-07-13 | レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010536188A JP2010536188A (ja) | 2010-11-25 |
JP2010536188A6 JP2010536188A6 (ja) | 2012-12-27 |
JP5238249B2 true JP5238249B2 (ja) | 2013-07-17 |
Family
ID=43365214
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007506296A Expired - Fee Related JP5238249B2 (ja) | 2004-04-01 | 2005-04-01 | レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 |
JP2011154626A Active JP5529082B2 (ja) | 2004-04-01 | 2011-07-13 | レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011154626A Active JP5529082B2 (ja) | 2004-04-01 | 2011-07-13 | レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5238249B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9769354B2 (en) | 2005-03-24 | 2017-09-19 | Kofax, Inc. | Systems and methods of processing scanned data |
JP2008129713A (ja) * | 2006-11-17 | 2008-06-05 | Fujitsu Ltd | 複数のモダリティを関連付けるための方法、そのプログラムおよび複数モダリティを関連付けるマルチモーダルシステム |
US10095375B2 (en) | 2008-07-09 | 2018-10-09 | Apple Inc. | Adding a contact to a home screen |
US9576272B2 (en) | 2009-02-10 | 2017-02-21 | Kofax, Inc. | Systems, methods and computer program products for determining document validity |
US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
US8855375B2 (en) | 2012-01-12 | 2014-10-07 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US10354004B2 (en) | 2012-06-07 | 2019-07-16 | Apple Inc. | Intelligent presentation of documents |
US9355312B2 (en) | 2013-03-13 | 2016-05-31 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
US9208536B2 (en) | 2013-09-27 | 2015-12-08 | Kofax, Inc. | Systems and methods for three dimensional geometric reconstruction of captured image data |
WO2014160426A1 (en) | 2013-03-13 | 2014-10-02 | Kofax, Inc. | Classifying objects in digital images captured using mobile devices |
US20140316841A1 (en) | 2013-04-23 | 2014-10-23 | Kofax, Inc. | Location-based workflows and services |
JP2016518790A (ja) | 2013-05-03 | 2016-06-23 | コファックス, インコーポレイテッド | モバイル装置を用いて取込まれたビデオにおけるオブジェクトを検出および分類するためのシステムおよび方法 |
WO2015073920A1 (en) | 2013-11-15 | 2015-05-21 | Kofax, Inc. | Systems and methods for generating composite images of long documents using mobile video data |
US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
US10242285B2 (en) | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
CN105376412A (zh) * | 2015-12-01 | 2016-03-02 | 小米科技有限责任公司 | 信息处理的方法及装置 |
US11055552B2 (en) * | 2016-01-12 | 2021-07-06 | Disney Enterprises, Inc. | Systems and methods for detecting light signatures and performing actions in response thereto |
US9779296B1 (en) | 2016-04-01 | 2017-10-03 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
US10803350B2 (en) | 2017-11-30 | 2020-10-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3398981B2 (ja) * | 1992-07-31 | 2003-04-21 | ソニー株式会社 | 手書き入力情報処理装置 |
JPH0887378A (ja) * | 1994-09-19 | 1996-04-02 | Nec Corp | マウス動作認識によるコマンド実行方式 |
US5757360A (en) * | 1995-05-03 | 1998-05-26 | Mitsubishi Electric Information Technology Center America, Inc. | Hand held computer control device |
GB9922214D0 (en) * | 1999-09-20 | 1999-11-17 | Ncr Int Inc | Creation transmission and retrieval of information |
JP2001203837A (ja) * | 2000-01-19 | 2001-07-27 | Masamitsu Ishihara | ファクシミリ機能付携帯電話機 |
GB2366033B (en) * | 2000-02-29 | 2004-08-04 | Ibm | Method and apparatus for processing acquired data and contextual information and associating the same with available multimedia resources |
JP2002176674A (ja) * | 2000-12-05 | 2002-06-21 | Nec Corp | 撮像手段付き携帯電話装置 |
JP2002232532A (ja) * | 2001-01-09 | 2002-08-16 | Bisuketto Networks Inc | 手持操作型電子機器 |
GB2382879A (en) * | 2001-12-06 | 2003-06-11 | Hewlett Packard Co | Image capture device with capture field illumination |
-
2005
- 2005-04-01 JP JP2007506296A patent/JP5238249B2/ja not_active Expired - Fee Related
-
2011
- 2011-07-13 JP JP2011154626A patent/JP5529082B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP5529082B2 (ja) | 2014-06-25 |
JP2012009033A (ja) | 2012-01-12 |
JP2010536188A (ja) | 2010-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769431B2 (en) | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device | |
JP5529082B2 (ja) | レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 | |
KR101257206B1 (ko) | 렌더링된 문서를 식별하기 위한 디바이스 및 방법 | |
US9143638B2 (en) | Data capture from rendered documents using handheld device | |
US8619147B2 (en) | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device | |
US9684902B2 (en) | Processing techniques for text capture from a rendered document | |
US8903759B2 (en) | Determining actions involving captured information and electronic content associated with rendered documents | |
JP2010536188A6 (ja) | レンダリングされた文書からのハンドヘルド装置を用いたデータ取得 | |
US20100278453A1 (en) | Capture and display of annotations in paper and electronic documents | |
US20060041605A1 (en) | Determining actions involving captured information and electronic content associated with rendered documents | |
WO2006036853A2 (en) | Handheld device for capturing | |
US10504162B2 (en) | Processing techniques for text capture from a rendered document | |
KR101178302B1 (ko) | 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐 | |
EP1759282A2 (en) | Data capture from rendered documents using handheld device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100914 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110117 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110325 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110415 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110422 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110516 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110713 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120116 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120119 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20120210 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120921 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120926 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121022 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121025 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121121 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130401 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |