いくつかの例示的な実施形態は、今、図面を参照して記載され、同様な要素は、同様な参照番号とともに与えられる。例示的な実施形態は、例示を意図し、発明を限定するものではない。
図1は、ノート捕捉装置2と、このノート捕捉装置2が通信を行う他の装置とを示すハイレベル図である。例えば、ノート捕捉装置2は、例示的な実施形態において、USBケーブル6を経由してパーソナルコンピュータ4と通信し得る。ノート捕捉装置2が他の手段を経由してパーソナルコンピュータ4と通信し得るということもまた考えられる。捕捉装置2は、例示的な実施形態におけるバッテリ8又は、例えば110ボルトで運転する交流ウォールソケットを電源として駆動する電源アダプタ10(図示せず)のような他の手段によって駆動され得る。ワイヤレス通信サブシステム12が、様々な実施形態において、パーソナルコンピュータ4、ワイヤレスインターネットルータ14、ラップトップコンピュータ16、及び携帯電話17のような様々なワイヤレス装置と通信するためのノート捕捉装置2によって使用される。ノート捕捉装置2が通信するこれらの様々な装置は、インターネット18に選択的に接続される。ノート捕捉装置2の目的は、ポストイットノートに含まれるような手書きの情報を捕捉するための直感的な方法を提供することである。捕捉された手書き情報は、その後、パーソナルコンピュータ4、ワイヤレスインターネットルータ14、ラップトップコンピュータ16、又は携帯電話17を含む、ノート捕捉装置2が通信し得る様々な装置の1つに送信される。特定の例示的な実施形態において、捕捉された情報は、前記装置に保存され、又はインターネット18を経由して、インターネット18に接続される、サーバ20(図示せず)又は他のパーソナルコンピュータ4等のような様々な電子装置に転送される。
図2は、図1のノート捕捉装置2のより顕著な詳細を示す。ノート捕捉装置2に含まれるのは、パームレスト22(レスト面としても参照される)、コピーボタン24、トップページが、除去可能な筆記面となり得るノートパッド26、ファンクションランプ28、カメラポスト30、及びカメラヘッド32、である。手のひらがパームレスト22に接触するそれぞれの領域が実質的にパームレスト22の全体の面積よりも小さいことから、パームレスト22は、実質的に連続である。他の要素が内部に存在する一方、これらの要素は、様々なサブセット、スーパーセット、及びコンビネーションにおいて、特定の例示的な実施形態におけるノート捕捉装置2のためのヒューマンインターフェイスとしての役割を果たす。 図示されない様々なセンサ及び電子機器が、ノート捕捉装置2の機能性を与えるために必要とされ、そして、より顕著な詳細において次に議論されるであろう。ノート捕捉装置2を使用しているとき、ユーザは、ペンや鉛筆のような筆記用具を簡単にとり、ノートパッドに書き留める。例示的な実施形態において、ノートパッド26への手書きの完了は、ユーザがコピーボタン24を押すこと、または、前記手書きの完了を示す他の手動若しくは自動のトリガメカニズムによって信号化される。ノートパッド26の一番上の記載におけるイメージは、USB6、ワイヤレス通信サブシステム12、又は他の手段を経由して外部装置に送信される。このとき送信されるそのイメージが、コピーボタン24の押圧に先んじて捕捉されることに留意すべきである。換言すれば、コピーボタン24の押圧は、イメージが送信され、そして、カメラヘッド32が作動し、イメージを得るということを示す合図として使用されても良いかどうかということを示す。カメラヘッド32は、連続モード又は、コピーボタン24の近傍の作動モードのクリックにおいて、作動可能である。加えて、参照番号23は、一般に、細長くされたベースアセンブリを示す。
パッド26は、いくつかの実施形態において、紙の各シートが、弱い、再使用可能な接着成分によってもう1つのシートに保持されるタイプのものであり得る。
限定されないある実施形態において、平面イメージ捕捉装置は、ベースイメージ平面を定めるレスト面、及びベースイメージ平面に対して傾斜する光学軸を定める固定カメラ装置を含む。固体カメラはまた、少なくとも約2.5インチ以上約7.5インチ以下で広がる被写界深度を有する。一般的に言えば、被写界深度は、面のイメージが、カメラ装置から見えるものとしてかなり明らかである距離である。また一般的に言えば、被写界深度は、平面イメージ捕捉装置が組み付けられたときに、固定範囲に換算される。
図3は、図1及び図2のノート捕捉装置2のより顕著な詳細を示す。ノートパッド26は、ノートパッドレスト34に残り、ユーザの手書き面を提供する。コピーボタン24は、ユーザに、ノートが完了したことを示すことを許容するために備えられる。コピーボタン24下のコピーボタンマイクロスイッチ36は、コピーボタン24の動きを、ノートの完了を示すために使用される電気的な信号に変換されるように使用される。ある実施形態において、コピーボタンマイクロスイッチ36は、プリント回路基板38に取り付けられる。パームレスト22は、ある実施形態において、プリント回路基板38に取り付けられるパームレストマイクロスイッチ36に接触している。プロセッサ42は、プリント回路基板38に取り付けられ、ノート捕捉装置2の様々な機能を実行するための計算能力を与える。カメラヘッド32は、構造支持要素30に取り付けられ、カメラケーブル44を経由してプリント回路基板38に接続される。構造支持要素30は、ポスト又はディスプレイとして定められ得る。ページ除去検出器46は、ある限定されない実施形態において、ノートの除去の検出を補助するために備えられる。この種の検出はまた、カメラヘッド32によって得られるイメージの解析を通じて、受動的な手段によって達成され得る。ノート捕捉装置2の様々な実施形態において、センサの数と種類は、非常に多くなり得る。ページ除去検出器46は、ある例示的な実施形態において、ノートパッド26の一番上のノートに対する継続的な物理的接触を維持するために設けられるスプリングである。ページ除去検出器46が、ノートの除去を示す動きを検出するとき、電気的信号が発生し、プリント回路基板38に伝達される。この信号は、パームレストマイクロスイッチ36、コピーボタンマイクロスイッチ40、ページ除去検出器46、様々なセンサからの様々な信号と同様に、カメラヘッド32によって得られるイメージと同様に、いつノートが完了し、捕捉されるべきかの決定を補助するために、全て一緒に使用される。ノートが捕捉されるとき、ノートのイメージを含む信号は、パーソナルコンピュータ4、ワイヤレスインターネットルータ14、ラップトップコンピュータ16、又は携帯電話17のような外部装置に送信される。イメージの通信は、ワイヤレス通信サブシステム12(図示せず)を含む様々な方法において、又は、USBコネクタ48を経由してプリント回路基板38に接続されるUSBケーブル6のような物理的に接続される手段によって、生じうる。USBケーブル6はしかし、多くの可能な物理的接続である。イーサネットケーブル等を代わりに含む。
図2及び他の図はまた、実質的に平坦な面を含むベースイメージ平面27を示す。ベースイメージ平面27は、一般的に、ノートパッド26の四角形以外の様々な形状のものが可能で、そして、連続的である必要がないことについて留意されるべきである。加えて、図3Bに示されるような垂直軸29が、ベースイメージ平面27によって定められる。ここで使用される、「垂直な被写界深度」は、例えば、認識及び/又はシステムの他の目的のために、イメージが十分な焦点及び/又は解像度である、カメラヘッド32によって検出されるイメージがシステムによって使用のために十分に分析される垂直軸29に対して実質的に平行な被写界深度で定義される。
図4は、図2及び図3のカメラヘッド32のより顕著な詳細を示す。カメラヘッド32は、ある例示的な実施形態において、カメラプリント回路基板50、カメラアセンブリ52、及びLED54を含む。カメラアセンブリ52は、レンズ、及び、カメラセンサからカメラケーブル44を越えて、他の要素、特に、プリント回路基板38に取り付けられるプロセッサ42に一連のイメージを送信することができるカメラセンサ装置を含む。LED54は、ノート捕捉装置2及び、より詳細には、ノートパッド26の手書き面が、様々な光の照明条件で照らされるように、光を与える。図4において示されるカメラヘッド32の構成は、ある例示的な実施形態において、限定されない方法において解釈される。
図5は、操作の様々なモードを検出するためのさらなるセンサ機器を伴う捕捉装置2を示す。特に、この実施形態において、ノートパッドレスト34は、ノートパッド26に対する圧力の適用が、手書き動作が生じていることを示すプロセッサ42に、プリント回路基板38を経由して伝搬され、電気的信号を生ずるように、圧力感知式である。接近センサ54はまた、ノートパッド26上に物理的に現れることを示す信号を与えるために含まれる。接近センサ54は、同様に、プリント回路基板38を経由して、電気的信号をプロセッサ42に伝搬する。既述のように、パームレスト22は、手書き操作が、プロセッサ42に対して生じる信号を与えるために、圧力感知式である。ここで記述される様々なセンサの出力は、ノートパッド26によって与えられる手書き面を変換するビューの領域を有するカメラヘッド32から得られるイメージ情報に結合される。ノートパッド26を直接覆っているものではないことから、カメラヘッド32のビューが傾斜しているということが留意されるべきである。構造支持要素30の高さは、得られたイメージデータがノートの適したイメージに矯正され得るように、ノートパッド26の適切なビューを与えるのに十分な高さである必要がある。
図6は、カメラヘッド32のビューの領域のより顕著な詳細を示す。ここで示されるように、望ましい限定されない実施形態において、カメラヘッド32は、ノートパッド26の手書き面の中心に向けられる。パームレスト22に近いノートパッド26の部分は、大きな距離で見え、それ故、ノートパッド26の中心に関係するイメージの部分よりも、結果のイメージにおいて、より低い解像度を使用する。同様に、カメラヘッドに最も近いイメージの部分は、ノートパッド26の中心に関係するイメージの部分よりも、より高い解像度を使用する。
図7は、コピーボタン24のより顕著な詳細を示す。コピーボタン24の表面における凹みは、例示的な実施形態において、ペン、鉛筆又は他の筆記具が、プリント回路基板38に取り付けられるコピーボタンマイクロスイッチ36に直接物理的に接触するコピーボタン24から滑り落ちることなしに、容易にボタンを押すことができるように備えられる。
図8は、例示的な実施形態において、ワイヤレス通信サブシステム12を含むノート捕捉装置2を示す。ワイヤレス通信サブシステム12は、プリント回路基板38に取り付けられる回路(図示せず)に結合されるノート捕捉装置2に対して内部的又は外部的になり得るアンテナとして部分的に設けられる。様々な通信プロトコルがワイヤレス通信サブシステム12とともに使用され得る。Blue Tooth、ワイヤレスLANプロトコル、携帯電話プロトコル等のようなプロトコルは、当業者によく知られている。様々な代替の実施形態は、IR等を含む。加えて、GPS信号を受信する機器もまた備えられ得る。GPS機器は、ノート捕捉装置2の位置を決定するために使用され、そしてそれ故、イメージに関連するメタデータとしてのイメージ情報とともに位置情報が保存され得る。これは、特定のノートを位置づけることを試みているユーザを後で助け得る。ユーザは、本能的に、努力なしに日付の大体の概算と同様にノートを書くときに、彼らがどこにいるかを覚えようとする。ここで開示されるノート捕捉装置は、特許請求の範囲内において、ここで開示される技術の小さな及び大きなアプリケーションに適応する範囲で、大きく変化し得るということに留意すべきである。
図9は、ノート捕捉装置2の例示的な実施形態を示し、手書き面の特別に示された領域は、ノートの配置に関する特定の意味を有する。特定の領域56及び58は、この例において、ユーザがこの領域を、ペンや鉛筆等のような筆記具で押したときに、ユーザの定められた機能を実行するために与えられる。特定の領域56又は58における、ペンダウンの検出は、カメラヘッド32によって得られたイメージのイメージ解析によって、又は、特定の領域56及び58の下のマイクロスイッチのような様々なセンサを備えることによって、実行され得ることに留意すべきである。これらの実施形態に加えて、遮られる光線のような、様々な他のセンシング技術が使用され得る。特定の領域56及び58の配置は、例示的のみであり、多くの他の構成が可能である。特定の領域56及び58に関連する意味は、ユーザがプログラムでき、特定の、所定のユーザに対して捕捉されたノートをメールすること、ノートを、例えばサーバ20に組み込まれたウェブサイト(図示せず)上のアルバムに配置すること、所定のFAX番号にFAXを送ること等のような、様々な機能を含み得る。
図10は、きれいなイメージが得られるということを保証する助けとなる捕捉処理に関して使用され得るLCDディスプレイスクリーン60を含むノート捕捉装置2の例示的な実施形態を示す。LCDディスプレイスクリーン60は、コピーボタン24を押して捕捉されるノートをユーザが見ることができるように、ユーザに対するフィードバックを提供するために使用され得る。また、LCDディスプレイスクリーン60は、ノート捕捉装置2のためのヒューマンインターフェイスとして使用され、そして、ペンや指が、ノート捕捉装置2の操作に影響する様々なソフトキー及び捕捉されたノートの配置と影響し合うように使用されるために、タッチスクリーン能力を付加的に含み得る。この例示的な実施形態において、構造支持要素30は、LCDディスプレイスクリーン60を収容するように広げられ、そして、カメラヘッド32は、広げられた支持要素30の一番上に取り付けられる。この実施形態において、ワイヤレス通信サブシステム12の部分は、他の実施形態としての構造支持要素30内に収容され得る。構造支持要素30はまた、いくつかの実施形態において、イメージを投影できる、要素30に支持される光要素を含み得る。さらにもう1つの実施形態において、イメージを処理することが、ノート捕捉装置2内で生じ得る。
図3,5,6及び7を参照し、図11は、図3,5,6,及び7のプリント回路基板38に具体化される回路のブロック図である。プリント回路基板38の様々な要素は、バス62、プロセッサ42、揮発性記憶装置64、不揮発性記憶装置66、リードオンリーメモリ68、カメラIO70、及び他のIOである。デジタルメモリもまた、図11の構成に含まれる。他のI/O72は、デジタルメモリ、及び他のメモリ及び保存装置からのデータを、外部の装置又はネットワークに転送可能な通信ポートを含み得る。通信ポートは、配線され又は無配線であり得る。これらの様々なプリント回路基板38の電気要素は、ノート捕捉装置2内の埋め込まれたコンピュータとして、ノート捕捉、ユーザインターフェイス、及び通信の様々な機能を提供するように作動する。プロセッサ42は、バス62に接続され、ノート捕捉装置2の様々な機能のための主な計算能力を提供する。揮発性記憶装置64は、プロセッサ42内に具体化される様々な処理のための一時的な保存を含み得る。不揮発性記憶装置66は、フラッシュメモリ、又はハードディスクのような様々な保存サブシステムを含み得る。代わりの実施形態は、CD−ROM、フラッシュカード等のような様々なリムーバブルメディアを含み得る。換言すれば、当業者に知られる様々な不揮発性記憶サブシステムが、不揮発性記憶装置66を補い、またはそれに置き換えられるために使用され得る。特定の限定されない実施形態において、ノート捕捉装置2によって捕捉される1以上のノートが不揮発性記憶装置66に保存され、そして、その後、接続されている様々な装置にアップロードされる。リードオンリーメモリ68は、起動におけるプロセッサ42のためのOSレベルインストラクションを含むように備えられ、そしてまた、ユーザインターフェイス、捕捉、及び通信を実行するノート捕捉装置2上で動く処理の全体又は部分を含むプロセッサ42のための様々なライブラリ機能を与える。リードオンリーメモリ68は、プログラム可能であることに留意すべきである。カメラIO70は、ある例示的な実施形態において、携帯電話内に備えられるようなカメラに関連する電気要素を含み得る。様々な代替の実施形態は、光出力に関するカメラヘッド内にLEDを制御し、又は、LEDを作動、停止させる能力を含み得る。付加的な実施形態は、例えば、セキュリティ機能等を実行するための部屋又は他の環境をパンすることができるように、カメラの角度を変えるサーボ機構を含み得る。それ故、カメラIO70は、カメラヘッド32からイメージを得るだけでなく、様々なその操作の特徴を制御するために使用される。イメージ解像度等と同様に、ズーム及びフォーカスは、全てカメラIO70によって潜在的に制御される。他のIO72は、ノート捕捉装置2に関連する様々なセンサ及びマイクロスイッチに対するIOを与える。加えて、他のIO72は、例えば、キーボード、又はポインティング装置、又は、LCDディスプレイスクリーン60のような出力装置に対するIOを与え得る。付加的な例示的な実施形態は、そのタッチスクリーンの実施形態において、LCDディスプレイスクリーン60に関連するIOを与える。他のIO72はまた、例えば、ノート捕捉装置2の操作状況、通信状況、捕捉状況を表示するように使用され得るファンクションランプ28のような様々なLEDを制御するために使用され得る。他のIO72は、マイクロホン又はGPS機器を伴うインターフェイスに対して使用され得る。同様に、他のIO72の例示的な実施形態は、ワイヤレス通信サブシステム12、USBコネクタ48、及び他の通信モードを経由して通信を提供する。
ある実施例において、得られたイメージのアンチキーストーンイメージ処理が実行され、ROM68のようなメモリによって支援される。
図12は、ノート捕捉装置2上、より詳細には、プリント回路基板38の様々な要素、特にプロセッサ42や関連するメモリ上を動く捕捉処理を示すフローチャートである。これは、ある操作モードの例に過ぎず、限定されない例によって与えられる。図12の操作のためのコードは、リードオンリーメモリ68や不揮発性記憶装置66内で具体化され、又は、パーソナルコンピュータ4、ラップトップコンピュータ16、あるいはノート捕捉装置2が携帯電話や、サーバ20のようなインターネット18上のサーバと通信し得る他の装置のような外部ソースからダウンロードされ得る。オペレーションは、オペレーション74において始まり、プロセスが初期化されるオペレーション76に続く。ノート捕捉装置2の様々なセンサと同様に、カメラヘッド32から得られるイメージをモニタするために必要とされる様々なバッファが、このときに初期化される。この点で、制御は、様々な入力が読まれるオペレーション78に移る。特定の実施形態において、イメージは、カメラヘッド32から継続的に得られ、そして、他の実施形態において、カメラヘッド32からのデータは、現在のプロセスによって特別に要求されるまで得られない。イメージが継続的に得られた場合、それは、どのイメージのフレームが捕捉されるべきかを決定するのを助けるために使用され得る。ある実施形態において、イメージが得られ、他のセンサは、どのイメージがノートとして捕捉されるべきかを決定するために必要とされない。このポイントで、オペレーション80は、イメージが捕捉されるべきか否かを決定する。これは、例えば、他の様々なセンサ及びカメラヘッド32によって得られるイメージに加えて、コピーボタンマイクロスイッチ36によって得られる信号のような様々なセンサ入力を試験することによって実行される。ある低コストの実施形態において、イメージを捕捉するタイミングを決定するために分析され得るカメラ入力以外、いかなるセンサも必要とされない。イメージが捕捉されるべきことがオペレーション80において決定された場合、制御は、オペレーション82に移り、ここでシングルイメージが捕捉される。捕捉の方式は、カメラヘッド32から又は、以前に保存されたイメージバッファから、シングルイメージを得ることである。いずれにしても、捕捉されるイメージは、ノート捕捉装置2と通信する既述の装置の1つを経由して、パーソナルコンピュータ4、ラップトップコンピュータ16、形態電話、又はサーバ20のような外部装置に送信される。ワイヤレスインターネットルータ14もまた、イメージを捕捉するために、サーバ20のようなインターネット上の様々な装置と通信するために使用され得る。オペレーション82の完了で、制御は、図12のオペレーションが完了されたかどうかを決定するオペレーション84に通じる。もし、オペレーション80において、イメージを捕捉すべきでないということが決定された場合、制御は、同様に、図12のオペレーションが完了されたか否かを決定するオペレーション84に移る。もし、図12のオペレーションが完了されたことがオペレーション84で決定された場合、制御はその後、オペレーションを終了するオペレーション86に移る。ノート捕捉装置2内での図12のオペレーションの実行に対する代替が、単に、イメージやセンサ入力のようなテレメトリをパーソナルコンピュータ4のような外部装置に送信し、その後、前記外部装置内で図12のオペレーションを実行すること、であることに留意すべきである。さらに、外部装置からノート捕捉装置2にメッセージを送信することによって様々なハードウェア要素を制御することも可能である。換言すれば、ここで記述される様々なプロセスは、様々な装置で具体化され得る。ある例示的な実施形態において、ノート捕捉装置は、内蔵の又は取り付けられるカメラを伴う携帯電話内で具体化され又は併合され得る。
図13,14及び15は、図12のオペレーションの特定の実施形態のある特徴を、より詳細に記述するタイムラインの部分を示す。特定の例示的な実施形態において、捕捉するか否かの決定は、ユーザがコピーボタン24を押したことを検出することと同じくらい簡単であり、付加的な例示的な実施形態は、図12に記載される様々なセンサのモニタリングを含む。図13は、時間内に4つのモーメントを、そして、様々なセンサ入力を、それらの入力から得られる特定の情報と同様に表示する。タイムラインの第1のフレームは、ブランクイメージを示す。このとき、パームレストセンサは、何も検出せず、しかも、接近センサ、ページ除去センサも何も検出しない。このイメージが第1のイメージであり、比較することがないので、そのイメージマッチはネガティブである。同様に、イメージ一致はネガティブである。イメージがブランクであることが容易に検出されるので、イメージブランクは、ポジティブであり、インクがなく、そして、ユーザの手及びペンは、ビューの領域内にはない。ペンダウンセンサはまた、現在の手書き動作がないことを示す。フレーム2は、フレーム1と同じようにブランクイメージを示す。再び、ユーザの動作がなく、そして、それ故、パームレスト、接近、及びページ除去のようなセンサが全てネガティブである。しかしながら、このイメージが前のイメージと同一であるので、イメージマッチ及びイメージ一致が両方ともポジティブである。イメージブランクは、フレーム2のイメージがブランクであることを示すポジティブであり、そして、ペンダウンは、ユーザがノートパッド26上の記載に現在関係していないということを示すネガティブである。フレーム3において、ユーザは、ペンや鉛筆のような筆記具でノートパッド26上に書くことを始めた。完了された手書きの部分は、筆記具それ自体であるものとしてフレーム3において見ることができる。パームレスト22に関するパームレストセンサは、パームレストマイクロスイッチ40がパームレスト22上の圧力を検出することを示すように作動する。接近センサ54は、手や筆記具のような対象の接近を検出し、そしてそれ故、接近の表示もまたポジティブである。ページ除去センサは、ページの除去を検出しない。現在のイメージフレーム3がフレーム2における前のイメージとマッチしないことから、イメージマッチ決定はネガティブである。いくつかの手書きが現れるので、イメージは、もはやネガティブではない。ペンダウン表示は、ペンの圧力がペンダウンセンサを作動させるポジティブ表示である。今、タイムラインのフレーム4において、ユーザがこの手書き操作を実行し続けたことを、より多くの手書きが表す。パームレスト22及びパームレストマイクロスイッチ40に関連するパームレストセンサは、ユーザの手のひらがパームレスト22上で残っていることを示すポジティブである。同様に、接近センサ54は、ユーザの手又は筆記具の出現を検出する。ページ除去センサは、ページの除去を検出しない。イメージマッチ及びイメージ一致は、このイメージが前のイメージと異なることを示すネガティブである。イメージブランクは、ビューにおいて手書き及び筆記具の部分を有するので、このイメージがブランクでないことを示すネガティブである。ペンダウン表示は、圧力がノートパッド26、そしてそれ故、この実施形態において圧力センサを含むノートパッドレスト34に作用することを示すポジティブである。
今、図14に変わって、フレーム5は、手書きを含み、筆記具又はユーザの手の部分を含まないノートを示す。パームレスト表示は、圧力が現在、パームレスト22に作用しておらず、そしてそれ故、パームレストマイクロスイッチ40が休止していることを示すネガティブである。接近センサは、ユーザの手がノートパッドに接触していない一方、接近センサがそれを検出し続けることを生じさせるために、それが十分に近いことを示す。ページ除去センサ46は、ユーザがノートパッド26からノートを取り除くことを試みていないことを示すネガティブである。イメージマッチは、このイメージが、所定の許容範囲内の前のイメージと同じでないということを示すネガティブである。特定の許容範囲内で、微妙な変化についてイメージを比較し、マッチを示すために十分同じであるイメージを認証するための方法は、当業者によく知られている。イメージ一致表示は、このイメージがどのような前のイメージとも一致してないこと示すネガティブである。イメージブランク表示は、このイメージが、ブランクでないこと、およびその上に手書きを有することから、ネガティブである。ペンダウン表示は、圧力が現在ノートパッド26に作用しておらず、そしてそれ故、この実施形態において、圧力センサを含むノートパッドレスト34上で検出されないことを示すネガティブである。フレーム6は、実質的に前のイメージと同一であるイメージを示す。照明状態、及びカメラヘッド32内で具体化されるようなカメラセンサ内において、光子を収集することに固有な不完全さのために、ある微妙な変化が現れ得ることに留意すべきである。フレーム6において、パームレスト表示が、ユーザの手が現在パームレストセンサ22上で休息しておらず、そしてそれ故、パームレストマイクロスイッチ40が圧力を検出していないことを示すネガティブであるのに対し、接近表示は、ユーザの手がノート捕捉装置2に接近していることを示すポジティブである。ページ除去表示は、この場合ネガティブである。イメージマッチは、このイメージがマッチを示すための前のイメージに十分近いものであることを示すポジティブである。イメージ一致は、前のイメージ5が現れた手書きの全ての部分が、イメージ6内に現れることを示すポジティブである。もし、付加的なインクがイメージ6で見えたとき、イメージ一致は、未だポジティブである。それ故、イメージマッチとイメージ一致との間の相違は、イメージ一致が後のイメージにおいて付加的なインクにイメージマッチが寛容であるものである一方、イメージマッチが後のイメージにおける付加的なインクに寛容でないものであるということである。イメージブランクは、この例において、イメージがブランクでなく、手書きを含むことを示すネガティブである。ペンダウン表示は、現在ノートパッド26に作用する圧力がなく、そしてそれ故、この実施形態において、圧力センサを含むノートパッドレスト34に対する圧力がないことを示すネガティブである。
フレーム7は、付加的な手書きが生じ、そして、筆記具が再びイメージ内に部分的に見えることを示す。パームレスト表示は、ユーザのパームが現在パームレストセンサ22に圧力を作用させ、そしてそれ故、パームレストマイクロスイッチ40が作動されることを示すポジティブである。接近センサ54は、ノート捕捉装置2に接近するユーザの手の出現を検出する。ページ除去検出器46は、ユーザがページを除去することを試みていないことを表示する休止である。前のイメージが見えないのに対して、イメージマッチ表示器は、この場合において、付加的な手書きが生じ、そして、筆記具が現在イメージ内に見えるという事実によってネガティブである。イメージ一致は、同様に、筆記具がイメージ内に出現するために、ネガティブである。イメージブランクは、この場合、筆記具とある手書きが両方イメージ内に出現するために、ネガティブである。ペンダウン表示は、ユーザが現在、筆記具で圧力をノートパッド26に及ぼし、そしてそれ故、圧力が、この実施形態において、圧力センサを含むノートパッドレスト34に対して作用することを示すポジティブである。フレーム8は、筆記具がイメージから除去され、加えられた手書きを示す。パームレスト表示は、圧力が現在パームレスト22に作用しておらず、そしてそれ故、パームレストマイクロスイッチ40が休止していることから、ネガティブである。接近センサ46は、同様にユーザの手の出現を検出しない。ページ除去センサ46は、休止しており、そしてページ除去表示はネガティブである。イメージマッチは、現在のイメージにおいて休止であるのに対し、この例において、筆記具が前のイメージにおいて現れているので、ネガティブである。イメージ一致は、この例において、このイメージが、ある付加的なインクと同様に、フレーム5及び6において現れるインクの全てを含むため、ポジティブである。イメージブランク表示は、このイメージがあるインクを含むことから、ネガティブである。ペンダウンは、この例において、ユーザがノートパッド26に圧力を及ぼしていないことを示すネガティブである。
図15は、フレーム8の完了した手書きが見え、筆記具が現れていないフレーム9を示す。パームレスト表示は、ユーザの手がパームレスト22に圧力を及ぼしておらず、そしてそれ故、パームレストマイクロスイッチ40が休止であることを示すネガティブである。近接表示は、接近センサ54によって示されるように、ユーザの手がノート捕捉装置2に近くにあるということを示すポジティブである。ページ除去センサは、ユーザがノートパッド26からノートを取り除くことを試みておらず、そしてそれ故、ページ除去表示がネガティブであるということを示す。イメージマッチ表示は、許容範囲内で、このイメージが前のイメージにマッチすることを示すポジティブである。また、イメージ一致は、フレーム9のイメージが前のフレーム5,6及び8のイメージに一致することを示すポジティブである。イメージブランク表示は、イメージ9があるインクを含むので、ネガティブである。ペンダウン表示は、ユーザが現在ノートパッド26に書いておらず、そしてそれ故、ノートパッドレスト34への圧力を生じていることを示すネガティブである。フレーム10は、手書きに従うイメージに現れるユーザの親指を示す。パームレスト表示は、ユーザの手が現在パームレスト22に圧力を及ぼしており、そしてそれ故、パームレストマイクロスイッチ40を作動したことを示すポジティブである。近接表示は、ユーザの手が、ユーザの手を感知できるように、接近センサ54に十分近いことを示すポジティブである。ページ除去表示は、ユーザが未だノートパッド26からノートを取り除いていないことから、ネガティブである。イメージマッチは、ユーザの親指がフレームに入っていることから、ネガティブであり、そして、同様に、イメージ一致は、このイメージに前のイメージが一致するものがないことから、ネガティブである。イメージブランクは、フレームが手書き及びユーザの親指の部分を含むことから、ネガティブである。ペンダウンは、現在ノートパッド26に及ぼす圧力がないことから、ネガティブである。フレーム11は、ノートパッド26からノートを剥がすユーザを示す。パームレスト表示は、現在パームレスト22に圧力が作用していないことを示すネガティブである。接近センサ54は、ユーザの手の出現を検知し、そしてそれ故、近接表示はポジティブである。ページ除去センサは、ユーザがノートパッド26からノートを現在除去していることを示すポジティブである。ユーザがノート上に手書き操作を完了したことを示すことから、ページ除去表示の出現は、重要である。このフレームにおいて、ユーザの親指がイメージ内に見え、そして、ノートが剥がされることから、イメージマッチ表示はネガティブである。同様に、イメージ一致表示は、ネガティブである。イメージブランクは、ユーザの手及びノートのエッジが見えることから、ネガティブである。ペンダウンは、圧力が現在ノートパッド26に作用していないことを示すネガティブである。フレーム12は、ブランクイメージを含む。パームレスト表示は、ユーザが現在、彼の手でパームレスト22に圧力を及ぼしていないことを示すネガティブである。近接表示は、接近センサ54が現在ユーザの手の出現を検出していないことを示すネガティブである。ページ除去センサは、ユーザが現在ノートを除去していないことを示すネガティブである。イメージマッチは、このイメージが、ページが除去されてからとられた前のイメージと一致しないことを示すネガティブである。イメージブランクは、このイメージがブランクであることを示すポジティブである。ペンダウンは、圧力がノートパッド26に作用していないことを示すネガティブである。
図12,13,14及び15を参照し、図12のオペレーションは、ここで例として記述される様々な実施形態の形式をとり得る。これらの例は、限定されない方法において解釈される。例えば、図13,14および15の様々なフレーム1から12は、図12のオペレーション78が様々な入力をサンプリングする、時間内に考えられる例であり得る。様々な入力は、その後、オペレーション80で分析され、そして、さらにオペレーション82で処理されるように、バッファされる。イメージが捕捉されるものであることを決定するオペレーション80は、例えば、ページ除去センサについてのポジティブ表示によってトリガされる。これは、捕捉するタイミングを決定する1つの方法にすぎないことが強調されるべきである。他の例示的な実施形態は、捕捉ボタン24が押圧されることの検出、そして、その代わりとして、イメージそれ自体以外に、センサやボタンを必要としない実施形態、を含む。様々なセンサ及びボタン及びイメージの組み合わせもまた使用され得る。図12のオペレーション80が捕捉するときを決定したとき、制御は、イメージの捕捉を、例えば、パーソナルコンピュータ4、ラップトップコンピュータ16、携帯電話17、又はサーバ20のような外部装置に誘導する図12のオペレーション82に移る。代わりに、外部装置又は外部装置に物理的にロードされるリムーバブルメディアの使用を通じてアンロードされるために、捕捉されたイメージは、フラッシュメモリ、のような不揮発性記憶媒体にバッファされる。図12のオペレーション82は、外部装置又はカメラヘッド32に対してイメージの捕捉を実行するが、捕捉されるイメージは、カメラヘッド32によってとられた最も新しいイメージである必要はなく、むしろ、最も新しい安定したイメージであるということに留意すべきである。特定の実施形態において、イメージが安定し、そして、ペンダウンのような様々なセンサが筆記具の出現を検出しないということが要求される。これは、例えば、安定し、かつ、動作が発生していない、筆記具又は他の外来のオフジェクトの部分を含むイメージの不測の捕捉を防止するであろう。特定の実施形態において、最も新しい安定したイメージは、時間帯全体にわたって、様々な前のイメージと一致する。代わりの実施形態において、図12のオペレーション82は、カメラヘッド32から、単に最も新しい利用可能なイメージをとる。この種の捕捉は、ユーザが例えば、コピーボタン24をクリックしたときに、適している。特定の実施形態において、ノートデータ及び関連するメタデータを保護するために暗号化が使用され得る。ある実施形態において、権限を有するサーバ又は適切なプライベートキーを有する他の受け手によって操作されない限り、データが使用できないようにすべく、非対称暗号化アルゴリズムが、データを暗号化するために使用されるであろう。このアプローチは、特注で製造されることなしに、各ノート捕捉装置に対してパブリックキーがつくられることから、容易な製造の有利性を有する。これは、プライベートキーを使用して復号化する、サーバや他の装置に届くまで、データ送信中に、データが理解できなくなることから、データがコンテンツの分配を制御するために集中的に制御されるサービスを可能にする。特定の実施形態において、パブリックキーは、ノート捕捉装置2に対して定期的にアップデートされる。他の暗号化技術が、ノート捕捉装置ごとの独自のキーを可能にする。対称暗号化アルゴリズムもまた考えられる。特定の実施形態において、暗号化は集中的に制御されず、むしろ、ユーザが、個別基準においてユーザのノートのセキュリティを保護するために必要とされるキーをつくり、又は得るということを容易にする。ユーザは、例えば、複数のキーを有し、そして、暗号化及び復号化を手動で又は自動的に実行するためのキーから選択することができる。
図16は、図12の処理に関連するどのイメージが捕捉されるかを決定するためのハイレベルソフトウェアによって使用され得るハイレベル「イメージタイムライン」を達成するために、カメラセンサからのデータを処理する「データ抽象化」技術を採用するための代わりの実施形態を示す図である。当業者によく知られるものとして、データ抽象化は、データセットの変形された「ビュー」を発展させること(カメラヘッドからのイメージストリームのような)を含む。次の変形は、低レベルの機能性を提供するための、より低いレベルの「ビュー」より高いレベルの「ビュー」として発達され得る。
イメージストリームは、特定の実施形態において、より新しい部分の余地をつくるために捨てられる不必要な部分とともに、ページングバッファを循環的に消費する。
多くの組み合わせが当業者に明白になる一方、そのようなデータ抽象化技術の例が図16に示される。最も低いレベルのイメージシーケンス200は、センサから得られる生のイメージを示す。特定の実施形態において、イメージは、カメラ角度がカメラヘッドや手書き面の並置に応じて変化し得ることから、ビューワに対して傾いて現れ得る。変形されたイメージシーケンス220は、イメージシーケンス220が今、直交イメージのシリーズとして見られ得るように、幾何補正を実行する、変形されたイメージシーケンスを提供する。フィルタ処理されたイメージシーケンス240は、例えば、変形されたイメージシーケンス220によって提供され、捨てられるための材料を得る同じ直交イメージを提供し得る。望まれない材料を含むように、イメージを分類するための基準は、特定のアプリケーションに応じて大きく変化するであろう。特定の限定されない例示的な実施形態において、背景色及びインク色以外の色を含むイメージは、望まれないイメージを含むものとして分類されるであろう。インク色の決定は、背景色でない色に対して安定させるピクセルから得られ得る。フレッシュトーンを含むイメージの検出及び排除のような他の方法が、移動中のオブジェクト等の認識を含む多くの方法として可能である。これらの実施形態は例によって与えられ、限定される方法において解釈されるべきではない。イメージタイムライン260は、この例において、タイムインデックスによってアクセス可能なフィルタされたイメージシーケンスのビューを提供する。これは、多くの可能な例にすぎない。イメージタイムラインを使用することで、最も新しい安定したブランクのないイメージが、例えば、ブランクイメージを見分ける上で選択され得る。最も新しい安定したブランクのないイメージは、この限定されない例示的な実施形態において、捕捉するためのイメージとして選択され得る。
図17は、ノート捕捉装置2によって捕捉されたノートと連動して使用されるアプリケーションソフトウェアのオペレーションを示すフローチャートである。このアプリケーションソフトウェアが、例えば、ノート捕捉装置2それ自体と同様に、パーソナルコンピュータ、携帯電話、サーバ、ラップトップを含む様々な装置上で、様々な形式に具体化され得るということに留意すべきである。
オペレーションは、オペレーション280で始まり、オペレーション282に続き、バッファが割り当てられ、そして初期化され、そして、アプリケーション、ユーザインタフェ−ス要素、及び捕捉されたノートを含むデータベース等を表示する、オブジェクトのインスタンスが作成される。その後、オペレーション284において、データベースが、表示されるべきノートについて問い合わせられる。オペレーション286は、その表示に備えてノートの幾何的なレイアウトを行う。その後、オペレーション288において、ノートがユーザに表示される。イベントループオペレーション290は、その後、ユーザの動作に関係するイベント、および図12のオペレーションのような他のオペレーションとの通信を処理するためにイベントループに入る。イベントループ290の完了で、オペレーション292においてオペレーションが終結する。
図18は、図17のイベントループ290の望ましいオペレーションのより顕著な詳細を示すフローチャートである。オペレーションは、オペレーション294において始まり、イベント列内に利用可能なイベントがあるかどうかを決定するオペレーション296に続く。この決定オペレーションは、イベントが利用可能になるまで、実行のカレントスレッドをブロックする割り込み駆動のオペレーションを実行する、条件文としてここに示される。多くの変化した実行は、当業者に明白である。もし、イベントが利用可能であると決定された場合、ハンドルイベントオペレーション298は、イベントを処理する。一旦、イベントが処理されると、制御は、その後、決定オペレーション300に移る。もし、利用可能なイベントがないと決定された場合、制御は、オペレーション300に移る。オペレーション300は、イベントループオペレーション290が完了したかどうかを決定する。例えば、それは、以前に処理されたユーザイベントによって、パワーダウンオペレーションが初期化されたかどうか、又はアプリケーション終了オペレーションが初期化されたかどうか、を決定する。オペレーション300において、イベントループオペレーション290が完了したことが決定された場合、制御は、オペレーションを終結するオペレーション302に移る。もし、他方、決定オペレーション300が、イベントループオペレーション290が完了していないと決定した場合、制御はオペレーションを継続するオペレーション296に移る。
図19は、図18の望ましいハンドルイベントオペレーション298のより顕著な詳細を示すフローチャートである。オペレーションは、オペレーション304で始まり、イベント列からイベントを得るオペレーション306に続く。
その後、決定オペレーション308において、イベントがマウスイベントかどうかの決定がなされる。もし、イベントがマウスイベントであると決定された場合、制御は、現在受信が示されているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション310に移る。これは、一般に、マウスイベントの座標を決定し、それをその座標に位置するGUIオブジェクトに対してディスパッチすることによってなされる。この種のディスパッチは、当業者によく知られている。このイベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及びこのイベントの処理に関係する様々なタスクを実行する他のオブジェクトに対する信号を修正し得る。オペレーション310の完了で、制御は、オペレーション298を終結するオペレーション324に移る。もし、他方で、オペレーション308において、イベントがマウスイベントでないことが決定された場合、制御はその後、オペレーション312に移る。
その後、決定オペレーション312において、イベントが通信イベントであるかどうかに関する決定がなされる。もし、イベントが通信イベントであると決定された場合、制御は、現在受信を示しているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション314に移る。これは、一般に、通信イベントを試験すること、及び、イベントに含まれ、又は通信バッファに関連するアドレス指定情報と同様に、通信の種類に基づいてディスパッチすることによってなされる。この種のディスパッチは、当業者によく知られている。通信イベントの1つの例は、ノート捕捉装置2によって捕捉されたノートを受け取ることである。そのようなイベントを処理するために、ノートが受け取られ、不揮発性記憶装置に集められ、そしてその後、ある例示的な実施形態において、データベースインサートオペレーションが実行される。多くのノートのデータベースの中にそのノートを配置するための手段として、後でテキストが調べられるようにすべく、ノートイメージからテキストが得られるように認証ソフトウェアが選択的に使用され得る。
通信イベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及びこのイベントの処理に関係する様々なサブタスクを実行するための他のオブジェクトに対する信号を修正し得る。加えて、通信イベントの処理は、しばしば、存在している実行のスレッド、特に、手書き認識のような時間を消費するタスクに関して、起動し、通信することを含む。オペレーション314の完了で、制御は、オペレーション298を終結するオペレーション324に移る。もし、他方で、イベントが通信イベントでないと決定された場合、制御は、その後オペレーション316に移される。
その後、決定オペレーション316において、イベントがキーイベントであるかどうかについての決定がなされる。もし、イベントがキーイベントであると決定された場合、制御は、現在、受け取りを辞退しているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション318に移る。これは一般に、GUIオブジェクトが「フォーカス」、最も新しく「クリック」されたオブジェクトに関連する表示、を現在有する決定によってなされる。この種のディスパッチは、当業者によく知られている。このイベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及び、このイベントの処理に関係する様々なタスクを実行するための他のオブジェクトに対する信号を修正し得る。オペレーション318の完了で、制御は、オペレーション298を終結するオペレーション324に移る。もし、他方で、イベントがキーイベントでないと決定された場合には、制御は、その後オペレーション320に移される。
その後、決定オペレーション320において、イベントがもう1つの他のイベントであるかどうかについての決定がなされる。もし、イベントがもう1つのイベントであると決定された場合、制御は、現在、受け取りを示しているオブジェクトインスタンスに対してさらにディスパッチすることによってマウスイベントを処理するオペレーション322に移る。例えば、イベントは、回収されるべきノートを含む周辺の装置への1つのメディアの挿入を含む。様々な組み合わせが当業者に明白である。このイベントの処理において、オブジェクトは、インスタンス変数、バッファ等、及びこのイベントの処理に関係する様々なタスクを実行するための他のオブジェクトに対する信号を修正し得る。オペレーション322の完了で、制御は、オペレーション298を終結するオペレーション324に移る。もし、他方で、イベントがもう1つのイベントでないと決定された場合、制御はその後、オペレーション324に移される。
特定の限定されない例示的な実施形態は、手書き面、手書き面を見るように取り付けられるカメラ、及び前記手書き面のイメージを捕捉する電気回路、又は、例えば、ビジネスカードの面、を含む様々な代わりの面を含むノート捕捉装置を提供する。例えば、その面に関連する傾斜カメラ角度を矯正し得る様々なイメージ変形が考えられる。イメージの画質を高め、又は印、ロゴ等を加えるための他の変形もまた考えられる。他の情報もまた、特定のユーザを特定するようなデータを証明するためのデジタル署名等のようなイメージデータに関連し得る。
図20は、アプリケーションソフトウェアのためのGUIの例示的な実施形態を示す図である。多くの変形された実施形態が可能であり、特定の例示的な実施形態は、アプリケーションソフトウェアに関連する、捕捉されたノートを含むデータベースから得られるサムネイルイメージのリストをスクロールすることを提供する。ノート全体を捕捉すること、又はノートをクリックすることは、例えば、それを「選択」し、そしてそれ故、ユーザに大きく現れ、そして、メタデータの編集を見ることを含む、さらなる相互交流を提供する。様々なメニューの機能が、ノートを他のユーザ又は、オンラインアルバムに送信すること、ノートを調べること、捕捉の時間、位置等に基づいて表示されるノートを仕分けすること、のような特徴を提供する。
図22は、アプリケーションソフトウェアのイメージ&特性の特徴を示す図である。このビューは、手書き認識の結果の特定の実施形態を含む、メタデータを見ること、及び編集することのような、特定のノートを伴う詳細な交流を可能にする。この方式における編集は、限定されない問い合わせ操作、挿入操作、削除操作、及びアップデート操作を含む適切なデータベース交流の結果となる。代わりの実施形態において、データベースの代わりに階層型ファイルシステムが使用されるであろう。
特定の例示的な実施形態は、ノートを書くことの完了の自動検出を提供し、及び検出において、完了されたノートの捕捉を誘導する。特定の実施形態は、ノートを書くことの完了を検出するための様々なセンサを採用する。他の実施形態は、ボタンクリックの使用を通じて、この検出を実行する。さらに他の実施形態は、イメージ解析を通じてこの検出を実行する。これらの実施形態の様々な組み合わせが考えられる。
特定の例示的な実施形態及び組み合わせにおいて、捕捉されたイメージは、内部に保存され、パーソナルコンピュータ、携帯電話、サーバ等の外部装置に電気的に送信される。ノート捕捉装置と外部装置との間の通信のモードは、装置を直接的又は間接的に接続するケーブル、又は、装置を直接的又は間接的に接続するワイヤレス接続を含み得る。通信は、リムーバブルメディアの使用を通じて生じ得る。1つの装置からもう1つの装置にデータを送信する他の一般的に使用される方法もまた考えられる。
特定の実施形態において、様々な送り先に捕捉されたノートを送り、限定されない例によって、SMTP、FTP、SFTP、HTTP、HTTPS、Windows、MacOS、Linax等を含む商業的に利用可能な様々なオペレーティングシステムによって提供されるような、ファイル共有プロトコルを含む様々なプロトコルのような様々な通信モードを導くための、ノート捕捉装置と交流することをユーザに許容するスクリーンが提供される。
様々な操作のモードにおいて、手書き認識ソフトウェアは、全体的に又は部分的に、捕捉されたノートを表示するテキストを作るために使用され得る。そのような認識されたテキストは、ノートに関連するイメージ情報に同行し、又は、前記イメージ情報の代わりに使用され得る。
ノートに関連するイメージ情報は、ストローク情報、圧縮される等に変形されることを含む、様々な方式に変形され得る。
図23は、名刺(ビジネスカード)が捕捉され得る代わりの例示的な実施形態を示す。マウント402がユーザによって手動で返されたときに、景色に対する適切な適合がソフトウェア内でなされる。マウント402は、最終的にこの代わりの捕捉モードを作動させるプロセッサ42によって検出可能な電気信号を含むプリント回路基板38に接続される電気スイッチを含む。このモードにおいて、カードが捕捉され、そして、関連するイメージが変化した景色に従って処理される。
ここで開示される、これらの及び他の実施形態、及び有利性及び他の特徴は、以下の記載の読み込み、及びいくつかの図面の研究で、当業者に明白となるであろう。
様々な例示的な実施形態の特定の特徴は、捕捉されたノート、それらの関係するメタデータ、認識結果等を、ビュー、ブラウズ、シェア、サーチ、及びエディットするアプリケーションソフトウェアを提供する。様々な例示的な実施形態は、ユーザの「デスクトップ」又は様々なアプリケーションウィンドウに関係し得るヒューマンインターフェイスソフトウェアを含む。さらに、アプリケーションソフトウェアが、パーソナルコンピュータ、サーバ、携帯電話、ラップトップコンピュータ、PDA、又はノート捕捉装置それ自体を含む様々な代替の装置上で具体化され得るということが考えられる。
様々な実施形態が、特殊な条件及び装置を用いて記載されたが、そのような記載は、例示的な目的にすぎない。使用される用語は、限定されない記載の用語である。変形及び変化が、特許請求の範囲に記載される本発明の範囲を離れることなく、当業者によってなされ得るということが理解されるべきである。加えて、様々な他の実施形態の特徴が、全体又は部分のどちらかにおいて交換され得るということが理解されるべきである。それ故、特許請求の範囲は、限定あるいは禁反言なしで、本発明の真の精神及び範囲にしたがって解釈されることが意図される。