JPH11338626A - 手書き入力方法、手書き入力システム及び筆記具 - Google Patents
手書き入力方法、手書き入力システム及び筆記具Info
- Publication number
- JPH11338626A JPH11338626A JP36743898A JP36743898A JPH11338626A JP H11338626 A JPH11338626 A JP H11338626A JP 36743898 A JP36743898 A JP 36743898A JP 36743898 A JP36743898 A JP 36743898A JP H11338626 A JPH11338626 A JP H11338626A
- Authority
- JP
- Japan
- Prior art keywords
- handwriting input
- data
- character
- writing
- adjusting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
- G06V30/373—Matching; Classification using a special pattern or subpattern alphabet
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
用感を伴いながら電子的な入力装置として機能する手書
き入力のための方法及び装置を得る。 【解決手段】 ペン先180のような筆記端部の位置を
正確に追跡する。このために、例えば、筆記具10に加
速度センサ122,123,124や角速度センサ12
6,127,128を内蔵させる。これらのセンサ12
2,123,124,126,127,128からの出
力は、ユーラ変換によって処理され、筆記具10の筆運
びが判定される。判定結果は、ユーラ変換が用いられる
ことから正確である。そして、筆の運びを表現するデー
タは、筆記具10によって実際に行われた筆の運びの図
形表現を含む。このようなデータは、格納され、処理さ
れ、情報記録、メッセージのファクシミリ送信、予定の
記録、その他というような様々な処理に役立たせること
が可能である。
Description
を追跡する技術に係り、特に、筆記具の動きを筆記具に
よる筆の運びの図形画像に変換する技術に関する。
入力するための数々の入力装置がある。一般的には、そ
れらの装置、つまり、マウスやタッチセンサ等は、情報
が入力される装置に物理的に接続されている。そして、
そのような入力装置は、ペンや鉛筆のような筆記具で簡
単に情報を入力できるようには構成されていない。これ
に対し、ファクシミリ送信文の作成や予定表への予定記
入のような動作に際しては、ファクシミリ用のメッセー
ジを作成したり予定表に予定を記入したりたりすること
ができる従来の電子的な入力装置を用いるよりも、コン
ピュータ等に物理的に接続されていないような通常のペ
ンや鉛筆でメッセージを作成したり予定を記入したりす
る方がより簡単である。
ての筆記具を得るためには、筆記具の位置を追跡するた
めのシステム及び筆記具によって筆記される文字や記号
を入力情報に変換する処理が必要となる。また、より良
い筆跡追跡システムのためには、より正確なユーザ入力
を受信する必要がある。このようなことから、筆記具の
位置を追跡して筆記具の動きを図形画像に変換し、か
つ、コンピュータや他の装置に対する入力装置として用
いることができる筆跡追跡システムの実現が望まれてい
る。
の筆記具としての使用感を伴いながら電子的な入力装置
として機能する手書き入力のための方法及び装置を得る
ことある。
筆の運びの図形画像を生成する方法及びシステムに関す
る。例えば、筆記具は、複数のセンサを通じてモニタさ
れ、センサからのデータに従いユーラ変換が実行され、
変換データが生成される。そして、変換データは、筆記
具による筆の運びの図形画像にマッピングされる。
筆記具による筆の運びの図形画像を生成する方法であっ
て、複数個のセンサによって筆記具による筆の運びを示
すデータを得る過程と、センサからのデータについてユ
ーラ変換を実行して変換データを生成する過程と、変換
データを筆の運びの図形画像にマッピングする過程とを
備える。
通常の筆記具として使用すると、その筆の運びがセンサ
で検出されて電子的なデータとして利用される。この場
合、センサから得られたデータはユーラ変換されるため
に、筆の運びが高精度に電子的なデータに変換される。
書き入力方法において、変換データを調節し、筆記面の
傾きを補正する過程を備える。
る。
書き入力方法において、変換データを調節し、筆記具の
先端部からセンサの物理的変位を補正する過程を備え
る。
る。
書き入力方法において、物理的変位は、3次元変位であ
る。
書き入力方法において、センサからのデータは、加速デ
ータ及び移動データである。
書き入力方法において、ビットマップとして図形画像を
格納する過程を備える。
書き入力方法において、変換データを調節し、ノイズを
補正する過程を備える。
る。
書き入力方法において、変換データを調節する過程は、
筆記具により筆記されたキャラクタが確率テーブルにお
ける複数の第1のキャラクタテンプレートに一致する確
率を判定する過程と、複数の第1のキャラクタの部分集
合である複数の第2のキャラクタテンプレートを選択す
る過程と、第2のテンプレートのうち最も確率が高い1
つのテンプレートを選択する過程と、筆記具によって筆
記されたキャラクタと選択されたテンプレートとの間の
相違に基づいて変換データを調節する過程とを備える。
得られる。
書き入力方法において、変換データを調節する過程は、
予め決められたパターンに沿ってトレースされる筆記具
の先端部に対応するセンサデータを受信する過程と、セ
ンサデータを予め決められたパターンの既知の輪郭と比
較する過程と、センサデータと既知パターンとの間の相
違に基づいて変換データを調節する過程とを備える。
得られる。
手書き入力方法において、変換データを調節する過程
は、変換データについてパターン認識を実行する過程
と、パターン認識の結果に基づいて変換データを調節す
る過程とを備える。
得られる。
の手書き入力方法において、パターン認識を実行する過
程は、隠れマロコフモデルを利用する。
の手書き入力方法において、パターン認識を実行する過
程は、ニューラルネットワークを利用する。
手書き入力方法において、変換データを調節する過程
は、変換データについて静的分析を実行する過程と、静
的分析の結果に基づいて変換データを調節する過程とを
備える。
の手書き入力方法において、静的分析を実行する過程
は、筆記具による先行する筆の運びを分析する過程と、
予想される後続する筆の運びの組合せを判定する過程
と、後続する現実の筆の運びを予想された後続する筆の
運びと比較する過程と、後続する現実の筆の運びに対応
する予想された後続する筆の運びの組合せの一つを判定
する過程と、後続する現実の筆の運びとこれに対応する
予想された後続する筆の運びとの間の相違に基づいて変
換データを調節する過程とを備える。
の手書き入力方法において、静的分析を実行する過程
は、筆記具によって筆記された先行するキャラクタを分
析する過程と、後続する実際に筆記されたキャラクタを
予想される後続するキャラクタの組合せと比較する過程
と、後続する実際に筆記されたキャラクタに対応する予
想された後続するキャラクタの組合せの一つを判定する
過程と、後続する現実のキャラクタと対応する予想され
た後続するキャラクタとの間の相違に基づいて変換デー
タを調節する過程とを備える。
手書き入力方法において、筆記具が内蔵するセンサを校
正する過程を備える。
る。
の手書き入力方法において、センサを校正する過程は、
筆記具の予め決められた複数位置の各々で、センサの読
み取り結果を得る過程と、予め決められた複数位置での
センサの読み取り結果に基づいて、センサ出力のマッピ
ングを筆記具位置に生成する過程とを備える。
明は、筆記具による筆の運びを図形画像にマッピングす
るシステムであって、筆記具と、筆記具の位置をモニタ
する複数個のセンサと、複数個のセンサからの出力につ
いてユーラ変換を実行して変換データを得る手段と、出
力装置とを備える。
通常の筆記具として使用すると、その筆の運びがセンサ
で検出されて電子的なデータとして利用される。
の手書き入力システムにおいて、ユーラ変換を実行する
手段は、ユーラ変換を実行する回路を備える。
ユーラ変換されるために、筆の運びが高精度に電子的な
データに変換される。
の手書き入力システムにおいて、ユーラ変換を実行する
手段は、プロセッサと、プロセッサに接続され、命令シ
ーケンスを格納するメモリとを備え、命令シーケンスの
実行時、プロセッサはユーラ変換を実行する。
の手書き入力システムにおいて、複数個のセンサは、第
1、第2及び第3の加速度計と、第1、第2及び第3の
ジャイロスコープとを備える。
の手書き入力システムにおいて、加速度計の出力につい
て、その結果が位置データとなる二重積分を実行する手
段を備える。
の手書き入力システムにおいて、変換データを調節する
手段を備える。
の手書き入力システムにおいて、変換データを調節する
手段は、変換データを調節して筆記具が用いられる筆記
面の角度を補正する。
の手書き入力システムにおいて、変換データを調節する
手段は、複数の第1のキャラクタテンプレートを備える
確率テーブルを設ける手段と、筆記具により筆記された
キャラクタが、第1のキャラクタテンプレートの部分集
合である複数の第2のキャラクタテンプレートにおる各
々のキャラクタテンプレートに対応する確率を判定する
手段と、最も高い確率のキャラクタテンプレートを選択
する手段と、筆記具により筆記されたキャラクタと選択
されたキャラクタとの間の相違に基づいて変換データを
調節する手段とを備える。
の手書き入力システムにおいて、変換データを調節する
手段は、予め決められたパターンに沿ってトレースされ
る筆記具の先端部に対応するセンサデータを受信する手
段と、センサデータを予め決められた既知パターンの輪
郭と比較する手段と、センサデータと既知パターンとの
間の相違に基づいて変換データを調節する手段とを備え
る。
の手書き入力システムにおいて、変換データを調節する
手段は、変換データについてパターン認識を実行する手
段と、パターン認識の結果に基づいて変換データを調節
する手段とを備える。
の手書き入力システムにおいて、パターン認識を実行す
る手段は、隠れマロコフモデルを利用する。
の手書き入力システムにおいて、パターン認識を実行す
る手段は、ニューラルネットワークを利用する。
の手書き入力システムにおいて、変換データを調節する
手段は、変換データについて静的分析を実行する手段
と、静的分析の結果に基づいて変換データを調節する手
段とを備える。
の手書き入力システムにおいて、静的分析を実行する手
段は、筆記具によって筆記された先行する筆の運びを分
析する手段と、予想される後続する筆の運びの組合せを
判定する手段と、後続する現実の筆の運びを予想された
後続する筆の運びと比較する手段と、後続する現実の筆
の運びに対応する予想された後続する筆の運びの組合せ
の一つを判定する手段と、後続する現実の筆の運びとこ
れに対応する予想された後続する筆の運びとの間の相違
に基づいて変換データを調節する手段とを備える。
の手書き入力システムにおいて、静的分析を実行する手
段は、筆記具によって筆記された先行するキャラクタを
分析する手段と、予想される後続するキャラクタの組合
せを判定する手段は、後続する現実のキャラクタを予想
された後続するキャラクタと比較する手段と、現実の後
続するキャラクタに対応する予想される後続するキャラ
クタの組合せの一つを判定する手段と、現実の後続する
キャラクタとこれに対応する予想された後続するキャラ
クタとの間の相違に基づいて変換データを調節する手段
とを備える。
の手書き入力システムにおいて、筆記具が内蔵するセン
サを校正する手段を備える。
の手書き入力システムにおいて、センサを調節する手段
は、複数の予め決められた位置で筆記具でのセンサ出力
を読み込む手段と、複数の予め決められた位置で、セン
サ出力と筆記具で操作する既知の力との間の多項の一致
を判定する手段とを備える。
明は、筆記具による筆の運びを図形画像にマッピングす
るシステムであって、筆記具と、筆記具の位置をモニタ
し、筆記具の位置に対応するデータを生成する複数個の
センサと、筆記具と別個独立に設けられ、筆記具の位置
に対応するデータを処理し、筆記具による筆の運びの図
形画像を生成する筆跡装置とを備える。
通常の筆記具として使用すると、その筆の運びがセンサ
で検出されて電子的なデータとして利用される。
の手書き入力システムにおいて、複数個のセンサは筆記
具に内蔵されている。
の手書き入力システムにおいて、複数個のセンサは、第
1の加速度計と第2の加速度計と第3の加速度計とを備
える請求項35記載の手書き入力システム。
の手書き入力システムにおいて、加速度計は、それぞれ
の加速度計によって検出される加速度に応じた電圧レベ
ルを出力する。
の手書き入力システムにおいて、複数個のセンサは、第
1のジャイロスコープと第2のジャイロスコープと第3
のジャイロスコープとを備える。
の手書き入力システムにおいて、それぞれのジャイロス
コープによって検出される角速度に応じた電圧レベルを
出力する。
の手書き入力システムにおいて、筆跡装置は、筆記具に
位置に応じたデータを受信する受信器と、受信器に接続
され、データを処理して図形画像を生成するプロセッサ
と、プロセッサに接続され、データ及び図形画像を格納
するメモリとを備える。
の手書き入力システムにおいて、プロセッサは、データ
についてユーラ変換を実行する。
の手書き入力システムにおいて、プロセッサに接続さ
れ、ユーラ変換を実行する回路を備える。
ェルと、検出する加速度に応じた電圧レベルを出力する
複数個の加速度計と、加速度計に接続され、加速度計の
出力電圧を表すデータを伝送する伝送器とを備える。
通常の筆記具として使用すると、その筆の運びがセンサ
で検出されて電子的なデータとして利用される。
の筆記具において、検出したリニアな加速度に応じた電
圧レベルを出力する複数個のジャイロスコープを備え、
伝送器は、複数個のジャイロスコープに接続され、ジャ
イロスコープによって出力される電圧レベルに応じたデ
ータを伝送する。
の筆記具において、加速度計とジャイロスコープと伝送
器とに接続された複数個のアナログデジタル変換器を備
え、アナログデジタル変換器は加速度計及びジャイロス
コープの出力電圧を伝送器によって伝送されるデジタル
データに変換する。
いて説明する。本実施の形態は、筆記具による筆の運び
を図形画像に変換する方法及び装置に関する。以下の記
述においては、本発明の理解のために本発明を説明する
という目的で、数々の特定の細部が規定されていく。し
かし、当業者にとっては、そのような特定の細部の説明
なしに、本発明を実施することができるはずである。例
えば、良く知られた構造や装置がブロック図等の手法で
示される。これは、本発明を曖昧にすることを避けるた
めである。
トマップのような図形形式で記録される筆の運びを提供
する。そのような装置は、各種の応用において有用なも
のとなる。例えば、ユーザは、本発明の筆記具を用い、
予定表や他の時間管理用手帳に予定を書き込むことがで
きる。この際、筆記具の筆の運びは、電子的な予定表等
に記録される。このような装置は、"MANUAL ENTRY INTE
RACTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND
PROCESSING SYSTEM"と題して1995年11月1日に
米国特許商標局に提出した出願番号08/551,53
5に記述されている。この出願は、本出願の譲渡人と同
一の譲渡人に譲渡されている。
そのメッセージをファクシミリや電子メールによって宛
先に送ることができる。したがって、ユーザは、メッセ
ージをその宛先に送信するに際し、ファクシミリ装置や
コンピュータ端末の設置位置まで出向き、それらの装置
を操作するような必要がない。ペン型ファクシミリ装置
は、"METHOD AND APPARATUS FOR PEN-BASED FAXING"と
題して1997年9月30日に米国特許商標局に提出し
た出願番号08/940,832に記述されている。こ
の出願は、本出願の譲渡人と同一の譲渡人に譲渡されて
いる。
び装置は、ワイヤレスカーソル制御装置のようなポイン
ティング装置に用いられている。ワイヤレスカーソル制
御装置は、より完全には、"DIRECT POINTING APPARATUS
FOR DIGITAL DISPLAY"と題して1997年4月18日
に米国特許商標局に提出した出願番号08/840,5
52に記述されている。この出願は、本出願の譲渡人と
同一の譲渡人に譲渡されている。
りわけ、ペン先のような筆記端部を追跡する方法及び装
置が提供される。ここで述べられる本発明の実施の一態
様は、3つの加速度センサ(加速度計)及び3つの角速
度センサ(ジャイロスコープ)を備える。センサの出力
電圧レベルは、ユーラ変換を介してサンプルされて処理
され、筆記具による筆の運びを描写する。以下において
は、ユーラ変換出力を改善するための補正方法も開示す
る。
のファクシミリ送信、予定の記録、他の類似の仕事のよ
うな各種の仕事を完遂するために、格納されて処理され
る。筆の運びのデータは、光学的なキャラクタ認識装置
(OCR)を用いて格納されたキャラクタやテンプレー
トを当てはめるような構成ではなく、現実に筆記具によ
ってなされた筆の運びの図形表現によって構成される。 〔筆記具〕複合センサを有する本発明の筆記具の一態様
について説明する。この筆記具は、物理的に筆記できる
ことが要求されるわけではない。そして、筆記面として
タブレットのようなものを用いることなく、通常の用紙
を筆記面として用いることができる。換言すると、筆跡
を認識することができるようなパッドは不要であり、筆
記位置が追跡されるような書く動作をユーザに許容する
何らかの装置を用いることができる。加えて、ユーザが
行なう現実の筆の運びが追跡されて処理されるという構
造上、ユーザの手書き品質が重要視される。
例を示す。筆記具10の下部には、インク供給部110
及びペン先180が設けられている。上述したように、
筆記具10は、筆記面190のような面に現実に筆記で
きるような構成である必要はない。したがって、インク
供給部110は、ペンタイプの筆記器具が求められる場
合にのみ備えられていれば良い。筆記面190には、無
地の紙片や、特別の書式をもった用紙や、その他の種類
の筆記面を用いることができる。
0、バッテリ130、送受信器140及びディスプレイ
150が設けられている。ディスプレイ150には、L
ED(light emitting diode)やLCD(liquid cryst
al display)が用いられている。追跡センサ120は、
3つの加速度計122,123,124及び3つのジャ
イロスコープ126,127,128によって構成され
ている。もっとも、センサの数やタイプについては、期
待する正確性及び筆記具10が用いられる環境等に従い
適宜選択することができる。一例として、追跡センサ1
20は、位置追跡システムの固定フレームにおける3次
元(つまり、x,y,z)上で移動及び加速度に関する
データを提供する。
3,124は、筆記具が筆記面190に接触している場
合の判定に用いられる。一例としては、ペン先180が
筆記面に接触している場合の筆の運びだけが処理され
る。勿論、空中での筆記をユーザに許容するような他の
態様も実施可能である。この場合、ペン先180が筆記
面に接触している場合の筆の運びだけを選択するのと同
様の処理としては、ユーザによる筆記具10でのボタン
の押下やスイッチのオンオフ動作のような手法を用いる
ことができる。
受信器140、ディスプレイ150及び給電が要求され
る筆記具10の他の構成要素に対して電力を供給する。
送受信器140は、追跡センサ120からのデータ及び
他のデータを遠隔コンピュータ装置175に送信する。
送受信器140は、また、遠隔コンピュータ装置175
からデータを受信する。ディスプレイ150は、ユーザ
にフィードバックを提供する。そして、遠隔コンピュー
タ装置175としては、パーソナルコンピュータやファ
クシミリ装置、あるいは他のコンピュータ装置を用いる
ことができる。
筆記面190にメッセージを筆記する。ペン先180及
びインク供給部110は、ユーザに対し、紙片上に筆記
をするかのような状態でのメッセージの筆記を許容す
る。但し、上述したように、筆記面190上でメッセー
ジを記録することは必ずしも必要ではないが、そのよう
にした場合には、ユーザの記録のためにメッセージのコ
ピーを残すことができる。
センサ120は、メッセージを記録するためになされた
筆の運びをモニタする。この場合の筆の運びは、メッセ
ージを記録するためになされた一連の筆の運びである。
追跡センサ120からのデータは、送受信器140を介
して遠隔コンピュータ装置175に送信される。あるい
は、追跡センサ120からのデータは、筆記具10に格
納されて処理されても良い。
ンサ120からの追跡データは、記録されて処理され
る。一例として、追跡センサ120によって出力された
筆の運びのデータは、所定の電圧である。加速度計12
2,123,124では、その出力電圧は、筆記具10
の移動フレームにおいて3つの各方向(つまり、x,
y,z)で測定された加速度に比例する。筆記具10が
静止状態である場合、それらの加速度は、重力(−9.
81m/sec2 )の力によってなり立つ。ジャイロス
コープ126,127,128では、その出力電圧は、
筆記具10の移動フレームにおいて3つの各方向(つま
り、x,y,z)での筆記具10の角速度に比例する。
イロスコープ126,127,128のそれぞれという
3つのセンサによって生成される電圧レベルは、筆記具
10の位置に対してデータをマッピングする遠隔コンピ
ュータ装置175に送信される。電圧レベルの送信は、
アナログデジタル変換器を用いてセンサ出力の電圧レベ
ルをサンプリングし、送受信器140を介して遠隔コン
ピュータ装置175にデジタル情報を送信することによ
って完遂する。遠隔コンピュータ装置175は、センサ
によって出力された電圧レベルを表すデジタル情報を受
信し、筆記具10の位置を判定する。
ち、筆記具10を既知の位置に配置してセンサの読み取
りを行なうことにより、追跡システムの校正が実行され
る。既知位置でのセンサの読み取りは、既知位置を規定
するために利用される。遠隔コンピュータ装置175
は、予め決められた位置でのセンサ出力に基づく書き換
えによって、他のセンサ出力を筆記具の位置にマッピン
グする。書き換えは、多項式近似値や他の変換によって
実行される。なお、追跡システムの校正については、以
下に詳述する。
信した電圧レベル情報は、筆記具10の位置にマッピン
グされる。筆記具10の位置を判定することによって、
遠隔コンピュータ装置175は、筆記具10による筆の
運びを判断する。筆の運びの図形描写は、図形表示、フ
ァクシミリメッセージ及び他の目的のために生成されて
出力される。
サシステムの別の構造としては、"MANUAL ENTRY INTERA
CTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND P
ROCESSING SYSTEM"と題して1995年11月1日に米
国特許商標局に提出した出願番号08/551,535
に記述されている。この出願は、本出願の譲渡人と同一
の譲渡人に譲渡されている。 〔筆記位置の追跡〕図2は、筆記面に対する筆記具の筆
記状態を示す斜視図である。図3は、ディスプレイを備
えた筆記具追跡システムの一例を示すブロック図であ
る。筆記具10は、筆記面190上でメッセージを筆記
したり他の入力を行なうように用いられる。一例とし
て、筆記具10におけるセンサからのデータは、遠隔コ
ンピュータ装置175に送信される。遠隔コンピュータ
装置175は、筆記具10から受信したデータを処理
し、筆記具10による筆の運びの図形画像を生成する。
図形画像には、例えば、筆記具10による筆の運びを示
すビットマップデータや他の図形表現データを用いるこ
とができる。図形画像は、ディスプレイ220上に表示
される。あるいは、図形画像をファクシミリ装置のよう
な別の装置に通信しても良い。
は、ユーラ変換を介して成し遂げられる。一般的に、ユ
ーラ変換は、追跡センサ120の出力を、筆記具10を
用いたユーザによってなされる筆の運びを規定するデー
タに変換する。ユーラ変換は、一連の3つのフレームの
回転であり、球状(固定)フレームのz軸回りのψラジ
アン回転で始まり、フレーム1を生成する。フレーム1
は、フレーム1のy軸回りにθラジアンで回転されてフ
レーム2を生成する。フレーム2は、フレーム2のx軸
回りをφラジアンで回転して筆記具フレームに到達す
る。一例として、フレームの回転は、上述したように実
行されるが、例えば、フレームに高精度が望まれている
ような場合には、異なるオーダで実行されても良い。
軸との間の角度としてθを解釈することは誤りであるこ
とに留意することが重要である。適切な解釈として、θ
は、z軸(フレーム1)回りに回転した後の球状フレー
ムのy軸と、x軸(フレーム2)回りに回転する前の筆
記具フレームのy軸との間の角度である。
を、既知位置からの加速度及び速度に基づいて位置デー
タに変換するために用いられる。ユーラ変換は、通常、
航空ナビゲーションの分野において用いられる。もっと
も、ナビゲーションのために用いた場合、ユーラ変換
は、筆記具の筆跡追跡のために要求される精度を持って
計算されない。
記具10による筆の運びを再生成するために、遠隔コン
ピュータ装置175によって加速度は2度積分され、ス
タート位置に関連して距離が判定される。以下に述べる
計算と同様に、積分は、ハードウエアとソフトウエアと
のいずれにおいてなされても良い。あるいは、そのよう
な計算は、筆記具10においてそのハードウエア又はソ
フトウエアによって実行されても良い。筆記具10にお
けるジャイロスコープ126,127,128は、筆記
具10が移動することにより筆記具10の回転角によっ
て引き起こされる加速度を補正するために用いられる出
力を提供する。
れる。
れている。筆記具フレームは、継続的に移動し、センサ
出力は、球状フレームにマッピングされる。センサ出力
は、各タイムステップにおいてマッピングされる。タイ
ムステップは、望む分解能によって定まる。このタイム
ステップとしては、例えば、0.25秒程度である。
0に加速度計122,123,124が位置していると
いう仮定の下で正確性を保つ。しかしながら、一例とし
て、加速度計122,123,124は、筆記具10の
上部に配置されている。このため、筆記具10のペン先
180から各加速度計122,123,124の3次元
の置き換えを考慮することによって、補正がなされる。
そのような加速度計(122,123,124)を想定
すると、それらの置き換えは、x軸加速度計の3次元配
置として、
速度計の配置に従い異なる。加速度計(122,12
3,124)の3次元の置き換えを考慮に入れると、ユ
ーラ変換は、
る。
3,124が読み取った平均のx軸、y軸及びz軸であ
る。不動の加速度計122,123,124では、加速
度計122,123,124が読み取ったx軸、y軸及
びz軸の合計は、重力(−9.81m/sec2 )の力
と略等しい。これは、僅かだが高度に依存する。
完全に垂直である筆記具10を想定している。この場
合、z軸加速度計(122,123,124)の読み取
りは、重力(−9.81m/sec2 )と等しく、x軸
及びy軸の加速度計(122,123,124)は、0
m/s2 を読み取る。z軸回りの回転は、加速度計(1
22,123,124)における同一の読み取り結果を
招来する。勿論、完全に垂直な初期位置からの偏差、例
えば、筆記面190に対する角度のために、修正を行な
うことができる。
6,127,128の出力であると想定する。x軸、y
軸及びz軸回りにおけるφ,θ及びψは、次のように更
新される。
隔である場合、φ,θ及びψは、次のように更新され
る。
積分することによって得られる。
る補正を想定していない。しかしながら、筆記具10で
文字などのキャラクタを筆記した場合の小さな動きやノ
イズを原因として、筆跡追跡システムは、ユーザによっ
て筆記された筆の運びとは異なる筆の運びの出力がもた
らされ、これが判読不能なキャラクタを生じさせる。し
たがって、本発明の実施の態様として、ユーラ変換に関
する上述しない追加の処理が実行される。追加の処理
は、筆記具10による筆の運びの表現として表示される
図形画像の精度を改善する。勿論、以下に示す一つ以上
の補正を一つの実施の態様に用いても良い。 〔ユーラ変換出力の補正〕実施の一態様として、本発明
の筆跡追跡システムは、ユーラ変換によって生成される
位置データに対して補正を加える。補正が行なわれた場
合、ユーラ変換からの出力データは校正され、これによ
って、出力は、筆記具10で筆記したキャラクタをより
精密に表現することになる。ユーザは、筆記面190上
に筆記具10でメッセージを筆記する。追跡センサ12
0の出力は、ユーラ変換や以下に述べる一又は二以上の
補正を介して遠隔コンピュータ装置175により処理さ
れる。出力は、ディスプレイ220に表示される。ある
いは、出力は、ファクシミリ送信されたり遠隔的にユー
ザや装置に通信されたりする。 〔確率テーブル〕ユーラ変換出力に対する補正の一つと
して、筆記具10による筆の運びを表現する画像の正確
性を改善するための確率テーブルを用いる。筆記される
各キャラクタのためのテンプレートや、予想されるキャ
ラクタ(例えば、最も共通するキャラクタや、他のキャ
ラクタと最も混乱しそうなキャラクタ)の部分集合が格
納されている。ユーザによってキャラクタが筆記された
場合、その筆記されたキャラクタはテーブル中のキャラ
クタと比較される。その結果、二つのキャラクタがマッ
チする可能性が所定の閾値を超えた場合、ユーラパラメ
ータに対して補正がなされる。複数のキャラクタが所定
の閾値を超える可能性がある場合には、最も可能性が高
いキャラクタが選択される。
れるキャラクタを示す模式図である。図5は、ユーラ変
換出力に対して補正を行なうための確率テーブルを示す
模式図である。ここで、確率テーブル320からのテン
プレートは、筆記具10で筆記されたキャラクタを置き
換えないために、予測デーブル320はOCRを備えな
い。その代わりに、確率テーブルは、ユーザによって筆
記されたキャラクタをより正確に再現するために、ユー
ラ変換を補正する静的な方法を提供する。例えば、キャ
ラクタの水平又は垂直位置のためにマルチプライアが用
いられ、これによって、キャラクタを上下左右に伸ば
し、あるいは水平又は垂直にシフトし、ユーザによって
筆記されたキャラクタをより正確に再現することができ
る。水平又は垂直シフトのようなより簡単な補正のため
には、補正は、ユーラ変換の出力によってなされる。こ
れに対し、より複雑な補正のためには、マルチプライア
は一又は二以上のユーラ変換の項を適用することができ
る。
いユーザによって現実に筆記されたキャラクタである。
この場合のキャラクタは、「6」という数字である。出
力キャラクタ310は、筆記具10による筆記を追跡す
るためにユーラ変換だけを用いた追跡システムの出力で
ある。出力キャラクタ310は、「6」に似ているが、
「0」やその他のキャラクタにも似ている。
納されている一つのキャラクタとなることを出力キャラ
クタ310が意図している確率を含んでいる。単純に
は、図5に例示する確率テーブルには0から9までの数
字だけが示されているが、テンプレートとして他の数字
やその組合せが用いられていても良い。
対し、特別の入力キャラクタ300がテンプレートに対
応するキャラクタとなることを意図している確率を格納
している。一例として、確率は、スクエア(マンハッタ
ン)・ディスタンス・フィットによって判定される。勿
論、他の方法によって判定されても良い。いくつかのキ
ャラクタにおいては、入力キャラクタ300がそのキャ
ラクタとなることを意図する確率は、それらの特定の意
図するキャラクタが無視されるのに充分な程低くなる。
図5に例示する確率テーブル320では、「2」及び
「5」のテンプレートがそのようなキャラクタである。
換言すると、入力キャラクタ300がそのキャラクタと
なることを意図している確率は、予め決められた所定の
基準値以上でなければならない。一例として、0.50
以下の確率となるテンプレートは無視される。実際の確
率閾値は、手入力作業、候補カテゴリの数及びキャラク
タにおける臨時ひずみのためのユーザの許容度等に依存
する。
最も確率が高いテンプレートが選択される。選択された
テンプレートによって表現されるキャラクタのフォーム
は、ユーラ変換パラメータに修正され、これによって、
出力キャラクタ310及び後続の出力キャラクタは入力
キャラクタ300及び後続のキャラクタにそれぞれ近似
する。閾値を超える確率のキャラクタがない場合、出力
キャラクタ310が用いられ、ユーラ変換の出力に対し
て補正はなされない。
オフセット補正である。これにより、他のセンサ出力に
関してy軸出力が高すぎるというような判定がなされ
る。この場合、より正確な出力キャラクタを付与するた
めに、オフセットがy軸出力から減ぜられる。補正は、
テンプレートと出力パターンとの間の距離の2乗に基づ
いて行なわれる。勿論、角度補正や回転補正等のような
他の種類の補正方法を用いても良いことは言うまでもな
い。 〔オフセット補正〕簡単な出力補正は、筆記具10で予
め定義されたパターンを周期的にユーザにトレースさせ
ることによって提供される。例えば、ユーザは校正ボッ
クスをトレースし、これにより得られたセンサ出力を予
め分かっているボックスの寸法と比較し、ユーラ変換出
力が適用される標準補正を判定するようにしても良い。
る校正ボックス及び結果出力である。校正ボックス40
0は、寸法及び形状が予め知られているボックスであ
る。もっとも、校正ボックス400としては、ボックス
形状である必要はなく、予め決められた寸法及び形状を
持つ図形であればどのようなものでも良い。校正ボック
ス400は、紙片や他の面に設けられていても良く、ま
た、筆記具10の入れ物に設けられていても良い。
ムからの出力である。出力ボックス410を校正ボック
ス400の既知寸法と比較することにより、後続する出
力に適用されるオフセット補正がなされる。図6に基づ
いて説明する基本的なオフセット補正は、図4及び図5
に基づいて既に述べた確率テーブル程効果的ではない
が、基本的なオフセット補正は、基本的なユーラ変換追
跡を改善する。
ス410を示す。一例として、補正係数は、x軸(つま
り、水平方向)とy軸(つまり、垂直方向)とにおける
それぞれのオフセットである。補正係数は、全ての筆の
運びのデータに適用され、これによって、筆の運びの出
力は、垂直方向又は水平方向の一定の乗数によって置き
かえられる。水平方向及び垂直方向の双方にオフセット
が設けられていても、それらのオフセットは同一のサイ
ズである必要はない。
セットΔyを備え、これによって、出力ボックス410
の水平方向の上部ライン及び下部ラインは、図7には図
示しない校正ボックス400の水平方向の上部ライン及
び下部ラインに揃うように並べられる。同様に、出力ボ
ックス410は水平オフセットΔxを有し、これによっ
て、出力ボックス410の垂直方向のサイドラインは、
校正ボックス400の垂直方向のサイドラインに揃うよ
うに並べられる。 〔パターン予測〕筆記具追跡システムは、ユーザの筆記
スタイルを「学習」することもできる。ユーザがどのよ
うに筆を運んで特定のキャラクタを筆記するかを学習す
ることによって、システムは、ペン先180がどの位置
にあるべきかを予測することができる。これにより、生
成された出力に対する補正を行なうことができ、ユーザ
による筆の運びの再現をより正確に行なうことができる
ようになる。
ば10分の1秒とか2分の1秒というような所定時間だ
け先行する筆記を分析する。筆記具10が直前にどこ位
置していたかを分析することにより、システムは、筆記
具10が現在どこに位置して将来どこに位置するかを判
定することができるようになる。このような予測に基づ
く補正は、ユーラ変換のパラメータを修正するために用
いられる。例えば、筆記具追跡システムは、ユーザが
「p」というキャラクタを筆記する場合にそのキャラク
タの底部から書き始め、筆記具10を持ち上げることな
く一筆でそのキャラクタを完成させるとすると、この場
合の筆の運びは「ρ」というキャラクタを筆記する場合
の筆の運びに似ている、というようなことを学習する。
筆記具追跡システムは、このような情報を、出力キャラ
クタが他のどのキャラクタよりも「p」に近似している
と判定するために用いる。 〔静的補正〕英語や他の言語において、全ての予測され
るキャラクタの所定の部分集合だけが特定のキャラクタ
の後に続くことができ、後続するキャラクタは、キャラ
クタの適当な部分集合に対して比較することができる。
したがって、ユーラ変換の出力に対する補正を実行する
ために静的分析を用いることができる。
とによってなされる。上述したキャラクタでは、文字・
数字のキャラクタを作成するために、所定の筆の運びだ
けが特定の筆の運びの後に続くことができる。例えば、
キャラクタにおける最初の筆の運びが垂直のラインであ
る場合、垂直ラインを含むキャラクタの部分集合の一つ
だけが意図されていることになる。したがって、追跡シ
ステムは、垂直ラインを含むキャラクタの部分集合に含
まれている筆の運びのうちの一つを予測することにな
る。そして、予測した筆の運びの組合せに対する後続す
る筆の運びの比較に基づいて補正がなされる。
ルと共に用いられる。入力又は出力キャラクタが比較さ
れるテンプレートは、各特定のキャラクタが最新に筆記
されたキャラクタの後に続く確率に基づいて選択するこ
とができる。 〔隠れマロコフモデル〕隠れマロコフモデルは、ユーラ
変換の出力に対する補正のために用いられる。隠れマロ
コフモデルは、パターン認識の分野において周知であ
る。 〔ニューラルネットワーク〕ユーザの筆記スタイルや筆
記技術を学習するために、ニューラルネットワークを用
いることができる。ニューラルネットワークにより判定
される情報は、ユーラ変換の出力に対する補正のために
用いられる。筆記具10が複数ユーザに用いられるとす
ると、ニューラルネットワークについて各ユーザを区別
するために、筆記具10はユーザを区別するための構造
を備える。これは、例えば、スイッチやボタンによって
構成される。あるいは、ユーザがその者の氏名やID番
号等を筆記することで、システムが適当なユーザを使用
中のユーザとして認識するような構成であっても良い。
よって提供される基本的な追跡に適用される。これらの
改善は、ユーラ変換と同様に、ハードウエア上又はソフ
トウエア上のいずれで実行されても良い。 〔センサ校正〕筆記具は、温度条件の相違や標高の相違
等、センサ出力に影響を及ぼす異なる環境において用い
られることがあるため、本発明の実施の一形態として、
センサ校正が行なわれる。センサ校正は、センサを既知
の加速度構成を伴う既知の環境にセンサを置き、そのよ
うな組合せの多項の適合(電圧、加速度)を用いること
によってなされる。例えば、x軸加速度計のような加速
度計の一つが重力方向に対して垂直である場合、加速度
計の出力は−9.81m/sec2 に対応し、他の二つ
の加速度計は0m/sec2 を読み出す。そして、筆記
具10が90度回転すると、x軸加速度計は0m/se
c2 を読み出す。
得る2つの点はラインに適合し、これによって、新たな
電圧は加速度に書き換えられる。高いオーダの適合性が
求められるのであれば、より多くの読み取りがなされ
る。加えて、筆記面190の傾きに応じた調整がなされ
る。筆記具10の校正については、"CALIBRATION OF AS
YSTEM FOR TRACKING A WRITING INSTRUMENT WITH MULTI
PLE SENSORS"と題して米国特許商標局に提出された特許
出願に記述されている。この出願は、本出願の譲渡人と
同一の譲渡人に譲渡されている。
る基本的な追跡を改善する。ここで述べられているいか
なる追跡、補正又は校正の方法も、所望の追跡精度を出
すために、単独であるいは組み合わせて用いることがで
きる。
述べられた。しかし、本発明の範囲内での各種の変更や
修正が許容されることは言うまでもない。
通常の筆記具として使用すると、その筆の運びをセンサ
で検出して電子的なデータとして利用することができ
る。この場合、センサから得られたデータをユーラ変換
すれば、筆の運びを高精度に電子的なデータに変換する
ことができる。また、センサを校正したり変換データを
調節したりすることで、変換結果の精度をより向上させ
ることができる。
及びコンピュータ装置を示す模式図である。
である。
置をディスプレイと共に示すブロック図である。
る。
ーブルを例示する模式図である。
及び結果出力の一例を示す模式図である。
図である。
センサ(加速度計,ジャイロスコープ) 140 伝送器(送受信器) 175 出力装置,筆跡装置(コンピュータ装置) 180 筆記具の先端部(ペン先) 190 筆記面 320 確率テーブル 400 予め決められたパターン,既知パターン
(校正ボックス)
Claims (46)
- 【請求項1】 筆記具による筆の運びの図形画像を生成
する方法であって、 複数個のセンサによって前記筆記具による筆の運びを示
すデータを得る過程と、 前記センサからのデータについてユーラ変換を実行して
変換データを生成する過程と、 前記変換データを筆の運びの図形画像にマッピングする
過程と、を備える手書き入力方法。 - 【請求項2】 前記変換データを調節し、筆記面の傾き
を補正する過程を備える請求項1記載の手書き入力方
法。 - 【請求項3】 前記変換データを調節し、前記筆記具の
先端部から前記センサの物理的変位を補正する過程を備
える請求項1記載の手書き入力方法。 - 【請求項4】 前記物理的変位は、3次元変位である請
求項3記載の手書き入力方法。 - 【請求項5】 前記センサからのデータは、加速データ
及び移動データである請求項1記載の手書き入力方法。 - 【請求項6】 ビットマップとして図形画像を格納する
過程を備える請求項1記載の手書き入力方法。 - 【請求項7】 前記変換データを調節し、ノイズを補正
する過程を備える請求項1記載の手書き入力方法。 - 【請求項8】 前記変換データを調節する過程は、 前記筆記具により筆記されたキャラクタが確率テーブル
における複数の第1のキャラクタテンプレートに一致す
る確率を判定する過程と、 前記複数の第1のキャラクタの部分集合である複数の第
2のキャラクタテンプレートを選択する過程と、 前記第2のテンプレートのうち最も確率が高い1つのテ
ンプレートを選択する過程と、 前記筆記具によって筆記されたキャラクタと選択された
テンプレートとの間の相違に基づいて前記変換データを
調節する過程と、を備える請求項7記載の手書き入力方
法。 - 【請求項9】 前記変換データを調節する過程は、 予め決められたパターンに沿ってトレースされる前記筆
記具の先端部に対応するセンサデータを受信する過程
と、 前記センサデータを予め決められたパターンの既知の輪
郭と比較する過程と、 前記センサデータと前記既知パターンとの間の相違に基
づいて前記変換データを調節する過程と、を備える請求
項7記載の手書き入力方法。 - 【請求項10】 前記変換データを調節する過程は、 前記変換データについてパターン認識を実行する過程
と、 前記パターン認識の結果に基づいて前記変換データを調
節する過程と、を備える請求項7記載の手書き入力方
法。 - 【請求項11】 前記パターン認識を実行する過程は、
隠れマロコフモデルを利用する請求項10記載の手書き
入力方法。 - 【請求項12】 前記パターン認識を実行する過程は、
ニューラルネットワークを利用する請求項10記載の手
書き入力方法。 - 【請求項13】 前記変換データを調節する過程は、 前記変換データについて静的分析を実行する過程と、 前記静的分析の結果に基づいて前記変換データを調節す
る過程と、 を備える請求項7記載の手書き入力方法。 - 【請求項14】 前記静的分析を実行する過程は、 前記筆記具による先行する筆の運びを分析する過程と、 予想される後続する筆の運びの組合せを判定する過程
と、 後続する現実の筆の運びを予想された後続する筆の運び
と比較する過程と、 後続する現実の筆の運びに対応する予想された後続する
筆の運びの組合せの一つを判定する過程と、 後続する現実の筆の運びとこれに対応する予想された後
続する筆の運びとの間の相違に基づいて前記変換データ
を調節する過程と、を備える請求項13記載の手書き入
力方法。 - 【請求項15】 前記静的分析を実行する過程は、 前記筆記具によって筆記された先行するキャラクタを分
析する過程と、 後続する実際に筆記されたキャラクタを予想される後続
するキャラクタの組合せと比較する過程と、 後続する実際に筆記されたキャラクタに対応する予想さ
れた後続するキャラクタの組合せの一つを判定する過程
と、 後続する現実のキャラクタと対応する予想された後続す
るキャラクタとの間の相違に基づいて前記変換データを
調節する過程と、を備える請求項13記載の手書き入力
方法。 - 【請求項16】 前記筆記具が内蔵する前記センサを校
正する過程を備える請求項1記載の手書き入力方法。 - 【請求項17】 前記センサを校正する過程は、 前記筆記具の予め決められた複数位置の各々で、センサ
の読み取り結果を得る過程と、 予め決められた複数位置での前記センサの読み取り結果
に基づいて、前記センサ出力のマッピングを前記筆記具
位置に生成する過程と、を備える請求項16記載の手書
き入力方法。 - 【請求項18】 筆記具による筆の運びを図形画像にマ
ッピングするシステムであって、 筆記具と、 前記筆記具の位置をモニタする複数個のセンサと、 複数個の前記センサからの出力についてユーラ変換を実
行して変換データを得る手段と、 出力装置と、を備える手書き入力システム。 - 【請求項19】 ユーラ変換を実行する手段は、ユーラ
変換を実行する回路を備える請求項18記載の手書き入
力システム。 - 【請求項20】 ユーラ変換を実行する手段は、 プロセッサと、 前記プロセッサに接続され、命令シーケンスを格納する
メモリと、を備え、前記命令シーケンスの実行時、前記
プロセッサはユーラ変換を実行する、請求項18記載の
手書き入力システム。 - 【請求項21】 複数個の前記センサは、 第1、第2及び第3の加速度計と、 第1、第2及び第3のジャイロスコープと、を備える請
求項18記載の手書き入力システム。 - 【請求項22】 前記加速度計の出力について、その結
果が位置データとなる二重積分を実行する手段を備える
請求項21記載の手書き入力システム。 - 【請求項23】 前記変換データを調節する手段を備え
る請求項18記載の手書き入力システム。 - 【請求項24】 前記変換データを調節する手段は、前
記変換データを調節して前記筆記具が用いられる筆記面
の角度を補正する請求項23記載の手書き入力システ
ム。 - 【請求項25】 前記変換データを調節する手段は、 複数の第1のキャラクタテンプレートを備える確率テー
ブルを設ける手段と、 前記筆記具により筆記されたキャラクタが、前記第1の
キャラクタテンプレートの部分集合である複数の第2の
キャラクタテンプレートにおる各々のキャラクタテンプ
レートに対応する確率を判定する手段と、 最も高い確率のキャラクタテンプレートを選択する手段
と、 前記筆記具により筆記されたキャラクタと選択されたキ
ャラクタとの間の相違に基づいて前記変換データを調節
する手段と、を備える請求項23記載の手書き入力シス
テム。 - 【請求項26】 前記変換データを調節する手段は、 予め決められたパターンに沿ってトレースされる前記筆
記具の先端部に対応するセンサデータを受信する手段
と、 前記センサデータを予め決められた既知パターンの輪郭
と比較する手段と、 前記センサデータと前記既知パターンとの間の相違に基
づいて前記変換データを調節する手段と、を備える請求
項23記載の手書き入力システム。 - 【請求項27】 前記変換データを調節する手段は、 前記変換データについてパターン認識を実行する手段
と、 前記パターン認識の結果に基づいて前記変換データを調
節する手段と、を備える請求項23記載の手書入力シス
テム。 - 【請求項28】 前記パターン認識を実行する手段は、
隠れマロコフモデルを利用する請求項27記載の手書入
力システム。 - 【請求項29】 前記パターン認識を実行する手段は、
ニューラルネットワークを利用する請求項27記載の手
書入力システム。 - 【請求項30】 前記変換データを調節する手段は、 前記変換データについて静的分析を実行する手段と、 前記静的分析の結果に基づいて前記変換データを調節す
る手段と、を備える請求項23記載の手書入力システ
ム。 - 【請求項31】 前記静的分析を実行する手段は、 前記筆記具によって筆記された先行する筆の運びを分析
する手段と、 予想される後続する筆の運びの組合せを判定する手段
と、 後続する現実の筆の運びを予想された後続する筆の運び
と比較する手段と、 後続する現実の筆の運びに対応する予想された後続する
筆の運びの組合せの一つを判定する手段と、 後続する現実の筆の運びとこれに対応する予想された後
続する筆の運びとの間の相違に基づいて前記変換データ
を調節する手段と、を備える請求項30記載の手書入力
システム。 - 【請求項32】 前記静的分析を実行する手段は、 前記筆記具によって筆記された先行するキャラクタを分
析する手段と、 予想される後続するキャラクタの組合せを判定する手段
は、 後続する現実のキャラクタを予想された後続するキャラ
クタと比較する手段と、 現実の後続するキャラクタに対応する予想される後続す
るキャラクタの組合せの一つを判定する手段と、 現実の後続するキャラクタとこれに対応する予想された
後続するキャラクタとの間の相違に基づいて前記変換デ
ータを調節する手段と、を備える請求項30記載の手書
入力システム。 - 【請求項33】 前記筆記具が内蔵する前記センサを校
正する手段を備える請求項33記載の手書き入力システ
ム。 - 【請求項34】 前記センサを調節する手段は、 複数の予め決められた位置で前記筆記具でのセンサ出力
を読み込む手段と、 複数の予め決められた位置で、センサ出力と前記筆記具
で操作する既知の力との間の多項の一致を判定する手段
と、を備える請求項33記載の手書入力システム。 - 【請求項35】 筆記具による筆の運びを図形画像にマ
ッピングするシステムであって、 筆記具と、 前記筆記具の位置をモニタし、前記筆記具の位置に対応
するデータを生成する複数個のセンサと、 前記筆記具と別個独立に設けられ、前記筆記具の位置に
対応するデータを処理し、前記筆記具による筆の運びの
図形画像を生成する筆跡装置と、を備える手書き入力シ
ステム。 - 【請求項36】 複数個のセンサは前記筆記具に内蔵さ
れている請求項35記載の手書き入力システム。 - 【請求項37】 複数個の前記センサは、第1の加速度
計と第2の加速度計と第3の加速度計とを備える請求項
35記載の手書き入力システム。 - 【請求項38】 前記加速度計は、それぞれの前記加速
度計によって検出される加速度に応じた電圧レベルを出
力する請求項37記載の手書き入力システム。 - 【請求項39】 複数個のセンサは、第1のジャイロス
コープと第2のジャイロスコープと第3のジャイロスコ
ープとを備える請求項35記載の手書き入力システム。 - 【請求項40】 それぞれの前記ジャイロスコープによ
って検出される角速度に応じた電圧レベルを出力する請
求項39記載の手書き入力システム。 - 【請求項41】 前記筆跡装置は、 前記筆記具に位置に応じたデータを受信する受信器と、 前記受信器に接続され、前記データを処理して図形画像
を生成するプロセッサと、 前記プロセッサに接続され、前記データ及び前記図形画
像を格納するメモリと、を備える請求項35記載の手書
き入力システム。 - 【請求項42】 プロセッサは、前記データについてユ
ーラ変換を実行する請求項41記載の手書き入力システ
ム。 - 【請求項43】 前記プロセッサに接続され、ユーラ変
換を実行する回路を備える請求項41記載の手書き入力
システム。 - 【請求項44】 外装シェルと、 検出する加速度に応じた電圧レベルを出力する複数個の
加速度計と、 前記加速度計に接続され、前記加速度計の出力電圧を表
すデータを伝送する伝送器と、を備える筆記具。 - 【請求項45】 検出したリニアな加速度に応じた電圧
レベルを出力する複数個のジャイロスコープを備え、前
記伝送器は、複数個の前記ジャイロスコープに接続さ
れ、前記ジャイロスコープによって出力される電圧レベ
ルに応じたデータを伝送する請求項44記載の筆記具。 - 【請求項46】 前記加速度計と前記ジャイロスコープ
と前記伝送器とに接続された複数個のアナログデジタル
変換器を備え、前記アナログデジタル変換器は前記加速
度計及び前記ジャイロスコープの出力電圧を前記伝送器
によって伝送されるデジタルデータに変換する請求項4
5記載の筆記具。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/996537 | 1997-12-23 | ||
US08/996,537 US6212296B1 (en) | 1997-12-23 | 1997-12-23 | Method and apparatus for transforming sensor signals into graphical images |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11338626A true JPH11338626A (ja) | 1999-12-10 |
Family
ID=25543025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36743898A Pending JPH11338626A (ja) | 1997-12-23 | 1998-12-24 | 手書き入力方法、手書き入力システム及び筆記具 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6212296B1 (ja) |
JP (1) | JPH11338626A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003500939A (ja) * | 1999-05-25 | 2003-01-07 | シルバーブルック リサーチ ピーティーワイ リミテッド | ファクシミリの送達のための方法およびシステム |
JP2006301941A (ja) * | 2005-04-20 | 2006-11-02 | Hitachi Maxell Ltd | ペン型入力装置のフレーム構造、ペンのフレーム構造、電子ペンのフレーム構造および電子ペン |
JP2016528614A (ja) * | 2013-07-17 | 2016-09-15 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | エネルギー節約 |
JP2016530612A (ja) * | 2013-07-17 | 2016-09-29 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | 電子ペン |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ055999A0 (en) * | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (npage01) |
US6624808B1 (en) * | 1999-04-30 | 2003-09-23 | Micron Technology, Inc. | Sensor system mouse |
US6792165B1 (en) * | 1999-05-25 | 2004-09-14 | Silverbrook Research Pty Ltd | Sensing device |
US7175079B1 (en) * | 1999-05-25 | 2007-02-13 | Silverbrook Research Pty Ltd | Method and system for online purchasing |
AUPQ439299A0 (en) * | 1999-12-01 | 1999-12-23 | Silverbrook Research Pty Ltd | Interface system |
US7657128B2 (en) * | 2000-05-23 | 2010-02-02 | Silverbrook Research Pty Ltd | Optical force sensor |
US7161578B1 (en) * | 2000-08-02 | 2007-01-09 | Logitech Europe S.A. | Universal presentation device |
SG152904A1 (en) | 2000-10-20 | 2009-06-29 | Silverbrook Res Pty Ltd | Cartridge for an electronic pen |
US7431449B2 (en) * | 2000-10-20 | 2008-10-07 | Silverbrook Research Pty Ltd | Mobile telecommunications device with interactive paper sensor |
US6831632B2 (en) | 2001-04-09 | 2004-12-14 | I. C. + Technologies Ltd. | Apparatus and methods for hand motion tracking and handwriting recognition |
US6535799B2 (en) * | 2001-04-30 | 2003-03-18 | International Business Machines Corporation | Dynamic technique for using corrective actions on vehicles undergoing excessive turns |
CN100377043C (zh) * | 2002-09-28 | 2008-03-26 | 皇家飞利浦电子股份有限公司 | 三维手写识别的方法及其系统 |
US7203384B2 (en) * | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
KR100518824B1 (ko) * | 2003-03-17 | 2005-10-05 | 삼성전자주식회사 | 필기 모션 획 구분 인식 시스템 및 그 인식방법 |
KR100501721B1 (ko) * | 2003-03-19 | 2005-07-18 | 삼성전자주식회사 | 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법 |
US7110100B2 (en) * | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
KR100528348B1 (ko) * | 2003-11-26 | 2005-11-15 | 삼성전자주식회사 | 멀티 레이어 온 스크린 디스플레이의 입력 장치 및 이를위한 입력 신호 생성 방법 |
US8542219B2 (en) * | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7826641B2 (en) * | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7023536B2 (en) * | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
JP2005283428A (ja) * | 2004-03-30 | 2005-10-13 | Denso Corp | 力学量センサ装置 |
WO2005119356A2 (en) * | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
US7284921B2 (en) * | 2005-05-09 | 2007-10-23 | Silverbrook Research Pty Ltd | Mobile device with first and second optical pathways |
US20060267966A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Hover widgets: using the tracking state to extend capabilities of pen-operated devices |
US20060267967A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Phrasing extensions and multiple modes in one spring-loaded control |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
US20070109271A1 (en) * | 2005-11-14 | 2007-05-17 | Phison Electronics Corp. | [a portable storage device with handwritten input device] |
US20070126716A1 (en) * | 2005-11-17 | 2007-06-07 | Jonathan Haverly | Digital pen |
US7688307B1 (en) | 2006-01-24 | 2010-03-30 | Zilog, Inc. | Determining the distance an object has moved using an accelerometer |
KR100711261B1 (ko) * | 2006-06-21 | 2007-04-25 | (주)마이크로인피니티 | 입력 장치의 공간 인식 방법 및 그 장치 |
US8944824B2 (en) * | 2008-04-03 | 2015-02-03 | Livescribe, Inc. | Multi-modal learning system |
FR2969779A1 (fr) * | 2010-12-23 | 2012-06-29 | Movea | Systeme de saisie d'elements graphiques |
US9223471B2 (en) | 2010-12-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Touch screen control |
CN102915171A (zh) * | 2011-08-04 | 2013-02-06 | 王振兴 | 移动轨迹产生方法 |
US9244538B2 (en) * | 2013-03-08 | 2016-01-26 | Microsoft Technology Licensing, Llc | Using portable electronic devices for user input |
JP2018533146A (ja) * | 2015-09-07 | 2018-11-08 | チーウチャーンピアット、ソンブーンCHIEWCHARNPIPAT, Somboon | デジタル筆記器具 |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
CN107621893B (zh) * | 2016-07-15 | 2020-11-20 | 苹果公司 | 在非电子表面上使用电子输入设备的内容创建 |
RU2756988C2 (ru) * | 2018-02-26 | 2021-10-08 | Виктор Сергеевич Альтшулер | Способ создания изображений |
US11946996B2 (en) | 2020-06-30 | 2024-04-02 | Apple, Inc. | Ultra-accurate object tracking using radar in multi-object environment |
US11614806B1 (en) | 2021-05-12 | 2023-03-28 | Apple Inc. | Input device with self-mixing interferometry sensors |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4070649A (en) * | 1976-12-01 | 1978-01-24 | Said Sanford J. Wright, By Said Peter Anderson And Said Ralph Grimes | Multi-modal data input/output apparatus and method compatible with bio-engineering requirements |
US4128829A (en) * | 1977-12-30 | 1978-12-05 | International Business Machines Corporation | Signature verification method and apparatus utilizing both acceleration and pressure characteristics |
US4613866A (en) * | 1983-05-13 | 1986-09-23 | Mcdonnell Douglas Corporation | Three dimensional digitizer with electromagnetic coupling |
US5825921A (en) | 1993-03-19 | 1998-10-20 | Intel Corporation | Memory transfer apparatus and method useful within a pattern recognition system |
US5781661A (en) * | 1994-06-29 | 1998-07-14 | Nippon Telegraph And Telephone Corporation | Handwritting information detecting method and apparatus detachably holding writing tool |
US5902968A (en) * | 1996-02-20 | 1999-05-11 | Ricoh Company, Ltd. | Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement |
US5828197A (en) * | 1996-10-25 | 1998-10-27 | Immersion Human Interface Corporation | Mechanical interface having multiple grounded actuators |
-
1997
- 1997-12-23 US US08/996,537 patent/US6212296B1/en not_active Expired - Lifetime
-
1998
- 1998-12-24 JP JP36743898A patent/JPH11338626A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003500939A (ja) * | 1999-05-25 | 2003-01-07 | シルバーブルック リサーチ ピーティーワイ リミテッド | ファクシミリの送達のための方法およびシステム |
JP2006301941A (ja) * | 2005-04-20 | 2006-11-02 | Hitachi Maxell Ltd | ペン型入力装置のフレーム構造、ペンのフレーム構造、電子ペンのフレーム構造および電子ペン |
JP2016528614A (ja) * | 2013-07-17 | 2016-09-15 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | エネルギー節約 |
JP2016530612A (ja) * | 2013-07-17 | 2016-09-29 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | 電子ペン |
JP2018077899A (ja) * | 2013-07-17 | 2018-05-17 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | 電子ペン |
KR20180127454A (ko) * | 2013-07-17 | 2018-11-28 | 스타빌로 인터내셔널 게엠베하 | 전자 펜 |
US10474252B2 (en) | 2013-07-17 | 2019-11-12 | Stabilo International Gmbh | Electronic pen |
Also Published As
Publication number | Publication date |
---|---|
US6212296B1 (en) | 2001-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11338626A (ja) | 手書き入力方法、手書き入力システム及び筆記具 | |
JP3712879B2 (ja) | 手書き入力方法及び手書き入力装置 | |
US6081261A (en) | Manual entry interactive paper and electronic document handling and processing system | |
US7397469B2 (en) | Electronic module for sensing pen motion | |
CN100432904C (zh) | 惯性传感器输入设备 | |
KR100543701B1 (ko) | 공간형 입력 장치 및 방법 | |
US20070139399A1 (en) | Systems and methods for enabling tablet PC/pen to paper space | |
US7355583B2 (en) | Motion-based text input | |
US7176906B2 (en) | Method of generating digital ink thickness information | |
US20090183929A1 (en) | Writing system with camera | |
US8269720B2 (en) | Input device having the function of recognizing hybrid coordinates and operating method of the same | |
US20040085286A1 (en) | Universal computing device | |
US20060088215A1 (en) | Handwriting recognition system | |
CN110785729B (zh) | 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法 | |
US20240310933A1 (en) | Pen state detection circuit and method, and input system | |
EP1668566B1 (en) | Spatial chirographic sign reader | |
US9442577B2 (en) | System for inputting graphical elements | |
US11157099B2 (en) | Electronic writing device and a method for operating the same | |
JPH0667799A (ja) | ペン型のコンピュータ入力装置 | |
JP5652647B2 (ja) | 小型電子機器、処理方法及びプログラム | |
KR101310515B1 (ko) | 프로젝션을 이용한 문자입력방법과 장치 | |
JPH10240437A (ja) | ペン型入力システム | |
JPH11296291A (ja) | 筆記具型座標入力装置 | |
CN116820231A (zh) | 一种基于imu轨迹解算的交互设备及交互方法 | |
JPH09288539A (ja) | ペン型入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060725 |