JP3712879B2 - 手書き入力方法及び手書き入力装置 - Google Patents
手書き入力方法及び手書き入力装置 Download PDFInfo
- Publication number
- JP3712879B2 JP3712879B2 JP37336498A JP37336498A JP3712879B2 JP 3712879 B2 JP3712879 B2 JP 3712879B2 JP 37336498 A JP37336498 A JP 37336498A JP 37336498 A JP37336498 A JP 37336498A JP 3712879 B2 JP3712879 B2 JP 3712879B2
- Authority
- JP
- Japan
- Prior art keywords
- predetermined position
- voltage
- sensor
- writing instrument
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
Description
【発明の属する技術分野】
本発明は、筆記具の筆記位置を追跡する技術に係り、特に、筆記具の位置を追跡する装置やシステムを構成する技術に関する。
【0002】
【従来の技術】
従来、コンピュータや他の装置に情報を入力するための数々の入力装置がある。一般的には、それらの装置、つまり、マウス、タッチセンサ、パッド等は、情報が入力される装置に物理的に接続されている。そして、そのような入力装置は、ペンや鉛筆のような筆記具で簡単に情報を入力できるようには構成されていない。これに対し、ファクシミリ送信文の作成や予定表への予定記入のような動作に際しては、ファクシミリ用のメッセージを作成したり予定表に予定を記入したりたりすることができる従来の電子的な入力装置(例えばモバイルコンピュータやノート型パーソナルコンピュータ等)を用いるよりも、コンピュータ等に物理的に接続されていないような通常のペンや鉛筆でメッセージを作成したり予定を記入したりする方がより簡単である。
【0003】
【発明が解決しようとする課題】
電子的な入力装置としての筆記具を得るためには、筆記具の位置を追跡するための装置やシステムが必要となる。つまり、筆記具の動きをモニタし、その動きをユーザが入力した文字や図形等の表現に変換するような装置やシステムが望まれている。このような装置やシステムでは、筆記具による筆記の追跡を良好に行うために、ユーザの筆記による入力情報を正確に受信する必要がある。しかしながら、筆記具は、標高や温度等の条件が様々であるというような多くの異なる環境の下で使用される。このため、筆記具の位置を追跡する追跡装置や追跡システムを実現させたとしても、筆記具の追跡動作を正確に行うことが困難であり、その結果、ユーザの筆記入力を正確に受信することができないであろうことが予想される。そこで、筆記具が使用される環境を考慮しつつ、自らの動きをモニタすることができる筆記具の構成方法や校正装置の実現が望まれる。
【0004】
本発明の目的は、筆記具の筆記位置を追跡する装置を校正することである。
【0005】
【課題を解決するための手段】
本発明は、筆記具の位置を追跡する装置を校正するための方法及び装置である。本発明では、筆記具の位置に基づく出力を生成する複数個のセンサが設けられている。センサの読み取りによって、複数の所定の筆記具位置が得られる。筆記具の位置に合わせたセンサ出力のマッピンは、所定位置でのセンサの読み取り結果に基づいて生成される。
【0006】
請求項1記載の手書き入力方法の発明は、筆記具の位置に応じて生成される複数個のセンサの出力に基づいて筆記具の筆記位置を追跡する装置を校正する方法であって、筆記具の所定の複数位置でセンサの読み取り結果を得る過程と、所定の複数位置でのセンサの読み取り結果に基づいて筆記具の位置に合わせてセンサ出力のマッピングを生成する過程と、を備える。
【0007】
請求項2記載の発明は、請求項1記載の発明において、筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、所定位置でのセンサ出力に基いて将来のセンサ出力に対応する将来の筆記具の位置における多項式近似値を判定し、多項式近似値は、所定の各位置でのセンサの出力を含む。
【0008】
請求項3記載の発明は、請求項1記載の発明において、筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、筆記具が第1の所定位置に位置する場合に第1の所定位置に合わせて特定のセンサによる第1の出力電圧をマッピングする過程と、筆記具が第2の所定位置に位置する場合に第2の所定位置に合わせて特定のセンサによる第2の出力電圧をマッピングする過程と、第1の所定位置と第2の所定位置との間での筆記具の位置に合わせて第1の電圧と第2の電圧との間でのセンサの出力電圧をマッピングする過程と、を備える。
【0009】
請求項4記載の発明は、請求項1記載の発明において、筆記面の傾斜を補うために、筆記具の位置に合わせてセンサ出力のマッピングを変更する過程を更に備える。
【0012】
請求項5記載の発明は、請求項3記載の発明において、筆記具が第3の所定位置に位置する場合に第3の所定位置に合わせて特定のセンサによる第3の出力電圧をマッピングする過程と、第2の所定位置と第3の所定位置との間での筆記具の位置に合わせて第2の電圧と第3の電圧との間でのセンサの出力電圧をマッピングする過程と、を更に備える。
【0013】
請求項6記載の発明は、請求項1記載の発明において、センサは第1の加速度計と第2の加速度計と第3の加速度計とから構成され、加速度計の出力は、各加速度計によって計測された重力の力の比例する電圧である。
【0014】
請求項7記載の発明は、請求項1記載の発明において、センサは第1のジャイロスコープと第2のジャイロスコープと第3のジャイロスコープとから構成され、ジャイロスコープの出力は、各ジャイロスコープによって計測された角速度に比例する電圧である。
【0015】
請求項8記載の発明は、請求項3記載の発明において、第1の所定位置は第2の所定位置に対して第1の直角の位置である。
【0016】
請求項9記載の発明は、請求項5記載の発明において、第1の所定位置は、第2の所定位置に対して第2の直角の位置であり、第3の所定位置に対して第3の直角の位置である。
【0017】
請求項10記載の発明は、請求項3記載の発明において、第1の所定位置は、前記センサが筆記面に対して垂直に保持される位置に設けられている。
【0018】
請求項11記載の発明は、請求項1または2記載の発明において、所定の複数位置のうち少なくとも1つの位置は、センサが筆記面に対して垂直に保持される位置に設けられている。
【0020】
請求項12記載の手書き入力装置の発明は、入力装置の動きを追跡する装置であって、入力装置の所定の複数位置でセンサの読み取り結果を得る手段と、所定の位置でのセンサの読み取り結果に基づいて入力装置の位置に合わせてセンサ出力のマッピングを生成する手段と、を備える。
【0021】
請求項13記載の発明は、請求項12記載の発明において、入力装置の位置に合わせてセンサ出力のマッピングを生成する手段は、入力装置が第1の所定位置に位置する場合に第1の所定位置に合わせて特定のセンサによる第1の出力電圧をマッピングする手段と、入力装置が第2の所定位置に位置する場合に第2の所定位置に合わせて特定のセンサによる第2の出力電圧をマッピングする手段と、第1の所定位置と第2の所定位置との間での入力装置の位置に合わせて第1の電圧と第2の電圧との間でのセンサの出力電圧をマッピングする手段と、を備える。
【0022】
請求項14記載の発明は、請求項13記載の発明において、筆記具が第3の所定位置に位置する場合に第3の所定位置に合わせて特定のセンサによる第3の出力電圧をマッピングする手段と、第2の所定位置と第3の所定位置との間での筆記具の位置に合わせて第2の電圧と第3の電圧との間でのセンサの出力電圧を補間する手段と、を更に備える。
【0023】
請求項15記載の手書き入力装置の発明は、筆記具を追跡する装置であって、対応する方向への加速度に応じて出力電圧を生成する複数個の加速度計と、筆記具が複数の所定位置に位置する場合に、加速度計の出力電圧に基づいて加速度計の出力電圧をマップする校正回路と、を備える。
【0024】
請求項16記載の発明は、請求項15記載の発明において、複数個の加速度計は、筆記具が第1の所定位置に位置する場合に第1の電圧を、筆記具が第2の所定位置に位置する場合に第2の電圧を出力する第1の加速度計と、筆記具が第1の所定位置に位置する場合に第3の電圧を、筆記具が第2の所定位置に位置する場合に第4の電圧を出力する第2の加速度計と、を備え、校正回路は、第1の所定位置に合わせて第1の電圧及び第3の電圧をマップし、第2の所定位置に合わせて第2の電圧及び第4の電圧をマップし、第1の所定位置と第2の所定位置との間での筆記具の位置に合わせて第1の電圧と第2の電圧との間の電圧及び第3の電圧と第4の電圧との間の電圧をマップする。
【0025】
請求項17記載の発明は、請求項16記載の発明において、第1の所定位置は、第2の所定位置に対して第1の直角の位置である。
【0026】
請求項18記載の発明は、請求項16記載の発明において、筆記具が第1の所定位置に位置する場合に第5の電圧を出力し、筆記具が第2の所定位置に位置する場合に第6の電圧を出力する第3の加速度計を備え、校正回路は、第1の所定位置に合わせて第5の電圧をマップし、第2の所定位置に合わせて第6の電圧をマップし、第1の所定位置と第2の所定位置との間の位置に合わせて第5の電圧と第6の電圧との間の電圧をマップする。
【0027】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。本実施の形態は、筆記具のような入力装置の位置を追跡する装置あるいはシステムを校正するための方法及び装置に関する。以下の記述においては、本発明の理解のために本発明を説明するという目的で、数々の特定の細部が規定されていく。しかし、当業者にとっては、そのような特定の細部の説明なしに、本発明を実施することができるはずである。例えば、良く知られた構造や装置がブロック図等の手法で示される。これは、本発明を曖昧にすることを避けるためである。
【0028】
ここで述べられる追跡装置あるいはシステムは、例えば、筆記具の位置を追跡する。筆記具については、例えば、"METHOD AND APPARATUS FOR PEN-BASED FAXING"と題して1997年9月30日に米国特許商標局に提出した出願番号08/940,832や、"MANUAL ENTRY INTERACTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND PROCESSING SYSTEM"と題して1995年11月1日に米国特許商標局に提出した出願番号08/551,535に記述されている。これらの出願は、本出願の譲渡人と同一の譲渡人に譲渡されている。このような筆記具は、ユーザが普通に筆記をするような動作をユーザに許容し、ユーザによってなされた筆の運びによるデータは、ペン形ファクシミリの場合にはファクシミリ装置に送信され、データ入力装置の場合にはデータエントリとして用いられる。
【0029】
勿論、本発明の位置追跡装置もしくはシステムを他の態様で用いることも可能である。例えば、"DIRECT POINTING APPARATUS FOR DIGITAL DISPLAY"と題して1997年4月18日に米国特許商標局に提出した出願番号08/840,552に記述されている装置のようなワイヤレスポインティング装置に本発明により校正される追跡装置もしくはシステムを適用しても良い。なお、1997年4月18日に米国特許商標局に提出した出願番号08/840,552は、本出願の譲渡人と同一の譲渡人に譲渡されている。
【0030】
以下では、筆記具の筆記位置を追跡する装置もしくはシステムを校正するための方法及び装置を例に挙げて説明する。もっとも、ここでの校正方法及び装置は、カーソル制御装置等のような他の実施の態様に等しく適用可能である。
【0031】
本実施の形態における筆記具は、3つの加速度センサ(加速度計)及び3つの角速度センサ(ジャイロスコープ)を備えるペン形装置によって構成されている。センサからの出力は、オイラー変換を介して処理される。筆記具を使用するに先立ち、ユーザは、複数の所定位置に筆記具を保持する。これらの位置で、センサの読み取り結果が得られ、これがマッピング処理される。換言すると、電圧レベル等のセンサ出力は、追跡装置もしくはシステムによって所定位置で規定されることになる。そして、センサの読み取り結果は、標高や温度、筆記面の傾斜等のような環境の変化を補うために予測されるセンサの読み取り結果と比較される。こうして行われた校正後、所定位置で得られたセンサの出力を補完することによって、所定位置以外の位置でのセンサの読み取り結果もその位置に対応するようにマッピングされる。このようなセンサ出力のマッピングは、所定位置以外の位置での筆記具の位置の追跡を許容する。
【0032】
ユーザが筆記具で筆記を行った場合、センサの出力は、筆記具の位置を追跡するために用いられ、こうしてユーザによってなされた筆の運びが規定される。筆の運びを描写するデータは、メッセージのファクシミリ送信、予定の記録、他の類似の仕事のような各種の仕事を完遂するために、格納されて処理される。筆の運びのデータは、光学的なキャラクタ認識装置(OCR)を用いて格納されたキャラクタやテンプレートを当てはめるような構成ではなく、現実に筆記具によってなされた筆の運びの図形表現によって構成される。そして、筆記データの処理は、筆記具自体において、あるいは、遠隔地に置かれたコンピュータ装置によって行われる。
〔筆記具〕
複合センサを有する本発明の筆記具の一態様について説明する。この筆記具は、物理的に筆記できることが要求されるわけではない。追跡可能な筆記動作を行うことができれば、いかなる器具や装置であっても良い。加えて、ユーザが行なう現実の筆の運びが追跡されて処理されるという構造上、ユーザの手書き品質は重要視されない。
【0033】
図1は、位置が追跡される筆記具10の一例を示す。筆記具10の下部には、インク供給部110及びペン先180が設けられている。上述したように、筆記具10は、筆記面190のような面に現実に筆記できるような構成である必要はない。したがって、インク供給部110は、ペンタイプの筆記器具が求められる場合にのみ備えられていれば良い。筆記面190には、無地の紙片や、特別の書式をもった用紙や、その他の種類の筆記面を用いることができる。
【0034】
筆記具10の上部には、センサとしての追跡センサ120、バッテリ130、送受信器140及びディスプレイ150が設けられている。ディスプレイ150には、LED(light emitting diode)やLCD(liquid crystal display)が用いられている。追跡センサ120は、3つの加速度計122,123,124及び3つのジャイロスコープ126,127,128によって構成されている。もっとも、センサの数やタイプについては、期待する正確性及び筆記具10が用いられる環境等に従い適宜選択することができる。一例として、追跡センサ120は、位置追跡システムの固定フレームにおける3次元(つまり、x,y,z)上で移動及び加速度に関するデータを提供する。
【0035】
ペン先180及び加速度計122,123,124は、筆記具が筆記面190に接触している場合の判定に用いられる。一例としては、ペン先180が筆記面に接触している場合の筆の運びだけが処理される。勿論、空中での筆記をユーザに許容するような他の態様も実施可能である。この場合、ペン先180が筆記面に接触している場合の筆の運びだけを選択するのと同様の処理としては、ユーザによる筆記具10でのボタンの押下やスイッチのオンオフ動作のような手法を用いることができる。
【0036】
バッテリ130は、追跡センサ120、送受信器140、ディスプレイ150及び給電が要求される筆記具10の他の構成要素に対して電力を供給する。送受信器140は、追跡センサ120からのデータ及び他のデータを校正回路を含む遠隔コンピュータ装置175に送信する。送受信器140は、また、遠隔コンピュータ装置175からデータを受信する。ディスプレイ150は、ユーザにフィードバックを提供する。そして、遠隔コンピュータ装置175としては、パーソナルコンピュータやファクシミリ装置、あるいは他のコンピュータ装置を用いることができる。
【0037】
筆記具10を使用するために、ユーザは、筆記面190にメッセージを筆記する。ペン先180及びインク供給部110は、ユーザに対し、紙片上に筆記をするかのような状態でのメッセージの筆記を許容する。但し、上述したように、筆記面190上でメッセージを記録することは必ずしも必要ではないが、そのようにした場合には、ユーザの記録のためにメッセージのコピーを残すことができる。
【0038】
ユーザがメッセージを筆記した場合、追跡センサ120は、メッセージを記録するためになされた筆の運びをモニタする。この場合の筆の運びは、メッセージを記録するためになされた一連の筆の運びである。追跡センサ120からのデータは、送受信器140を介して遠隔コンピュータ装置175に送信される。あるいは、追跡センサ120からのデータは、筆記具10に格納されて処理されても良い。
【0039】
筆記が筆記具10でなされた場合、追跡センサ120からの追跡データは、記録されて処理される。一例として、追跡センサ120によって出力された筆の運びのデータは、所定の電圧である。加速度計122,123,124では、その出力電圧は、筆記具10の移動フレームにおいて3つの各方向(つまり、x,y,z)で測定された加速度に比例する。筆記具10が静止状態である場合、それらの加速度は、重力(−9.81m/sec2 )の力によってなり立つ。ジャイロスコープ126,127,128では、その出力電圧は、筆記具10の移動フレームにおいて3つの各方向(例えば、x,y,z)での筆記具10の角速度に比例する。
【0040】
加速度計122,123,124及びジャイロスコープ126,127,128のそれぞれという3つのセンサによって生成される電圧レベルは、筆記具10の位置に合わせてデータをマッピングする遠隔コンピュータ装置175に送信される。電圧レベルの送信は、アナログデジタル変換器を用いてセンサ出力の電圧レベルをサンプリングし、送受信器140を介して遠隔コンピュータ装置175にデジタル情報を送信することによって完遂する。遠隔コンピュータ装置175は、センサによって出力された電圧レベルを表すデジタル情報を受信し、筆記具10の位置を判定する。
【0041】
筆記具10でメッセージを筆記するに先立ち、筆記具10を既知の位置に配置してセンサの読み取りを行なうことにより、追跡システムの校正が実行される。既知位置で得られたセンサの読み取り結果は、既知位置を規定するために利用される。遠隔コンピュータ装置175は、所定の位置でのセンサ出力に基づく補間によって、所定位置とは異なる位置に位置する筆記具10の位置に合わせてセンサの別の出力をマッピングする。補間は、多項式近似値や他の変換によって実行される。なお、追跡システムの校正については、以下に詳述する。
【0042】
校正後、遠隔コンピュータ装置175が受信した電圧レベル情報は、筆記具10の位置に合わせてマッピングされる。筆記具10の位置を判定することによって、遠隔コンピュータ装置175は、筆記具10による筆の運びを判断する。筆の運びの図形描写は、図形表示、ファクシミリメッセージ及び他の目的のために生成されて出力される。
【0043】
なお、筆記具に用いられるような位置センサシステムの別の構造としては、"MANUAL ENTRY INTERACTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND PROCESSING SYSTEM"と題して1995年11月1日に米国特許商標局に提出した出願番号08/551,535に記述されている。この出願は、本出願の譲渡人と同一の譲渡人に譲渡されている。
〔筆記位置の追跡〕
一例として、筆記具10の筆記位置の追跡は、オイラー変換を介して成し遂げられる。一般的に、オイラー変換は、追跡センサ120の出力を、筆記具10を用いたユーザによってなされる筆の運びを規定するデータに変換する。オイラー変換は、一連の3つのフレームの回転であり、球状(固定)フレームのz軸回りのψラジアン回転で始まり、フレーム1を生成する。フレーム1は、フレーム1のy軸回りにθラジアンで回転しフレーム2を生成する。フレーム2は、フレーム2のx軸回りをφラジアンで回転して筆記具フレームに到達する。一例として、フレームの回転は、上述したように実行されるが、例えば、フレームに高精度が望まれているような場合には、異なるオーダで実行されても良い。
【0044】
オイラー変換は、加速度及び角速度のデータを、既知位置からの加速度及び速度に基づいて位置データに変換するために用いられる。オイラー変換は、通常、航空ナビゲーションの分野において用いられる。もっとも、ナビゲーションのために用いた場合、オイラー変換は、筆記具の筆跡追跡のために要求される精度を持って計算されない。
【0045】
オイラー変換によって得られたデータから筆記具10による筆の運びを再生成するために、遠隔コンピュータ装置175によって加速度は2度積分され、スタート位置に関連して距離が判定される。筆記具10におけるジャイロスコープ126,127,128は、筆記具10が移動することにより筆記具10の回転角によって引き起こされる加速度を補正するために用いられる。上述したように、演算処理は、筆記具10の構成要素によって実行されても良いし、また、図1に示す遠隔コンピュータ装置175のような遠隔配置された装置によって実行されても良い。そして、そのような演算処理は、ハードウエアによって実行されても良いし、ソフトウエアによって実行されても良い。
【0046】
筆記具フレーム
【0047】
【数1】
において、加速度を、球状フレーム
【0048】
【数2】
での加速度に変換するために、次のオイラー変換が用いられる。
【0049】
【数3】
あるいは、
【0050】
【数4】
単純化のために、角度及びセンサ信号の時間上での依存性は省略されている。
筆記具フレームは、継続的に移動し、センサ出力は、球状フレームにマッピングされる。センサ出力は、各タイムステップにおいてマッピングされる。タイムステップは、望む分解能によって定まる。このタイムステップは、例えば、0.25秒程度である。
【0051】
筆記具の追跡については、"METHOD AND APPARATUS FOR TRANSFORMING SENSOR SIGNALS INTO GRAPHICAL IMAGES"と題して1997年12月23日に米国特許商標局に提出した出願番号08/996,537に記述されている。この出願は、本出願の譲渡人と同一の譲渡人に譲渡されている。
【0052】
基本的なオイラー位置追跡に加えて、筆記具10又は遠隔コンピュータ装置175によって手書き又はパターン認識が実行される構成であっても良い。例えば、オイラー変換パラメータは、実際の筆の運びからの既知の偏差のために調節される。また、隠れマルコフモデル(HMM)やニューラルネットワーク等のような別のパターン認識技術を用いることもできる。
〔センサ校正〕
筆記具は、温度条件の相違や標高の相違等、センサ出力に影響を及ぼす様々な環境において用いられることがあるため、本発明の実施の一形態として、センサ校正が行なわれる。センサ校正は、センサを既知の加速度要素を伴う既知の環境にセンサを置き、筆記具10の位置を判定するための既知位置で選られた(電圧、加速度)ペア間の補間を行うために、多項式近似値を用いて行われる。例えば、x軸加速度計のような加速度計(122,123,124)の一つが重力方向に対して垂直である場合、加速度計の出力は−9.81m/sec2に対応し、他の二つの加速度計は0m/sec2を読み出す。そして、筆記具10が90度回転すると、x軸加速度計は重力方向と平行になり、その出力は0m/sec2に対応する。そこで、(ν1,−9.81)及び(ν2,0)を得る2つの点は電圧位置ラインに適合し、これによって、受信した新たな電圧は、電圧位置ラインによって判定されるように、筆記具10の位置を表すことになる。類似のライン適合は、別の加速度計(122,123,124)についても実行される。もしも、高いオーダの適合性が求められるのであれば、より多くの読み取りを行うことができるとし、また、電圧ラインを記述するために2次方程式のようなより高次の方程式を用いることができる。
【0053】
実施の一例として、センサの読み取り結果は、加速度計(122,123,124)によって計測された加速度及びジャイロスコープ(126,127,128)によって測定された角速度に比例する電圧レベルによって構成されている。これらの電圧レベルは、例えば、アナログデジタル変換された入力や、遠隔コンピュータ装置175に送信され筆記具10の位置を追跡するために用いられる出力として用いることが可能である。筆記具10に対して垂直である面は重力に対して垂直ではないので、変換結果には面の二つの傾斜角(α,β)が含まれている。実施の一例として、筆記具10のユーザは、センサが筆記面190に対して垂直に保持される所定の3個所で筆記具10を保持する。各加速度計(122,123,124)について傾斜とインターセプト(m,b)とが計算され、次式に従い電圧が加速度に変換される。
【0054】
(Acc=mV+b) 式3
それらの8つのパラメータ(つまり、3つの加速度計のそれぞれについての1つの傾斜及びインターセプト及び2つの傾斜角)に関し、次式が解かれる。
ケース1:
【0055】
【数5】
ケース2:
【0056】
【数6】
ケース3:
【0057】
【数7】
8つのパラメータに設定される解は、式4〜12の各左項を2乗し、その結果を加え、各パラメータに関して式の結果を減ずることによって見出すことができる。このような演算処理は、ハードウエアかソフトウエアかのいずれか一方で実行される。
【0058】
上述した8つのパラメータについての解は、センサの読みとの結果に筆記具10の位置に対応するマッピングを許容する。式4〜12によって提供されるマッピングは、リニアなマッピングである。センサの読み取り結果を追加の所定位置で得ることにより、より高いオーダのマッピングを行うこともできる。
〔筆記具の形状〕
ユーザ向けの簡単な校正のために、筆記具10は、1又は複数個の平坦面を備える。これらの面は、センサの校正のための読み取り結果を得る目的で、筆記面190に対して保持される。そのような読み取りがなされた後、上述したような校正計算がセンサの読み取りと共に実行される。校正のための読み取り結果は、追跡装置もしくはシステムを構成するために用いられる。
【0059】
択一的に、スタンドや分度器等を既知位置で筆記具10を保持するために用いることができる。このような道具を用いることで、筆記具10に校正目的のための平坦面を設ける必要がなくなる。
【0060】
図2は、3つの校正面200,210,230を備えた筆記具10の実施の一例を示す斜視図である。筆記具10は、3の校正面200,210,230を備える。校正シーケンスは、校正面間の特定のシーケンス及び角度に関して上述した通りであるが、別の角度及びシーケンスを用いることもできる。いずれにしても、有効な校正シーケンスに先立ち知られていなければならない情報は、校正面間の角度関係である。
【0061】
筆記具10のユーザは、最初に、校正面200を筆記面190に対向させて保持する。筆記面190がデスク上の用紙である場合には、ユーザは、校正面200を下に向けてただ筆記具10を用紙上に置けば良い。筆記具10は、センサの読み取りが安定するのに十分な時間だけその位置に位置付けられる。この時間は、例えば、0.3秒程度であるが、その時間は、追跡装置もしくはシステムが求める精度や処理速度によって決められる。もしも筆記面190が傾斜しているなら、ユーザは、筆記具10が滑らないように筆記具10を保持することになる。
【0062】
筆記面190に対向するように校正面200が位置付けられた後、続いて筆記面210が同様に位置付けられる。実施の一例として、校正面210は校正面200に対して直角である。2つの校正面200,210が直角であることは、水準面上に位置付けられた筆記具10に対して一方向にだけ機能させる力をもたらすことに役立つ。換言すると、重力はx軸方向に沿ってだけ計測され、y軸及びz軸には加速が生じない。つまり、校正面200,210間が直角であるということは、校正のための演算処理を単純化するのに役立つ。
【0063】
最後の校正面は、ディスプレイ150が設けられている筆記具10の校正面230である。実施の一形態として、校正面230は、他の2つの校正面200,210に対して直角である。
【0064】
筆記面190上で各校正面200,210,230の読み取りがなされた後に、上述した校正のための方程式に基づく校正演算が実行され、筆記具10におけるセンサ出力が校正される。
【0065】
図3は、4つの校正面300,310,320,330を備える筆記具10の一例を示す斜視図である。図3の例示する実施の一形態では、より多くの読み取りがなされるので、電圧と加速度との間でより高いオーダの適合性が得られる。図2に例示した実施の一形態と同様に、校正シーケンスは、校正面間の特定のシーケンス及び角度に関して上述した通りであるが、別の角度及びシーケンスを用いることもできる。
【0066】
4つの校正面のうちの3つは、三角形の各辺を含む面上に形成された校正面300,310,320である。4つ目の校正面330は、ディスプレイ150が配置された筆記具10の上面に形成され、3つの各校正面300,310,320に対して直角に形成されている。これらの3つの各校正面300,310,320は、互いに直角に形成されていないので、これらの各校正面300,310,320については、校正のための演算処理が複雑化するが、これらの各校正面300,310,320の校正によってより多くの情報が得られる。よって、筆記具10の追跡をより高精度で実行することが可能となる。式4〜12は各校正面(200,210,230又は300,310,320)が直角であることを想定しているため、図3の実施の形態では、校正面300,310,320間の角度を補う修正が式4〜12に加えられる。
【0067】
ここで、校正面及び位置を幾つ用いても良い。この場合、各位置間の関係が知られているということだけが必要である。この情報とセンサからの読み取り結果とに基づいてセンサの校正が実行される。
【0068】
以上、本発明は、特定の実施の態様として述べられた。しかし、本発明の範囲内での各種の変更や修正が許容されることは言うまでもない。
【0069】
【発明の効果】
本発明は、筆記具をペンや鉛筆のような通常の筆記具として使用すると、その筆の運びをセンサで検出して電子的なデータとして利用することができる。この場合、センサを校正することで、変換結果の精度をより向上させることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態として、筆記具、筆記面及びコンピュータ装置を示す模式図である。
【図2】三つの校正面を備える筆記具の一例を示す斜視図である。
【図3】四つの校正面を備える筆記具の一例を示す斜視図である。
【符号の説明】
10, 筆記具
120 センサ
122,123,124 加速度計(第1の加速度計、第2の加速度計、第3の加速度計)
126,127,128 ジャイロスコープ(第1のジャイロスコープ、第2のジャイロスコープ、第3のジャイロスコープ)
190 筆記面
175 校正回路(遠隔コンピュータ装置)
Claims (18)
- 筆記具の位置に応じて生成される複数個のセンサの出力に基づいて前記筆記具の筆記位置を追跡する装置を校正する方法であって、
前記筆記具の所定の複数位置で前記センサの読み取り結果を得る過程と、
所定の複数位置での前記センサの読み取り結果に基づいて前記筆記具の位置に合わせてセンサ出力のマッピングを生成する過程と、
を備える手書き入力方法。 - 請求項1記載の発明において、前記筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、所定位置でのセンサ出力に基いて将来のセンサ出力に対応する将来の前記筆記具の位置における多項式近似値を判定し、前記多項式近似値は、所定の各位置での前記センサの出力を含む。
- 請求項1記載の発明において、前記筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、
前記筆記具が第1の所定位置に位置する場合にこの第1の所定位置に合わせて特定の前記センサによる第1の出力電圧をマッピングする過程と、
前記筆記具が第2の所定位置に位置する場合にこの第2の所定位置に合わせて特定の前記センサによる第2の出力電圧をマッピングする過程と、
前記第1の所定位置と前記第2の所定位置との間での前記筆記具の位置に合わせて前記第1の電圧と前記第2の電圧との間での前記センサの出力電圧をマッピングする過程と、
を備える。 - 請求項1記載の発明は、筆記面の傾斜を補うために、筆記具の位置に合わせてセンサ出力のマッピングを変更する過程を更に備える。
- 請求項3記載の発明は、
前記筆記具が第3の所定位置に位置する場合にこの第3の所定位置に合わせて特定の前記センサによる第3の出力電圧をマッピングする過程と、
前記第2の所定位置と前記第3の所定位置との間での前記筆記具の位置に合わせて前記第2の電圧と前記第3の電圧との間での前記センサの出力電圧をマッピングする過程と、
を更に備える。 - 請求項1記載の発明において、前記センサは第1の加速度計と第2の加速度計と第3の加速度計とから構成され、前記加速度計の出力は、各前記加速度計によって計測された重力の力の比例する電圧である。
- 請求項1記載の発明において、前記センサは第1のジャイロスコープと第2のジャイロスコープと第3のジャイロスコープとから構成され、前記ジャイロスコープの出力は、各前記ジャイロスコープによって計測された角速度に比例する電圧である。
- 請求項3記載の発明において、前記第1の所定位置は前記第2の所定位置に対して第1の直角の位置である。
- 請求項5記載の発明において、前記第1の所定位置は、前記第2の所定位置に対して第2の直角の位置であり、前記第3の所定位置に対して第3の直角の位置である。
- 請求項3記載の発明において、前記第1の所定位置は、前記センサが筆記面に対して垂直に保持される位置に設けられている。
- 請求項1または2記載の発明において、前記所定の複数位置のうち少なくとも1つの位置は、前記センサが筆記面に対して垂直に保持される位置に設けられている。
- 入力装置の動きを追跡する装置であって、
前記入力装置の所定の複数位置でセンサの読み取り結果を得る手段と、
所定の位置での前記センサの読み取り結果に基づいて前記入力装置の位置に合わせてセンサ出力のマッピングを生成する手段と、
を備える手書き入力装置。 - 請求項12記載の発明において、前記入力装置の位置に合わせてセンサ出力のマッピングを生成する手段は、
前記入力装置が第1の所定位置に位置する場合にこの第1の所定位置に合わせて特定の前記センサによる第1の出力電圧をマッピングする手段と、
前記入力装置が第2の所定位置に位置する場合にこの第2の所定位置に合わせて特定の前記センサによる第2の出力電圧をマッピングする手段と、
前記第1の所定位置と前記第2の所定位置との間での前記入力装置の位置に合わせて前記第1の電圧と前記第2の電圧との間での前記センサの出力電圧をマッピングする手段と、
を備える。 - 請求項13記載の発明は、
前記筆記具が第3の所定位置に位置する場合にこの第3の所定位置に合わせて特定の前記センサによる第3の出力電圧をマッピングする手段と、
前記第2の所定位置と前記第3の所定位置との間での前記筆記具の位置に合わせて前記第2の電圧と前記第3の電圧との間での前記センサの出力電圧を補間する手段と、
を更に備える。 - 筆記具を追跡する装置であって、
対応する方向への加速度に応じて出力電圧を生成する複数個の加速度計と、
前記筆記具が複数の所定位置に位置する場合に、前記加速度計の出力電圧に基づいて前記加速度計の出力電圧をマップする校正回路と、
を備える手書き入力装置。 - 請求項15記載の発明において、複数個の前記加速度計は、
前記筆記具が第1の所定位置に位置する場合に第1の電圧を、前記筆記具が第2の所定位置に位置する場合に第2の電圧を出力する第1の加速度計と、
前記筆記具が第1の所定位置に位置する場合に第3の電圧を、前記筆記具が第2の所定位置に位置する場合に第4の電圧を出力する第2の加速度計と、
を備え、
前記校正回路は、前記第1の所定位置に合わせて前記第1の電圧及び前記第3の電圧をマップし、前記第2の所定位置に合わせて前記第2の電圧及び前記第4の電圧をマップし、前記第1の所定位置と前記第2の所定位置との間での前記筆記具の位置に合わせて前記第1の電圧と前記第2の電圧との間の電圧及び前記第3の電圧と前記第4の電圧との間の電圧をマップする。 - 請求項16記載の発明において、前記第1の所定位置は、前記第2の所定位置に対して第1の直角の位置である。
- 請求項16記載の発明は、前記筆記具が前記第1の所定位置に位置する場合に第5の電圧を出力し、前記筆記具が前記第2の所定位置に位置する場合に第6の電圧を出力する第3の加速度計を備え、前記校正回路は、前記第1の所定位置に合わせて前記第5の電圧をマップし、前記第2の所定位置に合わせて第6の電圧をマップし、前記第1の所定位置と前記第2の所定位置との間の位置に合わせて前記第5の電圧と前記第6の電圧との間の電圧をマップする。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/999,010 US6181329B1 (en) | 1997-12-23 | 1997-12-23 | Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface |
US08/999010 | 1997-12-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11288356A JPH11288356A (ja) | 1999-10-19 |
JP3712879B2 true JP3712879B2 (ja) | 2005-11-02 |
Family
ID=25545771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP37336498A Expired - Fee Related JP3712879B2 (ja) | 1997-12-23 | 1998-12-28 | 手書き入力方法及び手書き入力装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US6181329B1 (ja) |
JP (1) | JP3712879B2 (ja) |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6686910B2 (en) * | 1996-04-22 | 2004-02-03 | O'donnell, Jr. Francis E. | Combined writing instrument and digital documentor apparatus and method of use |
US6573887B1 (en) * | 1996-04-22 | 2003-06-03 | O'donnell, Jr. Francis E. | Combined writing instrument and digital documentor |
CA2326642C (en) * | 1998-04-03 | 2008-06-17 | Image Guided Technologies, Inc. | Wireless optical instrument for position measurement and method of use therefor |
US7268774B2 (en) * | 1998-08-18 | 2007-09-11 | Candledragon, Inc. | Tracking motion of a writing instrument |
US20100008551A9 (en) * | 1998-08-18 | 2010-01-14 | Ilya Schiller | Using handwritten information |
US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
US6549935B1 (en) * | 1999-05-25 | 2003-04-15 | Silverbrook Research Pty Ltd | Method of distributing documents having common components to a plurality of destinations |
US7721948B1 (en) * | 1999-05-25 | 2010-05-25 | Silverbrook Research Pty Ltd | Method and system for online payments |
AUPQ363299A0 (en) * | 1999-10-25 | 1999-11-18 | Silverbrook Research Pty Ltd | Paper based information inter face |
US7971784B2 (en) * | 1999-05-25 | 2011-07-05 | Silverbrook Research Pty Ltd | Sensing device with mode changes via nib switch |
US7175079B1 (en) * | 1999-05-25 | 2007-02-13 | Silverbrook Research Pty Ltd | Method and system for online purchasing |
US6640337B1 (en) * | 1999-11-01 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Digital television (DTV) including a smart electronic program guide (EPG) and operating methods therefor |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
US7161578B1 (en) * | 2000-08-02 | 2007-01-09 | Logitech Europe S.A. | Universal presentation device |
US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
DE10109760A1 (de) * | 2001-02-28 | 2002-09-05 | Unipen Ag | Chipleser und Identifikationsverfahren zur Verifizierung der Benutzungsberechtigung eines Chipbenutzers |
US6906703B2 (en) * | 2001-03-28 | 2005-06-14 | Microsoft Corporation | Electronic module for sensing pen motion |
US6831632B2 (en) * | 2001-04-09 | 2004-12-14 | I. C. + Technologies Ltd. | Apparatus and methods for hand motion tracking and handwriting recognition |
US7061468B2 (en) * | 2001-04-10 | 2006-06-13 | Logitech Europe S.A. | Hybrid presentation controller and computer input device |
US6535799B2 (en) * | 2001-04-30 | 2003-03-18 | International Business Machines Corporation | Dynamic technique for using corrective actions on vehicles undergoing excessive turns |
US7176906B2 (en) * | 2001-05-04 | 2007-02-13 | Microsoft Corporation | Method of generating digital ink thickness information |
US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
CN100478844C (zh) * | 2001-11-05 | 2009-04-15 | 旋永南 | 一种图文输入装置 |
GB0127350D0 (en) * | 2001-11-14 | 2002-01-02 | Drs Data & Res Services Plc | Vote recording & counting apparatus and method |
US7257255B2 (en) * | 2001-11-21 | 2007-08-14 | Candledragon, Inc. | Capturing hand motion |
KR20030072938A (ko) * | 2002-03-07 | 2003-09-19 | 함운철 | 다기능 포인터 및 포인팅 시스템 |
US7221807B2 (en) * | 2002-03-29 | 2007-05-22 | Sharp Laboratories Of America, Inc. | Methods and systems for digital image characteristic adjustment using a neural network |
US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
US6952046B2 (en) * | 2002-06-19 | 2005-10-04 | Foster-Miller, Inc. | Electronic and optoelectronic component packaging technique |
US7674184B2 (en) | 2002-08-01 | 2010-03-09 | Creative Kingdoms, Llc | Interactive water attraction and quest game |
US7133563B2 (en) * | 2002-10-31 | 2006-11-07 | Microsoft Corporation | Passive embedded interaction code |
US7262764B2 (en) | 2002-10-31 | 2007-08-28 | Microsoft Corporation | Universal computing device for surface applications |
US7009594B2 (en) * | 2002-10-31 | 2006-03-07 | Microsoft Corporation | Universal computing device |
US7116840B2 (en) | 2002-10-31 | 2006-10-03 | Microsoft Corporation | Decoding and error correction in 2-D arrays |
US20040140962A1 (en) * | 2003-01-21 | 2004-07-22 | Microsoft Corporation | Inertial sensors integration |
US7203384B2 (en) * | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
KR100533839B1 (ko) * | 2003-03-14 | 2005-12-07 | 삼성전자주식회사 | 동작기반 전자기기 제어장치 및 그 제어방법 |
US20040229195A1 (en) * | 2003-03-18 | 2004-11-18 | Leapfrog Enterprises, Inc. | Scanning apparatus |
KR100501721B1 (ko) * | 2003-03-19 | 2005-07-18 | 삼성전자주식회사 | 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법 |
US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
US7489299B2 (en) * | 2003-10-23 | 2009-02-10 | Hillcrest Laboratories, Inc. | User interface devices and methods employing accelerometers |
US7110100B2 (en) * | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
US7088440B2 (en) * | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
US20050142263A1 (en) * | 2003-12-30 | 2005-06-30 | Lauren Keilbach | Fish food flakes |
US7583842B2 (en) * | 2004-01-06 | 2009-09-01 | Microsoft Corporation | Enhanced approach of m-array decoding and error correction |
US7136054B2 (en) * | 2004-01-06 | 2006-11-14 | Microsoft Corporation | Camera-pen-tip mapping and calibration |
US7263224B2 (en) * | 2004-01-16 | 2007-08-28 | Microsoft Corporation | Strokes localization by m-array decoding and fast image matching |
US7826641B2 (en) * | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US8542219B2 (en) * | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US7023536B2 (en) * | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
US7831933B2 (en) * | 2004-03-17 | 2010-11-09 | Leapfrog Enterprises, Inc. | Method and system for implementing a user interface for a device employing written graphical elements |
US20060078866A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | System and method for identifying termination of data entry |
US20060033725A1 (en) * | 2004-06-03 | 2006-02-16 | Leapfrog Enterprises, Inc. | User created interactive interface |
US7453447B2 (en) * | 2004-03-17 | 2008-11-18 | Leapfrog Enterprises, Inc. | Interactive apparatus with recording and playback capability usable with encoded writing medium |
US20060077184A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | Methods and devices for retrieving and using information stored as a pattern on a surface |
US7342575B1 (en) | 2004-04-06 | 2008-03-11 | Hewlett-Packard Development Company, L.P. | Electronic writing systems and methods |
US8629836B2 (en) | 2004-04-30 | 2014-01-14 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
US7158118B2 (en) * | 2004-04-30 | 2007-01-02 | Hillcrest Laboratories, Inc. | 3D pointing devices with orientation compensation and improved usability |
US7535456B2 (en) * | 2004-04-30 | 2009-05-19 | Hillcrest Laboratories, Inc. | Methods and devices for removing unintentional movement in 3D pointing devices |
EP1745458B1 (en) * | 2004-04-30 | 2017-01-11 | Hillcrest Laboratories, Inc. | Methods and devices for identifying users based on tremor |
JP2007535773A (ja) | 2004-04-30 | 2007-12-06 | ヒルクレスト・ラボラトリーズ・インコーポレイテッド | 自由空間ポインティングデバイスおよびポインティング方法 |
US7746321B2 (en) | 2004-05-28 | 2010-06-29 | Erik Jan Banning | Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor |
US8137195B2 (en) | 2004-11-23 | 2012-03-20 | Hillcrest Laboratories, Inc. | Semantic gaming and application transformation |
US7536051B2 (en) * | 2005-02-17 | 2009-05-19 | Microsoft Corporation | Digital pen calibration by local linearization |
US7607076B2 (en) | 2005-02-18 | 2009-10-20 | Microsoft Corporation | Embedded interaction code document |
US7826074B1 (en) | 2005-02-25 | 2010-11-02 | Microsoft Corporation | Fast embedded interaction code printing with custom postscript commands |
US20060215913A1 (en) * | 2005-03-24 | 2006-09-28 | Microsoft Corporation | Maze pattern analysis with image matching |
US20060242562A1 (en) * | 2005-04-22 | 2006-10-26 | Microsoft Corporation | Embedded method for embedded interaction code array |
US7421439B2 (en) | 2005-04-22 | 2008-09-02 | Microsoft Corporation | Global metadata embedding and decoding |
US7599560B2 (en) | 2005-04-22 | 2009-10-06 | Microsoft Corporation | Embedded interaction code recognition |
US20060267966A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Hover widgets: using the tracking state to extend capabilities of pen-operated devices |
US20060267967A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Phrasing extensions and multiple modes in one spring-loaded control |
US7400777B2 (en) * | 2005-05-25 | 2008-07-15 | Microsoft Corporation | Preprocessing for information pattern analysis |
US7729539B2 (en) * | 2005-05-31 | 2010-06-01 | Microsoft Corporation | Fast error-correcting of embedded interaction codes |
US7580576B2 (en) * | 2005-06-02 | 2009-08-25 | Microsoft Corporation | Stroke localization and binding to electronic document |
US20090183929A1 (en) * | 2005-06-08 | 2009-07-23 | Guanglie Zhang | Writing system with camera |
US7508384B2 (en) * | 2005-06-08 | 2009-03-24 | Daka Research Inc. | Writing system |
US7619607B2 (en) | 2005-06-30 | 2009-11-17 | Microsoft Corporation | Embedding a pattern design onto a liquid crystal display |
GB2428324B (en) * | 2005-07-11 | 2011-03-23 | Ryknield Executor Company Ltd | Apparatus and methods relating to voting systems |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
US7922099B1 (en) | 2005-07-29 | 2011-04-12 | Leapfrog Enterprises, Inc. | System and method for associating content with an image bearing surface |
US20070038409A1 (en) * | 2005-08-02 | 2007-02-15 | Kurt Gilson | Position sensing means and method |
US20070030257A1 (en) * | 2005-08-04 | 2007-02-08 | Bhogal Kulvir S | Locking digital pen |
US7622182B2 (en) | 2005-08-17 | 2009-11-24 | Microsoft Corporation | Embedded interaction code enabled display |
US7817816B2 (en) * | 2005-08-17 | 2010-10-19 | Microsoft Corporation | Embedded interaction code enabled surface type identification |
US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
US8313379B2 (en) * | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
JP4805633B2 (ja) | 2005-08-22 | 2011-11-02 | 任天堂株式会社 | ゲーム用操作装置 |
JP4262726B2 (ja) * | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
US8870655B2 (en) * | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
US8308563B2 (en) * | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
US20070113207A1 (en) * | 2005-11-16 | 2007-05-17 | Hillcrest Laboratories, Inc. | Methods and systems for gesture classification in 3D pointing devices |
US20070126716A1 (en) * | 2005-11-17 | 2007-06-07 | Jonathan Haverly | Digital pen |
US20070152961A1 (en) * | 2005-12-30 | 2007-07-05 | Dunton Randy R | User interface for a media device |
US7603633B2 (en) | 2006-01-13 | 2009-10-13 | Microsoft Corporation | Position-based multi-stroke marking menus |
US7688307B1 (en) | 2006-01-24 | 2010-03-30 | Zilog, Inc. | Determining the distance an object has moved using an accelerometer |
JP4530419B2 (ja) * | 2006-03-09 | 2010-08-25 | 任天堂株式会社 | 座標算出装置および座標算出プログラム |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP4684147B2 (ja) * | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
US7755026B2 (en) * | 2006-05-04 | 2010-07-13 | CandleDragon Inc. | Generating signals representative of sensed light that is associated with writing being done by a user |
US8261967B1 (en) | 2006-07-19 | 2012-09-11 | Leapfrog Enterprises, Inc. | Techniques for interactively coupling electronic content with printed media |
TWI319539B (en) * | 2006-11-29 | 2010-01-11 | Ind Tech Res Inst | Pointing device |
US20080166175A1 (en) * | 2007-01-05 | 2008-07-10 | Candledragon, Inc. | Holding and Using an Electronic Pen and Paper |
JP5127242B2 (ja) | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | 加速度データ処理プログラムおよびゲームプログラム |
US9024864B2 (en) | 2007-06-12 | 2015-05-05 | Intel Corporation | User interface with software lensing for very long lists of content |
US7860676B2 (en) * | 2007-06-28 | 2010-12-28 | Hillcrest Laboratories, Inc. | Real-time dynamic tracking of bias |
US8359545B2 (en) * | 2007-10-16 | 2013-01-22 | Hillcrest Laboratories, Inc. | Fast and smooth scrolling of user interfaces operating on thin clients |
US8944824B2 (en) * | 2008-04-03 | 2015-02-03 | Livescribe, Inc. | Multi-modal learning system |
US20090259432A1 (en) * | 2008-04-15 | 2009-10-15 | Liberty Matthew G | Tracking determination based on intensity angular gradient of a wave |
JP2009266097A (ja) * | 2008-04-28 | 2009-11-12 | Toshiba Corp | 入力機器 |
US8373703B2 (en) * | 2008-09-24 | 2013-02-12 | Penny Beckwith | System and method for incorporating a personalized writing style into a word program |
CN101576954A (zh) * | 2009-06-10 | 2009-11-11 | 中兴通讯股份有限公司 | 书写笔画识别装置、移动终端及实现空间书写的方法 |
US9310887B2 (en) | 2010-05-06 | 2016-04-12 | James W. Wieder | Handheld and wearable remote-controllers |
US10133411B2 (en) * | 2010-06-11 | 2018-11-20 | Qualcomm Incorporated | Auto-correction for mobile receiver with pointing technology |
US9223471B2 (en) | 2010-12-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Touch screen control |
US20140236529A1 (en) * | 2013-02-18 | 2014-08-21 | Motorola Mobility Llc | Method and Apparatus for Determining Displacement from Acceleration Data |
WO2014201631A1 (en) * | 2013-06-19 | 2014-12-24 | Nokia Corporation | Electronic-scribed input |
US9280214B2 (en) | 2013-07-02 | 2016-03-08 | Blackberry Limited | Method and apparatus for motion sensing of a handheld device relative to a stylus |
DE102013110581B4 (de) | 2013-09-24 | 2018-10-11 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung und Vorrichtung hierzu |
US9953219B2 (en) | 2014-02-12 | 2018-04-24 | Mattel, Inc. | Apparatus for recognizing handwritten notes |
CN106575150B (zh) | 2014-08-16 | 2020-03-03 | 谷歌有限责任公司 | 使用运动数据识别手势的方法和可穿戴计算设备 |
USD797107S1 (en) * | 2015-07-02 | 2017-09-12 | Datalogic Ip Tech S.R.L. | Portable terminal |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
US20190007536A1 (en) | 2017-07-03 | 2019-01-03 | Essential Products, Inc. | Handheld writing implement form factor mobile device |
US10462345B2 (en) | 2017-08-11 | 2019-10-29 | Essential Products, Inc. | Deformable structure that compensates for displacement of a camera module of a camera accessory |
US11903734B2 (en) | 2019-01-02 | 2024-02-20 | International Business Machines Corporation | Wearable multiplatform sensor |
KR20230047761A (ko) | 2021-10-01 | 2023-04-10 | 주식회사 에이유이 | 3차원 전자펜을 이용한 글자 입력 시스템 |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3906444A (en) | 1973-10-11 | 1975-09-16 | Stanford Research Inst | Special pen and system for handwriting recognition |
US3915015A (en) | 1974-03-18 | 1975-10-28 | Stanford Research Inst | Strain gauge transducer system |
USRE29765E (en) | 1974-03-18 | 1978-09-19 | Sri International | Strain gauge transducer system |
US4241409A (en) | 1977-12-30 | 1980-12-23 | Nolf Jean Marie | Hand held pen-size calculator |
US4345239A (en) | 1980-06-20 | 1982-08-17 | International Business Machines Corporation | Apparatus for determining pen acceleration |
US4468694A (en) | 1980-12-30 | 1984-08-28 | International Business Machines Corporation | Apparatus and method for remote displaying and sensing of information using shadow parallax |
US4513437A (en) | 1982-06-30 | 1985-04-23 | International Business Machines Corporation | Data input pen for Signature Verification |
US4545018A (en) | 1982-09-01 | 1985-10-01 | Westinghouse Electric Corp. | Calibration of automated laser machining apparatus |
US4561105A (en) | 1983-01-19 | 1985-12-24 | Communication Intelligence Corporation | Complex pattern recognition method and system |
JPS59183428A (ja) * | 1983-04-01 | 1984-10-18 | Hitachi Ltd | 手書き入出力表示装置及び手書き入出力表示装置の表示方法 |
US4731857A (en) | 1984-06-29 | 1988-03-15 | International Business Machines Corporation | Recognition system for run-on handwritten characters |
US4751741A (en) | 1984-07-19 | 1988-06-14 | Casio Computer Co., Ltd. | Pen-type character recognition apparatus |
US4737773A (en) * | 1984-09-04 | 1988-04-12 | Nec Corporation | Graphical display apparatus having a coordinate correction circuit |
US5226091A (en) | 1985-11-05 | 1993-07-06 | Howell David N L | Method and apparatus for capturing information in drawing or writing |
SE450604B (sv) | 1986-04-28 | 1987-07-06 | Eric Rothfjell | Forfarande jemte en anordning for signaturverifiering |
US4787051A (en) | 1986-05-16 | 1988-11-22 | Tektronix, Inc. | Inertial mouse system |
US4988981B1 (en) | 1987-03-17 | 1999-05-18 | Vpl Newco Inc | Computer data entry and manipulation apparatus and method |
US4806707A (en) | 1988-02-12 | 1989-02-21 | Calcomp Inc. | 3-Dimensional digitizer pen |
US4883926A (en) | 1988-04-21 | 1989-11-28 | Hewlett-Packard Company | Stylus switch |
US5239292A (en) | 1988-10-04 | 1993-08-24 | Crosfield Electronics Ltd. | Computer graphics system electronically simulating painting on canvas |
US5022086A (en) | 1988-12-20 | 1991-06-04 | Sri International, Inc. | Handwriting apparatus for information collection based on force and position |
JP2812978B2 (ja) * | 1989-03-27 | 1998-10-22 | キヤノン株式会社 | 座標入力装置及びその入力座標の較正方法 |
US5159321A (en) | 1989-08-18 | 1992-10-27 | Matsushita Electric Industrial Co., Ltd. | Pen-type computer input device |
EP0413607A3 (en) | 1989-08-18 | 1991-04-03 | Matsushita Electric Industrial Co., Ltd. | Pen-type computer input device |
JPH0748174B2 (ja) | 1989-09-04 | 1995-05-24 | 松下電器産業株式会社 | ペン型のコンピュータ入力装置 |
US5440326A (en) | 1990-03-21 | 1995-08-08 | Gyration, Inc. | Gyroscopic pointer |
US5408382A (en) | 1992-01-10 | 1995-04-18 | Norand Corporation | Terminal and docking mechanism with open channel members and guide rollers |
US5025314A (en) | 1990-07-30 | 1991-06-18 | Xerox Corporation | Apparatus allowing remote interactive use of a plurality of writing surfaces |
US5396265A (en) | 1990-09-17 | 1995-03-07 | Massachusetts Institute Of Technology | Three-dimensional tactile computer input device |
US5181181A (en) | 1990-09-27 | 1993-01-19 | Triton Technologies, Inc. | Computer apparatus input device for three-dimensional information |
JP2726594B2 (ja) | 1991-04-01 | 1998-03-11 | 八洲電機株式会社 | 記憶ペン |
US5164585A (en) | 1991-09-24 | 1992-11-17 | Daniel Y. T. Chen | Stylus/digitizer combination with elongate reflectors and linear CCD |
JPH07500434A (ja) | 1991-10-23 | 1995-01-12 | ユエン,ヘンリー シー. | バーコード行列形テレビカレンダ |
US5247137A (en) | 1991-10-25 | 1993-09-21 | Mark Epperson | Autonomous computer input device and marking instrument |
US5294792A (en) | 1991-12-31 | 1994-03-15 | Texas Instruments Incorporated | Writing tip position sensing and processing apparatus |
JPH0644005A (ja) | 1992-01-24 | 1994-02-18 | Seiko Instr Inc | 座標入力装置 |
CA2060564C (en) | 1992-02-06 | 1996-05-21 | Toru Suzuki | Wireless input system for computer |
US5477012A (en) | 1992-04-03 | 1995-12-19 | Sekendur; Oral F. | Optical position determination |
US5570109A (en) | 1992-05-27 | 1996-10-29 | Apple Computer, Inc. | Schedule and to-do list for a pen-based computer system |
ATE148952T1 (de) | 1992-07-08 | 1997-02-15 | Smart Pen Inc | Vorrichtung und verfahren zur abbildung geschriebener informationen. |
US5296871A (en) | 1992-07-27 | 1994-03-22 | Paley W Bradford | Three-dimensional mouse with tactile feedback |
US5526018A (en) | 1992-10-02 | 1996-06-11 | Foundation Microsystems, Inc. | Stretching scales for computer documents or drawings |
WO1994009447A1 (en) | 1992-10-13 | 1994-04-28 | Zvi Orbach | Apparatus for reading handwriting |
IL104575A (en) | 1993-02-01 | 1997-01-10 | Intex Corp | Image communication apparatus |
US5414227A (en) * | 1993-04-29 | 1995-05-09 | International Business Machines Corporation | Stylus tilt detection apparatus for communication with a remote digitizing display |
US5373857A (en) * | 1993-06-18 | 1994-12-20 | Forte Technologies, Inc. | Head tracking apparatus |
US5444192A (en) | 1993-07-01 | 1995-08-22 | Integral Information Systems | Interactive data entry apparatus |
US5724264A (en) * | 1993-07-16 | 1998-03-03 | Immersion Human Interface Corp. | Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object |
US5436792A (en) | 1993-09-10 | 1995-07-25 | Compaq Computer Corporation | Pivotable docking station for use with notepad computer systems |
US5558091A (en) * | 1993-10-06 | 1996-09-24 | Biosense, Inc. | Magnetic determination of position and orientation |
US5583323A (en) * | 1993-11-05 | 1996-12-10 | Microfield Graphics, Inc. | Calibration of graphic data-acquisition tracking system |
US5615132A (en) * | 1994-01-21 | 1997-03-25 | Crossbow Technology, Inc. | Method and apparatus for determining position and orientation of a moveable object using accelerometers |
US5434371A (en) | 1994-02-01 | 1995-07-18 | A.T. Cross Company | Hand-held electronic writing tool |
IL108566A0 (en) | 1994-02-04 | 1994-05-30 | Baron Research & Dev Company L | Handwriting input apparatus using more than one sensing technique |
IL108565A0 (en) | 1994-02-04 | 1994-05-30 | Baron Research & Dev Company L | Improved information input apparatus |
US5512892A (en) | 1994-02-25 | 1996-04-30 | International Business Machines Corporation | Hand held control device |
USD362663S (en) | 1994-08-19 | 1995-09-26 | Alps Electric (Usa) Inc. | Docking station for a pen computer |
AU4144796A (en) | 1994-11-07 | 1996-05-31 | Baron Motion Communications, Inc. | Multi-dimensional electrical control device |
US5587560A (en) | 1995-04-10 | 1996-12-24 | At&T Global Information Solutions Company | Portable handwritten data capture device and method of using |
US5657054A (en) * | 1995-04-26 | 1997-08-12 | Texas Instruments Incorporated | Determination of pen location on display apparatus using piezoelectric point elements |
US6029111A (en) * | 1995-12-28 | 2000-02-22 | Magellan Dis, Inc. | Vehicle navigation system and method using GPS velocities |
US5703623A (en) * | 1996-01-24 | 1997-12-30 | Hall; Malcolm G. | Smart orientation sensing circuit for remote control |
US5902968A (en) * | 1996-02-20 | 1999-05-11 | Ricoh Company, Ltd. | Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement |
US5751276A (en) * | 1996-05-23 | 1998-05-12 | Microsoft Corporation | Method for calibrating touch panel displays |
US5777898A (en) * | 1996-08-19 | 1998-07-07 | Symbios Logic Inc. | Method and apparatus for aligning a digitizing panel with a display device |
US5953683A (en) * | 1997-10-09 | 1999-09-14 | Ascension Technology Corporation | Sourceless orientation sensor |
-
1997
- 1997-12-23 US US08/999,010 patent/US6181329B1/en not_active Expired - Lifetime
-
1998
- 1998-12-28 JP JP37336498A patent/JP3712879B2/ja not_active Expired - Fee Related
-
2000
- 2000-11-21 US US09/721,045 patent/US6492981B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6181329B1 (en) | 2001-01-30 |
JPH11288356A (ja) | 1999-10-19 |
US6492981B1 (en) | 2002-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3712879B2 (ja) | 手書き入力方法及び手書き入力装置 | |
US6212296B1 (en) | Method and apparatus for transforming sensor signals into graphical images | |
KR100543701B1 (ko) | 공간형 입력 장치 및 방법 | |
US20090183929A1 (en) | Writing system with camera | |
US20070139399A1 (en) | Systems and methods for enabling tablet PC/pen to paper space | |
US6081261A (en) | Manual entry interactive paper and electronic document handling and processing system | |
US6906703B2 (en) | Electronic module for sensing pen motion | |
EP1731996A2 (en) | Writing system | |
US20040140962A1 (en) | Inertial sensors integration | |
CN110785729B (zh) | 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法 | |
US20040114834A1 (en) | Handwritten character recording and recognition device | |
CN104020860A (zh) | 信息输入输出装置 | |
JP2004288188A (ja) | マグネチックセンサを用いたペン型入力システムおよびその軌跡復元方法 | |
US8754851B2 (en) | Remote controls for electronic display board | |
KR100360477B1 (ko) | 무선전자펜 | |
Zhang et al. | Towards an ubiquitous wireless digital writing instrument using MEMS motion sensing technology | |
EP1380006B1 (en) | Handwritten character recording and recognition device | |
JPH0667799A (ja) | ペン型のコンピュータ入力装置 | |
JP3505057B2 (ja) | ペン型入力装置 | |
JP2001100908A (ja) | ペン先軌跡生成方法、ペン型入力装置及びペン装着ユニット | |
JPH1145150A (ja) | ペン型入力装置 | |
KR100480792B1 (ko) | 공간형 정보 입력 방법 및 장치 | |
KR20230047761A (ko) | 3차원 전자펜을 이용한 글자 입력 시스템 | |
JP2009059230A (ja) | ペン型入力装置及びその入力方法 | |
Megala et al. | Handwritten and Gesture Recognition Using an Accelerometer Based Digital Pen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |