JP3712879B2 - 手書き入力方法及び手書き入力装置 - Google Patents

手書き入力方法及び手書き入力装置 Download PDF

Info

Publication number
JP3712879B2
JP3712879B2 JP37336498A JP37336498A JP3712879B2 JP 3712879 B2 JP3712879 B2 JP 3712879B2 JP 37336498 A JP37336498 A JP 37336498A JP 37336498 A JP37336498 A JP 37336498A JP 3712879 B2 JP3712879 B2 JP 3712879B2
Authority
JP
Japan
Prior art keywords
predetermined position
voltage
sensor
writing instrument
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37336498A
Other languages
English (en)
Other versions
JPH11288356A (ja
Inventor
アンジェロ マイケル
ジー ストーク デイビッド
ウォルフ グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPH11288356A publication Critical patent/JPH11288356A/ja
Application granted granted Critical
Publication of JP3712879B2 publication Critical patent/JP3712879B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/228Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device

Description

【0001】
【発明の属する技術分野】
本発明は、筆記具の筆記位置を追跡する技術に係り、特に、筆記具の位置を追跡する装置やシステムを構成する技術に関する。
【0002】
【従来の技術】
従来、コンピュータや他の装置に情報を入力するための数々の入力装置がある。一般的には、それらの装置、つまり、マウス、タッチセンサ、パッド等は、情報が入力される装置に物理的に接続されている。そして、そのような入力装置は、ペンや鉛筆のような筆記具で簡単に情報を入力できるようには構成されていない。これに対し、ファクシミリ送信文の作成や予定表への予定記入のような動作に際しては、ファクシミリ用のメッセージを作成したり予定表に予定を記入したりたりすることができる従来の電子的な入力装置(例えばモバイルコンピュータやノート型パーソナルコンピュータ等)を用いるよりも、コンピュータ等に物理的に接続されていないような通常のペンや鉛筆でメッセージを作成したり予定を記入したりする方がより簡単である。
【0003】
【発明が解決しようとする課題】
電子的な入力装置としての筆記具を得るためには、筆記具の位置を追跡するための装置やシステムが必要となる。つまり、筆記具の動きをモニタし、その動きをユーザが入力した文字や図形等の表現に変換するような装置やシステムが望まれている。このような装置やシステムでは、筆記具による筆記の追跡を良好に行うために、ユーザの筆記による入力情報を正確に受信する必要がある。しかしながら、筆記具は、標高や温度等の条件が様々であるというような多くの異なる環境の下で使用される。このため、筆記具の位置を追跡する追跡装置や追跡システムを実現させたとしても、筆記具の追跡動作を正確に行うことが困難であり、その結果、ユーザの筆記入力を正確に受信することができないであろうことが予想される。そこで、筆記具が使用される環境を考慮しつつ、自らの動きをモニタすることができる筆記具の構成方法や校正装置の実現が望まれる。
【0004】
本発明の目的は、筆記具の筆記位置を追跡する装置を校正することである。
【0005】
【課題を解決するための手段】
本発明は、筆記具の位置を追跡する装置を校正するための方法及び装置である。本発明では、筆記具の位置に基づく出力を生成する複数個のセンサが設けられている。センサの読み取りによって、複数の所定の筆記具位置が得られる。筆記具の位置に合わせたセンサ出力のマッピンは、所定位置でのセンサの読み取り結果に基づいて生成される。
【0006】
請求項1記載の手書き入力方法の発明は、筆記具の位置に応じて生成される複数個のセンサの出力に基づいて筆記具の筆記位置を追跡する装置を校正する方法であって、筆記具の所定の複数位置でセンサの読み取り結果を得る過程と、所定の複数位置でのセンサの読み取り結果に基づいて筆記具の位置に合わせてセンサ出力のマッピングを生成する過程と、を備える。
【0007】
請求項2記載の発明は、請求項1記載の発明において、筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、所定位置でのセンサ出力に基いて将来のセンサ出力に対応する将来の筆記具の位置における多項式近似値を判定し、多項式近似値は、所定の各位置でのセンサの出力を含む。
【0008】
請求項3記載の発明は、請求項1記載の発明において、筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、筆記具が第1の所定位置に位置する場合に第1の所定位置に合わせて特定のセンサによる第1の出力電圧をマッピングする過程と、筆記具が第2の所定位置に位置する場合に第2の所定位置に合わせて特定のセンサによる第2の出力電圧をマッピングする過程と、第1の所定位置と第2の所定位置との間での筆記具の位置に合わせて第1の電圧と第2の電圧との間でのセンサの出力電圧をマッピングする過程と、を備える。
【0009】
請求項4記載の発明は、請求項1記載の発明において、筆記面の傾斜を補うために、筆記具の位置に合わせてセンサ出力のマッピングを変更する過程を更に備える。
【0012】
請求項記載の発明は、請求項3記載の発明において、筆記具が第3の所定位置に位置する場合に第3の所定位置に合わせて特定のセンサによる第3の出力電圧をマッピングする過程と、第2の所定位置と第3の所定位置との間での筆記具の位置に合わせて第2の電圧と第3の電圧との間でのセンサの出力電圧をマッピングする過程と、を更に備える。
【0013】
請求項記載の発明は、請求項1記載の発明において、センサは第1の加速度計と第2の加速度計と第3の加速度計とから構成され、加速度計の出力は、各加速度計によって計測された重力の力の比例する電圧である。
【0014】
請求項記載の発明は、請求項1記載の発明において、センサは第1のジャイロスコープと第2のジャイロスコープと第3のジャイロスコープとから構成され、ジャイロスコープの出力は、各ジャイロスコープによって計測された角速度に比例する電圧である。
【0015】
請求項記載の発明は、請求項3記載の発明において、第1の所定位置は第2の所定位置に対して第1の直角の位置である。
【0016】
請求項記載の発明は、請求項記載の発明において、第1の所定位置は、第2の所定位置に対して第2の直角の位置であり、第3の所定位置に対して第3の直角の位置である。
【0017】
請求項10記載の発明は、請求項3記載の発明において、第1の所定位置は、前記センサが筆記面に対して垂直に保持される位置に設けられている
【0018】
請求項11記載の発明は、請求項1または2記載の発明において、所定の複数位置のうち少なくとも1つの位置は、センサが筆記面に対して垂直に保持される位置に設けられている
【0020】
請求項12記載の手書き入力装置の発明は、入力装置の動きを追跡する装置であって、入力装置の所定の複数位置でセンサの読み取り結果を得る手段と、所定の位置でのセンサの読み取り結果に基づいて入力装置の位置に合わせてセンサ出力のマッピングを生成する手段と、を備える。
【0021】
請求項13記載の発明は、請求項12記載の発明において、入力装置の位置に合わせてセンサ出力のマッピングを生成する手段は、入力装置が第1の所定位置に位置する場合に第1の所定位置に合わせて特定のセンサによる第1の出力電圧をマッピングする手段と、入力装置が第2の所定位置に位置する場合に第2の所定位置に合わせて特定のセンサによる第2の出力電圧をマッピングする手段と、第1の所定位置と第2の所定位置との間での入力装置の位置に合わせて第1の電圧と第2の電圧との間でのセンサの出力電圧をマッピングする手段と、を備える。
【0022】
請求項14記載の発明は、請求項13記載の発明において、筆記具が第3の所定位置に位置する場合に第3の所定位置に合わせて特定のセンサによる第3の出力電圧をマッピングする手段と、第2の所定位置と第3の所定位置との間での筆記具の位置に合わせて第2の電圧と第3の電圧との間でのセンサの出力電圧を補間する手段と、を更に備える。
【0023】
請求項15記載の手書き入力装置の発明は、筆記具を追跡する装置であって、対応する方向への加速度に応じて出力電圧を生成する複数個の加速度計と、筆記具が複数の所定位置に位置する場合に、加速度計の出力電圧に基づいて加速度計の出力電圧をマップする校正回路と、を備える。
【0024】
請求項16記載の発明は、請求項15記載の発明において、複数個の加速度計は、筆記具が第1の所定位置に位置する場合に第1の電圧を、筆記具が第2の所定位置に位置する場合に第2の電圧を出力する第1の加速度計と、筆記具が第1の所定位置に位置する場合に第3の電圧を、筆記具が第2の所定位置に位置する場合に第4の電圧を出力する第2の加速度計と、を備え、校正回路は、第1の所定位置に合わせて第1の電圧及び第3の電圧をマップし、第2の所定位置に合わせて第2の電圧及び第4の電圧をマップし、第1の所定位置と第2の所定位置との間での筆記具の位置に合わせて第1の電圧と第2の電圧との間の電圧及び第3の電圧と第4の電圧との間の電圧をマップする。
【0025】
請求項17記載の発明は、請求項16記載の発明において、第1の所定位置は、第2の所定位置に対して第1の直角の位置である。
【0026】
請求項18記載の発明は、請求項16記載の発明において、筆記具が第1の所定位置に位置する場合に第5の電圧を出力し、筆記具が第2の所定位置に位置する場合に第6の電圧を出力する第3の加速度計を備え、校正回路は、第1の所定位置に合わせて第5の電圧をマップし、第2の所定位置に合わせて第6の電圧をマップし、第1の所定位置と第2の所定位置との間の位置に合わせて第5の電圧と第6の電圧との間の電圧をマップする。
【0027】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。本実施の形態は、筆記具のような入力装置の位置を追跡する装置あるいはシステムを校正するための方法及び装置に関する。以下の記述においては、本発明の理解のために本発明を説明するという目的で、数々の特定の細部が規定されていく。しかし、当業者にとっては、そのような特定の細部の説明なしに、本発明を実施することができるはずである。例えば、良く知られた構造や装置がブロック図等の手法で示される。これは、本発明を曖昧にすることを避けるためである。
【0028】
ここで述べられる追跡装置あるいはシステムは、例えば、筆記具の位置を追跡する。筆記具については、例えば、"METHOD AND APPARATUS FOR PEN-BASED FAXING"と題して1997年9月30日に米国特許商標局に提出した出願番号08/940,832や、"MANUAL ENTRY INTERACTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND PROCESSING SYSTEM"と題して1995年11月1日に米国特許商標局に提出した出願番号08/551,535に記述されている。これらの出願は、本出願の譲渡人と同一の譲渡人に譲渡されている。このような筆記具は、ユーザが普通に筆記をするような動作をユーザに許容し、ユーザによってなされた筆の運びによるデータは、ペン形ファクシミリの場合にはファクシミリ装置に送信され、データ入力装置の場合にはデータエントリとして用いられる。
【0029】
勿論、本発明の位置追跡装置もしくはシステムを他の態様で用いることも可能である。例えば、"DIRECT POINTING APPARATUS FOR DIGITAL DISPLAY"と題して1997年4月18日に米国特許商標局に提出した出願番号08/840,552に記述されている装置のようなワイヤレスポインティング装置に本発明により校正される追跡装置もしくはシステムを適用しても良い。なお、1997年4月18日に米国特許商標局に提出した出願番号08/840,552は、本出願の譲渡人と同一の譲渡人に譲渡されている。
【0030】
以下では、筆記具の筆記位置を追跡する装置もしくはシステムを校正するための方法及び装置を例に挙げて説明する。もっとも、ここでの校正方法及び装置は、カーソル制御装置等のような他の実施の態様に等しく適用可能である。
【0031】
本実施の形態における筆記具は、3つの加速度センサ(加速度計)及び3つの角速度センサ(ジャイロスコープ)を備えるペン形装置によって構成されている。センサからの出力は、オイラー変換を介して処理される。筆記具を使用するに先立ち、ユーザは、複数の所定位置に筆記具を保持する。これらの位置で、センサの読み取り結果が得られ、これがマッピング処理される。換言すると、電圧レベル等のセンサ出力は、追跡装置もしくはシステムによって所定位置で規定されることになる。そして、センサの読み取り結果は、標高や温度、筆記面の傾斜等のような環境の変化を補うために予測されるセンサの読み取り結果と比較される。こうして行われた校正後、所定位置で得られたセンサの出力を補完することによって、所定位置以外の位置でのセンサの読み取り結果もその位置に対応するようにマッピングされる。このようなセンサ出力のマッピングは、所定位置以外の位置での筆記具の位置の追跡を許容する。
【0032】
ユーザが筆記具で筆記を行った場合、センサの出力は、筆記具の位置を追跡するために用いられ、こうしてユーザによってなされた筆の運びが規定される。筆の運びを描写するデータは、メッセージのファクシミリ送信、予定の記録、他の類似の仕事のような各種の仕事を完遂するために、格納されて処理される。筆の運びのデータは、光学的なキャラクタ認識装置(OCR)を用いて格納されたキャラクタやテンプレートを当てはめるような構成ではなく、現実に筆記具によってなされた筆の運びの図形表現によって構成される。そして、筆記データの処理は、筆記具自体において、あるいは、遠隔地に置かれたコンピュータ装置によって行われる。
〔筆記具〕
複合センサを有する本発明の筆記具の一態様について説明する。この筆記具は、物理的に筆記できることが要求されるわけではない。追跡可能な筆記動作を行うことができれば、いかなる器具や装置であっても良い。加えて、ユーザが行なう現実の筆の運びが追跡されて処理されるという構造上、ユーザの手書き品質は重要視されない。
【0033】
図1は、位置が追跡される筆記具10の一例を示す。筆記具10の下部には、インク供給部110及びペン先180が設けられている。上述したように、筆記具10は、筆記面190のような面に現実に筆記できるような構成である必要はない。したがって、インク供給部110は、ペンタイプの筆記器具が求められる場合にのみ備えられていれば良い。筆記面190には、無地の紙片や、特別の書式をもった用紙や、その他の種類の筆記面を用いることができる。
【0034】
筆記具10の上部には、センサとしての追跡センサ120、バッテリ130、送受信器140及びディスプレイ150が設けられている。ディスプレイ150には、LED(light emitting diode)やLCD(liquid crystal display)が用いられている。追跡センサ120は、3つの加速度計122,123,124及び3つのジャイロスコープ126,127,128によって構成されている。もっとも、センサの数やタイプについては、期待する正確性及び筆記具10が用いられる環境等に従い適宜選択することができる。一例として、追跡センサ120は、位置追跡システムの固定フレームにおける3次元(つまり、x,y,z)上で移動及び加速度に関するデータを提供する。
【0035】
ペン先180及び加速度計122,123,124は、筆記具が筆記面190に接触している場合の判定に用いられる。一例としては、ペン先180が筆記面に接触している場合の筆の運びだけが処理される。勿論、空中での筆記をユーザに許容するような他の態様も実施可能である。この場合、ペン先180が筆記面に接触している場合の筆の運びだけを選択するのと同様の処理としては、ユーザによる筆記具10でのボタンの押下やスイッチのオンオフ動作のような手法を用いることができる。
【0036】
バッテリ130は、追跡センサ120、送受信器140、ディスプレイ150及び給電が要求される筆記具10の他の構成要素に対して電力を供給する。送受信器140は、追跡センサ120からのデータ及び他のデータを校正回路を含む遠隔コンピュータ装置175に送信する。送受信器140は、また、遠隔コンピュータ装置175からデータを受信する。ディスプレイ150は、ユーザにフィードバックを提供する。そして、遠隔コンピュータ装置175としては、パーソナルコンピュータやファクシミリ装置、あるいは他のコンピュータ装置を用いることができる。
【0037】
筆記具10を使用するために、ユーザは、筆記面190にメッセージを筆記する。ペン先180及びインク供給部110は、ユーザに対し、紙片上に筆記をするかのような状態でのメッセージの筆記を許容する。但し、上述したように、筆記面190上でメッセージを記録することは必ずしも必要ではないが、そのようにした場合には、ユーザの記録のためにメッセージのコピーを残すことができる。
【0038】
ユーザがメッセージを筆記した場合、追跡センサ120は、メッセージを記録するためになされた筆の運びをモニタする。この場合の筆の運びは、メッセージを記録するためになされた一連の筆の運びである。追跡センサ120からのデータは、送受信器140を介して遠隔コンピュータ装置175に送信される。あるいは、追跡センサ120からのデータは、筆記具10に格納されて処理されても良い。
【0039】
筆記が筆記具10でなされた場合、追跡センサ120からの追跡データは、記録されて処理される。一例として、追跡センサ120によって出力された筆の運びのデータは、所定の電圧である。加速度計122,123,124では、その出力電圧は、筆記具10の移動フレームにおいて3つの各方向(つまり、x,y,z)で測定された加速度に比例する。筆記具10が静止状態である場合、それらの加速度は、重力(−9.81m/sec2 )の力によってなり立つ。ジャイロスコープ126,127,128では、その出力電圧は、筆記具10の移動フレームにおいて3つの各方向(例えば、x,y,z)での筆記具10の角速度に比例する。
【0040】
加速度計122,123,124及びジャイロスコープ126,127,128のそれぞれという3つのセンサによって生成される電圧レベルは、筆記具10の位置に合わせてデータをマッピングする遠隔コンピュータ装置175に送信される。電圧レベルの送信は、アナログデジタル変換器を用いてセンサ出力の電圧レベルをサンプリングし、送受信器140を介して遠隔コンピュータ装置175にデジタル情報を送信することによって完遂する。遠隔コンピュータ装置175は、センサによって出力された電圧レベルを表すデジタル情報を受信し、筆記具10の位置を判定する。
【0041】
筆記具10でメッセージを筆記するに先立ち、筆記具10を既知の位置に配置してセンサの読み取りを行なうことにより、追跡システムの校正が実行される。既知位置で得られたセンサの読み取り結果は、既知位置を規定するために利用される。遠隔コンピュータ装置175は、所定の位置でのセンサ出力に基づく補間によって、所定位置とは異なる位置に位置する筆記具10の位置に合わせてセンサの別の出力をマッピングする。補間は、多項式近似値や他の変換によって実行される。なお、追跡システムの校正については、以下に詳述する。
【0042】
校正後、遠隔コンピュータ装置175が受信した電圧レベル情報は、筆記具10の位置に合わせてマッピングされる。筆記具10の位置を判定することによって、遠隔コンピュータ装置175は、筆記具10による筆の運びを判断する。筆の運びの図形描写は、図形表示、ファクシミリメッセージ及び他の目的のために生成されて出力される。
【0043】
なお、筆記具に用いられるような位置センサシステムの別の構造としては、"MANUAL ENTRY INTERACTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND PROCESSING SYSTEM"と題して1995年11月1日に米国特許商標局に提出した出願番号08/551,535に記述されている。この出願は、本出願の譲渡人と同一の譲渡人に譲渡されている。
〔筆記位置の追跡〕
一例として、筆記具10の筆記位置の追跡は、オイラー変換を介して成し遂げられる。一般的に、オイラー変換は、追跡センサ120の出力を、筆記具10を用いたユーザによってなされる筆の運びを規定するデータに変換する。オイラー変換は、一連の3つのフレームの回転であり、球状(固定)フレームのz軸回りのψラジアン回転で始まり、フレーム1を生成する。フレーム1は、フレーム1のy軸回りにθラジアンで回転しフレーム2を生成する。フレーム2は、フレーム2のx軸回りをφラジアンで回転して筆記具フレームに到達する。一例として、フレームの回転は、上述したように実行されるが、例えば、フレームに高精度が望まれているような場合には、異なるオーダで実行されても良い。
【0044】
オイラー変換は、加速度及び角速度のデータを、既知位置からの加速度及び速度に基づいて位置データに変換するために用いられる。オイラー変換は、通常、航空ナビゲーションの分野において用いられる。もっとも、ナビゲーションのために用いた場合、オイラー変換は、筆記具の筆跡追跡のために要求される精度を持って計算されない。
【0045】
オイラー変換によって得られたデータから筆記具10による筆の運びを再生成するために、遠隔コンピュータ装置175によって加速度は2度積分され、スタート位置に関連して距離が判定される。筆記具10におけるジャイロスコープ126,127,128は、筆記具10が移動することにより筆記具10の回転角によって引き起こされる加速度を補正するために用いられる。上述したように、演算処理は、筆記具10の構成要素によって実行されても良いし、また、図1に示す遠隔コンピュータ装置175のような遠隔配置された装置によって実行されても良い。そして、そのような演算処理は、ハードウエアによって実行されても良いし、ソフトウエアによって実行されても良い。
【0046】
筆記具フレーム
【0047】
【数1】
Figure 0003712879
において、加速度を、球状フレーム
【0048】
【数2】
Figure 0003712879
での加速度に変換するために、次のオイラー変換が用いられる。
【0049】
【数3】
Figure 0003712879
あるいは、
【0050】
【数4】
Figure 0003712879
単純化のために、角度及びセンサ信号の時間上での依存性は省略されている。
筆記具フレームは、継続的に移動し、センサ出力は、球状フレームにマッピングされる。センサ出力は、各タイムステップにおいてマッピングされる。タイムステップは、望む分解能によって定まる。このタイムステップは、例えば、0.25秒程度である。
【0051】
筆記具の追跡については、"METHOD AND APPARATUS FOR TRANSFORMING SENSOR SIGNALS INTO GRAPHICAL IMAGES"と題して1997年12月23日に米国特許商標局に提出した出願番号08/996,537に記述されている。この出願は、本出願の譲渡人と同一の譲渡人に譲渡されている。
【0052】
基本的なオイラー位置追跡に加えて、筆記具10又は遠隔コンピュータ装置175によって手書き又はパターン認識が実行される構成であっても良い。例えば、オイラー変換パラメータは、実際の筆の運びからの既知の偏差のために調節される。また、隠れマルコフモデル(HMM)やニューラルネットワーク等のような別のパターン認識技術を用いることもできる。
〔センサ校正〕
筆記具は、温度条件の相違や標高の相違等、センサ出力に影響を及ぼす様々な環境において用いられることがあるため、本発明の実施の一形態として、センサ校正が行なわれる。センサ校正は、センサを既知の加速度要素を伴う既知の環境にセンサを置き、筆記具10の位置を判定するための既知位置で選られた(電圧、加速度)ペア間の補間を行うために、多項式近似値を用いて行われる。例えば、x軸加速度計のような加速度計(122,123,124)の一つが重力方向に対して垂直である場合、加速度計の出力は−9.81m/sec2に対応し、他の二つの加速度計は0m/sec2を読み出す。そして、筆記具10が90度回転すると、x軸加速度計は重力方向と平行になり、その出力は0m/sec2に対応する。そこで、(ν1,−9.81)及び(ν2,0)を得る2つの点は電圧位置ラインに適合し、これによって、受信した新たな電圧は、電圧位置ラインによって判定されるように、筆記具10の位置を表すことになる。類似のライン適合は、別の加速度計(122,123,124)についても実行される。もしも、高いオーダの適合性が求められるのであれば、より多くの読み取りを行うことができるとし、また、電圧ラインを記述するために2次方程式のようなより高次の方程式を用いることができる。
【0053】
実施の一例として、センサの読み取り結果は、加速度計(122,123,124)によって計測された加速度及びジャイロスコープ(126,127,128)によって測定された角速度に比例する電圧レベルによって構成されている。これらの電圧レベルは、例えば、アナログデジタル変換された入力や、遠隔コンピュータ装置175に送信され筆記具10の位置を追跡するために用いられる出力として用いることが可能である。筆記具10に対して垂直である面は重力に対して垂直ではないので、変換結果には面の二つの傾斜角(α,β)が含まれている。実施の一例として、筆記具10のユーザは、センサが筆記面190に対して垂直に保持される所定の3個所で筆記具10を保持する。各加速度計(122,123,124)について傾斜とインターセプト(m,b)とが計算され、次式に従い電圧が加速度に変換される。
【0054】
(Acc=mV+b) 式3
それらの8つのパラメータ(つまり、3つの加速度計のそれぞれについての1つの傾斜及びインターセプト及び2つの傾斜角)に関し、次式が解かれる。
ケース1:
【0055】
【数5】
Figure 0003712879
ケース2:
【0056】
【数6】
Figure 0003712879
ケース3:
【0057】
【数7】
Figure 0003712879
8つのパラメータに設定される解は、式4〜12の各左項を2乗し、その結果を加え、各パラメータに関して式の結果を減ずることによって見出すことができる。このような演算処理は、ハードウエアかソフトウエアかのいずれか一方で実行される。
【0058】
上述した8つのパラメータについての解は、センサの読みとの結果に筆記具10の位置に対応するマッピングを許容する。式4〜12によって提供されるマッピングは、リニアなマッピングである。センサの読み取り結果を追加の所定位置で得ることにより、より高いオーダのマッピングを行うこともできる。
〔筆記具の形状〕
ユーザ向けの簡単な校正のために、筆記具10は、1又は複数個の平坦面を備える。これらの面は、センサの校正のための読み取り結果を得る目的で、筆記面190に対して保持される。そのような読み取りがなされた後、上述したような校正計算がセンサの読み取りと共に実行される。校正のための読み取り結果は、追跡装置もしくはシステムを構成するために用いられる。
【0059】
択一的に、スタンドや分度器等を既知位置で筆記具10を保持するために用いることができる。このような道具を用いることで、筆記具10に校正目的のための平坦面を設ける必要がなくなる。
【0060】
図2は、3つの校正面200,210,230を備えた筆記具10の実施の一例を示す斜視図である。筆記具10は、3の校正面200,210,230を備える。校正シーケンスは、校正面間の特定のシーケンス及び角度に関して上述した通りであるが、別の角度及びシーケンスを用いることもできる。いずれにしても、有効な校正シーケンスに先立ち知られていなければならない情報は、校正面間の角度関係である。
【0061】
筆記具10のユーザは、最初に、校正面200を筆記面190に対向させて保持する。筆記面190がデスク上の用紙である場合には、ユーザは、校正面200を下に向けてただ筆記具10を用紙上に置けば良い。筆記具10は、センサの読み取りが安定するのに十分な時間だけその位置に位置付けられる。この時間は、例えば、0.3秒程度であるが、その時間は、追跡装置もしくはシステムが求める精度や処理速度によって決められる。もしも筆記面190が傾斜しているなら、ユーザは、筆記具10が滑らないように筆記具10を保持することになる。
【0062】
筆記面190に対向するように校正面200が位置付けられた後、続いて筆記面210が同様に位置付けられる。実施の一例として、校正面210は校正面200に対して直角である。2つの校正面200,210が直角であることは、水準面上に位置付けられた筆記具10に対して一方向にだけ機能させる力をもたらすことに役立つ。換言すると、重力はx軸方向に沿ってだけ計測され、y軸及びz軸には加速が生じない。つまり、校正面200,210間が直角であるということは、校正のための演算処理を単純化するのに役立つ。
【0063】
最後の校正面は、ディスプレイ150が設けられている筆記具10の校正面230である。実施の一形態として、校正面230は、他の2つの校正面200,210に対して直角である。
【0064】
筆記面190上で各校正面200,210,230の読み取りがなされた後に、上述した校正のための方程式に基づく校正演算が実行され、筆記具10におけるセンサ出力が校正される。
【0065】
図3は、4つの校正面300,310,320,330を備える筆記具10の一例を示す斜視図である。図3の例示する実施の一形態では、より多くの読み取りがなされるので、電圧と加速度との間でより高いオーダの適合性が得られる。図2に例示した実施の一形態と同様に、校正シーケンスは、校正面間の特定のシーケンス及び角度に関して上述した通りであるが、別の角度及びシーケンスを用いることもできる。
【0066】
4つの校正面のうちの3つは、三角形の各辺を含む面上に形成された校正面300,310,320である。4つ目の校正面330は、ディスプレイ150が配置された筆記具10の上面に形成され、3つの各校正面300,310,320に対して直角に形成されている。これらの3つの各校正面300,310,320は、互いに直角に形成されていないので、これらの各校正面300,310,320については、校正のための演算処理が複雑化するが、これらの各校正面300,310,320の校正によってより多くの情報が得られる。よって、筆記具10の追跡をより高精度で実行することが可能となる。式4〜12は各校正面(200,210,230又は300,310,320)が直角であることを想定しているため、図3の実施の形態では、校正面300,310,320間の角度を補う修正が式4〜12に加えられる。
【0067】
ここで、校正面及び位置を幾つ用いても良い。この場合、各位置間の関係が知られているということだけが必要である。この情報とセンサからの読み取り結果とに基づいてセンサの校正が実行される。
【0068】
以上、本発明は、特定の実施の態様として述べられた。しかし、本発明の範囲内での各種の変更や修正が許容されることは言うまでもない。
【0069】
【発明の効果】
本発明は、筆記具をペンや鉛筆のような通常の筆記具として使用すると、その筆の運びをセンサで検出して電子的なデータとして利用することができる。この場合、センサを校正することで、変換結果の精度をより向上させることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態として、筆記具、筆記面及びコンピュータ装置を示す模式図である。
【図2】三つの校正面を備える筆記具の一例を示す斜視図である。
【図3】四つの校正面を備える筆記具の一例を示す斜視図である。
【符号の説明】
10, 筆記具
120 センサ
122,123,124 加速度計(第1の加速度計、第2の加速度計、第3の加速度計)
126,127,128 ジャイロスコープ(第1のジャイロスコープ、第2のジャイロスコープ、第3のジャイロスコープ)
190 筆記面
175 校正回路(遠隔コンピュータ装置)

Claims (18)

  1. 筆記具の位置に応じて生成される複数個のセンサの出力に基づいて前記筆記具の筆記位置を追跡する装置を校正する方法であって、
    前記筆記具の所定の複数位置で前記センサの読み取り結果を得る過程と、
    所定の複数位置での前記センサの読み取り結果に基づいて前記筆記具の位置に合わせてセンサ出力のマッピングを生成する過程と、
    を備える手書き入力方法。
  2. 請求項1記載の発明において、前記筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、所定位置でのセンサ出力に基いて将来のセンサ出力に対応する将来の前記筆記具の位置における多項式近似値を判定し、前記多項式近似値は、所定の各位置での前記センサの出力を含む。
  3. 請求項1記載の発明において、前記筆記具の位置に合わせてセンサ出力のマッピングを生成する過程は、
    前記筆記具が第1の所定位置に位置する場合にこの第1の所定位置に合わせて特定の前記センサによる第1の出力電圧をマッピングする過程と、
    前記筆記具が第2の所定位置に位置する場合にこの第2の所定位置に合わせて特定の前記センサによる第2の出力電圧をマッピングする過程と、
    前記第1の所定位置と前記第2の所定位置との間での前記筆記具の位置に合わせて前記第1の電圧と前記第2の電圧との間での前記センサの出力電圧をマッピングする過程と、
    を備える。
  4. 請求項1記載の発明は、筆記面の傾斜を補うために、筆記具の位置に合わせてセンサ出力のマッピングを変更する過程を更に備える。
  5. 請求項3記載の発明は、
    前記筆記具が第3の所定位置に位置する場合にこの第3の所定位置に合わせて特定の前記センサによる第3の出力電圧をマッピングする過程と、
    前記第2の所定位置と前記第3の所定位置との間での前記筆記具の位置に合わせて前記第2の電圧と前記第3の電圧との間での前記センサの出力電圧をマッピングする過程と、
    を更に備える。
  6. 請求項1記載の発明において、前記センサは第1の加速度計と第2の加速度計と第3の加速度計とから構成され、前記加速度計の出力は、各前記加速度計によって計測された重力の力の比例する電圧である。
  7. 請求項1記載の発明において、前記センサは第1のジャイロスコープと第2のジャイロスコープと第3のジャイロスコープとから構成され、前記ジャイロスコープの出力は、各前記ジャイロスコープによって計測された角速度に比例する電圧である。
  8. 請求項3記載の発明において、前記第1の所定位置は前記第2の所定位置に対して第1の直角の位置である。
  9. 請求項記載の発明において、前記第1の所定位置は、前記第2の所定位置に対して第2の直角の位置であり、前記第3の所定位置に対して第3の直角の位置である。
  10. 請求項3記載の発明において、前記第1の所定位置は、前記センサが筆記面に対して垂直に保持される位置に設けられている
  11. 請求項1または2記載の発明において、前記所定の複数位置のうち少なくとも1つの位置は、前記センサが筆記面に対して垂直に保持される位置に設けられている
  12. 入力装置の動きを追跡する装置であって、
    前記入力装置の所定の複数位置でセンサの読み取り結果を得る手段と、
    所定の位置での前記センサの読み取り結果に基づいて前記入力装置の位置に合わせてセンサ出力のマッピングを生成する手段と、
    を備える手書き入力装置。
  13. 請求項12記載の発明において、前記入力装置の位置に合わせてセンサ出力のマッピングを生成する手段は、
    前記入力装置が第1の所定位置に位置する場合にこの第1の所定位置に合わせて特定の前記センサによる第1の出力電圧をマッピングする手段と、
    前記入力装置が第2の所定位置に位置する場合にこの第2の所定位置に合わせて特定の前記センサによる第2の出力電圧をマッピングする手段と、
    前記第1の所定位置と前記第2の所定位置との間での前記入力装置の位置に合わせて前記第1の電圧と前記第2の電圧との間での前記センサの出力電圧をマッピングする手段と、
    を備える。
  14. 請求項13記載の発明は、
    前記筆記具が第3の所定位置に位置する場合にこの第3の所定位置に合わせて特定の前記センサによる第3の出力電圧をマッピングする手段と、
    前記第2の所定位置と前記第3の所定位置との間での前記筆記具の位置に合わせて前記第2の電圧と前記第3の電圧との間での前記センサの出力電圧を補間する手段と、
    を更に備える。
  15. 筆記具を追跡する装置であって、
    対応する方向への加速度に応じて出力電圧を生成する複数個の加速度計と、
    前記筆記具が複数の所定位置に位置する場合に、前記加速度計の出力電圧に基づいて前記加速度計の出力電圧をマップする校正回路と、
    を備える手書き入力装置。
  16. 請求項15記載の発明において、複数個の前記加速度計は、
    前記筆記具が第1の所定位置に位置する場合に第1の電圧を、前記筆記具が第2の所定位置に位置する場合に第2の電圧を出力する第1の加速度計と、
    前記筆記具が第1の所定位置に位置する場合に第3の電圧を、前記筆記具が第2の所定位置に位置する場合に第4の電圧を出力する第2の加速度計と、
    を備え、
    前記校正回路は、前記第1の所定位置に合わせて前記第1の電圧及び前記第3の電圧をマップし、前記第2の所定位置に合わせて前記第2の電圧及び前記第4の電圧をマップし、前記第1の所定位置と前記第2の所定位置との間での前記筆記具の位置に合わせて前記第1の電圧と前記第2の電圧との間の電圧及び前記第3の電圧と前記第4の電圧との間の電圧をマップする。
  17. 請求項16記載の発明において、前記第1の所定位置は、前記第2の所定位置に対して第1の直角の位置である。
  18. 請求項16記載の発明は、前記筆記具が前記第1の所定位置に位置する場合に第5の電圧を出力し、前記筆記具が前記第2の所定位置に位置する場合に第6の電圧を出力する第3の加速度計を備え、前記校正回路は、前記第1の所定位置に合わせて前記第5の電圧をマップし、前記第2の所定位置に合わせて第6の電圧をマップし、前記第1の所定位置と前記第2の所定位置との間の位置に合わせて前記第5の電圧と前記第6の電圧との間の電圧をマップする。
JP37336498A 1997-12-23 1998-12-28 手書き入力方法及び手書き入力装置 Expired - Fee Related JP3712879B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/999,010 US6181329B1 (en) 1997-12-23 1997-12-23 Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US08/999010 1997-12-27

Publications (2)

Publication Number Publication Date
JPH11288356A JPH11288356A (ja) 1999-10-19
JP3712879B2 true JP3712879B2 (ja) 2005-11-02

Family

ID=25545771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37336498A Expired - Fee Related JP3712879B2 (ja) 1997-12-23 1998-12-28 手書き入力方法及び手書き入力装置

Country Status (2)

Country Link
US (2) US6181329B1 (ja)
JP (1) JP3712879B2 (ja)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6686910B2 (en) * 1996-04-22 2004-02-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor apparatus and method of use
US6573887B1 (en) * 1996-04-22 2003-06-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor
CA2326642C (en) * 1998-04-03 2008-06-17 Image Guided Technologies, Inc. Wireless optical instrument for position measurement and method of use therefor
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6549935B1 (en) * 1999-05-25 2003-04-15 Silverbrook Research Pty Ltd Method of distributing documents having common components to a plurality of destinations
US7721948B1 (en) * 1999-05-25 2010-05-25 Silverbrook Research Pty Ltd Method and system for online payments
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7971784B2 (en) * 1999-05-25 2011-07-05 Silverbrook Research Pty Ltd Sensing device with mode changes via nib switch
US7175079B1 (en) * 1999-05-25 2007-02-13 Silverbrook Research Pty Ltd Method and system for online purchasing
US6640337B1 (en) * 1999-11-01 2003-10-28 Koninklijke Philips Electronics N.V. Digital television (DTV) including a smart electronic program guide (EPG) and operating methods therefor
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7161578B1 (en) * 2000-08-02 2007-01-09 Logitech Europe S.A. Universal presentation device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
DE10109760A1 (de) * 2001-02-28 2002-09-05 Unipen Ag Chipleser und Identifikationsverfahren zur Verifizierung der Benutzungsberechtigung eines Chipbenutzers
US6906703B2 (en) * 2001-03-28 2005-06-14 Microsoft Corporation Electronic module for sensing pen motion
US6831632B2 (en) * 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7061468B2 (en) * 2001-04-10 2006-06-13 Logitech Europe S.A. Hybrid presentation controller and computer input device
US6535799B2 (en) * 2001-04-30 2003-03-18 International Business Machines Corporation Dynamic technique for using corrective actions on vehicles undergoing excessive turns
US7176906B2 (en) * 2001-05-04 2007-02-13 Microsoft Corporation Method of generating digital ink thickness information
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
CN100478844C (zh) * 2001-11-05 2009-04-15 旋永南 一种图文输入装置
GB0127350D0 (en) * 2001-11-14 2002-01-02 Drs Data & Res Services Plc Vote recording & counting apparatus and method
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
KR20030072938A (ko) * 2002-03-07 2003-09-19 함운철 다기능 포인터 및 포인팅 시스템
US7221807B2 (en) * 2002-03-29 2007-05-22 Sharp Laboratories Of America, Inc. Methods and systems for digital image characteristic adjustment using a neural network
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6952046B2 (en) * 2002-06-19 2005-10-04 Foster-Miller, Inc. Electronic and optoelectronic component packaging technique
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7262764B2 (en) 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US7116840B2 (en) 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
KR100533839B1 (ko) * 2003-03-14 2005-12-07 삼성전자주식회사 동작기반 전자기기 제어장치 및 그 제어방법
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
KR100501721B1 (ko) * 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7088440B2 (en) * 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US20050142263A1 (en) * 2003-12-30 2005-06-30 Lauren Keilbach Fish food flakes
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7136054B2 (en) * 2004-01-06 2006-11-14 Microsoft Corporation Camera-pen-tip mapping and calibration
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US7453447B2 (en) * 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7342575B1 (en) 2004-04-06 2008-03-11 Hewlett-Packard Development Company, L.P. Electronic writing systems and methods
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
US7158118B2 (en) * 2004-04-30 2007-01-02 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
US7535456B2 (en) * 2004-04-30 2009-05-19 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in 3D pointing devices
EP1745458B1 (en) * 2004-04-30 2017-01-11 Hillcrest Laboratories, Inc. Methods and devices for identifying users based on tremor
JP2007535773A (ja) 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスおよびポインティング方法
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7536051B2 (en) * 2005-02-17 2009-05-19 Microsoft Corporation Digital pen calibration by local linearization
US7607076B2 (en) 2005-02-18 2009-10-20 Microsoft Corporation Embedded interaction code document
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7599560B2 (en) 2005-04-22 2009-10-06 Microsoft Corporation Embedded interaction code recognition
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US20090183929A1 (en) * 2005-06-08 2009-07-23 Guanglie Zhang Writing system with camera
US7508384B2 (en) * 2005-06-08 2009-03-24 Daka Research Inc. Writing system
US7619607B2 (en) 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
GB2428324B (en) * 2005-07-11 2011-03-23 Ryknield Executor Company Ltd Apparatus and methods relating to voting systems
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US20070038409A1 (en) * 2005-08-02 2007-02-15 Kurt Gilson Position sensing means and method
US20070030257A1 (en) * 2005-08-04 2007-02-08 Bhogal Kulvir S Locking digital pen
US7622182B2 (en) 2005-08-17 2009-11-24 Microsoft Corporation Embedded interaction code enabled display
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8313379B2 (en) * 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
JP4262726B2 (ja) * 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8870655B2 (en) * 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
US20070126716A1 (en) * 2005-11-17 2007-06-07 Jonathan Haverly Digital pen
US20070152961A1 (en) * 2005-12-30 2007-07-05 Dunton Randy R User interface for a media device
US7603633B2 (en) 2006-01-13 2009-10-13 Microsoft Corporation Position-based multi-stroke marking menus
US7688307B1 (en) 2006-01-24 2010-03-30 Zilog, Inc. Determining the distance an object has moved using an accelerometer
JP4530419B2 (ja) * 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) * 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
TWI319539B (en) * 2006-11-29 2010-01-11 Ind Tech Res Inst Pointing device
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US9024864B2 (en) 2007-06-12 2015-05-05 Intel Corporation User interface with software lensing for very long lists of content
US7860676B2 (en) * 2007-06-28 2010-12-28 Hillcrest Laboratories, Inc. Real-time dynamic tracking of bias
US8359545B2 (en) * 2007-10-16 2013-01-22 Hillcrest Laboratories, Inc. Fast and smooth scrolling of user interfaces operating on thin clients
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US20090259432A1 (en) * 2008-04-15 2009-10-15 Liberty Matthew G Tracking determination based on intensity angular gradient of a wave
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器
US8373703B2 (en) * 2008-09-24 2013-02-12 Penny Beckwith System and method for incorporating a personalized writing style into a word program
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
US9310887B2 (en) 2010-05-06 2016-04-12 James W. Wieder Handheld and wearable remote-controllers
US10133411B2 (en) * 2010-06-11 2018-11-20 Qualcomm Incorporated Auto-correction for mobile receiver with pointing technology
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US20140236529A1 (en) * 2013-02-18 2014-08-21 Motorola Mobility Llc Method and Apparatus for Determining Displacement from Acceleration Data
WO2014201631A1 (en) * 2013-06-19 2014-12-24 Nokia Corporation Electronic-scribed input
US9280214B2 (en) 2013-07-02 2016-03-08 Blackberry Limited Method and apparatus for motion sensing of a handheld device relative to a stylus
DE102013110581B4 (de) 2013-09-24 2018-10-11 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung und Vorrichtung hierzu
US9953219B2 (en) 2014-02-12 2018-04-24 Mattel, Inc. Apparatus for recognizing handwritten notes
CN106575150B (zh) 2014-08-16 2020-03-03 谷歌有限责任公司 使用运动数据识别手势的方法和可穿戴计算设备
USD797107S1 (en) * 2015-07-02 2017-09-12 Datalogic Ip Tech S.R.L. Portable terminal
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US20190007536A1 (en) 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
US11903734B2 (en) 2019-01-02 2024-02-20 International Business Machines Corporation Wearable multiplatform sensor
KR20230047761A (ko) 2021-10-01 2023-04-10 주식회사 에이유이 3차원 전자펜을 이용한 글자 입력 시스템

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3906444A (en) 1973-10-11 1975-09-16 Stanford Research Inst Special pen and system for handwriting recognition
US3915015A (en) 1974-03-18 1975-10-28 Stanford Research Inst Strain gauge transducer system
USRE29765E (en) 1974-03-18 1978-09-19 Sri International Strain gauge transducer system
US4241409A (en) 1977-12-30 1980-12-23 Nolf Jean Marie Hand held pen-size calculator
US4345239A (en) 1980-06-20 1982-08-17 International Business Machines Corporation Apparatus for determining pen acceleration
US4468694A (en) 1980-12-30 1984-08-28 International Business Machines Corporation Apparatus and method for remote displaying and sensing of information using shadow parallax
US4513437A (en) 1982-06-30 1985-04-23 International Business Machines Corporation Data input pen for Signature Verification
US4545018A (en) 1982-09-01 1985-10-01 Westinghouse Electric Corp. Calibration of automated laser machining apparatus
US4561105A (en) 1983-01-19 1985-12-24 Communication Intelligence Corporation Complex pattern recognition method and system
JPS59183428A (ja) * 1983-04-01 1984-10-18 Hitachi Ltd 手書き入出力表示装置及び手書き入出力表示装置の表示方法
US4731857A (en) 1984-06-29 1988-03-15 International Business Machines Corporation Recognition system for run-on handwritten characters
US4751741A (en) 1984-07-19 1988-06-14 Casio Computer Co., Ltd. Pen-type character recognition apparatus
US4737773A (en) * 1984-09-04 1988-04-12 Nec Corporation Graphical display apparatus having a coordinate correction circuit
US5226091A (en) 1985-11-05 1993-07-06 Howell David N L Method and apparatus for capturing information in drawing or writing
SE450604B (sv) 1986-04-28 1987-07-06 Eric Rothfjell Forfarande jemte en anordning for signaturverifiering
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US4806707A (en) 1988-02-12 1989-02-21 Calcomp Inc. 3-Dimensional digitizer pen
US4883926A (en) 1988-04-21 1989-11-28 Hewlett-Packard Company Stylus switch
US5239292A (en) 1988-10-04 1993-08-24 Crosfield Electronics Ltd. Computer graphics system electronically simulating painting on canvas
US5022086A (en) 1988-12-20 1991-06-04 Sri International, Inc. Handwriting apparatus for information collection based on force and position
JP2812978B2 (ja) * 1989-03-27 1998-10-22 キヤノン株式会社 座標入力装置及びその入力座標の較正方法
US5159321A (en) 1989-08-18 1992-10-27 Matsushita Electric Industrial Co., Ltd. Pen-type computer input device
EP0413607A3 (en) 1989-08-18 1991-04-03 Matsushita Electric Industrial Co., Ltd. Pen-type computer input device
JPH0748174B2 (ja) 1989-09-04 1995-05-24 松下電器産業株式会社 ペン型のコンピュータ入力装置
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5408382A (en) 1992-01-10 1995-04-18 Norand Corporation Terminal and docking mechanism with open channel members and guide rollers
US5025314A (en) 1990-07-30 1991-06-18 Xerox Corporation Apparatus allowing remote interactive use of a plurality of writing surfaces
US5396265A (en) 1990-09-17 1995-03-07 Massachusetts Institute Of Technology Three-dimensional tactile computer input device
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
JP2726594B2 (ja) 1991-04-01 1998-03-11 八洲電機株式会社 記憶ペン
US5164585A (en) 1991-09-24 1992-11-17 Daniel Y. T. Chen Stylus/digitizer combination with elongate reflectors and linear CCD
JPH07500434A (ja) 1991-10-23 1995-01-12 ユエン,ヘンリー シー. バーコード行列形テレビカレンダ
US5247137A (en) 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
JPH0644005A (ja) 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
CA2060564C (en) 1992-02-06 1996-05-21 Toru Suzuki Wireless input system for computer
US5477012A (en) 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5570109A (en) 1992-05-27 1996-10-29 Apple Computer, Inc. Schedule and to-do list for a pen-based computer system
ATE148952T1 (de) 1992-07-08 1997-02-15 Smart Pen Inc Vorrichtung und verfahren zur abbildung geschriebener informationen.
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5526018A (en) 1992-10-02 1996-06-11 Foundation Microsystems, Inc. Stretching scales for computer documents or drawings
WO1994009447A1 (en) 1992-10-13 1994-04-28 Zvi Orbach Apparatus for reading handwriting
IL104575A (en) 1993-02-01 1997-01-10 Intex Corp Image communication apparatus
US5414227A (en) * 1993-04-29 1995-05-09 International Business Machines Corporation Stylus tilt detection apparatus for communication with a remote digitizing display
US5373857A (en) * 1993-06-18 1994-12-20 Forte Technologies, Inc. Head tracking apparatus
US5444192A (en) 1993-07-01 1995-08-22 Integral Information Systems Interactive data entry apparatus
US5724264A (en) * 1993-07-16 1998-03-03 Immersion Human Interface Corp. Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object
US5436792A (en) 1993-09-10 1995-07-25 Compaq Computer Corporation Pivotable docking station for use with notepad computer systems
US5558091A (en) * 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
US5583323A (en) * 1993-11-05 1996-12-10 Microfield Graphics, Inc. Calibration of graphic data-acquisition tracking system
US5615132A (en) * 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
IL108565A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Improved information input apparatus
US5512892A (en) 1994-02-25 1996-04-30 International Business Machines Corporation Hand held control device
USD362663S (en) 1994-08-19 1995-09-26 Alps Electric (Usa) Inc. Docking station for a pen computer
AU4144796A (en) 1994-11-07 1996-05-31 Baron Motion Communications, Inc. Multi-dimensional electrical control device
US5587560A (en) 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US5657054A (en) * 1995-04-26 1997-08-12 Texas Instruments Incorporated Determination of pen location on display apparatus using piezoelectric point elements
US6029111A (en) * 1995-12-28 2000-02-22 Magellan Dis, Inc. Vehicle navigation system and method using GPS velocities
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
US5902968A (en) * 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US5751276A (en) * 1996-05-23 1998-05-12 Microsoft Corporation Method for calibrating touch panel displays
US5777898A (en) * 1996-08-19 1998-07-07 Symbios Logic Inc. Method and apparatus for aligning a digitizing panel with a display device
US5953683A (en) * 1997-10-09 1999-09-14 Ascension Technology Corporation Sourceless orientation sensor

Also Published As

Publication number Publication date
US6181329B1 (en) 2001-01-30
JPH11288356A (ja) 1999-10-19
US6492981B1 (en) 2002-12-10

Similar Documents

Publication Publication Date Title
JP3712879B2 (ja) 手書き入力方法及び手書き入力装置
US6212296B1 (en) Method and apparatus for transforming sensor signals into graphical images
KR100543701B1 (ko) 공간형 입력 장치 및 방법
US20090183929A1 (en) Writing system with camera
US20070139399A1 (en) Systems and methods for enabling tablet PC/pen to paper space
US6081261A (en) Manual entry interactive paper and electronic document handling and processing system
US6906703B2 (en) Electronic module for sensing pen motion
EP1731996A2 (en) Writing system
US20040140962A1 (en) Inertial sensors integration
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
US20040114834A1 (en) Handwritten character recording and recognition device
CN104020860A (zh) 信息输入输出装置
JP2004288188A (ja) マグネチックセンサを用いたペン型入力システムおよびその軌跡復元方法
US8754851B2 (en) Remote controls for electronic display board
KR100360477B1 (ko) 무선전자펜
Zhang et al. Towards an ubiquitous wireless digital writing instrument using MEMS motion sensing technology
EP1380006B1 (en) Handwritten character recording and recognition device
JPH0667799A (ja) ペン型のコンピュータ入力装置
JP3505057B2 (ja) ペン型入力装置
JP2001100908A (ja) ペン先軌跡生成方法、ペン型入力装置及びペン装着ユニット
JPH1145150A (ja) ペン型入力装置
KR100480792B1 (ko) 공간형 정보 입력 방법 및 장치
KR20230047761A (ko) 3차원 전자펜을 이용한 글자 입력 시스템
JP2009059230A (ja) ペン型入力装置及びその入力方法
Megala et al. Handwritten and Gesture Recognition Using an Accelerometer Based Digital Pen

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080826

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130826

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees