JP4853035B2 - 手書き筆跡入力システム - Google Patents

手書き筆跡入力システム Download PDF

Info

Publication number
JP4853035B2
JP4853035B2 JP2006023991A JP2006023991A JP4853035B2 JP 4853035 B2 JP4853035 B2 JP 4853035B2 JP 2006023991 A JP2006023991 A JP 2006023991A JP 2006023991 A JP2006023991 A JP 2006023991A JP 4853035 B2 JP4853035 B2 JP 4853035B2
Authority
JP
Japan
Prior art keywords
data
handwriting
ultrasonic
infrared
electronic pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006023991A
Other languages
English (en)
Other versions
JP2007206907A (ja
Inventor
博一 高柳
英夫 門井
成 大澤
欣一 小澤
仁志 和気
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentel Co Ltd
Original Assignee
Pentel Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentel Co Ltd filed Critical Pentel Co Ltd
Priority to JP2006023991A priority Critical patent/JP4853035B2/ja
Publication of JP2007206907A publication Critical patent/JP2007206907A/ja
Application granted granted Critical
Publication of JP4853035B2 publication Critical patent/JP4853035B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、被記録媒体上に軌跡を残すことができる電子ペンが発する赤外線信号と超音波信号の、受信器への到達時間差に基づいて電子ペンの位置座標を計算し、筆跡データに変換する手書き筆跡入力システムであって、超音波の飛行時間の測定に影響を与える環境条件を測定し、測定した環境条件データを元に、電子ペンの位置座標データや筆跡データを演算処理する機能を備え、筆跡データが被記録媒体上の筆跡を、より高い精度を持ち、より正確に再現するようなした手書き筆跡入力システムに関する。
従来、赤外線信号と超音波信号を用いた電子ペンの位置検出技術が知られている。例えば、特開昭62−175821号公報(特許文献1参照)及び米国特許第4,814,552号明細書(特許文献2参照)などに、電子ペンから超音波信号、もしくは赤外線信号と超音波信号を発し、超音波信号の飛行時間を元に電子ペンの位置座標を計算する技術が開示されている。
これらの位置検出技術は、次のようなものである。即ち、筆記者が、ボールペンやシャープペンシルなどの筆記可能な手段を組み込んだ電子ペンを用いて被記録媒体上に筆記すると、筆跡が被記録媒体上に記録されると共に、少なくともペン先が被記録媒体と接触している間、電子ペンが赤外線信号と超音波信号を発信する。赤外線超音波測定部が電子ペンから発信された赤外線信号と超音波信号とを受信して、赤外線信号の到達時刻と超音波信号の到達時刻の差から超音波信号の飛行時間を測定し、座標演算部が超音波信号の飛行時間から電子ペンの位置座標を演算する。電子ペンを無線にするには、例えば赤外線信号のような、超音波信号の発信タイミングを伝達する手段が必要であるが、電子ペンを有線にするならば、ケーブルを通じてタイミングを合わせればよいので、赤外線信号などを用いないことも可能である。
特開昭62−175821号公報 米国特許第4,814,552号
被記録媒体上に筆跡が記録されるような手書き筆跡入力システムにおいては、コンピュータに取り込んだ筆跡データは、被記録媒体上に記録された実の筆跡と対応づけられるものであり、筆跡データの精度や再現性は、コンピュータ内部で仮想的に定義された2次元直交座標系において評価されるよりも、被記録媒体上の2次元直交座標系において、被記録媒体上に記録された筆跡を基準として評価されるべきものである。
超音波が空気中を伝播する速度である音速は、環境条件によって変化することが知られている。音速に影響を与える環境条件としては、気温、湿度、気圧、風速などが挙げられる。座標演算部は、超音波信号の飛行時間を飛行距離に変換する際に、予め定めた一定の基準音速値を用いる。基準音速値は、例えば、想定される使用環境において、音速に影響を与える環境条件のそれぞれについて平均的もしくは代表的な値を基準値として選択し、それらの値に対応する音速値を計算もしくは測定したものである。例えば、音速は、気温の変動に対して、高温になるほど速く、低温になるほど遅くなる。従って、音速を一定とすることにより、基準温度よりも低温の環境下では、電子ペンから超音波受信部までの距離が長く、逆に基準温度よりも高温の環境下では、電子ペンから超音波受信部までの距離が短く測定されてしまうという問題がある。
このため、音速が基準音速値と異なる環境条件下では、筆跡データは、被記録媒体上に記録された実の筆跡と比較して位置的にずれてしまったり、筆跡データが表す形状が実の筆跡と異なってしまったりし、帳票入力における文字認識に失敗する確率が高くなったり、個人認証において筆跡特徴の抽出ができなくなったりしてしまうという問題点を有していた。
本発明は、被記録媒体上に記録された筆跡に対して、より高い絶対的な精度と再現性を得ることができる手書き筆跡入力システムを実現することを課題とするものである。
環境条件の測定及びそれらに対する補正処理を、赤外線超音波測定部及び/又は座標演算部を有する装置において成そうとする場合、その負荷は大きく、低消費電力及び携帯性をも要求される赤外線超音波測定部及び/又は座標演算部を有する装置においては実現不可能な場合も起こりうる。また、環境条件測定部及び測定した環境条件データを用いる再演算処理機能を持たず、位置座標データを出力する方式の既存の手書き筆跡入力システムに対して環境条件の測定及びそれらに対する補正処理を追加するには、既存部分のハードウエア及びソフトウエアに大きな変更を加える必要があった。
そこで、本発明は、予め定めた一定の音速値を用いて算出された位置座標データを、測定した環境条件データに基づいて再演算処理する機能を実現し、且つそれに際して赤外線超音波測定部及び/又は座標演算部の負荷を少なくとも従来と同じ水準に抑制し、赤外線超音波測定部及び/又は座標演算部の構成を簡略に保つか、もしくは構成を変えずに、環境条件に左右されない、高精度で再現性の高い筆跡データを得ることができる手書き筆跡入力システムを実現することを今一つの課題とする。
本発明は、少なくとも、赤外線発光素子を含む赤外線発生回路と、超音波発生素子を含む超音波発生回路と、これらの回路から発信する赤外線信号及び超音波信号を制御する制御手段と、被記録媒体上に直接軌跡を残すことが可能な機能を有する筆記部と、スイッチとから成る電子ペン、並びに少なくとも、一つ以上の赤外線受光部と、二つ以上の超音波受信部を有し、前記赤外線信号と前記超音波信号の前記赤外線受光部又は前記超音波受信部への到達時間差を計測する赤外線超音波測定部、並びに該赤外線超音波測定部から得られた到達時間差及び音速vを用いて前記電子ペンと前記超音波受信部との間の距離を計算し、該距離を用いて前記電子ペンの位置座標データを計算する座標演算部、並びに赤外線超音波測定部に影響を与える環境条件を測定する機能を有する環境条件測定部、並びに前記電子ペンの位置座標データを筆跡データに変換する機能を有する変換処理部とから成り、前記座標演算部は、前記赤外線超音波測定部から得られた到達時間差及び予め選択した一定の音速vを用いて前記電子ペンの位置座標データを計算し、前記変換処理部において、前記電子ペンの位置座標データを筆跡データに変換後、前記環境条件測定部によって測定した環境条件データに対応する音速vを用いて前記筆跡データを再演算処理する機能を有する手書き筆跡入力システムを提案するものである。
手書き筆跡入力システムは、例えば紙のような被記録媒体に筆跡を記録すると共に、ペンの位置座標を検出する上述の技術を用いて、筆記者の筆跡をコンピュータに取り込んで位置座標データから筆跡データに変換し、様々な目的のための使用に供するものを指す。位置座標データから筆跡データへの変換とは、位置座標データに、筆記者が筆記した筆跡であることに由来する運筆データといった特徴を表現する情報を付加したり、それらの特徴に基づいて個別の位置座標データに修正を加えたりする処理を指し、例えば、以下のような処理のうちの任意のものを含む。位置座標データにそれを受信した時刻に関する情報を付加する。位置座標データの取得間隔に基づいて、筆記速度を計算したり、一連の位置座標データの集合を、筆記された順序及び速度を情報として含む一つのストロークデータと認識したりする。一つのストロークデータを構成する連続する位置座標データを、滑らかな線を描くように修正する。また、ストロークデータの外接矩形の抽出及び統合や筆記位置の制限などの条件に基づいて、ストロークデータを、やはり筆記された順序などの情報を含む文字グループデータにグループ分けする、などである。手書き筆跡入力システムによって入力された筆跡データは、例えば電子機器の画面上に表示されたり、文字認識処理などを通じてコードデータ化して利用されたり、筆跡形状、運筆速度、「とめ」「はね」「はらい」といった運筆上の特徴を含む個人の筆跡特徴の抽出、個人認証などの任意の目的に使用されたりする。
本発明に係る手書き筆跡入力システムは、環境条件を測定するための環境条件測定部を備えたため、測定した環境条件データを使用することにより、例えば温度や湿度のような環境条件が変動する環境下においても、筆跡データが、被記録媒体上に記録された実の筆跡と比較して位置的にずれてしまったり、筆跡データが表す形状が実の筆跡と異なってしまったりすることなく、被記録媒体上に記録された筆跡に対して十分な精度及び再現性を持った筆跡データを得ることが可能であり、例えば帳票入力システムのような、絶対的な精度を必要とする応用領域や、個人認証のような、高い筆跡再現性を必要とする応用領域においても、本システムを適用することが可能となる。
特に、予め定めた一定の音速値を用いて算出された位置座標データを、測定した環境条件データに基づいて再演算処理する機能を持たせた構成とすることにより、環境条件を適切に測定するためのセンサの組み込みによって筐体設計に制限を加えたり、演算処理量の増加のためにより高速もしくは専用のマイクロプロセッサが必要となったりすることが無い上、環境条件測定部及び音速の補正機能を持たない既存のペン位置検出装置及び手書き筆跡入力システムに、環境条件に対する補正機能を追加することができる。
更に、本発明に係る再演算処理は、予め定めた一定の音速値を用いて算出された位置座標データを変換した筆跡データに対して適用することにより、環境条件測定部及び測定した環境条件データを用いる再演算処理機能を持たず、位置座標データを出力する方式の既存の手書き筆跡入力システムに対して、既存部分のハードウエア及びソフトウエアに大きな変更を加えることなく、補正機能を追加することができる。異なる環境条件データをそれぞれ別個のセンサで測定し、ある環境条件については座標演算部において処理し、別の異なる条件については変換処理部における再演算処理によって補正するような構成も可能である。
本発明に係る手書き筆跡入力システムは、環境条件を測定するための環境条件測定部、及び測定した結果を用いて筆跡データに適用する再演算処理の実行部を、赤外線超音波測定部及び座標演算部から切り離して、より演算能力の高いPCやPDA、携帯電話などのコンピュータ上で実行するようになし、環境条件を適切に測定するためのセンサの組み込みによって筐体設計に制限を加えたり、特に演算処理量の増加のためにより高速もしくは専用のマイクロプロセッサを必要としたりしない構成を選択し、赤外線超音波測定部及び座標演算部の負荷を、少なくとも再演算処理のない構成と同じ水準に抑制することもできる。赤外線超音波測定部及び座標演算部の負荷が増大しないことから、例えば、可能な分だけペンの発信回数を増加させ、赤外線超音波測定部が単位時間当たりに測定し生成するデータを多くして、単位時間当たりに得られる座標の数を増加させることで、更に細密な再現性を持つ筆跡データを得るといった構成を実現することもでき、筆跡特徴の抽出による個人の特定や運筆状態の解析、手書き文字認識などの筆跡データ処理に、より資することができる。環境条件測定部もしくは再演算処理の実行部のどちらかのみを切り離すような構成も可能であり、場合によって課せられる条件に応じて柔軟にシステム構築が可能な自由度が高まったといえる。
また、再演算処理を、筆跡データの変換元である全ての位置座標データに対して適用する他に、ストロークや文字を単位として適用することができる。再演算処理の適用対象をストロークや文字にすることによって、再演算処理の速度や計算量、つまりコンピュータの負荷を広範にわたって調整することができ、再演算処理の品質とコンピュータ側の負荷のバランスを考慮して再演算処理の適用方法を調整することにより、コンピュータの計算能力がそれほど高くない場合や、携帯用で省電力が望まれる場合のような、より幅広い応用領域をカバーする手書き筆跡入力システムを実現することができる。加えて、本発明に係る再演算処理は、筆跡データに対して適用することが可能であるため、筆跡データと環境条件データとを対応付けておくことにより、文字認識、個人認証、筆跡特徴の抽出など、筆跡データを利用する任意の筆跡処理の実行後に再演算処理を適用することも可能である。これにより、例えば、文字認識を行い、認識結果に応じて、より精度を必要とする内容であった場合には当該データに対してのみ本再演算処理を適用する構成のシステムであるとか、画面への表示品質を向上させるためのスムージング処理を適用してから、ストローク単位で本再演算処理を適用する構成のシステムなども容易に実現することができる。
一方で、近年のPC(パーソナルコンピュータ)やPDA(Personal Digital Assistant、携帯情報端末)、携帯電話などのコンピュータは高機能化が進んでいる。温度や湿度などの環境条件を測定できる装置でコンピュータとの通信インタフェースを持つものも多い。環境条件の測定及びそれらに対する補正処理を、赤外線超音波測定部及び/又は座標演算部を有する装置においてではなく、コンピュータ上で実行することができるため、赤外線超音波測定部及び/又は座標演算部を有する装置の構成を簡略に保つか、もしくは構成を変えないと共に、処理を実行する部位の分離による並行性の獲得によって、より大量のデータを処理する能力を得られる可能性がある。コンピュータ上では一般的により高速且つ高機能な演算能力、大量のメモリ及び複雑なプログラムを利用できる場合が多いため、例え演算処理量が増加したとしても対応できる幅が広いと期待される。
以下、添付図面に従って、本発明に係る手書き筆跡入力システムの好ましい実施の形態について詳説する。
第1の実施の形態
第1の実施の形態になる手書き筆跡入力システムは、環境条件の変動が音速に与える影響を、環境条件の測定と、測定した環境条件データに対応する音速の算出によって補正する。図1は、本実施の形態になる手書き筆跡入力システムの一例を示す斜視図である。また、図2は本実施の形態になる手書き筆跡入力システムの概略構成を示すブロック図である。
電子ペン1は、文字や図を描く際、筆記部の先端が被記録媒体5に接触している期間、赤外線信号及び超音波信号を周期的に発生するものである。
赤外線超音波測定部14、座標演算部15及び環境条件測定部4は受信装置2の内部に組み込まれ、電子ペン1が発生する赤外線信号及び超音波信号の到達時間差から、赤外線超音波測定部14が超音波信号の飛行時間を測定し、環境条件測定部4が測定した環境条件データに基づいて、座標演算部15が電子ペンの位置座標データを、被記録媒体5上の直交座標系において計算する。コンピュータ3は、変換処理部を具備するものであり、パーソナルコンピュータ、PDA、携帯電話などの電子機器であって、適宜の通信インタフェースを介して受信装置2と接続される。そして、受信装置2が電子ペン1の位置座標データをコンピュータ3に搭載した変換処理部に送信すると、変換処理部は電子ペン1の位置座標データを筆跡データに変換し、コンピュータ3に搭載したディスプレイに筆跡を表示したり、筆跡データを文字認識処理したり、記憶装置に保存したりする。
なお、被記録媒体5は、このシステムに特有のものではなく、JIS規格(例えばA4サイズ、B5サイズ)の記録紙など、電子ペン1の筆記部による筆記に適するものであれば、市場に流通する様々な材質及び大きさの媒体を採用できる。つまり、このシステムは、被記録媒体5を選択する面において汎用性を有することとなる。
電子ペン1は、ペン形状の筒容器の中に、スイッチ6、制御部7、赤外線発生回路8、超音波発生回路9、電源10、及び筆記部(図示せず)を有するものである。電子ペン1の携帯性、筆記のしやすさを考慮して、無線方式で使用できるようにするため、電源10として電池を採用する。
スイッチ6は、例えば、被記録媒体5上に文字や図を描く際、電子ペン1のペン先端部に設置した筆記部が被記録媒体5上に接触し加圧を受けたときの圧力変位に応じてオンし、筆記部が被記録媒体5上から離間し加圧が除去されたときの圧力変位に応じてオフするようにすることができる。スイッチ6がオンになったとき、制御部7は、赤外線発生回路8、超音波発生回路9に、電源10からの電源電圧を印加し、特に、赤外線信号及び超音波信号を、少なくともスイッチ6がオン状態の間、周期的に発信させる。一方、スイッチ6がオフになったとき、制御部7は、赤外線発生回路8、超音波発生回路9に、電源10からの電源電圧の供給を遮断し、発信を停止する。ただし、赤外線信号及び超音波信号の発信開始及び停止のタイミングは、必ずしもスイッチ6のオン/オフと同期させる必要はなく、スイッチ6がオフになってからも発信を継続して構わないし、スイッチ6の状態に関わりなく発信を継続し、その際スイッチ6のオン/オフに関する情報を、例えば赤外線信号にコード化して送信するようになしてもよい。更に、スイッチ6は、電子ペン1の筆記部と被記録媒体5との接触を検出するものでなく、例えば電子ペン1の把持部に配設し、筆記者が指で押下するものであってもよい。
制御部7は、少なくともスイッチ6がオンである期間、赤外線発生回路8、超音波発生回路9、電源10の動作を制御する回路であり、例えばマイクロコンピュータを採用し、マイクロコンピュータに必要な動作を実行するプログラムを内蔵することによって実現できる。
赤外線発生回路8は、少なくともスイッチ6がオンである期間、光の速度を有する赤外線信号(30THz〜300THz程度)を周期的に発生するものである。
超音波発生回路9は、少なくともスイッチ6がオンである期間、光の速度より遅い音の速度を有する超音波信号(20KHz〜100MHz程度)を、赤外線信号とペアで周期的に発生するものである。
受信装置2は、筐体の中に、赤外線受信部11、例えば2個の超音波受信部12及び13、赤外線超音波測定部14、座標演算部15、及び環境条件測定部4を実装したプリント回路基板を有するものである。
赤外線受信部11は、例えばIrDA(Infrared Data Association)規格モジュールからなる赤外線センサである。電子ペン1の赤外線発生回路8から発生する赤外線信号を受信するものであって、電子ペン1が発信する赤外線信号を遮られることなく受信できるように、受信装置2に開口部を設けるか、もしくは赤外線を透過する部品越しに配設される。
超音波受信部12及び13は、例えばPVDF(Polyvinylidene Fluoride)を用いる超音波センサである。電子ペン1の超音波発生回路9から発生する超音波信号を受信するものであって、電子ペン1が発信する超音波信号を遮られることなく受信できるように、受信装置2に開口部を設けて配設される。
環境条件測定部4は、音速に影響を与える環境条件データを測定する機能を持つものである。温度及び湿度を測定するものとして、例えば、SENSIRION社製デジタル温湿度センサSHT11のようなものを用いることができる。気圧を測定するものとしては、例えば、株式会社フジクラ製圧力センサFPM/FAMシリーズのようなものを用いることができる。また、風向・風速については、例えば特開2000−019195に提案されているような風向風速計測装置を、少なくとも被記録媒体5上の直交座標系と同じ方向のx及びy軸を持った面内の風向・風速を測定できるように配設して用いることができる。これらの測定部は、筐体外の温湿度、気圧及び風向・風速を正しく計測するために、受信装置2に開口部を設けて配設される。
赤外線超音波測定部14は、赤外線受信部11が赤外線信号を受信した後、それぞれ超音波受信部12及び13が超音波信号を受信するまでの各到達時間差を測定する。赤外線信号は約3×10m/sの光速で飛行し、一方で超音波信号は約3.5×10m/sの音速で飛行するため、超音波信号の電子ペン1から超音波受信部12及び13までの到達時間に対して、赤外線信号の電子ペン1から赤外線受信部11までの到達時間は無視できるほど小さい。このため、赤外線超音波測定部14は、測定した前記到達時間差を以て、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間とすることができる。
座標演算部15は、赤外線超音波測定部14において測定した、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間を、測定した環境条件データに対応する音速を用いて、電子ペン1からそれぞれ超音波測定部12及び13までの超音波の飛行距離に変換し、それらの飛行距離と、2個の超音波受信部12及び13の間の既知の距離とを用いて、三辺測量方式により、電子ペン1の位置座標データを計算する。
環境条件測定部4が環境条件を測定する間隔は、例えば気温、湿度、気圧のような環境条件であれば、その変動が一般に高速な現象ではないので、電子ペン1が赤外線信号及び超音波信号を発信する周期に比べて低速でよく、例えば1秒以上の間隔であっても問題ない。風速については、本来は変動速度の比較的速い現象であるので、より多くの回数の測定を行うのが好ましい。環境条件測定部4の分解能が十分に細かくない場合、環境条件データの変動に伴い、計算した音速値が大きく変化する可能性があるが、そのような構成下においては、環境条件データの移動平均を計算するなどしてその変動を滑らかにすればよい。
赤外線超音波測定部14及び座標演算部15が実行する演算処理を実装するに当たっては、例えばマイクロコンピュータを採用し、マイクロコンピュータに必要な動作を実行するプログラムを内蔵することによって実現できる。
受信装置2は、電子ペン1から赤外線信号と超音波信号を受信すると、電子ペン1の位置座標を計算し、その演算結果である位置座標データを、コンピュータ3に搭載した変換処理部16に送信する。受信装置2とコンピュータ3との間の通信インタフェースとしては、例えば、USB(Universal Serial Bus)規格、IEEE1394規格等のシリアル通信方式、赤外線通信、Bluetooth(登録商標)等の無線通信方式を採用できる。
変換処理部16は、受信装置2から送信された電子ペン1の位置座標データを受信し、電子ペン1の位置座標データを筆跡データに変換する。位置座標データから筆跡データへの変換とは、前記したように、位置座標データに、筆記者が筆記した筆跡であることに由来する特徴を表現する情報を付加したり、それらの特徴に基づいて個別の位置座標データに修正を加えたりする処理を指す。変換処理部16は、これらの処理を、位置座標データの取得間隔が長く空いたときに、まとめて実行するが、可能な場合は電子ペン1の位置座標データを受信するたびに実行してもよい。
変換処理部16が実行する演算処理を実装するに当たっては、コンピュータ3上で動作する任意のプログラミング言語を用いて、必要な動作を実行するプログラムを作成し、コンピュータ3にインストールすることによって実現できる。
筆跡データは、コンピュータ3に搭載したディスプレイに筆跡として表示されたり、文字認識処理に利用されたり、記憶装置に保存されたりする。
環境条件の変動が音速に与える影響を、環境条件の測定と、測定した環境条件データに基づいて補正し、超音波信号の飛行時間測定値から、電子ペン1の位置座標データを計算する方法を説明する。
音速v(m/s)の、1気圧における、常温付近での気温T(℃)に対する依存性は、一般に次の数式1で表される。
湿度や気圧については、少なくとも常温付近において、それらの環境条件の変動が音速に与える影響はそれほど大きくないため、湿度や気圧を考慮から外しても構わない場合は上記数式1を使用できるが、より精細な補正を必要とする場合、もしくは特に湿度や気圧の変動の大きな環境で使用する場合には、それらも考慮に入れた式を使用する。音速v(m/s)は、より一般的には下記の数式2で表される。ただし、気体の比熱比κ、気圧p(Pa)、気体の密度ρ(kg/m)とする。
上記数式2は、気温、湿度、気圧を用いた下記の数式3のような表現に変形できる。ただし、温度T(K)、摂氏0度を絶対温度で表現したものをT273(K)とし、摂氏0度の乾燥大気中における音速v273(m/s)、湿度h(%)、乾燥大気の分圧p(Pa)、飽和空気の水蒸気分圧pwd(Pa)とする。飽和空気の水蒸気分圧pwdは温度に依存し、数表などをもとに知ることができる。
風の影響については、電子ペン1からそれぞれ超音波受信部12及び13に向かう超音波の方向が、電子ペン1の位置によって異なるため、風速ベクトルのうち、電子ペン1からそれぞれ超音波受信部12及び13に向かう超音波の進行方向に寄与する分を風向から計算して、音速に加算する必要がある。風の影響を補正する方法については後述する。
次に、電子ペン1と超音波受信部12及び13の位置関係を示した模式図である図3を用いて、超音波信号の飛行時間測定値から、音速値vを用いて電子ペン1の位置座標データを計算する方法を説明する。図3に示すように、座標系を2次元直交座標系とし、電子ペン1の被記録媒体5上の位置座標を(x,y)とする。超音波受信部12及び13が位置する座標をそれぞれ(α,β)及び(α,β)とする。また、超音波受信部12及び13で測定した超音波信号の飛行時間を、それぞれt及びtとする。
超音波受信部を3個以上有する場合も、それらの超音波受信部の内から任意の2個を選択した場合に、以下の説明を同様に適用することができる。
以上のような構成下において、超音波信号の飛行時間t及びtを、環境条件データに対応する音速値vを用いて変換した超音波信号の飛行距離(それぞれL及びLとする)は、下記の数式4で表すことができる。
ここで、L及びLは、音速値vを用いて計算する位置座標(x,y)と下記の数式5の関係にある。
連立方程式である上記数式5を(x,y)について解くことにより、超音波信号の飛行時間の測定値から電子ペン1の位置座標データを計算する下記の数式6を得ることができる。
上記数式6の右辺に複号(プラスマイナス及びマイナスプラス)が存在するのは、電子ペン1から二つの超音波受信部12及び13までの超音波信号の飛行時間を用いて位置座標を計算する方法が、原理的に、二つの超音波受信部12及び13を結ぶ直線に関して互いに線対称の関係にある二つの位置座標を区別しないことによるものである。実際のシステムにおいては、二つの超音波受信部12及び13と被記録媒体との位置関係を定めることにより、どちらの符号を選択するかを決定することができる。
例えば、ある特定の手書き筆跡入力システムにおいて、図4に示すように、直交座標系を、二つの超音波受信部12及び13の中間地点を原点とし、二つの超音波受信部12及び13を結ぶ直線をx軸、また被記録媒体の筆記領域がy>=0であるように定めたとする。このとき、二つの超音波受信部12及び13が位置する座標をそれぞれ(α,0)及び(−α,0)(ただしα>0)とすると、上述の数式6にこれらの条件を代入し、以下の数式7を得る。
最後に、風の影響を、測定した風向・風速データに基づいて補正する方法を説明する。図3に示すように、電子ペン1から超音波受信部12に向かうベクトルをzとする。また、測定した風向・風速を表すベクトルをvとする。電子ペン1から超音波受信部12に向かう場合の、風向・風速を考慮に入れた音速値をvw1とすると、vw1は下記の数式8で表すことができる。ただし、中点(ドット)はベクトルの内積を意味する。
得られたvw1を用いて、前述の数式4により超音波信号の飛行距離Lを計算しなおし、同様にLについても再計算を行って、それらの結果と数式6を用いることにより、風の影響を補正することができる。
第2の実施の形態
第2の実施の形態になる手書き筆跡入力システムは、固定の音速値を用いて算出された位置座標データから変換した筆跡データを、環境条件の測定と、測定した環境条件データに基づいて再演算処理することによって補正する。図5は、本実施の形態になる手書き筆跡入力システムの一例を示す斜視図である。また、図6は手書き筆跡入力システムの概略構成を示すブロック図である。以下に、本実施の形態について詳細に説明するが、上述した第1の実施の形態と同等な構成及び方法については説明を省略する。
座標演算部15は、赤外線超音波測定部14において測定した、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間を、予め選択した一定の基準音速値vを用いて、電子ペン1からそれぞれ超音波測定部12及び13までの超音波の飛行距離に変換し、それらの飛行距離と、2個の超音波受信部12及び13の間の既知の距離とを用いて、三辺測量方式により、電子ペン1の位置座標データを計算する。一定の基準音速値vとしては、想定される使用環境において、音速に影響を与える環境条件のそれぞれについて平均的もしくは代表的な値を選択し、それらの値に対応する音速値を計算もしくは測定してそれを選択する。
気温については、室内を代表的な使用環境として想定するならば、基準温度として例えば25℃を選択することができる。使用環境が異なる場合は、当然のことながらその環境を代表するような気温を選択するのが好ましい。湿度や気圧については、少なくとも常温付近において、それらの環境条件の変動が音速に与える影響はそれほど大きくないため、基準音速値の選択に当たっては考慮しなくとも構わないと思われるが、より精細な補正を必要とする場合、もしくは特にそれらの環境条件の変動が大きな環境で使用する場合には、考慮に入れる方が好ましい。また風速は、音速が風速を加算した数値になるため、環境条件として考慮に値するが、基準音速値の選択に当たっては、一定の条件を想定できるものではないことと、室内環境では問題にならないと考えられることから、基準風速を0m/sとする。ただし、基準温度の選択において考慮から外した上述の条件、もしくは別の環境条件について、考慮に入れることを妨げるものではない。
基準音速値vを計算するに当たっては、数式1乃至3を使用する。例えば環境条件として温度のみを選択して数式1を用いると、基準温度を25℃としたときは、基準音速値vとして346.5m/sを得る。
環境条件測定部4は、測定した環境条件データを、通信インタフェースを介してコンピュータ3に搭載した変換処理部16に送信する。環境条件測定部4とコンピュータ3との間の通信インタフェースとしては、受信装置2とコンピュータ3との間の通信インタフェースと同様の通信方式を採用できる。ある特定のシステムにおいて、受信装置2とコンピュータ3との間の通信インタフェースと、環境条件測定部4とコンピュータ3との間の通信インタフェースは、同一方式のものを採用してもよいし、それぞれ異なる方式のものを採用してもよい。環境条件測定部4としては、条件を満たす市販の装置を単一で、もしくは複数組み合わせて使用してもよいし、センサ、A/D変換器、通信インタフェースを備えた装置を設計・製作しても構わない。環境条件測定部4は、筆記が行われる領域近辺の環境条件データを測定できるように配設する。特に風向・風速を測定する場合は、被記録媒体5の直交座標系と、x及びy軸が合致するように配設する。
変換処理部16は、環境条件測定部4から送信された環境条件データを受信し、受信したデータに基づいて、位置座標データから変換された筆跡データを再演算処理する。環境条件測定部4の分解能が十分に細かくない場合、環境条件データの変化に伴い、再演算処理によって、再演算処理を加えた筆跡データが不自然にジャンプする可能性があるが、そのような構成下においては、環境条件データの移動平均を計算するなどしてその変動を滑らかにすればよい。また、再演算処理は、筆跡データのみが有する情報を必要とするのでなければ、位置座標データを筆跡データに変換する前に、位置座標データに対して適用しても構わない。再演算処理を適用した筆跡データは、コンピュータ3に搭載したディスプレイに筆跡として表示されたり、文字認識処理に利用されたり、記憶装置に保存されたりする。
筆跡データを、環境条件に基づいて再演算処理する方法を説明する。超音波信号の飛行時間測定値から、基準音速値vを用いて電子ペン1の位置座標データを計算するには、第1の実施の形態において、音速値vを基準音速値vと読み替えた手法を適用すればよい。
以下では、基準音速値vを用いて計算した電子ペン1の位置座標データから変換した筆跡データを、環境条件測定部4によって測定した環境条件データに対応する音速値vを用いて再演算処理する方法を説明する。
図3に示すように、座標系を2次元直交座標系とし、電子ペン1の被記録媒体5上の位置座標を(x,y)とする。図7(a)及び(b)に示すように、基準音速値vを用いて計算した位置座標を(x,y)とする。超音波受信部12及び13が位置する座標をそれぞれ(α,β)及び(α,β)とする。また、超音波受信部12及び13で測定した超音波信号の飛行時間を、それぞれt及びtとする。ここで、(x,y)を、筆跡データに変換し、測定した環境条件データに対応する音速値vを用いて再演算処理した筆跡データに対応する座標を(x,y)とする。(x,y)は、(x,y)よりも(x,y)に近接するはずであり、理想的には(x,y)と同一値になる。受信装置2は、変換処理部16に、基準音速値vを用いて計算した位置座標(x,y)のデータを送信する。このため、変換処理部16は、直接に超音波信号の飛行時間t及びtのデータを持たない。しかし、超音波信号の飛行時間t及びtは、前述の数式4及び数式5より、基準音速値vを用いて計算した位置座標(x,y)を利用して逆算することが可能である。逆算して求めた超音波信号の飛行時間をそれぞれt1v及びt2vとすると、それらは下記の数式9のように表すことができる。
位置座標(x,y)より逆算して求めた超音波信号の飛行時間t1v及びt2vを、環境条件測定部4によって測定した環境条件データに対応する音速値vを用いて再変換した超音波の飛行距離(それぞれL1v及びL2vとする)は、下記の数式10で表すことができる。
一方、L1v及びL2vは、再演算処理した筆跡データに対応する座標(x,y)と、下記の数式11に示す関係にある。
従って、連立方程式である数式11に数式10を代入し、(x,y)について解くことにより、受信装置2から受信した電子ペン1の位置座標(x,y)を、環境条件測定部4によって測定した環境条件データに対応する音速値vを用いて再演算処理した筆跡データに対応する座標(x,y)を計算するための下記の数式12を得ることができる。
数式6と同様、右辺に存在する複号は、二つの超音波受信部12及び13と被記録媒体との位置関係を定めることにより、どちらの符号を選択するかを決定することができる。
変換処理部16は、筆跡データを環境条件に基づいて再演算処理するに当たって、例えば次のような方法を採る。即ち、第一の方法として、筆跡データを構成する位置座標データを一点ずつ全て上述の方法により再演算処理する。もしくは、第二の方法として、筆跡データから代表的な位置座標データを一つ選択もしくは決定して、その位置座標データにのみ上述の方法による再演算処理を適用し、その再演算処理の結果として得られる補正ベクトルによって決定される平行移動を、その筆跡データ全体に反映させる。また、第二の方法の異なるやり方として、筆跡データを構成する文字/図形データもしくはストロークデータ毎に代表的な位置座標データを一つ選択して再演算処理を適用してもよい。ストロークデータは、電子ペン1を被記録媒体5に接触させてから離隔させるまでの一連の位置座標データの並びとして認識され、文字/図形データは、ストロークデータのまとまりとして、例えばストロークデータの外接矩形が互いに重複もしくは隣接するものを統合することによって認識される。
以下に、これら二つの方法を説明する。
まず、第一の方法では、変換処理部16は、環境条件測定部4によって測定された環境条件データを受信するたびに、数式1乃至数式3を用いて、そのときの環境条件データに対応する音速値vを計算し、新しい環境条件データを測定するまでそれを保持する。必要であれば、移動平均などを計算する。そして、受信装置2から電子ペン1の位置座標データを測定するたびに、音速値vを用いて、数式12により、位置座標データ(x,y)を再演算処理して(x,y)を計算する。
次に、第二の方法では、変換処理部16は、環境条件測定部4によって測定された環境条件データを受信するたびに、第一の方法と同様、数式1乃至数式3を用いて、そのときの環境条件データに対応する音速値vを計算し、新しい環境条件データを測定するまでそれを保持する。必要であれば、移動平均などを計算する。
変換処理部16は、ある期間の間に受信した位置座標データを筆跡データに変換する。ある期間とは、応用領域によって異なるが、例えば、筆記者が、ある様式を持った被記録媒体5への筆記を始めてから完了するまでであったり、ある入力項目枠の近辺への筆記を行っている間であったり、もしくは任意の指定時間であったりする。筆跡データへの変換に際しては、筆記速度を計算したり、ストロークの認識を行い、ストロークの平均座標を計算したり、フィルタや補間処理を用いてストロークを滑らかにする平滑化処理を適用したりする。
次に、その筆跡データを構成する位置座標データから、代表的な位置座標データを一つ選択もしくは決定する。この方法としては、例えば、筆跡データの先頭の位置座標データを選択する、筆跡データを構成する位置座標データ全ての平均の座標を計算する、筆跡データを構成する各ストロークデータの先頭の位置座標データの平均の座標を計算する、また筆跡データの外接矩形の中心の点を計算する、などが考えられる。筆跡データの先頭の位置座標データを選択するような方法が最も少ない計算量で済むが、平均や外接矩形も、位置座標データを筆跡データに変換する過程で生成することができるため、十分に有効な選択肢である。変換処理部16は、選択した一つの位置座標データ(x,y)に対し、その時点で保持している音速値vを用いて、数式12により、位置座標データ(x,y)を再演算処理して(x,y)を計算する。その後、数式13を用いて、選択した一つの位置座標データに対する補正ベクトルを表す(dx,dy)を計算し、筆跡データを構成する位置座標データ全てに(dx,dy)を加えて、その筆跡データ全体を再演算処理する。
ただし、例えば筆跡データの外接矩形の幅及び高さのうち大きい方が、二つの超音波受信部12及び13の間の距離と同等もしくはそれよりも大きい場合などには、その筆跡データの補正を一つの位置座標データに対する処理で代表するのは好ましくない。それは、互いに離れた位置においては、(dx,dy)が非常に異なる可能性があるためである。変換処理部16は、そのような大きな筆跡データを検出した場合には、筆跡データを文字やストロークデータに分割するか、筆跡データを構成する位置座標データ全てに対して再演算処理を適用するといった柔軟性を持つことが好ましい。
この第二の方法は、第一の方法と比較して、総じて計算負荷が低い。全ての位置座標データに対して加える処理は、筆跡データ当たり一つの位置座標データに数式12を適用するのに加え、筆跡データにおいて、代表的な位置座標データの決定と移動量の確定した平行移動に過ぎないため、変換処理部16が複雑な再演算処理を実行する回数を劇的に減らすことができる。これは、変換処理部16が組み込まれているコンピュータ3が、特にPDAや携帯電話であって、その計算能力が比較的低くて複雑な計算をそれほど高速に実行できない場合や、もしくは大量の計算を実行することが省電力の面から好ましくない場合などに、有効である。
以下、実施例及び比較例により、本発明を、図面を参照して説明する。本発明は、以下の実施例に限定されるものでなく、本発明の技術範囲において、種々の変形例を含むものである。
(実施例1)
本実施例は、第1の実施の形態に対応するものである。
図2は、本実施例になる手書き筆跡入力システム概略構成を示すブロック図である。図8は、本実施例における、超音波受信部12及び13とおよそA4サイズの筆記領域の位置関係を示す図であり、図9は実験のために位置座標データを採取する指示位置を示す図であり、図10(b)は、気温5℃、湿度40%、1気圧、無風の条件下で測定した超音波の飛行時間を用いて、環境条件測定部4を組み込んだ受信装置2の座標演算部15において位置座標データを計算し、それらを変換処理部16において変換した筆跡データを示す図である。
本実施例においては、超音波受信部12及び13を、それぞれ(68,0)及び(−68,0)(単位はmm)に設置し、被記録媒体5上の筆記領域17を、y>=0側に、およそA4サイズの大きさで設定した。
実験は、筆記部としてボールペンを具備した電子ペン1を、x方向に5つの位置、y方向に7つの位置で定めた35点の指示位置に順番に置いていき、被記録媒体5上に筆跡を記録すると共に、そのときの位置座標データを取得する方法で実施した。実験は、恒温恒湿槽内で行い、電子ペン1の位置決めには3軸の直交ロボットを用いた。各点においては、電子ペン1を筆記状態で3秒間保持し、点と点の間では電子ペン1を浮上させて、非筆記状態で移動させた。従って、実験の結果、被記録媒体5上には、35箇所に、点と見える筆跡が記録され、それらに対応する位置座標データ、及びそれらを変換した筆跡データが得られた。
35点の指示位置は、(0,25)(単位はmm)からxの正負それぞれの方向に50mm、及び100mmだけ離れた合計5点を定めて一行とし、それら5点がなす一行を、y方向に互いに50mmずつ離れた7つの位置に定めて7行5列の35点としたもので、全体のx方向の幅が200mm、y方向の幅が300mmであって、ほぼA4サイズの領域である。図9は、35個の指示位置をそれぞれ四角いマークで示し、更に、実験において環境条件が基準からずれたときの影響を判別し易いよう、行ごと及び列ごとに仮想的な線で結んで格子18として示したものである。
環境条件測定部4としては、SENSIRION社製デジタル温湿度センサSHT11を採用し、それを受信装置2の内部に組み込んで、測定した温度データ及び湿度データを座標演算部15に受け渡すようにした。受信装置2の筐体外の環境条件を測定できるようにするため、センサは、超音波受信部12のために設けられている開口部の近くに配設した。
処理の手順は、以下に示す通りである。座標演算部15において、環境条件測定部4で測定した温度、湿度データを用い、気圧を1気圧として、座標演算部15において数式3より音速値vを計算する。音速値vと、赤外線超音波測定部14において測定した、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間を用いて、超音波の飛行距離を計算し、電子ペン1の位置座標データを計算する。最後に、計算した位置座標データを、コンピュータ3に組み込んだ変換処理部16に送信する。
次に、変換処理部16において、受信した電子ペン1の位置座標データを筆跡データに変換する。本実施例においては、それぞれのストロークが一点に対する筆記であることから、位置座標データから筆跡データへの変換処理としては、ストロークの認識、及びフィルタを用いた各ストロークの平滑化を行う。位置座標には、発信計測制御に由来する統計的な変位を含む誤差が発生するが、平滑化により、各ストロークデータを、より一点に集中させることができる。
実験は恒温恒湿槽で行い、実験条件に関して温度を5℃、湿度を40%、気圧を1気圧、及び無風とした。図10(b)に、前記の環境条件下で、環境条件測定部4によって測定した環境条件データに対応する音速値vを計算し、数式7を用いて計算した位置座標データを、変換処理部16において筆跡データに変換した結果を示す。電子ペン1によって実際に被記録媒体5上に記録された35点の筆跡の位置を、点線で結んで格子19として示し、一方、再演算処理した筆跡データの位置を四角いマークで示すと共に、被記録媒体5上に記録された筆跡と比較し易いようにそれらを実線で結んで格子21として示した。
(実施例2)
本実施例は、第2の実施の形態に対応するものである。
図6は、本実施例になる手書き筆跡入力システム概略構成を示すブロック図である。図8は、本実施例における、超音波受信部12及び13とおよそA4サイズの筆記領域の位置関係を示す図であり、図9は実験のために位置座標データを採取する指示位置を示す図であり、図11(b)は、気温45℃、湿度40%、1気圧、無風の条件下で採取した位置座標データを変換した筆跡データを、再演算処理した筆跡データを示す図である。
本実施例における、超音波受信部12及び13の位置、被記録媒体5上の筆記領域17の大きさ、また電子ペン1の筆跡を記録する位置、及び位置座標データ採取の方法などは、実施例1と同じであるので説明を省略する。
環境条件測定部4としては、SENSIRION社製デジタル温湿度センサSHT11を採用し、環境条件測定部4において測定した環境条件データをコンピュータ3に取り込み、コンピュータ3に組み込んだ変換処理部16において再演算処理を実施する構成とした。
本実施例においては、基準音速値vを決定するための基準温度を30℃、基準湿度を40%、基準気圧を1気圧とし、それらを数式3に代入した結果として、基準音速値vを349.4m/sとした。風の条件は無風とした。
処理の手順は、以下に示す通りである。座標演算部15において、基準音速値vと、赤外線超音波測定部14において測定した、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間を用いて、超音波の飛行距離を計算し、電子ペン1の位置座標(x,y)を計算する。最後に、計算した位置座標データを、コンピュータ3に組み込んだ変換処理部16に送信する。
次に、変換処理部16において、基準音速値vを用いて計算された位置座標データ(x,y)を受信して筆跡データに変換する。位置座標データから筆跡データへの変換処理としては、ストロークの認識、及びフィルタを用いた各ストロークの平滑化を行う。
次に、環境条件測定部4で測定した温度、湿度データを用い、気圧を1気圧として、それらを数式3に代入して音速値vを計算し、それを用いて筆跡データを再演算処理する。再演算処理した筆跡データに対応する座標(x,y)は、数式12に本実施例の条件を代入することにより、数式14のように得ることができる。
実験は恒温恒湿槽で行い、実験条件に関して温度を45℃、湿度を40%、気圧を1気圧、及び無風とした。図11(b)に、前記の環境条件下で、環境条件測定部4によって測定した環境条件データに対応する音速値vを計算し、数式14を用いて、前記位置座標データに再演算処理を適用した結果を示す。電子ペン1によって実際に被記録媒体5上に記録された35点の筆跡の位置を、点線で結んで格子19として示し、一方、再演算処理した筆跡データの位置を四角いマークで示すと共に、被記録媒体5上に記録された筆跡と比較し易いようにそれらを実線で結んで格子23として示した。
(比較例1)
図8は、本比較例における、超音波受信部12及び13とおよそA4サイズの筆記領域の位置関係を示す図であり、図9は実験のために筆跡データを採取する指示位置を示す図であり、図10(a)は実施例1におけると同じ気温5℃、湿度40%、1気圧、無風の条件下で採取した位置座標データを変換した筆跡データを、また図11(a)は実施例2におけると同じ気温45℃、湿度40%、1気圧、無風の条件下で採取した位置座標データを変換した筆跡データを示す図である。
本比較例における、超音波受信部12及び13の位置、被記録媒体5上の筆記領域17の大きさ、また電子ペン1の筆跡を記録する位置、及び位置座標データ採取の方法などは、実施例1及び2と同じであるので説明を省略する。
本比較例においては、基準音速値vを決定するための基準温度を30℃、基準湿度を40%、基準気圧を1気圧とし、それらを数式3に代入した結果として、基準音速値vを349.4m/sとした。風の条件は無風とした。
赤外線超音波測定部14において、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間を計測し、座標演算部15において、基準音速値vを用いて電子ペン1の位置座標(x,y)を計算し、コンピュータ3に組み込んだ変換処理部16に送信する。変換処理部16は、受信した電子ペン1の位置座標データを筆跡データに変換する。
図10(a)に、気温5℃、湿度40%、1気圧、無風の条件下での実験結果を示す。電子ペン1によって実際に被記録媒体5上に記録された35点の筆跡の位置を、点線で結んで格子19として示し、一方、筆跡データの位置を四角いマークで示すと共に、被記録媒体5上に記録された筆跡と比較し易いようにそれらを実線で結んで格子20として示した。気温が基準温度よりも低いため、筆跡データは、被記録媒体5上に記録された筆跡に比べて、総じて超音波受信部12及び13から離れる方向にずれる傾向にあり、y>300mmの領域に見られる最も大きい筆跡からのずれは、15mm程度である。
また、図11(a)に、気温45℃、湿度40%、1気圧、無風の条件下での実験結果を示す。図10同様、電子ペン1によって実際に被記録媒体5上に記録された35点の筆跡の位置を、点線で結んで格子19として示し、一方、筆跡データの位置を四角いマークで、またそれらを実線で結んで格子22として示した。気温が基準温度よりも高いため、位置座標データは総じて超音波受信部12及び13に近づく方向にずれる傾向にあり、やはりy>300mmの領域に見られる最も大きい筆跡からのずれは、9mm程度である。
上記実施例1、2及び比較例1の実験結果を表1に示す。結果の評価は、筆跡データを構成する各ストロークデータの平均座標を、被記録媒体5上に記録された筆跡と比較することによって実施した。
その結果、実施例1、2における筆記領域17内の最も大きいずれを、同じ環境条件下の比較例1におけるずれにくらべて、大幅に軽減することができた。本例においては点筆跡を対象としたが、筆記者が描くような、より一般的な筆跡に対しても、本例の結果は同じように作用する。従って、環境条件に左右されず、被記録媒体5に対して高い絶対精度を持つ手書き筆跡入力システムを得られることが確認されたと共に、既存のシステムにおける赤外線超音波測定部14及び座標演算部15の構成を変えたり負荷を増大させることなく、環境条件の影響を補正できる手書き筆跡入力システムを得られることが確認された。
(実施例3)
本実施例は、第2の実施の形態に対応するものである。
図12は、本実施例になる手書き筆跡入力システムにおいて、特定の位置に特定の入力項目枠を設けた用紙である被記録媒体5上に、電子ペン1を用いて筆記し、実際に被記録媒体5上に記録された結果を示す図であり、図13は、再演算処理前の筆跡データと、ストロークに対して再演算処理を適用した結果の筆跡データを示す図である。
本実施例においては、超音波受信部12及び13を、それぞれ(68,0)及び(−68,0)(単位はmm)に設置し、被記録媒体5上の筆記領域17を、y>=0側に、およそA4サイズの大きさで設定した。筆記者の手や腕が、電子ペン1から発信される赤外線信号及び超音波信号を遮ることのないよう、赤外線受信部11、超音波受信部12及び13は、筆記者から見て筆記領域の上側になるよう設置した。
環境条件測定部4としてはSENSIRION社製デジタル温湿度センサSHT11を用い、環境条件測定部4において測定した環境条件データをコンピュータ3に取り込み、コンピュータ3に組み込んだ変換処理部16において再演算処理を実施する構成とした。
また、本実施例においては、基準音速値vを決定するための基準温度を25℃、基準湿度を40%、基準気圧を1気圧とし、それらを数式3に代入した結果として、基準音速値vを346.5m/sとした。風の条件は無風とした。
処理の手順は、以下に示す通りである。座標演算部15において、基準音速値vと、赤外線超音波測定部14において測定した、電子ペン1からそれぞれ超音波受信部12及び13までの超音波信号の飛行時間を用いて、超音波の飛行距離を計算し、電子ペン1の位置座標(x,y)を計算する。最後に、計算した位置座標データを、コンピュータ3に組み込んだ変換処理部16に送信する。
次に、変換処理部16において、基準音速値vを用いて計算された位置座標データ(x,y)を全て採取して、筆跡データに変換する。位置座標データから筆跡データへの変換処理としては、ストロークの認識、及びフィルタを用いた各ストロークの平滑化を行う。位置座標には、発信計測制御に由来する統計的な変位を含む誤差が発生するが、平滑化により、それらの誤差を解消もしくは軽減し、各ストロークデータを、より実際の筆跡の形状に近づけることができる。更に、各ストロークの先頭の位置座標データを抽出して、それらの平均座標を計算し、筆跡データの平均座標とする。
続いて、環境条件測定部4によって測定した温度、湿度データを用い、気圧を1気圧として、それらを数式3に代入して音速値vを計算し、それを用いて、筆跡データの平均座標に対して、数式14に示した再演算処理を適用する。その後、数式13によって、筆跡データの平均座標に対応する補正ベクトルを求め、筆跡データ全てに補正ベクトルを加える。
実際の筆記は、気温が15℃程度の一般的な室内、無風の環境条件の下で行った。実験で筆記を行う特定の入力項目枠24は、被記録媒体5上の筆記領域内の左下隅(xとyが大きい値をとる付近)に近い位置に設けた。図12に、前記特定の入力項目枠24に、電子ペン1を用いて筆記者が筆記し、実際に被記録媒体5上に記録された結果25を示す。
図13(a)に、筆跡データに対して再演算処理を適用した結果27を、被記録媒体5上の特定の入力項目枠24と一致する入力項目枠矩形26と重ね合わせて示す。
また、図13(b)に、比較のために、上述した再演算処理を適用する前の筆跡データ28を、被記録媒体5上の特定の入力項目枠24と一致する入力項目枠矩形26と重ね合わせて示す。気温が基準温度よりも低かったため、筆跡データは正しい位置に対して、超音波受信部12及び13から離れる方向である左及び下に向かってずれる。
この結果、筆跡データに再演算処理を適用する方法によって、コンピュータ3における再演算処理の負荷を抑制しつつ、その後の領域抽出や文字認識に使用するのに十分な正確さを持った、再現性の高い筆跡データ27を得ることができた。
更に、本実施例においては、筆跡データを構成するすべての位置座標データに対して、数式14に示した再演算処理を適用して個別に実行する構成との比較を行った。図13(b)において比較のために示した、再演算処理を適用する前の筆跡データを保持しておき、その筆跡データを使用して、次の二通りの処理方法について、それがコンピュータに及ぼす負荷を評価した。
方法1 本実施例3に示したように、筆跡データの平均座標を計算し、筆跡データの平均座標に対して、数式14に示した再演算処理を適用し、その後、数式13によって、筆跡データの平均座標に対応する補正ベクトルを求め、筆跡データ全てに補正ベクトルを加える。
方法2 筆跡データを構成するすべての位置座標データに対して、数式14に示した再演算処理を適用する。
処理がコンピュータに及ぼす負荷を比較するために、上記の処理を、それぞれ1000回ずつ繰り返した。これは、例えば、本実施例において採取した筆跡データと同等量の筆跡が20個描かれたページを、50ページ連続処理するのと相当な負荷である。
標準的なPC上において実施した結果、方法2による処理は、完了するまでに明らかに一定の時間を要したのに対して、方法1による処理は、ほとんど瞬時に完了し、大量の再演算処理に関しても実用的であることが確認できたと共に、特にPDAや携帯電話など、その計算能力がPCに比べると低くて複雑な計算をそれほど高速に実行できない場合や、もしくは大量の計算を実行することが省電力の面から好ましくない場合などに、有効であることが確認された。
手書き筆跡入力システムの一例を示す斜視図。 手書き筆跡入力システムの一例の概略を示すブロック図。 電子ペン1と超音波受信部12及び13の位置関係を示す模式図。 超音波受信部12及び13をx軸上に配設した場合の模式図。 手書き筆跡入力システムの一例を示す斜視図。 手書き筆跡入力システムの一例の概略を示すブロック図。 真の位置座標と、基準音速値vを用いて計算した位置座標の関係を示す模式図。 比較例1、実施例1及び2における、超音波受信部12及び13と筆記領域の位置関係を示す図。 比較例1、実施例1及び2における、位置座標データ採取位置を示す図。 実施例1及び実施例1における、基準温度よりも低い気温で採取した筆跡データ、及び環境条件を測定して計算した筆跡データを示す図。 実施例1及び実施例2における、基準温度よりも高い気温で採取した筆跡データ、及び環境条件を測定して再演算処理した筆跡データを示す図。 実施例3における、被記録媒体上の入力項目枠、及び手書き筆跡を示す図。 実施例3における、筆跡データ及びストロークデータに再演算処理した筆跡データを示す図。
符号の説明
1 電子ペン
2 受信装置
3 コンピュータ
4 環境条件測定部
5 被記録媒体
6 スイッチ
7 制御部
8 赤外線発生回路
9 超音波発生回路
10 電源
11 赤外線受光部
12 超音波受信部
13 超音波受信部
14 赤外線超音波測定部
15 座標演算部
16 変換処理部
17 筆記領域
18 指示位置を示す四角いマークと実線の格子
19 被記録媒体上に記録された筆跡の位置を示す点線の格子
20 5℃において採取した筆跡データを示す四角いマークと実線の格子
21 5℃において、環境条件を測定して採取した筆跡データを示す四角いマークと実線の格子
22 45℃において採取した筆跡データを示す四角いマークと実線の格子
23 45℃において、環境条件を測定して再演算処理した筆跡データを示す四角いマークと実線の格子
24 被記録媒体上に設けた特定の入力項目枠
25 被記録媒体上に実際に記録された筆跡
26 被記録媒体上の特定の入力項目枠と一致する入力項目枠矩形
27 環境条件を測定して再演算処理した筆跡データ
28 再演算処理を適用する前の筆跡データ

Claims (4)

  1. 少なくとも、赤外線発光素子を含む赤外線発生回路と、超音波発生素子を含む超音波発生回路と、これらの回路から発信する赤外線信号及び超音波信号を制御する制御手段と、被記録媒体上に直接軌跡を残すことが可能な機能を有する筆記部と、スイッチとから成る電子ペン、並びに少なくとも、一つ以上の赤外線受光部と、二つ以上の超音波受信部を有し、前記赤外線信号と前記超音波信号の前記赤外線受光部又は前記超音波受信部への到達時間差を計測する赤外線超音波測定部、並びに該赤外線超音波測定部から得られた到達時間差及び音速vを用いて前記電子ペンと前記超音波受信部との間の距離を計算し、該距離を用いて前記電子ペンの位置座標データを計算する座標演算部、並びに赤外線超音波測定部に影響を与える環境条件を測定する機能を有する環境条件測定部、並びに前記電子ペンの位置座標データを筆跡データに変換する機能を有する変換処理部とから成り、前記座標演算部は、前記赤外線超音波測定部から得られた到達時間差及び予め選択した一定の音速vを用いて前記電子ペンの位置座標データを計算し、前記変換処理部において、前記電子ペンの位置座標データを筆跡データに変換後、前記環境条件測定部によって測定した環境条件データに対応する音速vを用いて前記筆跡データを再演算処理する機能を有することを特徴とする手書き筆跡入力システム。
  2. 前記座標演算部は、前記赤外線超音波測定部から得られた到達時間差及び予め選択した一定の音速vを用いて前記電子ペンの位置座標データを計算し、前記変換処理部において、前記電子ペンの位置座標データを筆跡データに変換する際、位置座標データの取得間隔に基づいて連続する位置座標データから得られる筆跡データを一つのストロークデータと認識し、前記筆跡データにおける一つ以上のストロークデータから適宜選択した一つ以上の位置座標データに対して、前記環境条件測定部によって測定した環境条件データに対応する音速vを用いて再演算処理し、該再演算処理結果を前記筆跡データ全体に反映させる機能を有することを特徴とする請求項に記載の手書き筆跡入力システム。
  3. 前記再演算処理は、被記録媒体面上の直交座標系(x,y)において、前記二つ以上の超音波受信部から適宜選択した二つの超音波受信部に対し、第1の超音波受信部の位置する座標を(α,β)、第2の超音波受信部の位置する座標を(α,β)としたとき、前記選択した二つの超音波受信部が測定した到達時間差を元に計算した、前記筆跡データの変換元である位置座標データ(x,y)を、前記環境条件測定部によって測定した環境条件データに対応する音速vを用いて、

    によって計算される(x,y)に再演算処理することを特徴とする請求項1乃至請求項2のいずれか一項に記載の手書き筆跡入力システム。
  4. 前記変換処理部は、赤外線超音波測定部及び/又は座標演算部、及び環境条件測定部と通信可能なインタフェースを有するパーソナルコンピュータ、又はPDA、又は携帯電話であることを特徴とする請求項1乃至請求項3のいずれか一項に記載の手書き筆跡入力システム。
JP2006023991A 2006-01-31 2006-01-31 手書き筆跡入力システム Expired - Fee Related JP4853035B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006023991A JP4853035B2 (ja) 2006-01-31 2006-01-31 手書き筆跡入力システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006023991A JP4853035B2 (ja) 2006-01-31 2006-01-31 手書き筆跡入力システム

Publications (2)

Publication Number Publication Date
JP2007206907A JP2007206907A (ja) 2007-08-16
JP4853035B2 true JP4853035B2 (ja) 2012-01-11

Family

ID=38486337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006023991A Expired - Fee Related JP4853035B2 (ja) 2006-01-31 2006-01-31 手書き筆跡入力システム

Country Status (1)

Country Link
JP (1) JP4853035B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272401B2 (ja) * 2007-12-26 2013-08-28 ぺんてる株式会社 手書き筆跡入力システム
JP5120128B2 (ja) * 2008-07-31 2013-01-16 ぺんてる株式会社 手書き筆跡入力システム
JP2010162706A (ja) 2009-01-13 2010-07-29 Fuji Xerox Co Ltd 感圧表示媒体及び筆記表示装置
DE102013214020A1 (de) * 2013-07-17 2015-02-19 Stabilo International Gmbh Digitaler Stift

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003140819A (ja) * 2001-11-05 2003-05-16 Fujitsu Ltd 超音波座標入力装置
JP2003234862A (ja) * 2002-02-08 2003-08-22 Canon Inc 座標入力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記憶媒体
JP2004192199A (ja) * 2002-12-10 2004-07-08 Fujitsu Ltd 超音波型座標入力装置
JP2005301652A (ja) * 2004-04-12 2005-10-27 Pentel Corp 手書き筆跡入力装置用座標入力補正方法

Also Published As

Publication number Publication date
JP2007206907A (ja) 2007-08-16

Similar Documents

Publication Publication Date Title
CN100377043C (zh) 三维手写识别的方法及其系统
US7508384B2 (en) Writing system
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100996758B1 (ko) 전자 스타일러스의 팁의 위치를 결정하는 방법
US20090183929A1 (en) Writing system with camera
US8259092B2 (en) Method for writing motion and trajectory recognition and writing apparatus and recognizing system
US8269720B2 (en) Input device having the function of recognizing hybrid coordinates and operating method of the same
JP2004227563A (ja) 慣性センサの積分
US8194926B1 (en) Motion estimation for mobile device user interaction
US6625314B1 (en) Electronic pen device and character recognition method employing the same
US11853486B2 (en) Stylus and position calculation method
JP7053804B2 (ja) 慣性センサによる筆記方向の特定
JP4853035B2 (ja) 手書き筆跡入力システム
US10877577B2 (en) Input device for electronic device and input system
JP5861818B2 (ja) 電子筆記装置
JP2013097509A (ja) 電子筆記装置及び筆記データ処理装置
US9442577B2 (en) System for inputting graphical elements
KR102242154B1 (ko) 필기 및 메모기능을 가지는 디지털 펜 시스템
KR20230017538A (ko) 전자 장치 및 필기 인식 방법
JP2007272710A (ja) 手書き筆跡入力システム
US20240053835A1 (en) Pen state detection circuit and method, and input system
JP5141380B2 (ja) 手書き筆跡入力システム
JP5272401B2 (ja) 手書き筆跡入力システム
US20230394721A1 (en) Information processing apparatus, program, and system
JP7472262B2 (ja) 入出力モデルを設定可能なペン状態検出回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111010

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4853035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees