JP5262761B2

JP5262761B2 - 筆跡入力システム

Info

Publication number: JP5262761B2
Application number: JP2009017409A
Authority: JP
Inventors: 裕明高木
Original assignee: Pentel Co Ltd
Current assignee: Pentel Co Ltd
Priority date: 2009-01-29
Filing date: 2009-01-29
Publication date: 2013-08-14
Anticipated expiration: 2029-01-29
Also published as: JP2010176341A

Description

本発明は、少なくとも、利用者が手書きで筆跡を入力するためのペンと、ペンの位置座標を検出し、座標を出力する受信装置と、その座標出力を用いて筆跡を表示する表示装置をもつ計算機を備えた筆跡入力システムに関する。

従来、利用者が手書きでボールペン等で実際に紙などの筆記対象物に筆記し、そのペンの位置座標を取得して計算機に表示もしくは、筆記の位置データを記憶する筆跡入力システムが知られている。それらのペンの位置座標を得るためには、ペンから超音波と電磁波を発生させて外部に設けた受信装置にて電磁波と超音波の到達時間差からペンの位置座標を得る超音波方式や、筆記可能エリア内のボード下にセンサーとなる配線を配置したボードと、コイル状の線を埋め込んだペンからなり電磁誘導にて、X軸、Y軸の位置を得る電磁授受方式などにより、ペンの位置座標を得ている。このペンの位置座標を連続的に検出することにより、書いた文字や図形等を手書き筆跡データとして表示及び記憶する。この筆跡入力システムは、ペンにより筆記された文字や図形等の筆跡データを受信装置からデータ通信を用いてパソコン等の計算機に転送する。計算機においては、表示装置での画面表示や各種ソフトウェアの操作が行われるが、前記計算機を操作するためには、計算機に接続されているキーボードといった入力装置やジョイスティックやマウスなどの補助入力装置により操作が行われる為、筆記入力中であってもペンを一旦手放して、上記したキーボードといった入力装置やジョイスティックやマウスなどの補助入力装置を操作する必要があった。

特許公開２００５−３０１８６０号公報（段落０００４〜段落０００６）。

上記理由により、アイコン表記をしたボタンを複数個配置し、個別に計算機への操作量を定義することも可能ではあるが、アイコンを表記したボタン数が増加するため必要とされる操作用の面積が大きくなる問題が有った。また、アイコン表記をしたボタンへのペンの押下時間の長さにより操作量の数値の増加もしくは減少を制御することもできるが、増加方向及び減少方向へのアイコンボタンは別のアイコンボタンにする必要があり、操作量が行き過ぎた場合、別のアイコンボタンを押下する必要があり、操作を行う表示装置からペン先とアイコンボタンを注視する必要があり、操作感の悪いものとなっていた。

筆記可能なペンであり且つ、ペンの位置座標を取得する為に必要な場合に於いて発信装置を具備するペンと、該ペンから必要な場合に発信された信号を受信し、前記ペンの位置座標を検出して座標を計算機に出力する通信機能を備えた受信装置と、計算機に送信されたペンの位置座標値を、計算機に接続された表示装置に表示するソフトウェアが計算機上で動作し、且つ、ペンの位置座標を筆跡データとして計算機内の記憶装置に記憶する計算機を備えた筆跡入力システムにおいて、ペンの座標検出範囲内にペン先を拘束する１個以上の溝を直線状もしくは曲線状に設けると共に、該ペン先を拘束する溝内のペン先端部が接触する部分の少なくとも両端部に表面の粗さ強弱もしくは凸凹の起伏を設け、ペンを溝内で溝に倣って動かせるよう半固定し、前記ペンの位置座標値が、予め定めた溝の周囲の範囲内にて筆記した場合は、計算機に対して予め定めた動作をするソフトウェアへの操作を行ったと判断し、前記ペンの位置座標から得られる移動方向もしくは移動速度及び移動量から計算機上で動作するソフトウェアの操作量を算定してから送信し、計算機の操作を行う筆跡入力システムを提案するものである。

本発明では、筆跡システムを構築することにより、溝以外の特別な付加部品を必要とせず、また操作者がペンを持ち替えることなく、且つペン先を溝に入れて溝に倣わしてペンを移動することで、操作のために再度ペン先やアイコンなどを注視せずに表示装置を注視したまま操作量の増減を操作することが出来る。

本実施例の筆跡入力システム構成図本発明の溝（円形）５の拡大図本発明の計算機における操作の為のプログラムのフローチャート本発明の凸凹つけた溝の断面図

ペンの座標を取得する為には、ペンに超音波発信機を内蔵し、受信装置に超音波を送信し、その超音波を受信装置にて受信することにより、超音波の到達時間によってペンの位置座標を取得する超音波方式や、ペンの入力範囲内に静電容量検出用の導電パターンを配置し、ペンに容量変化の為の回路を設けペンの位置座標を取得する静電容量方式や、ペンの入力範囲内に抵抗膜を配置し、ペン筆記によるペン先の圧力を検知して抵抗値の変化によりペンの位置を検出する抵抗膜方式などが存在する。超音波方式や静電容量方式においては、ペンに発信用の回路を内蔵する必要がある。

ペンには、筆記可能なボールペンのリフィル等の筆記具が取り付けられており、ペンが用紙などに押下された場合、筆記具内のインキなどにより用紙に筆記を行うことができる。
発振回路を内蔵するペンは、ペン内部に筆記具と接続された圧力検出を行うセンサを内蔵することで用紙にペン先が押下されたことを検出し、受信装置にペンの位置座標を検出するための信号を発信して、ペンの位置座標を特定できる。また、ペン内部の発振回路は、電源を必要とするためペン内部に内蔵された電池もしくは、電磁誘導方式もしくは、ケーブル接続によって電源が供給される。ペンは、インキ切れなど際、筆記具を交換できる機能が必要となる。

ペンによって筆記される対象物が紙等の場合は、ボールペンなどのリフィルをペンに入れ、座標出力が可能な範囲に紙を置き、ボールペン等による筆跡と受信装置から出力されるペンの座標値がずれない様にするため、紙を固定する必要がある。また、ボールペン等による実際に書かれた筆跡がいらない場合、スタイラス芯などを低摩擦なペン先をペンに入れ、液晶の上や机の上などで筆記される紙などの対象物に受信装置を設置することで筆記を行うことができる。

受信装置には、座標取得のための方式に応じた受信回路が内蔵されている。受信回路では、方式による位置取得方法によって、ペンの入力範囲内のあらかじめ定められた位置を原点とし予め定められた分解能／品位の数値をXY２次元の絶対座標値として取得される。
取得される位置座標の品位は、一般的な筆記の５ｍｍ程度の文字を取得するため、５０dpi以上の品位で出力されることが望ましい。また、ペン先が紙に押下され（筆記状態）、ペンが紙面から離れた状態（非筆記状態）になった場合のペンの状態情報なども同時に出力される。また、座標出力の時間間隔は、筆跡を失わないために毎秒３０回以上が望まれる。

受信装置と計算機は、通信接続されている。接続方式は、ＵＳＢやＲＳ−２３２Ｃ等の有線ケーブルによる通信や無線ＬＡＮ及びＢＬＵＥＴＯＯＴＨ等の無線による通信を用いることができる。筆記を行ってから筆跡のデータが画面に表示されるまでの時間を少なくする為、３２ｋｂｐｓ以上の通信速度が要求される。

計算機は、表示装置と接続されていて、ペンからの筆記が表示できるようにドット表示によるグラフィック表示が可能となっている。計算機は、複数のアプリケーションプログラムが同時に起動して表示装置に複数表示されることが望ましい。表示装置に表示される個々のアプリケーションプログラムは、任意の位置に表示可能で表示サイズは、自由に変更できることと表示／非表示を切り替えられることが必要となる。

計算機内では、受信装置から送られるペンの位置座標を受け取る通信部があり、予め起動されているペンの座標入力プログラムがペンの位置座標及びペンが押下された場合とペンが筆記対象物から離れた場合等のペンの状態を表す信号と供に通信データを受信する。

筆跡入力システムにおいて、電子ペンに筆記可能なボールペン等のリフィルを挿入し、受信装置と電子ペン位置座標検出範囲の一定の場所に固定された用紙に筆記を行いながら筆跡のデータを得ることができる。受信装置と用紙を固定し両者の位置関係を一定に保たないと、用紙に筆記された筆跡と電子ペンの位置座標データがずれ、ずれた筆跡データが記録されてしまう。これを実現する為、用紙と受信装置を固定するためのボード上に、用紙を止めるためのクリップと受信装置固定用の機構を設けてこれらを固定し位置関係を拘束する。また、受信装置に用紙を固定するためのクリップ機構を設けて受信装置に直接用紙を固定することもできる。

前述のボード上には、用紙がおかれる領域外の電子ペンの位置座標検出可能領域内に少なくとも１つ以上の溝が設けられている。受信装置に用紙を固定するためのクリップ機構を設ける場合は、受信装置自体に溝をつけたり、溝をつけたプレートを受信装置に固定したりすることもできる。この溝は、位置座標の精度及び位置座標を筆跡のデータとして利用するか操作のために利用するかの判断を行う為に、予め設定される溝の領域の幅や使用者の誤操作等を考慮した間隔をあけて複数個配置することができる。この溝を設けることで、ペン先を溝の設置方向以外へのペン先の移動を拘束し、ペン先を溝の設置方向に移動することが可能となる。また、操作者は、この溝を利用することで、ペン先を溝の設置方向に精度よく移動することができる。

設けられた溝は、直線状であってもよいし、曲線及び円弧でもよい。溝に与えられる機能に応じて、操作者がわかりやすい形状に自由に指定することができる。また、溝の長さは、操作者がペン先を溝内で移動できるよう５ｍｍ以上の長さが望まれる。また、溝の深さは、浅いとペン先が溝から逸脱しやすくなるが、深すぎるとペン先以外のペンの先端の構造部と干渉するため溝の深さは、１ｍｍ以上３ｍｍ以内が望ましい。

ペン先が押下された最初のペンの位置座標を計算機が受信した場合、まず、計算機の操作のためにペンが押下されたか、筆跡の入力のためにペンが押下されたのかの判断を行う。ペン先が最初に押下されたペンの位置座標を予め定めた溝にペンが押下された座標の判定範囲内かどうか比較し、判定範囲内の場合、計算機への操作のためのペン入力として判断する。複数個の溝がある場合、ペンが押下された座標が判定範囲内であるか溝毎に判定し、すべての範囲内にない場合、筆跡入力の為のペン入力としてペン先が押下された位置座標から複数の経路点を経てペン先が筆記対象物からペン先が離された位置座標まで、1つの連続線（１ストローク）として筆跡データに追加して記憶される。

ペンが溝に入っているか判断する為に、予め、溝の全体の位置座標範囲に対して、予めペンの傾きによる誤差や計測誤差などの位置座標計測の誤差を加えて判定範囲を大きくする。これを行わないとペンの位置座標計測の誤差により、正常に機能しなくなる場合がある。また、複数の溝を配置する場合でも、これらの誤差を加えて判定範囲同士が重ならないように溝と判定範囲を配置しなければならない。

ペン先が溝内にて筆記が行われ、前記計算機の操作のためのペン入力として判断された場合、次のペンの位置座標を受信し、ペンの移動方向、移動速度、移動量を２点のペンの位置座標から計算する。次に得られた移動方向、移動速度、移動量から計算機の操作量を予め定めた操作量換算値を乗じて、操作量を算出し、予め定められた計算機上で動作しているプログラムの操作量を変更する。例えば、溝に対する機能が筆跡表示の上下スクロールバーに割り当てられていた場合、ペンの移動範囲が200mm程度に割り当てられていた時は、スクロールバーのカーソルポジションを0%(最上段表示)~100%(最下段表示)までに移動できるように操作量換算値を0.5％／mmに設定する。

また、相対的な操作量とする場合は、移動量１ｍｍ毎に操作量換算値を１％変更すると定義して、ペンの移動から操作量換算値の符号を決定し、現在の操作量に操作量換算値を加えて操作を行うこともできる。

各溝をペン先で筆記することで得られた各操作量の送信先は、各操作量毎にソフトウェア名及び操作項目名等を記憶し予め関連づけられている。溝をペン先で筆記することで得られた操作量は、この関連づけられたソフトウェアと操作項目へのイベントメッセージとして送信され、ソフトウェアは、そのイベントメッセージを受信して操作項目の操作量を変更し表示の更新や処理を実行することにより、キーボードやマウスによる操作と同様にソフトウェアの操作を行うことができる。例えば前後方向に溝を配置し、計算機上で動作する筆跡入力ソフトの筆跡表示プログラムの上下スクロールバーに関連づけ、前後方向に溝にてペンの筆記を前後に行うと前記上下スクロールバーの操作量が変化し、筆跡の表示位置を上下に移動する操作を行うことができる。また、左右方向に溝を配置し、筆跡表示プログラムの左右スクロールバーに関連づけても同様に筆跡の表示位置を左右に移動する操作を行うことができる。また、円状の溝を配置し、筆跡の表示の拡大縮小表示に関連づけ、円状の溝にペン先を入れた筆記が右回りの筆記の場合には筆跡の表示を拡大し、筆記が左回りの場合には筆跡の表示を縮小することもできる。

また、本発明の１つでは、前記溝には、ペン先との接触部に同一の溝内にて表面の粗さの強弱をつけることにより、ペン先が溝内を移動する際の筆記抵抗の強弱をつけることができ、ペン先に加わる筆記抵抗がペンをもち操作する操作者に伝わることで、操作者に操作感の変化を伝えることができる。また同様に、溝内のペン先端部が接触する部分凸凹の起伏を設け、ペンを移動する際に発生するペン先からの振動を操作者が筆記の操作量を把握することができる筆跡入力システムを構築することができる。これらの処理を溝の端部に施した場合、操作者が操作量の変化を確認するため画面を注視している場合であってもペン先から伝わる筆記抵抗や振動から溝の端部を知ることができ、ペン先が溝から逸脱することを防ぐことができる。

以下、実施例により本発明を更に詳細に説明する。
図１〜4は、装置図面が煩雑にならないよう構成を模式的に表現したものである。本発明は、以下の実施例に限定されるものでなく、本発明の技術範囲において、種々の変形例を含むものである。また、各実施例において、同じ構成については同じ参照符号を付けた。

図１に、本発明の筆跡入力システムの一例を示す。ペン１は、複数個の赤外線発光素子及び、超音波発信素子を持ち、筆記状態であることを検知できるセンサ及びそれらを制御する回路基板（図示せず）が内蔵されている。ペン１のペン先には、ボールペンなどのリフィルが挿入されており、筆記した際に内部のセンサが加重により筆記状態の検出を行う。筆記状態が検出されるとペン１の回路は、赤外線発生素子及び超音波発信素子に定期的に信号を与えて赤外線の発光と超音波の発信を同時に行わせる。受信装置２は、ペン１からの赤外線発光を赤外線受光素子にて受信し、内蔵されたタイマをスタートさせる。遅れて到着する超音波を複数の超音波受信素子が受信し、赤外線信号受信から超音波信号受信までの時間を測定する。測定された各時間を距離に換算し、各超音波受信素子の位置関係から３角法を用いて２次元のペンの位置座標データに変換する。得られた位置座標は、受信装置２から通信ケーブル８を通じて計算機９に送られる。実施例では、受信装置２から計算機９までの通信は、ＵＳＢ通信によって接続されている。パーソナルコンピュータなどの計算機９では、筆跡入力システム専用に作成された筆跡処理用のプログラムが動作しており、ペンの位置座標データを受信している。表示装置１０は、計算機９に接続され筆跡の表示や他のアプリケーションプログラムの表示が行われている。また、筆記される用紙７と受信装置２との位置関係を固定する為、ボード６に用紙の止め金具（図示せず）が具備されて用紙７とボード６及び受信装置２とボードを固定している。ボード６には、計算機１０の操作を行うため、ペン先を溝に入れてペンを前後に動かすための溝（前後）３とペンを左右に動かすための溝（左右）４と円状にペンを動かすための溝（円形）５が設置されている。また、計算機上で動作するソフトウェアを操作者が操作するためにキーボードやマウスなどの入力装置１１が計算機に有線もしくは無線にて接続されている。

図２に、溝（円形）５を拡大したものを示す。操作者は、円周の溝をペン先で右回転方向もしくは、左回転方向にてペンを動かすことで、予め定義された所定の計算機の操作を行う。

図３に、本発明のペン先を溝に入れ動かすことによって計算機の操作を行う計算機上の処理のフローチャート図の一例を示す。まず、ステップ１（１２）にて、ペン先が押下されるまで処理を待機する。次にステップ２（１３）にて最初にペン先が押下されたペンの位置座標（x1,y1）を受信装置から取得する。次にステップ３（１４）にて最初の溝内にペンが置かれたかを判定するための判定範囲1と比較を行い、判定範囲内と判断された場合は、ステップ４（１５）に処理を移行する。判定範囲は、予め溝の位置座標の範囲にペンの位置精度誤差等の数値を加えて大きめに設定され矩形の範囲を計算機内に記憶されている。判定範囲は、ボードに配置された溝の総数であるkmax個有り、ステップ３（１４）にて判定範囲外と判断された場合、ステップ１０（２１）へ移行し次の判定範囲2を選択して、ステップ１１（２２）にて最後の判定範囲kmaxまで判定範囲内であるかを検索する。すべての判定範囲内に最初にペン先が押下されたペンの位置座標（x1,y1）が無いと判断された場合は、通常の筆跡のデータと判断し、ステップ１２（２３）〜ステップ１３（２４）の処理にてぺンの位置座標（Xn,Yn）をペン先が対象物から離れるまで筆跡データを収集し、ペン先が対象物から離れた場合は、ステップ１４（２５）に移行し、収集された筆跡データを保存し、プログラム終了でない場合、ステップ１（１２）に移行する。

ステップ３（１４）にて最初にペン先が押下されたペンの位置座標（x1,y1）が判定範囲kにあると判断された場合は、ステップ４（１５）にて次のペンの位置座標(Xn,Yn)を一定時間毎に取得する。ステップ４（１５）にて、移動方向Ｆと移動速度Ｖを算出する。図１の溝（前後）３の場合は、溝がＹ方向に平行に配置されているため、移動方向は、（Y_n-Y_n-1）がプラスの場合は、移動方向Ｆ=1とし偽の場合は、移動方向Ｆ=−１とする。移動速度Ｖは、Ｙ方向のみを算出して、Ｖ＝｜Yn-Yn_-1｜とする。同様に図１の溝（左右）４の場合は、溝がＸ方向に平行に配置されているため、移動方向は、（X_n-X_n-1）がプラスの場合は、移動方向Ｆ=1とし偽の場合は、移動方向Ｆ=−１とする。移動速度Ｖは、Ｘ方向のみを算出して、Ｖ＝｜Xn-X_n-1｜とする。また、図２の円状の場合、右回りのペンの移動を正方向、左回りのペンの移動を負方向として定義すると円状に配置された溝の中心の位置座標を（Xo,Yo）として溝の中心の位置座標（Xo,Yo）を中心とする(X_n-1,Y_n-1) から(Xn,Yn)への移動角速度Ｖを内積を用いて移動速度Ｖ=acos( (X_n*X_n-1+ Y_n*Y_n-1) / (sqr(X_n ^２ + Y_n ^２)*sqr(X_n-1 ^２+ Y_n-1 ^２)) )として算出し、移動方向Ｆは、移動速度Ｖが正の場合Ｆ＝１とし偽の場合は、移動方向Ｆ=−１とする。次にステップ６（１７）において各溝毎に移動速度から操作量への変換のために予め定めている操作量補正係数Ｄｋを使用して操作量Ｃｋ＝Ｆ＊Ｄｋ＊Ｖを算出する。ステップ７（１８）では、各溝毎に予め定義されている操作ｋのプログラムの設定値ｋを操作量Ｃｋに書き換える。これにより、溝毎に予め定義された操作ｋが行われた動作となる。ステップ８（１９）では、ペン先が押下され続けている間この処理を継続するため、ペン先が押下中は、ステップ３（１４）へ移行する。

各溝をペン先で筆記することで得られた各操作量の送信先は、各操作量毎にソフトウェア名及び操作項目名等を記憶し予め関連づけられている。溝をペン先で筆記することで得られた操作量は、この関連づけられたソフトウェアと操作項目へのイベントメッセージとして送信され、ソフトウェアは、そのイベントメッセージを受信して操作項目の操作量を変更し表示の更新や処理を実行することにより、入力装置１１による操作と同様にソフトウェアの操作を行う。溝（前後）３を計算機上で動作する筆跡入力ソフトの筆跡表示プログラムの上下スクロールバーに関連づけ、前後方向に溝にてペン１の筆記を前後に行うと前記上下スクロールバーの操作量が変化し、筆跡の表示位置を上下に移動する操作を行うことができる。また、溝（左右）４を筆跡表示プログラムの左右スクロールバーに関連づけても同様に筆跡の表示位置を左右に移動する操作を行うことができる。また、溝（円形）５を筆跡の表示の拡大縮小表示に関連づけ、円状の溝にペン先を入れた筆記が右回りの筆記の場合には筆跡の表示を拡大し、筆記が左回りの場合には筆跡の表示を縮小することもできる。

図４に、本発明の溝に凸凹つけた溝の断面図を示す。本例は、溝内の両端近くにペン先端部が接触する部分凸凹の起伏を設け、ペンを移動する際に発生するペン先からの振動を操作者が筆記の操作量を把握することができる。これらの処理を溝の端部に施した場合、操作者が操作量の変化を確認するため画面を注視している場合であってもペン先から伝わる筆記抵抗や振動から溝の端部を知ることができ、ペン先が溝から逸脱することを防ぐことができる。

筆跡システムを構築することにより、溝以外の特別な付加部品を必要とせず、また操作者がペンを持ち替えることなく、ペン先を溝に入れて溝方向にペンを移動することで、予め定めた操作と操作量を計算機に与えて操作することができる。

１ペン
２受信装置
３溝（前後）
４溝（左右）
５溝（円形）
６ボード
７用紙
８通信ケーブル
９計算機
１０表示装置
１１入力装置
１２ステップ１
１３ステップ２
１４ステップ３
１５ステップ４
１６ステップ５
１７ステップ６
１８ステップ７
１９ステップ８
２０ステップ９
２１ステップ１０
２２ステップ１１
２３ステップ１２
２４ステップ１３
２５ステップ１４
２６凸凹部
２７平坦部

Claims

筆記可能なペンであり且つ、ペンの位置座標を取得する為に必要な場合に於いて発信装置を具備するペンと、該ペンから必要な場合に発信された信号を受信し、前記ペンの位置座標を検出して座標を計算機に出力する通信機能を備えた受信装置と、計算機に送信されたペンの位置座標値を、計算機に接続された表示装置に表示するソフトウェアが計算機上で動作し、且つ、ペンの位置座標を筆跡データとして計算機内の記憶装置に記憶する計算機を備えた筆跡入力システムにおいて、ペンの座標検出範囲内にペン先を拘束する１個以上の溝を直線状もしくは曲線状に設けると共に、該ペン先を拘束する溝内のペン先端部が接触する部分の少なくとも両端部に表面の粗さ強弱もしくは凸凹の起伏を設け、ペンを溝内で溝に倣って動かせるよう半固定し、前記ペンの位置座標値が、予め定めた溝の周囲の範囲内にて筆記した場合は、計算機に対して予め定めた動作をするソフトウェアへの操作を行ったと判断し、前記ペンの位置座標から得られる移動方向もしくは移動速度及び移動量から計算機上で動作するソフトウェアの操作量を算定してから送信し、計算機の操作を行うことを特徴とする筆跡入力システム。