JP4292927B2 - ペン型データ入力装置及び該プログラム - Google Patents

Description

本発明は、筆記者により筆記された文字又は図形をコンピュータに取り込むための装置及びプログラムに関する。

現在、個人携帯用端末機またはコンピュータ応用機器にペンの筆記内容を入力するためにＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）タブレットやデジタイザタブレットのような２次元センサ配列を含む入力装置が広く使われている。このような入力装置は、比較的大面積の２次元センサ配列を必要とするために、別の感知平面が必要である。したがって、携帯し難くて所定の空間を占め、またコスト面でも短所がある。

よって、従来においてこのような問題を解消するために、物理的タブレットなしに一般の平面上で単一電子ペンだけを利用した。このとき、この単一電子ペンが文書入力が可能であれば、従来のペン入力装置に比べて広い入力空間を提供されるために自然な筆記入力が可能なので非常に効果的である。

このような自己運動感知方式の電子ペンを利用した文書または絵の入力のためには、ある基準座標系に対する電子ペンチップの位置座標を連続的に求められなければならない。しかし、大部分の筆記動作はペンを筆記面と接触させたダウン状態で行い、移動する場合にはペンを筆記面と接触しないアップ状態となる。ペンの連続的な座標値を求めるためには、接触または非接触状態でもその位置値を精密に測定できる手段を必要とする。

ここで、従来の電子ペン状の入力装置のタイプには、外部座標測定法、内部座標測定法、及び紙面座標印刷法の大きく３種類ある。
外部座標測定法とは、ペン外部でペンチップの座標を測定する方式のことであり、例えば、３角測量方式（特許文献１）、電磁波（特許文献２）、または超音波（特許文献３）の飛行時間差を利用する方式などがある。

しかし、前記方式はペンから発信信号を送って外部から受信する形になっているために、携帯用端末機のような装置では、端末機の本体に受信部を装着しなければならないので携帯が不便な短所がある。
内部座標測定法とは、ペン内部でペンチップの座標を測定する内蔵方式で、ペン内部でペンチップの運動を感知する方式であって、初期にはペン内部に装着された２軸または３軸加速度センサを利用して二重積分を通じて電子ペンの位置運動を求める方式（特許文献４、特許文献５、特許文献６）が提案された。

しかし、加速度センサをペンチップに装着し難い問題点があり、一定の高さに装着する場合にはペン中心軸の傾斜角に対する影響を考慮しないため大きな位置誤差を招く恐れがある。また、加速度信号を二重積分することによって累積誤差が増加するので、正確な運動を測定し難い短所がある。

このようなペンの傾斜角に対する影響を補正するためにＡ.ＴＣｒｏｓｓ社（特許文献７）で２軸以上の加速度センサ素子をペンチップに移動させ、信号処理部はペンの上部に移動させる方法を提案しているが、センサ素子及び信号処理部が分離されていて電気的な雑音の影響が大きくて、ペン先端にインクを装着できない問題点がある。

一方、Ｓｅｉｋｏ社（特許文献８）では傾斜角補正のために２軸加速度と２ジャイロを利用して加速度は二重積分でその位置を求め、ペンの角速度を単積分してペンの傾斜角を測定する方式を提案している。また、Ｒｉｃｈｏ社（特許文献９、特許文献１０）では、ペン内部に３軸加速度センサと３軸ジャイロセンサを内蔵して一般的な３次元筆記運動をするペンチップの位置を求める方法を提示している。

しかし、入力する平面が常に重力方向に垂直でなければならないために使用上の制約があり、前記慣性センサ（加速度センサ、ジャイロ）を利用する方式において加速度は二重積分、角速度は単積分を通じてペンの位置及び角度を求めるが、センサ信号の雑音やドリフトにより加速度系の場合は時間の自乗累乗、ジャイロの場合には時間に比例する形に累積誤差が増加して精密なペンチップの運動を推定し難い問題点がある。

前記累積誤差を減らすために、最近インターセンス社では３軸加速度センサ及び３軸ジャイロを使用したペン装置に超音波センサを追加して、慣性センサ（加速度、角速度）から発生する位置累積誤差を減らす技術を提示している。しかし、このような外部センサの追加は携帯性に悪いという問題点がある。

また、これらの改善を行ったものとして、特許文献１１では３軸の加速度センサに加えて、電子ペンの中心軸の筆記面に対する傾斜角及び筆記面に対する高さを測定するための光学式３次元測定装置を設けて、この筆記面との高さを用いて、３軸加速度センサからの位置座標を補正することによって精度を高めたものがある。

しかし、この方法では高さ方向に関しては制度よく位置検出を行うが、筆記面に接した状態での移動量検出は加速度センサにて測定を行わざるを得ないので、細かい文字の入力などには適しない。
紙面座標印刷法とは、紙面上一面に細かい点で座標の記録を行い、この座標をペンに実装された２次元イメージセンサ（カメラ）にて読み込み、その座標にてペンの軌跡を算出する方法であって、特許文献１２などが提案されている。この方法では紙面上に書かれた座標を読み込むことで、ペンの軌跡を検出するので正確である。

しかし、この方法では予め座標を書いた紙においてのみ動作が可能であり、普通の一般紙では自由にペンの軌跡がとれない問題があった。
米国特許第５１６６６６８号明細書 米国特許第５９７７９５８号明細書 米国特許第４４７８６７４号明細書 米国特許第５２４７１３７号 国際公開ＷＯ第９４／０９４４７号パンフレット 米国特許第５５８７５５８号明細書 米国特許第５４３４３７１号明細書 特開平６−６７７９９号公報 米国特許第５９０２９６８号明細書 米国特許第５９８１８８４号明細書 特開２００３−０２９９１５号公報 国際公開第WO９２／１７８５９号パンフレット

以上より、従来の電子ペンは、様々な問題点を抱えており、必ずしも満足のいくものではなかった。
そこで、本発明では、上記の問題点を解決するために、加速度センサとカメラを設けたペン型データ入力装置（電子ペン）であって、紙面上からペン型データ入力装置が離れた場合には加速度センサにより、また紙面に筆記している場合はカメラで撮影した複数の画像により、紙面上のペンの移動情報を計算したり、座標位置を含むデータ符号が書かれた紙面から概符号を読み出して紙面上のペンの位置を計算したりするペン型データ入力装置及びプログラムを提供する。

請求項１に記載の発明に係るペン型データ入力装置は、筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出手段と、該加速度検出手段により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得手段と、インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、該筆記手段により筆記された前記文字又は前記図形を撮像する撮像手段と、該撮像手段により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得手段と、所定の符号パターンが配置された用紙より該符号パターンを読み取る読み取り手段と、該読み取り手段により読み取られた前記符号パターンに基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡情報を取得する第３の軌跡情報取得手段と、前記読み取り手段により前記符号パターンが読み取られたか否かに基づいて、前記第２の軌跡情報取得手段と前記第３の軌跡情報取得手段のうちいずれか１つを選択して、前記軌跡情報を取得する第１の選択手段と、を備えることを特徴とする。

このように構成することによって、符号パターンが配置された専用用紙を用いることができるので、電子ペンがその専用用紙のその位置にあるかを容易に特定することができ、また、前記ペン型データ入力装置は、さらに、前記読み取り手段により前記符号パターンが読み取られたか否かに基づいて、前記第２の軌跡情報取得手段と前記第３の軌跡情報取得手段のうちいずれか１つを選択して、前記軌跡情報を取得する第１の選択手段を備えることによって、通常の用紙及び専用用紙の両方を使用することができる。

また請求項２に記載の発明によれば、前記読み取り手段は、前記撮像手段を兼用することを特徴とする。

このように構成することによって、１つのカメラを複数の目的に使用することができる。
また請求項３に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記筆記対象媒体に対する圧力変化を検出する圧力検出手段と、該圧力検出手段により検出された前記圧力変化を示す情報に基づいて、前記第１の軌跡情報取得手段と前記第２の軌跡情報取得手段とのうちいずれか１つを選択して前記軌跡情報を取得する第２の選択手段と、を備えることを特徴とする。

このように構成することによって、電子ペンが紙面から離れている場合には３軸加速度センサを用いて電子ペンの軌跡を解析し、電子ペンが紙面に接している場合にはカメラを用いて電子ペンの軌跡を解析することができる。
また請求項４に記載の発明によれば、前記第２の軌跡情報取得手段は、前記撮像手段により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成することを特徴とする。

このように構成することによって、連続的に撮影した画像間の差より、軌跡情報を求めることができる。
また請求項５に記載の発明によれば、前記第２の軌跡情報取得手段は、前記筆記手段により筆記している場合、前記第１の軌跡情報取得手段により今回取得した軌跡情報と前回取得した軌跡情報とに基づいて、前記比較をする範囲を決定することを特徴とする。

このように構成することによって、２つの画像の比較の範囲を筆記している部分付近に限定することで処理の迅速化、処理負担の軽減が図れる。
また請求項６に記載の発明によれば、前記ペン型データ入力装置は、さらに、前記第１又は前記第２の軌跡情報取得手段により取得した前記軌跡情報を外部装置に送信する送信手段を備えることを特徴とする。

このように構成することによって、電子ペンで筆記した内容を無線通信等を介してホストコンピュータに送信することができる。
また請求項７に記載の発明によれば、前記ペン型データ入力装置は、前記外部装置と通信が接続されている場合は、前記送信手段により前記軌跡情報を送信し、前記外部装置と前記通信が切断されている場合は、前記軌跡情報を保持することを特徴とする。

このように構成することによって、ホストコンピュータと通信可能な状態にある場合には、電子ペンで筆記した内容をリアルタイムで無線通信等を介してホストコンピュータに送信することができ、通信不可能な状態にある場合には電子ペンに内蔵されているメモリにその内容を記憶させておくことができる。

本発明を用いると、１つのイメージセンサを用いて、符号が書かれた紙面であっても、また、書かれていない紙面であっても、良好にペンの軌跡を解析することができる。
また、ペンが紙面にダウンしているかを検出できるセンサを設け、読み出した画像から符号が書かれているかの判定と、前記ペンダウンのセンサの値によって２つのペン軌跡の解析方法を切り替えて用いる工夫を設けたことで、符号が書かれた紙面、書かれていない紙面を自動的に適切に切り替えることができる。

（実施形態１）
本実施形態における電子ペンの特徴は、以下に示す４つの基本的な機能を有していることである。
（１）筆圧に応じてインクの量を電子で制御を行い、ペン字の太さが調整できる。
（２）普通紙に書いた文字や図形のペン軌跡と筆圧を記憶することができる。
（３）無線通信にて上記ペン軌跡をパーソナルコンピュータ（以下、ＰＣという）に転送を行うことができる。
（４）特定符号が書き込まれた紙面からその符号を読み出し正確なペンの軌跡の検出ができる。

さらに、上記の４機能に付け加えて、特定符号の情報を読み出し、ＰＣに送り出し、様々な機能の実現を行うことができる。それでは、本実施形態について以下に説明する。
図１は、電子ペン１の構成図である。筆圧に応じてペン字の太さが調整できるように、インクジェット１７とインクを紙面上に吹き付けるためのインクジェットノズル２を有している。ノズル２は直接紙面上と接しないように、ペン先３がノズル２の隣に実装されている。このペン先３からインクは出ることはなく、ペン１で図形を書いたときに違和感の無いような材料を選んで実装するものとする。

ペン先３の根元には圧力センサ４が実装されており、ペン先３にかかる圧力をこのセンサ４で検出している。これにより、圧力に応じてペン字の太さを調整できるようにしている。さらに、この電子ペン１はカラーインクカートリッジ５を装着できるようになっており、インクカートリッジ５には黒インクだけではなくフルカラーの色が作成可能なようにＣＭＹＫ（シアン、マゼンタ、イエロー、ブラック）の４種類の色を含んでいる。ペン１の色は選択制御が可能になっており、ペン１の色に応じたインクとインクの量が前述したインクジェット１７によって、ノズル２を介して筆記面に吹き付け選択された色になるように描画される。

また、ペン１の軌跡を検出するために３軸加速センサ６を有しており、加速センサの精度不足を補うために、紙面に描かれた図形を読み出すためのレンズ７、ＣＭＯＳイメージセンサ８も有している。また、読み出された画像を処理したり、ペン軌跡などを計算したりするためのプロセッサ９と計算された軌跡や筆圧などを記憶するためのメモリ１０も有する。電子回路を動作させるための電池１１も実装されている。

また、イメージセンサ８を用いて、特殊紙面に書かれた座標点などを読み出すために用いる赤外ＬＥＤ１４および赤外線のみ透過させるための赤外フィルタ１５を有しており、電磁バネ１６にて赤外フィルタ１５を駆動してＣＭＯＳセンサ８に赤外線のみ透過するように切り替えられるようになっている。ＲＦ通信回路１３は、ホストコンピュータへペンの軌跡等の情報を送信するための回路である。次に、電子ペン１の描画の動作を図２、図３を用いて説明する。

図２は、インクジェットの制御ブロック図を示す。同図は、本実施形態における電子ペン１の構成図である図１の一部ブロックを信号の流れを加えて詳細な回路図にしたものである。電子ペン１を用いて紙（筆記物）に描画を行う場合には、通常のペンと同じようにペン先３を筆記物に当てて滑らして描画を行えばよい。

ペン先３は圧力センサ４と直結しており、ペン先３にかかる圧力がそのまま圧力センサ４に到達できるよう実装されている。したがって、ユーザ（筆記者）がペン１を使用する場合、その筆圧を圧力センサ４で検出できるようになっている。本実施形態での圧力センサ４はピエゾ抵抗型圧力センサを用いており、圧力に応じて抵抗値の変わる性質の材料を用いている。

センサ４には定電流を流して、センサ４端の電圧をプロセッサ９内のＡＤ変換器９０２で圧力値に応じたデジタル値を得ている。このデジタル圧力値はＣＰＵ９０１で読み出される。ＣＰＵ９０１はこの数値に応じて、カラーインクカートリッジ５からインクジェット１７に送られるインクの量の調整を行う。インク量の調整は次のような方法で行う。

まず、黒色を描画するときに使う黒インク（Ｋ）の量を１としたときの、現在の描画を行おうとしている色（Ｃ１）を作成するためのＣＭＹＫのインク混合比をＫｃ，Ｋｍ，Ｋｙ，Ｋｋとする。
この混合比については、予め描画したい色に最も近い色になるためのインク混合比を調べておき、その混合比を導出する方法のプログラミングを行うか、またはそれぞれの色に対応するインクの混合比をメモリなどに記憶されることで容易に混合比は得ることはできる。

次に、ペン先３にかかる最大の圧力の値をＰｍａｘとし、現在のペン圧力をＰとすると、それぞれインクの混合比はＫｃ＊Ｐ／Ｐｍａｘ，Ｋｍ＊Ｐ／Ｐｍａｘ，Ｋｙ＊Ｐ／Ｐｍａｘ，Ｋｋ＊Ｐ／Ｐｍａｘとなる。これらの混合比に応じてＣＰＵ９０１はインクカートリッジ５からインクジェット１７に流れるように、各弁１０３（１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ）を制御する。小型の弁は通常流出量をアナログ的に中間値を制御できないので、弁の開いている時間（開）とＯＦＦ時間（閉）を高速に制御することで中間量を作成する。

図３は、デューティ変調によるペンの線の太さ制御を示す。同図は、３種類の開閉時間に応じて紙面上のインクの径（ペン時の太さ）を変化させるためのデューティ変調を示す。
図３（ａ）は筆圧が小さいときのデューティ変調を示し、この場合、インクの流出量が少ないので、細い線（図３（ａ）右図）を描くことができる。図３（ｂ）は筆圧が中間のときのデューディ変調を示し、この場合、インクの流出量が中程度であるので、中間の太さの線（図３（ｂ）右図）を描くことができる。図３（ｃ）は筆圧が大きいときのデューティ変調を示し、この場合、インクの流出量が多いので、太い線を描くことができる（図３（ｃ）右図）。

このようにデューティ変調により、弁１０３の開閉時間を制御することによって、ペンの圧力に応じてインクジェットノズル２からインクを噴出すことが可能になるから、所望の色のペンの太さが制御可能である。
次に、本実施形態における電子ペン１を用いて普通紙に描画を行った場合、その描画内容を記録するためにペン１の軌跡解析を行う。

図４は、３軸加速度センサを用いた位置検出回路の構成を示したものであり、ペン１の基本的な軌跡解析を行うための装置を示したブロック図である。本実施形態の電子ペン１を用いて、紙（筆記物）への描画の動作を前述したが、その描画したときのペン１の軌跡を解析し、データとして取得が可能になっている。

３軸加速度センサ６は、ペン１の動きに応じて加速度を検出する装置である。これを用いてペン１の座標を特定するには、ペン１の位置を計算するのに加速度から２重積分を行うことで求めることができる。
３軸加速度センサ６は、空間３軸方向それぞれに加速度を検出できるピエゾ抵抗などを利用したものなどが開発されている。これらは加速度に応じた電圧値が出力されるので、それぞれの電圧値はセレクタ９０３を経由して、プロセッサ９内のＡＤ変換器９０２で加速度の値を時分割に連続に読み出せるように構成される。

本実施形態ではペン１の軌跡を解析する他の手段として、イメージセンサ８も有している。図４左下に示しているものは筆記面２０である。電子ペン１ではこのような筆記面２０の画像はレンズ７にてＣＭＯＳイメージセンサ８に集光され、イメージセンサ８にて画像データに変換される。本実施形態ではこの画像データはＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓｉｎｇ）回路９０４にてメモリ１０に送られる。これによってＣＰＵ９０１から画像データを操作することが可能になる。

ちなみに、ＣＭＯＳセンサ８は秒１００枚の周期（１０ｍ秒間隔）で画像データのサンプリングを行い、順番にメモリに送り出すように構成されている。なお、赤外ＬＥＤ１４、スイッチ９０５については、後述する。
次に、３軸加速度センサ６による軌跡解析の動作を、図５，図６を用いて説明する。

図５は、ペンの紙面上の移動とペン軸の傾きの変化、すなわち、ペンが紙面上を描画する際の動作を示している。また、図６は、本実施形態における電子ペン１のペンアップしてからダウンまでの移動の様子を示す。
ペン１の動きには紙面２０上に沿った２次元的な動きとペン軸が紙面２０に対して傾きを変えるペン軸の変化の動きとがある。また、（Ｐ１の地点で）ペン１が紙面２０を離れ（ペンアップ）、ペンの傾きを変えながら（Ｐ２）、他の地点（Ｐ３）で紙面２０に接する（ダウンする）動作が行われる。

図７は、プロセッサ９で加速度センサから座標位置を得るアルゴリズムを示す。プロセッサ９では、タスクと呼ばれる単位の処理を複数実行することが可能なようにプログラムされている。なお、同図は、タスクの１つの処理のフローチャートである。
このタスクでは、まず、３軸加速度センサ６により検出したデータを読み出す（Ｓ１）。これらのデータから３軸の加速度を求める（Ｓ２）。これら重力成分を排除した加速度からペンの速度ｖ（３次元ベクトル）を計算する（Ｓ３）。さらに積分して３軸絶対位置Ｐｘ（３次元ベクトル）を計算する（Ｓ４）。

次に、ペン１が紙面２０にダウンしているか否かを判定する（Ｓ５）。紙面２０にダウンしていないとき（Ｓ５で「Ｎｏ」に進む）は、後述するＳ９へ進む。紙面２０にダウンしているとき（Ｓ５で「Ｙｅｓ」に進む）は、３軸パラメータ補正要求があるか否かを判断する（Ｓ６）。Ｓ６で補正要求がない場合には、後述するＳ８へ進む。

Ｓ６で補正要求がある場合、この補正要求は後述する紙面上の座標計算を行う別のタスク（Ｔａｓｋ２）においてペンダウンが起きた際、その時のペン速度はゼロであるので、ペンの速度変数をリセットするように要求する（Ｓ７）。
これはペン１の速度および角速度は、加速度センサを積分して計算したものであるので、誤差の累積が生じて実際の速度と合っていない可能性があったが、この処理によってこの誤差の累積をクリアすることができる。次に紙面の基底ベクトルの作成を行う（Ｓ８）。これについては、図８を参照しながら説明する。

図８は、３軸絶対空間と紙面座標の関係を示す図であり、加速度センサ６から求める３軸の絶対空間と紙面上の座標を示したものである。同図で、Ｘ，Ｙ，Ｚ軸は３軸加速度から計算される絶対座標の座標系である。紙面２０を表す四角形領域は、絶対空間上での紙面２０の位置を示したものである。紙面２０上のＥｕ，Ｅｖベクトルは紙面２０の座標系をつくる基底ベクトルである。

紙面２０上では点Ｐ１，Ｐ２間の線が描画されたときの例を示している。このベクトルがＸＹＺ座標系ではＰｘとし、紙面２０上の座標系ではＰｕと測定されたとする。Ｘ，Ｙ，Ｚ軸とＵ，Ｖ軸との関係は線形であるので次式の関係が成り立つ。

いま、２点において２つの座標の対応点が（ｘ１，ｙ１，ｚ１）→（ｕ１，ｖ１），（ｘ２，ｙ２，ｚ２）→（ｕ２，ｖ２）であるとすると（Ｂ−１）式から

の関係が成り立つ。これより、

この結果、基底ベクトルＥｕ，Ｅｖは、（Ｂ−３）式で求められた係数を用いて（Ｂ−１）式の（ｕ，ｖ）にそれぞれ（１，０），（０，１）を代入して得られるので、次式のようになる。

図９は、Ｓ８の紙面の基底ベクトルの作成の詳細アルゴリズムを示す。まず、現在の紙面座標のペン位置Ｐｕを入手する。これは別タスクＴａｓｋ２にて計算されているので、すでに計算済みの最新のＰｕを読み出すものとする（Ｓ１０）。
次に、２種類の座標の対応点数のサンプル数Ｎｓを調べる（Ｓ１１）。これは予めＴａｓｋ１の開始時に「０」に初期化されているものとする。初期化後、初めてこの処理が行われる場合はＮｓ＝０であるので、Ｓ１２に分岐される。ここで、今回の紙面座標系のペン位置Ｐｕを（ｕ１，ｖ１）に、３軸加速度座標系のＰｘの座標値を（ｘ１，ｙ１，ｚ１）に保存し（Ｓ１２）、対応点数Ｎｓを１に書き換え（Ｓ１３）、本フローは終了する。

その後、再度引き続きペン１が紙面にダウンした状態で再度、本処理が呼ばれた場合（図７のＳ８）は、同様にＳ１０でＰｕを入手後、Ｎｓは「１」であるので、Ｓ１１でＳ１４に分岐される。今回の座標の対応点は、Ｐｕを（ｕ２，ｖ２）、Ｐｘを（ｘ２，ｙ２，ｚ２）に保存して（Ｓ１４）、（Ｂ−５）式のΔを計算する（Ｓ１５）。

このΔは、２点のベクトル（ｕ１，ｖ１），（ｕ２，ｖ２）の外積であって、後で求め
る基底ベクトルの計算の精度を上げるためにも、この値が大きいほうが望ましい。そのため、Ｓ１６で、このΔが予め決められた所定の値より大きいか否かを判断する（Ｓ１６）
。このΔが、この所定の値に達していない場合または所定の値以下の場合は、２点目のサ
ンプルは基底ベクトルを求めるのにふさわしくないと判断し、その後の処理をせずに終了する。

他方、このΔが所定量を超えた場合には、基底ベクトルを精度よく計算できるので、今
回のサンプルを有効として、サンプル数Ｎｓを「２」にする（Ｓ１７）。そして、（Ｂ−４）式にて基底ベクトルＥｕ，Ｅｖを計算し（Ｓ１８）、終了する。

その後、再度引き続きペン１が紙面にダウンした状態で再度、本処理が呼ばれた場合（図７のＳ８）は、同様にＳ１０でＰｕを入手後、Ｎｓは「２」であるので、Ｓ１１でＮｓ＞１と判断され、終了する。
以上より、Ｓ８において、現在の絶対座標ＰｘとＴａｓｋ２から計算される紙面上の座標Ｐｕの参照を行い、これらの２つの座標を対で記憶しておき、過去数点の座標対からＥｕ，Ｅｖを求めることができる。本実施形態ではＥｕ，Ｅｖの計算をＴａｓｋ１で行ったが、もちろんＴａｓｋ２で行っても構わない。これによって、ペン１を用いて紙面２０上に書いている間に基底ベクトルが計算できることになる。

それでは、図７のフローに戻ることにする。Ｓ８が終了した場合、またはＳ５でペンダウンしていない場合、所定時間（Ｔ秒）経つのを待つ（Ｓ９）。これは、このタスクのみ処理を行うと、他のタスクの処理ができないためである。
しかしながら、この方法だけでペン１の軌跡を得た場合には、通常の加速度センサの加速度検出間隔時間は数ｍ秒あるために、検出時間間の加速度変化の誤差が生じる。座標を得るのに積分を行うためにこの誤差も積分されるので、かなり大きな誤差を生じることになる。現状の加速度センサでは１００ＤＰＩ（Ｄｏｔ Ｐｅｒ Ｉｎｃｈ）の分解能の軌跡を得るのは困難である。

そのため、ペン１が紙面上で描画を行っている間は、イメージセンサ８を用いてその問題を解決する。前述したように、筆記者が紙面２０上に文字図形を描画しているときは圧力センサにて検出が可能である。
図１０は、本実施形態におけるカメラから読み出した文字の筆記例を示す。ここで、カメラとは、レンズ７とイメージセンサ８とからなる撮像系をいう。同図において、筆記者が電子ペン１で「あ」の文字を描画している途中の連続（１０ｍ秒間隔）で撮影された２つの画像図１０（ａ），（ｂ）を示している。この２つの画像から図１１、図１２のアルゴリズムによってペンの移動距離およびペンの座標位置が計算できる。

図１１は、ペン座標位置解析タスクのフローを示す。前述した３軸加速で計算される座標系Ｘ，Ｙ，Ｚと区別するために、カメラの画像から計算される紙面上の２次元の座標系をＵ，Ｖ座標とする。
イメージセンサ８による移動距離の計算は、もう１つのタスクで行われる（Ｔａｓｋ２）。タスクの開始後、まだ一度もペンが紙面２０上にダウンしていないことを示す変数ＦｉｒｓｔＤｏｗｎフラグをＹｅｓにし、また、ペンの状態を示している変数ＰｅｎＳｔａｔｕｓはペンアップ状態ＰＥＮ＿ＵＰにして初期化を行う（Ｓ２０）。それから繰り返し画像マッチングのフローを呼び出す（Ｓ２１）。

図１２は、Ｓ２１での画像マッチングによるペン座標解析フローチャートを示す。まず、圧力センサ４でペン圧の状態を調べ、ペン１が筆記している状態（ペンダウン状態）であるかどうかの判定を行う（Ｓ３０）。ペン１がダウン状態であるときは、過去のペン状態ＰｅｎＳｔａｔｕｓをチェックする（Ｓ３１）。初めてのペンダウンの場合のＰｅｎＳｔａｔｕｓは、ＰＥＮ＿ＵＰである。

Ｓ３１で、「ＰｅｎＳｔａｔｕｓ＝ＰＥＮ＿ＵＰ」であるときは、ＰｅｎＳｔａｔｕｓをＰＥＮ＿ＤＯＷＮの状態にして（Ｓ３２）、ペンダウンした紙面２０上の位置の３軸絶対座標を読み出す（Ｓ３３）。このとき、３軸絶対座標Ｐｘに格納されている座標をＰｘｄに格納する。次に、前述したように、速度誤差のリセットを行うために、３軸絶対座標のパラメータ（速度）の補正要求を行う（Ｓ３４）。

そして、ペンがこの紙面２０において初めてのダウンであるか否かのチェックをＦｉｒｓｔＤｏｗｎフラグを参照することで行い、初めてであるときは（Ｓ３５で「Ｙｅｓ」に進む）、ＦｉｒｓｔＤｏｗｎフラグをクリア（ＦｉｒｓｔＤｏｗｎ＝Ｎｏ）（Ｓ４０）し、紙面座標の初期化（Ｐｕ＝０）（Ｓ４１）を行う。そして、紙面上にダウンしたその紙面座標位置を保存する（Ｐｕ＿ｄｏｗｎ＝Ｐｕ）（Ｓ３９）。

その後、再び処理はループされ、ペンが紙面に描画されている間はＳ３０，Ｓ３１を経由し、「ＰｅｎＳｔａｕｓ＝ＰＥＮ＿ＤＯＷＮ」であるのでＳ４２に分岐される。次に、画像が入力されたか否かについて判定される（Ｓ４２）。前述したように画像イメージデータは定期的（１０ｍ秒ごと）に撮影が行われており（図１０参照）、画像入力がなされるまでループを行い、待機状態となる（Ｓ４２で「Ｎｏ」へ進む）。新しい画像が入力された場合（Ｓ４２で「Ｙｅｓ」に進む）、入力される画像をそのまま画像間のマッチング計算を行うには画素数が多いので、入力画像から縮小画像を作成する（Ｓ４３）（Ｓ３３の処理については、後述する）。

次に、Ｓ４４，Ｓ４５で画像マッチング処理ルーチンを呼び出し、移動ベクトルＤｕを得る（詳細の動作は後述する）。過去のペン座標Ｐｕに差分ベクトルＤｕを加算して座標位置の更新がされる（Ｓ４６）。この得られた位置座標と現在の筆圧を圧力センサ４から読み出し、両者を順番にメモリ１０に記憶させる（Ｓ４７）。

このように筆記者が紙面２０上に描画している間は、画像マッチングを行うことでペンの軌跡と筆圧の追跡が可能である。筆記者がペンアップを行うと、ペン圧がなくなり、その結果、Ｓ３０でペン圧の判定はアップと判断され、Ｓ４８の処理へ分岐される。
初めてのペンアップ状態であるか否かがＰｅｎＳｔａｔｕｓに基づいて判定され（Ｓ４８）、初めてである場合は、ＰｅｎＳｔａｔｕｓをＰＥＮ＿ＵＰにし（Ｓ４９）、そのときの３軸絶対座標ＰｘをＰｘｕに保存し（Ｓ５０）、さらにそのときの紙面座標ＰｕをＰｕ＿ｕｐに保存する（Ｓ５１）。ペンアップ後、ペン１の空中での移動量の計測はＴａｓｋ１によってなされる。

再度、ペン１が紙面２０上にダウンした場合は、Ｓ３５で２回目以降と判断され、前回のペンアップした座標と現在の絶対座標の値とを用いて移動ベクトル（ｄｕ，ｄｖ）がＳ３６−Ｓ３８で計算される。まず、Ｓ３３で取得した３軸絶対座標ＰｘｄからＳ５１で取得した３軸絶対座標Ｐｘｕを差し引いたものを空中絶対移動ベクトルＤｘとする（Ｓ３６）。

次に、空中絶対移動ベクトルＤｘを紙面上の座標に変換するための処理を行う。Ｅｕ，ＥｖはＵ，Ｖ座標のＵ成分、Ｖ成分の単位ベクトルそれぞれのＸ−Ｙ−Ｚ座標系に対応するベクトルである。いま、Ｘ−Ｙ−Ｚ系の空中絶対移動Ｄｘを、Ｕ−Ｖ座標系に変換することは、ＤｘベクトルをＥｕ，Ｅｖに分解することに他ならない。したがって、Ｄｘ＝（ｘ，ｙ，ｚ），Ｅｕ＝（ｘｕ，ｙｕ，ｚｕ），Ｅｖ＝（ｘｖ，ｙｖ，ｚｖ）とすると、求めるＤｘのＵＶ座標系の成分（ｄｕ，ｄｖ）は、

で求めることができる。
そして、再度ペンダウンしたときの紙面座標位置Ｐｕは、Ｓ５１でペンアップしたときの座標にＳ３７で求めた（ｄｕ，ｄｖ）を加算すればよい（Ｓ３８）。このＰｕをＰｕ＿ｄｏｗｎとして保存する（Ｓ３９）。このようにして３軸の絶対座標から紙面座標の移動ベクトルが計算することができる。

図１３は、画像マッチングアルゴリズムの例である。このアルゴリズムでは、マッチングは、対比する２枚の画像について、対応する画素同士の画素値の差分の総和を算出することで行う。マッチングを行う画像間の距離（２枚の画像のズレ量）の範囲を引数で渡すようにしている。図１２のフローでいえば、Ｓ４５の処理に相当する。

U軸側はＤｕ＿Ｂｅｇｉｎ〜Ｄｕ＿Ｅｎｄ、V軸側はＤｖ＿Ｂｅｇｉｎ〜Ｄｖ＿Ｅｎｄによって範囲が指定できる。通常は画像サンプリング間で通常のペン速度において移動可能な最大の距離ＲＡＮＧＥの範囲でマッチングできるよう、ｄｕ，ｄｖともに−Ｒａｎｇｅから＋Ｒａｎｇｅの指定を行う。

まず、ｄｕ＝Ｄｕ＿Ｂｅｇｉｎのとき（Ｓ６０）、ｄｖ＝Ｄｖ＿Ｂｅｇｉｎとする（Ｓ６１）。このＳ６０，Ｓ６１は、この引数で指定された２枚の画像間での移動距離ｄｕ，ｄｖを順番に指定している。次に、以下に示す式より２枚の画像のマッチングを行う（Ｓ６２）。

ｐ（ｎ，ｕ，ｖ）は今回の画像ｎの座標ｕ，ｖの画素値であって、ｐ（ｎ−１，ｕ−ｄｕ，ｖ−ｄｖ）は、前回の画像ｎ−１において座標点（ｕ，ｖ）から（ｄｕ，ｄｖ）離れた画素の値を示す。画素値は８ビットで示され、黒が０で白が最大値２５５を取るものとする。ＭＵ，ＭＶはこれらの画像のＵ，Ｖ軸方向の画像サイズであり、マッチングされる画像の範囲を示す。Ｄ（ｄｕ，ｄｖ）は２枚の画像を移動距離ｄｕ，ｄｖずらした状態で、重なった画素同士の画素値の差分を合計した結果を表す。対応する画素の値が同じであるとき差は０になるので、算出されたＤが大きいほど（０に近いほど）２枚の画像は類似することになる。

ｄｖをインクリメントして（Ｓ６３）、ｄｖ＞Ｄｖ＿Ｅｎｄとなるまで上記の処理を繰り返す。次に、Ｄｕをインクリメントして（Ｓ６４）、ｄｕ＞Ｄｕ＿Ｅｎｄとなるまで上記の処理を繰り返す。
次に、Ｄ（ｄｕ，ｄｖ）の最大値を探す（Ｓ６５）。これは、以下に示すｄｕ，ｄｖの範囲

のうち、それぞれの最大値を求め、その求めたｄｕ，ｄｖを移動値Ｄｕ＝（ｄｕ，ｄｖ）とする（Ｓ６６）。
上記のように、２枚の画像のマッチングをＳ６２で計算を行っている。想定されるＤが大きいほど２枚の画像は類似していることになる。Ｓ６０からＳ６４で得られた類似度から最大の類似度をＳ６５で探し出し、このときのｄｕ，ｄｖが最もこれらの２枚の画像が類似しているといえるから、このときの値が２つの画像間の間でペンが移動したベクトルとＳ６６で推測することができる。

このようにして取り込んだ画像から逐次ペンの位置の座標Ｐｕを計算することができる。本実施形態では、さらにマッチングの演算量を減らす工夫がなされている。図１２のＳ４４で行う処理は次のようなものである。現在の３軸絶対座標位置ＰｘをＴａｓｋ１から読み出し、前回この処理を行った時の３軸絶対座標位置Ｐｘと今回読み出した現在の座標位置Ｐｘとの差を計算し、移動した絶対座標ベクトルＤｘを得る。

この値よりＳ３６，Ｓ３７と同じように内積計算を行うことで、紙面座標系（Ｕ−Ｖ軸）の紙面移動距離Ｄｕ＝（ｄｕ，ｄｖ）が計算できる。この値が２枚の画像間で移動したおよその移動ベクトルであるので、この近傍で画像マッチングを行えば、効率よく移動ベクトルが求まる。

例えば、アルゴリズムを呼び出すときにこのＤｕ＿Ｂｅｇｉｎ＝ｄｕ−δ，Ｄｕ＿Ｅｎｄ＝ｄｕ＋δ，Ｄｖ＿Ｂｅｇｉｎ＝ｄｖ−δ，Ｄｖ＿Ｅｎｄ＝ｄｖ+δ（δは近傍でＲＡＮＧＥに比較して十分小さな値）の引数を渡せばよい。
本実施形態では、軸の回転を考慮していないマッチングを行ったが、前述した角速度から軸の回転を考慮したマッチングを行うと、よりよい精度の高い移動量が求められる。

次に、本実施形態におけるカメラの分解能について説明する。上述した図１３は、画像によるペン１の移動量の計算のアルゴリズムを示す。同図のアルゴリズムを用いて、入力される画像から移動距離が画素単位で計算できる。したがって、ペンの軌跡を記憶するのに必要とする以上にカメラの分解能があればよい。通常ペンの軌跡を再現するのに１００ＤＰＩぐらいが望ましいといわれているので、１ｍｍあたり４本以上の走査ラインをもつようにイメージセンサと光学設計を行えばよい。

本実施形態では画角１２ｍｍでイメージセンサは４８０×４８０を用いた。ここで必要以上に解像度であるのは、後述する他の動作に使用する理由からである。マッチングを行うのにこの画像数はオーバスペックなので、マッチングを行う画像は、図１２のアルゴリズムにおいて、Ｓ４３で解像度程度１２８×１２８まで画素数を落としている。

次に、電子ペン１の軌跡情報のホストへの転送について説明する。上述した方法によって、ペン１を用いて紙面２０上に描画した場合、リアルタイムにペンの軌跡と筆圧をメモリに保存されている。このメモリ内容を無線がサービスされているときにはリアルタイムで内容を読み出し、無線でＰＣ等のホストへ送り出して、また無線がサービスされていないときは、無線がサービスされるまでメモリ１０に保存したままにしておき、無線がサービスされたときに保存しておいたデータを一気に呼び出し、ＰＣ等のホストへ転送を行う。

これは無線の性格上、通信が不安定になったりするので、それを考慮した設計を施している。また、もちろん、ホスト側がなんらなの理由で動作していない場合、たとえば、出張先でホストであるＰＣを持たずにペンだけ持ち出しておいて、出張先で議事などを筆記した内容はペンの中にデータを保存しておき、帰社後オフィスのＰＣにて読み出すことが可能である。なお、本実施形態では、無線によりＰＣでデータを転送したが、これに限らずに有線でもよい。

次に、本実施形態における専用用紙を用いたときのペンの軌跡検出について述べる。前述した画像マッチングを行って軌跡の解析を行う方法は、かなりのケースにおいて有効な効果を発揮するが、紙面が相対的に動いたときや、紙を手で持って不安定な状態で描画されたときには、ペン１がダウンしたときの座標位置に誤差をもってしまう欠点を有している。

この問題を解決する手法として、電子ペン１では、座標位置などを含むデータを一面に記録した紙面からそのデータを読み出すことができる。このデータは少ない面積に少ない情報点で効率よく紙面上にデータ記録を行っている。この方法を用いた符号化の一例を図１４，１５に示している。

図１４は、本実施形態における情報シンボルと符号の割り当てを示す。同図において、データビットに対応する一枡の領域に点を記録する（１）か、記録しない（０）かで表記を行う（データのエンコード、デコードの動作は本発明に関係しないので割愛する。）。４枡を１つの符号シンボルとすると、左上に点が記録されている場合、「００」の符号が表現される。右上に点が記録されている場合、「０１」の符号が表現される。左下に点が記録されている場合、「１０」の符号が表現される。右下に点が記録
されている場合、「１１」の符号が表現される。このように情報シンボルは２ビットの情報を表す。

図１５は、専用用紙に記録されるブロックのシンボル配置を示す。左上隅にあるかぎ形のシンボルを同期シンボルといい、この同期シンボルを左上隅に配した９×９の単位をブロックと呼ぶ。紙面全体はこのブロックを敷き詰めた形で構成する。ブロックには、同期シンボル以外に図１４で述べた情報シンボルが８個存在する。このブロックを用いて座標位置を表すためには、図１５に示すように、ブロック右上側の３つの情報シンボルによりＸ軸方向の座標データｘ０〜ｘ５を割り当て、、ブロック左下側の３つの情報シンボルによりＹ方向の座標データｙ０〜ｙ５を割り当てる。残り２つの情報ブロックはその他の用途としてｚ０〜ｚ３（オプションデータ）を割り当てることができる。

かぎ形の同期シンボルは単独でもこれを検出することによってブロックの向きが分かると同時に４個の隣接するブロックの同期シンボルを頂点に対応付けた方形を検出することができる。同期シンボルの間をｘ方向、ｙ方向にそれぞれ９等分して仮想的な格子を作り、前記の２×２格子８個のそれぞれどの位置にドットが存在するかを検出することにより、ｘ，ｙ，ｚ各情報が復元できる。

実際は、撮像分解能などの制約から、被写体の傾きや明るさによって同期シンボルの検出位置（たとえば重心）には誤差が含まれる。この影響を減らすため、参照点を増やす方法として、画像の取り込み範囲を広げて参照点となる同期シンボルの数を増やす、情報シンボルを参照点に組み入れる（情報シンボルと格子のずれを利用する）等が可能である。

また、１ビットの大きさをペンの軌跡の分解能とすることが可能である。この一枡のサイズを１００ＤＰＩ（Ｄｏｔ Ｐｅｒ Ｉｎｃｈ）にすれば、ペンの軌跡（座標位置を特定すること）の分解能も同等以上に可能になる。
このシンボル（符号）は予めプリンターや印刷などによって予め記録しておく。また、この符号を記録するのに使うインクは、ペン１で用いる通常のインクとは違う成分の素材を用いるのが望ましい。なぜならば、交差するような文字を描画する場合、ペンが符号の上に筆記された後、その同じ位置にペンを上書きする場合があり、このような場合に一度ペンのインクで符号を上書きされてもこの符号を読み出せるようにしなければならない。そのため本実施形態では、ペン１のインクは赤外線を透過する素材のインクを、符号を記録するインクは赤外線を吸収する材料を用いる。

次に、電子ペン１の符号読み取りについて説明する。
図１６は、紙面一面にシンボル（符号データ）を記した例である。このシンボルを図４で用いた同じ装置で読み出す。図４での筆記面には、図１５のような符号が紙面一面に記録されている。すなわち、この用紙が、本実施形態における専用用紙である。この符号は前述したように赤外吸収材料で印刷されている。符号を読むときは、ＣＰＵ９０１はスイッチ９０５を制御し、赤外ＬＥＤ１４を点灯させる。また、赤外透過フィルタ１５は電磁バネ１６によって、縦向きから横向き方向へ回転軸を中心に回転し、レンズ７とイメージセンサ８の間にこのフィルタ１５が挿入された形（点線で示した状態）になる。

図１７は、電磁バネの動作を分かり易く図示したものである。電磁バネ１６には回転軸があり、回転軸に沿って赤外フィルタ１５が装着されている。赤外フィルタ１５は電磁石Ａ（３０）または電磁石Ｂ（３１）のいずれかが動作することによって、図１６の寝た状態か、立った状態かのいずれかの位置で安定する。

文字を読み取るときは赤外線も含む全ての光を通過させて、イメージセンサ８のセンサ受光部３２に照射させるように、電磁石Ａ（３０）をONにしてフィルタ１５を立った状態にさせる。他方、符号を読み出すときは赤外線のみ通過させるため、赤外透過フィルタ１５（可視光フィルタ）を寝かした状態になるに電磁石Ｂ（３１）をONにして動作させる。このようにして符号を読み出すときは赤外線のみイメージセンサに届くので、ペンのインクが塗られた上体に関係なく、紙面上に印刷された符号だけが読み出せる。

次に、符号読み取りと画像マッチングの切り替えについて説明する。すなわち、通常の用紙で用いると専用用紙で用いる場合との電子ペン１の軌跡解析の切り替え動作について述べる。
図１８は、符号方式と画像マッチング方式の切り替えによる軌跡解析タスクのフローを示す。符号が印刷された紙から符号を読み出して座標位置を得る方法は、ペンが紙面を離れてどのように移動しようが問題にならない。なぜならば、常にペン１は紙面上の座標を読み出すことにより自分のペンの位置を特定できるからである。この方法はペンの軌跡を完全に追跡することが可能である。

しかしながら、筆者は常に符号の書かれた特殊用紙を用意しなければならない。そこで、電子ペン１は、紙面２０上に符号が書かれている場合にはその符号を読み出すことでペン軌跡を解析し、符号が書かれていない場合には書かれた文字のマッチングによりペンの移動ベクトルを得て、その結果、紙面上でのペン軌跡の解析を行う。

その切り替え方法の一例を図１８に示す。同図は、図１１のＴａｓｋ２に対して、符号方によるペン解析機能を追加したものである。タスクでは、まず、どちらの方法でペンの軌跡を解析するかを判断するＰｅｎＭｏｄｅフラグに「Ｍａｔｃｈｉｎｇ」を代入して初期化する（Ｓ７０）。前述したように定期的にサンプリングされている画像が取り込まれるまで待つ（Ｓ７１）。取り込まれた画像は、まず紙面上に符号が書かれているか否かの判定を行う（Ｓ７２）。

ここではペンが紙面にダウンしているか否かに関係なく、Ｓ７２の判定を行う。紙面に符号が書かれているときは、ペン１が紙面に近づいてタッチする前から符号は読み出すことが可能である。
したがって、本実施形態では符号が読み出せる状態になった場合（Ｓ７２で「Ｙｅｓ」へ進む）には、すぐにこの紙面に符号が書かれたものとして、ＰｅｎＭｏｄｅフラグに「Ｃｏｄｅ」を代入して符号モードにする（Ｓ７３）。その後、読み出した画像から符号解析と符号から紙面位置Ｐｕを得て（Ｓ７４，Ｓ７５）、その座標値と現在の筆圧をメモリに保存し、軌跡を記録に残す（Ｓ７６）。そして、ペンモードが符号モードになった場合にはＦｉｒｓｔＤｏｗｎフラグをＹｅｓでリセットする（Ｓ７７）。

紙面上でペンが描画している間に、たまたま、ごみが付着した等の理由で符号が読み出せない場合にはＳ７１で「Ｎｏ」方向へ進み、ＰｅｎＭｏｄｅフラグについて判定される（Ｓ７８）。ここで、上述の通りＰｅｎＭｏｄｅには「Ｃｏｄｅ」が格納されているので、ペン圧の判定がされる（Ｓ７９）。ペン１がダウンしている間はＳ７９で「ダウン」の方向に分岐するので、ペンモードは符号モードを維持する。このように、ペン１が符号の書かれた紙面上を描画している間は前述したループを繰り返すことで軌跡記録が可能になる。

さて、ペン１が紙面を遠く離れて符号が読めなくなると、Ｓ７９のペン圧の判定で「アップ」へ分岐し、ペンモードは「Ｍａｔｃｈｉｎｇ」が代入され（Ｓ８０）、画像マッチングモードになり、画像マッチング処理が呼び出される（Ｓ８１）。この画像マッチング処理は前述の図１２のフローと同様である。

その後、ペン１は、符号が書かれていない普通紙で描画される場合には、ペンアップ、ダウンに関係なくＳ７１、Ｓ７２，Ｓ７８，Ｓ７９，Ｓ８０，Ｓ８１の処理が繰り返される。したがって、この画像マッチング処理（Ｓ８１）が繰り返して呼ばれる。よって、前述した方法によって、画像マッチングによりペンの軌跡記録が可能になる。

以上、本実施形態によると、２種類のペン１の軌跡解析方法を切り替えることで、符号が書かれた紙面または符号が書かれていない紙面に関係なく、常にペン１の軌跡解析および記録が可能になる。また、これらの２種類の解析法が紙面をすばやく判断し動的に切り替えて行うので、２つの解析処理を並列的に行う必要が無く、高価なプロセッサを用いずに実現が可能になる。

また、ペンの軌跡データを通信でホストに送るときに、どちらのモードで軌跡を計算されたかを送ることで、両者のペンの軌跡の精度の違いをホスト側でアプリケーションにて工夫することも可能である。
（実施形態２）
実施形態１では、符号を読み出す場合と、通常のインクで書かれた文字を読み出す場合とで、赤外透過フィルタ１５を切り替えることによって、２つの読み出しを実現したが、本実施形態では、イメージセンサにマクロフィルタを赤外線のみ透過とするフィルタと吸収するフィルタとを交互に配置する方法でイメージセンサを共有させる。

これにより、符号を読み出すときの分解能が下がるが、赤外透過フィルタ１５や電磁バネ１６を実装しないで済む特徴がある。分解能が下がった分イメージセンサの画素数を増やすことで対応が可能である。
また、ほかの方法として、実施形態１で用いたペンのインクと符号のインクは排他的であればよいので、ペンのインクは紫外線透過材料、符号用のインクは紫外線吸収材料を用いイメージセンサ前のフィルタ１５は紫外線透過フィルタに交換し、赤外ＬＥＤは紫外線ＬＥＤに交換して実現を行ってもよい。

（実施形態３）
実施形態１では、加速度センサを１つ搭載した電子ペンを説明したが、本実施形態では、加速度センサを２つ搭載した電子ペンについて説明する。
筆記の軌跡はペン先３が紙面２０上でどのように移動しているかを特定できればよいので、本来、紙面２０上に沿った２次元的な移動だけが検出できればよい。しかし、加速度センサを用いた方式を用いる場合、図５のようにペン軸が傾きに変化があると重力の影響を受けるのでペン１の傾きも検出する必要がある。

図６に示すように、３次元加速度センサは、ペンが紙面上から離れた場合の補助的なペンの移動を推測するのみである。したがって、実施形態１では、ペン１が浮上して移動する際のペンの傾きなどは変化が無いものとして移動距離を求めているが、このように制約を設けても、紙面から長い時間離れていない限り、実用上には問題は無い。もちろん、本実施形態における電子ペン１に、特許文献９のようにもう１つ３軸ジャイロを付加することで、ペン軸の傾きの影響を除いたペン位置座標を得ることは可能である。本実施形態は、ペン軸の傾きの影響を考慮して、さらに電子ペンの軌跡計算の精度を向上させることができる。

実施形態１における電子ペンの構成図である。 実施形態１におけるインクジェットの制御ブロック図である。 実施形態１におけるディーティ変調によるペンの線の太さ制御を示す図である。 実施形態１における３軸加速度センサを用いた位置検出回路の構成を示す図である。 実施形態１におけるペンが紙面上を描画する際の動作を示す図である。 実施形態１におけるペンアップしてからダウンまでの電子ペンの移動の様子を示す図である。 実施形態１におけるプロセッサ９で加速度センサから座標位置を得るアルゴリズムを示す図である。 実施形態１における３軸絶対空間と紙面座標の関係を示す図である。 実施形態１における紙面の基底ベクトルの作成のアルゴリズムを示す図である。 実施形態１におけるカメラから読み出した文字の筆記例を示す図である。 実施形態１におけるペン座標位置解析タスクのフローを示す図である。 実施形態１におけるＳ４１での画像マッチングによるペン座標解析フローチャートを示す図である。 実施形態１における軸の回転を考慮していないマッチングアルゴリズムの例を示す図である。 実施形態１における情報シンボルと符号の割り当てを示す図である。 実施形態１におけるブロックのシンボル配置を示す図である。 実施形態１における紙面一面にシンボル（符号データ）の例を示す図である。 実施形態１における電磁バネの動作の概略を示す図である。 実施形態１における符号方と画像マッチング方の切り替えによる軌跡解析タスクを示す図である。

符号の説明

１ 電子ペン
２ インクジェットノズル
３ ペン先
４ 圧力センサ
５ カラーインクカートリッジ
６ ３軸加速センサ
７ レンズ
８ ＣＭＯＳイメージセンサ
９ プロセッサ
１０ メモリ
１１ 電池
１３ ＲＦ通信回路
１４ 赤外ＬＥＤ
１５ 赤外フィルタ
１６ 電磁バネ
１７ インクジェット
２０ 紙面
３０ 電磁石Ａ
３１ 電磁石Ｂ
３２ センサ受光部
１０３（１０３ａ、１０３ｂ、１０３ｃ、１０３ｃ） 弁
９０１ ＣＰＵ
９０２ ＡＤ変換器
９０３ セレクタ
９０４ ＤＭＡ

Claims (10)

1. 筆記対象媒体に筆記した文字又は図形を、電子データとして取得するペン型データ入力装置において、
   該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出手段と、
   該加速度検出手段により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得手段と、
   インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記手段と、
   該筆記手段により筆記された前記文字又は前記図形を撮像する撮像手段と、
   該撮像手段により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得手段と、
   所定の符号パターンが配置された用紙より該符号パターンを読み取る読み取り手段と、
   該読み取り手段により読み取られた前記符号パターンに基づいて、前記筆記手段により筆記された前記文字又は前記図形の軌跡情報を取得する第３の軌跡情報取得手段と、
   前記読み取り手段により前記符号パターンが読み取られたか否かに基づいて、前記第２の軌跡情報取得手段と前記第３の軌跡情報取得手段のうちいずれか１つを選択して、前記軌跡情報を取得する第１の選択手段と、
   を備えることを特徴とするペン型データ入力装置。
2. 前記読み取り手段は、前記撮像手段を兼用することを特徴とする請求項１に記載のペン型データ入力装置。
3. 前記ペン型データ入力装置は、さらに、
   前記筆記対象媒体に対する圧力変化を検出する圧力検出手段と、
   該圧力検出手段により検出された前記圧力変化を示す情報に基づいて、前記第１の軌跡情報取得手段と前記第２の軌跡情報取得手段とのうちいずれか１つを選択して前記軌跡情報を取得する第２の選択手段と、
   を備えることを特徴とする請求項１に記載のペン型データ入力装置。
4. 前記第２の軌跡情報取得手段は、前記撮像手段により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記手段により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成すること
   を特徴とする請求項１に記載のペン型データ入力装置。
5. 前記第２の軌跡情報取得手段は、前記筆記手段により筆記している場合、前記第１の軌跡情報取得手段により今回取得した軌跡情報と前回取得した軌跡情報とに基づいて、前記比較をする範囲を決定すること
   を特徴とする請求項４に記載のペン型データ入力装置。
6. 前記ペン型データ入力装置は、さらに、
   前記第１又は前記第２の軌跡情報取得手段により取得した前記軌跡情報を外部装置に送信する送信手段
   を備えることを特徴とする請求項１に記載のペン型データ入力装置。
7. 前記ペン型データ入力装置は、前記外部装置と通信が接続されている場合は、前記送信手段により前記軌跡情報を送信し、前記外部装置と前記通信が切断されている場合は、前記軌跡情報を保持すること
   を特徴とする請求項６に記載のペン型データ入力装置。
8. 筆記対象媒体に筆記した文字又は図形を電子データとして取得するペン型データ入力装置内のコンピュータに、該電子データを取得させる処理を実行させるためのデータ入力プログラムにおいて、
   該ペン型データ入力装置を移動させた場合に生じる加速度を検出する加速度検出処理と、
   該加速度検出処理により検出した前記加速度に基づいて、前記ペン型データ入力装置の移動した軌跡を示す軌跡情報を取得する第１の軌跡情報取得処理と、
   インクを用いて前記筆記対象媒体に前記文字又は前記図形を筆記する筆記処理と、
   該筆記処理により筆記された前記文字又は前記図形を撮像する撮像処理と、
   該撮像処理により撮像された複数の前記文字又は前記図形の画像に基づいて、前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を取得する第２の軌跡情報取得処理と、
   所定の符号パターンが配置された用紙より該符号パターンを読み取る読み取り処理と、
   該読み取り処理により読み取られた前記符号パターンに基づいて、前記筆記処理により筆記された前記文字又は前記図形の軌跡情報を取得する第３の軌跡情報取得処理と、
   前記読み取り処理により前記符号パターンが読み取られたか否かに基づいて、前記第２の軌跡情報取得処理と前記第３の軌跡情報取得処理のうちいずれか１つを選択して、前記軌跡情報を取得する第１の選択処理と、
   をコンピュータに実行させるためのデータ入力プログラム。
9. 前記第２の軌跡情報取得処理は、
   前記撮像処理により今回撮像された前記画像と前回撮影された前記画像との比較をして、該比較結果に基づいて前記筆記処理により筆記された前記文字又は前記図形の軌跡を示す軌跡情報を生成することを特徴とする請求項８に記載のデータ入力プログラム。
10. 前記データ入力プログラムは、さらに、
    前記第１又は前記第２の軌跡情報取得処理により取得した前記軌跡情報を外部装置に送信する送信処理をコンピュータに実行させることを特徴とする請求項９に記載のデータ入力プログラム。

Images