以下、図面を参照して本発明の好適な実施の形態について説明する。
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10と、専用ペーパー(電子ペン用媒体)20と、端末装置25とから構成される。ここで、図1は電子ペン10の使用形態を模式的に示す図であり、図2は電子ペン10の構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10は、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10は、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
なお、端末装置25は、ハードウェアとして、電子ペン10とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。
[専用ペーパー]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
図5及び図6に、図案等が印刷された専用ペーパー20の例を示す。図5は、電子ペン用記入帳票(以下、「記入帳票」と呼ぶ。)の例である。図6は、電子ペン用修正パレット(以下、「修正パレット」と呼ぶ。)の例である。
図5に示す記入帳票は、割賦申込書の一例であって、商品名・型式を記入するユーザエリアである商品名エリア61、数量を記入するユーザエリアである数量エリア62、現金価格を記入する価格エリア63A等が印刷されている。ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に各ユーザエリアの名称やお願い、各ユーザエリアの枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、割賦申込をする場合に、電子ペン10を使用して各ユーザエリアに必要事項を記入する。
図6に示す修正パレットは、誤認識された文字列の修正に使用する帳票であって、「0」から「9」までの数字が記載されたユーザエリアである修正エリア65、「開始」が記載されたユーザエリアである決定エリア66、「終了」が記載されたユーザエリアである決定エリア67等が印刷されている。ドットパターンは、修正パレットのほぼ全面に印刷されており、その上に数字や枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、誤認識された文字列を修正する場合に、電子ペン10を使用して、開始エリア66をタップした後、記入帳票上の修正したい文字の帳票エリアをタップし、修正した正しい文字(以下、「修正文字」と呼ぶ。)に対応する修正エリア65をタップ(電子ペン10のペン先部17の専用ペーパー(電子ペン用媒体20)への軽叩)する。そして、利用者は、修正を完了する場合に、電子ペン10を使用して終了エリア67をタップする。
[ドットパターン]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10によって行われる。
[電子ペン]
次に電子ペン10について説明する。図2に示すように、電子ペン10は、その内部にプロセッサ11、メモリ12、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18、スピーカ(音声出力部)19及びクロック22を備える。また、電子ペン10は通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
LED15は、電子ペン10のペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15)に向けて、赤外線を照明する(図1参照)。領域15は、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
バッテリー14は電子ペン10内の各部品に電力を供給するためのものであり、例えば電子ペン10のキャップ(図示せず)の脱着により電子ペン10自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10により専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10で専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として取得する。さらに、プロセッサ11は、記入情報に基づいて所定の処理を実行する。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10でユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
メモリ12には、プロセッサ11によって、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとが対応付けて記憶されていく。また、後述する修正エリア特定手段によって、修正エリアと当該修正エリアをタップした時刻(タップ時刻)が、対応付けて一時記憶される。またメモリ12には予め、帳票エリア定義情報及び修正エリア定義情報を記憶しておく。
データ通信ユニット13は、プロセッサ11が所定の処理を行った結果を近傍にある端末装置25に記録、表示させるため、あるいは所定の処理を実行させるため、プロセッサ11により供給されるメモリ12内の所定のデータを端末装置25へ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25へデータ送信を行ってもよい。
ここで電子ペン10が有する機能について図7を参照して説明する。図7は、電子ペン10の主要な構成を示す機能ブロック図である。電子ペン10は、取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
図7に示すように、電子ペン10は、情報記憶手段31、記入情報取得手段32、開始終了点特定手段33、帳票エリア特定手段34、記入文字列認識手段35、音声出力手段36、認識結果格納手段37、修正エリア特定手段38、判定手段39、修正文字特定手段40、認識結果上書手段41及び音声出力部42を備える。物理的には、情報記憶手段31及び認識結果格納手段37は、ROMやRAMといったメモリによって構成され、記入情報取得手段32は、データ通信ユニット、プロセッサ等によって構成され、音声出力部42はスピーカ等で構成される。また、開始終了点特定手段33、帳票エリア特定手段34、記入文字列認識手段35、音声出力手段36、修正エリア特定手段38、修正エリア特定手段38、判定手段39、修正文字特定手段40、認識結果上書手段41は、CPU等のプロセッサに組み込まれている。
情報記憶手段31は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。情報記憶手段31は、本発明における第1帳票エリア定義情報記憶手段、第2帳票エリア定義情報記憶手段及び修正エリア定義情報記憶手段として機能する。
すなわち、図8に示すように、情報記憶手段31には、専用ペーパー20である記入帳票の文字列で認識するユーザエリアを識別するエリアIDと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた第1帳票エリア定義情報が記憶されている。エリアID「A01」に関連してエリア名「商品名エリア」が記憶され、エリアID「A02」に関連してエリア名「数量エリア」が記憶され、エリアID「A03」に関連してエリア名「価格エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図9に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。
同様に、図10に示すように、情報記憶手段31には、専用ペーパー20である記入帳票の一文字ごとに認識するユーザエリアを識別するエリアIDと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた第2帳票エリア定義情報が記憶されている。エリアID「A01a01」に関連してエリア名「01商品名エリア」が記憶され、エリアID「A01a02」に関連してエリア名「02商品名エリア」が記憶され、エリアID「A02a01」に関連してエリア名「01数量エリア」が記憶されている。
また、図11に示すように、情報記憶手段31には、専用ペーパー20である修正パレットのユーザエリアを識別するエリアIDと、ユーザエリアに記載された文字と、ユーザエリアの位置座標領域を示す座標データとを対応付けた修正エリア定義情報が記憶されている。エリアID「B01」に関連して文字「1」が記憶され、エリアID「B02」に関連して文字「2」が記憶され、エリアID「B11」に関連して文字「開始」が記憶され、エリアID「B12」に関連して文字「終了」が記憶されている。
記入情報取得手段32は、電子ペン10による専用ペーパー(電子ペン用媒体)20への記入内容に対応する記入情報を取得する手段である。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。本実施形態において記入情報取得手段32は、記入帳票への記入内容に対応する記入情報を帳票記入情報として取得する。また、本実施形態において記入情報取得手段32は、記入帳票及び修正パレットへのタップに対応する記入情報を修正記入情報として取得する。記入情報とは、帳票記入情報及び修正記入情報の双方を含むものとする。記入情報取得手段32は、本発明における帳票記入情報取得手段及び修正記入情報取得手段として機能する。
開始終了点特定手段33は、記入情報取得手段32が取得した修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段33は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
帳票エリア特定手段34は、記入情報取得手段32が取得した帳票記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した第1帳票エリア定義情報(図8参照)を参照することにより、対応するユーザエリアを特定する。記入帳票を構成するユーザエリアを総称して「帳票エリア」と呼ぶ。すなわち、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した第1帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。
また、帳票エリア特定手段34は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した第2帳票エリア定義情報を参照することにより、対応する帳票エリアを特定する。このとき、帳票エリア特定手段34は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれる帳票エリアのみを特定するようにするとよい。そのような設定にすれば、利用者が記入帳票に記入したストロークのデータ開始点及びデータ終了点のいずれかが帳票エリアの範囲外にある場合には、利用者がその帳票エリアをタップしようと意図したものではないと判定することができる。また、帳票エリア特定手段34は、開始終了点特定手段33によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により帳票エリアに記入されたストロークがタップであるか否かを判定する。帳票エリア特定手段34は、修正記入情報及び第2帳票エリア定義情報に基づいて、電子ペン10によりタップされた帳票エリアを特定する。
帳票エリア特定手段34は、本発明における第1帳票エリア特定手段及び第2帳票エリア特定手段として機能する。
記入文字列認識手段35は、記入情報取得手段32が取得した帳票記入情報に基づいて、HWRやOCR等による文字認識を実行することで、電子ペン10を使用して記入帳票に記入された文字を認識する。さらに、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する。
音声出力手段36は、記入文字列認識手段35が認識した記入文字列を表す音声を音声出力部42から出力させる。記入文字列を表す音声は、予め情報記憶手段31に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。
認識結果格納手段37は、帳票エリア特定手段34が帳票記入情報と第1帳票エリア定義情報とに基づいて特定した帳票エリアと、記入文字列認識手段35が認識した記入文字列とを対応付けて格納するメモリである。
修正エリア特定手段38は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報(図11参照)を参照することにより、電子ペン10を使用してタップされた修正エリア65を特定する。このとき、修正エリア特定手段38は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれる修正エリア65のみを特定するようにするとよい。そのような設定にすれば、利用者が修正パレットに記入したストロークのデータ開始点及びデータ終了点のいずれかが修正エリア65の範囲外にある場合には、利用者がその修正エリア65をタップしようと意図したものではないと判定することができる。また、修正エリア特定手段38は、開始終了点特定手段33によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により修正エリア65に記入されたストロークがタップであるか否かを判定する。修正エリア65と、当該修正エリア65をタップした時刻(タップ時刻)は、対応付けて情報記憶手段31に一時記憶される。
具体的には、利用者により専用ペーパー20に記入されたストロークがタップであるか否かを判定するにあたっては、第1の方法として、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間(例えば、0.2秒)未満である場合にストロークがタップであると判定する方法がある。別の第2の方法として、座標データに基づいてデータ開始点とデータ終了点との間の移動距離(筆記された線の長さ)を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第3の方法として、データ開始点とデータ終了点における時間及び移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。
修正文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段38が特定した修正エリア65に記載された文字を特定する。
判定手段40は、記入情報取得手段32が取得した修正記入情報に含まれる座標データに基づいて、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、電子ペン10により開始エリア66及び終了エリア67がタップされたか否かを判定する。
認識結果上書手段41は、判定手段40により終了エリア67がタップされたと判定された場合に、第2帳票エリア特定手段が特定した帳票エリアに対応する記入文字を削除し、第2帳票エリア特定手段が特定した帳票エリアと、修正文字とを対応付けて格納する。
音声出力手段36は、判定手段40により開始エリア66がタップされたと判定された場合に、修正開始を示すピープ音を音声出力部42から出力させる。また、音声出力手段36は、判定手段40により終了エリア67がタップされたと判定された場合に、修正完了を示すピープ音を音声出力部42から出力させる。さらに、音声出力手段36は、修正文字特定手段40が特定した修正文字を上書きした文字列を表す音声を音声出力部42から再生出力させる。ピープ音及び修正文字を上書きした文字列を表す音声は、予め情報記憶手段31に記憶されている音声データを再生することにより出力することとしてもよいし、音声合成して出力することとしてもよい。
音声出力手段36は、本発明における第1音声出力手段及び第2音声出力手段として機能する。
認識結果上書手段41は、認識結果格納手段37から、帳票エリア特定手段34により修正記入情報に基づいて特定された帳票エリアに対応する記入文字を削除する。そして、認識結果上書手段41は、当該帳票エリアと、修正文字特定手段41が特定した修正文字とを対応付けて認識結果格納手段37に格納する。
電子ペン10は、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
[専用アプリケーション]
次に、専用アプリケーション50について図12を参照して説明する。図12は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10が専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め電子ペン10にインストールされている。つまり、専用アプリケーション50は、電子ペン10が記入帳票に記入した内容に対応するデジタルデータである帳票記入情報と、電子ペン10が記入帳票と修正パレットにタップした内容に対応するデジタルデータである修正記入情報と、に基づいて所定の処理を実行するものである。
専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
図12に示すように、専用アプリケーション50は、情報記憶モジュール101、記入情報取得モジュール102、開始終了点特定モジュール103、帳票エリア特定モジュール104、記入文字列認識モジュール105、音声出力モジュール106、認識結果格納モジュール107、修正エリア特定モジュール108、判定モジュール109、修正文字特定モジュール110及び認識結果上書モジュール111を有する。
情報記憶モジュール101は、情報記憶手段31に対して、図8、図10及び図11に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール101は、情報記憶手段31に対して、記入情報取得モジュール102が取得した記入情報、即ち帳票記入情報及び修正記入情報を記憶させるモジュールである。
記入情報取得モジュール102は、記入情報取得手段32を用いて、専用ペーパー20への電子ペン10による記入に対応する記入情報(タップ情報を含む)を取得する機能を有するモジュールである。つまり、記入情報取得モジュール102は、記入情報取得手段32を用いて、記入帳票への電子ペン10による記入に対応する帳票記入情報と、電子ペン用記入帳票及び電子ペン用修正パレットへの電子ペン10によるタップに対応する修正記入情報とを取得する。
開始終了点特定モジュール103は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
帳票エリア特定モジュール104は、帳票記入情報に含まれる座標データに基づいて、図8に示す第1帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する機能を有する。また、帳票エリア特定モジュール104は、修正記入情報に含まれる座標データに基づいて、図10に示す第2帳票エリア定義情報を参照することで、修正記入情報に対応する帳票エリアを特定する機能を有する。このとき、帳票エリア特定モジュール104は、修正記入情報及び第2帳票エリア定義情報に基づいて、電子ペン10によりタップされた帳票エリアを特定するものであって、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる帳票エリアを特定するようにするとよい。
記入文字列認識モジュール105は、記入情報取得モジュール102の実行によって取得された帳票記入情報に基づいて、HWRやOCR等による文字認識を実行することで、電子ペン10を使用して記入帳票に記入された文字を認識する機能を有する。さらに、記入文字列認識モジュール105は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで記入文字列を認識する機能を有する。
音声出力モジュール106は、記入文字列認識モジュール105の実行によって認識された記入文字列と、修正文字特定モジュール110の実行によって特定された修正文字を、認識結果上書特定モジュール111の実行によって上書きした文字列と、を表す音声を音声出力部42から出力させる機能を有する。また、音声出力モジュール106は、修正開始及び修正終了を示すピープ音を音声出力部42から出力させる機能を有する。
認識結果格納モジュール107は、認識結果格納手段37に対して、帳票エリア特定モジュール104の実行によって帳票記入情報に基づいて特定された帳票エリアと、記入文字列認識モジュール105の実行によって認識された記入文字列とを対応付けて格納する機能を有する。
修正エリア特定モジュール108は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、図11に示す修正エリア定義情報を参照することで、修正記入情報に対応する修正エリア65又は開始エリア66又は終了エリア67を特定する機能を有する。このとき、修正エリア特定モジュール108は、修正記入情報及び修正定義情報に基づいて、電子ペン10によりタップされた修正エリア65又は開始エリア66又は終了エリア67を特定するものであって、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれる修正エリア65又は開始エリア66又は終了エリア67を特定するようにするとよい。なお、修正エリア65とタップした時刻(タップ時刻)は、対応付けて情報記憶手段31に一時記憶される。
また、修正エリア特定モジュール108は、記入情報取得モジュール102の実行によって取得された修正記入情報がタップ情報であるか否か及び所定読取時間内のタップであるか否かを判定する機能を有する。修正記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい(第3の方法)。修正エリア特定モジュール108は、特定した修正エリア65を一時的に情報記憶手段31に記憶する。
判定モジュール109は、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10により開始エリア66及び終了エリア67がタップされたか否かを判定する機能を有する。
記入情報取得モジュール102は、判定モジュール109の実行によって開始エリアがタップされたと判定された場合に、記入情報取得手段32を用いて、記入帳票及び修正パレットへの電子ペン10によるタップに対応する修正記入情報を取得する機能を有する。
帳票エリア特定モジュール104は、判定モジュール109の実行によって開始エリアがタップされたと判定された場合に、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、図10に示す第2帳票エリア定義情報を参照することで、修正記入情報に対応する帳票エリアを特定する機能を有する。
修正エリア特定モジュール108は、判定モジュール109の実行によって開始エリアがタップされたと判定された場合に、記入情報取得モジュール102の実行によって取得された修正記入情報に含まれる座標データに基づいて、図11に示す修正エリア定義情報を参照することで、修正記入情報に対応する修正エリア65を特定する機能を有する。
修正文字特定モジュール110は、判定モジュール109の実行によって開始エリアがタップされたと判定された場合に、情報記憶手段31が記憶している修正エリア定義情報を参照することで、修正エリア特定モジュール108を実行することにより特定された修正エリア65に記載された文字を特定する機能を有する。
認識結果上書モジュール111は、判定モジュール109の実行によって終了エリアがタップされたと判定された場合に、修正記入情報に基づいて帳票エリア特定モジュール104を実行することにより特定された帳票エリアに対応する文字を記入文字列から削除する機能を有する。そして、認識結果上書モジュール112は、当該帳票エリアと、修正文字特定モジュール110を実行することにより特定された修正文字とを対応付けて認識結果格納手段37に格納する機能を有する。
[本情報処理システムによる文字認識処理フロー]
次に、本実施形態の情報処理システムにより行われる処理フローについて図13乃至図16を参照して説明する。図13は、本実施形態における記入帳票上の電子ペン10の使用形態を示す図である。図14は、本実施形態における修正パレット上の電子ペン10の使用形態を示す図である。図15は、電子ペン10における文字列認識処理のフローチャートである。図16は、文字列認識処理において電子ペン10により実行される修正処理のフローチャートである。
利用者は、電子ペン10により、記入帳票の帳票エリアに任意の記入を行う。例えば、利用者は、電子ペン10により、記入帳票の価格エリア63に現金価格を示す数字「123456」を記入する(図13参照)。すると、電子ペン10は、価格エリア63への記入に対応する座標データ、時間情報及び筆圧データを帳票記入情報として取得する(ステップS1)。
続いて、帳票エリア特定手段34は、記入情報取得手段32によって取得された帳票記入情報に含まれる座標データに基づいて、図8に示す帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアを特定する(ステップS2)。例えば、帳票エリア特定手段34は、帳票記入情報に含まれる座標データに基づいて第1帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして価格エリア63(エリアID「A03」)を特定する。さらに、記入文字列認識手段35は、記入情報取得手段32によって取得された帳票記入情報に基づいて、HWRやOCRによる文字認識を実行することで、帳票エリア特定手段34により特定された帳票エリアに記入された文字を認識する。そして、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、帳票エリア特定手段34により特定された帳票エリアに記入された記入文字列を認識する(ステップS3)。例えば、記入文字列認識手段35は、帳票記入情報に基づいて文字認識を実行することで、価格エリア63に記入された文字「1」、「2」、「3」、「4」、「5」、「6」を認識する。そして、記入文字列認識手段35は、帳票記入情報に含まれる時間情報に基づいて、認識した文字を時系列につなぐことで、価格エリア63に記入された記入文字列「123456」を認識する。
認識結果格納手段37は、帳票エリア特定手段34によって特定された帳票エリアと、記入文字列認識手段35によって認識された記入文字列とを対応付けて格納する(ステップS4)。例えば、認識結果格納手段37は、帳票エリア特定手段34によって特定された価格エリア63(エリアID「A03」)と、記入文字列認識手段35によって認識された記入文字列「123456」とを対応付けて格納する。また、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列を表す音声を音声出力部42から出力させる(ステップS5)。例えば、音声出力手段36は、記入文字列認識手段35によって認識された記入文字列「123456」を表す音声「123456円です」を音声出力部42から出力させる。
なお、記入文字列認識手段35は、文字列を誤認識することがある。例えば、図13に示すように、利用者が価格エリア63に「123456」を記入したつもりであっても、記入文字列認識手段35は、記入文字列「123450」と誤認識してしまうことがある。すると、音声出力手段36は、記入文字列認識手段35によって誤認識された記入文字列「123450」を表す音声「123450円です」を音声出力部42から出力させる。この音声により、利用者は、自身が意図した文字列と異なる文字列を電子ペン10が認識してしまったことを把握することができる。
電子ペン10による誤認識を修正する場合、利用者は、電子ペン10のペン先部17によりまず修正パレットの開始エリア66をタップする(図14参照。★マークはタップを表す)。次に、記入帳票の帳票エリアのうち、誤認識を修正したい文字の帳票エリア、例えば価格エリア63aをタップする(図13参照。)。すると、電子ペン10は、帳票エリアへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として取得する。
記入情報取得手段32は、開始エリアをタップしたか否かを判定することにより、文字列の誤認識が発生したか否かを判定する(ステップS6)。記入情報取得手段32により開始エリアをタップしていないと判定された場合(ステップS6;No)、電子ペン10は、文字認識処理を完了する。一方、記入情報取得手段32により開始エリアをタップしたと判定された場合(ステップS6;Yes)、電子ペン10は、修正処理を実行する(ステップS7)。
修正処理において、電子ペン10はまず、判定手段39により、開始エリア66がタップされたという判定を受け取る(ステップS11)。電子ペン10の音声出力手段36は、修正開始を示すピープ音を音声出力部42から出力させる(ステップS12)。続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した第2帳票エリア定義情報を参照し、対応する帳票エリアを特定する。例えば、帳票エリア特定手段34は、修正記入情報に含まれる座標データに基づいて第2帳票エリア定義情報を参照することで、帳票記入情報に対応する帳票エリアとして06価格エリア63a(エリアID「A03a06」)を特定する。このとき、帳票エリア特定手段34は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定する。つまり、帳票エリア特定手段34は、修正記入情報及び第2帳票エリア定義情報に基づいて、電子ペン10によりタップされた帳票エリアを特定する(ステップS13)。
また、利用者は、誤認識を修正したい帳票エリアへのタップが終了すると、電子ペン10のペン先部17により修正パレットの修正エリア65の正しい文字をタップする。例えば、正しい文字「6」の場合、利用者は、電子ペン10のペン先部17により、文字「6」が記載された修正エリア65aをタップする(図14参照)。すると、電子ペン10は、修正エリア65aへのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として取得する。
さらに、修正エリア65aへのタップが終了すると、利用者は、最後に電子ペン10のペン先部17により修正パレットの終了エリア67をタップする。すると、電子ペン10は、終了エリア67へのタップに対応する座標データ、時間情報及び筆圧データを修正記入情報(タップ情報)として取得する。
続いて、開始終了点特定手段33は、記入情報取得手段32によって取得された修正記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。次に、修正エリア特定手段38は、修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶した修正エリア定義情報を参照することで、対応する修正エリア65a(エリアID「B06」)を特定する(ステップS14)。このとき、修正エリア特定手段38は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定する。具体的に、修正エリア特定手段38は、特定した修正エリア65a(エリアID「B06」)とタップ時刻とを対応付けて情報記憶手段31に一時記憶させる。
なお、修正エリア特定手段38は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、専用ペーパー20に記入されたストロークがタップであるか否かを判定することとしてもよい。
続いて、修正文字特定手段40は、情報記憶手段31に記憶されている修正エリア定義情報を参照することで、修正エリア特定手段38により特定された修正エリアに記載された文字を特定する(ステップS15)。修正文字特定手段40は、修正エリア定義情報を参照することで、エリアID「B06」の修正エリア65aに記載された文字「6」を特定する。
判定手段39は、記入情報取得手段32によって取得された修正記入情報に含まれる座標データに基づいて、情報記憶手段31が記憶している修正エリア定義情報を参照することで、電子ペン10により終了エリア67がタップされたか否かを判定する(ステップS16)。判定手段39により終了エリア67がタップされていないと判定された場合(ステップS16;No)、電子ペン10は、ステップ13乃至S15の処理を繰り返し実行する。
一方、判定手段39により終了エリア67がタップされたと判定された場合(ステップS16:Yes)、認識結果上書手段41は、認識結果格納手段37から、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応する記入文字を削除する。さらに、認識結果上書手段41は、当該帳票エリアと、修正文字特定手段40が特定した修正文字とを対応付けて認識結果格納手段37に格納する。つまり、認識結果上書手段41は、認識結果格納手段37において、帳票エリア特定手段34が修正記入情報に基づいて特定した帳票エリアに対応付けて、修正文字特定手段40が特定した修正文字を上書して格納する(ステップS17)。例えば、認識結果上書手段41は、認識結果格納手段37において、帳票エリア特定手段34が修正記入情報に基づいて特定した06価格エリア63a(エリアID「A03a06」)に対応付けられている記入文字「0」を削除し、修正文字特定手段40が特定した修正文字「6」を格納する。そして、音声出力手段36は、修正完了を示すピープ音を音声出力部42から出力させる(ステップS18)。これにより、電子ペン10は、修正処理を完了し、文字認識処理におけるステップS5の処理を実行する。
電子ペン10の音声出力手段36は、修正文字特定手段40によって特定された修正文字を上書きした文字列を表す音声を音声出力部42から出力させる(ステップS5)。例えば、音声出力手段36は、修正文字特定手段40によって特定された修正文字を上書きした文字列「123456」を表す音声「123456円です」を音声出力部42から出力させる。この音声により、利用者は、自身が意図した文字列に修正できたかどうかを確認することができる。そして、電子ペン10は、文字認識処理におけるステップS6及びS7の処理を繰り返し実行する。
このように、利用者は、音声出力部42から出力される音声によって、よって容易に自身が記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、修正パレットを使用することで、記入帳票において二重線等で二度書きする必要がない。さらに、二層の帳票エリアが定義されていることにより、誤認識された文字だけを個別に修正することができる。
[本情報処理システムによる作用効果]
この情報処理システムによれば、電子ペン10で記入帳票の帳票エリアに記入を行うと、帳票記入情報に基づく文字認識を実行することにより記入文字列を認識し、音声出力部42から当該記入文字列を表す音声を出力させる。よって、利用者は、容易に自身が記入帳票の帳票エリアに記入した文字列が正しく認識されたか否かを確認することができる。また、利用者は、電子ペン10で修正パレットの修正エリアをタップすることで、誤認識された記入文字を迅速に修正することができ、記入帳票に訂正のための二重線や正しい文字列を記入する必要がなく、高い精度で文字列の誤認識を修正することが可能となる。さらに、同じ領域に二層の帳票エリアが定義されていることで、誤認識された文字だけを個別に修正することができ、修正時間の短縮を図ることができる。
なお、上記実施形態は次のように構成させて変更することもできる。
例えば、情報記憶手段31は、第1帳票エリア定義情報(図8参照)と第2帳票エリア定義情報(図10参照)と修正エリア定義情報(図11参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、ユーザエリアの名称、ユーザエリアに記載された文字、ユーザエリアの座標データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
また、上記実施形態では、電子ペン10のクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、データ通信ユニット13に対して記入情報として取得する。
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。電子ペン10において、取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、電子ペン10は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
10…電子ペン、11…プロセッサ、12…メモリ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、18…圧力センサ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25…端末装置、31…情報記憶手段、32…記入情報取得手段、33…開始終了点特定手段、34…帳票エリア特定手段、35…記入文字列認識手段、36…音声出力手段、37…認識結果格納手段、38…修正エリア特定手段、39…判定手段、40…修正文字特定手段、41…認識結果上書手段、42…音声出力部、50…専用アプリケーション