JP4542050B2 - ディジタルペン入力システム - Google Patents

Description

この発明は、専用紙とディジタルペンを使用して、任意の筆記情報をディジタルデータとして処理することを可能にしたディジタルペン入力システムに関する。

従来、平面上の座標情報を読み取るポインティングデバイスとして、パーソナル・コンピュータで使用されるマウスや、ＣＡＤ（Computer Aided Design）などの図面データの入力に使用されるデジタイザがある（例えば、非特許文献１を参照。）。デジタイザは画面上の位置を指示するためのペン型或いはマウス型の入力部と、この入力部により指示された位置座標を検出するための板状又はシート状の検出部とにより構成される。デジタイザは、マウスがマウスポインタの現在位置からの相対位置を指示するのに対し、画面に対応する平面上における絶対位置を指定するため、細かい作業におけるディジタル情報の入力に向いている。

また、タブレット型のパーソナル・コンピュータ（Tablet PC）などでは、電磁デジタイザが使用される。電磁デジタイザは、液晶パネルの背面側にセンサボードを配置する。そして、センサボードが発生する磁界をディジタルペンが検出して応答信号を返送することにより、位置情報や筆圧を検出する仕組みとなっている（例えば、非特許文献１を参照。）。

一方、ディジタルペンを活用したアプリケーションとして、スウェーデンのアノト社が開発したアノトペン（登録商標）が知られている（例えば、非特許文献３を参照。）。
アノト機能は、単位領域ごとにユニークなドットパターンが印刷された専用紙と、ディジタルペンと、サーバとを用いることにより実現される。ディジタルペンには、筆記部に加えて、小型カメラ、筆圧センサ、イメージプロセッサ、メモリ、通信ユニット及び電源部が設けられている。そして、上記筆記部により上記専用紙に記載された点や文字、図形等の筆記情報をドットパターンと共に小型カメラにより光学的に読み取り、読み取ったドットパターンをもとにペンの位置、上記筆記情報の筆跡と書き順、書く速さ等を認識する。そして、この認識された筆跡などを表す情報を、筆圧センサにより検出された筆圧や内部時計から得られる日時情報と共に筆記検出データとしてメモリに保存したのち、メモリから読み出して通信ユニットによりサーバへ送信する。サーバは、上記ディジタルペンから送信された筆記検出データを受信して任意に加工することにより、例えば所望の形態の表示データを生成する。

このアノト機能を採用したディジタルペン入力システムは、手軽なアナログ情報入力ツールであるペンと紙を使用することで、既存の多くの業務の処理形態を継承しながら電子化を推進する効果的なソリューションとなっている。アノト機能を応用したアプリケーションとしては、例えば電子スケジュール帳、電子カルテ、電子採点システム、電子注文書、ゴルフスコアカードが開発されている。

http://e-words.jp/w/E38387E382B8E382BFE382A4E382B6.html

http://pcweb.mycom.co.jp/special/2002/tablet/003.html

http://www.anoto.co.jp/

ところが、アノト機能を採用した従来のディジタルペン入力システムでは、同一専用紙上に属性や項目の異なる複数種の事象の情報を筆記すると、これら複数種の事象の筆記情報が混在して区別が困難となる。例えば、災害発生時の被災調査記録を紙面に記載する場合、土砂崩れ発生区域と建物倒壊区域がほぼ同一であると、ディジタルペンによりディジタル化された後の筆跡情報からは上記各区域を表す図形を区別することが困難となり、この結果必要とする調査分析を行えなくなる。

一方、複数の項目について調査する場合には、調査項目ごとに異なる専用紙を使用して筆記情報を入力することも考えられる。しかし、このような入力形態では調査項目数分の専用紙を用意しなければならず、作業性の低下やランニングコストの増加を招き好ましくない。

この発明は上記事情に着目してなされたもので、その目的とするところは、複数種類の事象の筆記情報を同一の専用シートを用いながら明確に区別して入力することを可能にし、これにより入力作業性の向上及びランニングコストの低下を図ったディジタルペン入力システムを提供することにある。

上記目的を達成するためにこの発明は、単位領域ごとに異なるドットパターンが表示されたシートと、このシート上に点又は線からなる筆記情報を記載するためのディジタルペンとを具備するディジタルペン入力システムにあって、上記ディジタルペンに、異なる色のインクを滲出する複数の筆記部と、これらの筆記部を選択するための筆記部選択部と、選択された筆記部の色を識別するための識別手段とを新たに備える。そして、上記選択された筆記部により上記シート上に記載された筆記情報をドットパターンと共に光学的に読み取って、この筆記情報の筆記軌跡をドットパターンをもとに認識する。そして、この認識された筆記軌跡を表す情報を、上記識別された筆記部の色を表す情報と対応付けて記憶するように構成したものである。

この発明によれば、１個のディジタルペンを使用して複数色の筆記情報を記載することが可能となる。また、認識した筆跡情報がインク色を表す識別情報に対応付けられて記憶される。このため、１枚の専用紙ＳＰに混在して記載された複数の筆記情報を色別に処理することが可能となり、これにより異なる複数種の情報を筆記するために異なるディジタルペンや異なる専用シートを使用する必要がなくなり、これにより良好な入力作業性を維持し、かつランニングコストを安価にすることができる。

第１の構成は、撮像手段により読み取られた筆記情報を色相、彩度及び明度により表される空間画像情報に変換し、空間画像情報から色相成分を抽出してこの抽出された色相成分をもとに、選択された筆記部の色を識別するものである。このように構成すると、識別タグを設けることなく筆記部の色を識別することができ、安価に構成できる利点がある。

第２の構成は、通信ネットワークに接続可能な情報処理装置をさらに設け、ディジタルペンから情報処理装置へ、上記記憶された筆記軌跡を表す情報及び筆記部の色を表す情報を送信する。情報処理装置では、上記ディジタルペンから送信された筆記軌跡を表す情報及び筆記部の色を表す情報を受信し、この受信された筆記軌跡を表す情報及び筆記部の色を表す情報をもとに、筆記部の色別に前記筆記情報を加工処理するものである。このように構成すると、ディジタルペンにより生成された情報を迅速に情報処理装置へ転送し、所望の色別加工処理データを生成することが可能となる。

特に、筆記を行いながらディジタルペンから情報処理装置へ筆記軌跡を表す情報及び筆記部の色を表す情報をリアルタイムに送信するように構成することが好ましい。このようにすると、例えば調査員が屋外において専用シートに記載した筆記情報を、屋内に設置された情報処理装置において管理者がリアルタイムにかつ色別に確認することが可能となる。

第３の構成は、上記情報処理装置において、ディジタルペンの複数の筆記部の色と複数の調査対象項目との対応関係を表す情報を記憶するメモリテーブルを設け、ディジタルペンから送信された筆記部の色を表す情報に対応する調査対象項目を上記メモリテーブルに記憶された情報をもとに識別する。そして、この識別結果に基づいて、ディジタルペンから送られた筆記軌跡を表す情報を調査対象項目別に加工処理するものである。このように構成すると、情報処理装置において、ディジタルペンから送られる筆記部の色を表す情報を利用して調査対象項目別の加工処理を行うことが可能となる。

要するにこの発明では、ディジタルペンに、異なる色のインクを滲出する複数の筆記部と、その色を識別する手段を設け、上記筆記部の中から選択された筆記部の色を識別して、この色を表す情報を筆記軌跡を表す情報と対応付けて記憶するようにしている。
したがってこの発明によれば、複数種類の事象の筆記情報を同一の専用シートを用いながら明確に区別して入力することを可能にし、これにより入力作業性の向上及びランニングコストの低下を図ったディジタルペン入力システムを提供することができる。

以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
図１は、この発明に係わるディジタルペン入力システムの第１の実施形態を示す概略構成図である。
この実施形態のシステムはアノト機能を利用したもので、専用紙ＳＰと、ディジタルペンＤＰと、サーバＳＶとにより実現される。専用紙ＳＰには、単位領域（１．５ｍｍ四方）ごとに６ｘ６＝３６ドットからなるユニークな正方形のドットパターン（アノトパターン）が印刷されている。各ドットパターンは、例えば図１２に示すように３６ドットが格子の直交点から上下左右のいずれかの方向にわずかにずれるように配置されており、この３６ドットのずれの組み合わせを異ならせることにより各ドットパターンのユニーク性を実現している。また、専用紙ＳＰには例えば調査項目ごとにその識別情報と調査対象地域の地図等が、上記ドットパターンの読み取りを阻害しない濃度又は色により印刷又は記載される。

ディジタルペンＤＰは、インク色の異なる複数の筆記部Ｃ１〜Ｃｍと、これらの筆記部Ｃ１〜Ｃｍを択一的に選択するための選択部２とを備える。筆記部Ｃ１〜Ｃｍはそれぞれペン先とインクカートリッジとから構成される。筆記部Ｃ１〜Ｃｍにはそれぞれ識別タグＴＧ１〜ＴＧｍが付設されている。これらの識別タグＴＧ１〜ＴＧｍはそれぞれインク色を識別するために予め設定された異なる識別情報を発生する。

またディジタルペンＤＰは、イメージプロセッサ１と、カメラ３と、記憶ユニット４と、通信ユニット５と、これらの回路ユニットにそれぞれ電源電圧を供給するための電源ユニット６とを備えている。カメラ３は固体撮像素子を使用したもので、１回に読み取り可能な撮像範囲が上記６ｘ６＝３６ドットからなるドットパターンの大きさ相当に設定されている。通信ユニット５はサーバＳＶとの間でデータ通信を行うために使用される。通信方式としては例えばBluetooth（登録商標）が使用される。また、サーバＳＶがノート型のパーソナル・コンピュータ等のように携帯可能な小型の情報処理装置からなる場合には、ディジタルペンＤＰとサーバＳＶとの間をＵＳＢケーブル等の信号ケーブルを介して接続するようにしてもよい。

イメージプロセッサ１は次のように構成される。図３はその機能構成を示すブロック図である。すなわち、イメージプロセッサ１はマイクロプロセッサからなるＣＰＵ（Central Processing Unit）１１を備える。そして、このＣＰＵ１１にはバス１２を介してプログラムメモリ１３が接続され、さらに通信インタフェース１５、タグインタフェース１６、カメラインタフェース１７、時計回路１８及びメモリインタフェース１９がそれぞれ接続される。

通信インタフェース１５は、ＣＰＵ１１の制御の下で、通信ユニット５を介してサーバＳＶとの間で筆記データを送信するための通信処理を行う。タグインタフェース１６は、識別タグＴＧ１〜ＴＧｍから選択部２により選択された筆記部Ｃ１〜Ｃｍの識別情報（インクカートリッジＩＤ）を受け取ってＣＰＵ１１に渡す。カメラインタフェース１７は、ＣＰＵ１１の制御の下でカメラ３を駆動し、カメラ３により撮像された専用紙ＳＰ上の筆記情報及びドットパターンの画像情報を取り込む。時計回路１８は現在の日時を表す情報を出力する。

メモリインタフェース１９には記憶ユニット４が接続される。この記憶ユニット４にはドットパターン−位置対応テーブル４１と、筆記情報記憶部４２とが設けられる。ドットパターン−位置対応テーブル４１は、専用紙ＳＰに印刷された各ドットパターンの識別情報に対応付けて、専用紙ＳＰ上における当該ドットパターンの位置座標を表す情報を記憶したもので、ペンの位置や筆跡を認識するために使用される。筆記情報記憶部４２は、カメラ３により撮像された専用紙ＳＰの画像情報を一時保存するためと、後述する認識処理プログラム及び筆記データ生成プログラムにより生成された筆記データを当該筆記データがサージＳＶに送信されるまで記憶する。

プログラムメモリ１３には、この発明を実現するために必要なプログラムとして、読み取り制御プログラム１３１と、認識処理プログラム１３２と、インクカートリッジ識別プログラム１３３と、筆記データ生成プログラム１３４と、筆記データ送信制御プログラム１３５がそれぞれ格納されている。

読み取り制御プログラム１３１は、筆記部Ｃ１〜Ｃｍにより専用紙ＳＰに点や線などの筆記操作が行われたときに、この筆記操作により専用紙ＳＰに記載された筆記情報を予め専用紙ＳＰに印刷されたドットパターンと共にカメラ３に撮像させ、この撮像により得られる画像情報を記憶ユニット４の筆記情報記憶部４２に保存させる制御を、ＣＰＵ１１に実行させる。

認識処理プログラム１３２は、上記保存された画像情報を１ドットパターン分ずつ読み出し、当該画像情報に含まれる各ドットパターンを認識してその識別情報に対応する位置座標情報を記憶ユニット４のドットパターン−位置対応テーブル４１から読み出す。すなわち、これにより専用紙ＳＰ上におけるペン先の位置及び筆記情報の筆跡を認識する。

インクカートリッジ識別プログラム１３３は、上記筆記操作が行われるごとに、この筆記操作のために使用される筆記部Ｃ１〜Ｃｍに付設された識別タグＴＧ１〜ＴＧｍから、その識別情報をタグインタフェース１６を介して取得する処理をＣＰＵ１１に実行させる。この識別タグＴＧ１〜ＴＧｍの識別情報は、使用中の筆記部の色、つまりインクカートリッジの色を表す情報として用いられる。

筆記データ生成プログラム１３４は以下の処理をＣＰＵ１１に実行させる。すなわち、上記認識処理プログラム１３２により認識されたペン先の位置及び筆記情報の筆跡を表す位置座標情報に、上記インクカートリッジ識別プログラム１３３により取得された識別タグＴＧ１〜ＴＧｍの識別情報（インク色を表すカートリッジＩＤ）を付加する。またそれと共に、時計回路１８から現在の日時を表す情報を取得し、さらに予め記憶されたディジタルペンＤＰの識別情報（ディジタルペンＩＤ）を読み出し、これらを上記位置座標情報に付加する。さらに、上記カメラ３により専用紙ＳＰに予め記載された専用紙の種別を表す情報（専用紙ＩＤ）を読み取って認識し、この認識した専用紙ＩＤを上記位置座標情報に付加する。かくして、筆記データが生成される。そして、この生成された筆記データを記憶ユニット４の筆記情報記憶部４２に記憶させる。

筆記データ送信制御プログラム１３５は、１回の筆記操作が終了するごとに、当該筆記操作に対応して上記筆記データ生成プログラム１３４により生成された筆記データを上記記憶ユニット４の筆記情報記憶部４２から読み出し、この読み出した筆記データを通信ユニット５からサーバＳＶに向け送信させる制御を、ＣＰＵ１１に実行させる。

一方、サーバＳＶは次のように構成される。図４はその機能構成を示すブロック図である。すなわち、サーバＳＶは、ＣＰＵ（Central Processing Unit）２１にバス２２を介してプログラムメモリ２３及びデータメモリ２４を接続すると共に、通信インタフェース２５及び入出力インタフェース２８を接続したものとなっている。

通信インタフェース２５は、ＣＰＵ２１の制御の下で、通信ユニット２６を介して先に述べたディジタルペンＤＰとの間で筆記データを受信するための通信処理を行う。入出力インタフェース２８には、キーボードやマウスなどの入力デバイス２９と、液晶表示器（ＬＣＤ）からなる表示デバイス３０が接続される。入出力インタフェース２８は、上記入力デバイス２９において入力された入力情報を認識してＣＰＵ２１に渡す。また、それと共にＣＰＵ２１の制御の下でデータメモリ２４から表示データを受け取り、この表示データを表示デバイス３０に表示させる。

データメモリ２４には、筆記データ記憶部２４１及び加工処理情報記憶部２４２が設けられている。筆記データ記憶部２４１は、ディジタルペンＤＰから送られた筆記データを蓄積するために使用される。加工処理情報記憶部２４２は、後述するアプリケーション・プログラムにより加工処理されて得られた調査情報等を記憶するために使用される。

プログラムメモリ２３には、ペン認証処理プログラム２３１と、アプリケーション選択プログラム２３２と、複数のアプリケーション・プログラム２３３〜２３ｎが格納されている。アプリケーション・プログラム２３３〜２３ｎは、専用紙ＳＰの種類ごと又はインク色ごとに予め用意され、予め定められた調査対象項目について調査情報の加工処理をＣＰＵ２１に実行させる。

ペン認証処理プログラム２３１は、ディジタルペンＤＰから送られた筆記データに含まれるディジタルペンの識別情報（ディジタルペンＩＤ）をもとに当該ディジタルペンＤＰの正当性を認証する処理を、ＣＰＵ２１に実行させる。

アプリケーション選択プログラム２３２は、ディジタルペンＤＰから送られた筆記データに含まれる専用紙ＳＰの識別情報をもとに、専用紙ＳＰに対応するアプリケーション・プログラム２３３〜２３ｎを選択する処理を、ＣＰＵ２１に実行させる。またこのとき、上記専用紙ＳＰの識別情報に加え識別タグＴＧ１〜ＴＧｍの識別情報（インク色を表すカートリッジＩＤ）も考慮して、最適なアプリケーション・プログラム２３３〜２３ｎを選択するようにしてもよい。

次に、以上のように構成されたシステムの動作を説明する。
調査者は、調査に先立ち、例えば自身が担当する調査対象エリアの地図などが記載された専用紙ＳＰを選択する。また、それと共にディジタルペンＤＰの選択部２を操作して、調査項目に対応するインク色のインクカートリッジＣ１〜Ｃｍを選択し使用可能にする。そして、調査現場においてこのディジタルペンＤＰを用いて調査結果を上記専用紙ＳＰに筆記する。

このとき、ディジタルペンＤＰのイメージプログラム１では以下のような処理が実行される。図５はその処理手順と処理内容を示すフローチャートである。
すなわち、イメージプロセッサ１はステップ５ａで筆記操作の開始を監視してする。この状態で筆記操作の開始が検出されると、先ずステップ５ｂにおいて現在使用中のインクカートリッジに対応する識別タグＴＧ１〜ＴＧｍの識別情報をインクカートリッジの色を識別するＩＤとして取得する。続いてステップ５ｃにより時計回路１８から現在の日時情報を取得する。

次にイメージプログラム１は、ステップ５ｄにおいてカメラ３により撮像された筆跡及びドットパターンの画像情報をカメラインタフェース１７を介して取り込んで、この取り込んだ画像情報を記憶ユニット４の筆記情報記憶部４２に一時記憶させる。そして、ステップ５ｅにおいて、上記筆記情報記憶部４２から上記一時記憶された画像情報を１ドットパターン分ずつ読み出し、当該ドットパターンを画像認識してそのドットパターン識別情報に対応する位置座標情報を記憶ユニット４のドットパターン−位置対応テーブル４１から読み出す。かくして、専用紙ＳＰ上におけるペン先の位置及び筆記情報の筆跡が認識される。

そしてイメージプログラム１は、ステップ５ｆにおいて、上記認識されたペン先の位置及び筆記情報の筆跡を表す位置座標情報に、識別タグＴＧ１〜ＴＧｍの識別情報と、時計回路１８の日時情報と、ペンの識別情報と、専用紙の種別を表す情報とをそれぞれ付加する。かくして、筆記データが生成される。そして、この生成された筆記データを記憶ユニット４の筆記情報記憶部４２に記憶させる。

またイメージプロセッサ１は、ステップ５ｇにおいて上記筆記操作の終了を監視しており、１回の筆記操作が終了するまで上記ステップ５ｄ〜ステップ５ｆによる画像情報の読み取り、認識、筆記データの生成と記憶処理を繰り返し実行する。一方、上記１回の筆記操作の終了が検出されると、イメージプロセッサ１はステップ５ｇからステップ５ｈに移行し、ここで上記記憶ユニット４の筆記情報記憶部４２から上記１回分の筆記操作に対応する筆記データを読み出す。そして、この筆記データを通信インタフェース１５を介して通信ユニット５からサーバＳＶに向け送信させる。
以後、１回の筆記操作が行われるごとに、ディジタルペンＤＰでは以上述べたステップ５ａからステップ５ｈによる処理が実行される。

一方、サーバＳＶでは次のような処理が実行される。図６はその処理手順と処理内容を示すフローチャートである。
すなわち、サーバＳＶのＣＰＵ２１はステップ６ａにより筆記データの到来を監視している。この状態で、ディジタルペンＤＰから筆記データが到来して通信ユニット２６で受信されると、ＣＰＵ２１はステップ６ｂにより上記受信された筆記データを通信インタフェース２５を介して取り込んで、データメモリ２４の筆記データ記憶部２４１に記憶させる。

上記筆記データが記憶されると、ＣＰＵ２１は先ずステップ６ｃにより当該筆記データに含まれるディジタルペンの識別情報（ディジタルペンＩＤ）をもとに、当該ディジタルペンＤＰの正当性を認証する。そして、ペンの正当性が確認されるとＣＰＵ２１は、次にステップ６ｄにおいて上記筆記データから専用紙ＩＤを抽出する。そして、この抽出された専用紙ＩＤをもとに、ステップ６ｅにより当該専用紙の種類に対応するアプリケーション・プログラムを選択する。またそれと共に、ステップ６ｆにおいて上記筆記データからカートリッジＩＤを抽出し、この抽出されたカートリッジＩＤをもとにインク色を判別する。そして、ステップ６ｇにおいて、上記アプリケーション・プログラムに上記判別されたインク色をパラメータとして与え、これにより上記筆記データに含まれるペン位置及び筆跡情報に対し色別の加工処理を実行させる。

最後に、上記加工処理により生成された加工情報をデータメモリ２４の加工処理情報記憶部２４２に記憶させる。また、それと共にオペレータによる表示コマンドが入力された場合には、上記加工処理情報記憶部２４２から該当する加工処理情報を読み出して表示デバイス３０に表示させる。なお、印刷コマンドが入力された場合には図示しないプリンタに転送してプリントアウトさせる。

図７は、ディジタルペンＤＰによる筆記情報の記載例と、サーバＳＶにおける筆記データの表示例を示す図である。同図に示すように、同一の専用紙ＳＰにディジタルペンＤＰのインク色の異なる筆記部Ｃ１〜Ｃｍを選択的に用いて線等の筆記情報を記載すると、これらの筆記情報はサーバＳＶにおいて色別に識別されてそのまま忠実に表示デバイス３０に表示される。

ＣＰＵ２１はステップ６ｉで筆記データの受信終了を監視し、すべての筆記データの受信が終了するまで、上記ステップ６ｂからステップ６ｈにより筆記データの処理、アプリケーション・プログラムの選択処理、インク色別の情報加工処理、加工情報の記憶・表示処理を繰り返し実行する。そして、すべての筆記データの受信が終了すると、一つのディジタルペンＤＰから送信される筆記データに対する一連の処理を終了する。

以上述べたように第１の実施形態では、ディジタルペンＤＰにインク色の異なる複数の筆記部Ｃ１〜Ｃｍを設けてこれらを選択的に使用することにより専用紙ＳＰに異なる色の筆記情報を記載可能とし、かつ上記筆記部Ｃ１〜Ｃｍに対応付けて識別タグＴＧ１〜ＴＧｍを設けてこれらの識別タグにより使用中の筆記部を検出する。そして、カメラ３により読み取られた画像情報に上記識別タグの識別情報を付加してこれを筆記データとして保存し、かつサーバＳＶへ送信するようにしている。

したがって、１個のディジタルペンＤＰを使用して複数色の筆記情報を記載することが可能となる。また、認識したペン位置や筆跡などを表す位置座標情報がインクカートリッジの色を表す識別タグの識別情報と共に記憶されたのちサーバＳＶへ送信されるので、サーバＳＰでは１枚の専用紙ＳＰに混在して記載された複数の筆記情報を色別に加工処理して表示することが可能となる。このため、異なる情報を筆記するために異なるディジタルペンＤＰや異なる専用紙ＳＰを使用する必要がなくなり、これにより良好な入力作業性を維持し、かつランニングコストを安価にすることができる。

（第２の実施形態）
この発明の第２の実施形態は、ディジタルペンにおいて使用中の筆記部の色を識別する場合に、カメラにより読み取られた画像情報を色相、彩度及び明度により表される空間画像情報に変換し、この空間画像情報から色相成分を抽出してこの抽出された色相成分をもとに上記使用中の筆記部の色を識別するようにしたものである。

以下、この発明の第２の実施形態を詳しく説明する。なお、専用紙ＳＰ、ディジタルペンＤＰ及びサーバＳＶの構成については、前記第１の実施形態で説明した符号を延用して説明を行う。
上記本実施形態の機能を実現するために、ディジタルペンＤＰのイメージプロセッサ１内に設けられたプログラムメモリ１３には、空間画像変換処理プログラムと、色識別処理プログラムがそれぞれ格納されている。

空間画像変換処理プログラムは、カメラ３により撮像された画像情報をＨＳＶ空間画像に変換する処理をＣＰＵ１１に実行させる。ＨＳＶ空間画像は、Ｈ（Hue／色相）成分と、Ｓ（Saturation／彩度）成分と、Ｖ（Value／明度）成分とからなる。
色識別処理プログラムは、上記変換されたＨＳＶ空間画像からＨ（Hue／色相）成分を抽出する。そして、この抽出されたＨ（Hue／色相）成分をもとに使用中の筆記部Ｃ１〜Ｃｍのインク色を識別する処理をＣＰＵ１１に実行させる。

図８は、この第２の実施形態に係わるディジタルペンＤＰのイメージプロセッサ１による処理手順と処理内容を示すフローチャートである。なお、同図において前記図５と同一部分には同一符号を付して詳しい説明は省略する。
ディジタルペンＤＰにおいて、イメージプロセッサ１はステップ５ａで筆記操作の開始を検出すると、ステップ５ｄにおいてカメラ３により撮像された筆跡及びドットパターンの画像情報をカメラインタフェース１７を介して取り込んで、この取り込んだ画像情報を記憶ユニット４の筆記情報記憶部４２に一時保存させる。そして、ステップ８ａにおいて、上記保存された画像情報を読み出してＨＳＶ空間画像に変換し、続いてステップ８ｂにより上記変換されたＨＳＶ空間画像からＨ（Hue／色相）成分を抽出して、この抽出されたＨ（Hue／色相）成分をもとに使用中の筆記部Ｃ１〜Ｃｍのインク色を識別する。

続いてイメージプロセッサ１は、ステップ５ｃにより時計回路１８から現在の日時情報を取得すると共に、専用紙ＳＰの種別を表す情報（専用紙ＩＤ）を読み取って認識する。そして、ステップ５ｅにおいて上記筆記情報記憶部４２から上記一時保存された画像情報を１ドットパターン分ずつ読み出し、当該ドットパターンを画像認識してそのドットパターン識別情報に対応する位置座標情報を記憶ユニット４のドットパターン−位置対応テーブル４１から読み出す。かくして、専用紙ＳＰ上におけるペン先の位置及び筆記情報の筆跡が認識される。

そしてイメージプログラム１は、ステップ５ｆにおいて、上記認識されたペン先の位置及び筆記情報の筆跡を表す位置座標情報に、上記ステップ８ｂにより識別された筆記部Ｃ１〜Ｃｍのインク色を表す情報と、上記時計回路１８から取得した日時情報と、自己のディジタルペンＤＰの識別情報（ディジタルペンＩＤ）と、専用紙ＳＰの種別を表す情報（専用紙ＩＤ）とをそれぞれ付加する。かくして、筆記データが生成される。そして、この生成された筆記データを記憶ユニット４の筆記情報記憶部４２に記憶させる。

そしてイメージプロセッサ１は、ステップ５ｇにおいて上記筆記操作の終了を監視し、１回の筆記操作が終了するとステップ５ｇからステップ５ｈに移行し、ここで上記記憶ユニット４の筆記情報記憶部４２から上記１回分の筆記操作に対応する筆記データを読み出す。そして、この筆記データを通信インタフェース１５を介して通信ユニット５からサーバＳＶに向け送信させる。

このように第２の実施形態では、ディジタルペンＤＰにおいて、カメラ３により読み取られた画像情報をＨ（Hue／色相）成分と、Ｓ（Saturation／彩度）成分と、Ｖ（Value／明度）成分とにより表される空間画像情報に変換し、この空間画像情報からＨ（Hue／色相）成分を抽出してこの抽出されたＨ（Hue／色相）成分をもとに上記使用中の筆記部の色を識別するようにしている。したがって、各筆記部Ｃ１〜Ｃｍに識別タグＴＧ１〜ＴＧｍを設けることなく筆記部Ｃ１〜Ｃｍの色を識別することが可能となり、これによりディジタルペンＤＰを安価に構成することができる。

（第３の実施形態）
この発明の第３の実施形態は、サーバにおいて、ディジタルペンの複数の筆記部の色と複数の調査対象項目との対応関係を表す情報を記憶するメモリテーブルを設け、ディジタルペンから送信された筆記部の色を表す情報に対応する調査対象項目を上記メモリテーブルに記憶された情報をもとに識別する。そして、この識別結果に基づいて、ディジタルペンから送られた筆記データを調査対象項目別に加工処理するようにしたものである。

以下、この発明の第３の実施形態を詳しく説明する。なお、専用紙ＳＰ、ディジタルペンＤＰ及びサーバＳＶの構成については、前記第１の実施形態で説明した符号を延用して説明を行う。
上記本実施形態の機能を実現するために、サーバＳＶにおいて、データメモリ２４には調査項目−色対応テーブルが記憶されている。このテーブルには、複数の調査対象項目の識別情報にそれぞれ対応付けて筆記部Ｃ１〜Ｃｍのインク色を表す情報が記憶されている。図１０はその一例を示すものである。またサーバＳＶのプログラムメモリ２３には、色別の情報処理を行う複数のアプリケーション・プログラム２３３〜２３ｎが格納されている。

このような構成であるからサーバＳＶでは、以下のような色別情報処理が実行される。図９はその処理手順と処理内容を示すフローチャートである。
すなわち、サーバＳＶにおいてＣＰＵ２１は、筆記データに含まれるカートリッジＩＤ又はＨＳＶ空間画像のＨ（Hue／色相）成分をもとに使用中の筆記部Ｃ１〜Ｃｍのインク色を識別すると、先ずステップ９ａに移行して、上記識別されたインク色に対応する調査対象項目を調査項目−色対応テーブルから検索する。次にステップ９ｂにおいて、上記検索された調査対象項目に対応するアプリケーション・プログラムを選択し、この選択されたアプリケーション・プログラムに従い調査対象項目別の情報処理を行う。そして、ステップ９ｃにおいて、調査データを生成してデータメモリ２４の加工処理情報記憶部２４２に記憶させる。

以上のように第３の実施形態によれば、調査員がディジタルペンＤＰの筆記部Ｃ１〜Ｃｍを選択的に使用して調査対象項目別の情報を専用紙ＳＰに記入すると、サーバＳＶでは上記筆記部Ｃ１〜Ｃｍのインク色に応じて、当該インク色に対応する調査対象項目のアプリケーション・プログラムが自動的に選択され、このアプリケーション・プログラムに従い筆記データの調査対象項目別の情報処理が実行される。

例えば、不法投棄の実態を調査する場合に、図１１に示すように専用紙ＳＰに印刷されたＡ川の河川流域図上に、調査対象項目である「産業廃棄物」、「粗大ごみ」及び「一般ごみ」についての調査結果を記入する場合を想定する。この場合、上記調査対象項目である「産業廃棄物」、「粗大ごみ」及び「一般ごみ」に対し、例えばインク色「赤」、「緑」及び「青」を割り当てる。

この状態で、調査員がディジタルペンＤＰの筆記部Ｃ１〜Ｃｍの中からインク色「赤」、「緑」及び「青」を選択的に使用して調査対象項目別の情報を専用紙ＳＰに筆記すると、サーバＳＶでは上記インク色「赤」、「緑」及び「青」をもとにそれに対応する調査対象項目「産業廃棄物」、「粗大ごみ」及び「一般ごみ」が識別され、上記筆記された情報が「産業廃棄物」、「粗大ごみ」及び「一般ごみ」別に処理される。
したがって、調査員は複数の調査対象項目についての調査結果を、１本のディジタルペンＤＰを用い、かつ１枚の専用紙ＳＰに混在して記入することができ、これにより調査効率を高めることができる。

（その他の実施形態）
前記各実施形態ではディジタルペンＤＰからサーバＳＶへ筆記データを無線回線を介して転送するようにした。しかし、これに限定されるものではなく、例えばディジタルペンにメモリカード等の外部記憶媒体を装着するためのメモリスロットを設け、このメモリスロットに装着された外部記憶媒体に筆記データを記憶させる。そして、この外部記憶媒体をサーバのメモリスロットに装着して読み出すことにより筆記データを加工処理するように構成してもよい。

また前記実施形態では、ディジタルペンＤＰにおいて、カメラ３により撮像した画像情報からドットパターンを認識してこのドットパターンをもとにペンの位置及び筆跡を表す位置座標情報を認識し、この位置座標情報を使用中のインク色を表す情報と共にサーバＳＶへ送信するようにした。しかし、それに限らずカメラ３により撮像した画像データを色識別情報と共にディジタルペンＤＰからサーバＳＶへ転送し、サーバＳＶにおいて上記転送された画像データからドットパターンを認識してこのドットパターンをもとにペンの位置及び筆跡を表す位置座標情報を認識するようにしてもよい。このようにするとディジタルペンＤＰの処理負荷を軽減することができる。

さらに筆記データには、ペン位置及び筆跡を表す情報と、インク色を表す識別情報と、日時情報に加えて、筆圧や筆記速度、書き順等の筆記属性情報を付加してもよい。その他、ディジタルペンの構成、特に筆記部Ｃ１〜Ｃｍの数やそのインク色、インク色の識別手段、認識処理の内容、ディジタルペンからサーバへの筆記データの転送手段や、サーバの構成、特に加工処理の手順と内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わるディジタルペン入力システムの第１の実施形態を示す概略構成図。 図１に示したシステムで使用されるディジタルペンの構成を示す図。 図２に示したディジタルペンに設けられるイメージプロセッサの機能構成を示すブロック図。 図１に示したシステムにおけるサーバの機能構成を示すブロック図。 図３に示したディジタルペンのイメージプロッサによる処理手順と処理内容を示すフローチャート。 図４に示したサーバによる処理手順と処理内容を示すフローチャート。 図２に示したディジタルペンによる筆記情報の記載例と当該筆記情報のサーバにおける表示例を示す図。 この発明の第２の実施形態に係わるディジタルペンのイメージプロセッサによる処理手順と処理内容を示すフローチャート。 この発明の第３の実施形態に係わるディジタルペン入力システムのサーバによる色別筆記情報処理の手順と内容を示すフローチャート。 図９に示した色別筆記情報処理に使用する調査項目−色対応テーブルの一例を示す図。 図９に示した色別筆記情報処理の対象となる筆記情報の記載例を示す図。 アノト機能を実現するためのドットパターンの一例を示す図。

符号の説明

ＳＰ…専用紙、ＤＰ…ディジタルペン、ＳＶ…サーバ、Ｃ１〜Ｃｍ…インクカートリッジ、ＴＧ１〜ＴＧｍ…識別タグ、１…イメージプロセッサ、２…インクカートリッジ切り替え部、３…カメラ、４…記憶ユニット、４１…ドットパターン−位置対応テーブル、４２…筆記情報記憶部、５…通信ユニット、６…電源ユニット、１１…イメージプロセッサのＣＰＵ、１２…イメージプロセッサのバス、１３…イメージプロセッサのプログラムメモリ、１３１…読み取り制御プログラム、１３２…認識処理プログラム、１３３…インクカートリッジ識別プログラム、１３４…筆記情報生成プログラム、１３５…筆記情報送信制御プログラム、１５…通信インタフェース、１６…タグインタフェース、１７…カメラインタフェース、１８…時計回路、１９…メモリインタフェース、２１…サーバのＣＰＵ、２２…サーバのバス、２３…サーバのプログラムメモリ、２３１…ペン認証処理プログラム、２３２…アプリケーション選択プログラム、２３３〜２３ｎ…アプリケーション・プログラム、２４…データメモリ、２４１…筆記情報記憶部、２４２…加工処理情報記憶部、２５…通信インタフェース、２６…通信ユニット、２７…アンテナ、２８…入出力インタフェース、２９…入力デバイス、３０…表示デバイス。

Claims (1)

1. 単位領域ごとに異なるドットパターンが表示されたシートと、このシート上に点又は線からなる筆記情報を記載するためのディジタルペンと、このディジタルペンと通信ネットワークを介して接続可能な情報処理装置とを具備し、
   前記ディジタルペンは、
   異なる色のインクを滲出する複数の筆記部と、
   前記複数の筆記部を選択するための筆記部選択部と、
   前記選択された筆記部により前記シート上に記載された筆記情報を前記ドットパターンと共に光学的に読み取る撮像手段と、
   前記撮像手段により読み取られた前記筆記情報の筆記軌跡を表す情報を、当該筆記情報と共に読み取られた前記ドットパターンをもとに認識する認識手段と、
   前記撮像手段により読み取られた筆記情報を色相、彩度及び明度により表される空間画像情報に変換する手段と、
   前記空間画像情報から色相成分を抽出し、この抽出された色相成分をもとに前記筆記部選択部により選択された筆記部の色を識別する識別手段と、
   前記認識された筆記軌跡を表す情報を、前記識別手段により識別された筆記部の色を表す情報と対応付けて記憶する記憶手段と、
   前記記憶手段に記憶された筆記軌跡を表す情報及び筆記部の色を表す情報を、前記通信ネットワークを介して前記情報処理装置へ送信する送信手段と
   を備え、
   前記情報処理装置は、
   前記ディジタルペンから送信された筆記軌跡を表す情報及び筆記部の色を表す情報を受信する手段と、
   前記複数の筆記部の色と複数の調査対象項目との対応関係を表す情報を記憶するメモリテーブルと、
   前記受信された筆記部の色を表す情報に対応する調査対象項目を、前記メモリテーブルに記憶された情報をもとに識別する手段と、
   前記識別結果に基づいて、前記受信された筆記軌跡を表す情報を調査対象項目別に加工処理する手段と
   を備えることを特徴とするディジタルペン入力システム。

Images