JP5370557B2 - ボード書き込みシステム、コンピュータ装置及びプログラム - Google Patents

Description

本発明は、電子ペンから情報を受信して処理するコンピュータ装置に関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン（Anoto pen）」が知られている。アノトペンは、所定のドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、文字等を書くための通常のインクカートリッジに加えて、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。

特許文献２には、媒体面に印刷されたドットパターンを光学的に読み取り、読み取った情報をパーソナルコンピュータに送信するリモコンが記載されており、媒体面としてホワイトボードを用い、プロジェクターにより所定の画像を投影する電子黒板が提案されている。また、特許文献３には、書込型入力装置が、手書きした内容を示す入力軌跡を読み取るための位置情報を提供可能なマークを印刷している透明シートが記載されており、この透明シートをパーソナルコンピュータのディスプレイの前面に装着して使用する方法が提案されている。

特許文献４には、手書き情報を電子文書へ反映させる手書き入力装置において、電磁ペンによる指令領域へのタップの回数によって異なる指令を出す技術が記載されている。また、特許文献５には、手書きで文字入力が可能な文字データ処理装置において、入力ペンで記入した文字を囲んで、アイコンをクリックするとそのアイコンのメモリに記憶される技術が記載されている。さらに、特許文献６には、入力機能付きの表示装置に対して、手書き入力可能なシステムにおいて、ペンで２回連続してクリックすると、その位置から一定の範囲が入力領域となる技術が記載されている。

特許文献７には、手書き情報を認識する機能を備えた文書処理装置において、ペンで文字を囲んで移動させる技術が記載されている。また、特許文献８には、ペン型座標指示装置で座標を指示し、メニューを表示させる際、利き手の反対側にメニューを出す技術が記載されている。

特表２００３−５１１７６１号公報 特開２００８−１５４２１１号公報 特開２００３−２５６１２２号公報 特開２００５−６３０２９号公報 特開平１０−４９２８９号公報 特開平０８−２７２５１５号公報 特開平０５−２３３６１１号公報 特開平０４−２０５１３７号公報

電子ペンを用いた入力操作を行うことができる装置においては、複数のタップされた位置を認識した、さらなる操作性の向上が要望されている。そこで、本発明は、電子ペンによる記入情報を表示する領域内において連続してタップが認識されたときに、記入情報に対して所定の処理を行うコンピュータ装置を提供する。

本発明の１つの観点では、電子ペンから電子ペン識別情報を含む記入情報を受信して当該記入情報を処理するコンピュータ装置は、記入情報を受信する受信手段と、記入情報を記憶する記憶手段と、前記受信手段により受信した記入情報からストロークを表示する領域内に連続してタップを認識したときに、前記記憶手段を参照して、当該タップで規定される領域内に、電子ペン識別情報により特定される当該タップに用いられた前記電子ペンで記入されて得られた記入情報に基づいて表示したストロークに、所定の処理を施すための処理を行う処理手段と、を備える。これによって、ユーザは、電子ペンで記入した内容のうち、所定の処理を施したいものをタップによって特定して、表示された処理メニューから選択して当該処理を施すことができる。

本発明の他の観点では、電子ペンから電子ペン識別情報を含む記入情報を受信して当該記入情報を処理するコンピュータ装置は、記入情報を受信する受信手段と、記入情報を記憶する記憶手段と、前記受信手段により受信した記入情報からストロークを表示する領域内に連続してタップを認識したときに、前記記憶手段を参照して、当該タップで規定される領域内に、電子ペン識別情報により特定される当該タップに用いられた前記電子ペンで記入されて得られた記入情報に基づいて表示したストロークを、文字認識してテキスト変換表示させるための選択ボタン、移動させるための選択ボタン、または削除するための選択ボタンを含む記入変換メニューを表示手段に表示させる処理手段と、を備える。これにより、ユーザは電子ペンの操作によって処理メニューを表示させて選択することができる。

上記のコンピュータ装置の一態様では、前記電子ペンは、コード化パターンを読み取り座標情報を演算して記入情報を生成するものであり、さらに、前記電子ペンの識別情報に対応して、ユーザの利き手情報を記憶する利き手情報記憶手段を備え、前記処理手段は、前記利き手情報記憶手段に記憶された利き手情報に基づき、タップ位置に対して前記記入変換メニューを表示する位置を決定して、前記記入変換メニューを表示手段に表示させる。これにより、ユーザが記入している際に、ユーザの持つ電子ペンの影にならない位置にメニューを表示することができ、ユーザにとってより見やすく処理メニューを表示することができる。

上記のコンピュータ装置の他の一態様では、表示手段に、前記電子ペンによって読み取られるコード化パターンが形成された透明シートが重ねられている。これによりユーザは、コンピュータ装置のディスプレイに表示された映像に対して、電子ペンで文字やタップ等を記入できるようになる。

本発明の他の観点では、ボード書き込みシステムは、上記のコンピュータ装置と、前記コンピュータ装置の表示手段に表示する映像と同じ映像をスクリーンに投影するための映像信号を、前記コンピュータ装置から受信するプロジェクターと、前記プロジェクターにより映像を投影されるスクリーンとを備え、前記スクリーンには、前記電子ペンによって読み取られるコード化パターンが形成されている。このボード書き込みシステムによれば、ユーザが、電子ペンを用いてスクリーン上に記入すると、コンピュータ装置が、電子ペンから受信した記入情報を表示手段に表示し、コンピュータ装置の表示手段に表示した映像と同様の映像をプロジェクターでスクリーンに投影する。これにより、ユーザは、電子ペンを用いてスクリーンに記入することにより、電子ペンの筆跡に合わせた記入内容をプロジェクターによってスクリーンへ投影することができる。よって、このボード書き込みシステムを、例えば、教室や会議室などでホワイトボードや黒板の代わりに利用することができる。

本発明の他の観点では、コンピュータ装置上で実行することにより、上記のコンピュータ装置として機能させるプログラムを提供することができる。

本発明によれば、電子ペンによる記入情報を表示する領域内において連続してタップが認識されたときに、記入情報に対して所定の処理を行うことができる。

ボード書き込みシステムのシステム構成図である。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 利き手情報のデータ構造を示す概念図である。 ユーザがスクリーンに電子ペンで文字を記入した場合の表示形態を示す図である。 ユーザが電子ペンでスクリーンの同一認識範囲内を連続２回タップした場合の表示形態を示す図である。 線種メニューの表示例である。 （ａ）は、線種メニューのデータ構造を示す概念図である。（ｂ）は、座標領域の規定を説明する図である。 線種情報のデータ構造を示す概念図である。 ユーザが電子ペンでスクリーンを連続３回タップした場合の表示形態を示す図である。 ファイルメニューの表示例である。 ファイルメニューのデータ構造を示す概念図である。 ユーザが電子ペンでスクリーンの同一認識範囲外を連続２回タップした場合の表示形態を示す図である。 記入変換メニューのデータ構造を示す概念図である。 ボード書き込みシステムによる処理フローである。 変形例におけるコンピュータ装置の構成図である。

以下、図面を参照しながら、本発明の好適な実施の形態について説明する。

［ボード書き込みシステムのシステム構成］
図１に示すように、本実施形態におけるボード書き込みシステム１０は、ユーザが使用する電子ペン１と、電子ペン１から記入情報等を受信して処理するコンピュータ装置２と、コンピュータ装置２のディスプレイ（表示手段）２４をスクリーン（ボード）４に映し出すプロジェクター３と、スクリーン４とから構成される。

［スクリーン（ボード）］
まず、スクリーン（ボード）４について説明する。スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板４０１の前面に、後述するドットパターンが印刷により形成された用紙４０２を上からマグネットで押さえつけたり、あるいは糊、粘着剤等で貼りつけたものである。なお、マグネット板４０１の代わりに壁面を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたフィルム等のシートでもよい。ユーザが電子ペン１によってスクリーン４上に文字などを書くと、電子ペン１は、ペン先部の移動軌跡に沿って、用紙４０２に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン４におけるその局所位置の座標を算出し、その電子データが自動的に取得される。一方、コンピュータ装置２の表示手段２４に表示された画像（映像）と同様の画像が、プロジェクター３によってスクリーン４の領域４０３に投影される。用紙４０２には、領域４０３の角を示す印が印刷されている。ユーザは、領域４０３と略等しい範囲にプロジェクター３が画像を投影するよう、プロジェクター３とスクリーン４との距離、プロジェクター３の仰角などを調整する。

［ドットパターン］
続いて、スクリーン（ボード）４の用紙４０２に印刷されているドットパターン（コード化パターン）について説明する。図２は、用紙４０２に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。

図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、スクリーン４上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがスクリーン４上のどの位置にあるのか）及びドットパターンアドレス（コード化パターンアドレス）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に電子ペン１について説明する。図４に示すように、電子ペン１は、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をスクリーン４に当接させて、文字を記入したり、タップ（ペン先部１０３によるスクリーン４への軽叩）したりする。なお、電子ペン１は、プロジェクター３により投影されるスクリーン４に、タップしたり文字を記入したりするのに用いるものであるので、ペン部１０４は、インクが充填されたものでなくともよい。

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。即ち、ユーザが電子ペン１でスクリーン４に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のスクリーン４上におけるＸ，Ｙ座標（単に「座標データ」とも呼ぶ）とスクリーン４に固有のドットパターンアドレス（コード化パターンアドレス）とを連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。そしてプロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ、ドットパターンアドレス及びＸ，Ｙ座標データとを関連付ける。なお、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤ（電子ペン識別情報）と、時刻情報（タイムスタンプ）と、筆圧データと、ドットパターンアドレスと、Ｘ，Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置２へ送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の無線送信によって、即時的かつ逐次的に行われる。

［コンピュータ装置］
次に、コンピュータ装置２について説明する。コンピュータ装置２は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成される、パーソナルコンピュータ等で構成される。図５は、コンピュータ装置２の機能ブロック図である。コンピュータ装置２は、機能的には、マウスやキーボードといった入力手段２１、受信手段２２、送信手段２３、表示手段２４、記憶手段２５及び処理手段２６を備える。そして、コンピュータ装置２は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。

受信手段２２は、アンテナ等により構成され、電子ペン１から記入情報を受信し、処理手段２６に伝送する。送信手段２３は、処理手段２６の指示による映像信号をプロジェクター３に送信するもので、プロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段２４は、ディスプレイ等によって構成され、処理手段２６によって指示された内容を表示する。

記憶手段２５は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段２５は、予め、電子ペン１のペンＩＤごとに、ユーザの利き手を対応付けた利き手情報を記憶している（図６参照）。また、記憶手段２５は、予め、後述するメニューごとに、処理メニューの絵柄の画像情報とそのＸ方向の幅Ｍとを対応付けた処理メニュー情報や、処理メニューに含まれる各実行メニューボタンの相対的な座標領域と実行する処理とを対応付けた情報を記憶している（図１０（ａ）、図１４及び図１６参照）。さらに、記憶手段２５は、処理手段２６の処理命令により、電子ペン１から受信した記入情報をペンＩＤごとに記憶したり、実行メニューボタンの絶対的な座標領域を一時記憶したりする。

処理手段２６は、ＣＰＵ等のプロセッサによって構成され、受信手段２２により電子ペン１から受信した記入情報に基づいて、表示手段２４に対して種々の形態で記入内容を表示させたり、表示手段２４に表示させる画像と同様の画像をプロジェクター３に投影させるための映像信号を、送信手段２３に対してプロジェクター３に送信させたり等の所定の処理を実行する。

プロジェクター３は、コンピュータ装置２の送信手段２３から受信した映像信号に基づいて、表示手段２４に表示された画像と同様の画像をスクリーン（ボード）４の領域４０３に映し出す。

続いて、コンピュータ装置２が電子ペン１から受信した記入情報に基づいて処理する各種の表示形態について説明する。

（表示形態１）
図７は、ユーザがスクリーン４の領域４０３に電子ペン１で文字を記入した場合の表示形態を示している。ユーザが、電子ペン１Ａ（ペンＩＤ「ｐｅｎ０１」）でスクリーン４に「ＡＢＣ」と記入すると、電子ペン１Ａは、ストローク情報（座標データ）「ＡＢＣ」及びペンＩＤ「ｐｅｎ０１」等を記入情報として、コンピュータ装置２に送信する。コンピュータ装置２では、受信した記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる。また、記憶手段２５は、スクリーン４の領域４０３に含まれるドットパターンの座標情報を、ディスプレイの表示領域２０１の解像度に合わせてかつ縦横比は変えずに変換する情報を予め記憶しており、処理手段２６は、その変換情報を参照して、電子ペン１Ａから受信した記入情報に含まれるストローク情報「ＡＢＣ」を変換して、ディスプレイ（表示手段２４）の表示領域２０１のスクリーン４と対応する位置に「ＡＢＣ」の画像として表示させる。それと同時に、処理手段２６は、ストローク情報「ＡＢＣ」を「ＡＢＣ」の画像としてプロジェクター３によってスクリーン４に投影させるための映像信号を、送信手段２３に対してプロジェクター３へ送信させる。すると、プロジェクター３は、送信手段２３から受信した映像信号に基づいて、表示領域２０１の画像と同様の画像を、スクリーン４の領域４０３に、電子ペン１で記入した筆跡「ＡＢＣ」の位置に合わせて「ＡＢＣ」と投影する。なお、図７では、スクリーン４の領域４０３のうち「ＡＢＣ」の画像が投影されている付近の領域の表示状態を、点線内に拡大して示している。

（表示形態２）
図８は、ユーザが電子ペン１でスクリーン４の領域４０３の同一認識範囲内を２回連続してタップした場合の表示形態を示している。ここで、同一認識範囲内とは、１回目のタップの位置を中心とする所定半径Ｒの円内に２回目のタップが入る場合とする。すなわち、２回のタップ間の長さが所定範囲Ｒ（数ｍｍ）以内であれば、同一認識範囲内のタップとする。ユーザが、電子ペン１Ａ（ペンＩＤ「ｐｅｎ０１」）でスクリーン４の同一認識範囲内を２回タップすると、電子ペン１Ａは、ストローク情報（タップ）及びペンＩＤ「ｐｅｎ０１」を記入情報としてコンピュータ装置２に送信する。コンピュータ装置２では、処理手段２６が、受信した記入情報に基づいて、１回目のタップと２回目のタップが同一認識範囲内であったか否かを判定し、同一認識範囲内であれば線種メニュー５を表示する。このとき、処理手段２６は、記憶手段２５が記憶している利き手情報を参照し、ペンＩＤ「ｐｅｎ０１」のユーザが右利きであることを読み出し、右利きの手で持つ電子ペン１Ａの影に隠れないように、線種メニュー５を２回目のタップ位置（表示基準点）の左側に表示させる。このとき、処理手段２６は、処理メニュー情報を参照して、線種メニュー５の特定の角の座標点（Ｘｎ，Ｙｎ）として、Ｘ座標は、表示基準点のＸ座標から線種メニュー５の絵柄のＸ方向の幅Ｍを減算した値を、Ｙ座標値は、表示基準点のＹ座標と同じ値を、記憶手段２５に一時記憶させる。そして、一時記憶した当該座標点を（Ｘ０，Ｙ０）とすると、（Ｘ０，Ｙ０）の位置座標を基準として、線種メニュー５の絵柄を表示手段２４に表示させる。また処理手段２６は同時に、線種メニュー５の絵柄をプロジェクター３に投影させるための映像信号を、送信手段２３からプロジェクター３へ送信させる。プロジェクター３は、スクリーン４の領域４０３に線種メニュー５の絵柄を投影する。

なお、処理手段２６は、電子ペン１とスクリーンと４との接触が連続しないストローク（点）であった場合にタップと判断してもよいし、所定の長さより短いストロークであった場合にタップと判断してもよい。

図９は線種メニュー５の表示例である。線種メニュー５は、線の色を変更する実行メニューボタン５０１、５０２及び５０３と、線の太さを変更する実行メニューボタン５０４、５０５及び５０６と、線種メニュー５を終了する実行メニューボタン５０７とで構成される。、ユーザがスクリーン４上でこれらの実行メニューボタンのいずれかを電子ペン１でタップすると、処理手段２６は、タップ位置の座標が含まれる座標領域の実行メニューを認識し、当該実行メニューに対応付けられた処理を行う。ここで、図１０（ａ）に示すように、線種メニュー５は、各実行メニューボタンの線種メニュー５の特定の角の座標点（Ｘｎ，Ｙｎ）に対する相対的な座標領域及び実行する処理が対応付けられて記憶手段２５に記憶されている。そして、処理手段２６は、線種メニュー５を表示手段２４に表示させると共に、各実行メニューボタンの絶対的な座標領域を演算して、記憶手段２５に一時記憶させる。例えば、処理手段２６は、実行メニューボタン５０１の座標領域として、Ｘ座標はＸ０にＸ１を加算した値を、Ｙ座標はＹ０にＹ１を加算した値を、Ｗ１及びＨ１はそのままの値を、記憶手段２５に一時記憶させる。なお、図１０（ｂ）に示すように、実行メニューボタンの座標領域は、特定の角の座標点（Ｘｎ，Ｙｎ）と、Ｘ方向の幅Ｗｎと、Ｙ方向の高さＨｎとによって定義づけられている。

具体的に、実行メニューボタン５０１は、当該実行メニューボタンをタップ（選択）した電子ペン１のペンＩＤに線種ＩＤ「Ｌ７１（くろ）」を登録する処理と対応付けられている。即ち、ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０１をタップすると、処理手段２６は、当該電子ペン１の記入情報に基づいて表示する線の色を黒色に設定する。ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０２をタップすると、処理手段２６は、表示する線の色を赤色に設定し、ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０３をタップすると、処理手段２６は、表示する線の色を青色に設定する。同様に、ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０４をタップすると、処理手段２６は、当該電子ペン１の記入情報から表示する線の太さを「細」に設定する。ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０５をタップすると、処理手段２６は、表示する線の太さを「中」に設定し、ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０６をタップすると、処理手段２６は、表示する線の太さを「太」に設定する。そして、ユーザが電子ペン１でスクリーン４上の実行メニューボタン５０７をタップすると、処理手段２６は、線種メニュー５を終了するとともに、記憶手段２５に一時記憶させた線種メニュー５の特定の角の座標点（Ｘ０，Ｙ０）及び各実行メニューの座標領域（今回の線種メニュー５表示における絶対的な座標領域）を、記憶手段２５から削除する。

図１１に示すように、記憶手段２５は、線種情報としてペンＩＤと線種（線の色及び太さ）とを対応付けて記憶している。例えば、ユーザがペンＩＤ「ｐｅｎ０２」の電子ペン１Ｂで実行メニュー５０６をタップすると、ペンＩＤ「ｐｅｎ０２」に対応する線種には、線の太さ「太」が登録される。なお、線種が登録されていない場合は、デフォルトで例えば線の色は黒色、線の太さは「中」で表示される。

（表示形態３）
図１２は、ユーザが電子ペン１でスクリーン４の領域４０３を３回連続してタップした場合の表示形態を示している。ユーザが、電子ペン１Ｂ（ペンＩＤ「ｐｅｎ０２」）でスクリーン４を３回タップすると、電子ペン１Ｂは、ストローク情報（タップ）及びペンＩＤ「ｐｅｎ０２」を記入情報として、コンピュータ装置２に送信する。コンピュータ装置２では、処理手段２６が、受信した記入情報に基づいて、３回のタップがあればファイルメニュー６を表示させる。このとき、処理手段２６は、記憶手段２５が記憶している利き手情報を参照し（参照図６）、ペンＩＤ「ｐｅｎ０２」のユーザが左利きであることを読み出し、左利きの手で持つ電子ペン１の影に隠れないように、ファイルメニュー６を３回目のタップ位置（表示基準点）の右側に表示させる。このとき、処理手段２６は、ファイルメニュー６の特定の角の座標点（Ｘｎ，Ｙｎ）として、表示基準点の座標と同じ値を、記憶手段２５に一時記憶させる。ここで、一時記憶した当該座標点を（Ｘ０，Ｙ０）とする。また、処理手段２６は、各実行メニューボタンの絶対的な座標領域を演算して、記憶手段２５に一時記憶させる。例えば、処理手段２６は、実行メニューボタン６０１の座標領域として、Ｘ座標はＸ０にＸ８を加算した値を、Ｙ座標はＹ０にＹ８を加算した値を、Ｗ８及びＨ８はそのままの値を、記憶手段２５に一時記憶させる。そして、一時記憶した座標点（Ｘ０，Ｙ０）を基準として、ファイルメニュー６の絵柄を表示手段２４に表示させる。また同時に、ファイルメニュー６の絵柄をプロジェクター３に投影させるための映像信号を、送信手段２３からプロジェクター３へ送信させる。プロジェクター３は、スクリーン４の領域４０３にファイルメニュー６の絵柄を投影する。

図１３はファイルメニュー６の表示例である。ファイルメニュー６は、ページの追加や削除などを行う実行メニューボタン６０１、６０２、６０３及び６０４と、表示するページの移動を行う実行メニューボタン６０５、６０６、６０７及び６０８と、ファイルメニュー６を終了する実行メニューボタン６０９とで構成される。図１４に示すように、ファイルメニュー６は、各実行メニューボタンのファイルメニュー６の特定の角の座標点（Ｘｎ，Ｙｎ）に対する相対的な座標領域と実行する処理とが対応付けられて記憶手段２５に記憶されている。具体的に、実行メニューボタン６０１は、ページを追加する処理と対応付けられている。即ち、ユーザがスクリーン４上の実行メニューボタン６０１をタップすると、処理手段２６は、新しいページを追加して表示手段２４に表示させる。同様に、ユーザがスクリーン４上の実行メニューボタン６０２をタップすると、処理手段２６は、現在のページを削除し、ユーザがスクリーン４上の実行メニューボタン６０３をタップすると、処理手段２６は、ファイルを開くための処理メニューを表示手段２４に表示させ、ユーザがスクリーン４上の実行メニューボタン６０４をタップすると、処理手段２６は、現在のファイルを保存する。ユーザがスクリーン４上の実行メニューボタン６０５をタップすると処理手段２６は、先頭ページの表示内容を表示手段２４に表示させ、ユーザがスクリーン４上の実行メニューボタン６０６をタップすると、処理手段２６は、前ページの表示内容を表示手段２４に表示させ、ユーザがスクリーン４上の実行メニューボタン６０７をタップすると、処理手段２６は、次ページの表示内容を表示手段２４に表示させ、ユーザがスクリーン４上の実行メニューボタン６０８をタップすると、処理手段２６は、最終ページの表示内容を表示手段２４に表示させる。そして、ユーザがスクリーン４上の実行メニューボタン６０９をタップすると、処理手段２６は、ファイルメニュー６を終了するとともに、記憶手段２５に一時記憶させたファイルメニュー６の特定の角度の座標点（Ｘ０，Ｙ０）及び各実行メニューの座標領域を、記憶手段２５から削除する。

（表示形態４）
図１５は、ユーザが電子ペン１でスクリーン４の領域４０３に文字を記入した後、異なる認識範囲に２回連続してタップした場合の表示形態を示している。ユーザが、先ず、電子ペン１Ｂ（ペンＩＤ「ｐｅｎ０２」）でスクリーン４に文字列「あいう」を記入すると、電子ペン１Ｂは、ストローク情報（座標データ）「あいう」及びペンＩＤ「ｐｅｎ０２」等を記入情報として、コンピュータ装置２に送信する。コンピュータ装置２は、上記の表示形態１と同様の処理を行って、表示領域２０１及びスクリーン４に「あいう」の画像として表示させる。次に、スクリーン４に投影された当該文字列を、２つのタップ点を対角の頂点とする長方形で囲むように、ユーザが、電子ペン１Ｂでタップすると、電子ペン１Ｂは、ストローク情報（タップ）及びペンＩＤ「ｐｅｎ０２」を記入情報として、コンピュータ装置２に送信する。コンピュータ装置２では、処理手段２６が、受信した記入情報に基づいて、１回目のタップと２回目のタップが同一認識範囲内であったか否かを判定し、同一認識範囲内でなければ、２つのタップの位置を対角の頂点とする長方形領域を認識し、記入変換メニュー７を表示手段２４に表示させる。このとき、処理手段２６は、記憶手段２５が記憶している利き手情報を参照し（参照図６）、ペンＩＤ「ｐｅｎ０２」のユーザが左利きであることを読み出し、左利きの手で持つ電子ペン１の影に隠れないように、記入変換メニュー７を２回目のタップ位置（表示基準点）の右側に表示させる。記入変換メニュー７は、認識した長方形領域の中に存在するストロークに対して処理を行う実行メニュー７０１、７０２及び７０３と、記入変換メニュー７を終了する実行メニュー７０４とで構成される。このとき、処理手段２６は、記入変換メニュー７の特定の角の座標点（Ｘｎ，Ｙｎ）として、表示基準点の座標と同じ値を、記憶手段２５に一時記憶させる。ここで、一時記憶した当該座標点を（Ｘ０，Ｙ０）とする。また、処理手段２６は、各実行メニューボタンの絶対的な座標領域を演算して、記憶手段２５に一時記憶させる。例えば、処理手段２６は、実行メニューボタン７０１の座標領域として、Ｘ座標はＸ０にＸ１７を加算した値を、Ｙ座標はＹ０にＹ１７を加算した値を、Ｗ１７及びＨ１７はそのままの値を、記憶手段２５に一時記憶させる。そして、一時記憶した座標点（Ｘ０，Ｙ０）を基準として、記入変換メニュー７の絵柄を表示手段２４に表示させる。また同時に、記入変換メニュー７の絵柄をプロジェクター３に投影させるための映像信号を、送信手段２３からプロジェクター３へ送信させる。プロジェクター３は、スクリーン４の領域４０３に記入変換メニュー７の絵柄を投影する。

図１６に示すように、記入変換メニュー７は、実行メニューボタンの記入変換メニュー７の特定の角の座標点に対する相対的な座標領域と実行する処理とが対応付けられて記憶手段２５に記憶されている。具体的に、実行メニューボタン７０１は、記入内容をテキスト変換する処理と対応付けられている。即ち、ユーザがスクリーン４上の実行メニューボタン７０１をタップすると、処理手段２６は、長方形領域内のストローク「あいう」を文字認識し、テキスト変換する。さらに、ユーザがスクリーン４上の実行メニューボタン７０２をタップすると、処理手段２６は、長方形領域内のストローク「あいう」を移動させる。移動先としては、例えば、電子ペン１による次のタップ位置に対応する位置とするよう処理手段２６が処理してもよい。ユーザがスクリーン４上の実行メニューボタン７０３をタップすると、処理手段２６は、長方形領域内のストローク「あいう」のストローク情報を記憶手段２５から削除し、表示領域２０１及びスクリーン４上の表示も消す。そして、ユーザがスクリーン４上の実行メニュー７０４ボタンをタップすると、処理手段２６は、記入変換メニュー７を終了するとともに、記憶手段２５に一時記憶させた記入変換メニュー７の特定の角度の座標点（Ｘｎ，Ｙｎ）及び各実行メニューの座標領域を、記憶手段２５から削除する。なお、タップの位置を対角の頂点とする長方形領域内にストロークが存在するか否か判断し、存在しない場合には記入変換メニュー７を表示しない、あるいは表示する処理メニューを変更することとしてもよい。

また、上記の表示形態１〜４では、スクリーン４上の各実行メニューボタンを、ユーザが電子ペン１を用いてタップすることで、処理手段２６が、それぞれの実行メニューボタンに対応付けて記憶手段２５に記憶されている機能を実行処理するよう構成しているが、さらには、入力手段２１のマウスを用いて、ディスプレイ（表示手段２４）の表示領域２０１上のカーソルを各実行メニューボタンに位置付けて、クリックすることで、処理手段２６が実行処理するようにしてもよい。

［ボード書き込みシステムによる処理フロー］
次に、本実施形態のボード書き込みシステム１０による処理フローを、図１７を参照して説明する。図１７に示す処理フローは、ユーザが電子ペン１でスクリーン４の領域４０３に対し、タップないしストロークを記入するごとに行われる。

まず、この処理フローについて説明する。ユーザが、スクリーン４の領域４０３に対し電子ペン１で文字等を記入すると、電子ペン１は、ユーザが記入した内容のストローク情報とペンＩＤ等を対応付けて記入情報を生成し、コンピュータ装置２に送信する（ステップＳ１０１）。

コンピュータ装置２では、受信手段２２が、電子ペン１から送信された記入情報を受信すると、処理手段２６は、記憶手段２５に、ストローク情報及びペンＩＤを含む記入情報を記憶させる（ステップＳ２０１）。続いて、処理手段２６は、記入情報から実行メニューの選択を認識したか否かを判定する（ステップＳ２０２）。実行メニューの選択を認識した場合（ステップＳ２０２：Ｙｅｓ）、処理手段２６は、選択された実行メニューを実行し（ステップＳ２１１）、処理を終了する。一方、処理手段２６が実行メニューの選択を認識しなかった場合（ステップＳ２０２：Ｎｏ）、処理手段２６は、ストローク情報及びペンＩＤに基づいて、同一の電子ペン１で連続して２回タップされたか否かを判定する（ステップＳ２０３）。処理手段２６が同一の電子ペン１で２回タップされていないと判定した場合（ステップＳ２０３：Ｎｏ）、処理手段２６は、記憶手段２５を参照して当該ペンＩＤに対応する線種情報（図１１参照）を読み出し、その線種情報に応じてストロークを表示手段２４に表示させ（ステップＳ２１０）、処理を終了する。その一方、処理手段２６が同一の電子ペン１で連続して２回タップされたと判定した場合（ステップＳ２０３：Ｙｅｓ）、処理手段２６は、さらに同一の電子ペン１で３回タップされたか否かを判定する（ステップＳ２０４）。

処理手段２６が同一の電子ペン１で３回タップされてはいないと判定した場合（ステップＳ２０４：Ｎｏ）、処理手段２６は、１回目と２回目のタップ位置の座標が同一認識範囲内（タップ間長さが所定長さの範囲内）であるか否かを判定する（ステップＳ２０６）。処理手段２６が、１回目と２回目のタップ位置の座標が同一認識範囲外であると判定した場合（ステップＳ２０６：Ｎｏ）、処理手段２６は、２つのタップの位置を対角の頂点とする長方形領域を認識する（ステップＳ２０８）。次に、処理手段２６は、記憶手段２５を参照してペンＩＤに基づいて利き手情報（図６参照）を読み出し、利き手で持つ電子ペン１の影に隠れないように表示手段２４に記入変換メニュー７を表示させ（ステップＳ２０９）、処理を終了する。一方、処理手段２６が１回目と２回目のタップ位置の座標が同一認識範囲内であると判定した場合（ステップＳ２０６：Ｙｅｓ）、処理手段２６は、記憶手段２５を参照してペンＩＤに基づいて利き手情報（図６参照）を読み出し、利き手で持つ電子ペン１の影に隠れないように表示手段２４に線種メニュー５を表示させ（ステップＳ２０７）、処理を終了する。

一方、処理手段２６が同一の電子ペン１で３回タップされたと判定した場合（ステップＳ２０４：Ｙｅｓ）、処理手段２６は、記憶手段２５を参照してペンＩＤに基づいて利き手情報（図６参照）を読み出し、利き手で持つ電子ペン１の影に隠れないように表示手段２４にファイルメニュー６を表示させ（ステップＳ２０５）、処理を終了する。

（表示形態１）
次に、図７に示す表示形態１のように文字を記入した場合における処理を、図１７を参照して説明する。ユーザが、電子ペン１でスクリーン４の領域４０３に、例えば「ＡＢＣ」と記入していくと、電子ペン１は、即時かつ逐次的に、ストローク情報（座標データ）及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。このとき、処理手段２６は、記入情報からは実行メニューが選択されているとは認識せず（Ｓ２０２：Ｎｏ）、同一の電子ペン１で２回タップされたとも認識しないため（Ｓ２０３：Ｎｏ）、記憶手段２５を参照して線種情報を読み出し、その線種情報に応じて、ストロークをディスプレイ（表示手段）２４の表示領域２０１に表示させる。それと同時に、処理手段２６は、映像信号を、送信手段２３に対してプロジェクター３へ送信させる。すると、プロジェクター３は、表示領域２０１の画像と同様の画像を、スクリーン４の領域４０３に、電子ペン１で記入した筆跡「ＡＢＣ」の位置に合わせて「ＡＢＣ」と投影する。

（表示形態２）
続いて、図８の表示形態２の、スクリーン４上の領域４０３で同一認識範囲内に２回連続してタップした場合における処理を、図１７を参照して説明する。ユーザが、電子ペン１でスクリーン４に１回目のタップをしたときは、電子ペン１は、そのタップの位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。このとき、処理手段２６は、記入情報からタップであると認識するものの、実行メニューが選択されているとは認識せず（Ｓ２０２：Ｎｏ）、同一の電子ペン１で２回タップされたとも認識しないため（Ｓ２０３：Ｎｏ）、記憶手段２５を参照して線種情報を読み出し、その線種情報に応じて、タップをディスプレイ（表示手段）２４の表示領域２０１に表示させる。それと同時に、処理手段２６は、映像信号を、送信手段２３に対してプロジェクター３へ送信させる。すると、プロジェクター３は、表示領域２０１の画像と同様の画像を、スクリーン４の領域４０３に、電子ペン１で記入した筆跡の位置に合わせて投影する。

さらに、ユーザが、電子ペン１でスクリーン４に２回目のタップをしたとき、電子ペン１は、そのタップの位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。このとき、処理手段２６は、記入情報からタップであると認識するものの、実行メニューが選択されているとは認識しないが（Ｓ２０２：Ｎｏ）、前回のタップと合わせて、同一の電子ペン１で続けて２回タップされたと認識する（Ｓ２０３：Ｙｅｓ）。しかし、処理手段２６は、同一の電子ペン１で３回タップされたとは認識しない（Ｓ２０４：Ｎｏ）ため、１回目と２回目のタップ位置の座標が同一認識範囲内であるか否か判定する（Ｓ２０６）。このとき、処理手段２６は、１回目と２回目のタップ位置の座標が同一認識範囲内であると判定する（Ｓ２０６：Ｙｅｓ）ので、記憶手段２５を参照して処理メニュー情報および電子ペン１のユーザの利き手情報を読み出し（参照図６）、利き手で持つ電子ペン１の影に隠れないように、線種メニュー５を２回目のタップ位置（表示基準点）に対する特定の側（利き手の反対側）に表示させる（Ｓ２０７）。

ここで、送信手段２６は、線種メニュー５の特定の角の座標点（Ｘｎ，Ｙｎ）として、読み出した利き手情報に応じて、すなわち左利きであれば表示基準点の位置座標と同じ値を、右利きであれば線種メニュー５の絵柄のＸ方向の幅Ｍを用いて演算を行った結果の値を記憶手段２５に一時記憶させる。ここで、一時記憶した当該座標点を（Ｘ０，Ｙ０）とする。また、処理手段２６は、記憶手段２５に記憶された線種メニュー情報（参照図１０）を参照して、線種メニュー５に含まれる各実行メニュー５０１〜５０７の線種メニュー５の座標点（Ｘ０，Ｙ０）に対する相対的な座標領域から、各実行メニューの絶対的な座標領域を演算して、記憶手段２５に一時記憶させる。そして、処理手段２６は、一時記憶した線種メニュー５の座標点（Ｘ０，Ｙ０）を基準として、線種メニュー５の絵柄を表示手段２４に表示させる。処理手段２６は、表示手段２４と同様の画像の映像信号を送信手段２３からプロジェクター３へ送信させているので、プロジェクター３は、表示手段２４の表示領域２０１に表示された画像と同様の線種メニュー５の画像を、スクリーン４の領域４０３に投影する。

線種メニュー５がプロジェクター３によってスクリーン４の領域４０３に表示された状態で、ユーザが、電子ペン１でスクリーン４上の特定の実行メニューをタップしたとする。電子ペン１は、スクリーン４に表示された実行メニュー領域内のタップ位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。そして、処理手段２６は、記入情報の座標データが記憶手段２５に一時記憶された実行メニューの座標領域であると認識することから、実行メニューが選択されていると認識し（Ｓ２０２：Ｙｅｓ）、その実行メニューを実行する（Ｓ２１１）。

（表示形態３）
次に、図１２の表示形態３の、スクリーン４上の領域４０３で３回連続してタップした場合における処理を、図１７を参照して説明する。連続タップ２回目までは、上述のような処理ステップを経るもので、ユーザが、電子ペン１で２回目のタップをしたときは、電子ペン１は、そのタップの位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させ（Ｓ２０１）、記入情報からタップであると認識するものの、実行メニューが選択されているとは認識しないが（Ｓ２０２：Ｎｏ）、同一の電子ペン１で続けて２回タップされたと認識する（Ｓ２０３：Ｙｅｓ）。処理手段２６は、まだ３回目のタップがなされていないので、同一の電子ペン１で３回タップされたとは認識せず（Ｓ２０４：Ｎｏ）、１回目と２回目のタップ位置の座標が同一認識範囲内であるか否かで（Ｓ２０６）、ステップＳ２０７あるいは、ステップＳ２０８、２０９の処理がなされるが、長方形領域内にストロークが認識されない場合（Ｓ２０８）は、ステップＳ２０９で記入変更メニュー７は表示されない。なお、ここで、処理手段２６が、２回目のタップについての記入情報の受信から、線種メニュー５又は記入変更メニュー７を表示手段２４に表示させるまでの時間的間隔を、３回目のタップがなされるとすれば予想される２回目から３回目のタップまでの時間的間隔以上の間隔に設定しておけば、３回目のタップがなされる前に、線種メニュー５又は記入変更メニュー７を表示させないようにすることができる。

ユーザが、電子ペン１で３回目のタップをしたとき、電子ペン１は、そのタップの位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させ（Ｓ２０１）、記入情報からタップであると認識するものの、実行メニューが選択されているとは認識しないが（Ｓ２０２：Ｎｏ）、同一の電子ペン１で２回タップされたと認識し（Ｓ２０３：Ｙｅｓ）、なおかつ、同一の電子ペン１で続けて３回タップされたと認識する（Ｓ２０４：Ｙｅｓ）。さらに、処理手段２６は、記憶手段２５を参照して処理メニュー情報および利き手情報を読み出し（参照図６）、利き手で持つ電子ペン１の影に隠れないようにファイルメニュー６を３回目のタップ位置（表示基準点）に対して特定の側（利き手の反対側）に表示させる（Ｓ２０５）。ここで、送信手段２６は、前述の線種メニュー５を表示させるときと同様の処理により、ファイルメニュー６の特定の角の座標点（Ｘｎ，Ｙｎ）の値と、ファイルメニュー６に含まれる各実行メニュー６０１〜６０９の絶対的な座標領域の値とを演算して、記憶手段２５に一時記憶させる。そして、処理手段２６は、一時記憶したファイルメニュー６の特定の角の座標点（Ｘ０，Ｙ０）を基準として、ファイルメニュー６の絵柄を表示手段２４に表示させる。同時に、処理手段２６は、送信手段２３に、映像信号をプロジェクター３へ送信させる。そして、プロジェクター３は、表示手段２４による画像と同様に、スクリーン４の領域４０３に、ファイルメニュー６の画像を投影する。

ファイルメニュー６がプロジェクター３によってスクリーン４の領域４０３に表示された状態で、ユーザが、電子ペン１でスクリーン４上の特定の実行メニューをタップしたとする。電子ペン１は、スクリーン４に表示された実行メニュー領域内のタップ位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。そして、処理手段２６は、記入情報の座標データが記憶手段２５に一時記憶された実行メニューの座標領域であると認識することから、実行メニューが選択されていると認識し（Ｓ２０２：Ｙｅｓ）、その実行メニューを実行する（Ｓ２１１）。

（表示形態４）
次に、図１５の表示形態４の、スクリーン４上の領域４０３で、異なる認識範囲への２回のタップでストロークを処理する場合における処理を、図１７を参照して説明する。まず、ユーザは、電子ペン１を用いて、スクリーン４に文字等（「あいう」など）を記入する。すると、電子ペン１は、即時かつ逐次的に、ストローク情報（座標データ）及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。このとき、処理手段２６は、記入情報からは実行メニューが選択されているとは認識せず（Ｓ２０２：Ｎｏ）、同一の電子ペン１で２回タップされたとも認識しないため（Ｓ２０３：Ｎｏ）、記憶手段２５を参照して線種情報を読み出し、その線種情報に応じて、ストロークをディスプレイ（表示手段）２４の表示領域２０１に表示させる。それと同時に、処理手段２６は、映像信号を、送信手段２３に対してプロジェクター３へ送信させる。すると、プロジェクター３は、表示手段２４に表示された画像と同様の画像を、スクリーン４の領域４０３に、電子ペン１で記入した筆跡の位置に合わせて投影する。

ユーザが、スクリーン４において、記入した文字等を囲むための仮想長方形における一つの頂点の位置に、電子ペン１で１回目のタップをする。すると、電子ペン１は、そのタップの位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。このとき、処理手段２６は、記入情報からタップであると認識するものの、実行メニューが選択されているとは認識せず（Ｓ２０２：Ｎｏ）、同一の電子ペン１で２回タップされたとも認識しないため（Ｓ２０３：Ｎｏ）、記憶手段２５を参照して線種情報を読み出し、その線種情報に応じて、タップをディスプレイ（表示手段）２４の表示領域２０１に表示させる。それと同時に、送信手段２３に対して、映像信号をプロジェクター３へ送信させるため、プロジェクター３は、表示手段２４による表示画像と同様の画像を、スクリーン４の領域４０３に、電子ペン１で記入した位置に電子ペン１の筆跡の位置に合わせて投影する。

さらに、ユーザが、スクリーン４において、記入した文字等を囲むための仮想長方形における対角の頂点の位置に、電子ペン１で２回目のタップをする。つまり、１回目と２回目のタップ位置は、互いに、記入した文字等を囲むための仮想長方形における対角の頂点同士に当たる。すると、電子ペン１は、その２回目のタップの位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。このとき、処理手段２６は、記入情報からタップであると認識するものの、実行メニューが選択されているとは認識しない（Ｓ２０２：Ｎｏ）。さらに、処理手段２６は、同一の電子ペン１で連続２回タップされたと認識するが（Ｓ２０３：Ｙｅｓ）、同一の電子ペン１で３回タップされたとは認識しない（Ｓ２０４：Ｎｏ）。そのため、処理手段２６は、１回目と２回目のタップ位置の座標が同一認識範囲内であるか否か判定する（Ｓ２０６）。ここでは、１回目と２回目のタップ位置に、記入した文字等の長さ分の隔たりがあるため、処理手段２６は、１回目と２回目のタップ位置の座標は同一認識範囲内にはないと判定する（Ｓ２０６：Ｎｏ）。そのうえで、処理手段２６は、２つのタップの位置を対角の頂点とする長方形領域を認識し（Ｓ２０８）、記憶手段２５を参照して処理メニュー情報およびペンＩＤに基づいて利き手情報（図６参照）を読み出し、利き手で持つ電子ペン１の影に隠れないように表示手段２４に記入変換メニュー７を表示させる（Ｓ２０９）。

ここで、送信手段２６は、前述の線種メニュー５を表示させるときと同様の処理により、記入変換メニュー７の特定の角の座標点（Ｘｎ，Ｙｎ）の値と、記入変換メニュー７に含まれる各実行メニュー７０１〜７０４の絶対的な座標領域を演算して、記憶手段２５に一時記憶させる。そして、処理手段２６は、一時記憶した記入変換メニュー７の特定の角の座標点（Ｘ０，Ｙ０）を基準として、記入変換メニュー７の絵柄を表示手段２４に表示させる。同時に、処理手段２６は、送信手段２３に、映像信号をプロジェクター３へ送信させているため、プロジェクター３は、表示手段２４による画像と同様に、スクリーン４の領域４０３に、記入変換メニュー７を投影する。

記入変換メニュー７がプロジェクター３によってスクリーン４に表示された状態で、ユーザが、電子ペン１でスクリーン４上の特定の実行メニューをタップしたとする。電子ペン１は、スクリーン４に表示された実行メニュー領域内のタップ位置における座標データ及びペンＩＤ等を含む記入情報を、コンピュータ装置２へ送信する（Ｓ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２６は、記入情報をペンＩＤごとに区別して、記憶手段２５に記憶させる（Ｓ２０１）。そして、処理手段２６は、記入情報の座標データが記憶手段２５に一時記憶された実行メニューの座標領域であると認識することから、実行メニューが選択されていると認識し（Ｓ２０２：Ｙｅｓ）、その実行メニューを実行する（Ｓ２１１）。

［本実施形態のボード書き込みシステムによる作用効果］
このボード書き込みシステム１０によれば、ユーザが電子ペン１でスクリーン（ボード）４の領域４０３に記入した文字等を、スクリーン４の記入した位置に合わせて投影することができる。これにより、ユーザは、通常のインクペンと同様にスクリーン４に記入することができ、教室や会議室などでホワイトボードや黒板の代わりに利用することができる。また、電子ペン１によるタップ回数、及びタップ位置の違いを同時に判断することによって、ユーザに提供するメニュー機能を区別することができ、１度に表示する実行メニュー数を最低限に省略することができる。さらに、電子ペン１ごとに記入ユーザを特定し、あらかじめ用意されたユーザの利き手情報を参照することで、ユーザの持つ電子ペン１の影にならない位置にメニューを表示することができ、ユーザにとって見やすい表示ができる。これにより、利便性および操作性が向上する。

［変形例］
上記の実施形態では、ボード書き込みシステム１０は、ユーザが使用する電子ペン１と、電子ペン１から記入情報等を受信して処理するコンピュータ装置２と、コンピュータ装置２のディスプレイ（表示手段）２４の表示領域２０１に表示する画像と同様の画像をスクリーン（ボード）４の表示領域４０３に映し出すプロジェクター３と、スクリーン４とから構成されていたが、図１８に示すように、スクリーン４の代わりに、ドットパターンが印刷された透明シート８をコンピュータ装置２のディスプレイ２０１に貼り付け等により重ね合わせることとしてもよい。これにより、ユーザはコンピュータ装置２のディスプレイ２０１に電子ペン１で記入することができようになる。

上記の実施形態では、ボード書き込みシステム１０による処理フローにおいて、同一の電子ペン１での連続タップ回数が３回であった場合、無条件にファイルメニュー６を表示することとしていたが、本発明の適用はこれに限られず、タップ位置の座標が同一認識範囲内であるか否かを判定し、タップ位置の座標が同一認識範囲内であった場合に、ファイルメニュー６を表示することとしてもよい。これにより、ユーザが意識的に同一認識範囲内に連続でタップしたか否かを識別することができる。

上記の実施形態では、ボード書き込みシステム１０による処理フローにおいて、タップ回数を判定した後に、タップ位置の座標が同一認識範囲内であるか否かを判定していたが、本発明の適用はこれに限られず、タップ位置の座標が同一認識範囲内であるか否かを判定した後に、タップ回数を判定することとしてもよい。これによっても、上記の実施形態と同様の効果を得ることができる。

上記の実施形態では、ボード書き込みシステム１０による処理フローにおいて、コンピュータ装置２は、タップもストロークの一種として処理していたが、本発明の適用はこれに限られず、タップとストロークとを定義付けて区別し、最初にストロークであるかタップであるかを判定し、タップの場合のみ、ステップＳ２０３〜２０９の処理を行うこととしてもよい。これにより、処理の速度を早くすることができる。また、処理手段２６は、タップを表示手段２４に表示させないようにしてもよい。

また、上記実施形態では、表示形態４において、記入変換メニュー４によって処理する対象を、２つのタップによって規定される長方形領域内のものとしたが、３つ以上のタップ位置を頂点とする多角形領域内に含まれる記入内容を、処理対象とするようにしてもよい。

１…電子ペン
２…コンピュータ装置
３…プロジェクター
４…スクリーン（ボード）
５…線種メニュー
６…ファイルメニュー
７…記入変換メニュー
８…透明シート
２１…入力手段
２２…受信手段
２３…送信手段
２４…表示手段
２５…記憶手段
２６…処理手段

Claims (6)

1. 電子ペンから電子ペン識別情報を含む記入情報を受信して当該記入情報を処理するコンピュータ装置であって、
   記入情報を受信する受信手段と、
   記入情報を記憶する記憶手段と、
   前記受信手段により受信した記入情報からストロークを表示する領域内に連続してタップを認識したときに、前記記憶手段を参照して、当該タップで規定される領域内に、電子ペン識別情報により特定される当該タップに用いられた前記電子ペンで記入されて得られた記入情報に基づいて表示したストロークに、所定の処理を施すための処理を行う処理手段と、
   を備えることを特徴とするコンピュータ装置。
2. 電子ペンから電子ペン識別情報を含む記入情報を受信して当該記入情報を処理するコンピュータ装置であって、
   記入情報を受信する受信手段と、
   記入情報を記憶する記憶手段と、
   前記受信手段により受信した記入情報からストロークを表示する領域内に連続してタップを認識したときに、前記記憶手段を参照して、当該タップで規定される領域内に、電子ペン識別情報により特定される当該タップに用いられた前記電子ペンで記入されて得られた記入情報に基づいて表示したストロークを、文字認識してテキスト変換表示させるための選択ボタン、移動させるための選択ボタン、または削除するための選択ボタンを含む記入変換メニューを表示手段に表示させる処理手段と、
   を備えることを特徴とするコンピュータ装置。
3. 前記電子ペンは、コード化パターンを読み取り座標情報を演算して記入情報を生成するものであり、
   さらに、前記電子ペンの識別情報に対応して、ユーザの利き手情報を記憶する利き手情報記憶手段を備え、
   前記処理手段は、前記利き手情報記憶手段に記憶された利き手情報に基づき、タップ位置に対して前記記入変換メニューを表示する位置を決定して、前記記入変換メニューを表示手段に表示させることを特徴とする請求項２に記載のコンピュータ装置。
4. 表示手段に、前記電子ペンによって読み取られるコード化パターンが形成された透明シートが重ねられていることを特徴とする請求項１〜３のうちいずれか一項に記載のコンピュータ装置。
5. 請求項１〜３のうちいずれか一項に記載のコンピュータ装置と、
   前記コンピュータ装置の表示手段に表示する映像と同じ映像をスクリーンに投影するための映像信号を、前記コンピュータ装置から受信するプロジェクターと、
   前記プロジェクターにより映像を投影されるスクリーンと、を備え、
   前記スクリーンには、前記電子ペンによって読み取られるコード化パターンが形成されていることを特徴とするボード書き込みシステム。
6. 請求項１〜５のうちいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。

Images