JP6048165B2 - コンピュータ装置、電子ペンシステム、及びプログラム - Google Patents

Description

本発明は、電子ペンによって記入された手書きストロークを処理する技術分野に関する。

従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１には、アノトペンが、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信することが記載されている。また、特許文献２には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。

その他にも、本発明に関連する技術が、例えば特許文献３及び４に記載されている。特許文献３には、ファックスで送られた文書やデジタルコピー機で複写された文書に対して、コンピュータのディスプレイ上でスタイラスを用いて自由軌跡により文字群を囲むことにより、その文字群をオブジェクト化することが記載されている。特許文献４には、複数のユーザが磁気式電子ペンで記入した文字群をＰＣ上でオブジェクトとして付箋紙状に表示し、ブレーンストーミングなどに利用することが記載されている。

特許第３８７２４９８号公報 特表２００３−５２９８５３号公報 特許第４３０１８４２公報 特開２０１２−２０８５９３号公報

ところで、ドットパターンが形成された用紙に電子ペンで記入された手書きストロークをオブジェクト化して整理することができれば便宜である。そこで、本発明は、電子ペンで用紙に記入された手書きストロークを、電子ペンを用いて適切にオブジェクト化することが可能なコンピュータ装置などを提供することを主な目的とする。

本発明の１つの観点では、電子ペンが用紙に形成されたコード化パターンを読み取って生成した記入情報を処理するコンピュータ装置は、前記電子ペンで前記用紙に記入された第１手書きストロークの中で、前記電子ペンで前記用紙に更に記入された第２手書きストロークによって囲まれた手書きストロークを、オブジェクト化するオブジェクト化手段と、前記オブジェクト化手段によってオブジェクト化された手書きストロークを示すオブジェクト画像を表示させる表示制御手段と、を備え、前記表示制御手段は、前記第１手書きストロークを描画すると共に、当該第１手書きストロークを描画した画面に、前記オブジェクト化手段に前記オブジェクト化を行わせるためのボタンを表示させ、前記オブジェクト化手段は、前記ボタンが選択された場合に、前記オブジェクト化を行う。

上記のコンピュータ装置によれば、電子ペンで用紙に記入された第１手書きストロークの中で、電子ペンで用紙に更に記入された第２手書きストロークによって囲まれた手書きストロークをオブジェクト化する。これにより、用紙に記入された第１手書きストロークを適切に整理することができる。なお、「オブジェクト化」とは、１以上の手書きストロークを一まとまりの固まりのデータとして扱うこと、言い換えると１以上の手書きストロークをグループ化することを意味する。また、コンピュータ装置は、オブジェクト化手段によってオブジェクト化された手書きストロークを示すオブジェクト画像を表示させる。ユーザは、このようなオブジェクト画像が表示された画面を用いて、第１手書きストロークの整理を行うことができる。さらに、表示制御手段は、前記第１手書きストロークを描画すると共に、当該第１手書きストロークを描画した画面に、オブジェクト化手段に前記オブジェクト化を行わせるためのボタンを表示させ、オブジェクト化手段は、前記ボタンが選択された場合に、前記オブジェクト化を行う。これにより、最初に第１手書きストロークを描画した画面を表示しておき、ボタンの選択をトリガとして、オブジェクト化手段にオブジェクト化を行わせることができる。

上記のコンピュータ装置の他の一態様では、前記表示制御手段は、前記オブジェクト画像を表示した画面上でユーザによってなされた操作に応じて、前記オブジェクト画像の表示位置を移動させると良い。これにより、画面上でオブジェクト画像を適切に整理することができる。

上記のコンピュータ装置の他の一態様では、前記表示制御手段は、前記オブジェクト画像を表示した画面上で記入された手書きストロークを描画しても良い。これにより、整理する上で有用な文字や線などを表示させることができる。

上記のコンピュータ装置の他の一態様では、前記表示制御手段は、前記ボタンが選択された際に、前記第１手書きストロークを描画した画面を一旦クリアし、その後に、前記オブジェクト化手段によってオブジェクト化された手書きストロークを示すオブジェクト画像を表示させると良い。こうして、第１手書きストロークを表示した画面からオブジェクト画像を表示した画面へと切り替えることができる。

上記のコンピュータ装置において好適には、前記表示制御手段は、複数のユーザによって記入された前記第１手書きストロークのそれぞれを、表示エリアを分割した複数のエリアに別々に描画すると良い。

本発明の他の観点では、電子ペンシステムは、上記コンピュータ装置と、コード化パターンが形成された用紙と、前記コード化パターンを読み取って、記入情報を生成する電子ペンと、を備えていると良い。

本発明の更に他の観点では、プログラムは、上記コンピュータ装置として機能させる。当該プログラムを実行することにより、上記のコンピュータ装置を実現することができる。

本発明によれば、電子ペンで用紙に記入された手書きストロークを、電子ペンを用いてオブジェクト化して整理することができる。

本実施形態に係る電子ペンシステムのシステム構成図である。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）はドットパターンを模式的に示し、（ｂ）はそれに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 手書きストローク描画画面の一例を示す。 （ａ）は手書きストローク描画画面の一例を示し、（ｂ）は整理ボタンが選択された場合に表示される画面の一例を示す。 整理画面の一例を示す。 整理画面の他の例を示す。 変形例１に係るディスプレイの構成を示す。

以下、図面を参照しながら、本発明の実施の形態について説明する。

［電子ペンシステムの構成］
図１は、本実施形態に係る電子ペンシステム１０のシステム構成図である。図１に示すように、電子ペンシステム１０は、複数のユーザによって使用される電子ペン１Ａ、１Ｂ、…（１）と、複数のユーザに配布される用紙２Ａ、２Ｂ、…（２）と、電子ペン１によって生成された記入情報を処理するコンピュータ装置４とを有する。

電子ペン１は、アノトペンなどを利用することができ、ドットパターン（コード化パターン）を読み取って記入情報を生成する。電子ペン１は、生成した記入情報を、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信方式でコンピュータ装置４に送信する。

用紙２は、その表面に電子ペン１により読み取り可能なドットパターン（コード化パターン）が形成されている。ドットパターンは、赤外線を吸収するカーボンを含んだインクにより印刷される。なお、用紙２は各ユーザに配布するために複数枚用意するが、複数枚の用紙２に互いにユニークな（異なる座標範囲の）ドットパターンを印刷しても良いし、電子ペン１が送信するペンＩＤによってユーザが識別できるため、各用紙２に同じ座標範囲のドットパターンを印刷しても良い。

コンピュータ装置４は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイなどを有し、電子ペン１から記入情報等を受信して種々の処理を行う。例えば、コンピュータ装置４は、電子ペン１で用紙２に記入された手書きストロークを描画した画像を、ディスプレイに表示させる処理を行う。また、コンピュータ装置４は、静電容量方式のタッチパネルなどを有するタブレットＰＣで構成される。なお、本実施形態においてコンピュータ装置４が行う処理の詳細は後述する。

上記したような電子ペンシステム１０は、学校でのグループディスカッションや企業内でのブレーンストーミングなどで利用される。例えば、複数のグループに分かれて、グループごとに電子ペン１で用紙２に解答や意見などを記入するような利用態様が挙げられる。

［ドットパターン］
次に、図２及び図３を参照しながら、用紙２に印刷されたアノト方式のドットパターン（コード化パターン）について説明する。図２は、用紙２に印刷されたドットパターンのドットと、そのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組み合わせにより、用紙２上の位置座標が決定されるように構成されている。

図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、用紙２上のどの部分から６×６ドットを取っても、ユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンが用紙２上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて、対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１、及びバッテリー１１２を備える。

インクカートリッジ１０４の先端はペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３を用紙２に当接させて、用紙２に手書きストロークを記入したり、電子ペン１のペン先部１０３を用紙２に当接させて、タップ（ペン先部１０３による軽叩）したりする。インクカートリッジ１０４のインクは、赤外線を吸収する材料（例えばカーボン）を含まないようにする。ここで、電子ペン１のペン先部１０３が用紙２に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。インクカートリッジ１０４のインクは、赤外線を吸収する材料を含まないので、プロセッサ１０３によるドットパターンの読取りを阻害しない。

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１により用紙２に手書きストロークを記入したりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１により用紙２に手書きストロークを記入したりタップしたりすると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報ＰＤと、後述するペンＩＤとを関連付けて、記入情報としてコンピュータ装置４へ送信する。また、ユーザが１つの手書きストロークを記入し終えて電子ペン１を用紙２から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報としてコンピュータ装置４へ送信する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、用紙２上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３が用紙２に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、用紙２に文字や枠線などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。

プロセッサ１０８は、ユーザによる記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入する手書きストローク（筆跡）の用紙２上におけるＸ、Ｙ座標（以後、単に「位置座標」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際、その機能を発揮させる。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、用紙２における６×６のドットパターンは、用紙２内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置が用紙２のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、各電子ペン１Ａ〜１Ｄを識別するためのそれぞれのペンＩＤ（例えばｐｅｎ０１〜ｐｅｎ０４）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置４へ送信する。通信ユニット１１１によるコンピュータ装置４への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置４に送信された１個又は複数個の座標属性情報は、コンピュータ装置４により手書きストローク情報として記憶される。換言すると、１つの手書きストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、コンピュータ装置４は、ペンダウン情報及びペンアップ情報によって、１つの手書きストロークを構成する１個又は複数個の座標属性情報を認識する。

［コンピュータ装置］
次に、コンピュータ装置４について説明する。コンピュータ装置４は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ等で構成される。図５は、コンピュータ装置４の機能ブロック図である。コンピュータ装置４は、機能的には、入力手段４１、受信手段４２、処理手段４４、記憶手段４５、表示手段４６、を備える。

受信手段４２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段４４に伝送する。入力手段４１は、表示手段２６の表示画面上に設けられたタッチパネルから構成されている。なお、タッチパネル以外にも、マウスやキーボードなどを入力手段４１として用いても良い。表示手段４６は、ディスプレイ等によって構成され、処理手段４４によって指示された内容を表示する。そして、タッチパネルとディスプレイとにより、タッチパネルディスプレイを構成している。

記憶手段４５は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段４５は、用紙２に割り当てられたドットパターンの座標範囲に関する座標定義情報を記憶している。ドットパターンの座標範囲は、矩形の角の位置座標（Ｘｎ，Ｙｎ）、高さ（Ｈ）、幅（Ｗ）によって規定される。このような記憶手段４５に記憶された座標定義情報は、処理手段４４が、受信手段４２によって受信された記入情報に基づいて、電子ペン１で用紙２に記入された手書きストロークを描画する際に参照される。また、記憶手段４５は、処理手段４４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶し、さらに、処理手段４４の指示により、記憶領域を確保して、ペンダウンからペンアップまでの記入情報に含まれる座標属性情報を手書きストローク情報として記憶する。上記以外にも、記憶手段４５は、処理手段４４の指示により、プログラムの実行により生成される各種情報を記憶する。

処理手段４４は、ＣＰＵ等のプロセッサによって構成され、コンピュータ装置４の全体の制御を行う。具体的には、処理手段４４は、表示制御手段４４１及びオブジェクト化手段４４２を有する。

表示制御手段４４１は、受信手段４２によって受信された記入情報に基づいて、ユーザによって電子ペン１で用紙２に記入された手書きストローク（第１手書きストローク）を描画する。第１手書きストロークは、例えば解答や意見などを記入した文字や図などに対応する。以下では、第１手書きストロークを描画した画像を「手書きストローク画像」と呼び、手書きストローク画像を表示した画面を「手書きストローク描画画面」と呼ぶ。また、表示制御手段４４１は、複数のユーザによって記入された第１手書きストロークを描画した手書きストローク画像のそれぞれを、手書きストローク描画画面における表示エリアを分割した複数のエリアに別々に表示させる。更に、表示制御手段４４１は、手書きストローク描画画面内に、第１手書きストロークをオブジェクト化して整理するための整理ボタンを表示させる。

オブジェクト化手段４４２は、整理ボタンが選択された場合に、その後に受信手段４２によって受信された記入情報に基づいて、第１手書きストロークをオブジェクト化する。具体的には、オブジェクト化手段４４２は、既に用紙２に記入された第１手書きストロークの中で、整理ボタンが選択された後に電子ペン１で用紙２に記入された手書きストローク（第２手書きストローク）によって囲まれた手書きストロークを、オブジェクト化する。第２手書きストロークは、第１手書きストロークを囲むために記入された丸などに対応する。この場合、オブジェクト化手段４４２は、第２手書きストロークによって囲まれた１以上の手書きストロークを一まとまりの固まりのデータとして扱う。言い換えると、オブジェクト化手段４４２は、第２手書きストロークによって囲まれた１以上の手書きストロークをグループ化する。

他方で、表示制御手段４４１は、整理ボタンが選択された際に手書きストローク描画画面を一旦クリアし、その後に、上記のようにオブジェクト化手段４４２によってオブジェクト化された手書きストロークを示す画像（オブジェクト画像）を表示させる。以下では、オブジェクト画像を表示した画面を「整理画面」と呼ぶ。また、表示制御手段４４１は、整理画面上でユーザによってなされた操作（例えばディスプレイをタッチしたまま指を移動させるような操作など）に応じて、オブジェクト画像の表示位置を移動させる。更に、表示制御手段４４１は、整理画面上でユーザによって記入された手書きストローク（例えばディスプレイ上でスタイラスにより記入された文字や線など）を更に描画する。

［表示画面例］
次に、図６乃至図９を参照して、本実施形態における表示画面の具体例について説明する。

図６は、手書きストローク描画画面の一例を示している。ここでは、電子ペン１Ａ〜１Ｄのそれぞれによって用紙２Ａ〜２Ｄに第１手書きストロークＳｔ１ａ〜Ｓｔ１ｄ（Ｓｔ１）が記入された場合に、コンピュータ装置４の表示手段４６に表示される手書きストローク描画画面Ｇ１を例示している。なお、図６では、説明の便宜上、簡略化した図形にて第１手書きストロークＳｔ１を示している（図７（Ａ）も同様）。

コンピュータ装置４の処理手段４４内の表示制御手段４４１は、受信手段４２によって受信された記入情報に基づいて、手書きストローク描画画面Ｇ１内に、電子ペン１Ａ〜１Ｄのそれぞれによって用紙２Ａ〜２Ｄに記入された第１手書きストロークＳｔ１ａ〜Ｓｔ１ｄを描画した手書きストローク画像Ｇ１１ａ〜Ｇ１１ｄ（Ｇ１１）を表示させる。具体的には、表示制御手段４４１は、表示エリア（手書きストローク描画画面Ｇ１において手書きストローク画像Ｇ１１を表示させるためのエリア）を分割したエリアＡｒ１ａ〜Ａｒ１ｄ（Ａｒ１）のそれぞれに、手書きストローク画像Ｇ１１ａ〜Ｇ１１ｄを表示させる。この場合、表示制御手段４４１は、電子ペン１Ａ〜１Ｄのそれぞれから受信された記入情報を当該記入情報に含まれるペンＩＤなどに基づいて区別することで、手書きストローク画像Ｇ１１ａ〜Ｇ１１ｄのそれぞれをエリアＡｒ１ａ〜Ａｒ１ｄの中の該当する一のエリア内に表示させる。なお、エリアＡｒ１ａ〜Ａｒ１ｄは、境界線としての２つの線分Ｌ１によって規定されている。更に、表示制御手段４４１は、このような手書きストローク描画画面Ｇ１内に、整理ボタンＢ１を表示させる。手書きストローク描画画面Ｇ１は、整理ボタンＢ１が選択されるまで表示される。

なお、用紙２に記入された第１手書きストロークＳｔ１に対応する手書きストローク画像Ｇ１１の全体がエリアＡｒ１内で適切なサイズにて表示されるように、手書きストローク画像Ｇ１１を拡大又は縮小させて表示させると良い。具体的には、ストローク数が多い場合には、手書きストローク画像Ｇ１１の全体がエリアＡｒ１内に収まって表示されるように、手書きストローク画像Ｇ１１を縮小させると良い。逆に、ストローク数が少ない場合には、手書きストローク画像Ｇ１１がエリアＡｒ１の概ね全体に渡って表示されるように、手書きストローク画像Ｇ１１を拡大させると良い。

なお、図６では、複数の手書きストローク画像Ｇ１１ａ〜Ｇ１１ｄを表示させる例を示したが、手書きストローク画像Ｇ１１ａ〜Ｇ１１ｄの中の１つの手書きストローク画像Ｇ１１のみを表示させても良い。その場合には、表示エリアを分割する必要はなく（つまりエリアＡｒ１ａ〜Ａｒ１ｄを用いる必要はない）、当該表示エリアの全体に１つの手書きストローク画像Ｇ１１を表示させれば良い。

図７は、手書きストローク描画画面Ｇ１内の整理ボタンＢ１が選択された場合に表示される画面を説明するための図を示す。図７（Ａ）は、図６に示した手書きストローク描画画面Ｇ１と同様の画面を示している。図７（Ｂ）は、図７（Ａ）に示す手書きストローク描画画面Ｇ１内の整理ボタンＢ１が選択された場合に表示される画面Ｇ２を示している。整理ボタンＢ１が選択された場合、具体的には整理ボタンＢ１が表示されたディスプレイ上のタッチパネルの箇所がユーザによってタッチされた場合、図７（Ｂ）に示すように、表示制御手段４４１は、手書きストローク描画画面Ｇ１をクリアする。具体的には、表示制御手段４４１は、手書きストローク描画画面Ｇ１に表示された手書きストローク画像Ｇ１１や境界線Ｌ１などを消去し、白紙の画面Ｇ２を表示させる。

図８は、整理画面の一例を示している。ここでは、電子ペン１Ａによって用紙２Ａに記入された第１手書きストロークをオブジェクト化して整理する場合に、コンピュータ装置４の表示手段４６に表示される整理画面Ｇ３を例示している。

ユーザは、手書きストローク描画画面Ｇ１内の整理ボタンＢ１を選択した後（図７（Ａ）参照）、用紙２Ａに既に記入された第１手書きストロークのうちで整理に必要なものを、電子ペン１Ａで囲むように第２手書きストロークを記入する。図８では、用紙２Ａに記入された第１手書きストロークＳｔ２１、Ｓｔ２２（「発芽の条件」、「温度」といった文字群）を囲むように、電子ペン１Ａで第２手書きストロークＳｔ３１、Ｓｔ３２（「発芽の条件」、「温度」といった文字群を囲む丸）が記入された場合を例に挙げている。なお、電子ペン１Ａを用いて用紙２Ａに第２手書きストロークＳｔ３を記入するユーザは、電子ペン１Ａを用いて用紙２Ａに第１手書きストロークを記入したユーザでもよく、他のユーザであってもよい。

この場合、コンピュータ装置４の処理手段４４内のオブジェクト化手段４４２は、受信手段４２によって受信された記入情報に基づいて、第２手書きストロークＳｔ３１、Ｓｔ３２で囲まれた第１手書きストロークＳｔ２１、Ｓｔ２２をオブジェクト化する。具体的には、まず、オブジェクト化手段４４２は、第２手書きストロークＳｔ３１、Ｓｔ３２で囲まれた用紙２Ａ上の範囲（座標範囲）を求めて、用紙２Ａに記入された第１手書きストロークにおいて当該範囲に含まれる第１手書きストロークＳｔ２１、Ｓｔ２２を特定する。そして、オブジェクト化手段４４２は、特定した第１手書きストロークＳｔ２１、Ｓｔ２２（複数のストロークから成るデータ）を一まとまりの固まりのデータとして扱う、言い換えるとグループ化する。

一方で、処理手段４４内の表示制御手段４４１は、上記のようにしてオブジェクト化手段４４２によってオブジェクト化された第１手書きストロークＳｔ２１、Ｓｔ２２に対応するオブジェクト画像Ｇ３１、Ｇ３２を、整理画面Ｇ３に表示させる。表示制御手段４４１は、図７（Ｂ）に示したような白紙の画面Ｇ２を表示した後に、オブジェクト化手段４４２によってオブジェクト化が行われた際に整理画面Ｇ３を表示させる。このような整理画面Ｇ３は、白紙の画面Ｇ２上にオブジェクト画像Ｇ３１、Ｇ３２を表示させた画面と言い換えることができる。

例えば、表示制御手段４４１は、用紙２Ａ上での第１手書きストロークＳｔ２１、Ｓｔ２２の位置に対応する整理画面Ｇ３上の位置に、オブジェクト画像Ｇ３１、Ｇ３２を表示させる。また、表示制御手段４４１は、第１手書きストロークＳｔ２１、Ｓｔ２２を二点鎖線の矩形で囲んだようなオブジェクト画像Ｇ３１、Ｇ３２を表示させる。これにより、整理画面Ｇ３内のオブジェクト画像Ｇ３１、Ｇ３２の部分を容易に把握することができ、オブジェクト画像Ｇ３１、Ｇ３２を移動させる際などに選択し易くなる。

なお、オブジェクト画像Ｇ３１、Ｇ３２を整理画面Ｇ３上の任意の位置（例えば整理画面Ｇ３の中央）に表示させても良い。また、オブジェクト画像Ｇ３１、Ｇ３２を二点鎖線の矩形で囲まずに表示させても良い。１つの例では、オブジェクト画像Ｇ３１、Ｇ３２の移動が完了するまでは二点鎖線の矩形を表示させ、オブジェクト画像Ｇ３１、Ｇ３２の移動が完了した後は二点鎖線の矩形を非表示とすることができる。

なお、図８では、電子ペン１Ａによって用紙２Ａに記入された第１手書きストロークをオブジェクト化して整理する場合に表示される整理画面Ｇ３を示したが、電子ペン１Ｂ〜１Ｄによって用紙２Ｂ〜２Ｄに記入された第１手書きストロークをオブジェクト化して整理する場合にも同様の整理画面が表示される。ここで、同じ座標範囲のドットパターンを印刷した用紙２Ａ〜２Ｄを用いる場合には、処理手段４４は、第１手書きストロークを記入情報に含まれるペンＩＤで区別することになるため、第２手書きストロークによりオブジェクト化するストロークを特定する際には、第１手書きストロークを用紙２に記入した電子ペン１と同じ電子ペン１を用いて、第２手書きストロークを記入する。各用紙２に印刷したドットパターンがユニークなものであり、処理手段４４がドットパターンの座標範囲で用紙２を区別している場合には、いずれの電子ペン１で第２手書きストロークを記入してもよい。

図９は、整理画面の他の例を示している。ここでは、用紙２に記入された第１手書きストロークを一通りオブジェクト化した後に、画面上でオブジェクト化画像を整理する場合に表示される画面例を示している。

図９に示すように、表示制御手段４４１は、整理画面Ｇ４上でユーザによってなされた操作に応じて、具体的にはオブジェクト画像Ｇ４１をドラッグするようにタッチパネルディスプレイをタッチしたまま指を移動させる操作に応じて、オブジェクト画像Ｇ４１の表示位置を移動させる。また、表示制御手段４４１は、整理画面Ｇ４上でタブレットＰＣ用のスタイラス８によって記入された手書きストロークを描画した画像Ｇ４２、Ｇ４３を表示させる。図９では、スタイラス８によって線分が記入された場合を例示している。このような表示制御手段４４１による表示制御により、オブジェクト化画像を用いた樹形図などを容易に作成することができる。

ここで、本実施形態に係る電子ペンシステム１０がグループディスカッションなどで利用される場合には、各グループごとに、電子ペン１で用紙２に第１手書きストロークを記入した後に、電子ペン１で用紙２に第２手書きストロークを更に記入することで、第１手書きストロークをオブジェクト化して整理する。こうして各グループにおいて整理することで得られたデータ（図９に示したような整理画面に対応するデータ）を、各グループのコンピュータ装置４や先生のコンピュータ装置などに送信すると良い。

［本実施形態の作用効果］
以上説明した本実施形態によれば、電子ペン１で用紙２に記入された第１手書きストロークの中で、電子ペン１で用紙２に更に記入された第２手書きストロークによって囲まれた手書きストロークを、オブジェクト化して整理することができる。これにより、最初に様々な解答や意見などを用紙２に記入した後に、ディスカッションした結果などに応じて解答や意見などを整理する際に便宜である。

［変形例］
以下では、上記した実施形態の変形例について説明する。なお、下記の変形例は、任意に組み合わせて実施形態に適用することができる。

（変形例１）
上記した実施形態では、ディスプレイ上でタブレットＰＣ用のスタイラス８によって記入された手書きストロークを描画する例を示した（図９参照）。他の例では、コンピュータ装置４のディスプレイにドットパターン形成層（ドットパターンオーバーレイヤ：ＤＯＬ）を設け、当該ディスプレイ上で電子ペン１によって記入された手書きストロークを描画しても良い。

図１０は、変形例１に係るディスプレイ４００の構成を示す。図１０に示すように、ディスプレイ４００は、多層構造を有し、上層から順に、ＤＯＬ４０１と、タッチパネル４０５と、ディスプレイパネル４０６と、を備える。

ＤＯＬ４０１は、ディスプレイ４の最上層に配置される。ＤＯＬ４０１は、ポリエチレンテレフタラートなどの透明樹脂基板である基材フィルム４０４に、電子ペン１により読み取ることができるよう赤外線を反射する素材（酸化チタン、コレステリック液晶、赤外線反射性顔料など）を含んだインクによりドットパターン（コード化パターン）４０３が印刷され、さらに透明なＥＢ硬化樹脂などの保護層４０２で保護された層構成を有している。ここで、ドットパターン４０３を、赤外線を反射する素材で印刷しているのは、ＤＯＬ４０１の下層にあるディスプレイパネル４０６から様々な色の可視光が放射されても、電子ペン１によってコントラストよくドットパターン４０３を認識させるのに、望ましいからである。

ＤＯＬ４０１の裏面には、タッチパネル４０５が接着されている。タッチパネル４０５は、ＤＯＬ４０１上での指の押下による静電容量の変化を捉えて位置を検出する静電容量方式のタッチパネルである。なお、電子ペン１のペン先部１０３は、プラスチック又はステンレスなどの素材であり、ＤＯＬ４０１上での電子ペン１の接触又は押下によっては、タッチパネル４０５の静電容量は変化しない。従って、タッチパネル４０５は、電子ペン１によるＤＯＬ４０１上での接触及び押下を検出しない。

なお、上記のようなＤＯＬ４０１が設けられたディスプレイ４００上に電子ペン１で記入された手書きストロークを描画する場合、キャリブレーションによって、ＤＯＬ４０１上での座標値と、画像が表示されるディスプレイパネル４０６（表示手段４６）の表示領域内における座標値との間で座標変換するための座標変換関数を事前に求めておく必要がある。

また、本発明が適用可能なディスプレイ４００の構成は、図１０の構成に限定されない。これに代えて、ディスプレイ４００は、ドットパターン４０３と基材フィルム４０４との間、あるいは基材フィルム４０４とタッチパネル４０５との間に赤外線反射層が設けられ、さらにドットパターン４０３が赤外線を吸収するカーボンを含んだインクにより印刷される構成であってもよい。

（変形例２）
上記した実施形態では、本発明をタブレットＰＣに適用していたが、本発明をタブレットＰＣに適用することに限定はされない。本発明は、スマートフォンやノートパソコンなどにも適用可能である。

（変形例３）
上記した実施形態では、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いていたが、アノト方式を用いることに限定はされない。

１…電子ペン
２…用紙
４…コンピュータ装置
８…スタイラス
１０…電子ペンシステム
４１…入力手段
４２…受信手段
４４…処理手段
４５…記憶手段
４６…表示手段

Claims (7)

1. 電子ペンが用紙に形成されたコード化パターンを読み取って生成した記入情報を処理するコンピュータ装置であって、
   前記電子ペンで前記用紙に記入された第１手書きストロークの中で、前記電子ペンで前記用紙に更に記入された第２手書きストロークによって囲まれた手書きストロークを、オブジェクト化するオブジェクト化手段と、
   前記オブジェクト化手段によってオブジェクト化された手書きストロークを示すオブジェクト画像を表示させる表示制御手段と、
   を備え、
   前記表示制御手段は、前記第１手書きストロークを描画すると共に、当該第１手書きストロークを描画した画面に、前記オブジェクト化手段に前記オブジェクト化を行わせるためのボタンを表示させ、
   前記オブジェクト化手段は、前記ボタンが選択された場合に、前記オブジェクト化を行うことを特徴とするコンピュータ装置。
2. 前記表示制御手段は、前記オブジェクト画像を表示した画面上でユーザによってなされた操作に応じて、前記オブジェクト画像の表示位置を移動させることを特徴とする請求項１に記載のコンピュータ装置。
3. 前記表示制御手段は、前記オブジェクト画像を表示した画面上で記入された手書きストロークを描画することを特徴とする請求項１又は２に記載のコンピュータ装置。
4. 前記表示制御手段は、前記ボタンが選択された際に、前記第１手書きストロークを描画した画面を一旦クリアし、その後に、前記オブジェクト化手段によってオブジェクト化された手書きストロークを示すオブジェクト画像を表示させることを特徴とする請求項１に記載のコンピュータ装置。
5. 前記表示制御手段は、複数のユーザによって記入された前記第１手書きストロークのそれぞれを、表示エリアを分割した複数のエリアに別々に描画することを特徴とする請求項１又は４に記載のコンピュータ装置。
6. 請求項１乃至５のいずれか一項に記載のコンピュータ装置と、
   コード化パターンが形成された用紙と、
   前記コード化パターンを読み取って、記入情報を生成する電子ペンと、
   を備えることを特徴とする電子ペンシステム。
7. 請求項１乃至５のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。

Images