JP4544482B1 - 情報処理システム及びそのプログラム - Google Patents

Abstract

【課題】コンピュータ装置の表示手段における表示画面上の位置座標とのキャリブレーション処理を行うに際し、精度の高い位置合わせができるようにした情報処理システム及びそのプログラムを提供する。
【解決手段】情報処理システム１０は、位置座標を示すコード化パターンが形成されたスクリーン４と、前記コード化パターンを読み取る読取手段１と、読取手段１から送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置２と、コンピュータ装置２からの画像信号を受信して、スクリーン４に画像を投影するプロジェクター３とを備える。スクリーン４にキャリブレーション用マークの画像を映し出させ、電子ペン１によるキャリブレーション用マークへの当接後におけるペンアップの位置座標を、受信手段によって受信した情報から求め、ペンアップにおける位置座標をキャリブレーション処理に用いる。
【選択図】図１

Description

本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、コード化パターンの位置座標とコンピュータ装置の表示画面の位置座標との位置合わせ（キャリブレーション）処理に関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto 社が開発した「アノトペン（Anoto pen ）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙とともに使用される。アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。ユーザが専用紙上にアノトペンで文字等を書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像し、プロセッサによって演算された連続する位置座標から、ユーザが書き込んだ文字、画像などの記入情報が認識される。そして、この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。

また、このような電子ペンと、コンピュータ、プロジェクター及びスクリーンを用いて、スクリーンに電子ペンで記入ないし走査すると、それに応じてコンピュータが所定の処理を行うとともに、コンピュータの表示画面をプロジェクターでスクリーンに投影するシステムが提案されている（例えば、特許文献２〜５）。電子ペンは、スクリーンに形成されたドットパターンを読み取り、コンピュータは、電子ペンから送信された情報に基づき、その位置座標を解析して、その位置座標に応じた処理を行うというものであり、これにより、インクのない電子ペンであっても、スクリーン上を電子ペンでなぞれば、その筆跡に応じて、プロジェクターから線が描画された画像を投影したり、画像の制御やソフトウェアを操作したりできるとされている。

また、ホワイトボードにパソコンの画面がプロジェクターによって投影され、ホワイトボードにマーカーで記入した座標を座標読取装置で超音波又は赤外線により読み取ってパソコンに送信することで、パソコンの画面上でクリックなどをすることができるシステムにおいて、最初にキャリブレーション用のポイントをプロジェクターにより投影し、マーカーでポイントを指示させることで、ホワイトボードの座標とパソコン画面の座標とをキャリブレーションすることも提案されている（特許文献６）。

また、コンピュータのディスプレイに、ドットパターンが印刷された透明シートを貼り付け、電子ペンで透明シートに手書きをすることにより、ドットパターンを電子ペンで読み取らせつつ、コンピュータに手書き入力することが提案されている（例えば、特許文献７）。さらには、コンピュータのディスプレイにおける位置座標と，そのディスプレイに貼り付けられた透明シートのドットパターンにおける位置座標とをキャリブレーションするために、ディスプレイの四隅付近のドットパターンを電子ペンで読み取らせることも提案されている（特許文献８）。

特表２００３−５１１７６１号公報 特開２００８−１５２７５５号公報 特開２００２−１４９３３１号公報 特開２００８−１５４２１１号公報 特表２００３−５０８８３１号公報 特開２００７−２３３９９９号公報 特開２００３−２５６１２２号公報 特開２００８−１６５３８４号公報

しかしながら、ドットパターンが形成されたスクリーンや透明シート上の位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標とを正確に対応付けたうえでキャリブレーション処理を実行しなければ、キャリブレーション処理後にスクリーンや透明シートに電子ペン等の読取ツールで筆記操作をしても、スクリーンないし透明シートに筆記した筆跡と、コンピュータ装置により描画処理されてスクリーンないし透明シートに映し出されたストロークとがずれてしまう。

そこで、本発明は、位置座標を示すコード化パターンが形成されたスクリーンないし透明シートの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標とのキャリブレーション処理を行うに際し、精度の高い位置合わせができるようにした情報処理システム及びそのプログラムを提供することを目的とする。

本発明に係る情報処理システムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
前記コンピュータ装置は、前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、前記スクリーンにキャリブレーション用マークの画像を映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする。

この情報処理システムによれば、電子ペンによってスクリーンに形成されたコード化パターンを読み取ると、電子ペンは、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、スクリーンに画像を投影するプロジェクターへ画像信号を送信するとともに、電子ペンからコード化パターンに関する情報を受信する。このような情報処理システムにおいて、スクリーンにキャリブレーション用マークの画像が映し出されたときに、ユーザはそのキャリブレーション用マークに電子ペンを当接させてペンアップすると、ペンアップの位置座標が求められ、当該ペンアップにおける位置座標がキャリブレーション処理に用いられる。したがって、ユーザが、キャリブレーション用マークに向けて電子ペンで当接した後に、ペン先がマーク位置からずれていたとしてもペン先を移動させて、できるだけ当該マークに一致させてからペンアップすることによって精度の高いキャリブレーション処理を行うことができる。そして、前記キャリブレーション用マークの画像を映し出させた時に、前記キャリブレーション用マークの基準点において電子ペンのペンアップを促すようにしたので、より分かりやすく、キャリブレーション用マークに対するペンアップを行うことができる。さらに、キャリブレーション用マークから同一認識範囲内に２回以上の電子ペンによるスクリーンへの当接を認識した場合、いずれか一回の電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことにより、より正確なキャリブレーション処理を行うか、誤ったキャリブレーションを回避することができる。
または、本発明に係る情報処理システムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
前記コンピュータ装置は、前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする。
この情報処理システムによれば、電子ペンによってスクリーンに形成されたコード化パターンを読み取ると、電子ペンは、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、スクリーンに画像を投影するプロジェクターへ画像信号を送信するとともに、電子ペンからコード化パターンに関する情報を受信する。このような情報処理システムにおいて、スクリーンにキャリブレーション用マークの画像が映し出されたときに、ユーザはそのキャリブレーション用マークに電子ペンを当接させてペンアップすると、ペンアップの位置座標が求められ、当該ペンアップにおける位置座標がキャリブレーション処理に用いられる。したがって、ユーザが、キャリブレーション用マークに向けて電子ペンで当接した後に、ペン先がマーク位置からずれていたとしてもペン先を移動させて、できるだけ当該マークに一致させてからペンアップすることによって精度の高いキャリブレーション処理を行うことができる。さらに、キャリブレーション用マークから同一認識範囲内に２回以上の電子ペンによるスクリーンへの当接を認識した場合、いずれか一回の電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことにより、より正確なキャリブレーション処理を行うか、誤ったキャリブレーションを回避することができる。

または、本発明に係る情報処理システムは、位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記コンピュータ装置は、前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする。

この情報処理システムによれば、電子ペンによって透明シートに形成されたコード化パターンを読み取ると、電子ペンは、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、透明シートに画像を投影するプロジェクターへ画像信号を送信するとともに、電子ペンからコード化パターンに関する情報を受信する。このような情報処理システムにおいて、前記透明シートにキャリブレーション用マークの画像が映し出されたときに、ユーザはそのキャリブレーション用マークに電子ペンを当接させてペンアップすると、ペンアップの位置座標が求められ、当該ペンアップにおける位置座標がキャリブレーション処理に用いられる。したがって、ユーザが、キャリブレーション用マークを電子ペンで当接後にペンアップすることによって精度の高いキャリブレーション処理を行うことができる。そして、前記キャリブレーション用マークの画像を映し出させた時に、前記キャリブレーション用マークの基準点において電子ペンのペンアップを促すようにしたので、より分かりやすく、キャリブレーション用マークに対するペンアップを行うことができる。さらに、キャリブレーション用マークから同一認識範囲内に２回以上の電子ペンによる透明シートへの当接を認識した場合、いずれか一回の電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことにより、より正確なキャリブレーション処理を行うか、誤ったキャリブレーションを回避することができる。
または、本発明に係る情報処理システムは、位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記コンピュータ装置は、前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする。
この情報処理システムによれば、電子ペンによって透明シートに形成されたコード化パターンを読み取ると、電子ペンは、コンピュータ装置へコード化パターンに関する情報を送信する。コンピュータ装置は、透明シートに画像を投影するプロジェクターへ画像信号を送信するとともに、電子ペンからコード化パターンに関する情報を受信する。このような情報処理システムにおいて、前記透明シートにキャリブレーション用マークの画像が映し出されたときに、ユーザはそのキャリブレーション用マークに電子ペンを当接させてペンアップすると、ペンアップの位置座標が求められ、当該ペンアップにおける位置座標がキャリブレーション処理に用いられる。したがって、ユーザが、キャリブレーション用マークを電子ペンで当接後にペンアップすることによって精度の高いキャリブレーション処理を行うことができる。さらに、キャリブレーション用マークから同一認識範囲内に２回以上の電子ペンによる透明シートへの当接を認識した場合、いずれか一回の電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことにより、より正確なキャリブレーション処理を行うか、誤ったキャリブレーションを回避することができる。

また、上記情報処理システムにおいて、前記処理手段は、前記キャリブレーション用マークから所定範囲内に２回以上の前記電子ペンによる前記当接を認識した場合は、新しく取得された前記電子ペンによる当接のペンアップの位置座標をキャリブレーション処理に用いるよう構成するとよい。この構成により、新しく取得された位置座標を用いてより正確にキャリブレーション処理を行うことができる。

さらに、上記情報処理システムにおいて、前記電子ペンは、ペンダウンからペンアップまでの間、所定間隔でコード化パターンを読み取って、各読取毎にコード化パターンに関する情報を送信するものであり、前記処理手段は、電子ペンから送信されたコード化パターンに関する情報の中から、ペンアップの位置座標を求めるよう構成するとよい。
また、上記情報処理システムにおいて、前記処理手段は、キャリブレーション処理による座標変換関数が定義されていない場合か、キャリブレーション処理の指示を認識した場合に、キャリブレーション処理を開始するよう構成するとよい。

また、本発明に係るプログラムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とする。
または、本発明に係るプログラムは、位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とする。

または、本発明に係るプログラムは、位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とする。
または、本発明に係るプログラムは、位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とする。

上記プログラムは、前記キャリブレーション用マークから所定範囲内に２回以上の前記電子ペンによる前記当接を認識した場合は、新しく取得された前記電子ペンによる当接のペンアップの位置座標をキャリブレーション処理に用いるように構成するとよい。

さらに前記電子ペンは、ペンダウンからペンアップまでの間、所定間隔でコード化パターンを読み取って、各読取毎にコード化パターンに関する情報を送信するものであり、上記プログラムにおいて、前記処理手段は、電子ペンから送信されたコード化パターンに関する情報の中から、ペンアップの位置座標を求めるよう構成するとよい。
また、上記プログラムにおいて、前記処理手段は、キャリブレーション処理による座標変換関数が定義されていない場合か、キャリブレーション処理の指示を認識した場合に、キャリブレーション処理を開始するよう構成するとよい。

上記プログラムをコンピュータ装置にインストールすることにより、上記のコンピュータ装置を実現し、情報処理システムを構成することができる。

本発明によれば、位置座標を示すコード化パターンが形成されたスクリーンないし透明シートの位置座標と、コンピュータ装置の表示手段における表示画面上の位置座標との間で精度の高いキャリブレーション処理を行うことができる。

第１実施形態における情報処理システムのシステム構成図である。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 コンピュータ装置の機能ブロック図である。 第１実施形態におけるキャリブレーション起動処理のフロー図である。 第１実施形態におけるキャリブレーション処理のフロー図である。 第１実施形態においてスクリーンに投影されたキャリブレーション用マークの画像を示す図である。 ペンアップの様子を示す説明図である。 コンピュータ装置の表示画面上における表示基準点の位置座標を示す図である。 スクリーン上における認識基準点の位置座標と同一認識範囲について示す図である。 キャリブレーション処理後のスクリーンにおけるストローク描画を示す図である。 第１実施形態の変形例におけるキャリブレーション処理のフロー図である。 本第２実施形態における情報処理システムのシステム構成図である。 第２実施形態において透明シートに映し出されたキャリブレーション用マークを示す画像である。

以下、図面を参照して、本発明の好適な情報処理システムについて詳細に説明する。

＜第１実施形態＞
［情報処理システムのシステム構成］
図１は、本第１実施形態における情報処理システム１０のシステム構成図である。図１に示すように、本第１実施形態における情報処理システム１０は、ユーザが使用する電子ペン１と、電子ペン１から記入情報等を受信して処理するコンピュータ装置２と、コンピュータ装置２のディスプレイ（表示手段）２６をスクリーン４に投影するプロジェクター３とから構成される。

［スクリーン］
まず、スクリーン４について説明する。スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板（ホワイトボード）４０１の前面に、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２を上からマグネットで押さえ付けたり、あるいは糊、粘着剤あるいは接着剤等で貼りつけたりしたものである。なお、マグネット板４０１の代わりに部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたプラスチック製のシートでもよく、あるいは、マグネット板（ホワイトボード）４０１にドットパターンを直接形成してもよい。ユーザが電子ペン１によってスクリーン４に文字などを書くと、電子ペン１は、ペン先部の移動軌跡に沿って、用紙４０２に印刷されたドットパターンを局所的、連続的に読み取り、スクリーン４におけるその局所位置の座標を算出し、その電子データ（記入情報）をコンピュータ装置２へ送信する。一方、プロジェクター３は、コンピュータ装置２から画像信号を受信して、表示手段２６に表示された画像と同じ画像をスクリーン４に領域４０３に投影する。

スクリーン４には、用紙４０２の外側に、キャリブレーション処理を行うための入力設定エリア（キャリブレーション指示エリア）として、ドットパターンが印刷された指示用紙５が貼り付けられている。この指示用紙５は、あらかじめスクリーン４の構成において必須なものではなく、シール等にしておき、後からユーザが任意にスクリーン４や手持ちのノート等に貼付できるようにしておいてもよい。また、用紙４０２における一部分のドットパターンの領域を、キャリブレーション処理を行うための入力設定エリアと規定してもよい。

指示用紙５が表す入力設定エリアは、スクリーン４の用紙４０２上のドットパターン（コード化パターン）で規定される位置座標と、コンピュータ装置２の表示手段２６における表示画面（ディスプレイ）上の位置座標とのキャリブレーション処理をコンピュータ装置２に実行させるためのエリアである。この入力設定エリア内にも勿論、ドットパターンが印刷されている。なお、指示用紙５は、コンピュータ装置２の表示画面内への記入（座標入力）と混同誤認しないようにするため、プロジェクター３によってスクリーン４に画像が投影される領域４０３の範囲外に設けられる。そして、ユーザが、指示用紙５を電子ペン１で指示することによって任意にキャリブレーション処理を開始させることができる。

なお、コンピュータ装置２においてキャリブレーション処理が実行されると、コンピュータ装置２の表示画面に対応する位置座標を、スクリーン４上で電子ペン１により正確に入力可能な座標入力領域４０３が定義され、その定義情報がコンピュータ装置２の記憶手段２５に記憶される。

［ドットパターン］
続いて、スクリーン４の用紙４０２や指示用紙５に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。図２は、用紙４０２に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。このドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。

図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、スクリーン４上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、用紙４０２における相対的な位置座標及びドットパターンアドレス（コード化パターンアドレス）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、電子ペン１について説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をスクリーン４の用紙４０２や指示用紙５に当接させて、文字等のストロークを記入したり、タップ（ペン先部１０３によるスクリーン４への軽叩）したりする。ここで、電子ペン１のペン先部１０３が用紙４０２等に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。なお、電子ペン１は、プロジェクター３により投影されるスクリーン４に、タップしたり文字を記入したりするのに用いるものであるので、ペン部１０４は、インクが充填されたものでなくともよい。

バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切換える。即ち、ユーザが電子ペン１でスクリーン４に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。また、ユーザが１つのストロークを記入し終えて電子ペン１をスクリーン４から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のスクリーン４上におけるＸ，Ｙ座標（単に「位置座標」、「座標データ」とも呼ぶ）とスクリーン４に固有のドットパターンアドレス（コード化パターンアドレス）とを連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。そしてプロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ、ドットパターンアドレス及びＸ，Ｙ座標データとを関連付ける。なお、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤ（電子ペン識別情報）と、時刻情報（タイムスタンプ）と、筆圧データと、ドットパターンアドレスと、Ｘ，Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置２へ送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。

［コンピュータ装置］
次に、コンピュータ装置２について説明する。コンピュータ装置２は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成されるパーソナルコンピュータ等で構成される。図５は、コンピュータ装置２の機能ブロック図である。コンピュータ装置２は、機能的には、マウスやキーボードといった入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備える。そして、コンピュータ装置２は、電子ペン１から受信した記入情報に基づいて所定の処理を行う。

受信手段２２は、アンテナや受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段２４に伝送する。送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクター３に送信するもので、プロジェクター３へのデータ送信方式は、有線式であっても無線式であってもよい。表示手段２６は、ディスプレイ等によって構成され、処理手段２４によって指示された内容を表示する。

記憶手段２５は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段２５には、スクリーン４上のドットパターン（コード化パターン）における位置座標とコンピュータ装置２の表示手段２６における表示画面上の位置座標とのキャリブレーション処理を行うためのプログラムが記憶されている。このプログラムに関して、記憶手段２５は、キャリブレーション処理の際に表示される表示基準点、認識基準点等の位置座標やキャリブレーション用マークの画像等を記憶する。さらに、記憶手段２５には、電子ペン１でスクリーン４に手書きを行うことによって生成された記入情報を処理するプログラム等も記憶されている。

処理手段２４は、ＣＰＵ等のプロセッサによって構成され、受信手段２２により電子ペン１から受信した記入情報に基づいて、表示手段２６に対して種々の形態で記入内容を表示させたり、記憶手段２５に記憶されたキャリブレーション処理を行うプログラムを起動させて、キャリブレーション処理を行ったりする。また、処理手段２４は、表示手段２６に表示させる画像と同じ画像を同期させてプロジェクター３に投影させるための画像信号を、送信手段２７に対してプロジェクター３へ送信させる。

プロジェクター３は、コンピュータ装置２の送信手段２７から受信した画像信号に基づいて、表示手段２６に表示された画像と同様の画像をスクリーン４の領域４０３に投影して映し出す。

＜キャリブレーション起動処理のフロー＞
次に、図６を参照して、情報処理システム１０におけるキャリブレーション起動処理について説明する。

図６は、キャリブレーション起動処理のフロー図である。まず、ユーザが、電子ペン１を用いて、スクリーン４の用紙４０２上に記入ないしタップを行う。すると、電子ペン１は、圧力センサ１０７によって所定値以上の筆圧が検出されたことにより用紙４０２への接触を検出し、ＬＥＤ１０５によって赤外線を照射しつつカメラ１０６によって筆跡に沿ってドットパターンを撮像し、プロセッサ１０８によって、撮像されたドットパターンの画像データから筆跡に沿った位置座標を連続的に演算し、当該位置座標、リアルタイムクロック１１０により発信された現在時刻、筆圧データ（以上、「ストローク情報」）及びペンＩＤと関連付けて、記入情報として即時且つ逐次的にコンピュータ装置２へ送信する（ステップＳ１０１）。

コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信すると、その記入情報を記憶手段２５に記憶する（ステップＳ２０１）。そして、処理手段２４は、キャリブレーション処理を行うための座標変換関数が定義されているか否かを確認する（ステップＳ２０２）。処理手段２４は、座標変換関数が定義されていないと認識した場合は（ステップＳ２０２：Ｎｏ）、キャリブレーション処理を開始する（ステップＳ２０５）。したがって、キャリブレーション処理が実行されていない状態のときに、ユーザが、電子ペン１でスクリーン４に書き込もうとすれば、キャリブレーション処理が開始される。

一方、処理手段２４は、座標変換関数が定義されていると認識した場合（ステップＳ２０２：Ｙｅｓ）、電子ペン１から送信された記入情報から、指示用紙５（入力設定エリア）が電子ペン１により指示されたか否かを判定する（ステップＳ２０３）。そして、処理手段２４は、指示用紙５（入力設定エリア）が指示されたと認識した場合（ステップＳ２０３：Ｙｅｓ）、キャリブレーション処理を開始し（ステップＳ２０５）、指示用紙５（入力設定エリア）が指示されたと認識しない場合（ステップＳ２０３：Ｎｏ）、受信した記入情報のスクリーン４上のドットパターンによる位置座標を、座標変換関数を用いて、ディスプレイ２０１上の位置座標に変換して、ストロークを描画する（ステップＳ２０４）。

＜キャリブレーション処理＞
次に、図６のステップＳ２０２において座標変換関数が定義されていないと認識した場合、あるいは、ステップＳ２０３において指示用紙５（入力設定エリア）が指示されたと認識した場合に行われるキャリブレーション処理について、図７〜図１２を参照しつつ説明する。

図７は、キャリブレーション処理のフロー図である。図８は、スクリーン４に投影されたキャリブレーション用マークを示す画像である。

処理手段２４は、キャリブレーション処理を開始すると、表示手段２６の表示画面２０１に第１キャリブレーション用マーク６０１を表示させるとともに、図８に示すように、プロジェクター３に対して、スクリーン４上に、第１キャリブレーション用マーク６０１を投影させて、ユーザに電子ペン１による第１キャリブレーション用マーク６０１の基準点（同心円の中心）でのペンアップを促す（ステップＳ３０１）。例えば、図８のように、処理手段２４は、「ペン先が的の中心に触れたところで上げてください」といった指示メッセージを表示させたり、同様の音声による指示を出力させたりする。

続いて、図９に示すように、ユーザが電子ペン１を用いて、ペンダウンした状態で第１キャリブレーション用マーク６０１が投影された位置（同心円の中心）までペン先を移動させてからペンアップする。すると、電子ペン１は、ストローク情報を生成し、ペンＩＤと関連付けて、記入情報としてコンピュータ装置２へ送信する（ステップＳ４０１）。このように、電子ペン１が、記入情報をコンピュータ装置２へ送信すると、コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信し、その記入情報を記憶手段２５に記憶する（ステップＳ３０２）。処理手段２４は、電子ペン１より記入情報を受信手段２２によって受信すると、記入情報のうち、ペンアップの位置座標を抽出して、第１キャリブレーション用マーク６０１が投影された位置宛てに指示された用紙４０２上の第１認識基準点として、記憶手段２５に記憶する（ステップＳ３０３）。

さらに、処理手段２４は、表示手段２６の表示画面２０１に第２キャリブレーション用マーク６０２を表示させるとともに、プロジェクター３に対して、スクリーン４上に、第２キャリブレーション用マーク６０２を投影させて（図８参照）、ユーザに電子ペン１による第２キャリブレーション用マーク６０２が投影された位置でのペンタッチとそれに続くペンアップを促す（ステップＳ３０４）。

続いて、ユーザが電子ペン１を用いて、図９に示したのと同様に、第２キャリブレーション用マーク６０２が投影された位置（同心円の中心）にペン先が当接した後でペンアップすると、電子ペン１は、ストローク情報を生成し、ペンＩＤと関連付けて、記入情報としてコンピュータ装置２へ送信する（ステップＳ４０２）。このように、電子ペン１が、記入情報をコンピュータ装置２へ送信すると、コンピュータ装置２では、受信手段２２が、電子ペン１から記入情報（ストローク情報及びペンＩＤ）を受信し、その記入情報を記憶手段２５に記憶する（ステップＳ３０５）。

処理手段２４は、受信した記入情報からペンアップの位置座標を抽出し、そのペンアップの位置座標が第１認識基準点の同一認識範囲外にあるか否かを判定する（ステップＳ３０６）。ここで、同一認識範囲というのは、ユーザが意識せずに同じキャリブレーション用マークを二回以上ペンタッチしてしまったと認識できる範囲であり、スクリーン４の大きさなどに応じて、用紙４０２上に印刷されたドットパターン座標上の数値範囲（例えば数ｃｍ）を設定するとよい。そして、処理手段２４が、ペンアップの位置座標は第１認識基準点の同一認識範囲内にあると判定した場合（ステップＳ３０６：Ｎｏ）、そのペンアップの位置座標は第２認識基準点として採用することができないため、処理フローを終了するが、ペンアップの位置座標が第１認識基準点の同一認識範囲外にあると判定した場合（ステップＳ３０６：Ｙｅｓ）、処理手段２４は、そのペンアップの位置座標を、第２キャリブレーション用マーク６０２が投影された位置宛てに指示された用紙４０２上の第２認識基準点として、記憶手段２５に記憶する（ステップＳ３０７）。

そして、処理手段２４は、ドットパターンの演算による用紙４０２上の第１，第２認識基準点の座標値（投影された第１，第２キャリブレーション用マーク６０１，６０２の同心円の中心点における座標値）と、表示手段２６の表示画面２０１上における第１，第２キャリブレーション用マーク６０１，６０２の同心円の中心点である第１，第２表示基準点における座標値）とに基づいて、用紙４０２上の位置座標から、コンピュータ装置２における表示画面２０１上の位置座標を演算するための座標変換関数を求めて定義し、記憶手段２５に記憶する（ステップＳ３０８）。それとともに、処理手段２４は、キャリブレーション処理の結果、電子ペン１によりスクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能な座標入力領域４０３を確定し、その座標領域を定義して、記憶手段２５に記憶する。

ここで、キャリブレーション用の演算式の求め方について、図１０及び図１１を参照して説明する。

図１０は、コンピュータ装置２の表示画面２０１上における第１，第２表示基準点の位置座標を示す図である。図１０に示すように、コンピュータ装置２の表示手段（ディスプレイ）２６の表示画面２０１において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
左上端点：座標２０２（Xamin ，Yamin ）、
右下端点：座標２０３（Xamax ，Yamax ）、
第１表示基準点：座標２０４（Xa1 ，Ya1 ）、
第２表示基準点：座標２０５（Xa2 ，Ya2 ）、
ただし、Xamin ≦ Xa1＜ Xa2≦ Xamax、
Yamin ≦ Ya1＜ Ya2≦ Yamax、

図１１は、スクリーン４の用紙４０２上における第１，第２認識基準点の位置座標を示す図である。第１，第２認識基準点は、コンピュータ装置２の表示画面２０１上における第１，第２表示基準点がスクリーン４に投影され、電子ペン１によって指示されたドットパターン（コード化パターン）の解析に基づく位置座標である。図１１に示すように、プロジェクター３によってスクリーン４に投影される座標入力領域４０３において、Ｘ軸を右方向、Ｙ軸を下方向にとり、以下の座標を次のようにする。
左上端点：座標４０４（Xb0 ，Yb0 ）、
座標入力領域４０３の左上端点：座標４０５（Xbmin ，Ybmin ）、
座標入力領域４０３の右下端点：座標４０６（Xbmax ，Ybmax ）、
第１認識基準点：座標４０７（Xb1 ，Yb1 ）、
第２認識基準点：座標４０８（Xb2 ，Yb2 ）、
ただし、Xb0 ≦ Xbmin＜ Xｂ1 ＜ Xｂ2 ≦ Xbmax、
Yb0 ≦ Ybmin＜ Yｂ1 ＜ Yｂ2 ≦ Ybmax、

すると、コンピュータ装置２の表示領域２０１における第１表示基準点の座標２０４（Xa1 ，Ya1 ）及び第２表示基準点の座標２０５（Xa2 ，Ya2 ）が、スクリーン４の用紙４０２上のドットパターンにおける第１認識基準点の座標４０７（Xb1 ，Yb1 ）及び第２認識基準点の座標４０８（Xb2 ，Yb2 ）にそれぞれ対応する。そして、スクリーン４に投影される座標入力領域４０３を規定する左上端点座標４０５（Xbmin ，Ybmin ）及び右下端点座標４０６（Xbmax ，Ybmax ）（長方形状の座標入力領域４０３における対角の各頂点）は次の数式で表すことができる。

［数式１] Xbmin＝ Xb1−（Xa1 − Xamin）×（Xb2 − Xb1）／（Xa2 − Xa1）
［数式２] Ybmin＝ Yb1−（Ya1 − Yamin）×（Yb2 − Yb1）／（Ya2 − Ya1）

［数式３] Xbmax＝ Xb2＋（Xamax − Xa2）×（Xb2 − Xb1）／（Xa2 − Xa1）
［数式４] Ybmax＝ Yb2＋（Yamax − Ya2）×（Yb2 − Yb1）／（Ya2 − Ya1）

この座標値を対頂角点とする長方形状の領域から、図６のステップＳ２０４における座標入力領域４０３を規定することができる。

そして、スクリーン４の用紙４０２上のドットパターンで規定される位置座標（Xbn ，Ybn ）から、コンピュータ装置２の表示手段２６における表示画面２０１上の位置座標（Xan ，Yan ）は、次の式で求めることができる。

［数式５] Xan＝ Xamin＋[ Xbn −(Xbmin−Xb0 ）] ×（Xa2 − Xa1）／（Xb2 −Xb1)
［数式６] Yan＝ Yamin＋[ Ybn −(Ybmin−Yb0 ）] ×（Ya2 − Ya1）／（Yb2 −Yb1)

よって、処理手段２４は、上式により、スクリーン４上の位置座標（Xbn ，Ybn ）を、コンピュータ装置２の表示画面２０１上の位置座標（Xan ，Yan ）に変換して、各種処理を行っていく。なお、スクリーン４に対するプロジェクター３の角度によって、演算式の項に歪みを補正する所定の係数をかけるようにしてもよい。

キャリブレーション処理後、スクリーン４上で位置座標が表示画面２０１に対応して正確に入力可能であるとして定義された座標入力領域４０３内において、ユーザが、電子ペン１を用いて文字等を書き込む。すると、電子ペン１は、筆跡のストロークに応じたストローク情報を生成し、ペンＩＤと対応付けた記入情報をコンピュータ装置２へ送信する（ステップＳ１０１）。コンピュータ装置２では、受信手段２２によって記入情報を受信すると、処理手段２４は、その記入情報を記憶手段２５に記憶し（ステップＳ２０１）、座標変換関数が定義されていると判断し（ステップＳ２０２：Ｙｅｓ）、受信した記入情報は、指示用紙５（入力設定エリア）内の情報ではないと判断する（ステップＳ２０３：Ｎｏ）。さらに、処理手段２４は、取得された記入情報のストローク情報に含まれる位置座標（Xbn ，Ybn ）を、キャリブレーション処理によって得られた座標変換関数を用い、コンピュータ装置２の表示画面２０１上の位置座標（Xan ，Yan ）に変換して、ストロークを描画したり、各種処理を行ったりしていく。

つまり、図１２に示すように、ユーザが、スクリーン４の座標入力領域４０３内に電子ペン１で文字等を記入すると、コンピュータ装置２は、筆跡に応じたストロークの線分を描画し、スクリーン４上の筆跡とずれることなく、ストロークの線分をプロジェクター３によって投影させる。また、キャリブレーション処理によって、スクリーン４上の位置座標とコンピュータ装置２の表示手段２６における表示画面２０１上の位置座標とが座標変換関数による座標変換によりキャリブレーションされているため、スクリーン４の座標入力領域４０３内に投影されたメニューやアイコンを電子ペン１で選択することにより、アプリケーションを操作したり起動させたりすることも可能となる。

＜本第１実施形態の作用効果＞
本第１実施形態における情報処理システム１０においては、処理手段２４によってキャリブレーション処理を実行する際、電子ペン１をペンアップした座標を基準として認識することで、より精度の高い座標入力面と座標表示面との相対位置座標の定義（座標変換関数の定義）が実現できる。また、キャリブレーション処理を実行する際に基準点として取得する座標が、すでに基準点として記憶されている座標の同一認識範囲内の座標に含まれるか否かを判定することによって、ユーザの連続的な筆記操作による誤設定を防止したり、再設定がすぐに実施できたりし、利便性が向上する。

〔変形例〕
なお、上記第１実施形態は次のように構成してもよい。

上記第１実施形態では、ステップＳ３０６において、処理手段２４が、ペンアップの位置座標が第１認識基準点の同一認識範囲７内（図１１参照、ここでは第１認識基準点を中心点とする所定半径の円内）にあると判定した場合、キャリブレーション処理を終了するようにしたが、図１３に示すように、コンピュータ装置２は第１キャリブレーション用マーク６０１に対する再設定を行ったと判断して（ステップＳ３０６：Ｎｏ）、新しく取得したペンアップの位置座標を第１認識基準点として更新して記憶させてもよい（ステップＳ３０９）。コンピュータ装置２は、ステップＳ３０６にて同一範囲内の座標を取得したか否かを判定することで、第２認識基準点の指定時に、電子ペン１を連続的にスクリーンへ当接させる筆記誤動作をした場合でも、取得されたペンアップの位置座標を第１認識基準点の再設定の座標と判断して、第１認識基準点の座標として更新して記憶することができるからである。そして、ステップＳ３０９からステップＳ３０４に戻れば、続けて、第２キャリブレーション用マークを表示して（ステップＳ３０４）、第２認識基準点を得ることができる（ステップＳ３０７）。

なお、第１認識基準点の同一認識範囲に対して、電子ペン１によるペンタッチが複数回行われた場合に、上記変形例の他、いずれか一つのペンタッチのペンアップにおける位置座標を第１認識基準点として採用するようにしてもよい。

＜第２実施形態＞
次に、第２実施形態における情報処理システム１００を説明する。第２実施形態の説明では、第１実施形態と異なる構成を中心に説明する。また、第２実施形態において、第１実施形態と同じ符号を付している構成は、特に言及しないものについては、第１実施形態と同様の構成である。

図１４は、本第２実施形態における情報処理システム１００のシステム構成図である。第１実施形態においては、情報処理システム１０を、プロジェクター３を用いて構成したが、本第２実施形態では、図１４に示すように、情報処理システム１００では、電子ペン１によって読取可能なドットパターン（コード化パターン）を透明シート８に印刷し、その透明シート８をコンピュータ装置２の表示画面２０１に貼り付けている。さらに、コンピュータ装置２の操作面に、キャリブレーション処理のための入力設定エリアとして、ドットパターンが印刷された指示用紙５が貼り付けられている。この指示用紙５は、シール等にしておき、後からユーザが任意にコンピュータ装置２や手持ちのノート等に貼付できるようにしておいてもよい。また、透明シート８の一部分の領域におけるドットパターンをキャリブレーション処理のための入力設定エリアと規定してもよい。

このような構成としたとき、キャリブレーション処理を行う場合には、図１５に示すように、電子ペン１を表示画面２０１に対してストローク記入、タップ等して操作することができる。この第２実施形態において、キャリブレーション処理は第１実施形態と同様にして行われる。

この場合、赤外線を選択的に反射する特性を有するインキにより透明シート８にドットパターンを印刷し、電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定させてもよい。その閾値は、ディスプレイから透明シート８を透過してくる赤外線と、ドットによって反射される赤外線とを区別できるよう設定する。

＜本第２実施形態の作用効果＞
本第２実施形態における情報処理システム１００においても、第１実施形態における上方処理システム１０と同様の作用効果を奏するとともに、電子ペン１によって読取可能なドットパターン（コード化パターン）を印刷した透明シート８をコンピュータ装置２の表示画面２０１に貼り付けているため、ユーザがコンピュータ装置２にタップすることにより手元で操作を行うことができる。

〔変形例〕
本第２実施形態においても、第１実施形態と同様の変形的な構成を採用することができる。

また、上記第１，第２実施形態では、２点の位置座標に基づいて、キャリブレーション処理を行ったが、３点以上の位置座標に基づいて、キャリブレーション処理を行ってもよい。また、上記第１実施形態では、プロジェクター３として、フロントタイプのプロジェクターを例に挙げたが、リアプロジェクターにも適用することができる。また、ドットパターン（コード化パターン）は、アノト方式に限らなくともよい。

また、上記第１，第２実施形態において、電子ペン１はインクカートリッジを有していないものとしたが、ペン部１０４をインクカートリッジとして電子ペン１で用紙４０２に直接文字等を書くことができるようにしてもよい。この場合、コンピュータ装置２では、電子ペン１で描かれたストロークを表示手段２６には表示するが、プロジェクター３では投影しないような画像信号をコンピュータ装置２からプロジェクター３へ出力するようにするとよい。また、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン１の開口部１０２付近に設けてもよい。

本情報処理システムは、学校の授業や企業での会議室、講演会、プレゼンテーションなどで利用することができる。

１…電子ペン
２…コンピュータ装置
２１…入力手段
２２…受信手段
２４…処理手段
２５…記憶手段
２６…表示手段
２７…送信手段
２０１…表示画面
２０２…表示画面の左上端点座標
２０３…表示画面の右下端点座標
２０４…第１表示基準点の座標
２０５…第２表示基準点の座標
３…プロジェクター
４…スクリーン
４０１…マグネット板（ホワイトボード）
４０２…用紙
４０３…画像投影領域・座標入力領域
４０４…左上端点座標
４０５…座標入力領域の左上端点座標
４０６…座標入力領域の右下端点座標
４０７…第１認識基準点の座標
４０８…第２認識基準点の座標
５…指示用紙（入力設定エリア）
６０１…第１キャリブレーション用マーク
６０２…第２キャリブレーション用マーク
７…同一認識範囲
８…透明シート
１０，１００…情報処理システム

Claims (14)

1. 位置座標を示すコード化パターンが形成されたスクリーンと、
   前記コード化パターンを読み取る電子ペンと、
   前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、
   前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
   前記コンピュータ装置は、
   前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、
   前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
   前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする情報処理システム。
2. 位置座標を示すコード化パターンが形成されたスクリーンと、
   前記コード化パターンを読み取る電子ペンと、
   前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、
   前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムであって、
   前記コンピュータ装置は、
   前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、
   前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
   前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする情報処理システム。
3. 位置座標を示すコード化パターンが形成された透明シートと、
   前記コード化パターンを読み取る電子ペンと、
   前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
   前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、
   前記コンピュータ装置は、
   前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、
   前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
   前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする情報処理システム。
4. 位置座標を示すコード化パターンが形成された透明シートと、
   前記コード化パターンを読み取る電子ペンと、
   前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムであって、
   前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、
   前記コンピュータ装置は、
   前記電子ペンから送信されたコード化パターンに関する情報を受信する受信手段と、
   前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いる処理手段とを備え、
   前記処理手段は、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないことを特徴とする情報処理システム。
5. 前記処理手段は、前記特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記当接を認識した場合は、新しく取得された前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いることを特徴とする請求項１〜４のうちいずれか一項に記載の情報処理システム。
6. 前記電子ペンは、ペンダウンからペンアップまでの間、所定間隔でコード化パターンを読み取って、各読取毎にコード化パターンに関する情報を送信するものであり、
   前記処理手段は、電子ペンから送信されたコード化パターンに関する情報の中から、ペンアップの位置座標を求める
   ことを特徴とする請求項１〜５のうちいずれか一項に記載の情報処理システム。
7. 前記処理手段は、キャリブレーション処理による座標変換関数が定義されていない場合か、キャリブレーション処理の指示を認識した場合に、キャリブレーション処理を開始することを特徴とする請求項１〜６のうちいずれか一項に記載の情報処理システム。
8. 位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
   前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とするプログラム。
9. 位置座標を示すコード化パターンが形成されたスクリーンと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置と、前記コンピュータ装置からの画像信号を受信して、前記スクリーンに画像を投影するプロジェクターとを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
   前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記スクリーンにキャリブレーション用マークの画像を前記プロジェクターに映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記スクリーンへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とするプログラム。
10. 位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
    前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させて前記キャリブレーション用マークの基準点における前記電子ペンのペンアップを促し、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とするプログラム。
11. 位置座標を示すコード化パターンが形成された透明シートと、前記コード化パターンを読み取る電子ペンと、前記電子ペンから送信されたコード化パターンに関する情報を受信して、当該情報に応じた処理を行うコンピュータ装置とを備える情報処理システムにおける前記コンピュータ装置により実行されるプログラムであって、
    前記透明シートは前記コンピュータ装置の表示手段の表示画面に貼付されており、前記電子ペンから送信されたコード化パターンに関する情報を受信手段により受信させるとともに、前記透明シートにキャリブレーション用マークの画像を前記表示画面から映し出させ、前記電子ペンによる前記キャリブレーション用マークへの当接後におけるペンアップの位置座標を、前記受信手段によって受信した情報から求め、当該ペンアップにおける位置座標をキャリブレーション処理に用いるものであって、特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記透明シートへの当接を認識した場合は、いずれか一回の前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いるか、キャリブレーション処理を行わないよう処理することを特徴とするプログラム。
12. 前記特定のキャリブレーション用マークから同一認識範囲内に２回以上の前記電子ペンによる前記当接を認識した場合は、新しく取得された前記電子ペンによる当接のペンアップの位置座標を、前記特定のキャリブレーション用マークに対応する位置座標としてキャリブレーション処理に用いることを特徴とする請求項８〜１１のうちいずれか一項に記載のプログラム。
13. 前記電子ペンは、ペンダウンからペンアップまでの間、所定間隔でコード化パターンを読み取って、各読取毎にコード化パターンに関する情報を送信するものであり、
    前記処理手段は、電子ペンから送信されたコード化パターンに関する情報の中から、ペンアップの位置座標を求める
    ことを特徴とする請求項８〜１２のうちいずれか一項に記載のプログラム。
14. 前記処理手段は、キャリブレーション処理による座標変換関数が定義されていない場合か、キャリブレーション処理の指示を認識した場合に、キャリブレーション処理を開始することを特徴とする請求項８〜１３のうちいずれか一項に記載のプログラム。

Images