JP5104904B2 - 情報処理システム及び表示処理プログラム - Google Patents

Description

本発明は、位置座標を示すコード化パターンを用いて情報を入力することができる情報処理システムに関し、特に、ユーザが文字や記号などを記入するための領域の制御に関する。

近年、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ Ｐｅｎ）」が知られている。アノトペンは、所定のアルゴリズムによりパターン化された位置座標を示すドットパターンが印刷された専用紙（以下、単に「専用紙」という。）とともに使用される。

具体的には、アノトペンは、ペン先部に、専用紙に印刷されたドットパターンを撮像するための小型カメラと、小型カメラにより撮像したドットパターンから専用紙における位置座標を演算するプロセッサと、プロセッサによって演算された位置座標等を外部機器へ送信するデータ通信ユニットとを搭載している。また、ユーザが専用紙上にアノトペンで文字等を書いた場合に、または、専用紙上に図案化されている画像にチェックマークを記入した場合に、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを撮像して、プロセッサによって演算された連続する位置座標から、ユーザが記入した文字、記号または図形などの情報（以下、「記入情報」という。）が生成される。その後、この生成された記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される（例えば、特許文献１参照）。

また、コンピュータ装置の表示画面上を専用のペンその他のもので触れることによって文字や記号を記入し、それらの情報を取得する情報処理システムが提案されている。そして、その一つとして、所定の画面上の領域にユーザによって手書きされた文字を記入するための文字記入領域を用いるものが知られている。例えば、このような文字記入領域を用いるシステムは、文字記入領域が予め設定されており、文字記入領域に手書きされた文字又は記号などを取得させることによって、文字の記入を行う記入者（いわゆる、ユーザ）に対してその記入時の負担を軽減させている（例えば、特許文献２）。

さらに、このような情報処理システムを自動車などの移動体におけるナビゲーション装置の入力インターフェースとして用いるものも知られている（例えば、特許文献３）。このシステムにおいては、ユーザの指示に基づいて文字記入領域の傾斜角度が設定されるとともに、この設定された傾斜角度に基づいて記入された文字又は記号の情報が取得される。

一方、文字記入領域を設定せずに、ユーザに自由に文字又は記号を記入させ、それらの記入された文字又は記号に基づいて、筆記された文字列としての方向（筆記方向）、文字の大きさ及び各文字の方向（文字方向）を解析する情報処理システムも知られている（例えば、特許文献４）。

特表２００３−５１１７６１号公報 特開平８−５０５３０号公報 特開２００８−２５０６７９号公報 特開２００２−１７５４９８号公報

しかしながら、特許文献２乃至４に記載の手書き文字を入力するシステムの何れにおいても、スムーズな文字入力を実行させるためのシステムとしては構築されていない。

例えば、特許文献２には、傾斜された文字記入領域に文字を記入させる構成を有する情報処理システムが記載されているものの、文字記入領域の傾きを制御する傾き制御に関する記載はない。したがって、この情報処理システムにあっては、文字記入領域に対するユーザの位置を判定して文字記入領域の傾きを制御してはおらず、スムーズな文字入力を実行させる一連のシステムとしては提供されていない。

また、特許文献３に記載のナビゲーション装置にあっては、ユーザの所定の記入動作に基づいてユーザの操作位置を判定し、この判定されたユーザの操作位置に基づいて文字記入領域を水平位置から所定の角度に傾けているものの、ユーザが使用する文字を記入するための電子ペンその他のデバイスの記入画面に対する傾きなど、入力デバイスと記入画面との関係性に基づいて文字記入領域を制御していない。特に、このナビゲーション装置であっては、文字を入力する前に文字記入領域を傾けるための操作をユーザに要求しており、この操作が煩雑でスムーズな文字入力の実行を妨げている。

一方、特許文献４に記載の情報処理システムにあっては、そもそも、文字の入力位置を補助し、かつ、文字認識処理などの処理負担を軽減するための文字記入領域を表示させる機能が無く、文字が記入される位置が固定されていないので、文字記入領域を制御させる概念そのものがない。

本発明は、上記課題を解決するためになされたものであり、その目的は、文字入力をスムーズに実行させることができるとともに、このスムーズな文字入力を実現するために煩雑なユーザ操作を要求すること無くその操作性を向上させた情報処理システム及び表示処理プログラムを提供することにある。

（１）上記課題を解決するため、本発明の情報処理システムは、ユーザによる操作に基づいて位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記読取手段の移動経路の座標を算出する算出手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記スクリーン上に形成されたコード化パターンの形成面に対する前記読取手段の傾斜角度を検出する検出手段と、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された読取手段の傾斜角度に基づいて傾ける文字記入領域制御手段と、を備える構成を有している。

通常、ユーザがスクリーン又は表示装置に所定のデバイス（読取手段）を用いて文字を記入した場合に、立ち位置又は座り位置などユーザの操作位置が記入箇所に対して正面に位置していないと、ユーザの操作位置の方向にデバイスが傾くことになる。例えば、ユーザの操作位置が文字記入領域などの記入箇所に対して右にずれている場合には、記入に用いるデバイスは右に傾くとともに、当該ユーザの記入箇所に対する操作位置が記入箇所に対して左にずれている場合には、デバイスは左に傾くことになる。また、ユーザの記入箇所に対する操作位置が当該記入箇所の正面の位置から外れた場合に、例えば、操作位置が記入箇所に対して上下左右に外れた場合に、スクリーン又は表示装置の画面に対して水平を維持しつつ各文字及び文字列を記入することは難しくなる。その一方、このような場合に、ユーザが文字又は文字列を所定の方向に傾けて文字又は文字列を斜めに記入すれば、ユーザは、その文字及び文字列の記入をスムーズに実行することができる。

本発明の情報処理システムは、上記構成により、コード化パターンが形成されているスクリーン上の形成面に対する読取手段の傾斜角度を検出するので、ユーザが記入しているスクリーン上の記入箇所に対するユーザの操作位置を判断することができるとともに、この判断したユーザの操作位置に基づいて文字記入領域を傾けることができる。したがって、本発明は、文字及び文字列の入力をスムーズに実行させる方向に文字記入領域を傾けることによって、ユーザにおけるスムーズな文字及び文字列の入力を実現させることができるとともに、煩雑な操作をユーザに要求すること無くその操作性を向上させることができる。

（２）上記課題を解決するため、本発明の情報処理システムは、ユーザによる操作に基づいて位置座標を示すコード化パターンが形成された光透過シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記読取手段の移動経路の座標を算出する算出手段と、前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記光透過シート上に形成されたコード化パターンの形成面に対する前記読取手段の傾斜角度を検出する検出手段と、前記算出された移動経路の座標に基づいて当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、前記光透過シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された読取手段の傾斜角度に基づいて傾ける文字記入領域制御手段と、を備える構成を有している。

この構成により、本発明の情報処理システムは、上記構成により、コード化パターンが形成されているスクリーン上の形成面に対する読取手段の傾斜角度を検出するので、ユーザが記入しているスクリーン上の記入箇所に対するユーザの操作位置を判断することができるとともに、この判断したユーザの操作位置に基づいて文字記入領域を傾けることができる。したがって、本発明は、文字及び文字列の入力をスムーズに実行させる方向に文字記入領域を傾けることによって、ユーザにおけるスムーズな文字及び文字列の入力を実現させることができるとともに、煩雑な操作をユーザに要求すること無くその操作性を向上させることができる。

（３）上記情報処理システムにおいて、前記文字記入領域制御手段は、前記文字記入領域内に形成される前記読取手段の移動経路によって検出された前記読取手段の傾斜角度に基づいて、当該文字記入領域を傾ける構成とするとよい。

この構成により、本発明の情報処理システムは、実際に文字として記入された移動経路における読取手段の傾斜角度に基づいてユーザの操作位置を判断して文字記入領域を傾けることができるので、文字を記入しているときのユーザの操作位置を確実に判断することができるとともに、ユーザが文字入力をスムーズに実行することができるように文字記入領域を確実に傾けることができる。

（４）また、上記情報処理システムにおいて、前記文字記入領域制御手段は、前記検出された読取手段の傾斜角度に基づいて前記予め定められた角度に前記文字記入領域を傾ける構成とするとよい。

この構成により、本発明の情報処理システムは、予め文字記入領域の傾ける角度を設定することによって、ユーザの文字が記入されたときにユーザが文字記入領域を傾ける角度を設定することなくこの文字記入領域を傾けることができるので、煩雑な操作をユーザに要求すること無く、ユーザが文字入力をスムーズに実行することができるように文字記入領域を確実に傾けることができる。

（５）また、上記情報処理システムにおいて、前記読取手段は、前記スクリーンまたは前記光透過シートに形成されたコード化パターンを撮像して撮像画像を画像データ化し、当該画像データを解析してコード化パターンのデータを取得するとともに、前記検出手段は、前記撮像画像上に形成されるコード化パターンの状態に基づいて前記スクリーン上又は前記光透過シート上に形成されたコード化パターンの形成面に対する前記読取手段の傾斜角度を検出する構成とするとよい。

この構成により、本発明の情報処理システムは、新たなデータを取得する必要が無く、コード化パターンをデータとして取得する際に用いる画像データに基づいて読取手段の傾斜角度を検出することができるので、簡易な構成によって当該読取手段の傾きの方向を検出することができる。

（６）また、上記情報処理システムにおいて、前記検出手段は、前記検出した読取手段の傾斜角度に基づいて当該読取手段の傾き方向を検出し、前記文字記入領域制御手段は、前記検出された読取手段の傾き方向に基づいて前記文字記入領域を傾ける構成とするとよい。

一般的に、ユーザによって文字が記入されるときには、文字の記入に用いられるデバイスは、ユーザの操作位置に無関係にそれを保持している利き手の方向に傾いている。したがって、本発明に係る読取手段であっても文字の記入を行うので、このようなデバイスと同様に、読取手段は、スクリーン又は表示装置に対して文字記入領域の正面の位置から文字を記入したとしても読取手段を保持する利き手方向にすでに傾いている。

この構成により、本発明の情報処理システムは、傾斜角度に基づいて読取手段の傾き方向を検出することにより、ユーザが記入しているスクリーン上または光透過シート上の記入箇所に対するユーザの操作位置をより的確に判断することができるとともに、当該判断したユーザの操作位置に基づいてユーザの文字入力をスムーズに実行させることが可能な方向に文字記入領域を的確に傾けることができる。

（７）また、上記情報処理システムにおいて、前記検出手段は、（ａ）予め定められた閾値を超える傾斜角度を検出した場合に前記読取手段が傾斜している方向を前記読取手段の傾き方向として判定すること、または（ｂ）予め定められた閾値以下の傾斜角度を検出した場合に前記読取手段が傾斜している方向と反対の方向を前記読取手段の傾き方向として判定することの何れか一の判定を実行する構成とするとよい。

上記構成により、本発明の情報処理システムは、読取手段の傾きが検出された場合に、閾値と比較することによって、検出された角度によっては、読取手段の傾きの方向を当該読取手段が傾斜している方向と反対の方向として判定することができる。したがって、本発明は、ユーザの利き手をも考慮して読取手段の傾きの方向を判定することができるので、ユーザが文字入力をスムーズに実行することができる方向に文字記入領域を確実に傾けることができる。

（８）また、上記情報処理システムにおいて、前記検出手段によって検出された読取手段の傾斜角度に基づいて当該読取手段の傾き方向を判定する判定手段を更に備え、前記文字記入領域制御手段は、前記判定された読取手段の傾き方向に基づいて前記文字記入領域を傾ける構成としてもよい。

この構成により、本発明の情報処理システムは、傾斜角度を検出する検出手段と異なる手段によって読取手段の傾き方向を検出することができるので、例えば、コンピュータ装置のプログラム上において読取手段の傾き方向を検出することができる。したがって、本発明は、簡易にユーザの利き手を設定して的確に読取手段の傾きの方向を判定することができる。

（９）また、上記情報処理システムにおいて、前記判定手段は、（ａ）前記検出された傾斜角度が予め定められた閾値を超える場合に前記読取手段が傾斜している方向を前記読取手段の傾き方向として判定すること、または、（ｂ）前記検出された傾斜角度が予め定められた閾値以下の場合に前記読取手段が傾斜している方向と反対の方向を前記読取手段の傾き方向として判定することの何れか一の判定を実行する構成としてもよい。

上記構成により、本発明の情報処理システムは、読取手段の傾きが検出された場合に、閾値と比較することによって、検出された角度によっては、読取手段の傾きの方向を当該読取手段が傾斜している方向と反対の方向として判定することができる。したがって、本発明は、ユーザの利き手をも考慮して読取手段の傾きの方向を判定することができるので、ユーザが文字入力をスムーズに実行することができる方向に文字記入領域を確実に傾けることができる。

（１０）また、上記情報処理システムにおいて、前記文字記入領域は、前記検出された読取手段の傾き方向と前記スクリーンに投影された画像内又は前記光透過シートに表示された画像内に形成される前記文字記入領域の位置とに基づいて異なる方向に傾く構成とするのが好ましい。

ユーザの操作位置に対して上方、下方、左側又は右側など所定の位置に文字記入領域が形成されている場合には、ユーザに文字の記入をスムーズに実行させるために文字記入領域を傾ける方向は、形成されている位置によって異なる。

上記構成により、本発明の情報処理システムは、読取手段の傾きの方向と文字記入領域の位置とによって文字記入領域を異なる方向に傾けることができるので、スクリーン又は表示装置の画面の何れの位置に文字記入領域が形成されていたとしても、ユーザに文字入力をスムーズに実行させることができる方向に文字記入領域を確実に傾けることができる。

（１１）また、上記情報処理システムにおいて、前記文字記入領域は、前記検出された読取手段の傾き方向と前記スクリーンに投影された画像内又は前記光透過シートに表示された画像内に形成される前記文字記入領域の位置とに基づいて異なる基準点によって傾く構成とするのが好ましい。

スクリーン上に投影される画像又は表示装置に表示される画像の四隅など、当該文字記入領域が形成される画像上の位置と当該文字記入領域を傾けるときに基準となる基準点によっては、文字記入領域をユーザの文字の記入がスムーズになる方向に傾けたとしても当該文字記入領域がスクリーンに投影された画像内又は光透過シートに表示された画像内に収まらないことがある。また、上述のように、ユーザの上方、下方、左側又は右側などの所定の位置に文字記入領域が形成されている場合には、ユーザが文字入力をスムーズに実行することが可能な文字記入領域を傾ける方向は異なる。

上記構成により、本発明の情報処理システムは、文字記入領域を異なる基準点によって傾けることができるので、画像上の何れの位置に文字記入領域が形成されていても、ユーザに文字入力をスムーズに実行させることができる方向に文字記入領域を確実に傾けることができるとともに、傾けた文字記入領域を画像内に確実に表示することができる。

（１２）また、上記情報処理システムにおいて、前記スクリーン又は光透過シートに形成された前記コード化パターンの配列方向を認識する認識手段を更に備え、
前記文字記入領域制御手段は、前記認識されたコード化パターンの配列方向と前記検出された読取手段の傾き方向とに基づいて、前記ユーザが前記読取手段を移動させたときの前記移動経路に対する前記ユーザの操作位置を判定し、前記判定されたユーザの操作位置に基づいて前記文字記入領域を傾ける構成とするとよい。

この構成により、本発明の情報処理システムは、スクリーン上又は光透過シート上に形成されたコード化パターンの上下左右が反対に設置されるなど当該コード化パターンの配列方向が異なる方向によって設置されたとしても、当該配列方向をその設置後に認識して文字記入領域を制御することができるので、読取手段の傾きの方向を誤検出することなく確実に検出することができる。

（１３）また、上記情報処理システムにおいて、前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に備え、前記文字認識処理手段は、前記文字記入領域が傾いている場合には、当該文字記入領域の傾き角度に基づいて、前記読取手段の移動経路を傾く前の文字記入領域に相当する移動経路に変換して前記文字認識を実行する構成することが好ましい。

この構成により、本発明の情報処理システムは、文字記入領域の傾き角度に基づいて、読取手段の移動経路を、傾く前の文字記入領域に対応する移動経路に変換することができるので、記入された各文字における傾きが生じていない状態によって文字列の認識処理を実行することができる。したがって、文字認識の精度を向上させることができる。

（１４）また、上記情報処理システムにおいて、前記スクリーンに投影される画像と同一の画像が表示される表示手段の表示制御を行う表示制御手段と、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段と、を更に備え、前記文字記入領域制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を傾ける構成とするとよい。

この構成により、本発明の情報処理システムは、算出手段によって算出された座標が座標変換手段によって表示手段の表示画面の座標に変換されたうえで、文字記入領域を傾けるので、スクリーンと表示手段の表示画面の異なる座標系を用いても文字記入領域の傾きのための処理を確実に実行することができる。

（１５）また、上記情報処理システムにおいて、前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段を更に備え、前記文字記入領域制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を傾ける構成とするとよい。

この構成により、本発明の情報処理システムは、算出手段によって算出された座標が座標変換手段によって表示手段の表示画面の座標に変換されたうえで、文字記入領域を傾けることができるので、表示手段の表示画面における座標系を基に、文字記入領域を傾けることができる。

（１６）上記課題を解決するため、位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記電子ペンによって読み取ったコード化パターンのデータに基づいて前記スクリーン上に形成されたコード化パターンの形成面に対する当該電子ペンの傾斜角度と前記算出された移動経路の座標とを受信する受信手段、前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段、前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された電子ペンの傾斜角度に基づいて傾ける文字記入領域制御手段、として機能させる構成を有している。

上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。

（１７）上記課題を解決するため、位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成された光透過シート上を移動した際に、当該電子ペンの移動経路を示す形状を当該光透過シートに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、前記電子ペンによって読み取ったコード化パターンのデータに基づいて前記光透過シート上に形成されたコード化パターンの形成面に対する当該電子ペンの傾斜角度と前記算出された移動経路の座標とを受信する受信手段、前記算出された移動経路の座標に基づいて当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、前記光透過シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された電子ペンの傾斜角度に基づいて傾ける文字記入領域制御手段、として機能させる構成を有している。

上記プログラムをコンピュータ装置にインストールすることにより、本発明に係る情報処理システムを構成させることができる。

本発明は、上記構成により、コード化パターンが形成されているスクリーン上の形成面に対する読取手段の傾斜角度を検出するので、ユーザが記入しているスクリーン上の記入箇所に対するユーザの操作位置を判断することができるとともに、この判断したユーザの操作位置に基づいて文字記入領域を傾けることができる。したがって、本発明は、文字及び文字列の入力をスムーズに実行させる方向に文字記入領域を傾けることによって、ユーザにおけるスムーズな文字及び文字列の入力を実現させることができるとともに、煩雑な操作をユーザに要求すること無くその操作性を向上させることができる。

第１実施形態における情報処理システムのシステム構成図である。 用紙に印刷されたドットパターンにおけるドットの配置とそのドットが変換される値との関係を説明する図である。 ドットパターンの配列とそのドットパターンの配列が変換された情報を示す例であり、（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す。 電子ペンの構造を示す概略図であるとともに、その機能を示すブロック図である。 電子ペンの傾きと仮想格子との関係を説明するための図である。 電子ペン１における傾き方向を検出する際の電子ペン１の傾斜角度と閾値との関係を説明するための図である。 コンピュータ装置の機能ブロック図である。 ドットパターンの配列方向について説明するための図である。 文字記入領域の位置に対してユーザの操作位置が右側にある場合に、文字記入領域の傾く方向を説明するための図である。 文字記入領域の位置に対してユーザの操作位置が左側にある場合に、文字記入領域の傾く方向を説明するための図である。 第１実施形態の傾き制御処理を含む表示処理の動作を示すフローチャートである。 第１実施形態の文字認識処理の動作を示すフローチャートである。 第２実施形態における情報処理システムの構成を示すシステム構成図である。

以下、本発明の各実施形態について、図面を参照しながら説明する。なお、以下に説明する実施形態は、ユーザによってスクリーンまたは光透過シート上に電子ペンを用いて記入された記入情報を、当該スクリーン上または光透過シートが形成された表示画面上に表示させる情報処理システムに、本発明の情報処理システム及び表示処理プログラムを適用した場合の実施形態である。

＜第１実施形態＞
はじめに、図１〜図１２の各図を用いて第１実施形態に係る情報処理システム１０について説明する。

［情報処理システムのシステム構成］
まず、情報処理システム１０の構成について説明する。なお、図１は、情報処理システム１０のシステム構成図である。

情報処理システム１０は、図１に示すように、ユーザによって使用され、ユーザの手書きによりスクリーン４に記入された文字、記号または図形などのストローク（筆跡）ＳＴに応じて記入情報を生成する電子ペン１と、電子ペン１によって生成された記入情報を受信して所定の処理を実行するコンピュータ装置２と、コンピュータ装置２から出力された画像信号を受信し、コンピュータ装置２が有する表示手段２６に表示される画像と同一の画像を同期してスクリーン４に投影するプロジェクタ３とから構成される。

なお、電子ペン１は、本発明の読取手段、算出手段及び検出手段を構成し、コンピュータ装置２は、本発明の投影出力手段、文字記入領域制御手段、認識手段、文字認識処理手段、表示制御手段及び座標変換手段を構成する。また、プロジェクタ３は、本発明の投影手段を構成する。

［スクリーン］
次に、本実施形態におけるスクリーン４について説明する。

スクリーン４は、電子ペン１に十分に筆圧がかかる程度に硬いマグネット板４０１と、後述するドットパターン（コード化パターン）が印刷により全面に形成された用紙４０２とから構成される。特に、用紙４０２は、マグネット板４０１の前面に、上から図示しないマグネットによって押さえ付けることによって、または、糊、粘着剤等で貼りつけることによって固定されている。なお、マグネット板４０１の代わりにホワイトボード、パーティションボード又は部屋の壁面等を利用してもよい。また、用紙４０２の代わりに、ドットパターンが印刷されたシートでもよく、又は、スクリーン４にドットパターンが直接形成されていてもよい。

［ドットパターン］
次に、図２及び図３を用いて本実施形態におけるスクリーン４の用紙４０２に印刷されているアノト方式のドットパターン（コード化パターン）について説明する。なお、図２は、用紙４０２に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図であり、図３は、ドットパターンの配列とそのドットパターンの配列が変換された情報を示す例である。

図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子Ｚの基準位置（仮想格子線の縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できるので、このようにして対応付けられた情報の組合せにより、スクリーン４上の位置座標が決定されるよう構成されている。なお、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されている。また、ドットの値、すなわち、ドットの位置を判別するための基準となる仮想格子Ｚは、ドットパターンとともにスクリーン４上（具体的には、用紙４０２上）に形成されているわけでなく、後述するように、電子ペン１のプロセッサ１０８においてドットパターンをデータとして読み取るときに（データ配列に変換するときに）撮像した画像上に生成されるものである。

図３（ａ）は、ある位置のドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍにおける範囲内に６×６の３６個のドット（以下、「６×６ドット」という。）が、スクリーン４上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは、スクリーン４上における相対的な位置座標を保持している。なお、図３（ｂ）は、図３（ａ）に示す各ドットを、仮想格子Ｚの基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、図４〜図６の各図を用いて本実施形態における電子ペン１の構造とその動作について説明する。なお、図４は、電子ペン１の構造を示す概略図であるとともに、その機能を示すブロック図であり、図５は、電子ペン１の傾きと仮想格子Ｚとの関係を説明するための図である。また、図６は、電子ペン１における傾き方向を検出する際の電子ペン１の傾斜角度と閾値との関係を説明するための図である。

電子ペン１は、プロジェクタ３により画像投影されるスクリーン４への、タップ（ペン先部１０３によるスクリーン４への軽叩）、文字、記号や図形などの記入に用いられる。また、ユーザによって電子ペン１を用いてスクリーン４上にタップされると、又は、文字、記号または図形が描かれると、電子ペン１は、ペン先部１０３のスクリーン４上の移動経路（以下、「筆跡」、「ストローク」ともいう。）に沿って、用紙４０２に印刷されたドットパターンを局所的、かつ、連続的に読み取る。そして、電子ペン１は、スクリーン４におけるその局所位置の座標を算出するとともに、その算出した位置座標データをコンピュータ装置２へ送信する。

具体的には、電子ペン１は、図４に示すように、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６（読取手段）、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８（算出手段及び検出手段）、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。

また、電子ペン１は、電子ペン１の傾きの方向（以下、「傾き方向」という。）を検出する際にユーザの利き手を設定するための利き手切り換えボタン１１３を有している。この利き手切り換えボタン１１３は、プロセッサ１０８における電子ペン１の傾き方向を検出する際に用いられる。また、この利き手切り換えボタン１１３は、押し下げ可能なボタンであり、通常状態（以下、「右手モード」という。）では右利き用に設定されるとともに、通常状態から一度押し下げられると、押し下げ位置でロックされ、左利き用（以下、「左手モード」という。）として設定される。なお、押し下げロックされている状態からもう一度ボタンが押し下げられると、当該ロックが解除され、通常状態に復帰する。

ペン部１０４の先端は、ペン先部１０３となっており、ペン先部１０３は、文字などの記入又はタップを行う際に、ユーザによってスクリーン４の用紙４０２に当接される。なお、電子ペン１によって、スクリーン４に記入された筆跡は、コンピュータ装置２の処理によりプロジェクタ３によって投影されるため、ペン部１０４には、インクが充填されていないものがよいが、消去可能なインクが充填されたものであってもよい。

バッテリー１１２は、電子ペン１内の各部材に電力を供給するためのものであり、例えば、電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うように構成されている。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりスクリーン４に文字などを記入したりタップしたりする際に、ペン先部１０３からペン部１０４を通じて与えられる圧力、すなわち、筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、電子ペン１のペンダウン（スクリーン４に接触してストロークが書き出しされること）及びペンアップ（接触している状態からペン先部１０３が離れること）を判定してＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切り換える。すなわち、ユーザが電子ペン１によってスクリーン４に文字などを記入すると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されるので、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、ユーザがスクリーン４から電子ペン１を離すと、圧力センサ１０７によって所定値以上の筆圧の検出がされなくなるので、その際には、プロセッサ１０８は、ユーザが１つの筆跡の記入を終了したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６の作動を終了させる。

ＬＥＤ１０５及びＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スクリーン４上のペン先部１０３近傍に向けて赤外線を照射する。赤外線が照射される領域は、ペン先部１０３がスクリーン４に接触する位置とはわずかにずれるように構成されている。ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内における上述したドットパターンを撮影し、そのドットパターンを撮像した画像（以下、「撮像画像」という。）を画像データとしてプロセッサ１０８に供給する。

上述のように、ドットパターンは、赤外線を吸収するカーボンを含有するインクによって印刷されているので、ＬＥＤ１０５によって照射された赤外線は、ドットの位置においては吸収される。その結果、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多くなる。このため、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は、ペンダウンからペンアップまでの間に、毎秒５０〜１００回程度の定間隔で行われる。

プロセッサ１０８は、ユーザによってスクリーン４に文字等が記入されている間に、すなわち、圧力センサ１０７から与えられる筆圧データに基づいてＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチがオンの状態（ペンダウンからペンアップまでの間）のときに、ＣＭＯＳカメラ１０６によって供給される各画像データのドットパターン毎に、スクリーン４上におけるＸ、Ｙ座標（以下、単に「位置座標」又は「座標データ」ともいう。）及びドットパターンアドレスを個々に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを、図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。

特に、プロセッサ１０８は、ＣＭＯＳカメラ１０６から供給された各画像データを解析し、各ドットの大きさ及びそれらの分布など撮像画像上に形成された各ドットの遠近により生じたドットパターンの状態に基づいて、当該撮像画像上に仮想格子Ｚを形成するための各線（仮想格子線）を設定する。そして、プロセッサ１０８は、上述のように設定された仮想格子線、すなわち、仮想格子Ｚに対する各ドットの位置に基づいて各ドットの値を読み取り、この読み取ったデータによって図３（ｂ）に示すデータ配列を取得する。また、プロセッサ１０８は、取得したデータ配列に基づいてＸ座標ビット値及びＹ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データ及びドットパターンアドレスを演算する。なお、上述のように、スクリーン４における６×６のドットパターンは、スクリーン４内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がスクリーン４のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

一方、プロセッサ１０８は、画像データの画像上に形成されたドットパターンの状態に基づいて設定された仮想格子Ｚを解析し、仮想格子Ｚの形状及びドットパターンの配列によって、電子ペン１のスクリーン４に対する傾斜角度を検出する。すなわち、プロセッサ１０８は、ドットパターンの状態に基づいて電子ペン１のスクリーン４に対する傾斜角度を検出する。例えば、電子ペン１がスクリーン４に対して垂直に当接されて文字が記入された場合には、その文字の記入により撮像画像内に形成される各ドットの大きさ及びその分布は、ほぼ均等となる。プロセッサ１０８は、図５（ｃ）に示すように、この撮像画像内において、分布したドットから仮想格子Ｚを設定し、仮想格子Ｚの各マス目が略同一の形状の正方形であることをもって、電子ペン１の傾斜角度を「０」度と検出する。また、電子ペン１がスクリーン４に対して垂直に当接されずに図５におけるＸ軸の値の大きい側（右側）の方向に傾いている状態により文字が記入された場合には、撮像されたドットパターンの遠近の関係から撮像画像内に形成されたＸ軸の値の大きい側（右側）のドットがＸ軸の値の小さい側（左側）のドットよりも小さくなるとともに、左側のドットの分布密度が右側のドットの分布密度より低くなる。したがって、この撮像画像内には、図５（ａ）及び（ｂ）に示すように、右側のマス目が近くに左側のマス目が遠くになるように形成されるひずんだ仮想格子Ｚが設定される。この場合においては、プロセッサ１０８は、撮像画像上にドットパターンに基づいて設定される仮想格子Ｚの状態、すなわち、仮想格子Ｚのひずみ状態（ひずみの程度）に基づいてＸ軸の値の大きい側に傾いている電子ペン１の傾斜角度を検出する。さらに、電子ペン１がスクリーン４に対して垂直に当接されずに図５におけるＸ軸の値の小さい側（左側）の方向に傾いている状態により文字が記入された場合には、撮像されたドットパターンの遠近の関係から撮像画像内に形成されたＸ軸の値の小さい側（左側）のドットがＸ軸の値の大きい側（右側）のドットよりも小さくなるとともに右側のドットの分布密度が、左側のドットの分布密度より低くなる。したがって、この撮像画像内には、図５（ｄ）及び（ｅ）に示すように、左側のマス目が近くに右側のマス目が遠くになるように形成されたひずんだ仮想格子Ｚが設定される。この場合においては、プロセッサ１０８は、電子ペン１の傾きがＸ軸の値が小さい側に傾いていると判定するとともに、撮像画像上にドットパターンに基づいて設定される仮想格子Ｚの状態、すなわち、仮想格子Ｚのひずみ状態（ひずみの程度）に基づいて電子ペン１の傾斜角度を検出する。

なお、図５は、スクリーン４に対するペン先部１０３の最先端（「ペン先」ともいう。）Ｐの位置とＣＯＭＳカメラ１０６によって撮像された撮像画像内において、設定された仮想格子Ｚを示している。図５（ａ）及び（ｄ）は、Ｘ軸の値の大きい側又は小さい側のそれぞれの方向において、ＣＯＭＳカメラ１０６が電子ペン１におけるＸ軸の値の大きい側に配置され、ペン先ＰがＸ軸の値の小さい側に配置されている場合を示している。また、図５（ｂ）及び（ｅ）は、それぞれの方向において、ＣＯＭＳカメラ１０６が電子ペン１におけるＸ軸の値の小さい側に配置され、ペン先ＰがＸ軸の値の小さい側に配置されている場合を示している。

他方、プロセッサ１０８は、算出された電子ペン１の傾斜角度αに基づいて、電子ペン１のＸ軸における傾き方向を検出する。この利き手切り換えボタン１１３が通常状態の場合には、すなわち、右利きモードの場合には、図６（ａ）に示すように、スクリーン４に対して電子ペン１が垂直にある場合を基準として（すなわち、「０」度として）、ユーザの右手側に所定の角度に閾値（例えば−１５度）が設定され、プロセッサ１０８は、この閾値と検出された電子ペン１の傾斜角度αに基づいて電子ペン１のＸ軸に対する傾き方向を検出する。一般的に、ユーザによって文字が記入されるときには、文字の記入に用いられるペンその他の筆記具は、ユーザの操作位置に無関係にそれを保持している利き手の方向に傾いている。したがって、電子ペン１であっても文字の記入を行う関係上、スクリーン４に対して文字記入領域４０６の正面の位置から文字を記入したとしても電子ペン１を保持する利き手方向、すなわち、右利きなら右方向にすでに傾いている。そのため、電子ペン１における傾き方向を判定する際に、ユーザの利き手を考慮した閾値を設けておくと、より正確に傾き方向を判定することができる。具体的には、図６（ａ）に示すように、検出した傾斜角度αが「−Ｔ（閾値）」度＜α＜「９０」度内に属する場合には、プロセッサ１０８は、電子ペン１の傾き方向を「Ｘ軸の値の小さい側」と判定し、検出した傾斜角度αが「−９０」度＜θ＜「−Ｔ（閾値）」度内に属する場合には、プロセッサ１０８は、電子ペン１の傾き方向をＸ軸の値の大きい側と判定する。そして、検出した電子ペン１の傾斜角度が「−Ｔ（閾値）」と同一の場合には、プロセッサ１０８は、電子ペン１の傾き方向を「傾き無し」と判定する。

また、この利き手切り換えボタン１１３が左利きモードの場合には、図６（ｂ）に示すように、スクリーン４に対して電子ペン１が垂直にある場合を基準として、ユーザの左手側に所定の角度に閾値（例えば１５度）が設定され、プロセッサ１０８は、この閾値と検出された電子ペン１の傾斜角度αに基づいて電子ペン１のＸ軸に対する傾き方向を検出する。具体的には、図６（ｂ）に示すように、検出した傾斜角度αが「Ｔ（閾値）」度＜α＜「９０」度内に属する場合には、プロセッサ１０８は、電子ペン１の傾き方向を「Ｘ軸の値の小さい側」と判定し、検出した傾斜角度αが「−９０」度＜θ＜「Ｔ（閾値）」度内に属する場合には、プロセッサ１０８は、電子ペン１の傾き方向をＸ軸の値の大きい側と判定する。そして、検出した電子ペン１の傾斜角度が「Ｔ（閾値）」と同一の場合には、プロセッサ１０８は、電子ペン１の傾き方向を「傾き無し」と判定する。

なお、プロセッサ１０８は、Ｘ軸を基準に電子ペン１の傾き方向を検出しているが、最終的にはコンピュータ装置２において座標変換の処理を実行する際に、検出された電子ペン１のＸ軸に対する傾き方向が修正されて電子ペン１が文字記入領域４０６に対して右に又は左に傾いているかが特定される。すなわち、後述するように、スクリーン４は、人為的なミスによって、上下左右を回転して設置されることもあり、電子ペン１における電子ペン１自体の傾斜角度の検出は、Ｘ軸を基準に実行され、その修正はコンピュータ装置２における座標変換時に実行される。

このように、プロセッサ１０８は、Ｘ，Ｙ座標データを演算する際に用いる撮像画像内のドットパターンの状態、すなわち、仮想格子Ｚの状態に基づいて、電子ペン１のＸ軸に対する傾き方向を検出し、検出された電子ペン１の傾き方向の判定結果を示すデータ（以下、「傾き方向データ」という。）と、算出されたＸ，Ｙ座標データ及びドットパターンアドレスとともにリアルタイムクロック１１０から発信される現在時刻と、筆圧データを関連付けて一の座標属性情報を生成する。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」などのペンＩＤ（電子ペン識別情報）、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、座標属性情報等にペンＩＤが関連付けられた各記入情報をコンピュータ装置２へ順次送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって即時的かつ逐次的に行われる。

次に、電子ペン１よりコンピュータ装置２へ送信される記入情報について説明する。ユーザが電子ペン１を用いてスクリーン４にストローク（筆跡）ＳＴを記入する際には、まず、電子ペン１をスクリーン４に接触させる。すると、電子ペン１の圧力センサ１０７によってペン先部１０３にかかる筆圧を検出する。電子ペン１のプロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されたと判断すると、電子ペン１のスクリーン４への接触を示すペンダウン情報ＰＤと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。

また、ユーザは、電子ペン１のペン先部１０３をスクリーン４に接触させた後、筆圧を維持しつつ、ペン先部１０３を移動させてストロークを描くが、電子ペン１のプロセッサ１０８も引き続き、演算により求めた座標データ（Ｘ，Ｙ）及びドットパターンアドレスと、電子ペン１の傾き方向データと、圧力センサ１０７により検出される筆圧データ、リアルタイムクロック１１０により発信された時刻情報とを含む座標属性情報及びペンＩＤを関連付けた記入情報を、ＣＭＯＳカメラ１０６によるドットパターンの撮影周期に応じて、逐次生成し、通信ユニット１１１に記入情報を順次コンピュータ装置２へ送信させる。

そして、ユーザがストロークを描き終えて電子ペン１をスクリーン４から離すと、圧力センサ１０７は、筆圧を検出しなくなるため、プロセッサ１０８は、圧力センサ１０７によって所定値以上の筆圧が検出されなくなったと判断する。すると、プロセッサ１０８は、電子ペン１のスクリーン４への離脱を示すペンアップ情報ＰＵと、電子ペン１の識別情報であるペンＩＤ等とを関連付けた記入情報を生成して、通信ユニット１１１に、その記入情報をコンピュータ装置２へ送信させる。このように、電子ペン１がペンダウンと判定してからペンアップと判定するまでに、すなわち、ユーザの一つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合をストローク情報と呼ぶ。

［コンピュータ装置］
次に、図１及び図７の各図を用いて本実施形態のコンピュータ装置２について説明する。なお、図７は、コンピュータ装置２の各機能を示す機能ブロック図である。

コンピュータ装置２は、例えば、パーソナルコンピュータであって、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等によって構成される。また、コンピュータ装置２は、図７を示すように、機能的には、マウスやキーボードなどから構成される入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６及び送信手段２７を備え、電子ペン１から受信した記入情報に基づいて所定の処理を行う。

受信手段２２は、アンテナ及び受信回路等により構成され、電子ペン１から送信された各記入情報を順次受信し、処理手段２４に伝送する。

処理手段２４は、ＣＰＵ等のプロセッサによって構成される。処理手段２４は、所定のキャリブレーション処理及びキャリブレーション処理の結果に基づいて表示手段２６に表示するための座標変換処理を実行する。また、処理手段２４は、表示手段２６の表示エリア２０１上における文字記入領域２０６の制御処理、文字記入領域４０６内に記入された文字又は記号を構成するストロークの座標データが座標変換関数により座標変換された後の座標データの文字認識処理、及び、表示手段２６における各種の表示制御処理を実行する。そして、処理手段２４は、制御処理の一つとして文字記入領域２０６の傾きを制御する傾き制御処理を実行する。

具体的には、キャリブレーション処理としては、処理手段２４は、スクリーン４上のドットパターンによる位置座標をコンピュータ装置２の表示手段２６における表示エリア２０１上の位置座標に座標変換するための座標変換関数を求める。この座標変換関数は、電子ペン１によって検出されたＸ、Ｙ座標を表示手段２６の表示エリア２０１上の座標に変換することに用いられる。また、処理手段２４は、キャリブレーション処理の際に、スクリーン４上に形成されたドットパターンの配列方向、すなわち、スクリーン４の配置状態を判定する。この配列方向の情報は、後述するように、スクリーン４上に形成されたドットパターンの配列方向が逆転している場合、すなわち、スクリーン４の上下左右が回転して設置されている場合でも、電子ペン１の傾き方向がスクリーン４に対して左右どちらであるかを判定することに用いられる。

また、傾き制御処理としては、処理手段２４は、電子ペン１によって文字または文字列が文字記入領域４０６に記入されたときの電子ペン１の傾き方向に基づいて、すなわち、文字記入領域４０６に対するユーザの操作位置に基づいて、表示手段２６の表示エリア２０１に表示される文字記入領域２０６の傾きを制御する。通常、ユーザがスクリーン４に電子ペン１を用いて文字を記入した場合に、立ち位置又は座り位置などユーザの電子ペン１における操作位置（記入位置）がスクリーン４における文字記入領域４０６に対して正面に位置していないと、ユーザの操作位置の方向に電子ペン１が傾くことになる。例えば、ユーザの操作位置が文字記入領域４０６に対して右にずれている場合には、電子ペン１は右に傾くとともに、ユーザの文字記入領域４０６に対する操作位置が左にずれている場合には電子ペン１は左に傾くことになる。また、ユーザの文字記入領域４０６に対する電子ペン１の操作位置が文字記入領域４０６の正面の位置から外れた場合に、例えば、操作位置が文字記入領域４０６に対して上下左右に外れた場合に、スクリーン４に対して水平を維持しつつ各文字及び文字列を記入することは難しくなる。その一方、この場合において、ユーザが文字又は文字列を所定の方向に傾けて記入した場合には、その文字及び文字列の記入をスムーズに実行することができる。さらに、スクリーン４には、送信手段２７によって文字記入領域２０６と同一の画像が文字記入領域４０６として投影されるため、文字記入領域２０６を傾ければ、結果的にスクリーン４に投影された文字記入領域４０６も傾く。このため、処理手段２４は、電子ペン１の傾き方向によってスクリーン４上の文字記入領域４０６に対するユーザの操作位置を判断し、電子ペン１の傾き方向に基づいて、文字記入領域４０６が傾いてユーザにおける文字の記入がスムーズになるように、文字記入領域２０６の傾きを制御する。

さらに、処理手段２４は、上述のような各処理を実行するために、図７に示すように、キャリブレーション処理部２４１と、座標変換部２４２と、文字記入領域制御手段としての文字記入領域制御部２４３と、文字認識処理部２４４と、表示制御部２４５とを有している。なお、キャリブレーション処理、座標変換処理及び傾き制御処理とともに処理手段２４の各部の詳細については後述する。

記憶手段２５は、ハードディスク又はＲＯＭ、ＲＡＭなどのメモリによって構成される。記憶手段２５には、キャリブレーション処理を実行するためのプログラム（以下、「キャリブレーションプログラム」という。）と、文字記入領域２０６を所定の方向に傾ける傾き制御処理を実行するためのプログラム（以下、「傾き制御プログラム」という。）と、文字認識処理のプログラム（以下、「文字認識プログラム」という。）とが予め記憶されている。

具体的には、キャリブレーションプログラムに関しては、表示手段２６に表示するキャリブレーション用マークの表示エリア２０１上の位置座標及び形状等の情報、スクリーン４の用紙４０２に印刷されているドットパターンの座標領域の値が記憶手段２５に記憶される。また、傾き制御プログラムに関しては、表示手段２６に表示される文字記入領域２０６の座標領域の初期値、その範囲を画定表示するためのマーク（以下、「画定マーク」ともいう。）２０７の形状、画定マーク２０７の初期座標、傾ける際に基準となる基点の座標及び文字記入領域２０６を傾ける角度など傾き制御処理に必要な各情報が記憶手段２５に予め記憶されている。なお、この記憶された文字記入領域２０６に関する情報に基づいてコンピュータ装置２の表示手段２６に文字記入領域２０６が表示されると、文字記入領域２０６と同一のものとして文字記入領域４０６がスクリーン４に投影されて表示される。さらに、文字認識プログラムに関しては、表示手段２６に表示された文字記入領域２０６に基づいて、スクリーン４上に投影された文字記入領域４０６内に描かれ、文字記入領域４０６への記入として取り込まれたストローク群によって形成される形状パターンの照合に用いる、各文字又は記号に関するパターンの情報（以下、「パターン情報」という。）その他の文字認識処理に必要な情報が記憶手段２５に予め記憶されている。

上記のデータに加えて、記憶手段２５には、ユーザがスクリーン４に文字、記号又は図形を記入した際に電子ペン１によって生成されたストローク毎の各記入情報が記憶される。また、記憶手段２５には、キャリブレーション処理により求められた座標変換関数、文字記入領域２０６が傾いているか否かを示す傾きフラグ情報などの各種のフラグ情報、並びに、キャリブレーション処理、傾き制御処理、文字認識処理の各処理中及び処理後に各プログラムに沿って又は各処理中におけるユーザの指示に従って生成された各種のデータが記憶される。

表示手段２６は、液晶又は有機ＥＬなどのディスプレイ等によって構成され、処理手段２４によって指示された内容を表示するものであり、図１に示すように、表示手段２６の表示エリア２０１には、処理手段２４の表示制御部２４５の処理により、認識文字表示位置マーク２０５と、文字記入領域２０６と、画定マーク２０７とを表示する。

送信手段２７は、処理手段２４の指示によって、表示手段２６の画像表示に用いられる画像信号をプロジェクタ３に送信する。このため、スクリーン４には、コンピュータ装置２の表示エリア２０１に表示された画像と同じ画像が同期して、プロジェクタ３によって画像投影領域４０３に拡大されて投影される。また、図１に示す例では、表示エリア２０１に表示された、画定マーク２０７により画定された文字記入領域２０６は、それぞれスクリーン４上に、対応する画定マーク４０７により画定された文字記入領域４０６として投影される。なお、送信手段２７によるプロジェクタ３へのデータ送信方式は、有線式であっても無線式であってもよい。

［処理手段］
次に、図７とともに図８〜図１０の各図を用いて処理手段２４における各部の詳細について説明する。なお、図８は、ドットパターンの配列方向について説明するための図であり、図９は、文字記入領域４０６の位置に対してユーザの操作位置が右側にある場合に、文字記入領域の傾く方向を説明するための図である。また、図１０は、文字記入領域４０６の位置に対してユーザの操作位置が左側にある場合に、文字記入領域の傾く方向を説明するための図である。

（１）キャリブレーション処理部
キャリブレーション処理部２４１は、記憶手段２５に記憶されたキャリブレーションプログラムに従って、スクリーン４上のドットパターンによる位置座標を、表示手段２６における表示エリア２０１上の位置座標に変換するための座標変換関数を求める。具体的には、キャリブレーション処理部２４１は、表示手段２６の表示エリア２０１に２箇所以上のキャリブレーション用マークを表示させるとともに、スクリーン４に対してプロジェクタ３によりキャリブレーション用マークを投影させる。そして、電子ペン１によってスクリーン４に投影されたキャリブレーション用マークをタップすることによって生成されたスクリーン４上の座標データを受信手段２２が受信すると、キャリブレーション処理部２４１は、キャリブレーション用マークに係る表示手段２６の表示エリア２０１上の位置座標と、スクリーン４上におけるドットパターンの位置座標との対応関係を取得して座標変換関数を算出する。なお、キャリブレーション処理部２４１は、この算出した座標変換関数を記憶手段２５に記憶する。

また、キャリブレーション処理部２４１は、各キャリブレーション用マークの表示エリア２０１上の表示位置とそれぞれ対応するスクリーン４上の座標データとから、スクリーン４に形成されたドットパターンの配列方向を判定して、この判定したドットパターンの配列方向（以下、「配置データ」という。）を、記憶手段２５に記憶する。なお、後述する文字記入領域制御部２４１が、記憶手段２５に記憶された配置データを参照して、電子ペン１の傾き方向がスクリーン４とユーザの操作位置を基準とすると左右どちらであるかを判定する。

上述したスクリーン４上に形成されるドットパターンは、スクリーン４上のどの部分から６×６ドットを取ってもユニークなパターンとなり、スクリーン４のＸ座標及びＹ座標を電子ペン１によって検出することができるように配列されていて、ドットパターンの配列に向き（方向）を持っている。また、電子ペン１は、ドットパターンの配列方向（具体的には、ドットパターンによって示されるＸ軸の座標の向き）に基づいて電子ペン１自体の傾き方向を検出する。スクリーン４が規定通り設置されておらず、例えば、通常設置されるべきスクリーン４の上下左右が１８０度回転し、ドットパターンの配列が正規の方向に配列されていない場合であって、電子ペン１が撮像したドットパターンの画像データを解析して電子ペン１の傾き方向を検出した場合には、検出された電子ペン１の傾き方向がスクリーン４とユーザの操作位置を基準とすると左右反対になってしまう。具体的には、図８（ａ）に示すように、通常、スクリーン４は、スクリーン４上に形成されたドットパターンの配列は、Ｘ軸の値が左から右に増大し、かつ、Ｙ軸の値が上から下へ増大するように設置される。しかしながら、人為的なミスその他の原因によりスクリーン４の上下左右が回転されて設置される可能性もある。そして、スクリーン４の上下左右が１８０度回転された状態において設置されると、図８（ｂ）に示すように、Ｘ軸の値は右から左に増大し、Ｙ軸の値は下から上に増大するようにドットパターンが配列することになる。この結果、電子ペン１が、Ｘ軸の値が増大する方向に電子ペン１が傾いていることを検出した場合に、図８（ｂ）に示すドットパターン配列の上下左右が１８０度回転されたスクリーン４では、電子ペン１の傾き方向は左側となり、図８（ａ）に示す規定通りのドットパターン配列が設置されたスクリーン４とは、左右反対になってしまう。そこで、キャリブレーション処理部２４１は、ドットパターンの配列方向を判定して、配置データを記憶手段２５に記憶する。

（２）座標変換部
座標変換部２４２は、電子ペン１から送信されて受信したストローク毎の各記入情報に含まれるスクリーン４上のＸ、Ｙ座標データを、キャリブレーション処理部２４１によって求めた座標変換関数に基づいて、表示手段２６の表示エリア２０１上におけるストロークのＸ、Ｙ座標に変換する。そして、座標変換部２４２は、この変換後のＸ，Ｙ座標（以下、「較正座標」ともいう。）にそれぞれ対応する記入情報に含まれる傾き方向データを関連付けして、ペンＩＤ毎、ストローク毎に記憶手段２５に記憶する。

（３）文字記入領域制御部
文字記入領域制御部２４３は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値及びその範囲を画定表示するための画定マーク２０７の情報に基づいて、図１に示すように、表示手段２６の表示エリア２０１に文字記入領域２０６を表示させる。特に、文字記入領域制御部２４３は、初期設定として、表示手段２６の表示エリア２０１の左下隅、左上隅、右下隅又は右上隅のいずれかに、画定マーク２０７を用いることによって横長の長方形状の文字記入領域２０６を表示させる。そして、文字記入領域制御部２４３は、図１に示すように、この画像と同一の画像をスクリーン４に投影させるための画像信号を、送信手段２７を介してプロジェクタ３に送信する。

なお、これにより、スクリーン４の左下隅に、画定マーク４０７によって特定可能な文字記入領域４０６が表示される。また、図１においては、文字記入領域２０６，４０６が左下隅に外枠表示されているが、文字記入領域２０６，４０６が黄色その他の色を用いて強調表示されていてもよく、記入情報の記入を促すための罫線（下線）によって文字記入領域２０６，４０６が表示されるようにしてもよい。

文字記入領域制御部２４３は、ユーザによってスクリーン４上の文字記入領域４０６に文字が記入され、文字記入領域２０６に文字が入力されると、傾き制御プログラムに従って、文字の入力開始後の予め定められた数のストローク（例えば、第１文字Ｗ１における第１ストローク１から第４ストローク４までの４つのストローク）における電子ペン１の傾き方向データに基づいて、電子ペン１の傾きの有無及び傾いている場合にはその傾き方向を特定する。具体的には、１のストロークのみの判断では、当該ストロークのときのみ逆側に傾いている場合も想定されるため、文字記入領域制御部２４３は、複数のストロークの傾き方向データに基づいて電子ペン１の傾きの有無及び傾いている場合にはその傾き方向を特定する。
文字記入領域制御部２４３は、座標変換部２４２が演算した各較正座標にそれぞれ関連付けられて記憶部２５に記憶されている傾き方向データを「Ｘ軸の値の大きい側」「Ｘ軸の値の小さい側」及び「傾き無し」の項目毎に集計する。

そして、文字記入領域制御部２４３は、これらの中から集計された数が最も多い項目によって電子ペン１がその方向に傾いている又は傾いていないことを判定する。さらに、文字記入領域制御部２４３は、集計結果により電子ペン１が「Ｘ軸の値の大きい側」又は「Ｘ軸の値の小さい側」に傾いていると判定した場合には、キャリブレーション処理部２４１が判定して記憶部２５に記憶されている配置データを参照して、電子ペン１がスクリーン４面に対して右側に傾いているのか、左側に傾いているのかを特定する。具体的には、文字記入領域制御部２４３は、集計結果により電子ペン１が「Ｘ軸の値の大きい側」に傾いていると判定した場合に、配置データが「回転なし」であった場合に、電子ペン１がスクリーン４面に対して右側に傾いていると特定する。一方、文字記入領域制御部２４３は、集計結果により電子ペン１が「Ｘ軸の値の大きい側」判定した場合に、配置データが「１８０度回転」であった場合、電子ペン１がスクリーン４面に対して左側に傾いていると特定する。同様に、文字記入領域制御部２４３は、集計結果により電子ペン１が「Ｘ軸の値の小さい側」に傾いていると判定した場合には、配置データが「回転なし」であった場合、電子ペン１がスクリーン４面に対して左側に傾いていると特定し、配置データが「１８０度回転」であった場合、電子ペン１がスクリーン４面に対して右側に傾いていると特定する。

また、文字記入領域制御部２４３は、電子ペン１が右に又は左に傾いていると特定された場合には、この傾きの方向と文字記入領域２０６が表示エリア２０１内に表示される画像内に形成される位置（すなわち、文字記入領域２０６の座標領域の位置）とに基づいて予め定められた角度（±θ）、例えば、１５度から３０度内であってユーザ操作により又は初期設定として予め定められた角度（±θ）に文字記入領域２０６を傾ける。

具体的には、文字記入領域制御部２４３は、電子ペン１がスクリーン４面に対して右に傾いていると判断された場合であって（すなわち、その結果としてユーザの電子ペン１における操作位置が文字記入領域４０６の右に位置すると判断された場合であって）、文字記入領域２０６が表示手段２６の表示エリア２０１に表示されている画像の下隅に形成されている場合には、文字記入領域２０６の左上隅を基点（「基準点（中心点）」ともいう。）Ｂとして上方に回転させて予め定められた角度（θ）まで文字記入領域２０６を傾ける。そして、上述のように、スクリーン４には表示エリア２０１に表示された画像と同一画像が投影されるので、図９（ａ）に示すように、文字記入領域２０６と同様に、スクリーン４上に投影された文字記入領域４０６も、基点を中心として上方に回転して予め定められた角度（θ）まで傾く。

また、文字記入領域制御部２４３は、電子ペン１がスクリーン４面に対して右に傾いていると特定された場合であって、文字記入領域２０６が表示手段２６の表示エリア２０１に表示されている画像の上隅に形成されている場合には、文字記入領域２０６の左上隅を基点として下方に回転させて予め定められた角度（−θ）まで文字記入領域４０６（２０６）を傾ける。そして、上述のように、スクリーン４には表示エリア２０１に表示された画像と同一画像が投影されるので、図９（ｂ）に示すように、文字記入領域２０６と同様に、スクリーン４上に投影された文字記入領域４０６も基点を中心として下方に回転して予め定められた角度（θ）まで傾く。

一方、文字記入領域制御部２４３は、電子ペン１がスクリーン４面に対して左に傾いていると特定された場合であって（すなわち、その結果としてユーザの電子ペン１における操作位置が文字記入領域４０６の左に位置すると判断された場合であって）、文字記入領域２０６が表示手段２６の表示エリア２０１に表示されている画像の下隅に形成されている場合には、文字記入領域２０６の右上隅を基点として上方に回転させ、予め定められた角度（θ）まで文字記入領域４０６（２０６）を傾ける。そして、上述のように、スクリーン４には表示エリア２０１に表示された画像と同一画像が投影されるので、図１０（ａ）に示すように、文字記入領域２０６と同様に、スクリーン４上に投影された文字記入領域４０６も基点を中心として上方に回転して予め定められた角度（θ）まで傾く。

また、文字記入領域制御部２４３は、電子ペン１がスクリーン４面に対して左に傾いていると特定された場合であって、文字記入領域２０６表示手段２６の表示エリア２０１に表示されている画像の上隅に形成されている場合には、文字記入領域２０６の右上隅を基点として下方に回転させ、予め定められた角度（θ）まで文字記入領域２０６を傾ける。そして、上述のように、スクリーン４には表示エリア２０１に表示された画像と同一画像が投影されるので、図１０（ｂ）に示すように、文字記入領域２０６と同様に、スクリーン４上に投影された文字記入領域４０６も基点を中心として下方に回転して予め定められた角度（θ）まで傾く。

他方、文字記入領域制御部２４３は、電子ペン１がどちらにも傾いていないと判定された場合には（すなわち、その結果としてユーザの電子ペン１における操作位置が正面であると判断されるので）、文字記入領域２０６を傾けず、その状態を維持する。なお、上述の各基点は、上記の位置に特定されず、上下左右の異なる四隅を基点として用いてもよい。また、ユーザの操作により任意の位置に設定されてもよい。ただし、この基点は、文字記入領域２０６を傾けたとしても傾けられた文字記入領域２０６の全体の座標領域が表示エリア２０１に表示される画像内に形成されるように定めなければならない。そのため、四隅のうち文字記入領域４０６に対するユーザの操作位置とは反対側の２つの隅（例えば、ユーザの操作位置が右側の場合、左上隅または右上隅）のどちらかが基点として定められるようにするとよい。

文字記入領域制御部２４３は、文字記入領域２０６に文字が入力され始めたときのみ、一度だけ上述の傾き制御処理を実行する。したがって、文字記入領域制御部２４３は、一度、文字記入領域２０６を傾けた場合には、文字認識処理が実行されて、文字記入領域２０６内に入力されたストロークのリセットが為されるまで、傾き制御処理は実行されない。ただし、傾き制御処理を実行した際に、電子ペン１の傾き方向が無く、ユーザの電子ペン１における操作位置が文字記入領域４０６の正面であると判定された場合のみ、その後の予め定められた数のストロークに基づいて、再度、傾き制御処理を実行してもよい。この場合には、既に傾き制御処理が実行された旨及びそれによって文字記入領域２０６を傾けなかった旨などのヒストリー情報が記憶手段２５に記憶され、この記憶されたヒストリー情報に基づいて再度の傾き制御処理が実行される。ここで、このリセットとは、文字記入領域２０６の傾きを元に戻して初期状態にリセットするとともに、傾きフラグ情報その他の情報をもリセットすることを示す。

（４）文字認識処理部
文字認識処理部２４４は、記憶手段２５に記憶された文字認識処理プログラムに従って、文字記入領域４０６内に記入されて文字記入領域２０６に入力された電子ペン１のストロークについて文字認識処理を実行する。特に、文字認識処理部２４４は、ユーザの指示に基づいて記入が完了した文字列の文字認識を行う。そして、文字認識処理部２４４は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）などの文字認識を行うプログラムと同様に、ストローク（文字記入領域４０６に電子ペン１で記入され、文字記入領域２０６に入力されたストローク）ＳＴにおける座標変換されたＸ、Ｙ座標群から形成されるパターンと記憶手段２５に予め記憶された各文字や記号のパターン情報とを照合して文字または記号を特定する。

具体的には、文字認識処理部２４４は、文字記入領域４０６に文字又は記号などのユーザによる記入が実行されて文字記入領域２０６に文字が入力された後であって、コンピュータ装置２などの図示しない認識開始キーまたは座標入力領域（画像投影領域）４０３内の図示しない認識開始領域若しくは電子ペン１の文字記入領域４０６内でのタップ動作を検知した場合に、ユーザにおける文字の記入が完了したと判断し、文字記入領域２０６内に含まれている文字列を一括的に文字認識する。特に、文字認識処理部２４４は、上述のようなユーザの指示が入力されると、文字記入領域２０６内の記入情報として記憶手段２５に記憶されているストロークの各較正座標（すなわち、電子ペン１のスクリーン４上のストロークの座標データに対応する、表示手段２６の表示画面上におけるストロークの座標データ群）を傾斜角度（±θ）及び傾き制御処理が実行された際の基点の各データに基づいて逆回転させ、その座標変換後の座標データに基づいて文字認識を行う。すなわち、記憶手段２５に記憶されている傾きフラグ情報が、文字記入領域２０６が傾いていることを示す場合（フラグが立っている場合）には、文字認識処理部２４４は、各ストロークの各較正座標群に対して、文字記入領域２０６において傾き制御処理が実行された際の基点を中心として、設定されている傾斜角度（θ）又は（−θ）だけ逆回転させる（−θ又はθの回転行列をかける）ことによって各ストロークの較正座標を正規化するとともに、この正規化後のＸ，Ｙ座標群によって形成されるパターンに対して文字認識処理を実行する。

これにより、傾斜して記入された文字又は記号を傾斜の無い水平に書かれた状態に修正することができるので、文字等の特定に関する精度、すなわち、文字認識における認識精度を向上させることができる。また、この文字認識処理が実行された場合には、次に記入される文字列を認識するために、文字記入領域２０６内に表示されている全てのストロークは消去される（リセットされる）とともに、文字記入領域２０６，４０６が傾いている場合には、その傾きも傾きフラグ情報などの関連情報とともにリセットされる。

［傾き制御処理］
次に、図１１を用いて情報処理システム１０における傾き制御処理の動作について、記入情報の受信に伴う各種の処理とともに説明する。なお、図１１は、傾き制御処理を含む表示処理を示すフローチャートである。

本動作処理においては、予めキャリブレーション処理部２４１によりキャリブレーション処理が実行され、座標変換関数及び配置データが求められて記憶手段２５に記憶されており、座標変換部２４２による座標変換が行われる状態にある。また、文字記入領域制御部２４３は、記憶手段２５に記憶された文字記入領域２０６の座標領域の初期値を参照して、図１に示すように、表示手段２６の表示エリア２０１の左下に、長方形状の画定マーク２０７によって画定される文字記入領域２０６を表示させている。さらに、この画像と同じ画像を示すための画像信号が、送信手段２７からプロジェクタ３へ送信されているため、プロジェクタ３により、スクリーン４の画像投影領域４０３の左下には、画定マーク４０７によって画定される文字記入領域４０６が投影されて表示されている。

まず、記入者であるユーザによってスクリーン４上に一のストロークが記入されると、電子ペン１は、この記入されたストロークの各記入情報をコンピュータ装置２に順次送信する（ステップＳ１０１）。具体的には、電子ペン１は、圧力センサ１０７によって検出した筆圧に基づいてペンダウンが検知されてユーザによってストロークの開始を認識すると、ＬＥＤ１０５及びＣＭＯＳカメラ１０６をオンにし、圧力センサ１０７によってペンアップが検出されてユーザによるストロークの終了を認識するまで、所定の時間間隔毎にスクリーン４のドットパターンを撮影し、この撮影された画像毎に、Ｘ、Ｙ座標を算出するとともに電子ペン１自体の傾き方向を検出し、算出されたＸ、Ｙ座標データ及び検出された傾き方向データを含む座標属性情報等にペンＩＤを関連付けして記入情報を生成して順次コンピュータ装置２に送信する。

また、コンピュータ装置２において電子ペン１から送信された各記入情報の受信を開始すると、処理手段２４は、各記入情報をペンＩＤ毎に記憶手段２５に順次記憶させる（ステップＳ２０１）。

次いで、座標変換部２４２は、記憶手段２５に記憶されている座標変換関数に基づいて、受信した各記入情報の座標データを表示手段２６の表示エリア２０１に表示するための座標（較正座標）に順次変換する（ステップＳ２０２）。

次いで、座標変換部２４２は、較正座標のデータを、対応する記入情報に含まれる傾き方向データと関連付けしてストローク毎にペンＩＤに対応付けて記憶手段２５に順次記憶させ、かつ、較正座標に基づいて表示手段２６の表示エリア２０１にストロークとして描画する（ステップＳ２０３）。なお、ステップＳ２０３の処理のときに、送信手段２７は、表示手段２６の表示エリア２０１に表示されている画像と同一の画像、すなわち、描画されたストロークを含む画像をスクリーン４に投影するための画像信号をプロジェクタ３に送信する。

次いで、座標変換部２４２は、受信された各記入情報に対して、各較正座標が文字記入領域２０６内に含まれるか否かを判断する（ステップＳ２０４）。すなわち、座標変換部２４２は、受信した各記入情報から構成されるストロークが文字記入領域２０６に属するストロークに該当するか否かを判断する。この場合において、スクリーン４上の文字記入領域４０６は、表示手段２６の表示エリア２０１の文字記入領域２０６に対応するため、ユーザがスクリーン４上の文字記入領域４０６内に文字又は記号を入力することによって送信されたストロークの各記入情報における座標データから、座標変換部２４２による座標変換により、表示エリア２０１における文字記入領域２０６にこのストロークが含まれていることを認識することができる。

ステップＳ２０４の処理において、座標変換部２４２が、各較正座標に基づいて、受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていると判断した場合には（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５の処理に移行し、較正座標に基づいて受信された各記入情報から構成されるストロークが文字記入領域２０６に含まれていないと判断した場合には（ステップＳ２０４：Ｎｏ）、本動作処理を終了させる。

次いで、文字記入領域制御部２４３は、記憶手段２５に記憶された傾きフラグ情報に基づいて文字記入領域２０６が既に回転しているか否かを判断する（ステップＳ２０５）。文字記入領域制御部２４３が、傾きフラグ情報に基づいて文字記入領域２０６が未だ回転していないと判断した場合には（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０６の処理に移行し、傾きフラグ情報に基づいて文字記入領域２０６が既に回転したと判断した場合には（ステップＳ２０５：Ｎｏ）、本動作処理を終了させる。

次いで、文字記入領域制御部２４３は、文字の記入開始後に予め定められた順番のストローク（例えば文字記入領域２０６に記入を開始してから４番目のストローク４）における各記入情報であるか否かを判断する（ステップＳ２０６）。すなわち、電子ペン１によって検出された傾き方向の正確性を要求するために所定数のストロークの傾き方向データを集計する必要があり、一定数のストロークにおける記入情報を受信するまでは文字記入領域２０６を傾けるか否かを判断しない。

ステップＳ２０６の処理において、文字記入領域制御部２４３は、所定の順番のストロークであると判断した場合には、すなわち、一定数のストロークを受信したと判断した場合には（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７の処理に移行し、未だ一定数のストロークを受信していないと判断した場合には（ステップＳ２０６：Ｎｏ）、本動作処理を終了させる。

次いで、文字記入領域制御部２４３は、記憶手段２５に記憶された各ストロークの各較正座標に関連付けられている傾き方向データを集計して、電子ペン１がＸ軸の値の大きい側に傾いているのか、Ｘ軸の値の小きい側に傾いているのか、又は傾いていないのかを判定する。そして、文字記入領域制御部２４３は、電子ペン１がＸ軸の値の大小どちらか側に傾いていると判定した場合はさらに、記憶部２５に記憶されている配置データを参照して、電子ペン１のスクリーン４面に対する傾き方向、すなわち、電子ペン１のスクリーン４に対する左右の傾き方向を特定する（ステップＳ２０７）。

次いで、文字記入領域制御部２４３は、ステップＳ２０７の判定結果と文字記入領域２０６の座標領域の位置に基づいて、文字記入領域２０６を傾ける（ステップＳ２０８）。具体的には、文字記入領域制御部２４３は、ステップＳ２０７の判定結果によって電子ペン１がスクリーン４に対して右又は左に傾いていると特定された場合には、ステップＳ２０７の判定結果と文字記入領域２０６の座標と予め定められた基点に基づいて所定の方向に文字記入領域２０６を傾ける。また、このときに、送信手段２７は、表示手段２６の表示エリア２０１に表示されている画像と同一の画像、すなわち、描画されたストロークを含む画像をスクリーン４に投影するための画像信号をプロジェクタ３に送信するので、文字記入領域２０６と同様に文字記入領域４０６も傾く。なお、文字記入領域制御部２４３は、ステップＳ２０６の判定結果によって電子ペン１が傾いていないと判定された場合には、文字記入領域２０６を傾けずにその状態を維持する。

最後に、文字記入領域制御部２４３は、ステップＳ２０８において文字記入領域２０６を傾けた場合には、その傾けた文字記入領域２０６の座標領域および傾きフラグ情報などの所定の情報を記憶手段２５に記憶させて（ステップＳ２０９）本動作処理を終了させる。

［文字認識処理］
次に、図１２を用いて本第１実施形態における情報処理システム１０の文字認識処理の動作について説明する。なお、図１２は、文字認識処理の動作を示すフローチャートである。

まず、コンピュータ装置２においてコンピュータ装置２に設けられた図示しない認識開始キーが認識される等、所定の動作に基づく文字認識処理の開始指示を認識すると（ステップＳ３０１）、文字認識処理部２４４は、文字記入領域４０６に電子ペン１で記入されて文字記入領域２０６に入力されたストロークの各較正座標に対して、ステップＳ２０８において文字記入領域２０６を回転させた傾斜角度（θ）又は（−θ）の分、逆回転させ（−θ又はθの回転行列をかけて）、各ストロークを正規化する（ステップＳ３０２）。

そして、文字認識処理部２４４は、記憶手段２５に記録されているパターン情報を照合して、正規化された文字記入領域２０６内のＸ，Ｙ座標群によるパターン（各ストローク群の形状）から一または複数の文字または記号を認識する文字認識処理を行う（ステップＳ３０３）。

次いで、文字認識処理部２４４は、文字認識された文字、記号等を文字記入領域２０６から消去し、さらに文字認識処理に用いたストローク等の各データを記憶手段２５から消去して、文字認識後に特定された文字及び記号のテキストデータを、記憶手段２５に記憶させるとともに、表示エリア２０１の文字入力する位置として定められた場所に表示させる（ステップＳ３０４）。
次いで、文字認識処理部２４４は、文字記入領域２０６を初期値、すなわち、記憶手段２５に記憶されている初期の座標の位置に戻すとともに、傾きフラグ情報などの関連情報をリセットして（ステップＳ３０５）、本処理を終了させる。

［第１実施形態の作用効果］
以上のように、情報処理システム１０は、文字記入領域２０６に記入されたストロークに基づいて、スクリーン４上のドットパターンの形成面に対する電子ペン１の傾き方向を検出して、スクリーン４上の文字記入領域４０６に対するユーザの操作位置を特定することができるとともに、この特定したユーザの操作位置に基づいて文字記入領域２０６を傾けることができる。したがって、情報処理システム１０は、文字を記入しているときのユーザの操作位置を確実に判定し、ユーザにおける文字及び文字列の入力をスムーズに実行させることができるとともに、スムーズな文字及び文字列の入力を実現するために煩雑なユーザ操作をユーザに要求すること無くその操作性を向上させることができる。

また、情報処理システム１０は、予め文字記入領域２０６の傾ける角度を設定して傾き制御処理が実行されるので、煩雑なユーザ操作をユーザに要求すること無く、ユーザが文字入力をスムーズに実行することができるように文字記入領域２０６を確実に傾けることができる。

また、情報処理システム１０は、新たなデータを取得する必要が無く、ドットパターンのデータを取得する際に用いる画像データに基づいて電子ペン１の傾き方向を検出することができるので、簡易な構成によって電子ペン１の傾きの方向を検出することができる。

また、情報処理システム１０は、電子ペン１の傾きが実際には検出されたとしても、予め設定されたしきい値と比較することによって、検出された角度においては、電子ペン１の傾き方向を電子ペン１が傾斜している方向と反対の方向として検出することができる、又は、電子ペン１の傾きが生じていないと検出することができる。したがって、情報処理システム１０は、ユーザの利き手をも考慮して電子ペン１の傾き方向を判定し、ユーザの操作位置を特定することができるので、ユーザが文字入力をスムーズに実行することができる方向に文字記入領域２０６を確実に傾けることができる。

また、情報処理システム１０は、文字記入領域２０６を異なる基点によって、かつ、異なる方向に傾けることができるので、画像上のいずれの位置に文字記入領域２０６が形成されていても、ユーザに文字入力をスムーズに実行させることができる方向に文字記入領域を確実に傾けることができるとともに、傾いた文字記入領域２０６を画像内に確実に表示することができる。

また、情報処理システム１０は、スクリーン４の上下左右が反転して設置されるなどドットパターンの配列方向が異なる方向によって設置されたとしても、配列方向をその設置後に認識して文字記入領域２０６を制御することができるので、電子ペン１の傾きの方向を誤検出することなく確実に検出することができる。

また、情報処理システム１０は、記入された各文字における傾きが生じていない状態によって文字列の文字認識処理を実行することができるので、文字認識の精度を向上させることができる。

また、情報処理システム１０は、スクリーン４と表示手段２６の表示エリア２０１の異なる座標系を用いても文字記入領域２０６の傾き制御処理を確実に実行することができる。

［変形例］
上記の実施形態では、文字記入領域制御部２４３は、４つのストロークに基づいてユーザ操作の文字記入領域４０６に対する位置を特定しているが、このストローク数に限る必要はなく、一定数のストロークに基づいて、又は、最初のストロークのみに基づいてユーザ操作の文字記入領域４０６に対する位置を特定してもよい。また、一定のストローク毎ではなく記入される文字毎に、例えば、文字列の最初に入力される一文字目のストローク群に基づいてこの傾き方向を特定するようにしてもよい。ただし、この場合には、上述の文字認識処理とは別にまたは上述の文字認識処理と連動して一文字毎に文字認識を行いつつ、文字記入領域２０６の傾き方向を特定する。

また、上記実施形態では、撮像画像上のドットパターンの状態に基づいて電子ペン１とスクリーン４との角度を検出するようになっているが、電子ペン１にスクリーン４との角度を検出する加速度センサなどの角度センサを設けてもよい。この場合には、プロセッサ１０８は、加速度センサから出力された角度に基づいて電子ペン１の傾き方向を検出する。ただし、プロセッサ１０８は、加速度センサに代えて、または、加速度センサに加えてジャイロセンサやその他のセンサを用いることによって電子ペン１におけるスクリーン４との角度を受信できればよい。

また、上記の実施形態では、電子ペン１に設けられたプロセッサ１０８において、当該電子ペン１の傾斜角度に基づいて当該電子ペン１の傾き方向を検出するようになっているが、コンピュータ装置２に設けられた処理手段２４の文字記入領域制御部２４３において、当該電子ペン１の傾斜角度に基づいて当該電子ペン１の傾き方向を判定するようにしてもよい。この場合は、文字記入領域制御部２４３は、傾き制御処理のプログラム上において、図示しない操作部などの操作に基づいて標準モード（右利きモード）または左利きモードを予め認識するとともに、記憶手段２５に記憶された記入情報毎に、電子ペン１から送信された傾斜角度に基づいて、上述のプロセッサ１０８において実行された電子ペン１における傾き方向の判定を行う。すなわち、標準モードの場合には、図６（ａ）と同様に、スクリーン４に対して電子ペン１が垂直にある場合を基準として（すなわち、「０」度として）、ユーザの右手側に所定の角度に閾値（例えば−１５度）が設定されるので、文字記入領域制御部２４３は、この閾値と記入情報に含まれる電子ペン１の傾斜角度αに基づいて電子ペン１のＸ軸に対する傾き方向を判定する。具体的には、図６（ａ）に示すように、検出した傾斜角度αが「−Ｔ（閾値）」度＜α＜「９０」度内に属する場合には、文字記入領域制御部２４３は、電子ペン１の傾き方向を「Ｘ軸の値の小さい側」と判定し、検出した傾斜角度αが「−９０」度＜θ＜「−Ｔ（閾値）」度内に属する場合には、文字記入領域制御部２４３は、電子ペン１の傾き方向をＸ軸の値の大きい側と判定する。そして、検出した電子ペン１の傾斜角度が「−Ｔ（閾値）」と同一の場合には、文字記入領域制御部２４３は、電子ペン１の傾き方向を「傾き無し」と判定する。一方、左利きモードの場合には、図６（ｂ）と同様に、スクリーン４に対して電子ペン１が垂直にある場合を基準として、ユーザの左手側に所定の角度に閾値（例えば１５度）が設定されるので、文字記入領域制御部２４３は、この閾値と検出された電子ペン１の傾斜角度αに基づいて電子ペン１のＸ軸に対する傾き方向を検出する。具体的には、図６（ｂ）に示すように、検出した傾斜角度αが「Ｔ（閾値）」度＜α＜「９０」度内に属する場合には、文字記入領域制御部２４３は、電子ペン１の傾き方向を「Ｘ軸の値の小さい側」と判定し、検出した傾斜角度αが「−９０」度＜θ＜「Ｔ（閾値）」度内に属する場合には、文字記入領域制御部２４３は、電子ペン１の傾き方向をＸ軸の値の大きい側と判定する。そして、検出した電子ペン１の傾斜角度が「Ｔ（閾値）」と同一の場合には、文字記入領域制御部２４３は、電子ペン１の傾き方向を「傾き無し」と判定する。そして、文字記入領域制御部２４３は、上述のステップＳ２０７の処理において、このように記入情報毎に判定した電子ペン１の傾き方向に基づいて、各記入情報における傾き方向を集計し、電子ペン１がＸ軸の値の大きい側に傾いているのか、Ｘ軸の値の小きい側に傾いているのか、又は傾いていないのかを判定する。

＜第２実施形態＞
次に、図１３を用いて第２実施形態に係る情報処理システムについて説明する。なお、図１３は、本第２実施形態における情報処理システム１００の構成を示すシステム構成図である。

第２実施形態の情報処理システム１００は、第１実施形態においてプロジェクタ３を用いてスクリーン４に画像を表示するとともにスクリーン４を用いて文字、図形又は記号の記入、すなわち、ストロークの記入を行う点に代えて、コンピュータ装置２に表示手段２６としてプラズマディスプレイを用いるととともに、プラズマディスプレイ上に配設された透明又は半透明の光透過性シート９を用いてストロークの記入を行う点に特徴がある。なお、本実施形態において、第１実施形態と同一の部材については、同一の符号を付してその説明を省略する。また、本実施形態においては、これ以降及び図１３においてはプラズマディスプレイの符号として２６を用いる。

本第２実施形態の情報処理システム１００は、図１３に示すように、電子ペン１によって読取可能なドットパターン（コード化パターン）が印刷された光透過性シート９を有している。光透過性シート９は、プラズマディスプレイ２６の表示エリア２０１の前面に貼り付けられるとともに、表示エリア２０１に表示された画像が光透過性シート９の前面から視覚可能に表示される。ドットパターンは、赤外線を選択的に反射する特性を有するインキによって光透過性シート９に印刷されている。

電子ペン１では、プロセッサ１０８には、ＣＭＯＳカメラ１０６によって撮像された画像データから、赤外線反射の強い部分領域をドットであると認識するよう閾値を設けて判定される。その閾値は、ディスプレイから光透過性シート９を透過してくる赤外線のみの場合と、電子ペン１のＬＥＤ１０５から照射した赤外線がドットによって反射されることによる赤外線が含まれる場合とを区別できるよう設定される。

なお、電子ペン１のＣＭＯＳカメラ１０６によって撮像された画像データからドットを認識しやすくするため、ＣＭＯＳカメラ１０６に照射される光が赤外線だけとなるように、赤外線透過フィルターを電子ペン１の開口部１０２付近に設けてもよい。また、本実施形態のドットパターンは、アノト方式に限らなくともよい。また、本第２実施形態の情報処理システム１００は、第１実施形態の変形例を適宜適用可能である。

本発明の情報処理システムは、学校の授業や企業等での会議、講演会、プレゼンテーション、ワードプロセッサ等の外部アプリケーションでのペン入力操作などで利用することができる。

Ｐ … ペン先
Ｚ … 仮想格子
ＳＴ … ストローク
１ … 電子ペン
２ … コンピュータ装置
３ … プロジェクタ
４ … スクリーン
９ … 光透過性シート
２１ … 入力手段
２２ … 受信手段
２４ … 処理手段
２５ … 記憶手段
２６ … 表示手段（プラズマディスプレイ）
２７ … 送信手段
１０１ … 筐体
１０２ … 開口部
１０３ … ペン先部
１０４ … ペン部
１０６ … ＣＭＯＳカメラ
１０７ … 圧力センサ
１０８ … プロセッサ
１０９ … メモリ
１１０ … リアルタイムクロック
１１１ … 通信ユニット
１１２ … バッテリー
１１３ … 利き手切り換えボタン
２０１ … 表示エリア
２０６ … 文字記入領域
２０７ … 画定マーク
２４１ … キャリブレーション処理部
２４２ … 座標変換部
２４３ … 文字記入領域制御部
２４４ … 文字認識処理部
２４５ … 表示制御部
４０１ … マグネット板（ホワイトボード）
４０２ … 用紙
４０３ … 座標入力領域（画像投影領域）
４０６ … 文字記入領域
４０７ … 画定マーク
１０，１００ … 情報処理システム

Claims (17)

1. ユーザによる操作に基づいて位置座標を示すコード化パターンが形成されたスクリーン上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
   前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記読取手段の移動経路の座標を算出する算出手段と、
   前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記スクリーン上に形成されたコード化パターンの形成面に対する前記読取手段の傾斜角度を検出する検出手段と、
   前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段と、
   前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された読取手段の傾斜角度に基づいて傾ける文字記入領域制御手段と、
   を備えることを特徴とする情報処理システム。
2. ユーザによる操作に基づいて位置座標を示すコード化パターンが形成された光透過シート上を移動した際に、前記コード化パターンを移動経路に沿って読み取る読取手段と、
   前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記読取手段の移動経路の座標を算出する算出手段と、
   前記読取手段によって読み取ったコード化パターンのデータに基づいて、前記光透過シート上に形成されたコード化パターンの形成面に対する前記読取手段の傾斜角度を検出する検出手段と、
   前記算出された移動経路の座標に基づいて当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段と、
   前記光透過シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された読取手段の傾斜角度に基づいて傾ける文字記入領域制御手段と、
   を備えることを特徴とする情報処理システム。
3. 請求項１または２に記載の情報処理システムにおいて、
   前記文字記入領域制御手段は、前記文字記入領域内に形成される前記読取手段の移動経路によって検出された前記読取手段の傾斜角度に基づいて、当該文字記入領域を傾けることを特徴とする情報処理システム。
4. 請求項１乃至３の何れか一項に記載の情報処理システムにおいて、
   前記文字記入領域制御手段は、前記検出された読取手段の傾斜角度に基づいて前記予め定められた角度に前記文字記入領域を傾けることを特徴とする情報処理システム。
5. 請求項１乃至４の何れか一項に記載の情報処理システムにおいて、
   前記読取手段は、前記スクリーンまたは前記光透過シートに形成されたコード化パターンを撮像して撮像画像を画像データ化し、当該画像データを解析してコード化パターンのデータを取得するとともに、
   前記検出手段は、前記撮像画像上に形成されるコード化パターンの状態に基づいて前記スクリーン上又は前記光透過シート上に形成されたコード化パターンの形成面に対する前記読取手段の傾斜角度を検出することを特徴とする情報処理システム。
6. 請求項１乃至５の何れか一項に記載の情報処理システムにおいて、
   前記検出手段は、前記検出した読取手段の傾斜角度に基づいて当該読取手段の傾き方向を検出し、
   前記文字記入領域制御手段は、前記検出された読取手段の傾き方向に基づいて前記文字記入領域を傾けることを特徴とする情報処理システム。
7. 請求項６に記載の情報処理システムにおいて、
   前記検出手段は、（ａ）予め定められた閾値を超える傾斜角度を検出した場合に前記読取手段が傾斜している方向を前記読取手段の傾き方向として判定すること、または（ｂ）予め定められた閾値以下の傾斜角度を検出した場合に前記読取手段が傾斜している方向と反対の方向を前記読取手段の傾き方向として判定することの何れか一の判定を実行する情報処理システム。
8. 請求項１乃至５の何れか一項に記載の情報処理システムにおいて、
   前記検出手段によって検出された読取手段の傾斜角度に基づいて当該読取手段の傾き方向を判定する判定手段を更に備え、
   前記文字記入領域制御手段は、前記判定された読取手段の傾き方向に基づいて前記文字記入領域を傾けることを特徴とする情報処理システム。
9. 請求項８に記載の情報処理システムにおいて、
   前記判定手段は、（ａ）前記検出された傾斜角度が予め定められた閾値を超える場合に前記読取手段が傾斜している方向を前記読取手段の傾き方向として判定すること、または、（ｂ）前記検出された傾斜角度が予め定められた閾値以下の場合に前記読取手段が傾斜している方向と反対の方向を前記読取手段の傾き方向として判定することの何れか一の判定を実行することを特徴とする情報処理システム。
10. 請求項１乃至９の何れか一項に記載の情報処理システムにおいて、
    前記文字記入領域は、前記検出された読取手段の傾き方向と前記スクリーンに投影された画像内又は前記光透過シートに表示された画像内に形成される前記文字記入領域の位置とに基づいて異なる方向に傾くことを特徴とする情報処理システム。
11. 請求項１乃至１０の何れか一項に記載の情報処理システムにおいて、
    前記文字記入領域は、前記検出された読取手段の傾き方向と前記スクリーンに投影された画像内又は前記光透過シートに表示された画像内に形成される前記文字記入領域の位置とに基づいて異なる基準点によって傾くことを特徴とする情報処理システム。
12. 請求項１乃至１１の何れか一項に記載の情報処理システムにおいて、
    前記スクリーン又は光透過シートに形成された前記コード化パターンの配列方向を認識する認識手段を更に備え、
    前記文字記入領域制御手段は、前記認識されたコード化パターンの配列方向と前記検出された読取手段の傾き方向とに基づいて、前記ユーザが前記読取手段を移動させたときの前記移動経路に対する前記ユーザの操作位置を判定し、前記判定されたユーザの操作位置に基づいて前記文字記入領域を傾けることを特徴とする情報処理システム。
13. 請求項１乃至１２の何れか一項に記載の情報処理システムにおいて、
    前記文字記入領域内の前記移動経路の形状に基づいて文字認識を実行する文字認識処理手段を更に備え、
    前記文字認識処理手段は、前記文字記入領域が傾いている場合には、当該文字記入領域の傾き角度に基づいて、前記読取手段の移動経路を傾く前の文字記入領域に相当する移動経路に変換して前記文字認識を実行することを特徴とする情報処理システム。
14. 請求項１に記載の情報処理システムにおいて、
    前記スクリーンに投影される画像と同一の画像が表示される表示手段の表示制御を行う表示制御手段と、
    前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段と、
    を更に備え、
    前記文字記入領域制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を傾けることを特徴とする情報処理システム。
15. 請求項２に記載の情報処理システムにおいて、
    前記算出手段によって算出された座標を、前記表示手段の表示画面の座標に変換する座標変換手段を更に備え、
    前記文字記入領域制御手段は、前記座標変換手段によって変換された座標に基づいて、前記文字記入領域を傾けることを特徴とする情報処理システム。
16. 位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成されたスクリーン上を移動した際に、当該電子ペンの移動経路を示す形状を当該スクリーンに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、
    前記電子ペンによって読み取ったコード化パターンのデータに基づいて前記スクリーン上に形成されたコード化パターンの形成面に対する当該電子ペンの傾斜角度と前記算出された移動経路の座標とを受信する受信手段、
    前記算出された移動経路の座標に基づいて形成される当該移動経路の形状を、画像として前記スクリーンに投影する投影手段に出力する投影出力手段、
    前記スクリーン上に投影される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された電子ペンの傾斜角度に基づいて傾ける文字記入領域制御手段、
    として機能させることを特徴とする表示処理プログラム。
17. 位置座標を示すコード化パターンを読み取るとともに移動経路の座標を算出する電子ペンが、ユーザによる操作に基づいて当該コード化パターンが形成された光透過シート上を移動した際に、当該電子ペンの移動経路を示す形状を当該光透過シートに表示するための情報処理を行うコンピュータにより実行される表示処理プログラムであって、
    前記電子ペンによって読み取ったコード化パターンのデータに基づいて前記光透過シート上に形成されたコード化パターンの形成面に対する当該電子ペンの傾斜角度と前記算出された移動経路の座標とを受信する受信手段、
    前記算出された移動経路の座標に基づいて当該移動経路の形状を、画像として前記光透過性シートの背面から、当該光透過性シートの前面から視覚可能に表示する表示手段に出力する表示出力手段、
    前記光透過シート上に表示される画像の一部に形成される領域であって前記移動経路の形状を文字として処理するための文字記入領域を、前記検出された電子ペンの傾斜角度に基づいて傾ける文字記入領域制御手段、
    として機能させることを特徴とする表示処理プログラム。

Images