JP4613456B2 - 画像表示装置、画像表示方法、および、プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、操作者等の操作に従った画像を表示画面上に描画する画像表示装置、画像表示方法、および、プログラムに関する。
【０００２】
【従来の技術】
スクリーンに映像を投影するとともに、このスクリーンに補助光が投影されたとき、レーザポインタ等が発する補助光の位置を検出して、映像のうち補助光が投射された位置にあたる部分を変更する技術として特許２６２２６２０号が知られている。
【０００３】
【発明が解決しようとする課題】
しかし、特許２６２２６２０号の技術はスクリーンに投影された補助光（スポット）の位置を検出するため、スクリーンに投影された補助光を撮像する場合、撮像を行う撮像装置の受光面がスクリーン正面に正確に対向していないと、補助光の位置を正しく検出できなかった。
【０００４】
従って、撮像装置を設置する位置が制約され、更には、レーザポインタ等の操作者の位置も制約される結果、操作性が悪くなっていた。また、撮像装置を設置する作業を正しく行うことも困難になり、特に撮像装置の光学系に収差等がある場合、正しい設置位置の決定は極めて困難であった。また、撮像装置とスクリーンの位置関係を、撮像装置が正確に設置された状態で固定してしまうと、撮像装置の位置が変更できないので、撮像装置を他の用途に用いることができなくなっていた。
【０００５】
この発明は、上記実状に鑑みてなされたもので、撮像装置を任意の位置に置いても適正な表示画面を提供するとともに、撮像されたスポット（補助光）の位置を表示画面に正しく反映することができる、操作性が良好な画像表示装置、画像表示方法、および、プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、この請求項１記載の発明は、
スポット及びこのスポットを含む領域を任意の位置から撮像する撮像手段と、この撮像手段によって撮像された領域の画像データを生成する生成手段と、この生成手段によって生成された画像データに基づく画像を表示する表示手段とを備えた画像表示装置において、
前記画像データを加工する加工手段と、前記領域における前記スポットの位置座標を計測する計測手段と、この計測手段によって計測された前記スポットの位置座標を、前記加工手段による加工の結果得られる加工後の画像データに反映される位置座標に変換する座標変換手段と、
を備え、
加工前の画像データが表す加工前の領域は四角形であり、前記加工手段による加工後の画像データが表す加工後の領域は長方形であり、前記加工手段は、加工前の領域をなす四角形の対向する２辺の交点の各々と当該四角形の対角線の交点とを結ぶ２本の直線により加工前の領域をなす四角形を４分割して得られる４つの四角形のうちいずれに前記スポットが含まれるかを判別し、加工後の領域をなす長方形の内部にある点を、スポットが含まれると判別された四角形の頂点のうち加工前の領域をなす四角形の頂点を兼ねている頂点に相当するものの方向へ、四角形の４分割を行った回数が多いほど小さくなるような所定量だけ移動する処理を行い、前記スポットが含まれると判別した四角形を加工前の領域をなす四角形とみなして、加工後の領域をなす長方形の内部にある点の位置が実質的に一定の位置に収束するまで更に前記処理を繰り返して行ったとした場合に、収束した点の位置が加工後の画像データが表すスポットの位置になるように、前記画像データを加工する、ことを特徴とする。
また、請求項２記載の発明は、上記請求項１記載の発明において、
前記計測手段は、複数の加工前の画像データに基づき、２つの時刻におけるスポットの位置及び速度を特定する手段を備え、
前記加工手段は、前記計測手段が特定した、前記２つの時刻におけるスポットの位置及び速度に基づき、当該２つの時刻間における当該スポットの推定位置を決定し、決定した推定位置にスポットが位置する画像を表すように、加工前の画像データを加工する、ことを特徴とする。
また、請求項３記載の発明は、上記請求項１記載の発明において、
前記計測手段は、複数の加工前の画像データに基づき、スポットの速度を特定する手段を備え、
前記加工手段は、前記計測手段が特定した速度、及び、加工後の画像データが表す画像内でスポットが占めた最新の位置に基づき、加工後の画像データが示す画像内でスポットが次に占めるべき位置を決定し、決定した位置にスポットが来るように画像データを加工する、ことを特徴とする。
【００３０】
また、上記目的を達成するため、この請求項４記載の発明は、
スポットと、このスポットを含む領域を任意の位置から撮像する撮像ステップと、この撮像ステップにて撮像された領域の画像データを生成する生成ステップと、この生成ステップにて生成された画像データに基づく画像を表示画面に表示させる表示ステップとからなる画像表示方法であって、
前記画像データを加工する加工ステップと、前記領域における前記スポットの位置座標を計測する計測ステップと、この計測ステップにて計測された前記スポットの位置座標を、前記加工ステップでの加工の結果得られる加工後の画像データに反映される位置座標に変換する座標変換ステップと、
を含み、
加工前の画像データが表す加工前の領域は四角形であり、前記加工ステップでの加工後の画像データが表す加工後の領域は長方形であり、前記加工ステップでは、加工前の領域をなす四角形の対向する２辺の交点の各々と当該四角形の対角線の交点とを結ぶ２本の直線により加工前の領域をなす四角形を４分割して得られる４つの四角形のうちいずれに前記スポットが含まれるかを判別し、加工後の領域をなす長方形の内部にある点を、スポットが含まれると判別された四角形の頂点のうち加工前の領域をなす四角形の頂点を兼ねている頂点に相当するものの方向へ、四角形の４分割を行った回数が多いほど小さくなるような所定量だけ移動する処理を行い、前記スポットが含まれると判別した四角形を加工前の領域をなす四角形とみなして、加工後の領域をなす長方形の内部にある点の位置が実質的に一定の位置に収束するまで更に前記処理を繰り返して行ったとした場合に、収束した点の位置が加工後の画像データが表すスポットの位置になるように、前記画像データを加工する、ことを特徴とする。
【００４４】
また、上記目的を達成するため、この請求項５記載の発明は、
表示装置と撮像装置とに接続されるコンピュータを、
前記撮像装置に対し、スポットと、このスポットを含む領域を任意の位置から撮像させる撮像制御手段と、この撮像制御手段によって撮像された領域の画像データを生成する生成手段と、この生成手段によって生成された画像データに基づく画像を前記表示装置の表示画面に表示させる表示制御手段として機能させ、更に、
前記画像データを加工する加工手段と、前記領域における前記スポットの位置座標を計測する計測手段と、この計測手段によって計測された前記スポットの位置座標を、前記加工手段による加工の結果得られる加工後の画像データに反映される位置座標に変換する座標変換手段として機能させる、ためのプログラムであって、
加工前の画像データが表す加工前の領域は四角形であり、前記加工手段による加工後の画像データが表す加工後の領域は長方形であり、前記加工手段は、加工前の領域をなす四角形の対向する２辺の交点の各々と当該四角形の対角線の交点とを結ぶ２本の直線により加工前の領域をなす四角形を４分割して得られる４つの四角形のうちいずれに前記スポットが含まれるかを判別し、加工後の領域をなす長方形の内部にある点を、スポットが含まれると判別された四角形の頂点のうち加工前の領域をなす四角形の頂点を兼ねている頂点に相当するものの方向へ、四角形の４分割を行った回数が多いほど小さくなるような所定量だけ移動する処理を行い、前記スポットが含まれると判別した四角形を加工前の領域をなす四角形とみなして、加工後の領域をなす長方形の内部にある点の位置が実質的に一定の位置に収束するまで更に前記処理を繰り返して行ったとした場合に、収束した点の位置が加工後の画像データが表すスポットの位置になるように、前記画像データを加工する、ことを特徴とする。
【００４６】
【発明の実施の形態】
以下、この発明の実施の形態に係る画像表示装置及び画像表示方法を、描画システムを例とし、図面を参照して説明する。
【００４７】
（第１の実施の形態）
図１は、この発明の第１の実施の形態にかかる描画システムの構成を示す図である。
図示するように、この描画システムは、データ処理装置１と、画像入力部２と、表示部３と、発光部４とより構成されている。データ処理装置１は、画像入力部２及び表示部３に接続されている。
【００４８】
データ処理装置１は、図２に示すように、中央制御部１１と、画像解析部１２と、ＲＡＭ（Random Access Memory）１３と、外部記憶部１４と、ユーザ操作入力部１５とより構成されている。
中央制御部１１は、バスＢを介し、画像解析部１２、ＲＡＭ１３及び外部記憶部１４に接続されており、ユーザ操作入力部１５は中央制御部１１に接続されている。また、画像入力部２及び表示部３は、バスＢに接続されている。
【００４９】
中央制御部１１は、ＣＰＵ（Central Processing Unit）等より構成されている。中央制御部１１は、ユーザがユーザ操作入力部１５を操作して入力した指示に応答して、外部記憶部１４が記憶しているプログラムを読み込み、このプログラムに従って、後述する処理を実行する。
ＲＡＭ１３は、中央制御部１１及び画像解析部１２の作業用メモリとして機能する。
【００５０】
画像解析部１２は、ＣＰＵやＤＳＰ（Digital Signal Processor）等より構成されており、スポット光抽出部１２ａと、座標変換部１２ｂとより構成されていて、後述する画像解析処理を実行する。なお、同一のＣＰＵ等が中央制御部１１及び画像解析部１２の機能を行っていてもよい。
【００５１】
スポット光抽出部１２ａは、画像入力部２が撮像した画像（つまり、画像入力部２が作成して中央制御部１１がＲＡＭ１３に格納した画像データが示す画像）のうち、発光部４が照射したスポット光に相当する部分を特定する処理（スポット光抽出処理）を、図５のフローチャートに基づいた手順で行う。
【００５２】
座標変換部１２ｂは、スポット光抽出部１２ａが特定した部分が、表示部３の後述する表示画面上のどの位置にあるかを、画像入力部２が作成した画像データに基づいて特定する処理（座標変換処理）を図６のフローチャートに基づいた手順で行う。
【００５３】
外部記憶部１４は、ハードディスク装置等より構成されており、中央制御部１１が実行するプログラムを予め記憶する。
ユーザ操作入力部１５は、キーボードやマウス等より構成されており、ユーザ等の操作に従った情報（例えば、外部記憶部１４が記憶しているプログラムの実行の指示）を入力し、中央制御部１１に供給する。
【００５４】
画像入力部２は、ビデオカメラ等より構成されており、表示部３が備える表示画面を撮像し、撮像した画像を表す上述の画像データを作成して、この画像データを中央制御部１１に供給する
表示部３は、フラットスクリーンのＣＲＴ（Cathode Ray Tube）及び制御回路等より構成されており、中央制御部１１が供給する指示に従い、自己に供給された画像データが表す画像を、自己の表示画面上に表示する。
【００５５】
発光部４はライトペン等より構成されており、ユーザの操作に従った明るさの単色のスポット光を発する。具体的には、例えば発光部４は、自己の発光部分に加えられた圧力の大きさを表す信号を生成する圧力センサを備え、この発光部分が表示部３の表示画面上に押しつけられる強さにより決まる明るさで発光するものとする。そして、この発光部分が発するスポット光の明るさは、この発光部分が表示部３の表示画面上に押しつけられる強さに従って単調増加するものとする。尚、本実施の形態では発光部４は赤色発光するものとする。
【００５６】
（第１の実施の形態：動作）
次に、この描画システムの動作を、図３〜図６を参照して説明する。
図３は、描画処理を示すフローチャートである。
図４は、画像解析処理を示すフローチャートである。
図５は、スポット光抽出処理を示すフローチャートである。
図６は、座標変換処理を示すフローチャートである。
【００５７】
この描画システムが描画処理を開始すると、まず、画像入力部２が、表示部３の表示画面を撮像して、撮像した画像を表す画像データを作成し、この画像データを、データ処理装置１の中央制御部１１に供給する（図３、ステップＳ１）。この処理により表示部３の表示画面の画像が入力される。
【００５８】
画像入力部２が作成する画像データは、表示部３の表示画面をマトリクス状に配列された画素の集合としてみた場合における各画素の位置及び画素値を表す画素データより構成されている。なお、画素値は、画素の色を、赤、緑及び青の各原色成分の輝度の組み合わせとして表す変数である。また、画素の位置は、画像入力部２が撮像した画像をｘ軸及びｙ軸を含む直交座標平面上においた場合における、この画素の位置のｘ軸方向成分及びｙ軸方向成分の値の組として表されているものとする。
【００５９】
ステップＳ１で画像が入力された時点で、ユーザが発光部４を操作し、表示部３の表示画面上にスポット光を照射していれば、ステップＳ１で画像入力部２が作成する画像データは、このスポット光が表示部３の表示画面上に作る輝点（スポット）の画像も表すものとなる。
【００６０】
なお以下では、理解を容易にするため、表示部３の表示画面上に表示される画像が占め得る領域は、図７（ｂ）に示すように、点Ａ’〜点Ｄ’を頂点とし、辺Ａ’Ｂ’、辺Ｂ’Ｃ’、辺Ｃ’Ｄ’及び辺Ｄ’Ａ’を有する長方形Ａ’Ｂ’Ｃ’Ｄ’からなるものとする。
そして、画像入力部２は、必ずしも表示部３の表示画面を正面から撮像するものではない。このため、画像入力部２がステップＳ１で作成する画像データが表す画像のうち上述の領域に相当する領域は、必ずしも長方形Ａ’Ｂ’Ｃ’Ｄ’に相似な形状とはならない。
【００６１】
以下では、理解を容易にするため、画像入力部２がステップＳ１で作成する画像データが表す画像のうち長方形Ａ’Ｂ’Ｃ’Ｄ’が占める領域に相当する領域は、図７（ａ）に示すように、点Ａ、点Ｂ、点Ｃ及び点Ｄを頂点とし、辺ＡＢ、辺ＢＣ、辺ＣＤ及び辺ＤＡを有する四角形ＡＢＣＤからなるものとする。なお、作成された入力画像データに基づく画像において、点Ａの位置座標（ｘ_ａ，ｙ_ａ）、点Ｂの位置座標（ｘ_ｂ，ｙ_ｂ）、点Ｃの位置座標（ｘ_ｃ，ｙ_ｃ）、及び点Ｄの位置座標（ｘ_ｄ，ｙ_ｄ）は、画像解析処理以前の初期設定時においてユーザーが所定の操作、例えば、発光部４を用いて表示部３の表示画面上の４点をポイントし、その４点の位置座標を示すデータをインプットする、等の操作を行うことにより設定されるものとする。そして、四角形ＡＢＣＤの辺ＡＢ、辺ＢＣ、辺ＣＤ及び辺ＤＡは、順に、長方形Ａ’Ｂ’Ｃ’Ｄ’の辺Ａ’Ｂ’、辺Ｂ’Ｃ’、辺Ｃ’Ｄ’及び辺Ｄ’Ａ’に相当するようになっているものとする。
【００６２】
（画像解析処理：スポット光抽出処理）
中央制御部１１は、画像入力部２より画像データを供給されるとこの画像データをＲＡＭ１３に格納し、画像解析部１２に、画像解析処理の開始を指示する。画像解析部２は、この指示に従って、画像解析処理を開始する（ステップＳ２）。
【００６３】
画像解析部１２は、ステップＳ２で、具体的にはまず、スポット光抽出処理を実行する（図４、ステップＳ２１）。
スポット光抽出処理を開始すると、画像解析部１２のスポット光抽出部１２ａは、入力された画像データにおける各画素値の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）のうち赤成分（Ｒ）の輝度が最大である輝点（スポット）の赤成分の輝度を表す変数Ｒ_ｍａｘと、このスポットの位置座標を示す変数（ｘ，ｙ）の使用を宣言し（つまり、ＲＡＭ１３の記憶領域内に、変数Ｒ_ｍａｘ、変数ｘ及び変数ｙの値を格納するための記憶領域を確保し）、変数Ｒ_ｍａｘ及び変数（ｘ，ｙ）を初期化する（図５、ステップＳ２１１）。
【００６４】
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を特定し、特定した画素データの画素値が示す赤色成分の輝度の値を取得する（ステップＳ２１２）。ただし、ステップＳ２１２では、既にステップＳ２１２の処理で特定された画素データは、特定の対象から除外するものとする。
【００６５】
次に、スポット光抽出部１２ａは、ステップＳ２１２で最も新しく取得した赤色成分の輝度の値が、Ｒ_ｍａｘより大きいか否かを判別する（ステップＳ２１３）。そして、赤色成分の輝度の値がＲ_ｍａｘ以下であると判別すると、処理をステップＳ２１５へと移す。
【００６６】
一方、赤色成分の輝度の値がＲ_ｍａｘより大きいと判別したとき、スポット光抽出部１２ａは、ステップＳ２１２で新しく取得した赤色成分の輝度の値にＲ_ｍａｘを更新する（ステップＳ２１４）。また、ステップＳ２１４でスポット光抽出部１２ａは、（ｘ，ｙ）を、ステップＳ２１２で最も新しく特定した画素データが示す位置のｘ軸方向成分の値及びｙ軸方向成分の値へと更新する。ステップＳ２１４の処理が終わると、スポット光抽出部１２ａは処理をステップＳ２１５へと移す。
【００６７】
ステップＳ２１５で、スポット光抽出部１２ａは、ステップＳ２１２の処理で特定されていない画素データがまだ残っているか否かを判別する。そして、残っていると判別すると、スポット光抽出部１２ａは処理をステップＳ２１２に戻す。一方、残っていないと判別すると、画像解析部１２はスポット光抽出処理を終了し、処理を画像解析処理のステップＳ２２へと移す。
【００６８】
スポット光抽出処理が終了した時点での（ｘ，ｙ）は、ステップＳ１で画像入力部２が撮像した画像におけるスポットの位置のｘ軸方向成分及びｙ軸方向成分の値を表す。また、スポット光抽出処理が終了した時点でのＲ_ｍａｘは、このスポットの位置の赤成分の輝度を表す。
なお、以下では、スポット光抽出処理が終了した時点での（ｘ，ｙ）の値を、（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）とする。
【００６９】
画像解析部１２は、スポット光抽出処理を終えると、座標変換処理を開始する（ステップＳ２２）。座標変換処理が始まると、画像解析部１２の座標変換部１２ｂは、まず、図６に示すように、ステップＳ２２１の処理を実行する。
【００７０】
ステップＳ２２１で、座標変換部１２ｂは、初期設定により定められた点Ａ、Ｂ、Ｃ、Ｄの座標と、スポット光抽出処理によって分かったスポット（図７（ａ）に示す点Ｐ）の座標とに基づいて、以下説明する内分比ｓ及びｔ（ただし、ｓ及びｔはいずれも０以上１以下の値）を求める。
【００７１】
以下、ｓ及びｔを求める手順を詳細に示す。まず、図７（ａ）に示すように、点Ａ、点Ｓ及び点Ｐの位置には、数式１に示す関係がある。
【数１】

【００７２】
任意に設定された基準点を図７（ａ）に示す点Ｏとすると、図７（ａ）に示すように、点Ａ、点Ｄ、点Ｏ、点Ｑ及び点Ｓの位置には、数式２に示す関係がある。
【数２】

【００７３】
従って、図７（ａ）に示すように、点Ａ、点Ｂ、点Ｃ、点Ｄ及び点Ｐの位置には、数式３に示す関係がある。
【数３】

【００７４】
そして、座標変換部１２ｂは、数式３に対し点Ａ、Ｂ、Ｃ、Ｄ、Ｐの各Ｘ座標値、Ｙ座標値を代入し、Ｘ、Ｙの連立方程式を解くことにより内分比ｓ，ｔを導出する。
【００７５】
次に、座標変換部１２ｂは、上記ステップＳ２２２で導出された内分比ｓ、ｔに基づいて、表示画面、すなわち図７（ｂ）に示す平面における点Ｐ’の座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）を求め、求めた各座標値ｘ_ｄｉｓｐ及びｙ_ｄｉｓｐと、スポット光抽出処理を終了した時点でのＲ_ｍａｘとを、互いに対応付けてＲＡＭ１３に格納し（ステップＳ２２２）、座標変換処理を終える。つまり、点Ｐ’は、長方形Ａ’Ｂ’Ｃ’Ｄ’の辺Ａ’Ｄ’、及び辺Ｂ’Ｃ’をｔ：（１−ｔ）に内分し、更に辺Ａ’Ｄ’、及び辺Ｂ’Ｃ’をｔ：（１−ｔ）に内分する線Ｓ’Ｑ’をｓ：（１−ｓ）に内分する点である。
【００７６】
具体的には、座標変換部１２ｂは、例えば、数式４及び数式５の各右辺の値を計算することにより、ｘ_ｄｉｓｐ及びｙ_ｄｉｓｐを求める。尚、ｗ及びｈは、長方形（表示画面）Ａ’Ｂ’Ｃ’Ｄ’の幅及び高さであり、ｘ_{ｄｉｓｐ０}、ｙ_{ｄｉｓｐ０}は表示画面における基準位置（原点Ｏ’）を表す。
【００７７】
【数４】
ｘ_ｄｉｓｐ＝（ｗ×ｓ）＋ｘ_{ｄｉｓｐ０}
【数５】
ｙ_ｄｉｓｐ＝（ｈ×ｔ）＋ｙ_{ｄｉｓｐ０}
【００７８】
画像解析部１２は、座標変換処理を終えると、画像解析処理を終え、描画処理のステップＳ３へと処理を移す。
ステップＳ３で、中央制御部１１は、ステップＳ２２２でＲＡＭ１３に格納されたｘ_ｄｉｓｐ、ｙ_ｄｉｓｐ及びＲ_ｍａｘをＲＡＭ１３より読み出す。そして、中央制御部１１は、表示部３の表示画面上、座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）に相当する位置に、Ｒ_ｍａｘに相当する輝度を有するスポットを表示するよう、表示部３に指示する。表示部３は、この指示に従ったスポットを表示画面上に表示する。従って、座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）が、ステップＳ３で表示される輝点（スポット）の表示位置となる。
【００７９】
ステップＳ３でスポットが表示される位置は、表示画面上、発光部４が発する光が当たった位置となる。
なお、ステップＳ３において、この描画システムは、従前から表示されていたスポットを表示画面上から消去してもよいし、消去しなくてもよい。また、消去するか否かを、ユーザ等がユーザ操作入力部１５を操作して入力する指示に基づいて決定するようにしてもよい。
従前から表示されていたスポットを表示画面上から消去しない場合、表示画面上には、発光部４が発する光が表示画面上で当たった位置の軌跡が表示されるので、発光部４の操作者は、発光部４を用いて表示画面上に文字や図形を描画することができる。
【００８０】
次に、中央制御部１１は、ユーザ等がユーザ操作入力部１５を操作して画像の表示の終了を指示したか否かを判別する（ステップＳ４）。そして、指示していないと判別すると、処理をステップＳ１に戻す。一方、画像の表示の終了を指示したと判別すると、描画処理を終了する。
【００８１】
なお、この描画システムの構成は上述のものに限定されることなく、種々の変形及び応用が可能である。
例えば、表示部３は液晶ディスプレイ等から構成されていてもよく、また、ステップＳ３で表示部３の表示画面上に表示されるスポットは必ずしも輝点である必要はなく、任意の色、若しくは図形であってもよい。また、発光部４による発光強度は必ずしも可変である必要はなく、また、発光部４が発する光は単色光である必要はない。
【００８２】
また、スポット光抽出部１２ａは、互いに異なる色の複数のスポットを抽出し、座標変換部１２ｂは、スポット光抽出部１２ａが抽出した各々のスポットについて、表示画面上での表示位置を決定するようにしてもよい。この場合、この描画システムは、ステップＳ３で、座標変換部１２ｂが表示位置を決定した各スポットを互いに異なる色あるいは互いに異なる形状で表示するようにすればよい。
またこの場合、この描画システムは互いに異なる色の光を発する複数の発光部４を備えていてもよい。これらの発光部４は、互いに異なる操作者により操作され得る。
【００８３】
また、図８に示すように、表示部３は、自ら表示画面を備える代わりに、壁面等の投影面に画像を投影するプロジェクタ等を備えていてもよい。この場合、画像入力部２は、表示部３が画像を投影している投影面の画像を撮像するものとし、この描画システムは、この投影面を表示部３の表示画面として扱い、上述の処理を実行するようにすればよい。
【００８４】
また、この描画システムにおいては、画像入力部２が、単位格子をなす長方形が格子状に配列されたパターンの画像を撮像し、撮像した画像（歪みを有する格子パターン）を表す画像データを、表示部３が表示するようにしてもよい。
この場合、ユーザ等がユーザ操作入力部１５のマウスを操作する等して、表示部３の表示画面上に表示された歪みを有する格子パターンの単位格子の頂点をなす４点の組を指定したとき、座標変換部１２ｂが、この４点の表示画面上での位置を互いに対応付けて記憶するものとする。
【００８５】
そして、座標変換部１２ｂが視野領域の頂点の位置を記憶している場合、座標変換部１２ｂは、座標変換処理として、上述のステップＳ２２１及びＳ２２２の処理に代えて、図９に示すステップＳ２３１〜Ｓ２３４の処理を行う。
【００８６】
すなわち、まず、座標変換部１２ｂは、スポット光抽出部１２ａが抽出したスポットの位置（すなわち、値ｘ_ｓｐｏｔ及びｙ_ｓｐｏｔの組が表すスポットの位置）が、いずれの視野領域に含まれるものかを、自らが記憶する視野領域の頂点の位置に基づいて判別する（図９、ステップＳ２３１）。
【００８７】
次に、座標変換部１２ｂは、スポット光抽出部１２ａが抽出したスポットの位置を含むと判別された視野領域を上述の四角形ＡＢＣＤであるものとして扱い、また、表示部３の表示画面の一部を占める、各辺が所定の長さの長方形の領域（変換後の視野領域）を、上述の長方形Ａ’Ｂ’Ｃ’Ｄ’であるものとして扱うものとして、上述のステップＳ２２１の処理と実質的に同一の処理を行う（ステップＳ２３２）。
【００８８】
次に、座標変換部１２ｂは、ステップＳ２２２の処理と実質的に同一の処理を行う（ステップＳ２３３）。ただし、求める対象の座標（線分ＰＲ及び線分ＱＳの交点の座標）は、表示部３の表示画面上の特定の点を原点とした座標である必要はない。
【００８９】
次に、座標変換部１２ｂは、ステップＳ２３３で求めた座標と、スポット光抽出部１２ａが抽出したスポットの位置を含むとステップＳ２３１で判別された視野領域の頂点の位置とに基づいて、表示部３の表示画面上で当該スポットを表示する表示位置の座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）を決定する。そして、求めた値ｘ_ｄｉｓｐ及びｙ_ｄｉｓｐと、スポット光抽出処理を終了した時点での変数Ｒ_ｍａｘの値とを、互いに対応付けてＲＡＭ１３に格納し（ステップＳ２３４）、座標変換処理を終える。
【００９０】
ただし、変換前の視野領域が複数ある場合、ステップＳ２３４で座標変換部１２ｂは、図１０に示すように、２個の変換前の視野領域により共有されている辺上にスポットが位置する場合、ステップＳ２３１でこれら変換前の視野領域のいずれが特定されても、表示画面上の同一の位置にスポットが表示されるよう、スポットの表示位置を決定するものとする。
【００９１】
座標変換処理として上述のステップＳ２３１〜Ｓ２３４の処理を行うことにより、例えば画像入力部２が備える光学系が収差を有していても、スポットが表示部３の表示画面上の正しい位置（すなわち、表示画面上、発光部４が発する光が当たった位置）に表示される。
【００９２】
また、表示部３が歪みを有する格子パターンを表示するものである場合、画像入力部２は、表示部３が表示する対象である歪みを有する格子パターンの画像データを作成するとき、歪みを有する格子パターンが完全に表示される程度に、撮像の感度を調整してもよい。
この場合、例えばユーザ等がユーザ操作入力部１５を操作して歪みを有する格子パターンの表示を指示すると、データ処理装置１の中央制御部１１がこの指示を画像入力部２に伝達し、画像入力部２は、伝達された指示に応答して、撮像の感度を、歪みを有する格子パターンが完全に表示されるような値に変化させるものとすればよい。
【００９３】
（第１の実施の形態の変形例）
上記第１の実施の形態では、画像入力部２により撮像された画像と表示部３に表示された画像とが線型の座標変換で対応付け可能な場合について述べた。しかし実際は、画像入力部２が備えるカメラレンズのゆがみ、及び表示部３の歪み（ＣＲＴ等、表示画面が多少湾曲しているような場合に生じる歪み）によって、入力画像に樽型歪み等の非線型歪みが生じるような場合がある。
このような場合、上記第１の実施の形態では、正確な座標変換処理が不可能であるため、描画処理以前にキャリブレーション（較正）処理を行うようにする。以下、キャリブレーション処理を行う、この描画システムの変形例を、図１１〜図１４を参照して詳述する。
尚、この変形例にかかるデータ処理装置１の回路構成は図２と同様であるので、説明を省略する。また、キャリブレーション処理を制御するプログラムは、外部記憶部１４若しくは中央制御部１１に記憶されているものとし、このプログラムの実行のため、作業用メモリとしてＲＡＭ１３の所定のメモリエリアが使用されるものとする。
【００９４】
（第１の実施の形態の変形例：動作）
キャリブレーション処理を含む、この変形例にかかる描画システムが行う処理全体のフローチャートを、図１１に示す。すなわち、この描画システムは、図３に示す描画処理をステップＡ２で実行するものとし、その前段階としてキャリブレーション処理（ステップＡ１）を行う。
【００９５】
図１２は、キャリブレーション処理のフローチャートである。
キャリブレーション処理では、この描画システムは、まず、領域の設定を行う。入力画像のどの領域を座標変換するかを予め設定する。例えば対象となる領域の四隅の座標Ａ、Ｂ、Ｃ、Ｄをユーザ操作入力部１５が備えるマウス等を用いて設定したり、上記第１の実施の形態で詳述したように、発光部４を用いて表示部３の表示画面上の４点をポイントすることにより、領域を設定する（ステップＡ１１）。
【００９６】
ステップＡ１１において、マウスを用いて領域を設定する手法をとった場合は、画像入力部２の視野と操作者の視野との視差や、表示部３の表示画面を覆う透明材質の表面での光の屈折などのため、操作者から見て、発光部４が発するスポット光が表示部３の表示画面上に当たって見える位置と、ステップＳ３で表示される輝点の位置とが、実質的に一致しなくなる、という問題が起こり得る。しかし、発光部４を用いて表示部３の表示画面上の４点をポイントする手法をとった場合、発光部４が発するスポット光は表示部３の表示画面の表面に当たって反射し、反射したスポット光が画像入力部２により撮像される。従って、スポット光が見える位置と表示される輝点の位置とが一致しなくなるという問題を回避することが可能となる。
【００９７】
次に、この描画システムは、非線型歪みに関する情報の取得を行う（ステップＡ１２）。具体的には、例えば、表示部３の表示画面上に格子を表示させ、ユーザが、この格子の各格子点の座標をユーザ操作入力部１５のマウス等を用いて指定する。そして、中央制御部１１が、指定の結果に基づき、非線型歪みに関する情報として格子点の座標を取得する。
【００９８】
キャリブレーション処理の最後に、この描画システムは、画像入力部２の撮像に関する情報の設定、特に画像入力部２が備える図示しない撮像カメラ等（撮像カメラ部）のゲインの設定を行う（ステップＡ１３）。ステップＡ１３の処理は、投影像とスポットとを区別するため、スポットの輝度に対する投影像の輝度を絞る必要があるために行うものである。ステップＡ１１の処理時（領域設定時）は、投影像の輝度を絞った状態では投影像は黒くつぶれるかスポットの輝度に対する輝度の差が極めて小さい場合もあり得る。そのため、領域設定時では、投影像が完全に表示されるように撮像カメラのゲイン設定を行い、領域設定を行い、非線型歪みに関する情報（補正情報）を取得した後、投影像とスポットとが区別される程度に、スポットの輝度に対する投影像の輝度を絞るのが望ましい。
【００９９】
また、この変形例にかかる描画システムは、座標変換処理として、図１３に示す処理を行う。
まず、ステップＡ１２で取得した非線型歪みに関する情報、（即ち、格子点の座標）を利用して、スポットが含まれる格子領域を選択する（ステップＳ２４１）。次に、このスポットが含まれる格子領域に対し、図６のステップＳ２２１、Ｓ２２２の処理を行う（ステップＳ２４２）。そして座標変換処理の結果と、選択された格子領域の位置とに基づいて、領域全体におけるスポットの位置を取得する（ステップＳ２４３）。
【０１００】
なお、画像入力部２は、描画処理が開始されたとき、表示部３の表示画面上に当たるスポット光の輝度が発光部４の発する光の最大強度に至ってもステップＳ３で表示されるスポットの輝度が飽和しないように、撮像の感度（ゲイン）を調整するが、変形例として、描画処理が開始されると、中央制御部１１が感度調整の指示を画像入力部２に伝達し、画像入力部２がこの指示に応答して、撮像の感度を、表示部３の表示画面上に当たるスポット光の輝度が発光部４の発する光の最大強度に至ってもステップＳ３で表示されるスポットの輝度が飽和しないような値に変化させるものとしてもよい。
【０１０１】
また、画像入力部２は、この描画システムが描画処理を行っている間も、表示部３の表示画面上に当たるスポット光の輝度が発光部４の発する光の最大強度に至ってもステップＳ３で表示されるスポットの輝度が飽和しないように、撮像の感度を調整するようにしてもよい。
この場合は、例えば、描画処理が開始されると、中央制御部１１又は画像解析部１２が、画像入力部２から供給された画像データに基づいて画像入力部２の撮像の感度の値を決定し、決定した値へと感度を調整する指示を画像入力部２に伝達すればよい。そして、画像入力部２はこの指示に応答し、撮像の感度を、この指示に従った値に変化させるものとすればよい。
【０１０２】
さらに、第１の実施の形態およびその変形例では、スポット光の抽出、及び座標変換について述べているが、画像入力部２がデータ処理装置１の制御により連続的に撮像して、スポット光の時系列的な軌跡を逐次抽出して座標変換を行うようにすれば、スポットによって描画される軌跡を表示画面に反映させることができる。
【０１０３】
また、画像解析部１２の座標変換部１２ｂは、ステップＳ２２の座標変換処理を、図１５に示す手順で行ってもよい。
【０１０４】
すなわち、座標変換部１２ｂは、スポット光抽出処理を終え、座標変換処理を開始すると、まず、変数ｄの使用を宣言する。また、上述の点Ｐ’の座標のｘ軸方向成分の値を示す変数ｘ_ｄｉｓｐ及びｙ軸方向成分の値を示す変数ｙ_ｄｉｓｐ）の使用も宣言する（図１５、ステップＳＡ１）。
【０１０５】
そして、座標変換部１２ｂは、点Ｐ’の座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）及び変数ｄの値を初期化し、上述の点Ａ〜点Ｄの座標を規格化する（ステップＳＡ２）。具体的には、変数ｘ_ｄｉｓｐに値「０．５」を代入し、変数ｙ_ｄｉｓｐに値「０．５」を代入し、変数ｄに値「０．２５」を代入し、また、ステップＳＡ２の処理以降、点Ａの座標を（０，０）、点Ｃの座標を（１，１）として扱うことと決定する。
【０１０６】
次に、座標変換部１２ｂは、図１６（ａ）に示すような、消失点Ｖ_１（すなわち、直線ＡＢと直線ＤＣとの交点）の座標及び消失点Ｖ_２（すなわち、直線ＢＣと直線ＡＤとの交点）の座標を求める（ステップＳＡ３）。
次に、座標変換部１２ｂは、線分ＡＣと線分ＢＤとの交点Ｇの座標を求める（ステップＳＡ４）。
【０１０７】
次に、座標変換部１２ｂは、交点Ｇと上述の点Ｐとの距離が所定量α_１より小さいか否かを判別し（ステップＳＡ５）、小さいと判別すると、処理を後述のステップＳＡ１７に移す。
【０１０８】
一方、交点Ｇと上述の点Ｐとの距離が所定量α_１以上であると判別すると、座標変換部１２ｂは、直線Ｖ_１Ｇと線分ＢＣとの交点Ｍの座標と、直線Ｖ_１Ｇと線分ＤＡとの交点Ｎの座標とを求める（ステップＳＡ６）。また、座標変換部１２ｂは、直線Ｖ_２Ｇと線分ＣＤとの交点Ｒの座標と、直線Ｖ_２Ｇと線分ＡＢとの交点Ｓの座標とを求める（ステップＳＡ７）。
【０１０９】
次に、座標変換部１２ｂは、変数ｘ_ｄｉｓｐ及び変数ｙ_ｄｉｓｐの現在の値により表される点Ｐ’が、直線ＲＳより右側にあるか否か（換言すれば、線分ＡＰ’が直線ＲＳと交わるか否か）を判別する（ステップＳＡ８）。そして、右側にあると判別すると、変数ｘ_ｄｉｓｐの値を変数ｄの値に相当する分増加させ（ステップＳＡ９）、一方、右側にないと判別すると、変数ｘ_ｄｉｓｐの値を変数ｄの値に相当する分減少させる（ステップＳＡ１０）。
【０１１０】
ステップＳＡ９又はＳＡ１０の処理を終えると、座標変換部１２ｂは、変数ｘ_ｄｉｓｐ及び変数ｙ_ｄｉｓｐの現在の値により表される点Ｐ’が、直線ＭＮより上側にあるか否か（換言すれば、線分ＡＰ’が直線ＭＮと交わるか否か）を判別する（ステップＳＡ１１）。
そして、上側にあると判別すると、変数ｙ_ｄｉｓｐの値を変数ｄの値に相当する分増加させ（ステップＳＡ１２）、一方、上側にないと判別すると、変数ｙ_ｄｉｓｐの値を変数ｄの値に相当する分減少させる（ステップＳＡ１３）。
【０１１１】
ステップＳＡ１２又はＳＡ１３の処理を終えると、座標変換部１２ｂは、変数ｄの値を、変数ｄの現在の２分の１に変更し（ステップＳＡ１４）、変更後の変数ｄの値が所定量α_２より小さいか否かを判別する（ステップＳＡ１５）。そして、小さいと判別すると、処理をステップＳＡ１７に移す。
【０１１２】
一方、変数ｄの値が所定量α_２以上であると判別すると、座標変換部１２ｂは、四角形ＡＳＧＮ、四角形ＳＢＭＧ、四角形ＧＭＣＲ及び四角形ＮＧＲＤのうちから、変数ｘ_ｄｉｓｐ及び変数ｙ_ｄｉｓｐの現在の値により表される点Ｐ’を内部に含む四角形を特定し、特定した四角形を新たに四角形ＡＢＣＤとして扱うことと決定して（ステップＳＡ１６）、処理をステップＳＡ４に移す。
【０１１３】
ただし、座標変換部１２ｂは、四角形ＡＳＧＮを新たに四角形ＡＢＣＤとして扱う場合は、点Ａをそのまま新たな点Ａとして扱い、点Ｓを新たな点Ｂとして扱い、点Ｇを新たな点Ｃとして扱い、点Ｎを新たな点Ｄとして扱うものとする。
また、四角形ＳＢＭＧを新たに四角形ＡＢＣＤとして扱う場合は、点Ｓを新たな点Ａとして扱い、点Ｂをそのまま新たな点Ｂとして扱い、点Ｍを新たな点Ｃとして扱い、点Ｇを新たな点Ｄとして扱うものとする。
また、四角形ＧＭＣＲを新たに四角形ＡＢＣＤとして扱う場合は、点Ｇを新たな点Ａとして扱い、点Ｍを新たな点Ｂとして扱い、点Ｃをそのまま新たな点Ｃとして扱い、点Ｒを新たな点Ｄとして扱うものとする。
また、四角形ＮＧＲＤを新たに四角形ＡＢＣＤとして扱う場合は、点Ｎを新たな点Ａとして扱い、点Ｇを新たな点Ｂとして扱い、点Ｒを新たな点Ｃとして扱い、点Ｄをそのまま新たな点Ｄとして扱うものとする。
【０１１４】
ステップＳＡ５又はＳＡ１５から処理がステップＳＡ１７へと移ると、座標変換部１２ｂは、変数ｘ_ｄｉｓｐ及び変数ｙ_ｄｉｓｐの現在の値により表される座標を、規格化されていない状態へと戻す。すなわち、変数ｘ_ｄｉｓｐの現在の値をＸとして、変数ｘ_ｄｉｓｐの値を｛Ｘ・（ｘ_ｃ−ｘ_ａ）＋ｘ_ａ｝へと変更し、変数ｙ_ｄｉｓｐの現在の値をＹとして、変数ｙ_ｄｉｓｐの値を｛Ｙ・（ｙ_ｃ−ｙ_ａ）＋ｙ_ａ｝へと変更する。
【０１１５】
そして、座標変換部１２ｂは、規格化されていない状態へと戻された変数ｘ_ｄｉｓｐ及び変数ｙ_ｄｉｓｐの値により表される座標を点Ｐ’の座標と決定し、規格化されていない状態へと戻されたこれらの変数ｘ_ｄｉｓｐ及びｙ_ｄｉｓｐと、スポット光抽出処理を終了した時点でのＲ_ｍａｘとを、互いに対応付けてＲＡＭ１３に格納し、座標変換処理を終了して処理をステップＳ３に移す。
【０１１６】
以上説明したステップＳＡ１〜２３６の処理の結果、図１６（ａ）に示す四角形Ａ’Ｂ’Ｃ’Ｄ’点Ｐに対応する、長方形Ａ’Ｂ’Ｃ’Ｄ’内の点Ｐ’が、例えば図１６（ｂ）に示すように決定される。
【０１１７】
また、この描画システムは、座標変換の対象となる領域を設定するための情報として、この領域の四隅を表す情報に限らず任意の情報を取得するようにしてよく、従って、例えば、この領域を複数の格子に分割した場合の各格子の頂点を表す情報を取得してもよい。一方、中央処理部１１は、例えばステップＡ１１の処理において、表示部３に、座標変換の対象となる領域の設定を容易にするための格子模様（あるいは市松模様等）を表示させるようにしてもよい。
【０１１８】
この描画システムが、座標変換の対象となる領域の設定を容易にするための格子模様を表示部３の表示画面上に表示し、一方、座標変換の対象となる領域を格子に分割した場合の各格子の頂点を表す情報をステップＡ１１の処理等により取得するとする。
この場合、例えば、画像解析部１２の座標変換部１２ｂが、各格子の頂点を表す情報と、スポット光抽出処理により得られたスポットの位置の座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）とに基づき、スポットが存在する格子を特定するものとする。そして、座標変換部１２ｂは、画像入力部２がステップＳ１で作成した画像データが表す画像のうち、自己が特定した格子に相当する領域を上述の長方形ＡＢＣＤであるとみなして上述の座標変換処理（例えば、ステップＳ２２１〜Ｓ２２２の処理や、あるいはステップＳＡ１〜ＳＡ１７の処理）を行うものとする。
【０１１９】
次いで、座標変換部１２ｂは、ステップＳ３に処理を移す前に、座標変換処理により得られた座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）と、特定した格子が座標変換の対象となる領域内で占める位置とに基づき、この領域全体のうちでのスポットの表示位置の座標を特定するものとする。こうすることにより、座標変換部１２ｂは座標変換の対象となる領域の全体について座標変換領域を行うことを要せずに、この領域全体のうちでのスポットの表示位置の座標を特定する。このため、スポットの表示位置の座標を特定する処理の高速化が図られる。
【０１２０】
具体的には、例えば、座標変換の対象となる領域が行数Ｊ、列数Ｋのマトリクス状に配列された複数の長方形の格子が全体として形成する長方形を表示部３の表示画面上に表示して画像入力部２が撮像したものに相当する場合、座標変換部１２ｂは、座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）が、座標変換の対象となる領域のうち、何行何列目の格子に相当する部分に含まれるかを特定すればよい。そして、特定した格子に相当する領域を上述の長方形ＡＢＣＤであるとみなして座標変換処理を行い、得られた座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）を用い、数式６及び数式７の各右辺の値ｘ_{ｄｉｓｐ１}及びｙ_{ｄｉｓｐ１}を表すデータを生成することにより、座標変換の対象となる領域全体のうちでのスポットの表示位置の座標（ｘ_{ｄｉｓｐ１}，ｙ_{ｄｉｓｐ１}）を特定すればよい。
【０１２１】
【数６】
ｘ_{ｄｉｓｐ１}＝ｘ_ｄｉｓｐ＋ｗ・｛（ｋ−１）／Ｋ｝
（ただし、ｗは、長方形Ａ’Ｂ’Ｃ’Ｄ’の幅）
【０１２２】
【数７】
ｙ_{ｄｉｓｐ１}＝ｙ_ｄｉｓｐ＋ｈ・｛（ｊ−１）／Ｊ｝
（ただし、ｈは、長方形Ａ’Ｂ’Ｃ’Ｄ’の高さ）
【０１２３】
次に、ステップＳ３で、中央制御部１１は、座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）に代えて、この領域全体のうちでのスポットの表示位置の座標として特定した座標に相当する位置に、Ｒ_ｍａｘに相当する輝度を有するスポットを表示するよう、表示部３に指示するものとする。
【０１２４】
（第２の実施の形態）
上述のステップＡ１１で、この描画システムは、ユーザ等が表示部３の表示画面上の点をポイントする手順を経ず自動的に領域の設定を行うようにしてもよい。以下、領域の設定を自動的に行う、この発明の第２の実施の形態を説明する。
【０１２５】
この描画システムの物理的構成は、図２に示す構成と実質的に同一である。
一方、機能的には、この描画システムのデータ処理装置１は、ステップＡ１１の処理として、図１７に示す処理を行うことにより、四角形ＡＢＣＤの頂点をなす点Ａ、点Ｂ、点Ｃ及び点Ｄの位置を取得する。
【０１２６】
すなわち、まず、中央制御部１１は、表示部３に指示して、表示部３の表示画面上に、上述の長方形Ａ’Ｂ’Ｃ’Ｄ’を表す長方形の枠を表示させる（図１７、ステップＳＢ１）。次いで、中央制御部１１は、２次元配列変数の使用を宣言し、この２次元配列変数を構成する各要素に初期値「０」を代入することにより、この２次元配列変数を初期化する（ステップＳＢ２）。
【０１２７】
ステップＳＢ２で初期化された２次元配列変数を構成する要素は、後述する変数ρ及び変数θの各値を表すためのρθ直交座標平面内にある格子に、１対１に対応付けられているものとする。この格子は、四辺がρ軸又はθ軸に平行な長方形をマトリクス状に分割して得られるものであるとする。
【０１２８】
画像入力部２は、ステップＳＢ１で表示された長方形の枠を撮像して画像データを作成して中央制御部１１に供給し、中央制御部１１はこの画像データをＲＡＭ１３に格納する。
【０１２９】
次に、中央制御部１１は、画像入力部２がＲＡＭ１３に格納した画像データのが表す画像に含まれる画素（ただし、過去にステップＳＢ３の処理の対象になっていない画素）１個につき、この画素が、表示部３の表示画面上に表示された枠上の点を表すか否かを判別する（ステップＳＢ３）。そして、枠上の点を表すと判別すると処理をステップＳＢ４に移し、表さないと判別すると処理をステップＳＢ５に移す。
【０１３０】
なお、ステップＳＢ１で表示された枠の色が赤色であるとした場合、ステップＳＢ３での判別は、例えば、「この画素の画素値の赤成分（Ｒ）が所定値以上で、且つ、緑成分（Ｇ）及び青成分（Ｂ）がいずれも所定値以下である」か否かを判別することにより行えばよい。
【０１３１】
ステップＳＢ４で、中央制御部１１は、枠上の点を表すとステップＳＢ３でもっとも新しく判別された画素のｘｙ直交座標平面内の位置（ｕ，ｖ）を特定する。そして、数式８により示される関係を満たすρ及びθの値の組を表すρθ直交座標平面内の曲線が通過する各格子を特定し、ステップＳＢ２で使用を宣言した２次元配列変数に含まれる各要素のうち、特定した各格子に対応付けられたものの値をインクリメントする（すなわち、１だけ増加させる）。そして、処理をステップＳＢ５へと移す。
【０１３２】
なお、数式８を満たすθは、ｘｙ直交座標平面の原点からこのｘｙ直交座標平面内の直線［｛ｘ・（ｓｉｎθ）｝＋｛ｙ・（ｃｏｓθ）｝＝ρ］におろした垂線とｘ軸とがなす角を表し、ρは、この直線と原点との距離を表す。
【０１３３】
【数８】
｛ｕ・（ｓｉｎθ）｝＋｛ｖ・（ｃｏｓθ）｝＝ρ
【０１３４】
ステップＳＢ５で、中央制御部１１は、画像入力部２がＲＡＭ１３に格納した画像データが表す画像に含まれる画素のうち、未だステップＳＢ３の処理の対象になっていない画素が残っているか否かを判別する。そして、残っていると判別すると処理をステップＳＢ３に戻し、残っていないと判別すると、処理をステップＳＢ６に進める。
【０１３５】
ステップＳＢ６で、中央制御部１１は、２次元配列変数に含まれる各要素のうち、値がもっとも大きいもの４個を特定する。次に、中央制御部１１は、特定した４個の要素が表す４個の格子の位置を表すρ及びθの値の組４組を特定する。
この結果、特定した各々の組を数式８に代入して得られる、ｘｙ直交座標平面内の４本の直線が特定される。そして、中央制御部１１は、特定された４本の直線がｘｙ直交座標平面を切り取ることで形成される四角形を、上述の四角形ＡＢＣＤとして特定する。
【０１３６】
なお、ρθ直交座標平面内の格子の位置は、この格子内の任意の点の位置で代表させてよく、例えば、この格子をなす四角形の対角線の交点の位置で代表させるものとすればよい。
【０１３７】
また、表示部３の表示画面上に表示させる枠の色は赤色である必要はなく、緑色でもよいし、青色でもよいし、その他、赤色、緑色及び青色の加色混合により得られる任意の色であってよい。そして、ステップＳＢ３では、画素が、表示させた枠の色に合致する色を表すか否かを判定することにより、この画素が枠上の点を表すか否かを判別するようにすればよい。
【０１３８】
また、ステップＡ１１でこの描画システムが表示部３の表示画面上に表示させる図形は、必ずしも枠状の図形である必要はなく、例えば、座標変換の対象となる領域の四隅を示す点状の図形より構成されていてもよい。
【０１３９】
ステップＡ１１でこの描画システムが表示部３の表示画面上に表示させる図形が、座標変換の対象となる領域の四隅を示す点状の図形より構成されている場合、中央制御部１１はステップＳＢ６で、２次元配列変数に含まれる各要素のうち、値がもっとも大きい要素６個が表す６個の格子の位置を表す、ρ及びθの値の組６組を特定するものとする。そして、特定した６組を各々数式８に代入して得られる６本の直線を特定し、特定した６本の直線のうち３本が実質的に交わる点を４点特定するものとする。特定したこれら４点が、上述の四角形ＡＢＣＤの頂点である点Ａ、点Ｂ、点Ｃ及び点Ｄに相当する。
【０１４０】
（第２の実施の形態の変形例）
なお、ステップＡ１１の処理として上述のステップＳＢ１〜ＳＢ６の処理を行う場合、この描画システムは、描画処理において、キャリブレーション処理（ステップＡ１の処理）を、ステップＳ１の直前に行う代わりに、図１８に示すタイミングで行うようにしてもよい。
【０１４１】
ただし、この描画システムが図１８に示す処理を行う場合、画像入力部２が生成する画像データが表す画像は、行数Ｈ_ｄ、列数Ｗ_ｄのマトリクス状に配列された、（Ｈ_ｄ・Ｗ_ｄ）個の画素より構成されているものとする。また、中央制御部１１は、ＲＡＭ１３に、画像入力部２が生成した画像データを、少なくとも、最も新しく撮像した画像２枚分、記憶させておくものとする。
【０１４２】
この描画システムが図１８に示す処理を行う場合、中央処理部１は、ステップＳ３で表示部３にスポットを新たに表示させた後、ステップＳ１で入力されＲＡＭ１３に格納された画像データのうち、最も新しく格納された画像２枚分の画像データに基づいて、キャリブレーションを行うか否かを決定する（図１８、ステップＳ３Ａ）。
【０１４３】
ステップＳ３Ａで中央制御部１１は、具体的には、例えば、もっとも新しく格納された画像データが表すｉ行ｊ列目（ｉはＨ_ｄ以下の自然数、ｊはＷ_ｄ以下の自然数）の画素の輝度ともっとも新しい方から２番目に格納された画像データが表すｉ行ｊ列目の画素の輝度との差を２乗した値（又は、差の絶対値）を、取り得るすべてのｉ及びｊの値について求め、求めた計（Ｈ_ｄ・Ｗ_ｄ）個の値の和を求める。そして、求めた和が所定の環境変化検出用の閾値を超えているか否かを判別し、超えていると判別したときはキャリブレーションを行うと決定し、超えていないと判別したときはキャリブレーションを行わないと決定する。
【０１４４】
なお、画像データを構成する画素の輝度が０以上２５５までの整数により２５６段階に表されるものである場合、中央制御部１１が、もっとも新しく格納された画像２枚分の画像データが表すｉ行ｊ列目の画素の輝度の差を２乗した値を求めるものならば、環境変化検出用の閾値は、例えば｛（１２８）^２・Ｈ_ｄ・Ｗ_ｄ｝であればよい。また、もっとも新しく格納された画像２枚分の画像データが表すｉ行ｊ列目の画素の輝度の差の絶対値を求めるものならば、環境変化検出用の閾値は、例えば（１２８・Ｈ_ｄ・Ｗ_ｄ）であればよい。
【０１４５】
そして、中央制御部１１は、キャリブレーションを行わないと決定したときは処理をステップＳ４に移し、行うと決定したときは、上述のステップＡ１の処理と実質的に同一の処理を行うことによりキャリブレーションを実行し（ステップＳ３Ｂ）、キャリブレーションが終了すると、処理をステップＳ４に移す。
【０１４６】
（第３の実施の形態）
表示部３に表示される輝点は、発光部４が発するスポット光の明るさの段階に相当する所定の輝度を有するようにしてもよい。以下、表示部３に表示される輝点が、撮像されたスポット光の明るさの段階に相当する所定の輝度を有するような、この発明の第３の実施の形態にかかる描画システムを説明する。
【０１４７】
この描画システムの物理的構成は、図２に示す構成と実質的に同一である。ただし、発光部４が発するスポット光の明るさは、ユーザの操作に従って、Ｎ段階（Ｎは２以上の任意の整数）のいずれかに設定されるようになっているものとする。（なお、以下では、スポット光を発していない状態を、「暗い方から０段階目の明るさ」であるものとして扱う。また、理解を容易にするため、スポット光は赤色であるものとする。）
【０１４８】
この描画システムは、表示部３に表示されるスポットの輝度と発光部４が発するスポット光の明るさの範囲との対応関係を指定する値である「レベル閾値」を示すデータを、予め、又は操作者の操作に従って記憶する。そして、レベル閾値を示すデータと、撮像されたスポット光の明るさとに基づいて、表示部３に表示されるスポットの輝度を決定する。
【０１４９】
具体的には、操作者の操作に従ってレベル閾値を記憶するため、この描画システムは、例えば、上述のステップＳ１の処理を行う前に、図１９に示す手順に従ってレベル閾値を決定するものとする。なお、表示部３に表示されるスポットの輝度は、Ｌ_０〜Ｌ_Ｎ−１のＮ段階に変わるものとし、暗い方からｋ段階目（ｋは０以上（Ｎ−１）以下の整数）の輝度はＬ_ｋであり、輝度Ｌ_ｋは、ｋ番目のレベル閾値θ_Ｒｋに対応付けられているものとする。そして、外部記憶部１４は、輝度Ｌ_０〜Ｌ_Ｎ−１を表すＮ個のデータを予め記憶するものとする。
【０１５０】
以下、手順を具体的に説明すると、まず、この描画システムの中央制御部１１は、四角形ＡＢＣＤの設定が終わったとき等のタイミングで変数Ｉの使用を宣言し、変数Ｉに値０を代入することにより、変数Ｉを初期化する（図１９、ステップＳＣ１）。
【０１５１】
次に、中央処理部１１は、変数Ｉの現在の値ｉが値Ｎより小さいか否かを判別する（ステップＳＣ２）。そして、Ｎ以上であると判別すると、レベル閾値設定の処理を終了し、例えばステップＳ１へと処理を移す。一方、変数Ｉの値がＮより小さいと判別すると、中央処理部１１は、後述のステップＳＣ５の処理を行うため、画像入力部２がステップＳＣ４の処理を行うのを待機する。
【０１５２】
一方、操作者は、発光部４を操作して、発光部４に、暗い方からｉ段階目の明るさのスポット光を発させて、このスポット光を表示部３の表示画面に当てる（ステップＳＣ３）。（ただし、ｉ＝０であるとき、操作者は、例えば発光部４を消灯させればよい。）
【０１５３】
一方、画像入力部２は、表示部３の表示画面を撮像して、撮像した画像を表す画像データを中央制御部１１に供給する（ステップＳＣ４）。中央制御部１１は、この画像データが表す画像を表示部３に表示させる（ステップＳＣ５）。
ステップＳＣ５で表示部３が画像を表示すると、操作者は、ユーザ操作入力部１５のマウスを操作する等して、表示部３の表示画面上、スポット光に相当する部分を指定する（ステップＳＣ６）。（ただし、ｉ＝０であるとき、操作者は、表示部３の表示画面上、スポット光が当たっていない部分を指定すればよい。）
【０１５４】
すると、中央処理部１１は、画像入力部２が供給した画像データに含まれる画素データのうち、操作者が指定した箇所を表すものを読み出して、この画素データが表す赤色成分の画素値を取得する（ステップＳＣ７）。
【０１５５】
そして、中央処理部１１は、取得した画素値に基づいて、ｉ番目のレベル閾値θ_Ｒｉの値を表すデータを生成し、外部記憶部１４に記憶させる（ステップＳＣ８）。具体的には、中央処理部１１は、数式９の右辺の値を求めることによりｉ番目のレベル閾値θ_Ｒｉの値を求め、θ_Ｒｉの値を表すデータを生成して、輝度Ｌ_ｉに対応付けた形で外部記憶部１４に記憶させるものとする。
【０１５６】
【数９】
θ_Ｒｉ＝（Ｒ_ｉ−１＋Ｒ_ｉ）／２
（ただし、Ｒ_ｉは、Ｉの値がｉであるときにステップＳＣ７で取得した赤色成分の画素値。また、Ｒ_−１＝０であるものとする。）
【０１５７】
そして、中央処理部１１は、変数Ｉをインクリメントして（ステップＳＣ９）、処理をステップＳＣ２に戻す。
【０１５８】
この描画システムがレベル閾値を記憶する場合、この描画システムの画像解析部１２のスポット光抽出部１２ａは、スポット光抽出処理を終えると、例えば、図２０に示すレベル検出処理を行う。
【０１５９】
すなわち、スポット光抽出部１２ａは、スポット光抽出処理を終えると、まず、変数Ｖ及び変数Ｉの使用を宣言し、変数Ｖ及び変数Ｉに、それぞれ値０を代入することにより、変数Ｖ及びＩの初期化を行う（図２０、ステップＳＤ１）
【０１６０】
次に、スポット光抽出部１２ａは、変数Ｉの現在の値ｉが上述の値Ｎより小さいか否かを判別し（ステップＳＤ２）、値ｉが値Ｎ以上であると判別すると、レベル検出の処理を終了し、表示部３が表示すべきスポットの輝度を、暗い方からｖ番目（ただし、ｖは変数Ｖの現在の値）の輝度Ｌ_ｖと決定する。
【０１６１】
一方、値ｉが値Ｎより小さいと判別すると、スポット光抽出部１２ａは、スポット光抽出処理の結果得られた上述の値Ｒ_ｍａｘが、値θ_Ｒｉより大きいか否かを判別する（ステップＳＤ３）。そして、値Ｒ_ｍａｘが値θ_Ｒｉ以下であると判別すると、レベル検出の処理を終了し、表示部３が表示すべきスポットの輝度を、暗い方からｖ番目の輝度Ｌ_ｖと決定する。
【０１６２】
一方、値Ｒ_ｍａｘが、値θ_Ｒｉより大きいと判別すると、スポット光抽出部１２ａは変数Ｉの値（すなわち、値ｉ）を変数Ｖに代入し（ステップＳＤ４）、変数Ｉをインクリメントして（ステップＳＤ５）、処理をステップＳＤ２に戻す。
【０１６３】
一方、ステップＳ３で、中央制御部１１は、値Ｒ_ｍａｘに相当する輝度を有するスポットを表示部３に表示させる代わりに、レベル検出処理により決定された値Ｌ_ｖに相当する輝度を有するスポットを表示部３に表示させるものとする。
なお、この描画システムは、レベル検出処理で決定したスポットの輝度に対応付けられた所定の処理を更に実行するようにしてもよい。換言すれば、ユーザは、発光部４を操作してスポットの輝度を変えることにより、データ処理装置１にＮ通りの情報を供給することができる。
【０１６４】
なお、この描画システムは、図１９に示す手順に代えて、図２１に示す手順でレベル閾値を示すデータを取得して記憶するようにしてもよい。
【０１６５】
すなわち、まず、四角形ＡＢＣＤの設定が終わると、中央処理部１１は、後述のステップＳＥ４の処理を行うため、画像入力部２がステップＳＥ３の処理を行うのを待機する。
【０１６６】
一方、操作者は、発光部４を操作して、発光部４に、Ｎ段階のうちもっとも暗い段階の明るさのスポット光を発させて、このスポット光を表示部３の表示画面に当てる（図２１、ステップＳＥ１）。または、ステップＳＥ１においては、表示部３にスポット光を当てないようにしてもよい。
【０１６７】
画像入力部２は、表示部３の表示画面を撮像して、撮像した画像を表す画像データを中央制御部１１に供給する（ステップＳＥ２）。中央制御部１１は、この画像データが表す画像を表示部３に表示させる（ステップＳＥ３）。
【０１６８】
ステップＳＥ３で表示部３が画像を表示すると、操作者は、上述のステップＳＣ６と実質的に同一の操作を行って、表示部３の表示画面上、スポット光に相当する部分を指定する（ステップＳＥ４）。
すると、中央処理部１１は、画像入力部２が供給した画像データに含まれる画素データのうち、操作者が指定した箇所を表すものを読み出して、この画素データが表す赤色成分の画素値を取得する（ステップＳＥ５）。
【０１６９】
次に、操作者は、発光部４に、Ｎ段階のうちもっとも明るい段階の明るさのスポット光を発させて、このスポット光を表示部３の表示画面に当てる（ステップＳＥ６）。画像入力部２は、表示部３の表示画面を撮像した画像の画像データを中央制御部１１に供給し（ステップＳＥ７）。中央制御部１１は、この画像を表示部３に表示させる（ステップＳＥ８）。
【０１７０】
ステップＳＥ８で表示部３が画像を表示すると、操作者は、上述のステップＳＥ４と同様に、表示部３の表示画面上、スポット光に相当する部分を指定する（ステップＳＥ９）。中央処理部１１は、画像入力部２がステップＳＥ７で供給した画像データに含まれる画素データのうち、操作者が指定した箇所を表す画素データが表す赤色成分の画素値を取得する（ステップＳＥ１０）。
【０１７１】
そして、中央処理部１１は、ステップＳＥ５及びＳＥ１０で取得した２個の画素値に基づき、Ｎ個のレベル閾値θ_Ｒ０〜θ_{Ｒ（Ｎ−１）}の値を表すＮ個のデータを生成して、外部記憶部１４に記憶させる（ステップＳＥ１１）。
具体的には、中央処理部１１は、例えば、数式１０の右辺の値を求めることによりレベル閾値θ_Ｒ０の値を求め、また、数式１１の右辺の値を、ｉの値を１から（Ｎ−１）までの各整数とした場合についてそれぞれ求めることにより、レベル閾値θ_Ｒ１〜θ_{Ｒ（Ｎ−１）}の値を求めるものとする。そして、θ_Ｒ０〜θ_{Ｒ（Ｎ−１）}の値を表す合計Ｎ個のデータを生成し、外部記憶部１４に記憶させるものとする。
【０１７２】
【数１０】
θ_Ｒ０＝Ｒ_ＭＩＮ／２
（ただし、Ｒ_ＭＩＮは、ステップＳＥ５で取得した画素値）
【０１７３】
【数１１】
θ_Ｒｉ＝Ｒ_ＭＩＮ＋ｉ・（Ｒ_ＭＡＸ−Ｒ_ＭＡＸ）／（Ｎ−１）
−（Ｒ_ＭＡＸ−Ｒ_ＭＩＮ）／｛２・（Ｎ−１）｝
（ただし、Ｒ_ＭＡＸは、ステップＳＥ１０で取得した画素値）
【０１７４】
（第３の実施の形態の変形例）
発光部４は、互いに異なる単色のスポット光を複数発する構成を有していてもよい（具体的には、例えば、発光部４は、互いに異なる単色のスポット光を発する複数の発光ダイオードを備えていてもよい）。
この場合、この描画システムは、当該発光部４が発するスポット光が表示部３の表示画面上に当たったときに表示画面上に形成される、当該発光部４に固有の配置を有するスポット光のパターンを抽出するようにしてもよい。スポットのパターンとしては、例えば図２２（ａ）〜（ｄ）に示すように、赤色、緑色及び青色のスポットが１個ずつ合計３個、ほぼ等間隔で直線上に並ぶようなパターンであればよい。スポット光のパターンを抽出するようにすれば、スポット１個を抽出する場合に比べ、スポットでない点を誤ってスポットとして検出する危険が減少する。
【０１７５】
なお、この描画システムが発光部４を複数備える場合、スポット光のパターンが当該発光部４に固有のものとなるようにするためには、例えば、当該発光部４のスポット光のパターンを回転させることで他の発光部４のスポット光のパターンと重なることがないように、スポット光を配置することが望ましい。従って、図２２（ａ）及び（ｄ）のパターンは、重複して用いないことが望ましい。
【０１７６】
発光部４が発するスポット光は、例えば、第１のスポット光と、第１のスポット光を中心として互いに点対称の位置に来るように配置された第２、第３のスポット光とからなるパターンを形成していればよい。この場合、この描画システムは、例えば、スポット光抽出処理（ステップＳ２１の処理）として図２３に示す処理を行うことにより、スポット光のパターンを抽出すればよい。なお、以下では、理解を容易にするため、第１のスポット光が赤色、第２のスポット光が緑色、第３のスポット光が青色であるものとする。（すなわち、図２２（ｃ）に示すようなパターンを形成するものとする。）
【０１７７】
すなわち、スポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、変数ｍａｘ、変数ｓｓ、変数ｔｔ、変数ｕｕ及び変数ｖｖの使用を宣言し、これら５個の変数にそれぞれ値０を代入することにより、これら５個の変数を初期化する（図２３、ステップＳＦ１）。
【０１７８】
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を、第１のスポット光の候補を表す画素データとして特定する（ステップＳＦ２）。ただし、ステップＳＦ２では、既にステップＳＦ２の処理で第１のスポット光の候補として特定された画素は、第１のスポット光として再び特定しないようにするものとする。
【０１７９】
次に、スポット光抽出部１２ａは、ステップＳＦ２でもっとも新しく特定された第１のスポット光の候補と所定の位置関係にある画素を表す画素データを、第２のスポット光の候補を表す画素データとして特定する。さらに、第１のスポット光の候補を中心として第２のスポット光の候補と実質的に点対称の位置にある画素を表す画素データを、第３のスポット光の候補を表す画素データとして特定する（ステップＳＦ３）。
ただし、ステップＳＦ３は、ステップＳＦ２でもっとも新しく特定された第１のスポット光の候補との関係で既にステップＳＦ３の処理で第２（又は第３）のスポットの候補として特定された画素は、この第１のスポット光の候補との関係では、第２（又は第３）のスポットとして再び特定しないようにするものとする。
【０１８０】
そして、スポット光抽出部１２ａは、特定した３個の画素データが示す、第１、第２及び第３のスポット光の候補の特定の色成分の評価値を取得する（ステップＳＦ４）。具体的には、第１のスポット光の候補の赤評価値ＥＲ、第２のスポット光の候補の緑評価値ＥＧ、及び、第３のスポット光の候補の青評価値ＥＢを取得するものとする。
なお、赤評価値ＥＲは、数式１１の右辺の値に実質的に等しい値であり、緑評価値ＥＧは、数式１２の右辺の値に実質的に等しい値であり、青評価値ＥＢは、数式１３の右辺の値に実質的に等しい値である。
【０１８１】
【数１１】
ＥＲ＝Ｒ−｛（Ｇ＋Ｂ）／２｝
（ただし、Ｒは、赤色成分の輝度値、Ｇは緑色成分の輝度値、Ｂは青色成分の輝度値）
【数１２】
ＥＧ＝Ｇ−｛（Ｒ＋Ｂ）／２｝
【数１３】
ＥＢ＝Ｂ−｛（Ｒ＋Ｇ）／２｝
【０１８２】
次に、スポット光抽出部１２ａは、取得した第１〜第３のスポット光の候補の各評価値のうちの最小値が、変数ｍａｘの現在の値より大きいか否かを判別する（ステップＳＦ５）。そして、当該最小値が変数ｍａｘの値以下であると判別すると、処理をステップＳＦ７へと進める。
【０１８３】
一方、最小値が変数ｍａｘの値より大きいと判別すると、スポット光抽出部１２ａは、変数ｍａｘの値を、ステップＳＦ４で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＦ６）。
また、ステップＳＦ６でスポット光抽出部１２ａは、変数ｓｓの値を、ステップＳＦ２で最も新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、ステップＳＦ２で最も新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値とステップＳＦ３で最も新しく第２のスポット光の候補として特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｖｖの値を、ステップＳＦ２で最も新しく第１のスポット光の候補として特定した画素の位置のｙ軸方向成分の値とステップＳＦ３で最も新しく第２のスポット光の候補として特定した画素の位置のｙ軸方向成分の値との差へと更新する。
【０１８４】
次に、スポット光抽出部１２ａは、ステップＳＦ２でもっとも新しく特定した第１のスポット光の候補と上述の所定の関係にある画素のうちに、未だ第２のスポット光の候補として特定されていない画素があるか否かを判別する（ステップＳＦ７）。そして、あると判別するとステップＳＦ３へと処理を戻し、ないと判別すると、処理をステップＳＦ８へと進める。
【０１８５】
ステップＳＦ８で、スポット光抽出部１２ａは、ステップＳＦ２で未だ第１のスポット光の候補として特定されていない画素があるか否かを判別する。そして、あると判別するとステップＳＦ２へと処理を戻し、ないと判別すると、処理を終了する。
【０１８６】
処理を終了した時点での変数ｓｓの値が、第１のスポット光の位置のｘ軸方向成分を表し、変数ｔｔの値が、第１のスポット光のｙ軸方向成分の値を表す。また、処理を終了した時点での変数ｓｓの値と変数ｕｕの値との和が、第２のスポット光の位置のｘ軸方向成分を表し、変数ｔｔの値と変数ｖｖの値との和が、第２のスポット光のｙ軸方向成分の値を表す。また、処理を終了した時点での変数ｍａｘの値が、第１〜第３のスポット光のうちもっとも暗いものの輝度を表す。
【０１８７】
また、発光部４が発するスポット光が、赤色の第１のスポット光と、第１のスポット光を中心として互いに点対称の位置に来るように配置された緑色の第２のスポット光及び青色の第３のスポット光とからなるパターンを形成している場合、この描画システムは、スポット光抽出処理として図２４〜図２７に示す処理を行うようにしてもよい。
【０１８８】
すなわち、スポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、変数Ｒｍ、変数Ｇｍ、変数Ｂｍ、変数Ｒｘ、変数Ｒｙ、変数Ｇｘ、変数Ｇｙ、変数Ｂｘ、変数Ｂｙ及び変数ｍａｘの使用を宣言し、これら１０個の変数にそれぞれ値０を代入することにより初期化する（図２４、ステップＳＧ１）。
【０１８９】
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を特定する（ステップＳＧ２）。ただし、ステップＳＧ２では、既にステップＳＧ２の処理で特定されたことのある画素は、再び特定しないようにするものとする。
【０１９０】
そして、スポット光抽出部１２ａは、特定した画素の赤評価値ＥＲを取得し（ステップＳＧ３）、取得した赤評価値が、変数Ｒｍの値より大きいか否かを判別する（ステップＳＧ４）。そして、赤評価値がＲｍ以下であると判別すると、処理をステップＳＧ６へと進める。
【０１９１】
一方、赤評価値がＲｍより大きいと判別すると、スポット光抽出部１２ａは、変数Ｒｍの値を、ステップＳＧ３で新しく取得した赤評価値へと更新し、変数Ｒｘの値を、ステップＳＧ２で最も新しく特定した画素の位置のｘ軸方向成分の値へと更新し、変数Ｒｙの値を、この画素のｙ軸方向成分の値へと更新する（ステップＳＧ５）。
【０１９２】
また、スポット光抽出部１２ａは、特定した画素の緑評価値ＥＧを取得し（ステップＳＧ６）、この緑評価値が変数Ｇｍの値より大きいか否かを判別する（ステップＳＧ７）。そして、緑評価値が変数Ｇｍ以下であると判別すると処理をステップＳＧ９へと進める。一方、変数Ｇｍより大きいと判別すると、変数Ｇｍの値を、ステップＳＧ６で新しく取得した緑評価値へと更新し、変数Ｇｘの値を、ステップＳＧ２で最も新しく特定した画素の位置のｘ軸方向成分の値へと更新し、変数Ｇｙの値を、この画素のｙ軸方向成分の値へと更新する（ステップＳＧ８）。
【０１９３】
また、スポット光抽出部１２ａは、特定した画素の青評価値ＥＢを取得し（ステップＳＧ９）、この青評価値が変数Ｂｍの値より大きいか否かを判別する（ステップＳＧ１０）。そして、青評価値が変数Ｂｍ以下であると判別すると処理をステップＳＧ１２へと進める。一方、変数Ｂｍより大きいと判別すると、変数Ｂｍの値を、ステップＳＧ９で新しく取得した青評価値へと更新し、変数Ｂｘの値を、ステップＳＧ２で最も新しく特定した画素の位置のｘ軸方向成分の値へと更新し、変数Ｂｙの値を、この画素のｙ軸方向成分の値へと更新する（ステップＳＧ１１）。
【０１９４】
ステップＳＧ１２で、スポット光抽出部１２ａは、ステップＳＧ２で未だ特定されていない画素があるか否かを判別し、あると判別するとステップＳＧ２へと処理を戻し、ないと判別すると、処理を、図２５に示すステップＳＧ１３へと進める。
【０１９５】
ステップＳＧ１２までの処理を終了した時点での変数Ｒｘの値が、赤色がもっとも強い画素の位置のｘ軸方向成分を表し、変数Ｒｙの値が、この画素のｙ軸方向成分の値を表し、変数Ｒｍの値が、この画素の赤評価値を表す。
同様に、変数Ｇｘの値は、緑色がもっとも強い画素の位置のｘ軸方向成分を表し、変数Ｒｙの値が、この画素のｙ軸方向成分の値を表し、変数Ｇｍの値が、この画素の緑評価値を表す。
また、変数Ｂｘの値は、青色がもっとも強い画素の位置のｘ軸方向成分を表し、変数Ｂｙの値が、この画素のｙ軸方向成分の値を表し、変数Ｂｍの値が、この画素の青評価値を表す。
【０１９６】
ステップＳＧ１３で、スポット光抽出部１２ａは、赤色がもっと強いとして特定された画素を第１のスポット光とした場合に第２及び第３のスポット光となる位置関係にある２個の画素を、第２及び第３のスポット光の候補として特定する。
【０１９７】
ただし、ステップＳＧ１３では、既にステップＳＧ１３の処理で第２のスポット光の候補として特定された画素は、第２のスポット光の候補として再び特定しないようにするものとする。また、既にステップＳＧ１３の処理で第３のスポット光の候補として特定された画素は、第３のスポット光の候補として再び特定しないようにするものとする。
【０１９８】
そして、スポット光抽出部１２ａは、赤色がもっと強いとして特定された画素、の赤評価値、もっとも新しく特定された第２のスポット光の候補の緑評価値、及び、もっとも新しく特定された第３のスポット光の候補の青評価値を取得し、取得したこれら３個の評価値のうちの最小値が、変数ｍａｘの現在の値より大きいか否かを判別する（ステップＳＧ１４）。そして、評価値の最小値が変数ｍａｘの値以下であると判別すると、処理をステップＳＧ１６へと進める。
【０１９９】
一方、評価値の最小値が変数ｍａｘの値より大きいと判別すると、スポット光抽出部１２ａは、ｍａｘの値を、ステップＳＧ１４で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＧ１５）。
また、変数ｓｓの値を、赤色がもっとも強いとして特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、赤色がもっとも強いとして特定した画素の位置のｘ軸方向成分の値とステップＳＧ１３で最も新しく第２のスポット光の候補として特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｖｖの値を、赤色がもっとも強いとして特定した画素の位置のｙ軸方向成分の値とステップＳＧ１３で最も新しく第２のスポット光の候補として特定した画素の位置のｙ軸方向成分の値との差へと更新する。
【０２００】
次に、スポット光抽出部１２ａは、もっとも赤色が強いとして特定した画素を第１のスポット光としたとき第２のスポット光となり得る画素が、ステップＳＧ１３で既に特定したものの他に存在するか否かを判別する（ステップＳＧ１６）。そして、存在すると判別するとステップＳＧ１３へと処理を戻す。
【０２０１】
一方、存在しないと判別すると、変数ｍａｘの現在の値ＭＡＸ、変数ｓｓの現在の値ＳＳ、変数ｔｔの現在の値ＴＴ、変数ｕｕの現在の値ＵＵ及び変数ｖｖの現在の値ＶＶを表すデータｔｍｐ１を作成してＲＡＭ１３に一時記憶させる（ステップＳＧ１７）。
【０２０２】
次に、スポット光抽出部１２ａは、変数ｍａｘ、変数ｓｓ、変数ｔｔ、変数ｕｕ及び変数ｖｖを初期化し（図２６、ステップＳＧ１８）、処理をステップＳＧ１９へと進める。
ステップＳＧ１９でスポット光抽出部１２ａは、緑色がもっと強いとして特定された画素を第２のスポット光とした場合に第１及び第３のスポット光となる位置関係にある２個の画素を、第１及び第３のスポット光の候補として特定する。
【０２０３】
ただし、ステップＳＧ１９では、既にステップＳＧ１９の処理で第１のスポット光の候補として特定された画素は、第１のスポット光の候補として再び特定しないようにするものとする。また、既にステップＳＧ１９の処理で第３のスポット光の候補として特定された画素は、第３のスポット光の候補として再び特定しないようにするものとする。
【０２０４】
そして、スポット光抽出部１２ａは、緑色がもっと強いとして特定された画素、の緑評価値、もっとも新しく特定された第１のスポット光の候補の赤評価値、及び、もっとも新しく特定された第３のスポット光の候補の青評価値を取得し、取得したこれら３個の評価値のうちの最小値が、変数ｍａｘの値より大きいか否かを判別する（ステップＳＧ２０）。そして、変数ｍａｘの値以下であると判別すると、処理をステップＳＧ２２へと進める。
【０２０５】
一方、評価値の最小値が変数ｍａｘの値より大きいと判別すると、スポット光抽出部１２ａは、ｍａｘの値を、ステップＳＧ２０で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＧ２１）。
また、変数ｓｓの値を、ステップＳＧ１９でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、ステップＳＧ１９でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値ともっとも緑色が強いとして特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｖｖの値を、ステップＳＧ１９でもっとも新しく第１のスポット光の候補として特定した画素の位置のｙ軸方向成分の値ともっとも緑色が強いとして特定した画素の位置のｙ軸方向成分の値との差へと更新する。
【０２０６】
次に、スポット光抽出部１２ａは、もっとも緑色が強いとして特定した画素を第２のスポット光としたとき第１のスポット光となり得る画素が、ステップＳＧ１９で既に特定したものの他に存在するか否かを判別する（ステップＳＧ２２）。そして、存在すると判別するとステップＳＧ１９へと処理を戻す。
一方、存在しないと判別すると、変数ｍａｘの現在の値ＭＡＸ、変数ｓｓの現在の値ＳＳ、変数ｔｔの現在の値ＴＴ、変数ｕｕの現在の値ＵＵ及び変数ｖｖの現在の値ＶＶを表すデータｔｍｐ２を作成してＲＡＭ１３に一時記憶させ（ステップＳＧ２３）、変数ｍａｘ、変数ｓｓ、変数ｔｔ、変数ｕｕ及び変数ｖｖを初期化して（図２７、ステップＳＧ２４）、処理をステップＳＧ２５へと進める。
【０２０７】
ステップＳＧ２５で、スポット光抽出部１２ａは、青色がもっと強いとして特定された画素を第３のスポット光とした場合に第１及び第２のスポット光となる位置関係にある２個の画素を、第１及び第２のスポット光の候補として特定する。
ただし、ステップＳＧ２５では、既にステップＳＧ２５の処理で第１のスポット光の候補として特定された画素は、第１のスポット光の候補として再び特定しないようにするものとする。また、既にステップＳＧ２５の処理で第２のスポット光の候補として特定された画素は、第２のスポット光の候補として再び特定しないようにするものとする。
【０２０８】
そして、スポット光抽出部１２ａは、青色がもっと強いとして特定された画素、の緑評価値、もっとも新しく特定された第１のスポット光の候補の赤評価値、及び、もっとも新しく特定された第２のスポット光の候補の緑評価値を取得し、取得したこれら３個の評価値のうちの最小値が変数ｍａｘの現在より大きいか否かを判別する（ステップＳＧ２６）。そして、評価値の最小値が変数ｍａｘの値以下であると判別すると、処理をステップＳＧ２８へと進める。
【０２０９】
一方、評価値がｍａｘより大きいと判別すると、スポット光抽出部１２ａは、ｍａｘの値を、ステップＳＧ２６で新しく取得した３個の評価値のうちの最小値へと更新する（ステップＳＧ２７）。
また、変数ｓｓの値を、ステップＳＧ２５でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
また、変数ｕｕの値を、ステップＳＧ２５でもっとも新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値ともっとも新しく第２のスポット光の候補として特定した画素の位置のｘ軸方向成分の値との差へと更新する。
また、変数ｕｕの値を、ステップＳＧ２５でもっとも新しく第１のスポット光の候補として特定した画素の位置のｙ軸方向成分の値ともっとも新しく第２のスポット光の候補として特定した画素の位置のｙ軸方向成分の値との差へと更新する。
【０２１０】
次に、スポット光抽出部１２ａは、もっとも青色が強いとして特定した画素を第３のスポット光としたとき第１のスポット光となり得る画素が、ステップＳＧ２５で既に特定したものの他に存在するか否かを判別する（ステップＳＧ２８）。そして、存在すると判別するとステップＳＧ２５へと処理を戻す。
【０２１１】
一方、存在しないと判別すると、スポット光抽出部１２ａは、変数ｍａｘの現在の値ＭＡＸ、変数ｓｓの現在の値ＳＳ、変数ｔｔの現在の値ＴＴ、変数ｕｕの現在の値ＵＵ及び変数ｖｖの現在の値ＶＶを表すデータｔｍｐ３を作成する。そして、データｔｍｐ１、ｔｍｐ２及びｔｍｐ３のうち、表す値ＭＡＸが最大の値をとっているデータを特定し、特定したデータにより表される値ＳＳ及び値ＴＴの組により示される座標（ＳＳ，ＴＴ）にある画素を、第１のスポット光と決定する（ステップＳＧ２９）。
【０２１２】
また、ステップＳＧ２９でスポット光抽出部１２ａは、特定したデータにより表される値ＳＳ及び値ＵＵの和と値ＴＴ及び値ＶＶの和との組により示される座標（（ＳＳ＋ＵＵ），（ＴＴ＋ＶＶ））にある画素を、第２のスポット光と決定する。また、特定したデータにより表される値ＳＳ及び値ＵＵの差と値ＴＴ及び値ＶＶの差との組により示される座標（（ＳＳ−ＵＵ），（ＴＴ−ＶＶ））にある画素を、第３のスポット光と決定する。
【０２１３】
スポット光抽出処理として上述のステップＳＧ１〜ＳＧ２９の処理を行うことにより、発光部４が発するスポット光以外の光が表示部３の表示画面上に当たることによる誤動作が回避される。
【０２１４】
具体的に説明すると、例えば図２８に示すように、発光部４が発するスポット光以外の光が作る青色で輝度２００の点ＰＡ及び緑色で輝度２１０の点ＰＢと、発光部４が発するスポット光が作る青色で輝度１６０の点ＰＣ、赤色で輝度１８０の点ＰＤ、及び緑色で輝度２００の点ＰＥとが表示部３の表示画面上に形成されたとする。この場合に、この描画システムがスポット光抽出処理としてステップＳＦ１〜ＳＦ８の処理を行った場合は、点ＰＡ、点ＰＢ及び点ＰＤの組が発光部４のスポット光であると誤って決定されることがあり得る。一方、スポット光抽出処理としてステップＳＧ１〜ＳＧ２９の処理を行った場合は、点ＰＣ、点ＰＤ及び点ＰＥの組が発光部４のスポット光として正しく決定される。
【０２１５】
発光部４が複数発するスポット光の色は、互いに同一の色であってもよい。具体的には、例えば、図２９（ａ）に示すような、同一色、同一輝度（なお、図２９においては、円の面積が輝度の大きさを表すものとする）のスポット３個が直線上にほぼ等間隔に並ぶようなパターンであってもよい。また、図２９（ｂ）に示すように、同一色で互いに異なる輝度のスポット３個が直線上にほぼ等間隔に並ぶようなパターンであってもよい。また、図２９（ｃ）に示すような、図２９（ａ）のパターンに加え更に、３個のスポットが並ぶ直線に垂直で、３個のスポットのうち中央のスポットを通るような直線上に並ぶ４個目のスポットを含むパターンであってもよい。
【０２１６】
発光部４が発するスポット光が、図２９（ａ）に示すように、第１のスポット光と、第１のスポット光を中心として互いに点対称の位置に来るように配置された第２、第３のスポット光とからなるパターンを形成する場合、この描画システムは、例えば、スポット光抽出処理として図３０に示す処理を行うことにより、スポット光のパターンを抽出してもよい。（なお、以下では、理解を容易にするため、第１〜第３のスポット光はいずれも赤色であるものとする。）
【０２１７】
すなわち、スポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、変数Ｒ_ｍａｘ、変数ｘ及び変数ｙの使用を宣言し、これら３個の変数をそれぞれ初期化する（図３０、ステップＳＨ１）。そして、上述のステップＳ２１１〜Ｓ２１４の処理と実質的に同一の処理を行うことにより、赤色がもっとも強い画素の座標及び赤評価値を取得する（ステップＳＨ２）。なお、ステップＳＨ２では、赤色成分の強さに代えて、上述の赤評価値を用いるものとする。もっとも、赤色成分の強さの値を用いることも差し支えない。
【０２１８】
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素のうち、ステップＳＨ２で座標が取得された画素を除く画素について、ステップＳＨ２の処理と実質的に同一の処理を行うことにより、赤色が２番目に強い画素の座標及び赤評価値を取得する（ステップＳＨ３）。
【０２１９】
ただし、ステップＳＨ３では、ステップＳＨ３の処理の対象となる画素の元来の画素値に重み関数を乗じた値を、画素値であるものとして扱う。この重み関数は、例えば図３１に示すような関数であるものとする。すなわち、ステップＳＨ２で取得された座標からの距離が一定値以下である画素の画素値を元来の値より小さくし、また、ステップＳＨ２で取得された座標からの距離が一定値以下である画素については、ステップＳＨ２で取得された座標に近いものほど、乗じた後の画素値の元来の画素値に対する比率を小さくするような関数であるものとする。
【０２２０】
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素のうち、ステップＳＨ２又はＳＨ３で座標が取得された２個の画素を除く画素について、ステップＳＨ３の処理と実質的に同一の処理を行うことにより、赤色が３番目に強い画素の座標及び赤評価値を取得する（ステップＳＨ４）。
【０２２１】
ただし、ステップＳＨ４で処理の対象となる画素の元来の画素値に乗じる重み関数は、ステップＳＨ３で取得された座標からの距離が一定値以下である画素の画素値を元来の値より小さくし、また、ステップＳＨ３で取得された座標からの距離が一定値以下である画素については、ステップＳＨ３で取得された座標に近いものほど、乗じた後の画素値の元来の画素値に対する比率を小さくするような関数であるものとする。
【０２２２】
次に、スポット光抽出部１２ａは、ステップＳＨ２〜ＳＨ４で赤評価値及び座標を取得した３個の画素を用いて、上述したステップＳＧ１３〜ＳＧ２９の処理と実質的に同一の処理を行うことにより、第１〜第３のスポット光の位置を決定する（ステップＳＨ５）。
【０２２３】
ただし、ステップＳＨ５でスポット光抽出部１２ａは、もっとも緑色が強いとされた画素を用いる代わりに、２番目に赤色が強いとされた画素を用いる。また、もっとも青色が強いとされた画素を用いる代わりに、３番目に赤色が強いされた画素を用いる。また、緑評価値及び青評価値の代わりに、赤評価値（または、赤色成分の強さ）を用いる。
【０２２４】
（第４の実施の形態）
ステップＳ３の処理により表示部３の表示画面上で繰り返し輝点が表示される結果、この表示画面上に当たったスポット光の位置が移動すれば、上述の各実施の形態にかかる描画システムが表示する輝点も移動する。
しかし、スポット光の移動が高速である場合、これらの描画システムが表示する輝点の移動が視覚的にも不連続になって、輝点の移動を視認するユーザにとり不自然に感じられる場合があり得る。
このような場合、輝点の移動量について補間処理を行うことにより視覚上輝点が滑らかに移動するようにすることができる。以下では、補間処理を行うことにより輝点の移動を滑らかにする、この発明の第４の実施の形態を説明する。
【０２２５】
この描画システムは、図３２に示す構成を有している。すなわち、この描画システムは、図２に示す構成と実質的に同一の物理的構成を有し、更に、画像解析部１２が、ＣＰＵ等からなり後述する処理を行う補間処理部１２ｃと、水晶発振器等からなるタイマＴを備える。タイマＴは、現在時刻を表す時刻情報を生成し、補間処理部１２ｃへと連続的に供給する。
【０２２６】
一方、この描画システムのＲＡＭ１３は、スポット光抽出処理により抽出されたスポットの位置の座標を、最も新しく抽出された方から２個分記憶するものとする。そして、この描画システムは、座標変換処理（ステップＳ２２の処理）を終えると、ステップＳ３に処理を移す前に、図３３に示す補間処理を行う。
【０２２７】
すなわち、この描画システムがステップＳ２２で座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）を求めると、ステップＳ３に処理を移す前に、補間処理部１２ｃが、タイマＴから供給される時刻情報を取得する（図３３、ステップＳＩ１）。そして、最も新しく求めた座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）と、最も新しく取得した時刻情報とを、互いに対応付けてＲＡＭ１３に記憶させる。
【０２２８】
次に、補間処理部１２ｃは、もっとも新しく取得した方から２点分のスポット（以下では、ｎを自然数として、ｎ個目のスポットと（ｎ＋１）個目のスポットであるものとして説明する）の座標と、これら２点の座標に対応付けられているｎ番目及び（ｎ＋１）番目の時刻情報とを読み出し、読み出した座標及び時刻情報に基づいて数式１４及び数式１５の各右辺の値を求めることによって、（ｎ＋１）番目に時刻情報を取得した時刻におけるスポットの移動速度のｘ軸方向成分ｖｘ_ｎ＋１及びｙ軸方向成分ｖｙ_ｎ＋１を求め、求めた移動速度ｖｘ_ｎ＋１及びｖｙ_ｎ＋１の値を、最も新しく取得した時刻情報に対応付けて、ＲＡＭ１３に記憶させる（ステップＳＩ２）。
【０２２９】
【数１４】
ｖｘ_ｎ＋１＝（ｘ_ｎ＋１−ｘ_ｎ）／（ｔ_ｎ＋１−ｔ_ｎ）
（ただし、ｘ_ｎ＋１は（ｎ＋１）番目に取得したスポットの座標のｘ軸方向成分、ｘ_ｎはｎ番目に取得したスポットの座標のｘ軸方向成分、ｔ_ｎ＋１は（ｎ＋１）番目に取得した現在時刻、ｔ_ｎはｎ番目に取得した現在時刻）
【０２３０】
【数１５】
ｖｙ_ｎ＋１＝（ｙ_ｎ＋１−ｙ_ｎ）／（ｔ_ｎ＋１−ｔ_ｎ）
（ただし、ｙ_ｎ＋１は（ｎ＋１）番目に取得したスポットの座標のｙ軸方向成分、ｙ_ｎはｎ番目に取得したスポットの座標のｙ軸方向成分）
【０２３１】
次に、補間処理部１２ｃは、数式１６により示される補間用の関数Ｘ（ｔ；ｔ_ｎ＜ｔ≦ｔ_ｎ＋１）及び数式１７により示される補間用の関数Ｙ（ｔ；ｔ_ｎ＜ｔ≦ｔ_ｎ＋１）を特定する（ステップＳＩ３）。
関数Ｘ（ｔ）は、時刻ｔ_ｎからｔ_ｎ＋１までの間にスポットの座標のｘ軸方向成分の推測値、関数Ｙ（ｔ）は、時刻ｔ_ｎからｔ_ｎ＋１までの間にスポットの座標のｙ軸方向成分の推測値である。そして、座標（Ｘ（ｔ_ｎ），Ｙ（ｔ_ｎ））は時刻ｔ_ｎにおけるスポットの位置を表し、座標（Ｘ（ｔ_ｎ＋１），Ｙ（ｔ_ｎ＋１））は時刻ｔ_ｎ＋１におけるスポットの位置を表す。
【０２３２】
【数１６】
Ｘ（ｔ；ｔ_ｎ＜ｔ≦ｔ_ｎ＋１）＝｛−（ｔ_ｎ＋１−ｔ）^２・ｖｘ_ｎ｝／｛２・（ｔ_ｎ＋１−ｔ_ｎ）｝
＋｛（ｔ_ｎ−ｔ）^２・ｖｘ_ｎ＋１｝／｛２・（ｔ_ｎ＋１−ｔ_ｎ）｝
＋ｘ_ｎ＋１−｛ｖｘ_ｎ＋１・（ｔ_ｎ＋１−ｔ_ｎ）／２｝（ただし、ｖｘ_０＝０）
【０２３３】
【数１７】
Ｙ（ｔ；ｔ_ｎ＜ｔ≦ｔ_ｎ＋１）＝｛−（ｔ_ｎ＋１−ｔ）^２・ｖｙ_ｎ｝／｛２・（ｔ_ｎ＋１−ｔ_ｎ）｝
＋｛（ｔ_ｎ−ｔ）^２・ｖｙ_ｎ＋１｝／｛２・（ｔ_ｎ＋１−ｔ_ｎ）｝
＋ｙ_ｎ＋１−｛ｖｙ_ｎ＋１・（ｔ_ｎ＋１−ｔ_ｎ）／２｝（ただし、ｖｙ_０＝０）
【０２３４】
次に、補間処理部１２ｃは、座標（Ｘ（ｔ），Ｙ（ｔ））に位置する点の時刻ｔ_ｎからｔ_ｎ＋１までの移動の軌跡を表す曲線を特定し、この曲線を表すデータを作成してＲＡＭ１３に格納し（ステップＳＩ４）、補間処理を終えてステップＳ３に処理を移す。
【０２３５】
補間処理が終わりステップＳ３に処理が移ると、中央制御部１１は、座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）を読み出す代わりに、ステップＳＩ４でＲＡＭ１３に格納された、曲線を表すデータをＲＡＭ１３より読み出す。そして、表示部３の表示画面上に、このデータが表す曲線を表示するよう、表示部３に指示する。表示部３は、この指示に従った曲線を表示画面上に表示する。
なお、関数Ｘ（ｔ）及びＹ（ｔ）は上述のものに限られず、軌跡が連続する曲線となるような関数であればよい。
【０２３６】
（第４の実施の形態の変形例）
なお、ＲＡＭ１３は、スポット光抽出処理により抽出されたスポットの位置の座標を、最も新しく抽出された方から３個分以上記憶してもよい。
また、この描画システムは、スポットの位置の異なるタイミングで複数回抽出した結果に基づいて、これら複数の抽出結果により代表されるスポットの位置を決定し、決定された位置の座標を、座標変換処理以降の処理において、座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）に代えて用いるようにしてもよい。こうすることにより、ユーザが発光部４を操作してスポット光の位置を定める際の手ぶれを軽減することが可能となる。
【０２３７】
具体的には、スポット光抽出部１２ａは、例えば図３４に示す処理を行うようにすればよい。（なお、この描画システムのＲＡＭ１３は、スポット光抽出処理により抽出されたスポットの位置の座標を、最も新しく抽出された方からｐ個分（ｐは十分大きな正の整数）記憶するものとする。）
【０２３８】
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、まず、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍの使用を宣言し、変数ｍに値０を代入する（図３４、ステップＳＪ１）。
【０２３９】
次に、スポット光抽出部１２ａは変数ｍをインクリメントし（ステップＳＪ２）、座標変換処理で最も新しく取得した方からＭ番目（Ｍは変数ｍの現在の値）のスポットと（Ｍ−１）番目のスポットとの間の距離が所定の静止判別用の閾値を超えているか否かを判別する（ステップＳＪ３）。
【０２４０】
そして、静止判別用の閾値を超えていないと判別すると、スポット光抽出部１２ａは、処理をステップＳＪ２に戻す。一方、静止判別用の閾値を超えていると判別すると、座標変換部１２ｂが最も新しく取得した（Ｍ−１）個のスポットの座標のｘ軸方向成分の平均値ｘ_ａｖｅ及びｙ軸方向成分の平均値ｙ_ａｖｅを求める（ステップＳＪ４）。
【０２４１】
スポット光抽出部１２ａが平均値ｘ_ａｖｅ及びｙ_ａｖｅを求めると、座標変換部１２ｂは、座標（ｘ_ａｖｅ，ｙ_ａｖｅ）を、スポット光抽出処理によって分かったスポットの座標であるものとして扱い、座標変換処理を行う。
【０２４２】
なお、スポット光抽出部１２ａは、ステップＳ２１で最も新しくＲＡＭ１３に格納した座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）の値を、ステップＳＪ４で最も新しく求めた平均値ｘ_ａｖｅ及びｙ_ａｖｅにより表される座標（ｘ_ａｖｅ，ｙ_ａｖｅ）の値へと書き換えるようにしてもよい。
【０２４３】
あるいは、スポット光抽出部１２ａは、例えば図３５に示す処理を行うようにしてもよい。
【０２４４】
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、まず、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍの使用を宣言し、変数ｍに値１を代入する（図３５、ステップＳＫ１）。
【０２４５】
次に、スポット光抽出部１２ａは、変数ｍの値が所定値Ｎより小さいか否かを判別し（ステップＳＫ２）、Ｎ以上であると判別すると、処理をステップＳＫ６に移す。
【０２４６】
一方、Ｎより小さいと判別すると、スポット光抽出部１２ａは、座標変換部１２ｂが最も新しく取得したＭ個（Ｍは変数ｍの現在の値）のスポットの座標のｘ軸方向成分の平均値ｘ_{ａｖｅ（Ｍ）}及びｙ軸方向成分の平均値ｙ_{ａｖｅ（Ｍ）}を求める（ステップＳＫ３）。そして、求めた平均値の組が示す座標（ｘ_{ａｖｅ（ Ｍ）}，ｙ_{ａｖｅ（Ｍ）}）と１番目のスポットとの間の距離が所定の静止判別用の閾値を超えているか否かを判別する（ステップＳＫ４）。
【０２４７】
ステップＳＫ４で、静止判別用の閾値を超えていないと判別すると、スポット光抽出部１２ａは変数ｍをインクリメントし（ステップＳＫ５）、処理をステップＳＫ２に戻す。一方、静止判別用の閾値を超えていると判別すると、座標変換部１２ｂが最も新しく取得した（Ｍ−１）個のスポットの座標のｘ軸方向成分の平均値ｘ_{ａｖｅ（Ｍ−１）}及びｙ軸方向成分の平均値ｙ_{ａｖｅ（Ｍ−１）}により表される座標（ｘ_{ａｖｅ（Ｍ−１）}，ｙ_{ａｖｅ（Ｍ−１）}）を、スポット光抽出処理によって分かったスポットの座標として決定し（ステップＳＫ６）、座標変換処理を行う。
【０２４８】
あるいは、スポット光抽出部１２ａは、ステップＳＪ１〜ＳＪ４の処理やステップＳＫ１〜ＳＫ６の処理に代えて、図３６に示す処理を行うようにしてもよい。
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍ及び変数ｆの使用を宣言し、変数ｍ及び変数ｆに値０を代入する（図３６、ステップＳＬ１）。
【０２４９】
次に、スポット光抽出部１２ａは変数ｍをインクリメントし（ステップＳＬ２）、座標変換処理で最も新しく取得した方からＭ番目（Ｍは変数ｍの現在の値）のスポットと（Ｍ−１）番目のスポットとの間の距離が所定の静止判別用の閾値以上であるか否かを判別する（ステップＳＬ３）。
【０２５０】
そして、閾値を超えていないと判別すると、スポット光抽出部１２ａは、処理をステップＳＬ２に戻す。一方、閾値を超えていると判別すると、現在の変数ｍの値ＭをＲＡＭ１３に一時記憶させ（ステップＳＬ４）、変数ｆをインクリメントして（ステップＳＬ５）、変数ｆの値が所定値に達したか否かを判別する（ステップＳＬ６）。
【０２５１】
変数ｆが所定値に達していないと判別すると、スポット光抽出部１２ａは処理をステップＳＬ２に戻し、達していると判別すると、座標変換部１２ｂが最も新しく取得した（Ｍ−１）個のスポットのうち、ステップＳＬ４で一時記憶した変数ｍの値により示されるスポット（すなわち、例えば、一時記憶した値が「３」及び「７」であれば、最も新しく取得した方から３番目及び７番目のスポット）を除いたスポットについて、これらのスポット座標のｘ軸方向成分の平均値ｘ_ａｖｅ及びｙ軸方向成分の平均値ｙ_ａｖｅを求める（ステップＳＬ７）。
【０２５２】
スポット光抽出部１２ａが平均値ｘ_ａｖｅ及びｙ_ａｖｅを求めると、座標変換部１２ｂは、座標（ｘ_ａｖｅ，ｙ_ａｖｅ）を、スポット光抽出処理によって分かったスポットの座標であるものとして扱い、座標変換処理を行う。
【０２５３】
あるいは、スポット光抽出部１２ａは、ステップＳＬ１〜ＳＬ７の処理に代えて、図３７に示す処理を行うようにしてもよい。
【０２５４】
すなわち、スポット光抽出部１２ａがステップＳ２１で座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を求めると、スポット光抽出部１２ａは、ステップＳ２２に処理を移す前に、まず、もっとも新しく取得した方からｐ点分のスポットの座標を読み出し、また、変数ｍ及び変数ｆの使用を宣言し、変数ｍに値１を代入し、変数ｆに値０を代入する（図３７、ステップＳＭ１）。また、スポット光抽出部１２ａは、ｐ個のフラグの使用も宣言する。
【０２５５】
次に、スポット光抽出部１２ａは、変数ｍの値が所定値Ｎより小さいか否かを判別し（ステップＳＭ２）、Ｎ以上であると判別すると、処理をステップＳＭ１０に移す。
【０２５６】
一方、Ｎより小さいと判別すると、スポット光抽出部１２ａは、Ｍ番目（Ｍは変数ｍの現在の値）のフラグをセットし（ステップＳＭ３）、座標変換部１２ｂが最も新しく取得したＭ個のスポットの座標のｘ軸方向成分の平均値ｘ_{ａｖｅ（Ｍ）}及びｙ軸方向成分の平均値ｙ_{ａｖｅ（Ｍ）}を求める（ステップＳＭ４）。
【０２５７】
そして、スポット光抽出部１２ａは、ステップＳＭ４で求めた平均値の組が示す座標（ｘ_{ａｖｅ（Ｍ）}，ｙ_{ａｖｅ（Ｍ）}）と１番目のスポットとの間の距離が所定の静止判別用の閾値を超えているか否かを判別する（ステップＳＭ５）。
【０２５８】
ステップＳＭ５で、静止判別用の閾値を超えていないと判別すると、スポット光抽出部１２ａは変数ｆに値０を代入し（ステップＳＭ６）、変数ｍをインクリメントして（ステップＳＭ７）、処理をステップＳＭ２に戻す。
一方、静止判別用の閾値を超えていると判別すると、スポット光抽出部１２ａは、Ｍ番目のフラグをリセットし、変数ｆをインクリメントする（ステップＳＭ８）。そして、変数ｆの値が所定値Ｎ以上であるか否かを判別し（ステップＳＭ９）、Ｎより小さいと判別すると、処理をステップＳＭ７に移す。
【０２５９】
一方、ステップＳＭ９で、変数ｆの値がＮ以上であると判別すると、座標変換部１２ｂが最も新しく取得したＭ個のスポットのうち、セットされているフラグに対応するスポット（すなわち、例えば、Ｍ番目までのフラグのうち３番目及び７番目のフラグがリセットされていて他のフラグがセットされていれば、最も新しく取得した方から３番目及び７番目のスポット以外のスポット）の座標のｘ軸方向成分の平均値ｘ_ａｖｅ及びｙ軸方向成分の平均値ｙ_ａｖｅを求める。そして、求めた平均値により表される座標（ｘ_ａｖｅ，ｙ_ａｖｅ）を、スポット光抽出処理によって分かったスポットの座標として決定し（ステップＳＭ１０）、座標変換処理を行う。
【０２６０】
また、発光部４は、操作者の操作に従い、複数種類の色のうち操作者が選択した色のスポット光１個を発する構成を有していてもよい。そして、この描画システムは、発光部４が発する各々の色を識別したり、識別結果に基づいて自己が行う処理の内容を決定したりしてよい。
たとえば、発光部４が、赤色、緑色及び青色の３色のうちユーザが選択した１色を発するよう構成されている場合、この描画システムは、発光部４をマウスとして機能させるために、赤色のスポットを抽出したときはマウスカーソルの移動が指示されたと判別し、緑色のスポットを抽出したときはマウスの左ボタンがクリックされたと判別し、青色のスポットを抽出したときはマウスの右ボタンがクリックされたと判別し、判別結果に基づいて、判別以後の処理の内容を決定してもよい。
【０２６１】
発光部４が複数種類の色のうち選択された色のスポット光を発する場合において、各色のスポット光を互いに異なる発光体（発光ダイオード等）から発する場合は、表示部３の表示画面に対する発光体４の位置を固定しても、スポット光が表示画面に当たる位置が、選択された色毎に異なり得る。この場合、ユーザが発光部４を用いて小さな点をポイントすることが難しくなるという不都合が生じ得る。
【０２６２】
発光部４が発するスポット光が表示部３の表示画面に当たる位置が、選択された色毎に異なる場合、スポット光抽出部１２ａは、色毎のスポットの位置のずれを補正するため、スポット光抽出処理として図３８に示す処理を行ってもよい。こうすることにより、スポットの位置の色毎のずれに原因する上述の不都合が避けられる。
【０２６３】
なお、理解を容易にするため、図３８の処理を行う構成においては、発光部４が、赤色、緑色及び青色の３色のうちユーザが選択した１色を発するよう構成されているものとする。また、発光部４は、緑色に発光している状態から、赤色に発光する状態を経ることなく青色に発光している状態に移ることはなく、また、青色に発光している状態から、赤色に発光する状態を経ることなく緑色に発光している状態に移ることもないものとする。
【０２６４】
図３８に示すスポット光抽出処理を開始すると、まず、スポット光抽出部１２ａは、２次元変数（ｓｓ，ｔｔ）を構成する変数ｓｓ及び変数ｔｔと、変数ｘｏｆｆと、変数ｙｏｆｆと、変数ｍａｘとの使用を宣言し、それぞれ値０を代入することにより初期化する（図３８、ステップＳＮ１）。
【０２６５】
また、この描画システムが動作を開始して最初のスポット光抽出処理においては、ステップＳＮ１でスポット光抽出部１２ａは更に、２次元変数（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を構成する変数ｘ_ｓｐｏｔ及び変数ｙ_ｓｐｏｔと、変数ｃｏｌｏｒと、変数ｅｘｃｏｌｏｒとの使用を宣言して初期化する。なお、変数ｃｏｌｏｒび変数ｅｘｃｏｌｏｒは、黒色、赤色、緑色または青色の４色を示す４値をとる変数である。そして、スポット光抽出部１２ａは、変数ｃｏｌｏｒび変数ｅｘｃｏｌｏｒに、それぞれ黒色を表す値を代入することにより変数ｃｏｌｏｒび変数ｅｘｃｏｌｏｒを初期化する。
【０２６６】
次に、スポット光抽出部１２ａは、ＲＡＭ１３に格納された画像データを構成する画素データのうちの１個を、スポットの候補を表す画素データとして特定する（ステップＳＮ２）。ただし、ステップＳＮ２では、既にステップＳＮ２の処理でスポットの候補として特定された画素は再び特定しないようにするものとする。
【０２６７】
次に、スポット光抽出部１２ａは、特定した画素データが示すスポットの候補の赤評価値、緑評価値及び青評価値を取得する。そして、取得した赤評価値、緑評価値及び青評価値のうちの最大値が、変数ｍａｘの現在の値より大きいか否かを判別する（ステップＳＮ３）。そして、評価値が変数ｍａｘの値以下であると判別すると、処理をステップＳＮ５へと進める。
【０２６８】
一方、赤評価値、緑評価値及び青評価値のうちの最大値がｍａｘより大きいと判別すると、スポット光抽出部１２ａは、変数ｍａｘの値を、ステップＳＮ３で新しく取得した赤評価値、緑評価値及び青評価値のうちの最大値へと更新する（ステップＳＮ４）。
また、ステップＳＮ４でスポット光抽出部１２ａは、変数ｃｏｌｏｒの値を、赤評価値、緑評価値及び青評価値のうち赤評価値が最大値をとっていれば赤色を、緑評価値が最大値をとっていれば緑色を、青評価値が最大値をとっていれば青色を表すように更新する。
更に、ステップＳＮ４でスポット光抽出部１２ａは、変数ｓｓの値を、ステップＳＮ２で最も新しく第１のスポット光の候補として特定した画素の位置のｘ軸方向成分の値へと更新し、変数ｔｔの値を、この画素のｙ軸方向成分の値へと更新する。
【０２６９】
次に、スポット光抽出部１２ａは、ステップＳＮ２で未だスポットの候補として特定されていない画素があるか否かを判別する（ステップＳＮ５）。そして、あると判別するとステップＳＮ２へと処理を戻し、ないと判別すると、処理をステップＳＮ６に移す。
【０２７０】
ステップＳＮ６で、スポット光抽出部１２ａは、データｃｏｌｏｒとデータｅｘｃｏｌｏｒとが、互いに同じ色を表しているか否かを判別する。
そして、異なる色を表していると判別すると、スポット光抽出部１２ａは、変数ｃｏｌｏｒの値が赤色を示すか否かを判別し（ステップＳＮ７）、赤色を示すと判別すると、変数ｘｏｆｆ及び変数ｙｏｆｆに０を代入して（ステップＳＮ８）、処理をステップＳ２２に移す。一方、赤色を示さないと判別すると、変数ｓｓの値から変数ｘ_ｓｐｏｔの値を差し引いた値を変数ｘｏｆｆに代入し、変数ｔｔの値から変数ｙ_ｓｐｏｔの値差し引いた値を変数ｙｏｆｆに代入して（ステップＳＮ９）、処理をステップＳ２２に移す。
【０２７１】
一方、ステップＳＮ６で、データｃｏｌｏｒとデータｅｘｃｏｌｏｒとが同じ色を表していると判別すると、変数ｘ_ｓｐｏｔに変数ｘｏｆｆの値と変数ｓｓの値の和を代入し、変数ｙ_ｓｐｏｔに変数ｙｏｆｆの値と変数ｔｔの値との和を代入して（ステップＳＮ１０）、処理をステップＳ２２に移す。
なお、データｃｏｌｏｒ及びデータｅｘｃｏｌｏｒがいずれも赤色を表している状態では、変数ｘｏｆｆ及び変数ｙｏｆｆの値はいずれも０であるので、ステップＳＮ１０の処理では、変数ｘ_ｓｐｏｔの値は変数ｓｓの値に等しくなり、変数ｙ_ｓｐｏｔの値は変数ｔｔの値に等しくなる。
【０２７２】
ステップＳ２２の処理が開始される時点での変数ｘ_ｓｐｏｔ及び変数ｙ_ｓｐｏｔが示す座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）の値は、スポット光抽出処理で抽出されたスポットの色が赤色である場合は、最も赤評価値が高かった画素の位置の座標を示す。一方、緑色（又は青色）である場合は、最も緑評価値（又は青評価値）が高かった画素の位置の座標のｘ軸方向成分（又はｙ軸方向成分）に、スポットの色が赤色から緑色（又は青色）に切り替わった時点に生じたスポットの位置の座標のｘ軸方向成分（又はｙ軸方向成分）のずれにあたる量が加算された値を示す。
【０２７３】
（第５の実施の形態）
表示部３の表示画面上に表示される輝点の位置は、抽出されたスポット光の絶対的な位置に基づいて決定される必要はない。以下では、表示される輝点の位置が、輝点が表示された最新の位置と、スポット光が当たった点の移動速度とに基づいて決定される、この発明の第５の実施の形態にかかる描画システムを説明する。
【０２７４】
この描画システムは、図３９に示す構成を有している。すなわち、この描画システムは、座標変換部１２ｂを備えず、水晶発振器等からなるタイマＴを備える点を除き、図２に示す構成と実質的に同一の物理的構成を有する。図３９の構成のタイマＴは、現在時刻を表す時刻情報を生成し、スポット光抽出部１２ａへと連続的に供給する。
【０２７５】
一方、この描画システムのＲＡＭ１３は、変数ｌｏｃｘ、変数ｌｏｃｙ、２次元変数（ｘｂ，ｙｂ）を構成する変数ｘｂ及び変数ｙｂを記憶し、中央制御部１１は、この描画システムが動作を開始したとき、これら４個の変数にそれぞれ値０を代入することにより、これら４個の変数を初期化する。
そして、スポット光抽出部１２ａは、スポット光抽出処理を終え、座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を終えると、ステップＳ３に処理を移す前に、図４０に示す補間処理を行う。なお、この描画システムは、ステップＳ２２の処理は行わなず、スポット光抽出処理を終えると、直ちにステップＳ３へと処理を移す。
【０２７６】
すなわち、スポット光抽出部１２ａは、ステップＳ２１で座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を求めた後、ステップＳ３に処理を移す前に、タイマＴから供給される時刻情報を取得する（ステップＳＯ１）。そして、最も新しく求めた座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）と、最も新しく取得した時刻情報とを、互いに対応付けてＲＡＭ１３に記憶させる。
【０２７７】
次に、スポット光抽出部１２ａは、変数ｘ_ｓｐｏｔ、変数ｙ_ｓｐｏｔ、変数ｘｂ及び変数ｙｂを読み出し、読み出したこれらの変数の値に基づき、数式１８の右辺の値ｖｘ_１及び数式１９の右辺の値ｖｙ_１を求め、ＲＡＭ１３に記憶させる（ステップＳＯ２）。値ｖｘ_１及び値ｖｙ_１は、最も新しくスポットを求めた時刻におけるスポットの移動速度のｘ軸方向成分及びｙ軸方向成分である。
【０２７８】
【数１８】
ｖｘ_１＝Ｎ・｛（ｘ_ｓｐｏｔ−ｘｂ）／（ｔ_１−ｔ_０）｝
（ただし、Ｎは所定の定数、ｔ_１は最も新しく取得した現在時刻、ｔ_０は最も新しい方から２番目に取得した現在時刻）
【数１９】
ｖｙ_１＝Ｎ・｛（ｙ_ｓｐｏｔ−ｙｂ）／（ｔ_１−ｔ_０）｝
【０２７９】
次に、スポット光抽出部１２ａは、変数ｌｏｃｘの値を、変数ｖｘ_１の値の分増加させ、変数ｌｏｃｙの値を、変数ｖｙ_１の値の分増加させる（ステップＳＯ３。ただし、値ｖｘ_１や値ｖｙ_１が負の値であれば、変数ｌｏｃｘの値や変数ｌｏｃｙの値は減少する）。
また、ステップＳＯ３でスポット光抽出部１２ａは、２次元変数（ｘｂ，ｙｂ）にステップＳ２１で最も新しく求めた座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）を代入し、２次元変数（ｘｂ，ｙｂ）に対応付けられている時刻情報があれば、この時刻情報を、新たに代入した座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）に対応付けられている時刻情報へと更新する。２次元変数（ｘｂ，ｙｂ）に対応付けられている時刻情報がないときは、新たに代入した座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）に対応付けられている時刻情報を２次元変数（ｘｂ，ｙｂ）に新たに対応付ければよい。
【０２８０】
そして、スポット光抽出部１２ａは、値を変更した変数ｌｏｃｘ及び変数ｌｏｃｙにより表される座標（ｌｏｃｘ，ｌｏｃｙ）を、表示部３の表示画面上でスポットを表示する表示位置の座標と決定する。このようにしてスポットを表示する表示位置の座標を決定することにより、スポットの絶対的な位置のキャリブレーションを行う必要がなくなる。
【０２８１】
なお、上述の値Ｎは、必ずしも定数である必要はなく、例えば、変数ｘ_ｓｐｏｔ及び変数ｙ_ｓｐｏｔのうち少なくともいずれかの関数であってもよい。従って、例えば図４１に示すように、値Ｎが変数ｘ_ｓｐｏｔ及び変数ｙ_ｓｐｏｔの関数Ｎ（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）であるものとして、関数Ｎ（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）の値は、座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）が示す位置が、画像入力部２が撮像する視野領域の中央に近い位置であるほど大きくなるものとしてもよい。
【０２８２】
（第５の実施の形態の変形例）
表示部３の表示画面上に表示される輝点の位置や形状は、発光部４の発光部分の空間内での位置に基づいて決定されてもよい。こうすることにより、たとえば、表示部３の表示画面上に、毛筆（あるいはその他筆圧の変化に従って筆先の形状が変わる筆記具）のタッチを擬似的に再現した輝点の軌跡を表示させることができる。
【０２８３】
表示部３の表示画面上に、毛筆のタッチを擬似的に再現した輝点の軌跡を表示させるためには、この描画システムは、たとえば図４２に示す構成を有し、スポット光抽出処理として図４３に示す処理を行うものとすればよい。
【０２８４】
図４２に示するように、この描画システムは、画像入力部２に代えて、互いに実質的に同一の構成を有する画像入力部２Ａ及び画像入力部２Ｂを備える。画像入力部２Ａ及び２Ｂは、いずれも画像入力部２と実質的に同一の構成を有するものとし、図４４に示すように、互いに視野が重なるように配置されているものとする。
【０２８５】
そして、ステップＳ１の処理において、画像入力部２Ａ及び２Ｂは、それぞれ互いに重なる視野を撮像して、撮像した画像を表す画像データを作成し、データ処理装置１の中央制御部１１に供給する。中央制御部１１は、画像入力部２Ａ及び２Ｂより１個ずつ、合計２個の画像データを供給されると、これらの画像データをＲＡＭ１３に格納するものとする。
【０２８６】
また、発光部４は、赤色発光ダイオード等からなり赤色に発光する赤発光部と、青色発光ダイオード等からなり青色に発光する青発光部とを備えているものとする。赤発光部及び青発光部を結ぶ直線は、仮想の筆記具の軸を表すものであるとする。
【０２８７】
また、外部記憶部１４は、筆先形状データを予め記憶している。筆先形状データは、表示部３の表示画面上に表示されるべき輝点の形状を表すデータである。
図４５は、筆先形状データのデータ構造の例を示す図である。図示するように、筆先形状データは、発光部４の赤発光部と空間内の仮想の平面との距離と、赤発光部及び青発光部を結ぶ直線とこの仮想の平面とがなす角の角度とに対応付けられていて、この距離及び角度を特定することにより、輝点の形状が一意に特定されるようになっているものとする。
【０２８８】
そして、図４２の描画システムのスポット光抽出部１２ａは、スポット光抽出処理を開始すると、上述したステップＳＧ１〜ＳＧ１２の処理と実質的に同一の処理を、画像入力部２Ａから供給された画像データ及び画像入力部２Ｂから供給された画像データの各々について行う（図４３、ステップＳＰ１）。
【０２８９】
ただし、ステップＳＰ１で、スポット光抽出部１２ａは、変数Ｇｍや変数Ｇｘを使用する必要はなく、また、ステップＳＧ６〜ステップＳＧ８の処理に相当する処理を行う必要はない。
また、スポット光抽出部１２ａは、画像入力部２Ａが供給した画像データを用いてステップＳＧ１〜ＳＧ１２にあたる処理を行うときには、変数Ｒｘ、変数Ｒｙ及び変数Ｒｍに代えて変数ＲｘＡ、変数ＲｙＡ及び変数ＲｍＡを用い、また、変数Ｂｘ、変数Ｂｙ及び変数Ｂｍに代えて変数ＢｘＡ、変数ＢｙＡ及び変数ＢｍＡを用いる。
また、画像入力部２Ｂが供給した画像データを用いてステップＳＧ１〜ＳＧ１２にあたる処理を行うときには、変数Ｒｘ、変数Ｒｙ、変数Ｒｍ、変数Ｂｘ、変数Ｂｙ及び変数Ｂｍに代えて、変数ＲｘＢ、変数ＲｙＢ、変数ＲｍＢ、ＢｘＢ、変数ＢｙＢ及び変数ＢｍＢを用いる。
【０２９０】
ステップＳＰ１の処理を終了した時点での変数ＲｘＡ及びＲｙＡの値は、画像入力部２Ａが供給した画像データが表す画素のうち赤色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＲｍＡの値が、この画素の赤評価値を表す。また、変数ＢｘＡ及びＢｙＡの値は、画像入力部２Ａが供給した画像データが表す画素のうち青色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＢｍＡの値が、この画素の青評価値を表す。
【０２９１】
また、ステップＳＰ１の処理を終了した時点での変数ＲｘＢ及びＲｙＢの値は、画像入力部２Ｂが供給した画像データが表す画素のうち赤色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＲｍＢの値が、この画素の赤評価値を表す。また、変数ＢｘＢ及びＢｙＢの値は、画像入力部２Ｂが供給した画像データが表す画素のうち青色がもっとも強い画素の位置のｘ軸方向成分及びｙ軸方向成分を表し、変数ＢｍＢの値が、この画素の青評価値を表す。
【０２９２】
次に、スポット光抽出部１２ａは、変数ＲｘＡ、変数ＲｙＡ、変数ＲｘＢ及び変数ＲｙＢの値に基づいて、画像入力部２Ａ及び２Ｂが撮像を行った時点における発光部４の赤発光部の空間内の位置を特定する（ステップＳＰ２）。また、ステップＳＰ２でスポット光抽出部１２ａは、変数ＢｘＡ、変数ＢｙＡ、変数ＢｘＢ及び変数ＢｙＢの値に基づいて、画像入力部２Ａ及び２Ｂが撮像を行った時点における発光部４の青発光部の空間内の位置も特定する。
【０２９３】
次に、スポット光抽出部１２ａは、ステップＳＰ２で特定した、赤発光部及び青発光部の位置に基づき、空間内の仮想の平面と赤発光部との距離、及び、赤発光部及び青発光部を結ぶ直線とこの仮想の平面とがなす角の角度を求める（ステップＳＰ３）。
【０２９４】
そして、スポット光抽出部１２ａは、外部記憶部１４に記憶されている筆先形状データのうち、ステップＳＰ３で特定された距離及び角度に対応付けられているものを特定する（ステップＳＰ４）。
ステップＳＰ４で特定した筆先形状データが、画像入力部２Ａ及び２Ｂが撮像を行った時点における発光部４の仮想の筆先の形状を示す。ステップＳ３で、中央制御部１１は、スポットの表示位置に、ステップＳＰ４で特定した筆先形状データが示す形状のスポットを表示する。この結果、表示部３の表示画面上には、例えば図４６に示すような、毛筆のタッチが再現された形の軌跡が表示される。
【０２９５】
（第６の実施の形態）
この発明の実施の形態にかかる描画システムでは、発光部４が、自己が発光しているか否かを示すデータをデータ処理装置１に送信し、データ処理装置１がこのデータを受信して、受信したデータに基づき、スポットが形成されているか否かを検知するようにしてもよい。このような動作を行う描画システムでは、発光部４が発光していないときに誤ってスポットの抽出や輝点の表示が行われることが防止される。以下、このような動作を行う、この発明の第６の実施の形態の描画システムを説明する。
【０２９６】
この描画システムは、図４７に示す構成を有している。すなわち、この描画システムは、図２に示す構成と実質的に同一の物理的構成を有し、更に、発光部４が送信部４０１を備え、データ処理装置１が受信部１６を備えている。また、発光部４の発光部分は、ユーザの操作に従って点灯又は消灯するものとする。
【０２９７】
発光部４の送信部４０１は、たとえば、図示するように、無線送信機４０１Ａと、発光部４の発光部分をオン／オフするためのスイッチ４０１Ｂとより構成されており、ユーザがスイッチ４０１Ｂを操作して発光部分を点灯状態（又は消灯状態）にすると、無線送信機４０１Ａがこの操作に応答して、発光部分が点灯状態（又は消灯状態）にあることを示すデータを無線送信する。ただし無線送信機４０１Ａは、発光部分が点灯状態にあることを示すデータ又は消灯状態にあることを示すデータのうちいずれかは送信しないようにしてもよい。
【０２９８】
一方、データ処理装置１の受信部１６は、例えば、無線受信機より構成されており、発光部４の送信部４０１より供給された、発光部分が点灯状態（又は消灯状態）にあることを示すデータを受信して中央制御部１１に供給する。
ただし、受信部１６は、発光部分が点灯状態（又は消灯状態）にあることを示すデータを受信していない間は、発光部分が消灯状態（又は点灯状態）にあることを示すデータを中央制御部１１に供給するものとしてもよい。また、中央制御部１１は、発光部分が点灯状態（又は消灯状態）にあることを示すデータが受信部１６より供給されていない間は、発光部分が消灯状態（又は点灯状態）にあると判別するようにしてもよい。
【０２９９】
図４７の描画システムの動作は、第１の実施の形態の描画システムの動作と実質的に同一である。ただし、中央制御部１１は、受信部１６から供給されるデータに基づいて、発光部４が発光しているか否かを示す情報をスポット光抽出部１２ａに供給する。スポット光抽出部１２ａは、中央制御部１１より供給された情報が、発光部４が発光していることを示すか否かを判別して、示していないと判別したときは、座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）の抽出を行わないものとする。
そして、座標変換部１２ｂは、座標（ｘ_ｓｐｏｔ，ｙ_ｓｐｏｔ）が抽出されていない間は座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）の決定を行わず、中央制御部１１は、座標（ｘ_ｄｉｓｐ，ｙ_ｄｉｓｐ）が決定されない場合は、表示部３に輝点を表示させないものとする。
【０３００】
（第７の実施の形態）
次に、この発明の第７の実施の形態にかかる描画システムを説明する。
この描画システムは、図４８に示すように、発光部４を除いて図２に示す構成と実質的に同一の物理的構成を有している。
【０３０１】
図４８の描画システムの発光部４は、発光ダイオード等からなる発光体４１と、点灯用スイッチ４２と、輝度増加用スイッチ４３と、本体部４４と、発光部駆動回路４５とより構成されている。
本体部４４は両端を有する棒状に形成されており、本体部４４の一端には発光体４１が固定されている。点灯用スイッチ４２及び輝度増加用スイッチ４３は、本体部４４の側部に固定されている。発光部駆動回路４５は、本体部４４の内部に埋め込まれており、発光体４１、点灯用スイッチ４２及び輝度増加用スイッチ４３は、発光部駆動回路４５に接続されている。
【０３０２】
発光体４１は、ユーザによる点灯用スイッチ４２及び輝度増加用スイッチ４３の操作に従い、「点灯していない」「高輝度で点灯している」「低輝度で点灯している」の３種類の点灯状態のうちいずれかをとる。
【０３０３】
具体的には、たとえば、ユーザが点灯用スイッチ４２を操作し、発光体４１の点灯を指示すると、発光部駆動回路４５はこの指示に応答して発光体４１を駆動し、発光体４１を発光させる。また、ユーザが輝度増加用スイッチ４３を操作し、発光体４１を高輝度で点灯させるよう指示すると、発光部駆動回路４５はこの指示に応答して発光体４１を駆動し、発光体４１を、高輝度での点灯が指示されていないときに比べて高輝度で発光させる。なお、ユーザが点灯用スイッチ４２及び輝度増加用スイッチ４３を同時に操作した場合、発光部駆動回路４５は、たとえば、これら両者の同時の操作が開始された時点の点灯状態を維持する。
【０３０４】
あるいは、発光部駆動回路４５は、たとえばユーザの操作に従って発光体４１が発光している状態で、ユーザが更に輝度増加用スイッチ４３を操作し、発光体４１を高輝度で点灯させるよう指示したとき、発光体４１を、高輝度での点灯が指示されていないときに比べて高輝度で発光させるようにしてもよい。
【０３０５】
図４８の描画システム（または、発光部４以外の部分が図４８に示す構成を有していて発光部４が２段階の輝度で発光する構成を有しているような描画システム）は、ステップＳ２１の処理を終えた後、ステップＳ３の処理を行う前に、図４９に示す処理を行うようにしてもよい。
【０３０６】
すなわち、ステップＳ２１でスポットの輝度Ｒ_ｍａｘを求めた後、スポット抽出部１２ａは、輝度Ｒ_ｍａｘの値が、発光部４の点灯／非点灯を判別するための所定の低輝度側の閾値に達しているか否かを判別する（図４９、ステップＳＱ１）。
【０３０７】
また、この描画システムが動作を開始して最初のスポット光抽出処理においては、ステップＳＱ１でスポット光抽出部１２ａは更に、変数ＳＴＡＴの使用を宣言して初期化する。変数ＳＴＡＴは、３種類の点灯状態（つまり「点灯していない」、「高輝度で点灯している」及び「低輝度で点灯している」の３種類の状態）示す３値をとる変数である。そして、スポット光抽出部１２ａは、変数ＳＴＡＴに、発光部４が点灯していないことを示す値を代入することにより変数ＳＴＡＴを初期化する。
【０３０８】
そして、ステップＳＱ１で、輝度Ｒ_ｍａｘの値が低輝度側の閾値に達していないと判別すると、スポット光抽出部１２ａは、発光部４が点灯していないと判断し、処理をステップＳＱ３に移す。
【０３０９】
一方、低輝度側の閾値に達していると判別すると、スポット光抽出部１２ａは、輝度Ｒ_ｍａｘの値が、発光部４の輝度の高低を判別するための高輝度側の閾値に達しているか否かを判別する（ステップＳＱ２）。そして、達していないと判別すると、発光部４が低輝度で点灯していると判断して処理をステップＳＱ３に移し、達していると判別すると発光部４が高輝度で点灯していると判断して、処理をステップＳＱ３に移す。
【０３１０】
ステップＳＱ３で、スポット光抽出部１２ａは、ステップＳＱ１又はＳＱ２で判断された発光部４の最新の点灯状態（すなわち、点灯していないか、低輝度で点灯しているか、又は高輝度で点灯しているか）と、変数ＳＴＡＴが示す、直近の前回の発光部４の点灯状態とに基づき、中央制御部１１に供給すべきデータの内容を決定し、決定結果に従ったデータを中央制御部１１に供給する。
【０３１１】
具体的には、例えば、スポット光抽出部１２ａは、変数ＳＴＡＴが示す前回の点灯状態が「点灯していない」である場合、最新の点灯状態が「点灯していない」又は「低輝度で点灯している」であれば、中央制御部１１にはデータを供給しないことを決定する。一方、前回の点灯状態が「点灯していない」であって最新の点灯状態が「高輝度で点灯している」であれば、発光部４が高輝度での点灯を開始したことを示すデータを中央制御部１１に供給する。
【０３１２】
また、前回の点灯状態が「低輝度で点灯している」である場合、最新の点灯状態が「点灯していない」であれば、中央制御部１１にはデータを供給しないことを決定する。一方、前回及び最新の点灯状態がいずれも「低輝度で点灯している」であれば、スポット光抽出部１２ａは上述のステップＳＯ１〜ＳＯ３の処理を行い、これらの処理の結果決定される上述の座標（ｌｏｃｘ，ｌｏｃｙ）を、表示部３の表示画面上でスポットを表示する表示位置の座標であるものとして中央制御部１１に供給する。
【０３１３】
また、前回の点灯状態が「高輝度で点灯している」である場合、最新の点灯状態が「点灯していない」又は「低輝度で点灯している」であれば、発光部４が高輝度での点灯を終了したことを示すデータを中央制御部１１に供給する。一方、前回及び最新の点灯状態がいずれも「高輝度で点灯している」であれば、ステップＳＯ１〜ＳＯ３の処理を行い、決定された座標（ｌｏｃｘ，ｌｏｃｙ）を中央制御部１１に供給する。
【０３１４】
座標（ｌｏｃｘ，ｌｏｃｙ）を供給された中央処理部１１は、ステップＳ３で、表示部３に、座標（ｌｏｃｘ，ｌｏｃｙ）により表される位置にスポットを表示させる。
【０３１５】
また、発光部４が高輝度での点灯を開始したこと（又は終了したこと）を示すデータを供給された中央制御部１１は、供給されたデータが示す点灯状態に基づいて自己が行う処理の内容を決定したりしてよい。
たとえば、中央制御部１１は、発光部４をマウスとして機能させるために、発光部４が高輝度での点灯を開始した旨のデータを供給されたときはマウスのボタンが押下されたと判別し、高輝度での点灯を終了した旨のデータを供給されたときはマウスのボタンの押下が終了したと判別し、これらの判別の結果に基づいて、判別以後の処理の内容を決定してもよい。
【０３１６】
なお、ステップＳＱ３の処理が終わると、スポット光抽出部１２ａは、変数ＳＴＡＴの値を、最新の点灯状態を表すよう更新する（ステップＳＱ４）。
【０３１７】
なお、発光部４の形状は任意であり、従って、たとえば図５０に示すようなピストル型であってもよい。この場合たとえば、図示するように、発光体４１は、ピストルの銃口にあたる位置に配置されればよい。また、点灯用スイッチ４２は、ピストルの引き金にあたる位置に配置されればよい。また、輝度増加用スイッチ４３は、ピストルの撃鉄にあたる位置に配置されればよい。なお、発光部駆動回路４５は、図示するようにピストルの銃身の内部にあたる位置に配置されていてもよいし、ピストルのグリップの内部に当たる位置に配置されていてもよい。
そして、たとえば操作者がピストルのグリップにあたる部分を握り、人差し指あるいは中指を用いて点灯用スイッチ４２を操作し、親指を用いて輝度増加用スイッチ４３を操作するようにすれば、図５０の発光部４は快適に操作される。
【０３１８】
あるいは、発光部４の形状は、たとえば図５１に示すような形状であってもよい。すなわち、図示するように、発光体４１は、棒状に形成された本体部４４の一端に配置され、点灯用スイッチ４２及び輝度増加用スイッチ４３は、本体部４４の側部に、本体部４４を挟むように配置されていてもよい。
【０３１９】
また、図４８の描画システムは、テレビ電話の機能を行うため、例えば図５２に示すように、更に、ネットワークインターフェース部１７、通信用画像入力部１８、通信用音声入力部１９及び通信用音声再生部２０を更に備えていてもよい。
【０３２０】
ネットワークインターフェース部１７、通信用画像入力部１８、通信用音声入力部１９及び通信用音声再生部２０は、後述する処理を行うものであり、ネットワークインターフェース部１７は、外部の電話回線等の通信回線を介して外部の通話先に接続されるモデムやターミナルアダプタ等より構成されている。通信用画像入力部１８は、ＣＣＤ（Charge Coupled Device）カメラ等より構成されている。通信用音声入力部１９は、マイクロフォン及びＡＦ（オーディオ周波数）増幅器等より構成されている。通信用音声再生部２０は、スピーカ及びＡＦ増幅器等より構成されている。
【０３２１】
図５２の描画システムは、テレビ電話の機能を行うため、図５３（ａ）〜（ｄ）に示す処理を行う。
すなわち、中央制御部１１は、通信用画像入力部１８より供給された画像データを取得し（図５３（ａ）、ステップＳＲ１）、取得した画像データにデータ圧縮を施して、ネットワークインターフェース部１７を介し、通話先へと送信する（ステップＳＲ２）。そして、中央制御部１１は、送信した画像データに基づいて、図５４に示すように、この画像データが表す画像を縮小したものを表す縮小画像（ユーザ側の画像）を、表示部３に表示させる（ステップＳＲ３）。
【０３２２】
また、圧縮されている画像データが通話先からネットワークインターフェース部１７を介して中央制御部１１に供給されたとき、中央制御部１１はこの画像データを取得し（図５３（ｂ）、ステップＳＲ４）、取得した画像データを解凍して、解凍された画像データが表す画像（相手側の画像）を、図５４に示すように表示部３に表示させる（ステップＳＲ５）。
【０３２３】
また、中央制御部１１は、通信用音声入力部１９より供給された音声データを取得し（図５３（ｃ）、ステップＳＲ６）、取得した音声データにデータ圧縮を施して、ネットワークインターフェース部１７を介し、通話先へと送信する（ステップＳＲ２）。
【０３２４】
また、圧縮されている音声データが通話先からネットワークインターフェース部１７を介して中央制御部１１に供給されたとき、中央制御部１１はこの音声データを取得し（図５３（ｄ）、ステップＳＲ８）、取得した音声データを解凍して、解凍された音声データが表す音声を、通信用音声再生部２０に再生させる（ステップＳＲ９）。
【０３２５】
また、中央制御部１１は、図５４に示すように、表示部３に、更に、マイク音量アップボタンと、マイク音量ダウンボタンと、相手音量アップボタンと、相手音量ダウンボタンと、画像記録ボタンと、通話終了ボタンとを表示させる。
そして、ユーザが発光部４を用いてマイク音量アップボタンをポイントして高輝度で点灯させると、中央制御部１１は、通信用音声入力部１９のＡＦ増幅器を制御してこのＡＦ増幅器の利得を上げる。また、マイク音量ダウンボタンをポイントして高輝度で点灯させると、このＡＦ増幅器の利得を下げる。
また、ユーザが発光部４を用いて相手音量アップボタンをポイントして高輝度で点灯させると、中央制御部１１は、通信用音声再生部２０のＡＦ増幅器を制御してこのＡＦ増幅器の利得を上げる。また、相手音量ダウンボタンをポイントして高輝度で点灯させると、このＡＦ増幅器の利得を下げる。
また、ユーザが発光部４を用いて画像記録ボタンをポイントして高輝度で点灯させると、中央制御部１１は、ステップＳＲ４で取得して解凍した画像データを外部記憶部１４に記憶させる。
また、ユーザが発光部４を用いて通話終了ボタンをポイントして高輝度で点灯させると、中央制御部１１は、ネットワークインターフェース部１７を制御して、通話先とのデータ交換を終了させる。
【０３２６】
（第８の実施の形態）
この発明は、スポット光を用いた文字の入力にも応用可能である。携帯電話やＰＨＳ（Personal Handyphone System）などの携帯端末において、テンキーを複数回押下することにより、押下したボタンの組み合わせに対応付けられた文字を入力する手法が用いられている。しかし、このようにテンキーを複数回押下する手法は非常に煩雑で入力の効率が悪い。この点、この発明に係る文字入力装置によれば、簡単で効率の良い文字入力を携帯端末等を用いて行うことが可能となる。以下では、そのような簡単で効率の良い文字入力が可能な、この発明の第８の実施の形態にかかる文字入力装置を説明する。
【０３２７】
この文字入力装置は、図５６に示す構成を有する。すなわち、この文字入力装置は、図２の描画システムを構成するものと機能的には実質的に同一のデータ処理装置１、画像入力部２、表示部３及び発光部４を備え、更に、中央制御部１１に接続された入力ボタン５を備えている。
入力ボタン５は、押しボタンスイッチ等より構成されており、操作者の操作に従った情報を、データ処理装置１の中央制御部１１に供給する。
【０３２８】
なお、図５７に示すように、この文字入力装置のデータ処理装置１、画像入力部２、表示部３及び入力ボタン５は、一体に形成されて本体部をなしている。本体部は、例えば、移動体電話（携帯電話やＰＨＳ等）の機能を行ってもよい。また、発光部４は、例えばストラップ等を介して本体部に装着される。
【０３２９】
また、この文字入力装置のデータ処理装置１の外部記憶部１４は、仮想のキーボードを構成する各々の仮想のキーのキートップが表示部３の表示画面上で占める領域（キー領域）を示すキー領域データを、各々のキーが示す文字と対応付けて記憶するものとする。
【０３３０】
この文字入力装置の動作は、画像入力処理（ステップＳ１）、スポット光抽出処理（ステップＳ２１）及び補間処理（ステップＳＯ１〜ＳＯ３）については、図３９に示す第５の実施の形態の描画システムの動作と実質的に同一である。一方で、この文字入力装置は、図５８に示す処理も行う。
【０３３１】
すなわち、この文字入力装置の画像解析部１２がステップＳＯ３の処理を終えると、ステップＳ３で中央制御部１１は、スポットを表示部３の表示画面上に表示させると共に、外部記憶部１４よりキー領域データを読み出してＲＡＭ１３に一時記憶させ、表示部３の表示画面上、このキー領域データが示す各領域に、図５９に示すような、上述の仮想のキーのキートップを表示させる（図５８、ステップＳＳ１）。ただし、既にＲＡＭ１３がキー領域データを一時記憶している場合は、改めて外部記憶部１４からキー領域データを読み出す必要はない。
【０３３２】
ステップＳＳ１の処理が行われる結果、ユーザは、スポットがどのキートップに重ねられたかを視認することができる。なお、仮想のキーのキートップの表示は、たとえば、キートップの形状を表すキートップ画像データを予めユーザ等が外部記憶部１４に記憶させ、中央制御部１１がこのキートップ画像データを外部記憶部１４から読み出し、読み出したキートップ画像データが表す形状を表示部３に表示させることにより行えばよい。
【０３３３】
そして、ステップＳＳ１でスポット及び仮想のキートップを表示させると、中央制御部１１は、画像入力部２が新たな画像データを供給するまでの間、ユーザが入力ボタン５を操作して文字の決定を指示するのを待機する。そして、新たな画像データが供給されるまでにユーザによる文字の決定の指示があったか否かを判別し（ステップＳＳ２）、指示がなかったと判別すると、ステップＳ２１へと処理を戻す。
【０３３４】
一方、ユーザが文字の決定を指示したと判別すると、中央制御部１１は、現にスポットが表示されている位置がいずれの文字を表すキーのキートップが示す領域に属するかを、ステップＳＯ３でもっとも新しく取得したスポットの座標（ｌｏｃｘ，ｌｏｃｙ）に基づいて判別する（ステップＳＳ３）。そして、画像解析部１２は、ステップＳＳ１で判別された文字（すなわち、ユーザが入力した文字）を表すデータを生成し、このデータをＲＡＭ１３に格納する（ステップＳＳ４）。
【０３３５】
ステップＳＳ４の処理が終わると、中央制御部１１は、画像入力部２が新たな画像データを供給するのを待機し、供給されると処理をステップＳ２１に戻す。
【０３３６】
ステップＳＳ４の処理が行われるたびに文字を表すデータがＲＡＭ１３に順次格納される一方、中央処理部１１は、例えば、ＲＡＭ１３に順次格納されたこれらのデータを解析することにより、例えばこれらのデータが全体として表す文字列がどのようなコマンドを表しているかを特定する。そして、特定したコマンドに従った処理を実行する。
【０３３７】
なお、文字の入力に際しては、ユーザが発光部４の位置の見当をつけやすくするため、予めキー領域データが示す領域に一致するようにキートップが印刷されたシートを、画像入力部２の視野内に掲げるようにしてもよい。また、キートップが印刷されたシートを掲げる代わりに、キートップの画像を投影するようにしてもよい。
【０３３８】
以上、この発明の実施の形態を説明したが、この発明の画像表示装置及び画像表示方法は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、画像を表示する表示装置及び画像を撮像してその画像を表す画像データを作成する撮像装置に接続されたコンピュータに、上述のデータ処理装置の動作を実行するためのプログラムを格納した媒体（磁気テープ、ＣＤ−ＲＯＭ等）から該プログラムをインストールすることにより、上述の処理を実行する描画システムや文字入力装置を構成することができる。
【０３３９】
また、例えば、通信ネットワークの掲示板（ＢＢＳ）に該プログラムを掲示し、これをネットワークを介して配信してもよい。また、プログラムにより搬送波を変調して得られる変調波を配信することにより、プログラムを供給するようにしても良い。
そして、このプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【０３４０】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分をのぞいたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【０３４１】
【発明の効果】
以上説明したように、この発明によれば、撮像装置を任意の位置に置いても適正な表示画面を提供するとともに、撮像されたスポット（補助光）の位置を表示画面に正しく反映することができる、操作性が良好な画像表示装置及び画像表示方法が実現される。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態に係る描画システムの構成を示す図である。
【図２】図１の描画システムの各部の接続関係及びデータ処理装置の構成を示すブロック図である。
【図３】図１の描画システムの描画処理を示すフローチャートである。
【図４】図１の描画システムの画像解析処理を示すフローチャートである。
【図５】図１の描画システムのスポット光抽出処理を示すフローチャートである。
【図６】図１の描画システムの座標変換処理を示すフローチャートである。
【図７】（ａ）は、画像入力部が撮像した画像の形状を示す図であり、（ｂ）は、表示部の表示画面上で画像が占める領域の形状を示す図である。
【図８】図１の描画システムの変形例の構成を示す図である。
【図９】座標変換処理を示すフローチャートである。
【図１０】変換前の表示領域及び変換後の表示領域を示す図である。
【図１１】第１の実施の形態の変形例におけるデータ処理装置の動作フローチャートである。
【図１２】第１の実施の形態の変形例におけるキャリブレーション処理を示すフローチャートである。
【図１３】第１の実施の形態の変形例における座標変換処理を示すフローチャートである。
【図１４】第１の実施の形態の変形例における座標変換処理を説明する図である。
【図１５】第１の実施の形態の変形例における座標変換処理を示すフローチャートである。
【図１６】（ａ）は変換前の表示領域を示す図であり、（ｂ）は変換後の表示領域を示す図である。
【図１７】第２の実施の形態におけるキャリブレーション処理を示すフローチャートである。
【図１８】第２の実施の形態における描画処理を示すフローチャートである。
【図１９】第３の実施の形態におけるレベル閾値設定の処理を示すフローチャートである。
【図２０】第３の実施の形態におけるレベル検出処理を示すフローチャートである。
【図２１】レベル閾値設定の処理の変形例を示すフローチャートである。
【図２２】（ａ）、（ｂ）、（ｃ）及び（ｄ）は、発光部が発するスポット光のパターンを模式的に示す図である。
【図２３】スポット光のパターンを検出するスポット光抽出処理を示すフローチャートである。
【図２４】スポット光のパターンを検出するスポット光抽出処理の変形例を示すフローチャートである。
【図２５】図２４のフローチャートの続きである。
【図２６】図２５のフローチャートの続きである。
【図２７】図２６のフローチャートの続きである。
【図２８】スポット光の検出の誤りが防止される様子を説明する図である。
【図２９】（ａ）及び（ｂ）は、発光部が発する単色のスポット光のパターンを模式的に示す図である。
【図３０】単色のスポット光のパターンを検出するスポット光抽出処理を示すフローチャートである。
【図３１】重み関数を表すグラフである。
【図３２】この発明の第４の実施の形態に係る描画システムの構成を示す図である。
【図３３】補間処理を示すフローチャートである。
【図３４】スポットの平均位置を求める処理を示すフローチャートである。
【図３５】スポットの平均位置を求める処理の変形例を示すフローチャートである。
【図３６】スポットの平均位置を求める処理の変形例を示すフローチャートである。
【図３７】スポットの平均位置を求める処理の変形例を示すフローチャートである。
【図３８】スポット光抽出処理を示すフローチャートである。
【図３９】この発明の第５の実施の形態に係る描画システムの構成を示す図である。
【図４０】補間処理を示すフローチャートである。
【図４１】表示画面上の位置と関数Ｎの値との関係を示す図である。
【図４２】この発明の第５の実施の形態に係る描画システムの変形例の構成を示す図である。
【図４３】図４３の描画システムが行うスポット光抽出処理の各要素の配置を模式的に示す図である。
【図４４】図４３の描画システムの各要素の配置を模式的に示す図である。
【図４５】筆先形状データのデータ構造を模式的に示す図である。
【図４６】図４３の描画システムが表示するスポットの軌跡を模式的に示す図である。
【図４７】この発明の第６の実施の形態に係る描画システムの構成を示す図である。
【図４８】この発明の第７の実施の形態に係る描画システムの構成を示す図である。
【図４９】図４８の描画システムが実行する処理を示すフローチャートである。
【図５０】発光部の変形例を模式的に示す図である。
【図５１】発光部の変形例を模式的に示す図である。
【図５２】この発明の第７の実施の形態に係る描画システムの変形例の構成を示す図である。
【図５３】（ａ）、（ｂ）（ｃ）及び（ｄ）は、図５２の描画システムが実行する処理を示すフローチャートである。
【図５４】図５２の描画システムが表示する画像を模式的に示す図である。
【図５５】図５４の画像内のボタンをクリックする様子を模式的に示す図である。
【図５６】この発明の第８の実施の形態に係る文字入力装置の構成を示す図である。
【図５７】図５６の文字入力装置が一体に形成されている様子を模式的に示す図である。
【図５８】図５６の文字入力装置が実行する処理を示すフローチャートである。
【図５９】図５６の文字入力装置が表示するキートップの画像を模式的に示す図である。
【符号の説明】
１…データ処理装置、１１…中央制御部（撮像制御手段、表示制御手段）、１２…画像解析部（加工手段）、１２ａ…スポット光抽出部（計測手段）、１２ｂ…座標変換部（座標変換手段）、１２ｃ…補間処理部、１３…ＲＡＭ、１４…外部記憶部、１５…ユーザ操作入力部、１６…受信部、１７…ネットワークインターフェース部、１８…通信用画像入力部、１９…通信用音声入力部、２０…通信用音声再生部、２、２Ａ、２Ｂ…画像入力部（撮像手段）、３…表示部（表示手段）、４…発光部、４０１…送信部、４０１Ａ…無線送信機、４０１Ｂ…スイッチ、４１…発光体、４２…点灯用スイッチ、４３…輝度増加用スイッチ、４４…本体部、４５…発光部駆動回路、５…入力ボタン、Ｔ…タイマ

Claims (5)

1. スポット及びこのスポットを含む領域を任意の位置から撮像する撮像手段と、この撮像手段によって撮像された領域の画像データを生成する生成手段と、この生成手段によって生成された画像データに基づく画像を表示する表示手段とを備えた画像表示装置において、
   前記画像データを加工する加工手段と、
   前記領域における前記スポットの位置座標を計測する計測手段と、
   この計測手段によって計測された前記スポットの位置座標を、前記加工手段による加工の結果得られる加工後の画像データに反映される位置座標に変換する座標変換手段と、
   を備え、
   加工前の画像データが表す加工前の領域は四角形であり、前記加工手段による加工後の画像データが表す加工後の領域は長方形であり、
   前記加工手段は、加工前の領域をなす四角形の対向する２辺の交点の各々と当該四角形の対角線の交点とを結ぶ２本の直線により加工前の領域をなす四角形を４分割して得られる４つの四角形のうちいずれに前記スポットが含まれるかを判別し、加工後の領域をなす長方形の内部にある点を、スポットが含まれると判別された四角形の頂点のうち加工前の領域をなす四角形の頂点を兼ねている頂点に相当するものの方向へ、四角形の４分割を行った回数が多いほど小さくなるような所定量だけ移動する処理を行い、前記スポットが含まれると判別した四角形を加工前の領域をなす四角形とみなして、加工後の領域をなす長方形の内部にある点の位置が実質的に一定の位置に収束するまで更に前記処理を繰り返して行ったとした場合に、収束した点の位置が加工後の画像データが表すスポットの位置になるように、前記画像データを加工する、
   ことを特徴とする画像表示装置。
2. 前記計測手段は、複数の加工前の画像データに基づき、２つの時刻におけるスポットの位置及び速度を特定する手段を備え、
   前記加工手段は、前記計測手段が特定した、前記２つの時刻におけるスポットの位置及び速度に基づき、当該２つの時刻間における当該スポットの推定位置を決定し、決定した推定位置にスポットが位置する画像を表すように、加工前の画像データを加工する、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記計測手段は、複数の加工前の画像データに基づき、スポットの速度を特定する手段を備え、
   前記加工手段は、前記計測手段が特定した速度、及び、加工後の画像データが表す画像内でスポットが占めた最新の位置に基づき、加工後の画像データが示す画像内でスポットが次に占めるべき位置を決定し、決定した位置にスポットが来るように画像データを加工する、
   ことを特徴とする請求項１に記載の画像表示装置。
4. スポットと、このスポットを含む領域を任意の位置から撮像する撮像ステップと、この撮像ステップにて撮像された領域の画像データを生成する生成ステップと、この生成ステップにて生成された画像データに基づく画像を表示画面に表示させる表示ステップとからなる画像表示方法であって、
   前記画像データを加工する加工ステップと、
   前記領域における前記スポットの位置座標を計測する計測ステップと、
   この計測ステップにて計測された前記スポットの位置座標を、前記加工ステップでの加工の結果得られる加工後の画像データに反映される位置座標に変換する座標変換ステップと、
   を含み、
   加工前の画像データが表す加工前の領域は四角形であり、前記加工ステップでの加工後の画像データが表す加工後の領域は長方形であり、
   前記加工ステップでは、加工前の領域をなす四角形の対向する２辺の交点の各々と当該四角形の対角線の交点とを結ぶ２本の直線により加工前の領域をなす四角形を４分割して得られる４つの四角形のうちいずれに前記スポットが含まれるかを判別し、加工後の領域をなす長方形の内部にある点を、スポットが含まれると判別された四角形の頂点のうち加工前の領域をなす四角形の頂点を兼ねている頂点に相当するものの方向へ、四角形の４分割を行った回数が多いほど小さくなるような所定量だけ移動する処理を行い、前記スポットが含まれると判別した四角形を加工前の領域をなす四角形とみなして、加工後の領域をなす長方形の内部にある点の位置が実質的に一定の位置に収束するまで更に前記処理を繰り返して行ったとした場合に、収束した点の位置が加工後の画像データが表すスポットの位置になるように、前記画像データを加工する、
   ことを特徴とする画像表示方法。
5. 表示装置と撮像装置とに接続されるコンピュータを、
   前記撮像装置に対し、スポットと、このスポットを含む領域を任意の位置から撮像させる撮像制御手段と、この撮像制御手段によって撮像された領域の画像データを生成する生成手段と、この生成手段によって生成された画像データに基づく画像を前記表示装置の表示画面に表示させる表示制御手段として機能させ、更に、
   前記画像データを加工する加工手段と、前記領域における前記スポットの位置座標を計測する計測手段と、この計測手段によって計測された前記スポットの位置座標を、前記加工手段による加工の結果得られる加工後の画像データに反映される位置座標に変換する座標変換手段として機能させる、
   ためのプログラムであって、
   加工前の画像データが表す加工前の領域は四角形であり、前記加工手段による加工後の画像データが表す加工後の領域は長方形であり、
   前記加工手段は、加工前の領域をなす四角形の対向する２辺の交点の各々と当該四角形の対角線の交点とを結ぶ２本の直線により加工前の領域をなす四角形を４分割して得られる４つの四角形のうちいずれに前記スポットが含まれるかを判別し、加工後の領域をなす長方形の内部にある点を、スポットが含まれると判別された四角形の頂点のうち加工前の領域をなす四角形の頂点を兼ねている頂点に相当するものの方向へ、四角形の４分割を行った回数が多いほど小さくなるような所定量だけ移動する処理を行い、前記スポットが含まれると判別した四角形を加工前の領域をなす四角形とみなして、加工後の領域をなす長方形の内部にある点の位置が実質的に一定の位置に収束するまで更に前記処理を繰り返して行ったとした場合に、収束した点の位置が加工後の画像データが表すスポットの位置になるように、前記画像データを加工する、
   ことを特徴とするプログラム。

Images