JP4747334B2 - 描画装置、操作物、描画システム、描画プログラム、及び描画方法 - Google Patents

Description

本発明は、操作物の空中での移動軌跡をディスプレイに描画する描画装置及びその関連技術に関する。

特許文献１には、次のような手書き情報入力装置が開示されている。空中の仮想筆記面の上で、手書き情報入力装置の先端により文字あるいは図形を描く動作を行うと、手書き情報入力装置の先端部に配置されている加速度センサと角速度センサとから、手書き情報入力装置の先端の軌跡、筆運びに伴う加速度及び角速度についての検出値が出力され、記憶される。

この手書き情報入力装置を、パーソナルコンピュータに接続することで、検出値をパーソナルコンピュータに読み出すことができる。そして、パーソナルコンピュータは、読み出した検出値をもとに、文字あるいは図形を描いたときの筆跡を解析して再現する。

特開２００３−１１４７５４号公報（００１２、００１３、図１、図２）

しかしながら、以上のように、手書き情報入力装置には、各種センサ、記憶装置、及びその他の電子回路が内蔵されているため、製造コストが高くなり、また、故障の原因ともなる。しかも、重量が大きくなるため操作性が必ずしも良いとは言えない。特に、手書き情報入力装置が、空中で操作されることを考慮すると、重量の問題は深刻である。

そこで、本発明は、簡素な構成の操作物を空中で操作することにより、操作物の移動軌跡をディスプレイに描画できる描画装置及びその関連技術を提供することを目的とする。

本発明の観点によると、描画装置は、ユーザによって操作される操作物に、予め定められた周期で、光を照射するストロボスコープと、前記ストロボスコープの発光時及び消灯時のそれぞれにおいて、前記操作物を撮影して、発光時画像信号及び消灯時画像信号を生成する撮像手段と、前記発光時画像信号と前記消灯時画像信号との差分信号を生成する差分信号生成手段と、前記差分信号に基づいて、前記操作物の状態情報を算出する状態情報算出手段と、前記操作物に連動する連動オブジェクトの表示を、前記操作物の前記状態情報に基づいて制御する連動オブジェクト制御手段と、前記連動オブジェクトの移動軌跡に基づいて、ディスプレイへの描画を制御する描画制御手段と、を備える。

この構成によれば、操作物に間欠的に光を照射して、これを撮影することにより、操作物の状態情報を求めることができる。このため、操作物の状態情報を求めるために、操作物に電源により駆動する回路を内蔵する必要がない。このように簡素な構成の操作物を空中で操作することにより、連動オブジェクトを操作して、連動オブジェクトの移動軌跡に応じた画像をディスプレイに表示できる。つまり、連動オブジェクトは操作物の動きに連動するので、間接的には、操作物の移動軌跡に応じた画像をディスプレイに表示できる。また、操作物に電源により駆動する回路を内蔵する必要がないため、操作物の操作性及び信頼性の向上を図ることができ、かつ、コストの低減を図ることができる。

この描画装置において、前記描画制御手段は、前記連動オブジェクトの前記移動軌跡を、複数の予め定められた画像により表現する。この構成によれば、連動オブジェクトの移動軌跡を装飾的に表現できる。

この場合、前記描画制御手段は、前記予め定められた画像の各々をアニメーションさせることもできる。この構成によれば、連動オブジェクトの移動軌跡をさらに装飾的に表現できる。

また、上記描画装置において、前記描画制御手段は、前記連動オブジェクトの前記移動軌跡を、線により表現することもできる。この構成によれば、ユーザは、空中で操作物を操作するだけで、任意の線を引くことができる。

さらに、上記描画装置において、前記描画制御手段は、前記状態情報としての面積情報に基づいて、描画および非描画を制御する。この構成によれば、ユーザは、操作物の遠近により、ペンアップ状態およびペンダウン状態をコントロールできる。

例えば、前記描画制御手段は、前記面積情報が、予め定められた閾値を上回ったときに、描画処理を実行し、前記面積情報が、前記予め定められた閾値を下回ったときに、描画処理を実行しない。

この構成によれば、操作物の状態情報としての面積情報が、閾値を上回ったとき、つまり、操作物から撮像手段までの距離が一定値を下回ったときに、描画処理が実行される（ペンダウン状態）。一方、操作物の状態情報としての面積情報が、閾値を下回ったとき、つまり、操作物から撮像手段までの距離が一定値を上回ったときは、描画処理は実行されない（ペンアップ状態）。以上のように、ユーザは、操作物を、撮像手段に近づけたり、あるいは、遠ざけたりするだけで、描画／非描画をコントロールできる。つまり、ユーザは、通常のペンで描画を行うが如く直感的な操作により、描画／非描画をコントロールできる。

また、例えば、前記描画制御手段は、前記面積情報が、予め定められた第１の閾値を下回ったときに、描画処理を実行せず、前記面積情報が、前記予め定められた第１の閾値を下回ったときは、予め定められた第２の閾値を上回るまで、描画処理を実行せず、前記予め定められた第１の閾値は、前記予め定められた第２の閾値より小さい。

この構成によれば、操作物の状態情報としての面積情報が、第１の閾値を下回って、描画処理を行わないペンアップ状態に一旦なった場合は、その第１の閾値ではなく、第１の閾値より大きい第２の閾値を上回るまで描画処理が実行されない（ペンダウン状態にならない）。つまり、第１の閾値で一旦ペンアップ状態になった後は、第１の閾値に相当する境界よりも撮像手段に近い第２の閾値に相当する境界まで、操作物を撮像手段に近づけないとペンダウン状態にならない。このように、ペンアップ状態とペンダウン状態とが一つの境界で仕切られていないので、境界付近での誤動作を極力防止できる。つまり、ペンアップ状態とペンダウン状態とが一つの境界で仕切られている場合において、ユーザがその境界付近で操作物を操作すると、描画と非描画とが交互にちらちら繰り返されることが発生しうる。

上記描画装置において、前記状態情報算出手段が算出する前記操作物の前記状態情報は、前記ディスプレイ上の位置情報である。この構成によれば、操作物の位置情報に基づいて、連動オブジェクトの表示が制御される。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。

図１は、本発明の実施の形態における描画システムの全体構成を示す図である。図１に示すように、この描画システムは、描画装置１、操作物１５０、及び、テレビジョンモニタ９０、を含む。

描画装置１のハウジング１９には、撮像ユニット１３が組み込まれる。撮像ユニット１３は、４つの赤外発光ダイオード１５及び赤外フィルタ１７を含む。赤外発光ダイオード１５の発光部は、赤外フィルタ１７から露出している。

描画装置１には、ＡＣアダプタ９２により、直流電源電圧が与えられる。ただし、ＡＣアダプタ９２に代えて、電池（図示せず）により、直流電源電圧を与えることもできる。

テレビジョンモニタ９０には、その前面にスクリーン９１が設けられる。テレビジョンモニタ９０と描画装置１とは、ＡＶケーブル９３により接続される。なお、描画装置１は、例えば、図１に示すように、テレビジョンモニタ９０の上面に載置される。

ユーザ９４が、描画装置１の背面に設けられた電源スイッチ（図示せず）をオンにすると、スクリーン９１に、描画面及びカーソルが表示される。ユーザ９４は、操作物１５０を操作して、描画面上のカーソルを動かすと、カーソルの移動軌跡が視覚化される。

ここで、操作物１５０の操作とは、操作物自体を動かすこと（例えば、移動させること）を意味し、スイッチを押下したり、アナログスティックを動かしたり、等は含まない。

撮像ユニット１３の赤外発光ダイオード１５は、間欠的に赤外光を発光する。赤外発光ダイオード１５からの赤外光は、この操作物１５０に取り付けられた反射シート（後述）により反射され、赤外フィルタ１７の内部に設けられた撮像素子（後述）に入力される。このようにして、操作物１５０が間欠的に撮影される。従って、描画装置１は、ユーザ９４により動かされた操作物１５０の間欠的な画像信号を取得できる。描画装置１は、この画像信号を解析して、描画を実行する。

本実施の形態で使用する反射シートは、例えば、再帰反射シートである。

図２は、図１の操作物１５０の斜視図である。図２に示すように、操作物１５０は、スティック１５２の先端に反射ボール１５１を固定して構成される。この反射ボール１５１により、赤外発光ダイオード１５からの赤外光が反射される。反射ボール１５１の詳細を説明する。

図３（ａ）は、図２の反射ボール１５１の上面図、図３（ｂ）は、図３（ａ）の矢印Ａ方向からの反射ボール１５１の側面図、図３（ｃ）は、図３（ａ）の矢印Ｂ方向からの反射ボール１５１の側面図、である。

図３（ａ）〜図３(ｃ)に示すように、反射ボール１５１は、透明色（半透明、有色透明、及び、無色透明、を含む。）の球状外殻１５３の内部に球状内殻１５４を固定してなる。球状内殻１５４には、反射シート１５５が取り付けられる。この反射シート１５５が、赤外発光ダイオード１５からの赤外光を反射する。

図４は、図２の反射ボール１５１の縦断面図である。図４に示すように、球状外殻１５３は、２つの半球状外殻をボス１５６及びビス（図示せず）により固定してなる。球状内殻１５４は、球状外殻１５３の内部に、２つの半球状内殻をボス１５７により固定してなる。また、反射ボール１５１には、スティック１５２が、挿入して固定される。具体的には、球状外殻１５３を構成する２つの半球状外殻と、球状内殻１５４を構成する２つの半球状内殻と、によりスティック１５２を挟み、２つの半球状外殻をボス１５６及びビスで固定するとともに、２つの半球状内殻をボス１５７で固定することで、スティック１５２を反射ボール１５１に取り付ける。

図５は、図１の撮像ユニット１３の一例を示す図解図である。図５に示すように、この撮像ユニット１３は、たとえばプラスチック成型によって形成されるユニットベース３５を含み、このユニットベース３５内には支持筒３６が取り付けられる。支持筒３６の上面には内面が逆円錐形状であるラッパ状の開口４１が形成され、その開口４１の下方の筒状部内部には、いずれもがたとえば透明プラスチックの成型によって形成された凹レンズ３９および凸レンズ３７を含む光学系が設けられ、凸レンズ３７の下方において、撮像素子としてのイメージセンサ４３が固着される。したがって、イメージセンサ４３は、開口４１からレンズ３９および３７を通して入射する光に応じた画像を生成できる。

イメージセンサ４３は、低解像度のＣＭＯＳイメージセンサ(たとえば３２ピクセル×３２ピクセル：グレースケール)である。ただし、このイメージセンサ４３は、画素数のもっと多いものでもよいし、ＣＣＤ等の他の素子からなるものであってよい。以下では、イメージセンサ４３が、３２ピクセル×３２ピクセルからなるものとして説明を行う。

また、ユニットベース３５には、光出射方向がいずれも上方向とされた複数（実施の形態では４つ）の赤外発光ダイオード１５が取り付けられる。この赤外発光ダイオード１５によって、撮像ユニット１３の上方に赤外光が照射される。また、ユニットベース３５の上方には、赤外フィルタ（赤外光のみを透過するフィルタ）１７が上記開口４１を覆うように、取り付けられる。そして、赤外発光ダイオード１５は後述のように、点灯／消灯（非点灯）が連続的に繰り返されるので、ストロボスコープとして機能する。ただし、「ストロボスコープ」とは、運動体を間欠的に照らす装置の総称である。したがって、上記イメージセンサ４３は、その撮影範囲内で移動する物体、実施の形態では、操作物１５０を撮影することになる。なお、後述する図８に示すように、ストロボスコープは、主に、赤外発光ダイオード１５、ＬＥＤ駆動回路７５、及び、高速プロセッサ２００、により構成される。

ここで、撮像ユニット１３は、イメージセンサ４３の受光面が、水平面から所定角度（例えば、９０度）だけ傾くように、ハウジング１９に組み込まれる。また、凹レンズ３９および凸レンズ３７により、イメージセンサ４３の撮影範囲は、例えば、６０度の範囲である。

図６は、図１の描画装置１の電気的な構成を示す図である。図６に示すように、描画装置１は、イメージセンサ４３、赤外発光ダイオード１５、映像信号出力端子４７、音声信号出力端子４９、高速プロセッサ２００、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）５１、及び、バス５３、を含む。

高速プロセッサ２００には、バス５３が接続される。さらに、バス５３には、ＲＯＭ５１が接続される。従って、高速プロセッサ２００は、バス５３を介して、ＲＯＭ５１にアクセスすることができるので、ＲＯＭ５１に格納された描画プログラムをリードして実行でき、また、ＲＯＭ５１に格納された画像データ及び楽音データをリードして処理し、映像信号及び音声信号を生成して、映像信号出力端子４７及び音声信号出力端子４９に出力することができる。

操作物１５０は、赤外発光ダイオード１５が発光する赤外光に照射され、その赤外光を反射シート１５５で反射する。この反射シート１５５からの反射光がイメージセンサ４３によって検知され、したがって、イメージセンサ４３からは反射シート１５５の画像信号が出力される。イメージセンサ４３からのこのアナログ画像信号は高速プロセッサ２００に内蔵されたＡ／Ｄコンバータ（後述）によってデジタルデータに変換される。そして、高速プロセッサ２００は、このデジタルデータを解析して、その解析結果を描画処理に反映する。

図７は、図６の高速プロセッサ２００のブロック図である。図７に示すように、この高速プロセッサ２００は、中央演算処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）２０１、グラフィックプロセッサ２０２、サウンドプロセッサ２０３、ＤＭＡ（ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）コントローラ２０４、第１バス調停回路２０５、第２バス調停回路２０６、内部メモリ２０７、Ａ／Ｄコンバータ（ＡＤＣ：ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）２０８、入出力制御回路２０９、タイマ回路２１０、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）リフレッシュ制御回路２１１、外部メモリインタフェース回路２１２、クロックドライバ２１３、ＰＬＬ（ｐｈａｓｅ−ｌｏｃｋｅｄ ｌｏｏｐ）回路２１４、低電圧検出回路２１５、第１バス２１８、及び、第２バス２１９、を含む。

ＣＰＵ２０１は、メモリ（内部メモリ２０７、又は、ＲＯＭ５１）に格納されたプログラムに従い、各種演算やシステム全体の制御を行う。ＣＰＵ２０１は、第１バス２１８及び第２バス２１９のバスマスタであり、それぞれのバスに接続された資源にアクセスが可能である。

グラフィックプロセッサ２０２は、第１バス２１８及び第２バス２１９のバスマスタであり、内部メモリ２０７、又は、ＲＯＭ５１に格納されたデータを基に、映像信号を生成して、映像信号出力端子４７へ出力する。グラフィックプロセッサ２０２は、第１バス２１８を通じて、ＣＰＵ２０１により制御される。また、グラフィックプロセッサ２０２は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。

サウンドプロセッサ２０３は、第１バス２１８及び第２バス２１９のバスマスタであり、内部メモリ２０７、又は、ＲＯＭ５１に格納されたデータを基に、音声信号を生成して、音声信号出力端子４９へ出力する。サウンドプロセッサ２０３は、第１バス２１８を通じて、ＣＰＵ２０１により制御される。また、サウンドプロセッサ２０３は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。

ＤＭＡコントローラ２０４は、ＲＯＭ５１から、内部メモリ２０７へのデータ転送を司る。また、ＤＭＡコントローラ２０４は、データ転送の完了を通知するために、ＣＰＵ２０１に対する割込み要求信号２２０を発生する機能を有する。ＤＭＡコントローラ２０４は、第１バス２１８及び第２バス２１９のバスマスタである。ＤＭＡコントローラ２０４は、第１バス２１８を通じてＣＰＵ２０１により制御される。

内部メモリ２０７は、マスクＲＯＭ、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、及び、ＤＲＡＭのうち、必要なものを備える。バッテリによるＳＲＡＭのデータ保持が必要とされる場合、バッテリ２１７が必要となる。ＤＲＡＭが搭載される場合、定期的にリフレッシュと呼ばれる記憶内容保持のための動作が必要とされる。

第１バス調停回路２０５は、第１バス２１８の各バスマスタからの第１バス使用要求信号を受け付け、調停を行い、各バスマスタへの第１バス使用許可信号を発行する。各バスマスタは、第１バス使用許可信号を受領することによって第１バス２１８に対するアクセスが許可される。ここで、第１バス使用要求信号及び第１バス使用許可信号は、図７では、第１バス調停信号２２２として示されている。

第２バス調停回路２０６は、第２バス２１９の各バスマスタからの第２バス使用要求信号を受け付け、調停を行い、各バスマスタへの第２バス使用許可信号を発行する。各バスマスタは、第２バス使用許可信号を受領することによって第２バス２１９に対するアクセスが許可される。ここで、第２バス使用要求信号及び第２バス使用許可信号は、図７では、第２バス調停信号２２３として示されている。

入出力制御回路２０９は、外部入出力装置や外部の半導体素子との通信等を入出力信号を介して行う。入出力信号は、第１バス２１８を介して、ＣＰＵ２０１からリード／ライトされる。また、入出力制御回路２０９は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。

この入出力制御回路２０９から、赤外発光ダイオード１５を制御するＬＥＤコントロール信号ＬＥＤＣが出力される。

タイマ回路２１０は、設定された時間間隔に基づき、ＣＰＵ２０１に対する割込み要求信号２２０を発生する機能を有する。時間間隔等の設定は、第１バス２１８を介してＣＰＵ２０１によって行われる。

ＡＤＣ２０８は、アナログ入力信号をデジタル信号に変換する。このデジタル信号は、第１バス２１８を介してＣＰＵ２０１によってリードされる。また、ＡＤＣ２０８は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。

このＡＤＣ２０８が、イメージセンサ４３からのピクセルデータ（アナログ）を受けて、デジタルデータに変換する。

ＰＬＬ回路２１４は、水晶振動子２１６より得られる正弦波信号を逓倍した高周波クロック信号を生成する。

クロックドライバ２１３は、ＰＬＬ回路２１４より受け取った高周波クロック信号を、各ブロックへクロック信号２２５を供給するのに十分な信号強度へ増幅する。

低電圧検出回路２１５は、電源電圧Ｖｃｃを監視し、電源電圧Ｖｃｃが一定電圧以下のときに、ＰＬＬ回路２１４のリセット信号２２６、その他のシステム全体のリセット信号２２７を発行する。また、内部メモリ２０７がＳＲＡＭで構成されており、かつ、ＳＲＡＭのバッテリ２１７によるデータ保持が要求される場合、電源電圧Ｖｃｃが一定電圧以下のときに、バッテリバックアップ制御信号２２４を発行する機能を有する。

外部メモリインタフェース回路２１２は、第２バス２１９を外部バス５３に接続するための機能、及び、第２バス２１９のサイクル終了信号２２８を発行することにより、第２バスのバスサイクル長を制御する機能、を有する。

ＤＲＡＭリフレッシュ制御回路２１１は、一定期間毎に第１バス２１８の使用権を無条件に獲得し、ＤＲＡＭのリフレッシュ動作を行う。なお、ＤＲＡＭリフレッシュ制御回路２１１は、内部メモリ２０７がＤＲＡＭを含む場合に設けられる。

ここで、図８〜図１０を参照して、イメージセンサ４３から高速プロセッサ２００へピクセルデータを取り込むための構成を詳細に説明する。

図８は、図６のイメージセンサ４３から高速プロセッサ２００へピクセルデータを取り込む構成及びＬＥＤ駆動回路を示す回路図である。図９は、図６のイメージセンサ４３から高速プロセッサ２００へピクセルデータを取り込む際の動作を示すタイミング図である。図１０は、図９の一部を拡大して示すタイミング図である。

図８に示すように、イメージセンサ４３は、ピクセルデータＤ（Ｘ，Ｙ）をアナログ信号として出力するタイプのものであるため、このピクセルデータＤ（Ｘ，Ｙ）は高速プロセッサ２００のアナログ入力ポートに入力される。アナログ入力ポートは、この高速プロセッサ２００においてＡＤＣ２０８に接続され、したがって、高速プロセッサ２００は、ＡＤＣ２０８からデジタルデータに変換されたピクセルデータをその内部に取得する。

上述のアナログピクセルデータＤ（Ｘ，Ｙ）の中点は、イメージセンサ４３の基準電圧端子Ｖｒｅｆに与えられる基準電圧によって決定される。そのため、イメージセンサ４３に関連して例えば抵抗分圧回路からなる基準電圧発生回路５９が設けられ、この回路５９から基準電圧端子Ｖｒｅｆに常に一定の大きさの基準電圧が与えられる。

イメージセンサ４３を制御するための各デジタル信号は、高速プロセッサ２００のＩ／Ｏポートに与えられ、またはそこから出力される。このＩ／Ｏポートは各々入力／出力の制御が可能なデジタルポートであり、この高速プロセッサ２００で入出力制御回路２０９に接続されている。

詳しく言うと、高速プロセッサ２００の出力ポートからはイメージセンサ４３をリセットするためのリセット信号ｒｅｓｅｔが出力され、イメージセンサ４３に与えられる。また、イメージセンサ４３からは、ピクセルデータストローブ信号ＰＤＳおよびフレームステータスフラグ信号ＦＳＦが出力され、それらの信号が高速プロセッサ２００の入力ポートに与えられる。

ピクセルデータストローブ信号ＰＤＳは上述の各ピクセル信号Ｄ（Ｘ，Ｙ）を読み込むための図９（ｂ）に示すようなストローブ信号である。フレームステータスフラグ信号ＦＳＦはイメージセンサ４３の状態を示すフラグ信号で、図９（ａ）に示すように、このイメージセンサ４３の露光期間を規定する。つまり、フレームステータスフラグ信号ＦＳＦの図９（ａ）に示すローレベルが露光期間を示し、図９（ａ）に示すハイレベルが非露光期間を示す。

また、高速プロセッサ２００は、イメージセンサ４３の制御レジスタ（図示せず）に設定するコマンド（またはコマンド＋データ）をレジスタデータとしてＩ／Ｏポートから出力するとともに、たとえばハイレベルおよびローレベルを繰り返すレジスタ設定クロックＣＬＫを出力し、それらをイメージセンサ４３に与える。

なお、赤外発光ダイオード１５として、図８に示すように互いに並列接続された４つの赤外発光ダイオード１５ａ，１５ｂ，１５ｃおよび１５ｄを用いる。この４つの赤外発光ダイオード１５ａ〜１５ｄは、上で説明したように、操作物１５０を照らすように、イメージセンサ４３の視点方向と同一方向に赤外光を照射するようにかつイメージセンサ４３を囲むように配置される。ただし、これら個別の赤外発光ダイオード１５ａ〜１５ｄは、特に区別する必要がある場合を除いて、単に赤外発光ダイオード１５と呼ばれる。

この赤外発光ダイオード１５はＬＥＤ駆動回路７５によって、点灯されまたは消灯（非点灯）される。ＬＥＤ駆動回路７５は、イメージセンサ４３から上述のフレームステータスフラグ信号ＦＳＦを受け、このフラグ信号ＦＳＦは、抵抗６９およびコンデンサ７１からなる微分回路６７を通してＰＮＰトランジスタ７７のベースに与えられる。このＰＮＰトランジスタ７７にはさらにプルアップ抵抗７９が接続されていて、このＰＮＰトランジスタ７７のベースは、通常は、ハイレベルにプルアップされている。そして、フレームステータス信号ＦＳＦがローレベルになると、そのローレベルが微分回路６７を経てベースに入力されるため、ＰＮＰトランジスタ７７は、フラグ信号ＦＳＦがローレベル期間にのみオンする。

ＰＮＰトランジスタ７７のエミッタは抵抗７３および６５を介して接地される。そして、エミッタ抵抗７３および６５の接続点がＮＰＮトランジスタ８１のベースに接続される。このＮＰＮトランジスタ８１のコレクタが各赤外発光ダイオード１５ａ〜１５ｄのアノードに共通に接続される。ＮＰＮトランジスタ８１のエミッタが別のＮＰＮトランジスタ６１のベースに直接接続される。ＮＰＮトランジスタ６１のコレクタが各赤外発光ダイオード１５ａ〜１５ｄのカソードに共通接続され、エミッタが接地される。

このＬＥＤ駆動回路７５では、高速プロセッサ２００のＩ／Ｏポートから出力されるＬＥＤコントロール信号ＬＥＤＣがアクティブ（ハイレベル）でありかつイメージセンサ４３からのフレームステータスフラグ信号ＦＳＦがローレベルである期間にのみ赤外発光ダイオード１５が点灯される。

図９（ａ）に示すようにフレームステータスフラグ信号ＦＳＦがローレベルになると、そのローレベル期間中（実際には微分回路６７の時定数での遅れがあるが）、ＰＮＰトランジスタ７７がオンする。したがって、図９（ｄ）に示すＬＥＤコントロール信号ＬＥＤＣが高速プロセッサ２００からハイレベルで出力されると、ＮＰＮトランジスタ８１のベースがハイベルとなり、このトランジスタ８１がオンとなる。トランジスタ８１がオンするとトランジスタ６１はオンとなる。したがって、電源（図８では小さい白丸で示す）から各赤外発光ダイオード１５ａ〜１５ｄおよびトランジスタ６１を経て電流が流れ、応じて図９（ｅ）に示すように各赤外発光ダイオード１５ａ〜１５ｄが点灯される。

ＬＥＤ駆動回路７５では、このように、図９（ｄ）のＬＥＤコントロール信号ＬＥＤＣがアクティブでありかつ図９（ａ）のフレームステータスフラグ信号ＦＳＦがローレベルである期間にのみ赤外発光ダイオード１５が点灯されるので、イメージセンサ４３の露光期間（図９（ｆ）参照）にのみ赤外発光ダイオード１５が点灯されることになる。

したがって、無駄な電力消費を抑制することができる。さらに、フレームステータスフラグ信号ＦＳＦはコンデンサ７１によってカップリングされているので、万一イメージセンサ４３の暴走等によりそのフラグ信号ＦＳＦがローレベルのまま停止した場合でも、一定時間後にはトランジスタ７７は必ずオフされ、赤外発光ダイオード１５も一定時間後には必ずオフされる。

このように、フレームステータス信号ＦＳＦの持続期間を変更することによって、イメージセンサ４３の露光時間を任意にかつ自在に設定または変更することができる。

さらに、フレームステータス信号ＦＳＦおよびＬＥＤコントロール信号ＬＥＤＣの持続時間や周期を変更することによって、赤外発光ダイオード１５すなわちストロボスコープの発光期間、非発光期間、発光／非発光周期などを任意にかつ自在に変更または設定できる。

先に説明したように、赤外発光ダイオード１５からの赤外光によって操作物１５０が照射されると、操作物１５０からの反射光によってイメージセンサ４３が露光される。応じて、イメージセンサ４３から上述のピクセルデータＤ（Ｘ，Ｙ）が出力される。詳しく説明すると、イメージセンサ４３は、上述の図９（ａ）のフレームステータスフラグ信号ＦＳＦがハイレベルの期間（赤外発光ダイオード１５の非点灯期間）に図９（ｂ）に示すピクセルデータストローブＰＤＳに同期して、図９（ｃ）に示すようにアナログのピクセルデータＤ（Ｘ，Ｙ）を出力する。

高速プロセッサ２００では、そのフレームステータスフラグ信号ＦＳＦとピクセルデータストローブＰＤＳとを監視しながら、ＡＤＣ２０８を通じて、デジタルのピクセルデータを取得する。

ただし、ピクセルデータは、図１０（ｃ）に示すように、第０行，第１行，…第３１行と行順次に出力される。ただし、後に説明するように、各行の先頭の１ピクセルはダミーデータとなる。

次に、描画装置１による描画について、具体例を挙げながら説明する。

図１１は、図１の描画装置１による描画の例示図である。図１１に示すように、スクリーン９１には、描画面１２０、描画時カーソル１０７、色選択オブジェクト１０１〜１０３、サイズ選択オブジェクト１０４〜１０６、及び、クリアボタン１１３、が表示される。描画時カーソル１０７は、描画時において、操作物１５０のスクリーン９１上の位置を示すものであり、操作物１５０の動きに連動する。ユーザ９４が、操作物１５０を操作して、描画時カーソル１０７を移動させると、描画時カーソル１０７の移動軌跡上に、煌めく星の画像１０８が表示される。

描画時カーソル１０７は操作物１５０に連動するため、カーソル１０７の移動軌跡は、操作物１５０の実空間上の移動軌跡に近似したものとなる。従って、ユーザ９４が操作物１５０により実空間上の仮想描画面に描いた線図とほぼ同形の線図上に星の画像１０８が表示される。

ここで、イメージセンサ４３と操作物１５０との間の距離Ｌが、Ｌ＜Ｌａ、の場合にのみ、描画時カーソル１０７の移動軌跡上に星の画像１０８が表示される（ペンダウン状態）。ここで、定数Ｌａは、任意の値とすることができ、例えば、経験的に定めることができる。一方、イメージセンサ４３と操作物１５０との間の距離Ｌが、定数Ｌａ以上の場合は、星の画像１０８は表示されない（ペンアップ状態）。従って、ユーザ９４は、描画しないときは、操作物１５０を、イメージセンサ４３から離す。なお、ペンアップ状態のときは、描画時カーソル１０７の表示態様を変えて、ユーザ９４が、ペンアップ状態であることを認識できるようにする。

ここで、ペンアップ状態のときに表示されるカーソルを非描画時カーソル（図示せず）と呼ぶ。また、描画時カーソル１０７及び非描画時カーソルを区別して表記する必要がある場合を除き、双方を単にカーソル１０７と呼ぶ。また、カーソル１０７は、操作物１５０に連動するため、連動オブジェクトと呼ぶこともできる。

色選択オブジェクト１０１〜１０３は、星の画像１０８の色を変更するためのものである。ユーザ９４が、カーソル１０７を、色選択オブジェクト１０１を含む所定範囲に移動させた場合、その後の星の画像１０８が例えば、青色になり、色選択オブジェクト１０２を含む所定範囲に移動させた場合、その後の星の画像１０８が例えば、赤色になり、色選択オブジェクト１０３を含む所定範囲に移動させた場合、その後の星の画像１０８が例えば、黄色になる。

サイズ選択オブジェクト１０４〜１０６は、星の画像１０８のサイズを変更するためのものである。ユーザ９４が、カーソル１０７を、サイズ選択オブジェクト１０４を含む所定範囲に移動させた場合、その後の星の画像１０８が所定の小さい画像となり、サイズ選択オブジェクト１０５を含む所定範囲に移動させた場合、その後の星の画像１０８が所定の中程度の大きさの画像となり、サイズ選択オブジェクト１０６を含む所定範囲に移動させた場合、その後の星の画像１０８が所定の大きい画像となる。

ここで、カーソル１０７、色選択オブジェクト１０１〜１０３、及び、サイズ選択オブジェクト１０４〜１０６、は単数又は複数のスプライトにより構成されている。なお、カーソル１０７、色選択オブジェクト１０１〜１０３、及び、サイズ選択オブジェクト１０４〜１０６、を単にオブジェクト（オブジェクト画像）と呼ぶこともある。

クリアボタン１１３は、描かれた星の画像１０８を全て消去して、星の画像１０８がない当初の描画面１２０にするためのボタンである。ユーザ９４が、カーソル１０７を、クリアボタン１１３を含む所定範囲に移動させた場合、描かれた星の画像１０８の全てが消去される。

なお、描画時カーソル１０７の移動軌跡上に、星の画像１０８が表示されるため、星の画像１０８により、絵や図形を描くことの他、文字を書いたり、数字を書いたり、記号を書いたり、すること等ができる。

図１２は、スクリーン９１に表示されるオブジェクトを構成するスプライトの説明図である。図１２に示すように、図１１の色選択オブジェクト１０１は、例えば、４個のスプライトＳＰ０〜ＳＰ３により構成される。スプライトＳＰ０〜ＳＰ３の各々は、例えば、８画素×８画素からなる。色選択オブジェクト１０１をスクリーン９１上に配置するときは、例えば、左上の角のスプライトＳＰ０の中心を、スクリーン９１上のどの座標に配置するかが指定される。そして、指定された座標及びスプライトＳＰ０〜ＳＰ３のサイズをもとに、各スプライトＳＰ１〜ＳＰ３の中心を配置する座標が算出される。以上のように座標を指定することで、スクリーン９１上の任意の位置にスプライトを配置できる。

次に、描画面１２０について説明する。まず、バックグラウンドスクリーンについて説明する。

図１３は、図１のテレビジョンモニタ９０のスクリーン９１に表示されるバックグラウンドスクリーンの説明図である。図１３に示すように、バックグラウンドスクリーン１４０は、例えば、３２個×３２個のブロック「０」〜ブロック「１０２３」により構成される。ブロック「０」〜ブロック「１０２３」の各々は、例えば、８画素×８画素からなる矩形要素である。ブロック「０」〜ブロック「１０２３」に対応して、配列ＰＡ[０]〜配列ＰＡ［１０２３］及び配列ＣＡ［０］〜配列ＣＡ［１０２３］が用意される。ここで、ブロック「０」〜ブロック「１０２３」を包括して表現するときは、「ブロックＢ」と表記し、配列ＰＡ[０]〜配列ＰＡ［１０２３］を包括して表現するときは、「配列ＰＡ」と表記し、配列ＣＡ［０］〜配列ＣＡ［１０２３］を包括して表現するときは、「配列ＣＡ」と表記する。

配列ＰＡには、対応するブロックＢの画素パターンを指定するデータ（画素パターンデータ）の格納位置情報が代入される。画素パターンデータは、ブロックＢを構成する８画素×８画素の各画素の色情報からなる。また、配列ＣＡには、対応するブロックＢに使用するカラーパレットを指定する情報（カラーパレット情報）及びデプス値が代入される。カラーパレットは、所定数の色情報からなる。デプス値は、画素の奥行きを表す情報であり、同じ位置に、複数の画素が存在することとなる場合、最も大きなデプス値を持つ画素だけが表示されることになる。

ここで、テレビジョンモニタ９０のスクリーン９１のサイズは、２２４画素×２５６画素であるため、バックグラウンドスクリーン１４０のうち、２２４画素×２５６画素の範囲がスクリーン９１に表示される。バックグラウンドスクリーン１４０のこの範囲が、描画面１２０となる。従って、配列ＰＡ及び配列ＣＡに代入されたデータを基に、描画面１２０が表示される。

次に、描画装置１による描画処理の詳細を説明する。

図１４は、図６のＲＯＭ５１に格納されたプログラム及びデータを示す概念図である。図１４に示すように、ＲＯＭ５１には、描画プログラム３００、画像データ３０１、及び、楽音データ３０４、が格納される。画像データ３０２は、オブジェクト画像データ３０２（カーソル１０７、色選択オブジェクト１０１〜１０３、及び、サイズ選択オブジェクト１０４〜１０６、等の画像データを含む。）及び背景画像データ３０３（描画面１２０等の画像データを含む。）を含む。なお、オブジェクト画像データ３０２および背景画像データ３０３は、画素パターンデータ等の画像生成に必要な情報からなる。楽音データ３０４は、楽譜データ３０５、及び、波形データ（音源データ）３０６、を含む。

高速プロセッサ２００は、ＲＯＭ５１に格納された描画プログラム３００を実行し、画像データ３０１及び楽音データ３０４を利用する。

高速プロセッサ２００が実行する主な処理について説明する。

［ピクセルデータ群取得処理］ＣＰＵ２０１は、イメージセンサ４３が出力したアナログのピクセルデータを変換したデジタルのピクセルデータを取得して、配列Ｐ［Ｘ］［Ｙ］に代入する。なお、イメージセンサ４３の水平方向（横方向、行方向）をＸ軸、垂直方向（縦方向、列方向）をＹ軸とする。

［差分データ算出処理］ＣＰＵ２０１は、赤外発光ダイオード１５の点灯時のピクセルデータＰ［Ｘ］［Ｙ］と、消灯時のピクセルデータＰ［Ｘ］［Ｙ］と、の差分を算出して、差分データを配列Ｄｉｆ［Ｘ］［Ｙ］に代入する。ここで、図面を用いて、差分を求める効果を説明する。ここで、ピクセルデータは輝度を表す。よって、差分データも輝度を表す。

図１５（ａ）は、一般的なイメージセンサにより撮影された、特別な処理を施さない画像の例示図、図１５（ｂ）は、図１５（ａ）の画像信号を或る閾値でレベル弁別したときの画像信号の例示図、図１５（ｃ）は、赤外フィルタ１７を介したイメージセンサ４３の点灯時の画像信号を或る閾値でレベル弁別したときの画像信号の例示図、図１５（ｄ）は、赤外フィルタ１７を介したイメージセンサ４３の消灯時の画像信号を或る閾値でレベル弁別したときの画像信号の例示図、図１５（ｅ）は、点灯時の画像信号と消灯時の画像信号との差分信号の例示図、である。

上記のように、操作物１５０に赤外光を照射し、赤外フィルタ１７を介してイメージセンサ４３に入射した反射赤外光による画像を撮影している。一般的な室内環境で一般的な光源を用いて操作物１５０をストロボスコープ撮影した場合には、一般的なイメージセンサ（図５のイメージセンサ４３に相当する。）には、図１５（ａ）に示すように、操作物１５０による画像以外に、蛍光灯光源、白熱灯光源、太陽光（窓）のような光源だけでなく、室内のすべてのものの画像がすべて写り込む。したがって、この図１５（ａ）の画像を処理して操作物１５０の画像のみを抽出するのは、かなり高速のコンピュータまたはプロセサが必要である。しかしながら、安価が条件の装置ではそのような高性能コンピュータを使えない。そこで種々の処理を行って負担を軽減することが考えられる。

図１５（ａ）の画像は、本来ならば、白黒の階調により表される画像であるが、その図示を省略している。また、図１５（ａ）〜図１５（ｅ）では、操作物１５０の反射シート１５５が撮影されている。

図１５（ｂ）は、図１５（ａ）の画像信号を或る閾値でレベル弁別したときの画像信号である。このようなレベル弁別処理は専用のハードウェア回路でも、ソフトウェア的にでも、実行することができるが、いずれの方法によっても、一定以下の光量のピクセルデータをカットするレベル弁別を実行すると、操作物１５０や光源以外の低輝度画像を除去することができる。この図１５（ｂ）の画像では操作物１５０および室内の光源以外の画像の処理を省略でき、したがって、コンピュータの負担を軽減できるが、それでも、光源画像を含む高輝度画像が依然として写り込んでいるので、操作物１５０と他の光源を分別することは難しい。

そこで、図５に示したように赤外フィルタ１７を利用して、イメージセンサ４３に赤外光による画像以外の画像が写らないようにした。それによって、図１５（ｃ）に示すように、赤外光を殆ど含まない蛍光灯光源の画像は除去できる。しかしながら、それでもなお太陽光や白熱灯が画像信号中に含まれてしまう。したがって、更なる負担軽減のために、赤外ストロボスコープの点灯時のピクセルデータと消灯時のピクセルデータとの差分を計算することとした。

そのため、図１５（ｃ）の点灯時の画像信号のピクセルデータと、図１５（ｄ）の消灯時の画像信号のピクセルデータとの差分を計算した。すると、図１５（ｅ）に示すように、その差分だけの画像が取得できる。この差分データによる画像は、図１５（ａ）と対比すれば明らかなように、操作物１５０によって得られる画像のみを含むことになる。したがって、処理の軽減を図りながらも、操作物１５０の状態情報を取得できる。

ここで、状態情報とは、例えば、速さ情報、移動方向情報、移動距離情報、速度ベクトル情報、加速度情報、移動軌跡情報、面積情報、若しくは、位置情報、のいずれか、又は、それらの２以上の組み合わせ、等である。

以上のような理由で、ＣＰＵ２０１は、赤外発光ダイオード１５の点灯時のピクセルデータと、消灯時のピクセルデータと、の差分を算出して、差分データを得る。

［注目点抽出処理］ＣＰＵ２０１は、差分データ算出処理で算出した差分データＤｉｆ［Ｘ］［Ｙ］を基に、操作物１５０の注目点の座標を求める。この点を詳細に説明する。

図１６は、図１の操作物１５０の注目点の座標算出の説明図である。なお、図１６に示したイメージセンサ４３は、３２ピクセル×３２ピクセルのものとする。

図１６に示すように、ＣＰＵ２０１は、Ｘ方向（水平方向、横方向、行方向）に３２ピクセル分の差分データをスキャンし、そして、Ｙ座標をインクリメントし、Ｘ方向に３２ピクセル分の差分データをスキャンし、そして、Ｙ座標をインクリメントし、というように、Ｙ座標をインクリメントしながら、Ｘ方向に３２ピクセル分の差分データをスキャンしていく。

この場合、ＣＰＵ２０１は、各ピクセルの差分データと所定の閾値Ｔｈとを比較して、所定の閾値Ｔｈを超えるピクセルの数をカウントする。同時に、ＣＰＵ２０１は、所定の閾値Ｔｈを超えるピクセルのうち、最大の差分データ（最大の輝度値）を持つピクセルを抽出する。

そして、ＣＰＵ２０１は、その最大の差分データを持つピクセルの座標を基に、操作物１５０の注目点の座標を算出する。この点を詳しく説明する。

図１７（ａ）は、最大差分データを持つピクセルの座標を基に、操作物１５０の注目点座標を算出する際のＸ方向スキャンの説明図、図１７（ｂ）は、最大差分データを持つピクセルの座標を基に、操作物１５０の注目点座標を算出する際のＹ方向スキャンのスタート時の説明図、図１７（ｃ）は、最大差分データを持つピクセルの座標を基に、操作物１５０の注目点座標を算出する際のＹ方向スキャンの説明図、図１７（ｄ）は、最大差分データを持つピクセルの座標を基に、操作物１５０の注目点座標を算出する際の結果の説明図、である。

図１７（ａ）に示すように、ＣＰＵ２０１は、最大差分データのピクセルの座標を中心に、Ｘ方向に、差分データのスキャンを実行して、所定の閾値Ｔｈより大きい差分データのピクセルを検出する。図１７（ａ）の例では、Ｘ＝１１〜１５までが、所定の閾値Ｔｈを超えたピクセルである。

次に、図１７（ｂ）に示すように、ＣＰＵ２０１は、Ｘ＝１１〜１５の中心を求める。すると、中心のＸ座標は、Ｘｃ＝１３である。

次に、図１７（ｃ）に示すように、図１７（ｂ）で求めたＸ座標（＝１３）を中心に、Ｙ方向に、差分データのスキャンを実行して、所定の閾値Ｔｈより大きい差分データのピクセルを検出する。図１７（ｃ）の例では、Ｙ＝５〜１０までが、所定の閾値Ｔｈを超えたピクセルである。

次に、図１７（ｄ）に示すように、ＣＰＵ２０１は、Ｙ＝５〜１０の中心を求める。すると、中心のＹ座標は、Ｙｃ＝７である。

ＣＰＵ２０１は、以上のようにして算出した注目点の座標Ｘｃ（＝１３）をＰＸ［Ｍ］に代入し、座標Ｙｃ（＝７）をＰＹ［Ｍ］に代入する。そして、ＣＰＵ２０１は、注目点（Ｘｃ，Ｙｃ）の移動平均（ＡＸ，ＡＹ）を算出する。さらに、ＣＰＵ２０１は、イメージセンサ４３上の注目点の平均座標（ＡＸ，ＡＹ）を、スクリーン９１上の座標（ｘｃ，ｙｃ）に変換する。そして、ＣＰＵ２０１は、座標ｘｃを配列Ａｘ［Ｍ］に代入し、座標ｙｃを配列Ａｙ［Ｍ］に代入する。ＣＰＵ２０１は、以上のような注目点の平均座標（Ａｘ［Ｍ］，Ａｙ［Ｍ］）を求める処理を、フレームが更新されるたびに実行する。ここで、例えば、スクリーン９１における座標原点は、スクリーン９１の中心位置とする。

ＣＰＵ２０１は、例えば、次式により、（ｎ＋１）フレーム分の移動平均を算出する。ｎは自然数（例えば、「３」）である。
ＡＸ＝（ＰＸ［Ｍ］＋ＰＸ［Ｍ−１］＋…＋ＰＸ［Ｍ−ｎ］）／（ｎ＋１） …（１）
ＡＹ＝（ＰＹ［Ｍ］＋ＰＹ［Ｍ−１］＋…＋ＰＹ［Ｍ−ｎ］）／（ｎ＋１） …（２）
式（１）及び式（２）において、「Ｍ」は自然数であり、スクリーン９１に表示するフレームが更新されるたびに１つインクリメントされる。

［カーソル制御処理］ＣＰＵ２０１は、操作物１５０の注目点の平均座標（Ａｘ［Ｍ］，Ａｙ［Ｍ］）を、次のフレームで表示するカーソル１０７の座標として登録する（内部メモリ２０７に格納する）。また、ＣＰＵ２０１は、カーソル１０７の、画素パターンデータ格納位置情報、カラーパレット情報、及び、デプス値、等のカーソル１０７の画像生成に必要な情報を登録する（内部メモリ２０７に格納する）。

［色変更処理］ＣＰＵ２０１は、カーソル１０７が、色選択オブジェクト１０１〜１０３が表示される領域のいずれかに進入した場合に、カーソル１０７が進入した色選択オブジェクトに対応付けられたカラーパレット情報を登録する（内部メモリ２０７に格納する。）。このカラーパレット情報は、星の画像１０８のカラーパレット情報である。なお、デフォルトとして、色選択オブジェクト１０１〜１０３のいずれかに対応付けられたカラーパレット情報が登録される。

［サイズ変更処理］ＣＰＵ２０１は、カーソル１０７が、サイズ選択オブジェクト１０４〜１０６が表示される領域のいずれかに進入した場合に、カーソル１０７が進入したサイズ選択オブジェクトの識別番号を登録する（内部メモリ２０７に格納する。）。なお、デフォルトとして、サイズ選択オブジェクト１０４〜１０６のいずれかの識別番号が登録される。

図１８は、サイズ選択オブジェクト１０４〜１０６の識別番号とアニメーションテーブル格納位置情報との関係図である。図１８に示すように、サイズ選択オブジェクト１０４〜１０６の識別番号ＩＤ０〜ＩＤ２とアニメーションテーブル格納位置情報ａｄｄｒｅｓｓ０〜ａｄｄｒｅｓｓ２とが関連付けられている。なお、アニメーションテーブル格納位置情報は、アニメーションテーブルが格納されている領域の先頭アドレス情報である。

アニメーションテーブル格納位置情報ａｄｄｒｅｓｓ０（サイズ選択オブジェクト１０４に対応）が示すアニメーションテーブルは、小さい星の画像１０８をアニメーションするためのものであり、アニメーションテーブル格納位置情報ａｄｄｒｅｓｓ１（サイズ選択オブジェクト１０５に対応）が示すアニメーションテーブルは、中程度の大きさの星の画像１０８をアニメーションするためのものであり、アニメーションテーブル格納位置情報ａｄｄｒｅｓｓ２（サイズ選択オブジェクト１０６に対応）が示すアニメーションテーブルは、大きい星の画像１０８をアニメーションするためのものである。

図１９は、図１８のアニメーションテーブル格納位置情報により示される、星の画像１０８をアニメーションするためのアニメーションテーブルの例示図である。図１９に示すように、アニメーションテーブルは、アニメーション画像データの格納位置情報、アニメーションを行う星の番号を時系列に配置したもの、持続フレーム数情報、後続情報、及び、ブロックＢのサイズ情報、を関連付けたテーブルである。

アニメーション画像データは、複数の星の画像１０８を時系列に配置したデータである。なお、アニメーション画像データは、画素パターンデータである。持続フレーム数情報は、何フレーム連続して各星を表示するかを示す情報である。後続情報は、持続フレーム数情報に従って星の画像１０８を表示した後に、何番の星の画像１０８を表示するかを指示する情報である。例えば、後続情報「ｎｅｘｔ」は、番号「１」の星の画像１０８を１フレーム（持続フレーム数）表示した後は、次の番号「２」の星の画像１０８を表示することを意味する。また、例えば、後続情報「ｔｏｐ」は、番号「４」の星の画像１０８を１フレーム（持続フレーム数）表示した後は、先頭の番号「１」の星の画像１０８を表示することを意味する。

ブロックサイズ情報は、星の画像１０８が表示さるブロックＢ（図１３参照）のサイズ情報である。アニメーション画像データの格納位置情報は、１番の星の画像１０８の画素パターンデータ格納位置情報であるため、ブロックサイズ情報を利用して、２番以降の星の画像１０８の画素パターンデータ格納位置情報が算出される。

［画面クリア処理］ＣＰＵ２０１は、カーソル１０７がクリアボタン１１３が表示される領域に進入した場合、クリアフラグをオンにする。

［描画制御処理］ＣＰＵ２０１は、操作物１５０の注目点の平均座標（Ａｘ［Ｍ］，Ａｙ［Ｍ］）、つまり、描画時カーソル１０７の表示座標をもとに、描画時カーソル１０７が位置するブロックＢ（図１３参照）を検出する。そして、ＣＰＵ２０１は、検出したブロックＢの番号（図１３参照）に関連付けて、サイズ変更処理で登録した識別番号を登録する。従って、描画時カーソル１０７が移動するたびに、識別番号が次々に登録されることになる。

また、ＣＰＵ２０１は、描画時カーソル１０７の移動軌跡上に存在するブロックＢごとに、対応する配列ＰＡの画素パターンデータ格納位置情報を変更する。この場合、ＣＰＵ２０１は、描画時カーソル１０７の移動軌跡上に存在するブロックＢごとに登録された識別番号に関連付けられたアニメーションテーブル格納位置情報（図１８参照）が示す位置に格納されたアニメーションテーブルを参照する。

上述のように、ＣＰＵ２０１は、２番以降の星の画像１０８の画素パターンデータ格納位置情報を、１番の星の画像１０８の画素パターンデータ格納位置情報およびブロックサイズ情報をもとに算出する。

以上のように、アニメーションテーブルを参照して、フレームが更新される度に、配列ＰＡのデータを変更することにより、煌めくような星の画像１０８が表示される。

加えて、ＣＰＵ２０１は、今回の描画時カーソル１０７が位置するブロックＢに対応する配列ＣＡのカラーパレット情報を、色変更処理で登録したカラーパレット情報に変更する。なお、前回以前に描画時カーソル１０７が位置したブロックＢに対応する配列ＣＡのカラーパレット情報は維持される。

さらに、ＣＰＵ２０１は、クリアフラグがオンになっていれば、配列ＰＡには、描画面１２０を表す画素パターンデータ格納位置情報を代入し、配列ＣＡには、描画面１２０を表すカラーパレット情報及びデプス値を代入する。これにより、星の画像１０８が全て消去される。

デフォルトとして、配列ＰＡには、描画面１２０を表す画素パターンデータ格納位置情報が代入され、配列ＣＡには、描画面１２０を表すカラーパレット情報及びデプス値が代入される。

［画像表示処理］ＣＰＵ２０１は、画像生成に必要な情報を垂直ブランキング期間に、図７のグラフィックプロセッサ２０２に与える。すると、グラフィックプロセッサ２０２は、与えられた情報をもとに映像信号を生成して、映像信号出力端子４７に出力する。これにより、テレビジョンモニタ９０のスクリーン９１に、描画面１２０及びカーソル１０７等の画像が表示される。より具体的には、次の通りである。

ＣＰＵ２０１は、カーソル制御処理で登録した座標情報（操作物１５０の注目点の平均座標）をもとに、カーソル１０７を構成する各スプライトの表示座標を算出する。そして、ＣＰＵ２０１は、カーソル１０７を構成する各スプライトの、表示座標情報、カラーパレット情報、デプス値、サイズ情報、及び、画素パターンデータ格納位置情報、をグラフィックプロセッサ２０２に与える。

また、ＣＰＵ２０１は、配列ＰＡ[０]〜配列ＰＡ［１０２３］の先頭アドレスおよび配列ＣＡ［０］〜配列ＣＡ［１０２３］の先頭アドレスを、グラフィックプロセッサ２０２に与える。グラフィックプロセッサ４０８は、与えられた先頭アドレスをもとに、配列ＰＡ[０]〜配列ＰＡ［１０２３］の情報を読み出して、それをもとに、ブロック［０］〜ブロック［１０２３］の画素パターンデータ格納位置情報を読み出す。また、グラフィックプロセッサ２０２は、与えられた先頭アドレスをもとに、配列ＣＡ［０］〜配列ＣＡ［１０２３］の情報を読み出す。

また、ＣＰＵ２０１は、色選択オブジェクト１０１〜１０３及びサイズ選択オブジェクト１０４〜１０６を構成する各スプライトの、表示座標情報、カラーパレット情報、デプス値、サイズ情報、及び、画素パターンデータ格納位置情報、をグラフィックプロセッサ２０２に与える。

グラフィックプロセッサ２０２は、ＣＰＵ２０１から与えられた情報および読み出した情報をもとに、カーソル１０７、描画面１２０、星１０８、色選択オブジェクト１０１〜１０３、サイズ選択オブジェクト１０４〜１０６、及びクリアボタン１１３を表す映像信号を生成して、映像信号出力端子４７に出力する。

［楽音再生］楽音の再生は、割込み処理により行われる。ＣＰＵ２０１は、楽譜データポインタをインクリメントしながら、楽譜データ３０５を読み出して解釈する。なお、楽譜データポインタは、楽譜データ３０５の読み出し位置を示すポインタである。

そして、ＣＰＵ２０１は、読み出した楽譜データ３０５に含まれるコマンドが、ノートオンであれば、その楽譜データ３０５に含まれるノートナンバが示す音の高さ（ピッチ）及び楽器指定情報が示す楽器（音色）に応じた波形データ（音源データ）３０６が格納されている先頭アドレスを、サウンドプロセッサ２０３に与える。さらに、ＣＰＵ２０１は、読み出した楽譜データ３０５に含まれるコマンドが、ノートオンであれば、必要なエンベロープデータが格納されている先頭アドレスを、サウンドプロセッサ２０３に与える。さらに、ＣＰＵ２０１は、読み出した楽譜データ３０５に含まれるコマンドが、ノートオンであれば、その楽譜データ３０５に含まれるノートナンバが示す音の高さ（ピッチ）に応じたピッチ制御情報、及び、その楽譜データ３０５に含まれるボリューム情報、をサウンドプロセッサ２０３に与える。

ここで、ピッチ制御情報について説明しておく。ピッチ制御情報は、波形データ３０６を読み出す周期を変えることによって行われるピッチ変換に用いられる。つまり、サウンドプロセッサ２０３は、ピッチ制御情報を一定期間毎に読み出して累算する。そして、サウンドプロセッサ２０３は、この累算結果を加工して、波形データ３０６のアドレスポインタとする。よって、ピッチ制御情報に大きな値が設定されれば、アドレスポインタのインクリメントは早く行われ、波形データ３０６の周波数が高くなり、ピッチ制御情報に小さな値が設定されれば、アドレスポインタのインクリメントは遅く行われ、波形データ３０６の周波数が低くなる。このようにして、サウンドプロセッサ２０３は、波形データ３０６のピッチ変換を行う。

さて、サウンドプロセッサ２０３は、与えられたピッチ制御情報に基づいて、アドレスポインタをインクリメントしながら、与えられた先頭アドレスが示す位置に格納されている波形データ３０６をＲＯＭ５１から読み出す。そして、サウンドプロセッサ２０３は、順次読み出される波形データ３０６に、エンベロープデータ及びボリューム情報を乗算して、音声信号を生成する。このようにして、楽譜データ３０５が指示する楽器の音色、音の高さ（ピッチ）、及び、音量、の音声信号が生成され、音声信号出力端子４９に出力される。

一方、ＣＰＵ２０１は、読み出した楽譜データ３０５に含まれるゲートタイムを管理している。従って、ＣＰＵ２０１は、ゲートタイムが経過した時に、該当する楽音の発音を終了するように、サウンドプロセッサ２０３に指示を出す。これを受けて、サウンドプロセッサ２０３は、指示された楽音の発音を終了する。

以上のようにして、楽譜データ３０５に基づいて楽曲が再生され、テレビジョンモニタ９０のスピーカ（図示せず）から発音される。

次に、図１の描画装置１の全体の処理の流れの１例を、フローチャートを用いて説明する。

図２０は、図１の描画装置１の全体の処理の流れの１例を示すフローチャートである。図２０に示すように、ステップＳ１にて、ＣＰＵ２０１は、システムの初期設定を実行する。

ステップＳ２にて、ＣＰＵ２０１は、操作物１５０の注目点の平均座標を算出する（状態情報算出処理）。ステップＳ３にて、ＣＰＵ２０１は、操作物１５０の注目点の平均座標を、カーソル１０７の表示座標として登録する（カーソル制御処理）。

ステップＳ４にて、ＣＰＵ２０１は、カーソル１０７の表示座標に基づいて、星の画像１０８の色を変更するためのカラーパレット情報を登録する（色変更処理）。ステップＳ５にて、ＣＰＵ２０１は、カーソル１０７の表示座標に基づいて、星の画像１０８の大きさを変更するための識別番号を登録する（サイズ変更処理）。ステップＳ６にて、ＣＰＵ２０１は、カーソル１０７がクリアボタン１１３が表示される領域に進入したときに、クリアフラグをオンにする（画面クリア処理）。

ステップＳ７にて（描画制御処理）、ＣＰＵ２０１は、描画時カーソル１０７の移動軌跡上に存在するブロックＢに対応する配列ＰＡの画素パターンデータ格納位置情報を書き換える。また、ＣＰＵ２０１は、今回の描画時カーソル１０７が位置するブロックＢに対応する配列ＣＡのカラーパレット情報を変更する。ただし、ＣＰＵ２０１は、ステップＳ６でクリアフラグがオンになっていれば、全ての配列ＰＡ及び全ての配列ＣＡを、描画面１２０のデータに書き換える。

ステップＳ８にて、ＣＰＵ２０１は、「Ｍ」が所定値「Ｋ」より小さいかどうかを判断する。ＣＰＵ２０１は、「Ｍ」が所定値「Ｋ」以上である場合、ステップＳ９に進み、「Ｍ」に「０」を代入して、ステップＳ１０に進む。一方、ＣＰＵ２０１は、「Ｍ」が所定値「Ｋ」より小さい場合、ステップＳ８からステップＳ１０に進む。

ステップＳ１０では、ＣＰＵ２０１は、ビデオ同期の割込み待ちかどうかを判断する。ＣＰＵ２０１は、テレビジョンモニタ９０の表示画面を更新するための画像情報を、垂直ブランキング期間の開始後にグラフィックプロセッサ２０２に与える。従って、表示画面を更新するための演算処理が完了したら、ビデオ同期割込みがあるまで処理を進めないようにしている。ステップＳ１０で「ＹＥＳ」であれば、即ち、ビデオ同期の割込み待ちであれば（ビデオ同期信号による割り込みがなければ）、同じステップＳ１０に戻る。一方、ステップＳ１０で「ＮＯ」であれば、即ち、ビデオ同期の割込み待ちでなければ（ビデオ同期信号による割り込みがあれば）、ステップＳ１１に進む。

ステップＳ１１にて、ＣＰＵ２０１は、ステップＳ３及びステップＳ７の結果に基づいて、画面（図１１参照）の生成に必要な画像情報を、グラフィックプロセッサ２０２に与える（画像表示処理）。そして、処理は、ステップＳ２に進む。

図２１は、図２０のステップＳ１の初期設定処理の流れの１例を示すフローチャートである。図２１に示すように、ステップＳ２０にて、ＣＰＵ２０１は、イメージセンサ４３の初期設定処理を実行する。ステップＳ２１にて、ＣＰＵ２０１は、各種フラグ及び各種カウンタを初期化する。ステップＳ２２にて、ＣＰＵ２０１は、タイマ回路２１０を発音のための割込み源としてセットする。なお、割込み処理により、サウンドプロセッサ２０３による処理が実行されて、テレビジョンモニタ９０のスピーカから楽曲が出力される。

図２２は、図２１のステップＳ２０のセンサ初期設定処理の流れの１例を示すフローチャートである。図２２に示すように、最初のステップＳ３０では、高速プロセッサ２００は、設定データとして、コマンド“ＣＯＮＦ”を設定する。ただし、このコマンド“ＣＯＮＦ”は、イメージセンサ４３に、高速プロセッサ２００からコマンドを送信する設定モードに入ることを知らせるためのコマンドである。そして、次のステップＳ３１にて、コマンド送信処理を実行する。

図２３は、図２２のステップＳ３１のコマンド送信処理の流れの１例を示すフローチャートである。図２３に示すように、最初のステップＳ４０では、高速プロセッサ２００は、設定データ（ステップＳ３１の場合はコマンド“ＣＯＮＦ”）をレジスタデータ（Ｉ／Ｏポート）に設定し、次のステップＳ４１でレジスタ設定クロックＣＬＫ（Ｉ／Ｏポート）をローレベルに設定する。その後、ステップＳ４２で規定時間待機した後、ステップＳ４３で、レジスタ設定クロックＣＬＫをハイレベルに設定する。そして、さらにステップＳ４４での規定時間の待機の後、ステップＳ４５でレジスタ設定クロックＣＬＫを再びローレベルに設定する。

このようにして、図２４に示すように、規定時間の待機を行いながら、レジスタ設定クロックＣＬＫをローレベル，ハイレベルそしてローレベルとすることによって、コマンド（コマンドまたはコマンド＋データ）の送信処理が行われる。

図２２の説明に戻る。ステップＳ３２では、ピクセルモードを設定するとともに、露光時間の設定を行う。この実施の形態の場合、イメージセンサ４３は先に述べたようにたとえば３２ピクセル×３２ピクセルのＣＭＯＳイメージセンサであるため、設定アドレス“０”のピクセルモードレジスタに３２ピクセル×３２ピクセルであることを示す“０ｈ”を設定する。次のステップＳ３３において、高速プロセッサ２００は、レジスタ設定処理を実行する。

図２５は、図２２のステップＳ３３のレジスタ設定処理の流れの１例を示すフローチャートである。図２５に示すように、最初のステップＳ５０では、高速プロセッサ２００は、設定データとして、コマンド“ＭＯＶ”＋アドレスを設定し、次のステップＳ５１で、図２３で先に説明したコマンド送信処理を実行して、それを送信する。次にステップＳ５２において、高速プロセッサ２００は、設定データとして、コマンド“ＬＤ”＋データを設定し、次のステップＳ５３でコマンド送信処理を実行して、それを送信する。そして、ステップＳ５４で、高速プロセッサ２００は、設定データとして、コマンド“ＳＥＴ”を設定し、次のステップＳ５５でそれを送信する。なお、コマンド“ＭＯＶ”は制御レジスタのアドレスを送信することを示すコマンドで、コマンド“ＬＤ”はデータを送信することを示すコマンドで、コマンド“ＳＥＴ”はデータをそのアドレスに実際に設定させるためのコマンドである。なお、この処理は、設定する制御レジスタが複数ある場合には、繰り返し実行される。

図２２の説明に戻る。ステップＳ３４では、設定アドレスを“１”（露光時間設定レジスタのローニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のローニブルデータ“Ｆｈ”を設定すべきデータとして設定する。そして、ステップＳ３５で図２５のレジスタ設定処理を実行する。同様にして、ステップＳ３６において、設定アドレスを“２”（露光時間設定レジスタのハイニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のハイニブルデータ“Ｆｈ”を設定すべきデータとして設定し、ステップＳ３７でレジスタ設定処理を実行する。

その後、ステップＳ３８で設定終了を示しかつイメージセンサ４３にデータの出力を開始させるためのコマンド“ＲＵＮ”を設定し、ステップＳ３９で送信する。このようにして、図２１に示すステップＳ２０でのセンサ初期設定処理が実行される。ただし、図２２〜図２５に示す具体例は、使用されるイメージセンサ４３の仕様に応じて、適宜変更され得るものである。

図２６は、図２０のステップＳ２の状態情報算出処理の流れの１例を示すフローチャートである。図２６に示すように、ステップＳ６０にて、ＣＰＵ２０１は、ＡＤＣ２０８からデジタルのピクセルデータを取得する。このデジタルのピクセルデータは、イメージセンサ４３からのアナログのピクセルデータが、ＡＤＣ２０８により、デジタルに変換されたものである。

ステップＳ６１にて、注目点抽出処理が実行される。具体的には、ＣＰＵ２０１が、赤外発光ダイオード１５の発光時のピクセルデータと消灯時のピクセルデータとの差分を算出して、差分データを得る。そして、ＣＰＵ２０１が、その差分データと所定の閾値Ｔｈと比較して、所定の閾値Ｔｈを超える差分データを持つピクセルの数をカウントする。同時に、ＣＰＵ２０１は、所定の閾値Ｔｈを超える差分データの最大値を求める。そして、ＣＰＵ２０１は、その最大値の差分データを持つピクセルの座標を算出する。さらに、ＣＰＵ２０１は、以上のようにして算出した座標の移動平均を求め、これをテレビジョンモニタ９０のスクリーン９１上の座標に変換し、操作物１５０の注目点の座標（Ａｘ[Ｍ]，Ａｙ［Ｍ］）、つまり、カーソル１０７の表示座標とする。

図２７は、図２６のステップＳ６０のピクセルデータ群取得処理の流れの１例を示すフローチャートである。図２７に示すように、最初のステップＳ７０で、ＣＰＵ２０１は、ピクセルデータ配列の要素番号としてＸに「−１」、Ｙに「０」を設定する。本実施の形態におけるピクセルデータ配列は、Ｘ＝０〜３１、Ｙ＝０〜３１の２次元配列であるが、前述のように各行の先頭ピクセルのデータとしてダミーデータが出力されるので、Ｘの初期値として「−１」が設定される。続くステップＳ７１では、ピクセルデータの取得処理を実行する。

図２８は、図２７のステップＳ７１のピクセルデータ取得処理の流れの１例を示すフローチャートである。図２８に示すように、最初のステップＳ８０で、ＣＰＵ２０１は、イメージセンサ４３からのフレームステータスフラグ信号ＦＳＦをチェックし、ステップＳ８１でそのアップエッジ（ローレベルからハイレベルへの）が発生したかどうか判断する。そして、ステップＳ８１でフラグ信号ＦＳＦのアップエッジを検出すると、次のステップＳ８２において、ＣＰＵ２０１は、ＡＤＣ２０８に入力されてきたアナログのピクセルデータのデジタルデータへの変換の開始を指示する。その後、ステップＳ８３でイメージセンサ４３からのピクセルストローブＰＤＳをチェックし、ステップＳ８４でそのストローブ信号ＰＤＳのローレベルからハイレベルへのアップエッジが発生したかどうか判断する。

ステップＳ８４で“ＹＥＳ”が判断されると、ＣＰＵ２０１は、ステップＳ８５において、Ｘ＝−１かどうか、すなわち先頭ピクセルかどうか判断する。先に述べたように、各行の先頭ピクセルはダミーピクセルとして設定されているので、このステップＳ８５で“ＹＥＳ”が判断されると、次のステップＳ８７でそのときのピクセルデータを取得しないで、要素番号Ｘをインクリメントする。

ステップＳ８５で“ＮＯ”が判断されると、行の第２番目以降のピクセルデータであるので、ステップＳ８６およびＳ８８において、そのときのピクセルデータを取得し、テンポラリレジスタ（図示せず）にそのピクセルデータを格納する。その後、図２７のステップＳ７２に進む。

図２７のステップＳ７２では、テンポラリレジスタに格納されたピクセルデータをピクセルデータ配列Ｐ［Ｙ］［Ｘ］に代入する。

続くステップＳ７３でＸをインクリメントする。Ｘが３２に満たない場合、前述のＳ７１からＳ７３の処理を繰り返し実行する。Ｘが３２の場合、すなわちピクセルデータの取得が行の終端に到達した場合には、続くステップＳ７５でＸに「−１」を設定し、ステップＳ７６でＹをインクリメントし、次の行の先頭からピクセルデータの取得処理を繰り返す。

ステップＳ７７でＹが３２の場合、すなわちピクセルデータの取得がピクセルデータ配列Ｐ［Ｙ］［Ｘ］の終端に到達した場合、図２６のステップＳ６１に進む。

図２９は、図２６のステップＳ６１の注目点抽出処理の流れの１例を示すフローチャートである。図２９に示すように、ステップＳ９０にて、ＣＰＵ２０１は、イメージセンサ４３からの、赤外発光ダイオード１５の点灯時のピクセルデータと、赤外発光ダイオード１５の消灯時のピクセルデータと、の差分を算出して、差分データを得る。ステップＳ９１にて、ＣＰＵ２０１は、配列Ｄｉｆ［Ｘ］[Ｙ]に、算出した差分データを代入する。ここで、実施の形態では、３２ピクセル×３２ピクセルのイメージセンサ４３を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１、である。

ステップＳ９２にて、ＣＰＵ２０１は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素をスキャンして、配列Ｄｉｆ［Ｘ］［Ｙ］の要素のうち、所定の閾値Ｔｈを超える要素の数をカウントする。そして、ＣＰＵ２０１は、カウント値が所定値ｋ以下であれば、ペンアップフラグをオンにする。一方、カウント値が所定値ｋを超えていればペンアップフラグをオフにする。このカウント値は、操作物１５０のスクリーン９１上の面積に相当する。そして、この面積は、操作物１５０がイメージセンサ４３に近づくほど大きくなり、イメージセンサ４３から離れるほど小さくなる。このため、カウント値が大きいほど、操作物１５０がイメージセンサ４３に近いことを意味し、カウント値が小さいほど、操作物１５０がイメージセンサ４３から離れていることを意味する。よって、カウント値が所定値ｋ以下である場合は、操作物１５０がイメージセンサ４３から一定距離以上離れたことを意味し、その場合に、ペンアップフラグがオンにされる。なお、所定値ｋは、例えば、経験的に定めることができる。

また、ＣＰＵ２０１は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素をスキャンしながら、所定の閾値Ｔｈを超える要素の中から、最大値を検出する。

さて、ＣＰＵ２０１は、配列Ｄｉｆ［Ｘ］[Ｙ]の全要素が、所定の閾値Ｔｈ以下であれば、図２０のステップＳ８に進み、そうでなければ、ステップＳ９４に進む（ステップＳ９３）。

ステップＳ９４にて、ＣＰＵ２０１は、最大値を持つピクセルの座標を基に、操作物１５０の注目点の座標（Ｘｃ，Ｙｃ）を算出する。ステップＳ９５にて、ＣＰＵ２０１は、回数Ｍの値を１つインクリメントする（Ｍ＝Ｍ＋１）。

ステップＳ９６にて、ＣＰＵ２０１は、座標Ｘｃ及びＹｃをそれぞれ、配列ＰＸ［Ｍ］及びＰＹ［Ｍ］に代入する。ステップＳ９７にて、ＣＰＵ２０１は、操作物１５０の注目点（Ｘｃ，Ｙｃ）の移動平均（ＡＸ［Ｍ］，ＡＹ［Ｍ］）を算出する。ステップＳ９８にて、ＣＰＵ２０１は、イメージセンサ４３上の注目点の平均座標（ＡＸ［Ｍ］，ＡＹ［Ｍ］）を、テレビジョンモニタ９０のスクリーン９１上の座標（ｘｃ，ｙｃ）に変換する。

図３０は、図２９のステップＳ９４の注目点座標算出処理の流れの１例を示すフローチャートである。図３０に示すように、ステップＳ１００にて、ＣＰＵ２０１は、「ｍ」及び「ｎ」にそれぞれ、ステップＳ９２で求めた最大値のＸ座標及びＹ座標を代入する。ステップＳ１０１にて、ＣＰＵ２０１は、「ｍ」を１つインクリメントする（ｍ＝ｍ＋１）。ＣＰＵ２０１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１０３に進み、そうでない場合は、ステップＳ１０４に進む（ステップＳ１０２）。ステップＳ１０３にて、ＣＰＵ２０１は、「ｍｒ」にそのときの「ｍ」を代入する。このように、ステップＳ１０１〜Ｓ１０３を繰り返しながら、最大値からＸ軸の正方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＸ座標を求める。

ステップＳ１０４にて、ＣＰＵ２０１は、「ｍ」に、ステップＳ９２で求めた最大値のＸ座標を代入する。ステップＳ１０５にて、ＣＰＵ２０１は、「ｍ」を１つデクリメントする。ＣＰＵ２０１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１０７に進み、そうでない場合は、ステップＳ１０８に進む（ステップＳ１０６）。ステップＳ１０７にて、ＣＰＵ２０１は、「ｍｌ」にそのときの「ｍ」を代入する。このように、ステップＳ１０５〜Ｓ１０７を繰り返しながら、最大値からＸ軸の負方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＸ座標を求める。

ステップＳ１０８にて、ＣＰＵ２０１は、Ｘ座標ｍｒとＸ座標ｍｌとの中心座標を算出して、それを、注目点のＸ座標（Ｘｃ）とする。ステップＳ１０９にて、ＣＰＵ２０１は、「ｍ」及び「ｎ」にそれぞれ、ステップＳ１０８で求めた「Ｘｃ」およびステップＳ９２で求めた最大値のＹ座標を代入する。ステップＳ１１０にて、ＣＰＵ２０１は、「ｎ」を１つインクリメントする（ｎ＝ｎ＋１）。ＣＰＵ２０１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１１２に進み、そうでない場合は、ステップＳ１１３に進む（ステップＳ１１１）。ステップＳ１１２にて、ＣＰＵ２０１は、「ｎｄ」にそのときの「ｎ」を代入する。このように、ステップＳ１１０〜Ｓ１１２を繰り返しながら、最大値からＹ軸の正方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＹ座標を求める。

ステップＳ１１３にて、ＣＰＵ２０１は、「ｎ」に、ステップＳ９２で求めた最大値のＹ座標を代入する。ステップＳ１１４にて、ＣＰＵ２０１は、「ｎ」を１つデクリメントする。ＣＰＵ２０１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１１６に進み、そうでない場合は、ステップＳ１１７に進む（ステップＳ１１５）。ステップＳ１１６にて、ＣＰＵ２０１は、「ｎｕ」にそのときの「ｎ」を代入する。このように、ステップＳ１１４〜Ｓ１１６を繰り返しながら、最大値からＹ軸の負方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＹ座標を求める。

ステップＳ１１７にて、ＣＰＵ２０１は、Ｙ座標ｎｄとＹ座標ｎｕとの中心座標を算出して、それを、注目点のＹ座標（Ｙｃ）とする。以上のようにして、操作物１５０の注目点の座標（Ｘｃ，Ｙｃ）が算出される。

図３１は、図２０のステップＳ４の色変更処理の流れの１例を示すフローチャートである。図３１に示すように、ステップＳ１２０にて、ＣＰＵ２０１は、カーソル１０７（操作物１５０の注目点）の位置をチェックする。カーソル１０７が、色選択オブジェクト１０１〜１０３のいずれかの領域に存在する場合は、ステップＳ１２２に進み、そうでない場合は、図２０のステップＳ５に進む（ステップＳ１２１）。

ステップＳ１２２にて、ＣＰＵ２０１は、カーソル１０７が存在する色選択オブジェクトに対応付けられたカラーパレット情報を登録する。

図３２は、図２０のステップＳ５のサイズ変更処理の流れの１例を示すフローチャートである。図３２に示すように、ステップＳ１３０にて、ＣＰＵ２０１は、カーソル１０７（操作物１５０の注目点）の位置をチェックする。カーソル１０７が、サイズ選択オブジェクト１０４〜１０６のいずれかの領域に存在する場合は、ステップＳ１３２に進み、そうでない場合は、図２０のステップＳ６に進む（ステップＳ１３１）。

ステップＳ１３２にて、ＣＰＵ２０１は、カーソル１０７が存在するサイズ選択オブジェクトの識別番号を登録する。

図３３は、図２０のステップＳ７の描画制御処理の流れの１例を示すフローチャートである。図３３に示すように、ステップＳ１４０にて、ＣＰＵ２０１は、クリアフラグをチェックして、オンであれば、ステップＳ１４７に進み、オフであれば、ステップＳ１４１に進む。ステップＳ１４７にて、ＣＰＵ２０１は、全てのブロックＢに対応する配列ＰＡ及びＣＡの値を、星の画像１０８が表示されていない当初の描画面１２０のものに変更する。ステップＳ１４８にて、ＣＰＵ２０１は、クリアフラグをオフにする。

一方、ステップＳ１４１にて、ＣＰＵ２０１は、ペンアップフラグをチェックして、オフであれば、ステップＳ１４２へ進む。ステップＳ１４２にて、ＣＰＵ２０１は、描画時カーソル１０７（操作物１５０の注目点）が位置するブロックＢ（図１３参照）を検出する。

ステップＳ１４３にて、ＣＰＵ２０１は、今回検出したブロックＢに関連付けて識別番号（図３２のステップＳ１３２参照）を登録する。

ステップＳ１４４にて、ＣＰＵ２０１は、登録されている識別番号に関連付けられたアニメーションテーブル格納位置情報（図１８参照）が示すアニメーションテーブル（図１９参照）を参照して、該当するブロックＢに対応する配列ＰＡの値を変更する。

そして、ＣＰＵ２０１は、カーソル１０７の移動軌跡上の全てのブロックＢに対応する配列ＰＡの値を変更した場合は、ステップＳ１４６に進み、そうでない場合は、ステップＳ１４４に進む（ステップＳ１４５）。

ステップＳ１４６にて、ＣＰＵ２０１は、ステップＳ１４２で今回検出したブロックＢに対応する配列ＣＡのカラーパレット情報を、色変更処理で登録したカラーパレット情報に変更する。

さて、上記では、イメージセンサ４３と操作物１５０との間の距離Ｌが、Ｌ＜Ｌａ、の場合にペンダウン状態とし、Ｌ≧Ｌａ、の場合にペンアップ状態とした。つまり、操作物の面積に相当するカウント値（図２９のステップＳ９２参照）が、所定値ｋを超えている場合は、ペンダウン状態とし、所定値ｋ以下の場合は、ペンアップ状態とした。ただし、これは一例であり、例えば、次のようにして、ペンアップとペンダウンを判断することもできる。

イメージセンサ４３と操作物１５０との間の距離Ｌが、Ｌ≧Ｌｌ、の場合にペンアップ状態とする。一旦ペンアップ状態になったら、距離Ｌが、Ｌ＜Ｌｓ、にならないとペンダウン状態にならない。ここで、Ｌｓ＜Ｌｌ、である。そして、一旦ペンダウン状態になったら、距離Ｌが、Ｌ＜Ｌｌまで、ペンダウン状態が維持される。これらのことを言い換えると次の通りである。

操作物１５０の面積に相当するカウント値（図２９のステップＳ９２参照）が、所定値ｋｓ以下の場合に、ペンアップ状態とする。一旦ペンアップ状態になったら、カウント値が、所定値ｋｌを超えないと、ペンダウン状態にならない。ここで、ｋｓ＜ｋｌ、である。そして、一旦ペンダウン状態になったら、カウント値が、所定値ｋｓ以上になるまで、ペンダウン状態が維持される。

次に、本実施の形態の変形例を説明する。図１の全体構成図、図２〜図４の操作物１５０、図５の撮像ユニット１３、図６〜図１０の電気的構成、図１２のスプライト、図１３のバックグラウンドスクリーン１４０、図１４のプログラム及びデータ、並びに、図１５〜図１７の注目点抽出、については、実施の形態とその変形例とで共通している。また、図２０〜図３２の処理についても、実施の形態とその変形例とで共通している。以下では、上記の実施の形態との相違点を中心に説明する。

図３４は、本実施の形態の変形例によるによる描画の例示図である。図３４に示すように、この変形例においては、ユーザ９４が、操作物１５０を操作して、描画時カーソル１０７を移動させると、描画時カーソル１０７の移動軌跡上に線１０９が表示される。

描画時カーソル１０７は操作物１５０に連動するため、描画時カーソル１０７の移動軌跡は、操作物１５０の実空間上の移動軌跡に近似したものとなる。従って、ユーザ９４が操作物１５０により実空間上の仮想描画面に描いた線図とほぼ同形の線図を描画面１２０に描くことができる。なお、ペンアップ及びペンダウンについては、実施の形態と同様である。

サイズ選択オブジェクト１１４〜１１６は、線１０９の幅を変更するためのものである。ユーザ９４が、カーソル１０７を、サイズ選択オブジェクト１１４を含む所定範囲に移動させた場合、線１０９が所定の小さい幅となり、サイズ選択オブジェクト１１５を含む所定範囲に移動させた場合、線１０９の幅が所定の中程度の幅となり、サイズ選択オブジェクト１１６を含む所定範囲に移動させた場合、線１０９の幅が所定の大きい幅となる。

さて、変形例においても、ＣＰＵ２０１は、カーソル１０７が、サイズ選択オブジェクト１１４〜１１６が表示される領域のいずれかに進入した場合に、カーソル１０７が進入したサイズ選択オブジェクトの識別番号を登録する（内部メモリ２０７に格納する。）。なお、デフォルトとして、サイズ選択オブジェクト１０４〜１０６のいずれかの識別番号が登録される。

図３５は、変形例における図２０のステップＳ７の描画制御処理の流れの１例を示すフローチャートである。図３５に示すように、ステップＳ１６０にて、ＣＰＵ２０１は、クリアフラグをチェックして、オンであれば、ステップＳ１６５に進み、オフであれば、ステップＳ１６１に進む。ステップＳ１６５にて、ＣＰＵ２０１は、全てのブロックＢに対応する配列ＰＡ及びＣＡの値を、線１０９が表示されていない当初の描画面１２０のものに変更する。ステップＳ１６６にて、ＣＰＵ２０１は、クリアフラグをオフにする。

一方、ステップＳ１６１にて、ＣＰＵ２０１は、ペンアップフラグをチェックして、オフであれば、ステップＳ１６２へ進む。ステップＳ１６２にて、ＣＰＵ２０１は、描画時カーソル１０７（操作物１５０の注目点）の今回の位置（Ａｘ［Ｍ］，Ａｙ［Ｍ］）と、前回の位置（Ａｘ［Ｍ−１］，Ａｙ［Ｍ−１］）と、の間で補間計算を行う。

ステップＳ１６３にて、ＣＰＵ２０１は、ステップＳ１６２での補間計算の結果およびサイズ変更処理で登録した識別番号をもとに、該当するブロックＢの画素パターンデータを変更する。つまり、ＣＰＵ２０１は、カーソル１０７の今回の位置（Ａｘ［Ｍ］，Ａｙ［Ｍ］）と、前回の位置（Ａｘ［Ｍ−１］，Ａｙ［Ｍ−１］）と、を結ぶ線１０９が描画されるように、該当するブロックＢの画素パターンデータを変更する。この場合、ＣＰＵ２０１は、サイズ変更処理で登録した識別番号に応じた線幅の線１０９が描画されるように、該当するブロックＢの画素パターンデータを変更する。

ステップＳ１６４にて、ＣＰＵ２０１は、全てのブロックＢに対応する配列ＣＡのカラーパレット情報を、色変更処理で登録したカラーパレット情報に変更する。これにより、以前に描画された線１０９の色も変更される。

さて、以上のように本実施の形態およびその変形例では、操作物１５０に間欠的に赤外光を照射して、これを撮影することにより、操作物１５０の状態情報を求めることができる。このため、操作物１５０の状態情報を求めるために、操作物１５０に電源により駆動する回路を内蔵する必要がない。このように簡素な構成の操作物１５０を空中で操作することにより、カーソル１０７（連動オブジェクト）を操作して、カーソル１０７の移動軌跡に応じた画像をテレビジョンモニタ９０に表示できる（図１１及び図３４参照）。つまり、カーソル１０７は操作物１５０の動きに連動するので、間接的には、操作物１５０の移動軌跡に応じた画像をテレビジョンモニタ９０に表示できる。また、操作物１５０に電源により駆動する回路を内蔵する必要がないため、操作物１５０の操作性及び信頼性の向上を図ることができ、かつ、コストの低減を図ることができる。

また、本実施の形態によれば、カーソル１０７の移動軌跡が、複数の星の画像１０８により表現される。加えて、星の画像１０８はアニメーションされる（図１１参照）。このように、カーソル１０７の移動軌跡を装飾的に表現できる。

また、本実施の形態の変形例によれば、カーソル１０７の移動軌跡が、線により表現される。このように、ユーザ９４は、空中で操作物１５０を操作するだけで、任意の線を引くことができる。

また、本実施の形態およびその変形例では、操作物１５０の面積情報が、所定値ｋを上回ったとき、つまり、操作物１５０からイメージセンサ４３までの距離が一定値Ｌａを下回ったときに、描画処理が実行される（ペンダウン状態）。一方、操作物１５０の面積情報が、所定値ｋ以下になったとき、つまり、操作物１５０からイメージセンサ４３までの距離が一定値Ｌａ以上になったときは、描画処理は実行されない（ペンアップ状態）。このように、ユーザ９４は、操作物１５０を、イメージセンサ４３に近づけたり、あるいは、遠ざけたりするだけで、描画／非描画をコントロールできる。つまり、ユーザ９４は、通常のペンで描画を行うが如く直感的な操作により、描画／非描画をコントロールできる。

また、本実施の形態およびその変形例では、次のようにして、ペンアップおよびペンダウンをコントロールできる。つまり、操作物１５０の面積情報が、所定値ｋｓ以下になって、ペンアップ状態に一旦なった場合は、所定値ｋｓではなく、所定値ｋｓより大きい所定値ｋｌを超えるまで描画処理が実行されない（ペンダウン状態にならない）。つまり、所定値ｋｓで一旦ペンアップ状態になった後は、所定値ｋｓに相当する境界Ｌｌよりもイメージセンサ４３に近い所定値ｋｌに相当する境界Ｌｓまで、操作物１５０をイメージセンサ４３に近づけないとペンダウン状態にならない。このように、ペンアップ状態とペンダウン状態とが一つの境界で仕切られていないので、境界付近での誤動作を極力防止できる。つまり、ペンアップ状態とペンダウン状態とが一つの境界で仕切られている場合において、ユーザ９４がその境界付近で操作物１５０を操作すると、描画と非描画とが交互にちらちら繰り返されることが発生しうる。

なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。

（１）上記では、操作物１５０を一本とした。しかし、複数の操作物を用意して、複数人での描画を可能とすることもできる。

（２）上記では、操作物として、スティック１５２および反射ボール１５１からなる操作物１５０を採用したが、反射体を具備するのもであれば、操作物の形態はこれに限定されない。

（３）実施の形態では、図１７（ａ）〜図１７（ｄ）に示すようにして、操作物１５０の注目点の座標を算出したが、所定の閾値Ｔｈを超える最大輝度値を持つピクセルの座標を、スクリーン９１上の座標に変換して、これを注目点の座標とすることもできる。

（４）上記では、カーソル１０７の移動軌跡上に、星１０８や線１０９を表示したが、これらの画像に限定されるものではなく、任意の画像を移動軌跡上に表示できる。

（５）上記では、星１０８や線１０９の色やサイズを変更可能としたが、カーソル１０７の移動軌跡上に表示する画像を変更可能とすることもできる。

（６）上記では、クリアボタン１１３により、描画された全ての星１０８および線１０９を消去したが、消去用のカーソルを用意して、描画された一部の星１０８および線１０９を消去するようにすることもできる。

（７）上記では、ＣＰＵ２０１は、操作物１５０の注目点の座標（つまり位置情報）や面積を算出した。これらは、操作物１５０の状態情報の一例であり、ＣＰＵ２０１は、イメージセンサ４３からの画像信号を基に、他の状態情報を算出することもでき、算出した状態情報を基に様々な処理を行うことができる。

（８）図６の高速プロセッサ２００として、任意の種類のプロセッサを使用できるが、本件出願人が既に特許出願している高速プロセッサを用いることが好ましい。この高速プロセッサは、例えば、特開平１０−３０７７９０号公報およびこれに対応するアメリカ特許第６，０７０，２０５号に詳細に開示されている。

本発明の実施の形態における描画システムの全体構成を示す図。 図１の操作物の斜視図。 （ａ）図２の反射ボールの上面図。（ｂ）図３（ａ）の矢印Ａ方向からの反射ボールの側面図。（ｃ）図３（ａ）の矢印Ｂ方向からの反射ボールの側面図。 図２の反射ボールの縦断面図。 図１の撮像ユニットの一例を示す図解図。 図１の描画装置の電気的な構成を示す図。 図６の高速プロセッサのブロック図。 図６のイメージセンサから高速プロセッサへピクセルデータを取り込む構成及びＬＥＤ駆動回路を示す回路図。 （ａ）図８のイメージセンサが出力するフレームステータスフラグ信号ＦＳＦのタイミング図。（ｂ）図８のイメージセンサが出力するピクセルデータストローブ信号ＰＤＳのタイミング図。（ｃ）図８のイメージセンサが出力するピクセルデータＤ（Ｘ，Ｙ）のタイミング図。（ｄ）図８の高速プロセッサが出力するＬＥＤコントロール信号ＬＥＤＣのタイミング図。（ｅ）図８の赤外発光ダイオードの点灯状態を示すタイミング図。（ｆ）図８のイメージセンサの露光期間を示すタイミング図。 （ａ）図９のフレームステータスフラグ信号ＦＳＦの拡大図。（ｂ）図９のピクセルデータストローブ信号ＰＤＳの拡大図。（ｃ）図９のピクセルデータＤ（Ｘ，Ｙ）の拡大図。 図１の描画装置による描画の例示図である。 図１のテレビジョンモニタのスクリーンに表示されるオブジェクトを構成するスプライトの説明図。 図１のテレビジョンモニタのスクリーンに表示されるバックグラウンドスクリーンの説明図。 図６のＲＯＭに格納されたプログラム及びデータを示す概念図。 （ａ）一般的なイメージセンサにより撮影された、特別な処理を施さない画像の例示図。（ｂ）図１５（ａ）の画像信号を或る閾値でレベル弁別したときの画像信号の例示図。（ｃ）赤外フィルタを介したイメージセンサの点灯時の画像信号を或る閾値でレベル弁別したときの画像信号の例示図。（ｄ）赤外フィルタを介したイメージセンサの消灯時の画像信号を或る閾値でレベル弁別したときの画像信号の例示図。（ｅ）点灯時の画像信号と消灯時の画像信号との差分信号の例示図。 図１の操作物の注目点の座標算出の説明図。 （ａ）最大輝度値を持つピクセルの座標を基に、操作物の注目点座標を算出する際のＸ方向スキャンの説明図。（ｂ）最大輝度値を持つピクセルの座標を基に、操作物の注目点座標を算出する際のＹ方向スキャンのスタート時の説明図。（ｃ）最大輝度値を持つピクセルの座標を基に、操作物の注目点座標を算出する際のＹ方向スキャンの説明図。（ｄ）最大輝度値を持つピクセルの座標を基に、操作物の注目点座標を算出する際の結果の説明図。 図１１のサイズ選択オブジェクトの識別番号とアニメーションテーブル格納位置情報との関係図。 図１８のアニメーションテーブル格納位置情報により示される、星をアニメーションするためのアニメーションテーブルの例示図。 図１の描画装置の全体の処理の流れの１例を示すフローチャート。 図２０のステップＳ１の初期設定処理の流れの１例を示すフローチャート。 図２１のステップＳ２０のセンサ初期設定処理の流れの１例を示すフローチャート。 図２２のステップＳ３１のコマンド送信処理の流れの１例を示すフローチャート。 （ａ）図８のレジスタ設定クロックＣＬＫのタイミング図。（ｂ）図８のレジスタデータのタイミング図。 図２２のステップＳ３３のレジスタ設定処理の流れの１例を示すフローチャート。 図２０のステップＳ２の状態情報算出処理の流れの１例を示すフローチャート。 図２６のステップＳ６０のピクセルデータ群取得処理の流れの１例を示すフローチャート。 図２７のステップＳ７１のピクセルデータ取得処理の流れの１例を示すフローチャート。 図２６のステップＳ６１の注目点抽出処理の流れの１例を示すフローチャート。 図２９のステップＳ９４の注目点座標算出処理の流れの１例を示すフローチャート。 図２０のステップＳ４の色変更処理の流れの１例を示すフローチャート。 図２０のステップＳ５のサイズ変更処理の流れの１例を示すフローチャート。 図２０のステップＳ７の描画処理の流れの１例を示すフローチャート。 本発明の実施の形態の変形例による描画の例示図である。 本発明の実施の形態の変形例による図２０のステップＳ７の描画処理の流れの１例を示すフローチャート。

符号の説明

１…描画装置、１３…撮像ユニット、１５…赤外発光ダイオード、１７…赤外フィルタ、１９…ハウジング、３５…ユニットベース、３６…支持筒、３７…凸レンズ、３９…凹レンズ、４１…開口部、４３…イメージセンサ、４７…映像信号出力端子、４９…音声信号出力端子、５１…ＲＯＭ、５３…バス、５９…基準電圧発生回路、６１，８１…ＮＰＮトランジスタ、６７…微分回路、７１…コンデンサ、７５…ＬＥＤ駆動回路、７７…ＰＮＰトランジスタ、６５，６９，７３，７９…抵抗素子、９０…テレビジョンモニタ、９１…スクリーン、９２…ＡＣアダプタ、９３…ＡＶケーブル、９４…ユーザ、１０１〜１０３…色選択オブジェクト、１０４〜１０６，１１４〜１１６…サイズ選択オブジェクト、１０７…カーソル（連動オブジェクト）、１０８…星の画像、１０９…線、１１３…クリアボタン、１２０…描画面、１４０…バックグラウンドスクリーン、１５０…操作物、１５１…反射ボール、１５２…スティック、１５３…球状外殻、１５４…球状内殻、１５５…反射シート、１５６，１５７…ボス、２００…高速プロセッサ、２０１…ＣＰＵ、２０２…グラフィックプロセッサ、２０３…サウンドプロセッサ、２０４…ＤＭＡコントローラ、２０５…第１バス調停回路、２０６…第２バス調停回路、２０７…内部メモリ、２０８…ＡＤＣ（Ａ／Ｄコンバータ）、２０９…入出力制御回路、２１０…タイマ回路、２１１…ＤＲＡＭリフレッシュ制御回路、２１２…外部メモリインタフェース回路、２１３…クロックドライバ、２１４…ＰＬＬ回路、２１５…低電圧検出回路、２１６…水晶振動子、２１７…バッテリ、２１８…第１バス、２１９…第２バス、３００…描画プログラム、３０１…画像データ、３０２…オブジェクト画像データ、３０３…背景画像データ、３０４…楽音データ、３０５…楽譜データ、３０６…波形データ。

Claims (11)

1. ユーザによって動かされる被写体を撮影する撮像手段と、
   前記撮像手段による撮像画像に基づいて、前記被写体の状態情報を算出する状態情報算出手段と、
   前記被写体に連動する連動オブジェクトの表示を、前記被写体の前記状態情報に基づいて制御する連動オブジェクト制御手段と、
   前記連動オブジェクトの移動軌跡に基づいて、ディスプレイへの描画を制御する描画制御手段と、を備え、
   前記描画制御手段は、前記状態情報としての面積情報に基づいて、前記描画を実行するか否かを制御する、描画装置。
2. 前記描画制御手段は、前記面積情報が、予め定められた閾値を上回ったときに、描画処理を実行し、前記面積情報が、前記予め定められた閾値を下回ったときに、描画処理を実行しない、請求項１記載の描画装置。
3. 前記描画制御手段は、前記面積情報が、予め定められた第１の閾値を下回ったときに、描画処理を実行せず、前記面積情報が、前記予め定められた第１の閾値を下回ったときは、予め定められた第２の閾値を上回るまで、描画処理を実行せず、
   前記予め定められた第１の閾値は、前記予め定められた第２の閾値より小さい、請求項１記載の描画装置。
4. 前記描画制御手段は、前記連動オブジェクトの前記移動軌跡を、複数の予め定められた画像により表現する、請求項１から３のいずれかに記載の描画装置。
5. 前記描画制御手段は、前記予め定められた画像の各々をアニメーションさせる、請求項４記載の描画装置。
6. 前記描画制御手段は、前記連動オブジェクトの前記移動軌跡を、線により表現する、請求項１から３のいずれかに記載の描画装置。
7. 前記状態情報算出手段が算出する前記被写体の前記状態情報は、前記ディスプレイ上の位置情報であり、
   前記連動オブジェクト制御手段は、前記連動オブジェクトの表示を、前記位置情報に基づいて制御する、請求項１から６のいずれかに記載の描画装置。
8. 前記被写体に、予め定められた周期で、光を照射するストロボスコープをさらに備え、
   前記撮像手段は、前記ストロボスコープの発光時及び消灯時のそれぞれにおいて、前記被写体を撮影して、発光時画像信号及び消灯時画像信号を生成し、
   前記描画装置は、前記発光時画像信号と前記消灯時画像信号との差分信号を生成する差分信号生成手段をさらに備え、
   前記状態情報算出手段は、前記差分信号に基づいて、前記被写体の状態情報を算出する、請求項１から７のいずれかに記載の描画装置。
9. 前記ストロボスコープは、赤外光を発光する光源を含み、
   前記描画装置は、
   ユニットベースと、
   前記赤外光のみを透過するフィルタと、をさらに備え、
   前記ユニットベースは、
   開口を有する支持筒と、
   前記開口の下方であって、前記支持筒内に設けられるレンズと、を含み、
   前記フィルタは、前記支持筒の前記開口を覆うように配置され、
   前記撮像手段は、前記ユニットベース内に、かつ、前記レンズの下方に配置され、
   前記光源は、前記被写体を照らすように、かつ、前記フィルタの近傍に配置される、請求項８記載の描画装置。
10. ユーザによって動かされる被写体を撮影するステップと、
    撮像画像に基づいて、前記被写体の状態情報を算出するステップと、
    前記被写体に連動する連動オブジェクトの表示を、前記被写体の前記状態情報に基づいて制御するステップと、
    前記連動オブジェクトの移動軌跡に基づいて、ディスプレイへの描画を制御するステップと、
    前記状態情報としての面積情報に基づいて、前記描画を実行するか否かを制御するステップと、をコンピュータに実行させる描画プログラム。
11. ユーザによって動かされる被写体を撮影するステップと、
    撮像画像に基づいて、前記被写体の状態情報を算出するステップと、
    前記被写体に連動する連動オブジェクトの表示を、前記被写体の前記状態情報に基づいて制御するステップと、
    前記連動オブジェクトの移動軌跡に基づいて、ディスプレイへの描画を制御するステップと、
    前記状態情報としての面積情報に基づいて、前記描画を実行するか否かを制御するステップと、を含む描画方法。

Images