JP3098423U - 自動演奏装置及び自動演奏システム - Google Patents

Abstract

【課題】電源により駆動する回路を内蔵しない簡易な構成の反射体の動きに応じた自動演奏を可能とする自動演奏装置を提供する。
【解決手段】赤外発光ダイオード１５により、間欠的に赤外光が照射される２つの反射体３を撮像ユニット１３により撮影して、２つの反射体３の間の距離を求めている。２つの反射体３の距離を求めるために、２つの反射体３に電源により駆動する回路を内蔵する必要がない。モニタ９０に表示されるガイドマーク８３の指示に従って、２つの反射体３を打ち合わせると楽音が発生する。打ち合わせの有無は、求めた距離により判定する。
【選択図】　図１

Description

【０００１】
【考案の属する技術分野】
本考案は、オペレータの操作に基づくトリガに応じて自動演奏を行う自動演奏装置及び自動演奏システムに関する。
【０００２】
【従来の技術】
特開平９−３４４５６号公報（先行文献１と呼ぶ。）には、指揮棒のリズム動作に応じたタイミング信号を受信し、このタイミング信号に同期して、楽音信号を生成する半自動演奏装置が開示されている。詳しくは次の通りである。
【０００３】
指揮棒の内部には、加速度センサ及び送信回路が設けられている。従って、指揮棒が振られると、加速度センサは、その加速度の大きさに応じた電気信号を出力する。そして、送信回路は、その電気信号を微分して、所定値を超えている場合に、タイミング信号を送信する。そして、受信回路を有する本体部が、このタイミング信号を受信し、このタイミング信号に同期して、楽音信号を生成する。以上のようにして、この従来の半自動演奏装置は、指揮棒のリズム動作に同期した半自動演奏を実現する。
【０００４】
また、特開２００２−２６３３６０号公報（先行文献２と呼ぶ。）には、次のような演奏指揮ゲーム装置が開示されている。指揮棒の先端に投光ユニットが取り付けられ、モニタの下部に受光ユニットが設けられる。こうして、指揮棒の先端位置を検出する。そして、指揮棒が適正なタイミングで適正な方向に振られたときに、楽音信号が出力される。
【０００５】
【考案が解決しようとする課題】
しかしながら、先行文献１に開示された半自動演奏装置では、指揮棒に、加速度センサ、送信回路、及び、電源、を設ける必要がある。従って、指揮棒の構成が複雑になって、重量が重くなり操作性の低下を招く。特に、指揮棒は、自在に動かされるものであり、その構成が複雑になると、故障の可能性も生じてくる。このような問題は、先行文献２に開示された演奏指揮ゲーム装置でも生じる。
【０００６】
そこで、本考案は、電源により駆動する回路を内蔵しない簡易な構成の反射体の動きに応じた自動演奏を可能とする自動演奏装置及び自動演奏システムを提供することを目的とする。
【０００７】
【課題を解決するための手段およびその作用・効果】
本考案の第１の形態によると、自動演奏装置は、自動演奏される音楽データが格納され、反射体の状態情報に基づくトリガに応じて、少なくとも１種類以上の旋律を自動演奏する自動演奏装置であって、前記反射体に、予め定められた周期で、光を照射するストロボスコープと、前記ストロボスコープの発光時及び消灯時のそれぞれにおいて、前記反射体を撮影して、発光時画像信号及び消灯時画像信号を生成する撮像手段と、前記発光時画像信号と前記消灯時画像信号との差分信号を生成する差分信号生成手段と、前記差分信号に基づいて、前記反射体の前記状態情報を算出する状態情報算出手段と、前記反射体の前記状態情報に基づいて、トリガを発生するトリガ発生手段と、前記トリガに応じて、前記音楽データを読み出して、楽音信号を生成する楽音信号生成手段と、を備える。
【０００８】
この構成によれば、ストロボスコープにより間欠的に光が照射される反射体を撮像手段により撮影して、反射体の状態情報を求めている。このため、反射体の状態情報を求めるために、反射体に電源により駆動する回路を内蔵する必要がない。
【０００９】
このように、簡易な構成の操作部材である反射体を用いて、その状態情報を求め、トリガによる楽音の発生ができるので、操作部材の操作性及び信頼性の向上を図りながらも、表現豊かな厚みのある自動演奏を実行することができる。なお、上記の従来技術では、操作部材として、電源により駆動する回路を内蔵する指揮棒を使用していたため、操作性及び信頼性に問題があった。
【００１０】
また、発光時画像信号と消灯時画像信号との差分信号を生成するといった簡単な処理のみで、ノイズや外乱の影響を抑えた精度の高い検出が可能であるので、コスト、許容される消費電力等の条件により自動演奏装置のパフォーマンスが制限されるシステムの上でも容易に達成が可能である。
【００１１】
また、上記の自動演奏装置では、前記トリガ発生手段は、前記反射体の前記状態情報としての、速さ情報、移動方向情報、移動距離情報、速度ベクトル情報、加速度情報、移動軌跡情報、面積情報、若しくは、位置情報、のいずれか、又は、それらの２以上の組み合わせ、に基づいて、前記トリガを発生する。
【００１２】
この構成によれば、オペレータによる反射体の様々な動きに応じたトリガの発生が可能となり、オペレータが自分自身の動きをも楽しみながらの自動演奏が可能となる。
【００１３】
また、上記の自動演奏装置では、前記撮像手段が生成する２次元画像において、所定領域が設定され、前記トリガ発生手段は、前記反射体の前記状態情報と、前記所定領域と、の関係が所定条件を満足したとき、前記トリガを発生する。
【００１４】
この構成によれば、撮像手段が生成する２次元画像に設定する所定領域の位置によって、オペレータに、空間上のどの付近で反射体を操作させるかを、容易に調整できる。
【００１５】
また、上記の自動演奏装置では、前記状態情報算出手段は、前記差分信号に基づいて、前記反射体の前記状態情報としての速度ベクトル情報を算出し、前記トリガ発生手段は、前記速度ベクトルの所定成分が所定方向を向いており、かつ、前記速度ベクトルの大きさが所定値を超えており、かつ、前記速度ベクトルが前記所定領域と交差しているとき、前記トリガを発生する。
【００１６】
この構成によれば、複数の条件を満足しないとトリガが発生しないため、意図しないときにトリガが発生するという不都合を回避でき、しかも、加えられた条件は、反射体の速さ及び方向であるため、オペレータによる特別な操作を必要とせず、簡易な動作でトリガの発生が可能である。
【００１７】
また、上記の自動演奏装置では、前記トリガを発生するためのトリガ条件が複数設定され、前記トリガ発生手段は、前記反射体の前記状態情報が、前記複数のトリガ条件のいずれかを満足したとき、前記トリガを発生し、前記楽音信号生成手段は、前記トリガが発生したときに、満足した前記トリガ条件ごとに異なる前記音楽データを読み出して、前記楽音信号を生成する。
【００１８】
この構成によれば、複数のトリガ条件に応じて、異なる楽音が発生されるので、より表現豊かなより厚みのある自動演奏が可能になる。また、オペレータにとっても、複数のトリガ条件に応じて、異なる動作をしなければならないので、飽き難い自動演奏装置を提供できる。また、トリガ条件の数を調整することで、難易度の調整が可能である。
【００１９】
また、上記の自動演奏装置では、前記撮像手段が生成する前記２次元画像において、複数の異なる所定領域が設定され、前記トリガ発生手段は、前記反射体の前記状態情報と、前記複数の所定領域のいずれかと、の関係が所定条件を満足したとき、前記トリガを発生し、前記楽音信号生成手段は、前記トリガが発生したときに、前記所定条件を満足した前記所定領域ごとに異なる音楽データを読み出して、前記楽音信号を生成する。
【００２０】
この構成によれば、撮像手段が生成する２次元画像に複数の所定領域を設定するだけで、オペレータに、空間上の様々な位置で反射体を操作させることができる。また、所定領域ごとに異なる楽音が発生されるので、より表現豊かなより厚みのある自動演奏が可能になる。
【００２１】
また、上記の自動演奏装置では、前記状態情報算出手段は、前記差分信号に基づいて、前記反射体の前記状態情報としての速度ベクトル情報を算出し、前記トリガ発生手段は、前記速度ベクトルの所定成分が所定方向を向いており、かつ、前記速度ベクトルの大きさが所定値を超えており、かつ、前記速度ベクトルが前記複数の所定領域のいずれかと交差しているとき、前記トリガを発生する。
【００２２】
この構成によれば、複数の条件を満足しないとトリガが発生しないため、意図しないときにトリガが発生するという不都合を回避でき、しかも、加えられた条件は、反射体の速さ及び方向であるため、オペレータによる特別な操作を必要とせず、簡易な動作でトリガの発生が可能である。
【００２３】
また、上記の自動演奏装置では、前記撮像手段は、前記ストロボスコープの発光時及び消灯時のそれぞれにおいて、２つの反射体を撮影して、それぞれの反射体の前記発光時画像信号及び前記消灯時画像信号を生成し、前記差分信号生成手段は、前記反射体ごとに、前記発光時画像信号と前記消灯時画像信号との前記差分信号を生成し、前記状態情報算出手段は、前記反射体ごとの前記差分信号に基づいて、前記反射体ごとに、前記状態情報としての位置情報を算出し、その位置情報に基づいて、一方の前記反射体に対する他方の前記反射体の相対的な位置情報を算出し、
前記トリガ発生手段は、前記相対的な位置情報に基づいて、前記トリガを発生する。
【００２４】
この構成によれば、２つの反射体の相対的な位置情報に基づいて、トリガの発生が行われるので、１つの反射体によりトリガを発生させる場合と異なる操作が必要であり、オペレータは、１つの反射体によりトリガを発生させる場合とは異なる別の楽しみ方で、自動演奏に参加できる。
【００２５】
また、上記の自動演奏装置では、前記一方の反射体に対する前記他方の反射体の前記相対的な位置情報は、前記一方の反射体から前記他方の反射体までの距離情報である。
【００２６】
この構成により、簡易な処理で、トリガ発生の有無を決定できる。
【００２７】
また、上記の自動演奏装置では、自動演奏の状態を表す画像信号、及び、前記反射体の操作ガイドを表す画像信号、のいずれか又は双方を生成して、別個に設けられるテレビジョンモニタに表示する画像信号生成手段、をさらに備え、前記自動演奏の状態及び前記操作ガイドは、それぞれ、オブジェクトの形態の変化及び移動を用いて表示される。
【００２８】
この構成によれば、自動演奏の状態を表す画像、及び、操作ガイドを表す画像、をテレビジョンモニタに表示することで、操作者にとって、直感的に自動演奏の状態や操作ガイドを認識でき、自動演奏装置による自動演奏を容易に制御できる。
【００２９】
また、テレビジョンモニタに、自動演奏装置を接続するだけで容易に、自動演奏の状態を表す画像、及び、操作ガイドを表す画像、を表示することができる。
【００３０】
さらに、これらの画像を表示するための画像表示部を自動演奏装置に設けることが不要となって、自動演奏装置に画像表示部を有する場合より安価な自動演奏装置を提供できる。
【００３１】
ここで、本明細書において、「オブジェクトの形態」とは、色、形状、及び、その組み合わせ、を含む。さらに、「オブジェクトの形態の変化」には、オブジェクトの消滅、及び、位置の変化、も含まれる。
【００３２】
また、上記の自動演奏装置では、自動演奏の状態を表す画像信号、及び、前記反射体の操作ガイドを表す画像信号、のいずれか又は双方を生成して、別個に設けられるテレビジョンモニタに表示する画像信号生成手段、をさらに備え、前記自動演奏の状態は、オブジェクトの形態の変化を用いて表示され、前記操作ガイドは、前記異なる音楽データに対応して、異なるオブジェクトの移動を用いて表示される。
【００３３】
この構成によれば、異なるトリガ条件ごとに異なるオブジェクトを用いて操作ガイドを行うため、オペレータは、複数のトリガ条件が設定されていても、満足させるべきトリガ条件を直感的に把握できる。
【００３４】
また、上記の自動演奏装置では、前記トリガ発生手段は、前記反射体の前記状態情報が所定条件を満足し、かつ、前記反射体が前記操作ガイドに従ったタイミングで操作されたとき前記トリガを発生する。
【００３５】
この構成によれば、操作ガイドに従った操作ができなければ、トリガが発生せず、当然トリガに基づく楽音も発生されない。このため、オペレータは、操作ガイドに従うように努力するため、自動演奏装置は、より完成された自動演奏を行うことができる。
【００３６】
また、上記の自動演奏装置では、前記トリガが発生した回数に応じて、得点を決定する得点決定手段をさらに備える。
【００３７】
この構成によれば、ゲーム性を付加できる。
【００３８】
また、上記の自動演奏装置では、前記反射体の前記状態情報に応じて、前記楽音信号の音量を制御する音量制御手段、をさらに備える。
【００３９】
この構成によれば、反射体の動きに応じて、音量が制御されることになるので、オペレータは、自動演奏装置による自動演奏をより楽しむことができる。
【００４０】
また、上記の自動演奏装置では、前記音量制御手段は、前記反射体の前記状態情報としての速さ情報に応じて、前記楽音信号の音量を制御する。
【００４１】
この構成によれば、オペレータは、反射体を操作する速さを変えるだけで、音量を制御できる。
【００４２】
また、上記の自動演奏装置では、自動演奏される音楽データ及び描画を行うための画像データを格納したメディアを装着する装着手段、をさらに備える。
【００４３】
この構成によれば、メディアを交換するだけで、様々な音楽及び映像を楽しむことができる。また、内部メモリの節約も可能となる。
【００４４】
また、上記の自動演奏装置では、前記画像信号生成手段は、前記テレビジョンモニタに表示しているオブジェクトの形態を、前記トリガに応じて変化させる。
【００４５】
この構成によれば、反射体の操作に応じて、表示オブジェクトが変化するため、オペレータは、音楽だけでなく映像をも楽しむことができる。
【００４６】
また、上記の自動演奏装置では、前記ストロボスコープは、特定の波長領域の光を出力する光源、を含み、前記撮像手段は、前記特定の波長領域の光のみを透過するフィルタと、前記フィルタを透過した光で形成される映像を撮影する撮像素子と、を含む。
【００４７】
この構成によれば、検出を行う反射体以外の移動光源および点滅光源（蛍光灯など）に含まれない波長領域の光をストロボスコープの光源とし、撮像手段がこの波長領域の光にのみ応答するようにすることで、これらのノイズ光源を除去することが可能となる。
【００４８】
本考案の第２の形態によると、自動演奏システムは、請求項１記載の自動演奏装置と、自動演奏の状態を表す画像、及び、前記反射体の操作ガイドを表す画像、のいずれか又は双方を表示するテレビジョンモニタと、を備え、前記自動演奏の状態及び前記操作ガイドは、それぞれ、オブジェクトの形態の変化及び移動を用いて表示され、前記テレビジョンモニタは、前記自動演奏装置と別個に設けられる。
【００４９】
【考案の実施の形態】
以下、本考案の実施の形態について、図面を参照しながら説明する。
【００５０】
（実施の形態１）
図１は、本考案の実施の形態１における自動演奏システムの全体構成を示す図である。図１に示すように、この自動演奏システムは、自動演奏装置本体１、２つの反射体３、及び、テレビジョンモニタ９０、を含む。ここで、自動演奏装置本体１及び反射体３は、自動演奏装置を構成する。なお、図１では、反射体３に、複数の帯状の装飾シートが取り付けられている状態を示している。従って、図１では、反射体３の外観は、示されていない。反射体３については、後で詳述する。ここで、２つの反射体３を区別して表現する必要があるときは、第１の反射体３及び第２の反射体３、と表記する。
【００５１】
自動演奏装置本体１のハウジング１９の表面には、決定キー５、キャンセルキー７、方向キー９、電源スイッチ１１、及び、リセットボタン１４、が設けられる。さらに、ハウジング１９には、撮像ユニット１３が組み込まれる。撮像ユニット１３は、４つの赤外発光ダイオード１５及び赤外フィルタ１７を含む。赤外発光ダイオード１５の発光部は、赤外フィルタ１７から露出している。
【００５２】
自動演奏装置本体１には、ＡＣアダプタ９２により、直流電源電圧が与えられる。ただし、ＡＣアダプタ９２に代えて、電池（図示せず）により、直流電源電圧を与えることもできる。
【００５３】
テレビジョンモニタ９０には、その前面にスクリーン９１が設けられる。テレビジョンモニタ９０と自動演奏装置本体１とは、ＡＶケーブル９３により接続される。
【００５４】
オペレータ９４が、自動演奏装置本体１の電源スイッチ１１をオンにすると、スクリーン９１に、曲目選択画面が表示される。そして、オペレータ９４が、方向キー９又は反射体３により、曲目を選択し、決定キー５を押下すると、スクリーン９１に自動演奏画面が表示され、自動演奏装置本体１による自動演奏が開始される。自動演奏を中断して、曲目選択画面に戻りたいときは、キャンセルキー７を押下する。なお、リセットボタン１４は、システムのリセットを実行する。
【００５５】
撮像ユニット１３の赤外発光ダイオード１５は、間欠的に赤外光を発光する。赤外発光ダイオード１５からの赤外光は、この反射体３により反射され、赤外フィルタ１７の内部に設けられた撮像素子（後述）に入力される。このようにして、反射体３が間欠的に撮影される。従って、自動演奏装置本体１は、オペレータ９４により動かされた反射体３の間欠的な映像信号を取得できる。自動演奏装置本体１は、この映像信号を解析して、その解析結果を自動演奏に反映する。
【００５６】
なお、図２においては、構成をの理解を容易にするため、自動演奏装置本体１の図示を大きくしている。
【００５７】
図２は、図１の反射体３の拡大図である。図２に示すように、反射体３には、リング２５、及び、複数の帯状の装飾シート２３、が取り付けられる。このようにして、反射体３は、外観がポンポンに見えるように装飾される。
【００５８】
図３は、図２の反射体３の立体図である。図４（ａ）は、図３の反射体３の上面図、図４（ｂ）は、図３の反射体３の側面図、図４（ｃ）は、図３の反射体３の下面図、である。
【００５９】
図２、図３、及び、図４（ａ）〜図４（ｃ）に示すように、反射体３は、帯状部材２９を環状にたものを２つ交差させ、下部の交点（図４（ｃ）参照）において、両者を縫いつけ、上部の交点（図４（ａ）参照）において、複数の帯状の装飾シート２３の各々のほぼ中心部及びリング２５とともに、留具２７にて留めることにより構成される。さらに、反射体３の下半面には、反射シート３１が、取り付けられる。この反射シート３１により、赤外発光ダイオード１５から照射された赤外光が反射される。
【００６０】
ここで、リング２５及び帯状部材２９は、例えば、ポリウレタン製である。また、装飾シート２３は、例えば、延伸ポリプロピレン製である。なお、オペレータ９４は、リング２５に指を挿入して、反射体３を振り動かす。
【００６１】
図５は、図１の撮像ユニット１３の一例を示す図解図である。なお、図５において、図１と同様の部分については、同一の参照符号を付している。図５に示すように、この撮像ユニット１３は、たとえばプラスチック成型によって形成されるユニットベース３５を含み、このユニットベース３５内には支持筒３６が取り付けられる。支持筒３６の上面には内面が逆円錐形状であるラッパ状の開口４１が形成され、その開口４１の下方の筒状部内部には、いずれもがたとえば透明プラスチックの成型によって形成された凹レンズ３９および凸レンズ３７を含む光学系が設けられ、凸レンズ３７の下方において、撮像素子としてのイメージセンサ４３が固着される。したがって、イメージセンサ４３は、開口４１からレンズ３９および３７を通して入射する光に応じた映像を撮影することができる。
【００６２】
イメージセンサ４３は、低解像度のＣＭＯＳイメージセンサ（たとえば３２×３２画素：グレースケール）である。ただし、このイメージセンサ４３は、画素数のもっと多いものでもよいし、ＣＣＤ等の他の素子からなるものであってよい。
【００６３】
また、ユニットベース３５には、光出射方向がいずれも上方向とされた複数（実施の形態１では４つ）の赤外発光ダイオード１５が取り付けられる。この赤外発光ダイオード１５によって、撮像ユニット１３の上方に赤外光が照射される。また、ユニットベース３５の上方には、赤外フィルタ（赤外光のみを透過するフィルタ）１７が上記開口４１を覆うように、取り付けられる。そして、赤外発光ダイオード１５は後述のように、点灯／消灯（非点灯）が連続的に繰り返されるので、ストロボスコープとして機能する。ただし、「ストロボスコープ」とは、運動体を間欠的に照らす装置の総称である。したがって、上記イメージセンサ４３は、その撮影範囲内で移動する物体、実施の形態１では、反射体３（図３参照）を撮影することになる。なお、後述する図８に示すように、ストロボスコープは、主に、赤外発光ダイオード１５、ＬＥＤ駆動回路７５、及び、高速プロセッサ２００、により構成される。
【００６４】
ここで、撮像ユニット１３は、イメージセンサ４３の受光面が、水平面から所定角度（例えば、５５度）だけ傾くように、ハウジング１９に組み込まれる。従って、オペレータ９４は、例えば、自動演奏装置本体１を床面に置いて、反射体３を振り動かす。また、凹レンズ３９および凸レンズ３７により、例えば、９０度の広角レンズを構成する。
【００６５】
図６は、図１の自動演奏装置本体１の電気的な構成を示す図である。なお、図６において、図１〜図５と同様の部分については同一の参照符号を付している。図６に示すように、自動演奏装置本体１は、イメージセンサ４３、赤外発光ダイオード１５、画像信号出力端子４７、楽音信号出力端子４９、キースイッチ群５７、高速プロセッサ２００、ＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）５１、及び、バス５３、を含む。キースイッチ群５７は、決定キー５、キャンセルキー７、及び、方向キー９、を含む。
【００６６】
高速プロセッサ２００には、バス５３が接続される。さらに、バス５３には、ＲＯＭ５１が接続される。従って、高速プロセッサ２００は、バス５３を介して、ＲＯＭ５１にアクセスすることができるので、ＲＯＭ５１に格納された制御プログラムをリードして実行でき、また、ＲＯＭ５１に格納された画像データ及び音楽データをリードして処理し、画像信号及び楽音信号を生成して、画像信号出力端子４７及び楽音信号出力端子４９に出力することができる。
【００６７】
また、自動演奏装置本体１にメモリカートリッジ（図示せず）を装着するためのコネクタ（図示せず）を設けることができる。この場合は、高速プロセッサ２００は、バス５３を介して、そのコネクタに装着されたメモリカートリッジに内蔵されるＲＯＭ５５にアクセスできる。従って、高速プロセッサ２００は、バス５３を介して、ＲＯＭ５５にアクセスすることができるので、ＲＯＭ５５に格納された制御プログラムをリードして実行でき、また、ＲＯＭ５５に格納された画像データ及び音楽データをリードして処理し、画像信号及び楽音信号を生成して、画像信号出力端子４７及び楽音信号出力端子４９に出力することができる。
【００６８】
さらに、高速プロセッサ２００は、キースイッチ群５７の各キー５，７，９からのオン／オフ信号を受けて、各キー５，７，９により指示された処理を実行する。
【００６９】
さて、反射体３は、赤外発光ダイオード１５が発光する赤外光に照射され、その赤外光を反射シート３１で反射する。この反射シート３１からの反射光がイメージセンサ４３によって検知され、したがって、イメージセンサ４３からは反射シート３１の映像信号が出力される。イメージセンサ４３からのこのアナログ映像信号は高速プロセッサ２００に内蔵されたＡ／Ｄコンバータ（図示せず）によってデジタルデータに変換される。そして、高速プロセッサ２００は、このデジタルデータを解析して、その解析結果を自動演奏に反映する。
【００７０】
図７は、図６の高速プロセッサ２００のブロック図である。図７に示すように、この高速プロセッサ２００は、中央演算処理装置（ＣＰＵ：ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）２０１、グラフィックプロセッサ２０２、サウンドプロセッサ２０３、ＤＭＡ（ｄｉｒｅｃｔ　ｍｅｍｏｒｙ　ａｃｃｅｓｓ）コントローラ２０４、第１バス調停回路２０５、第２バス調停回路２０６、内部メモリ２０７、Ａ／Ｄコンバータ（ＡＤＣ：ａｎａｌｏｇ　ｔｏ　ｄｉｇｉｔａｌ　ｃｏｎｖｅｒｔｅｒ）２０８、入出力制御回路２０９、タイマ回路２１０、ＤＲＡＭ（ｄｙｎａｍｉｃ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）リフレッシュ制御回路２１１、外部メモリインタフェース回路２１２、クロックドライバ２１３、ＰＬＬ（ｐｈａｓｅ−ｌｏｃｋｅｄ　ｌｏｏｐ）回路２１４、低電圧検出回路２１５、第１バス２１８、及び、第２バス２１９、を含む。
【００７１】
ＣＰＵ２０１は、メモリ（内部メモリ２０７、又は、ＲＯＭ５１，５５）に格納されたプログラムに従い、各種演算やシステム全体の制御を行う。ＣＰＵ２０１は、第１バス２１８及び第２バス２１９のバスマスタであり、それぞれのバスに接続された資源にアクセスが可能である。
【００７２】
グラフィックプロセッサ２０２は、第１バス２１８及び第２バス２１９のバスマスタであり、内部メモリ２０７、又は、ＲＯＭ５１，５５に格納されたデータを基に、画像信号を生成して、画像信号出力端子４７へ出力する。グラフィックプロセッサ２０２は、第１バス２１８を通じて、ＣＰＵ２０１により制御される。また、グラフィックプロセッサ２０２は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。
【００７３】
サウンドプロセッサ２０３は、第１バス２１８及び第２バス２１９のバスマスタであり、内部メモリ２０７、又は、ＲＯＭ５１，５５に格納されたデータを基に、楽音信号を生成して、楽音信号出力端子４９へ出力する。サウンドプロセッサ２０３は、第１バス２１８を通じて、ＣＰＵ２０１により制御される。また、サウンドプロセッサ２０３は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。
【００７４】
ＤＭＡコントローラ２０４は、ＲＯＭ５１，５５から、内部メモリ２０７へのデータ転送を司る。また、ＤＭＡコントローラ２０４は、データ転送の完了を通知するために、ＣＰＵ２０１に対する割込み要求信号２２０を発生する機能を有する。ＤＭＡコントローラ２０４は、第１バス２１８及び第２バス２１９のバスマスタである。ＤＭＡコントローラ２０４は、第１バス２１８を通じてＣＰＵ２０１により制御される。
【００７５】
内部メモリ２０７は、マスクＲＯＭ、ＳＲＡＭ（ｓｔａｔｉｃ　ｒａｎｄｏｍａｃｃｅｓｓ　ｍｅｍｏｒｙ）、及び、ＤＲＡＭのうち、必要なものを備える。バッテリによるＳＲＡＭのデータ保持が必要とされる場合、バッテリ２１７が必要となる。ＤＲＡＭが搭載される場合、定期的にリフレッシュと呼ばれる記憶内容保持のための動作が必要とされる。
【００７６】
第１バス調停回路２０５は、第１バス２１８の各バスマスタからの第１バス使用要求信号を受け付け、調停を行い、各バスマスタへの第１バス使用許可信号を発行する。各バスマスタは、第１バス使用許可信号を受領することによって第１バス２１８に対するアクセスが許可される。ここで、第１バス使用要求信号及び第１バス使用許可信号は、図７では、第１バス調停信号２２２として示されている。
【００７７】
第２バス調停回路２０６は、第２バス２１９の各バスマスタからの第２バス使用要求信号を受け付け、調停を行い、各バスマスタへの第２バス使用許可信号を発行する。各バスマスタは、第２バス使用許可信号を受領することによって第２バス２１９に対するアクセスが許可される。ここで、第２バス使用要求信号及び第２バス使用許可信号は、図７では、第２バス調停信号２２３として示されている。
【００７８】
入出力制御回路２０９は、外部入出力装置や外部の半導体素子との通信等を入出力信号を介して行う。入出力信号は、第１バス２１８を介して、ＣＰＵ２０１からリード／ライトされる。また、入出力制御回路２０９は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。
【００７９】
この入出力制御回路２０９へ、キースイッチ群５７の各キー５，７，９からのオン／オフ信号、が入力される。また、この入出力制御回路２０９から、赤外発光ダイオード１５を制御するＬＥＤコントロール信号ＬＥＤＣ出力される。
【００８０】
タイマ回路２１０は、設定された時間間隔に基づき、ＣＰＵ２０１に対する割込み要求信号２２０を発生する機能を有する。時間間隔等の設定は、第１バス２１８を介してＣＰＵ２０１によって行われる。
【００８１】
ＡＤＣ２０８は、アナログ入力信号をデジタル信号に変換する。このデジタル信号は、第１バス２１８を介してＣＰＵ２０１によってリードされる。また、ＡＤＣ２０８は、ＣＰＵ２０１に対して、割込み要求信号２２０を発生する機能を有する。
【００８２】
このＡＤＣ２０８が、イメージセンサ４３からのピクセルデータ（アナログ）を受けて、デジタルデータに変換する。
【００８３】
ＰＬＬ回路２１４は、水晶振動子２１６より得られる正弦波信号を逓倍した高周波クロック信号を生成する。
【００８４】
クロックドライバ２１３は、ＰＬＬ回路２１４より受け取った高周波クロック信号を、各ブロックへクロック信号２２５を供給するのに十分な信号強度へ増幅する。
【００８５】
低電圧検出回路２１５は、電源電圧Ｖｃｃを監視し、電源電圧Ｖｃｃが一定電圧以下のときに、ＰＬＬ回路２１４のリセット信号２２６、その他のシステム全体のリセット信号２２７を発行する。また、内部メモリ２０７がＳＲＡＭで構成されており、かつ、ＳＲＡＭのバッテリ２１７によるデータ保持が要求される場合、電源電圧Ｖｃｃが一定電圧以下のときに、バッテリバックアップ制御信号２２４を発行する機能を有する。
【００８６】
ここで、図８〜図１０を参照して、イメージセンサ４３から高速プロセッサ２００へピクセルデータを取り込むための構成を詳細に説明する。
【００８７】
図８は、図６のイメージセンサ４３から高速プロセッサ２００へピクセルデータを取り込む構成及びＬＥＤ駆動回路を示す回路図である。なお、図８において、図６と同様の部分については、同一の参照符号を付している。
【００８８】
図９は、図６のイメージセンサ４３から高速プロセッサ２００へピクセルデータを取り込む際の動作を示すタイミング図である。図１０は、図９の一部を拡大して示すタイミング図である。
【００８９】
図８に示すように、イメージセンサ４３は、ピクセルデータＤ（Ｘ，Ｙ）をアナログ信号として出力するタイプのものであるため、このピクセルデータＤ（Ｘ，Ｙ）は高速プロセッサ２００のアナログ入力ポートに入力される。アナログ入力ポートは、この高速プロセッサ２００においてＡＤＣ２０８に接続され、したがって、高速プロセッサ２００は、ＡＤＣ２０８からデジタルデータに変換されたピクセルデータをその内部に取得する。
【００９０】
上述のアナログピクセルデータＤ（Ｘ，Ｙ）の中点は、イメージセンサ４３の基準電圧端子Ｖｒｅｆに与えられる基準電圧によって決定される。そのため、イメージセンサ４３に関連して例えば抵抗分圧回路からなる基準電圧発生回路５９が設けられ、この回路５９から基準電圧端子Ｖｒｅｆに常に一定の大きさの基準電圧が与えられる。
【００９１】
イメージセンサ４３を制御するための各デジタル信号は、高速プロセッサ２００のＩ／Ｏポートに与えられ、またはそこから出力される。このＩ／Ｏポートは各々入力／出力の制御が可能なデジタルポートであり、この高速プロセッサ２００で入出力制御回路２０９に接続されている。
【００９２】
詳しく言うと、高速プロセッサ２００の出力ポートからはイメージセンサ４３をリセットするためのリセット信号ｒｅｓｅｔが出力され、イメージセンサ４３に与えられる。また、イメージセンサ４３からは、ピクセルデータストローブ信号ＰＤＳおよびフレームステータスフラグ信号ＦＳＦが出力され、それらの信号が高速プロセッサ２００の入力ポートに与えられる。
【００９３】
ピクセルデータストローブ信号ＰＤＳは上述の各ピクセル信号Ｄ（Ｘ，Ｙ）を読み込むための図９（ｂ）に示すようなストローブ信号である。フレームステータスフラグ信号ＦＳＦはイメージセンサ４３の状態を示すフラグ信号で、図９（ａ）に示すように、このイメージセンサ４３の露光期間を規定する。つまり、フレームステータスフラグ信号ＦＳＦの図９（ａ）に示すローレベルが露光期間を示し、図９（ａ）に示すハイレベルが非露光期間を示す。
【００９４】
また、高速プロセッサ２００は、イメージセンサ４３の制御レジスタ（図示せず）に設定するコマンド（またはコマンド＋データ）をレジスタデータとしてＩ／Ｏポートから出力するとともに、たとえばハイレベルおよびローレベルを繰り返すレジスタ設定クロックＣＬＫを出力し、それらをイメージセンサ４３に与える。
【００９５】
なお、赤外発光ダイオード１５として、図８に示すように互いに並列接続された４つの赤外発光ダイオード１５ａ，１５ｂ，１５ｃおよび１５ｄを用いる。この４つの赤外発光ダイオード１５ａ〜１５ｄは、上で説明したように、反射体３を照らすように、イメージセンサ４３の視点方向と同一方向に赤外光を照射するようにかつイメージセンサ４３を囲むように配置される。ただし、これら個別の赤外発光ダイオード１５ａ〜１５ｄは、特に区別する必要がある場合を除いて、単に赤外発光ダイオード１５と呼ばれる。
【００９６】
この赤外発光ダイオード１５はＬＥＤ駆動回路７５によって、点灯されまたは消灯（非点灯）される。ＬＥＤ駆動回路７５は、イメージセンサ４３から上述のフレームステータスフラグ信号ＦＳＦを受け、このフラグ信号ＦＳＦは、抵抗６９およびコンデンサ７１からなる微分回路６７を通してＰＮＰトランジスタ７７のベースに与えられる。このＰＮＰトランジスタ７７にはさらにプルアップ抵抗７９が接続されていて、このＰＮＰトランジスタ７７のベースは、通常は、ハイレベルにプルアップされている。そして、フレームステータス信号ＦＳＦがローレベルになると、そのローレベルが微分回路６７を経てベースに入力されるため、ＰＮＰトランジスタ７７は、フラグ信号ＦＳＦがローレベル期間にのみオンする。
【００９７】
ＰＮＰトランジスタ７７のエミッタは抵抗７３および６５を介して接地される。そして、エミッタ抵抗７３および６５の接続点がＮＰＮトランジスタ８１のベースに接続される。このＮＰＮトランジスタ８１のコレクタが各赤外発光ダイオード１５ａ〜１５ｄのアノードに共通に接続される。ＮＰＮトランジスタ８１のエミッタが別のＮＰＮトランジスタ６１のベースに直接接続される。ＮＰＮトランジスタ６１のコレクタが各赤外発光ダイオード１５ａ〜１５ｄのカソードに共通接続され、エミッタが接地される。
【００９８】
このＬＥＤ駆動回路７５では、高速プロセッサ２００のＩ／Ｏポートから出力されるＬＥＤコントロール信号ＬＥＤＣがアクティブ（ハイレベル）でありかつイメージセンサ４３からのフレームステータスフラグ信号ＦＳＦがローレベルである期間にのみ赤外発光ダイオード１５が点灯される。
【００９９】
図９（ａ）に示すようにフレームステータスフラグ信号ＦＳＦがローレベルになると、そのローレベル期間中（実際には微分回路６７の時定数での遅れがあるが）、ＰＮＰトランジスタ７７がオンする。したがって、図９（ｄ）に示すＬＥＤコントロール信号ＬＥＤＣが高速プロセッサ２００からハイレベルで出力されると、ＮＰＮトランジスタ８１のベースがハイベルとなり、このトランジスタ８１がオンとなる。トランジスタ８１がオンするとトランジスタ６１はオンとなる。したがって、電源（図８では小さい白丸で示す）から各赤外発光ダイオード１５ａ〜１５ｄおよびトランジスタ６１を経て電流が流れ、応じて図９（ｅ）に示すように各赤外発光ダイオード１５ａ〜１５ｄが点灯される。
【０１００】
ＬＥＤ駆動回路７５では、このように、図９（ｄ）のＬＥＤコントロール信号ＬＥＤＣがアクティブでありかつ図９（ａ）のフレームステータスフラグ信号ＦＳＦがローレベルである期間にのみ赤外発光ダイオード１５が点灯されるので、イメージセンサ４３の露光期間（図９（ｆ）参照）にのみ赤外発光ダイオード１５が点灯されることになる。
【０１０１】
したがって、無駄な電力消費を抑制することができる。さらに、フレームステータスフラグ信号ＦＳＦはコンデンサ７１によってカップリングされているので、万一イメージセンサ４３の暴走等によりそのフラグ信号ＦＳＦがローレベルのまま停止した場合でも、一定時間後にはトランジスタ７７は必ずオフされ、赤外発光ダイオード１５も一定時間後には必ずオフされる。
【０１０２】
このように、フレームステータス信号ＦＳＦの持続期間を変更することによって、イメージセンサ４３の露光時間を任意にかつ自在に設定または変更することができる。
【０１０３】
さらに、フレームステータス信号ＦＳＦおよびＬＥＤコントロール信号ＬＥＤＣの持続時間や周期を変更することによって、赤外発光ダイオード１５すなわちストロボスコープの発光期間、非発光期間、発光／非発光周期などを任意にかつ自在に変更または設定できる。
【０１０４】
先に説明したように、赤外発光ダイオード１５からの赤外光によって反射体３が照射されると、反射体３からの反射光によってイメージセンサ４３が露光される。応じて、イメージセンサ４３から上述のピクセルデータＤ（Ｘ，Ｙ）が出力される。詳しく説明すると、イメージセンサ４３は、上述の図９（ａ）のフレームステータスフラグ信号ＦＳＦがハイレベルの期間（赤外発光ダイオード１５の非点灯期間）に図９（ｂ）に示すピクセルデータストローブＰＤＳに同期して、図９（ｃ）に示すようにアナログのピクセルデータＤ（Ｘ，Ｙ）を出力する。
【０１０５】
高速プロセッサ２００では、そのフレームステータスフラグ信号ＦＳＦとピクセルデータストローブＰＤＳとを監視しながら、ＡＤＣ２０８を通じて、デジタルのピクセルデータを取得する。
【０１０６】
ただし、ピクセルデータは、図１０（ｃ）に示すように、第０行，第１行，…第３１行と行順次に出力される。ただし、後に説明するように、各行の先頭の１ピクセルはダミーデータとなる。
【０１０７】
さて、次に、自動演奏装置本体１による自動演奏について、具体例を挙げながら説明する。
【０１０８】
図１１は、図１のテレビジョンモニタ９０のスクリーン９１に表示される自動演奏画面の例示図である。オペレータ９４が、曲目を選択して、決定キー５を押下すると、例えば、図１１に示すような、自動演奏画面が、テレビジョンモニタ９０のスクリーン９１に表示され、オペレータ９４が選択した曲目の自動演奏が開始される。
【０１０９】
この自動演奏画面は、ガイドマーク８３及びシンバルを表したオブジェクト８５（以下、「シンバル」と呼ぶ。）を含む。ガイドマーク８３は、自動演奏されるメロディのリズムに合った間隔で出現する。そして、ガイドマーク８３が、シンバル８５の位置に到達したタイミングで、オペレータ９４が、２つの反射体３を打ち合わせると、テレビジョンモニタ９０のスピーカ（図示せず）から楽音（例えば、シンバルの音）が発生され、同時に、開いた状態のシンバル８５が、打ち合わせられたシンバル８５に変化する。
【０１１０】
ガイドマーク８３は、メロディのリズムに合った間隔で出現するため、このように適切なタイミングで（ガイドマーク８３に指示されたタイミングで）、オペレータ９４が、２つの反射体３を打ち合わせることで、メロディのリズムに合ったタイミングで、楽音が発音される。また、同時に、表示されたシンバル８５も変化するので、オペレータ９４は、映像及び音楽の両者を楽しむことができる。
【０１１１】
図１２は、図１のテレビジョンモニタ９０のスクリーン９１に表示される自動演奏画面の他の例示図である。図１２に示すように、オペレータ９４が、ガイドマーク８３で指示された適切なタイミングで、２つの反射体３を打ち合わせることで、上記したように、図１１の開いた状態のシンバル８５が、打ち合わせられた状態のシンバル８５に変化する。
【０１１２】
以上のようにして、オペレータ９４が、次々に出現するガイドマーク８３が指示するタイミングで、２つの反射体３を打ち合わせることで、メロディに合った楽音が発音され、全体として、より厚みのある表現豊かな音楽となる。
【０１１３】
さて、次に、実施の形態１における自動演奏システムによる自動演奏の詳細を説明する。
【０１１４】
図１３は、図６のＲＯＭ５１に格納されたプログラム及びデータを示す概念図である。図１３に示すように、ＲＯＭ５１には、制御プログラム１０２、画像データ１０３、及び、音楽データ１０５、が格納される。画像データ１３０は、オブジェクト画像データ１０７（例えば、ガイドマーク８３及びシンバル８５等）及び背景画像データ１０９が含まれる。音楽データ１０５には、楽譜データ１１１及び音源データ１１３が含まれる。これらのプログラム及びデータの内容は以下の説明の中で明らかになる。
【０１１５】
図１４は、図７のＣＰＵ２０１の動作の説明図である。図１４に示すように、ＣＰＵ２０１は、図１３の制御プログラム１０２を実行することで、画像表示制御手段１１５、振り動作検出手段１１７、トリガ発生手段１１９、ガイドマーク登録手段１２３、グラフィックドライバ１２５、及び、サウンドドライバ１２７、として機能する。ここで、振り動作検出手段１１７は、差分データ生成手段１２９、及び、状態情報算出手段１３１、を含む。
【０１１６】
画像表示制御手段１１５は、ガイドマーク８３をスクリーン９１に表示する際の制御を行う。具体的には、次の通りである。
【０１１７】
画像表示制御手段１１５は、新規のガイドマーク８３が登録されている場合、そのガイドマークの識別データ、そのガイドマーク８３の出現位置を示す座標データ、及び、そのガイドマーク８３の画像データの格納位置データ、を内部メモリ２０７に格納する。そして、グラフィックドライバ１２５は、垂直ブランキング期間に、それらのデータをグラフィックプロセッサ２０２に与える。
【０１１８】
グラフィックプロセッサ２０２は、与えられた格納位置データに基づいて、ＲＯＭ５１から、ガイドマーク８３の画像データを読み出して、その画像データ及び与えられた座標データを基に画像信号を生成し、画像信号出力端子４７に出力する。これにより、新規のガイドマーク８３がスクリーン９１に出現する（図１１参照）。
【０１１９】
また、画像表示制御手段１１５は、表示中のガイドマーク８３については、所定の加速度（例えば、「０」でもよい。）及び所定の初速度に基づいて、座標を計算する。そして、グラフィックドライバ１２５は、垂直ブランキング期間に、そのガイドマーク８３の識別データ、及び、画像表示制御手段１１５が計算した座標データを、グラフィックプロセッサ２０２に与える。
【０１２０】
グラフィックプロセッサ２０２は、与えられた識別データが示すガイドマーク８３の画像データを、ＲＯＭ５１から読み出して、その画像データ及び与えられた座標データを基に画像信号を生成し、画像信号出力端子４７に出力する。これにより、移動したガイドマーク８３がスクリーン９１に表示される（図１１参照）。
【０１２１】
また、ガイドマーク８３が、消滅位置（例えば、スクリーン９１の下端）に達したときは、画像表示制御手段１１５の指示を受けて、グラフィックドライバ１２５は、グラフィックプロセッサ２０２に対して、垂直ブランキング期間に、そのガイドマーク８３の識別データとともに、消滅指示を出す。これを受けて、グラフィックプロセッサ２０２は、そのガイドマーク８３をスクリーン９１から消滅させる。
【０１２２】
また、画像表示制御手段１１５は、ガイドマーク８３がシンバル８５の位置に来たときに、タイミングよくオペレータ９４が２つの反射体３を打ち合わせたとき、打ち合わせたシンバル８５の識別データ、打ち合わせたシンバル８５の出現位置を示す座標データ、及び、打ち合わせたシンバル８５の画像データの格納位置データ、を内部メモリ２０７に格納する。そして、グラフィックドライバ１２５は、垂直ブランキング期間に、それらのデータをグラフィックプロセッサ２０２に与える。
【０１２３】
グラフィックプロセッサ２０２は、与えられた格納位置データに基づいて、ＲＯＭ５１から、打ち合わせたシンバル８５の画像データを読み出して、その画像データ及び与えられた座標データを基に画像信号を生成し、画像信号出力端子４７に出力する。これにより、打ち合わせたシンバル８５がスクリーン９１に出現する（図１２参照）。
【０１２４】
また、画像表示制御手段１１５は、ガイドマーク８３がシンバル８５の位置に来たときに、タイミングよくオペレータ９４が２つの反射体３を打ち合わせたとき、グラフィックドライバ１２５に、該当するガイドマーク８３の消滅指示を出すとともに、星マークの識別データ、星マークの出現位置を示す座標データ、及び、星マークの画像データの格納位置データ、を内部メモリ２０７に格納する。そして、グラフィックドライバ１２５は、垂直ブランキング期間に、それらのデータをグラフィックプロセッサ２０２に与える。
【０１２５】
グラフィックプロセッサ２０２は、与えられた格納位置データに基づいて、ＲＯＭ５１から、星マークの画像データを読み出して、その画像データ及び与えられた座標データを基に画像信号を生成し、画像信号出力端子４７に出力する。これにより、星マークがスクリーン９１に出現する（図１２参照）。
【０１２６】
また、画像表示制御手段１１５は、表示中の星マークについては、所定の加速度（例えば、「０」でもよい。）及び所定の初速度に基づいて、座標を計算する。そして、グラフィックドライバ１２５は、垂直ブランキング期間に、その星マークの識別データ、及び、画像表示制御手段１１５が計算した座標データを、グラフィックプロセッサ２０２に与える。
【０１２７】
グラフィックプロセッサ２０２は、与えられた識別データが示す星マークの画像データを、ＲＯＭ５１から読み出して、その画像データ及び与えられた座標データを基に画像信号を生成し、画像信号出力端子４７に出力する。これにより、移動した星マークがスクリーン９１に表示される（図１２参照）。
【０１２８】
以上により、シンバル８５の打ち合わせと同時に、星マークが四方に散らばるように見える。
【０１２９】
さて、差分データ生成手段１２９は、赤外発光ダイオード１５の点灯時のピクセルデータと、消灯時のピクセルデータと、の差分を算出して、差分データを得る。なお、そのピクセルデータは、イメージセンサ４３が出力したアナログピクセルデータを、ＡＤＣ２０８がデジタルデータに変換したものである。ここで、図面を用いて、差分を求める効果を説明する。
【０１３０】
図１５（ａ）は、一般的なイメージセンサにより撮影された、特別な処理を施さない映像の例示図、図１５（ｂ）は、図１５（ａ）の映像信号を或る閾値でレベル弁別したときの映像信号の例示図、図１５（ｃ）は、赤外フィルタ１７を介したイメージセンサ４３の点灯時の映像信号を或る閾値でレベル弁別したときの映像信号の例示図、図１５（ｄ）は、赤外フィルタ１７を介したイメージセンサ４３の消灯時の映像信号を或る閾値でレベル弁別したときの映像信号の例示図、図１５（ｅ）は、点灯時の映像信号と消灯時の映像信号との差分信号の例示図、である。
【０１３１】
上記のように、反射体３に赤外光を照射し、赤外フィルタ１７を介してイメージセンサ４３に入射した反射赤外光による映像を撮影している。一般的な室内環境で一般的な光源を用いて反射体３をストロボスコープ撮影した場合には、一般的なイメージセンサ（図５のイメージセンサ４３に相当する。）には、図１５（ａ）に示すように、反射体３による映像以外に、蛍光灯光源、白熱灯光源、太陽光（窓）のような光源だけでなく、室内のすべてのものの画像がすべて写り込む。したがって、この図１５（ａ）の映像を処理して反射体３の映像のみを抽出するのは、かなり高速のコンピュータまたはプロセサが必要である。しかしながら、安価が条件の装置ではそのような高性能コンピュータを使えない。そこで種々の処理を行って負担を軽減することが考えられる。なお、図１５（ａ）の映像は、本来ならば、白黒の階調により表される映像であるが、その図示を省略している。
【０１３２】
図１５（ｂ）は、図１５（ａ）の映像信号を或る閾値でレベル弁別したときの映像信号である。このようなレベル弁別処理は専用のハードウェア回路でも、ソフトウェア的にでも、実行することができるが、いずれの方法によっても、一定以下の光量のピクセルデータをカットするレベル弁別を実行すると、反射体３や光源以外の低輝度画像を除去することができる。この図１５（ｂ）の映像では反射体３および室内の光源以外の画像の処理を省略でき、したがって、コンピュータの負担を軽減できるが、それでも、光源画像を含む高輝度画像が依然として写り込んでいるので、反射体３と他の光源を分別することは難しい。
【０１３３】
そこで、図５に示したように赤外フィルタ１７を利用して、イメージセンサ４３に赤外光による画像以外の画像が写らないようにした。それによって、図１５（ｃ）に示すように、赤外光を殆ど含まない蛍光灯光源の画像は除去できる。しかしながら、それでもなお太陽光や白熱灯が映像信号中に含まれてしまう。したがって、更なる負担軽減のために、赤外ストロボスコープの点灯時のピクセルデータと消灯時のピクセルデータとの差分を計算することとした。
【０１３４】
そのため、図１５（ｃ）の点灯時の映像信号のピクセルデータと、図１５（ｄ）の消灯時の映像信号のピクセルデータとの差分を計算した。すると、図１５（ｅ）に示すように、その差分だけの映像が取得できる。この差分データによる映像は、図１５（ａ）と対比すれば明らかなように、反射体３によって得られる画像のみを含むことになる。したがって、処理の軽減を図りながらも、反射体３の状態情報を取得できる。状態情報とは、例えば、速さ情報、移動方向情報、移動距離情報、速度ベクトル情報、加速度情報、移動軌跡情報、面積情報、若しくは、位置情報、のいずれか、又は、それらの２以上の組み合わせ、等である。
【０１３５】
以上のような理由で、差分データ生成手段１２９は、赤外発光ダイオード１５の点灯時のピクセルデータと、消灯時のピクセルデータと、の差分を算出して、差分データを得る。
【０１３６】
さて、状態情報算出手段１３１は、差分データ生成手段１２９が算出した差分データを基に、反射体３の注目点の座標を求める。この場合の手法について、２種類の例を挙げる。まず、第１の例を説明する。
【０１３７】
図１６は、第１の例による、第１の反射体３の注目点（第１注目点）の座標算出の説明図である。図１６に示すように、イメージセンサ４３は、例えば、３２ピクセル×３２ピクセルからなる。状態情報算出手段１３１は、Ｙ方向に３２ピクセル分の差分データをスキャンし、そして、Ｘ座標をインクリメントし、Ｙ方向に３２ピクセル分の差分データをスキャンし、そして、Ｘ座標をインクリメントし、というように、Ｘ座標をインクリメントしながら、Ｙ方向（列方向）に３２ピクセル分の差分データをスキャンしていく。
【０１３８】
この場合、状態情報算出手段１３１は、Ｙ方向にスキャンした３２ピクセル分の差分データから、最大輝度値の差分データを求め、その最大輝度値と所定の閾値Ｔｈとを比較する。そして、状態情報算出手段１３１は、その最大輝度値が所定の閾値Ｔｈより大きい場合は、その値を配列ｍａｘ［ｎ］に代入する。一方、状態情報算出手段１３１は、その最大輝度値が所定の閾値Ｔｈ以下の場合は、所定値（例えば、「０」）を配列ｍａｘ［ｎ］に代入する。
【０１３９】
ここで、ｎはＸ座標であり、さらに、状態情報算出手段１３１が、最大輝度値を有するピクセルのＹ座標を関連付けて格納することで、後に、最大輝度値を有するピクセルのＸ座標及びＹ座標を取得できる。
【０１４０】
さらに、状態情報算出手段１３１は、配列ｍａｘ［０］〜配列ｍａｘ［３１］をスキャンして、さらにその中の最大値を求める。そして、状態情報算出手段１３１は、その最大値のＸ座標及びＹ座標を、第１の反射体３の注目点の座標（Ｘｃ１，Ｙｃ１）として保存する。
【０１４１】
次に、第１の例による、第２の反射体３の注目点（第２注目点）の座標算出について説明する。状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［３１］のうちの最大値、つまり、第１の反射体３の注目点の座標（Ｘｃ１，Ｙｃ１）に位置するピクセルの差分データ、を中心に所定範囲をマスクする。この点を図面を用いて説明する。
【０１４２】
図１７は、第１の例による、第２の反射体３の注目点の座標算出の説明図である。図１７に示すように、状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［３１］のうちの最大値（図１７の例では、Ｘ＝９、Ｙ＝９）を中心に所定範囲をマスク（太枠で囲った部分）する。
【０１４３】
そして、状態情報算出手段１３１は、このマスクした範囲を除いて、配列ｍａｘ［０］〜ｍａｘ［３１］をスキャンする。つまり、この例では、状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［６］、及び、配列ｍａｘ［１２］〜ｍａｘ［３１］をスキャンする。
【０１４４】
そして、状態情報算出手段１３１は、そのスキャンした配列ｍａｘ［０］〜ｍａｘ［６］、及び、配列ｍａｘ［１２］〜ｍａｘ［３１］のうちから、最大値を求める。状態情報算出手段１３１は、求めた最大値のＸ座標及びＹ座標を、第２の反射体３の注目点の座標（Ｘｃ２，Ｙｃ２）として保存する。図１７の例では、最大値は、配列ｍａｘ［２２］であり、従って、第２の反射体３の注目点の座標は、Ｘｃ２＝２２、Ｙｃ２＝１０、である。なお、図１７の例では、第１の反射体３の注目点の座標は、Ｘｃ１＝９、Ｙｃ１＝９、となっている。
【０１４５】
なお、第１注目点及び第２注目点の座標を求める際の最大値の検出は、実際は、スキャンしながら行われる。上記では、説明の便宜のため、スキャンした後に、最大値を求めるように記載している。
【０１４６】
さて、次に、第２の例による、第１の反射体３の注目点（第１注目点）の座標算出処理を説明する。
【０１４７】
図１８は、第２の例による、第１の反射体３の注目点の座標算出の説明図である。なお、図１８に示したイメージセンサ４３は、図１６の場合と同様に、３２ピクセル×３２ピクセルのものとする。
【０１４８】
図１８に示すように、状態情報算出手段１３１は、Ｘ方向に３２ピクセル分の差分データをスキャンし、そして、Ｙ座標をインクリメントし、Ｘ方向に３２ピクセル分の差分データをスキャンし、そして、Ｙ座標をインクリメントし、というように、Ｙ座標をインクリメントしながら、Ｘ方向（行方向）に３２ピクセル分の差分データをスキャンしていく。
【０１４９】
この場合、状態情報算出手段１３１は、スキャンした３２ピクセル×３２ピクセル分の差分データから、最大輝度値の差分データを求め、その最大輝度値と所定の閾値Ｔｈとを比較する。そして、状態情報算出手段１３１は、その最大輝度値が所定の閾値Ｔｈより大きい場合は、その最大輝度値を持つピクセルの座標を基に、第１の反射体３の注目点の座標を算出する。この点を詳しく説明する。
【０１５０】
図１９（ａ）は、最大輝度値を持つピクセルの座標を基に、第１の反射体３の注目点座標を算出する際のＸ方向スキャンの説明図、図１９（ｂ）は、最大輝度値を持つピクセルの座標を基に、第１の反射体３の注目点座標を算出する際のＹ方向スキャンのスタート時の説明図、図１９（ｃ）は、最大輝度値を持つピクセルの座標を基に、第１の反射体３の注目点座標を算出する際のＹ方向スキャンの説明図、図１９（ｄ）は、最大輝度値を持つピクセルの座標を基に、第１の反射体３の注目点座標を算出する際の結果の説明図、である。
【０１５１】
図１９（ａ）に示すように、状態情報算出手段１３１は、最大輝度値のピクセルの座標を中心に、Ｘ方向に、差分データのスキャンを実行して、所定の閾値Ｔｈより大きい輝度値のピクセルを検出する。図１９（ａ）の例では、Ｘ＝１１〜１５までが、所定の閾値Ｔｈを超えたピクセルである。
【０１５２】
次に、図１９（ｂ）に示すように、状態情報算出手段１３１は、Ｘ＝１１〜１５の中心を求める。すると、中心のＸ座標は、Ｘ＝１３である。
【０１５３】
次に、図１９（ｃ）に示すように、図１９（ｂ）で求めたＸ座標（＝１３）を中心に、Ｙ方向に、差分データのスキャンを実行して、所定の閾値Ｔｈより大きい輝度値のピクセルを検出する。図１９（ｃ）の例では、Ｙ＝５〜１０までが、所定の閾値Ｔｈを超えたピクセルである。
【０１５４】
次に、図１９（ｄ）に示すように、状態情報算出手段１３１は、Ｙ＝５〜１０の中心を求める。すると、中心のＹ座標は、Ｙ＝７である。
【０１５５】
以上の結果、状態情報算出手段１３１は、第１の反射体３の注目点座標を、Ｘｃ１＝１３、Ｙｃ１＝７、として格納する（図１９（ｄ）参照）。
【０１５６】
次に、第２の例による、第２の反射体３の注目点（第２注目点）の座標算出について説明する。状態情報算出手段１３１は、３２ピクセル×３２ピクセルのうち、第１の反射体３の注目点の座標に位置するピクセルを中心に所定範囲をマスクする。この点を図面を用いて説明する。
【０１５７】
図２０は、第２の例による第２の反射体３の注目点の座標算出の説明図である。図２０に示すように、３２ピクセル×３２ピクセルの差分データのうち、第２の反射体３の注目点座標（図２０の例では、Ｘｃ１＝１３、Ｙｃ１＝７）に位置するピクセルの差分データを中心に所定範囲１３３をマスクする。
【０１５８】
そして、状態情報算出手段１３１は、このマスクした範囲を除いて、３２ピクセル×３２ピクセルの差分データをスキャンする。
【０１５９】
そして、状態情報算出手段１３１は、そのスキャンした範囲から、最大値を求める。状態情報算出手段１３１は、求めた最大値のＸ座標及びＹ座標を、第２の反射体３の注目点の座標（Ｘｃ２，Ｙｃ２）として保存する。
【０１６０】
なお、第１注目点及び第２注目点の座標を求める際の最大値の検出は、実際は、スキャンしながら行われる。上記では、説明の便宜のため、スキャンした後に、最大値を求めるように記載している。
【０１６１】
さて、状態情報算出手段１３１は、第１の反射体３の注目点座標と第２の反射体３の注目点座標との間の距離を算出する。状態情報算出手段１３１は、その２点間の距離が、規定値Ｌ２より大きい場合は、入力受付開始フラグをオンにする。
【０１６２】
そして、状態情報算出手段１３１は、入力受付開始フラグがオンであり、かつ、２点間の距離が、規定値Ｌ１より小さい場合は、打合フラグをオンにする。
【０１６３】
つまり、第１の反射体３と第２の反射体３とが遠のいた状態となって（規定値Ｌ２より大）、再び、近づいたときに（規定値Ｌ１より小）、両者が打ち合わせたれたと判断する。
【０１６４】
さて、トリガ発生手段１１９は、打合フラグがオンであり、かつ、ガイドマーク８３が所定範囲（シンバル８５の中心位置近傍）に存在した場合に、発音フラグをオンにする（トリガを発生する）。つまり、オペレータ９４がガイドマーク８３が指示するタイミングで、２つの反射体３を打ち合わせることができた場合に、トリガ発生手段１１９は、発音フラグをオンにする。
【０１６５】
サウンドドライバ１２７は、発音フラグを参照して、オンであれば、所定の波形データが格納されている先頭アドレスをサウンドプロセッサ２０３に与える。
【０１６６】
サウンドプロセッサ２０３は、この先頭アドレスが示す位置に格納されている波形データをＲＯＭ５１から読み出して、その波形データに応じた楽音信号を生成して、楽音信号出力端子４９に出力する。これにより、テレビジョンモニタ９０のスピーカ（図示せず）から、ＲＯＭ５１から読み出した波形データに応じた楽音（例えば、タンバリンの音）が発音される。なお、波形データは、図１３の音源データ１１３に含まれる。
【０１６７】
さて、メロディ再生の説明に入る前に、図１３の楽譜データ１１１の詳細を説明する。この楽譜データ１１１は、メロディ用楽譜データ及びガイドマーク登録用楽譜データを含む。メロディ用楽譜データは、メロディ制御情報が時系列に配置されたデータである。ガイドマーク登録用楽譜データは、ガイドマーク制御情報が時系列に配置されたデータである。
【０１６８】
図２１は、メロディ用楽譜データの一例を示す概念図である。図２１に示すように、メロディ制御情報は、コマンド、ノートナンバ／待機時間情報、楽器指定情報、ベロシティ、及び、ゲートタイム、からなる。
【０１６９】
ノートオンは、音を出すコマンド、待機は、待機時間を設定するコマンド、である。待機時間は、次のコマンドを読み出すまでの時間（ある音符から次の音符までの時間）である。ノートナンバは、音の高さ（ピッチ）を指定する情報である。待機時間情報は、設定する待機時間を指定する情報である。楽器指定情報は、どの楽器の音色を使うかを指定する情報である。ベロシティは、音の強弱の情報、つまり、ボリューム情報（音量情報）、である。ゲートタイムは、音が発音される長さである。
【０１７０】
さて、メロディ再生は、割込み処理により行われる。図１４のサウンドドライバ１２７は、メロディ再生用の楽譜データポインタをインクリメントしながら、図２１のメロディ制御情報を読み出して解釈する。ここで、メロディ再生用の楽譜データポインタは、メロディ用楽譜データの読み出し位置を示すポインタである。
【０１７１】
そして、サウンドドライバ１２７は、読み出したメロディ制御情報に含まれるコマンドが、ノートオンであれば、そのメロディ制御情報に含まれるノートナンバが示す音の高さ（ピッチ）及び楽器指定情報が示す楽器（音色）に応じた波形データが格納されている先頭アドレスを、サウンドプロセッサ２０３に与える。さらに、サウンドドライバ１２７は、読み出したメロディ制御情報に含まれるコマンドが、ノートオンであれば、必要なエンベロープデータが格納されている先頭アドレスを、サウンドプロセッサ２０３に与える。
【０１７２】
さらに、サウンドドライバ１２７は、読み出したメロディ制御情報に含まれるコマンドが、ノートオンであれば、そのメロディ制御情報に含まれるノートナンバが示す音の高さ（ピッチ）に応じたピッチ制御情報、及び、そのメロディ制御情報に含まれるボリューム情報、をサウンドプロセッサ２０３に与える。
【０１７３】
ここで、ピッチ制御情報について説明しておく。ピッチ制御情報は、波形データを読み出す周期を変えることによって行われるピッチ変換に用いられる。つまり、サウンドプロセッサ２０３は、ピッチ制御情報を一定期間毎に読み出して累算する。そして、サウンドプロセッサ２０３は、この累算結果を加工して、波形データのアドレスポインタとする。よって、ピッチ制御情報に大きな値が設定されれば、アドレスポインタのインクリメントは早く行われ、波形データの周波数が高くなり、ピッチ制御情報に小さな値が設定されれば、アドレスポインタのインクリメントは遅く行われ、波形データの周波数が低くなる。このようにして、サウンドプロセッサ２０３は、波形データのピッチ変換を行う。
【０１７４】
さて、サウンドプロセッサ２０３は、与えられたピッチ制御情報に基づいて、アドレスポインタをインクリメントしながら、与えられた先頭アドレスが示す位置に格納されている波形データをＲＯＭ５１から読み出す。そして、サウンドプロセッサ２０３は、順次読み出される波形データに、エンベロープデータ及びボリューム情報を乗算して、楽音信号を生成する。このようにして、メロディ用楽譜データが指示する楽器の音色、音の高さ（ピッチ）、及び、音量、の楽音信号が生成され、楽音信号出力端子４９に出力される。
【０１７５】
一方、サウンドドライバ１２７は、読み出したメロディ制御情報に含まれるゲートタイムを管理している。従って、サウンドドライバ１２７は、ゲートタイムが経過した時に、該当する楽音の発音を終了するように、サウンドプロセッサ２０３に指示を出す。これを受けて、サウンドプロセッサ２０３は、指示された楽音の発音を終了する。
【０１７６】
以上のようにして、メロディ用楽譜データに基づいてメロディが再生され、テレビジョンモニタ９０のスピーカ（図示せず）から発音される。
【０１７７】
さて、上記のように、ガイドマーク登録用楽譜データは、ガイドマーク制御情報が、時系列に配置されたデータである。そして、ガイドマーク登録用楽譜データは、ガイドマーク８３を、スクリーン９１に出現させる際に使用される。つまり、メロディ用楽譜データは、音楽を奏でるための楽譜データであるが、ガイドマーク登録用楽譜データは、ガイドマーク８３を音楽に合った間隔で出現させるための楽譜データである。
【０１７８】
図２２は、ガイドマーク登録用楽譜データの一例を示す概念図である。図２２に示すように、ガイドマーク制御情報は、コマンド、ノートナンバ／待機時間情報、及び、楽器指定情報、からなる。
【０１７９】
ガイドマーク登録用楽譜データでは、楽器指定情報は、音楽を奏でる楽器（音色）を示す番号ではなく、言わば、ガイドマーク８３を出現させる楽器を示す番号である。このような楽器指定情報により、ガイドマーク登録用楽譜データが、音楽を奏でる楽譜データではなく、ガイドマーク８３を出現させる楽譜データであることが示される。
【０１８０】
従って、ノートオンは、音を出すコマンドではなく、ガイドマーク８３を出現させるコマンドである。そして、ノートナンバは、音の高さ（ピッチ）を指定する情報ではなく、ガイドマーク８３の種類が複数ある場合に、どのガイドマーク８３を出現させるかを示す情報である。この点を詳しく説明する。
【０１８１】
図２３は、ガイドマーク登録用楽譜データで使用されるノートナンバと、ガイドマーク８３と、の関係図である。図２３に示すように、例えば、ノートナンバ「７１」は、大きいガイドマーク８３を出現させることを意味する。また、例えば、ノートナンバ「５０」は、小さいガイドマーク８３を出現させることを意味する。
【０１８２】
また、例えば、ノートナンバ「８１」は、ガイドマーク登録用楽譜データの先頭に配置するダミーデータであり（図２２参照）、どのガイドマーク８３を出現させるかを示す情報ではない。こうすることで、メロディ用楽譜データとガイドマーク登録用楽譜データとの先頭を揃えている。また、例えば、ノートナンバ「７９」は、音楽終了を意味するデータであり、ガイドマーク登録用楽譜データの最後尾に配置される（図２２参照）。なお、ノートナンバ「７９」は、どのガイドマーク８３を出現させるかを示す情報ではない。
【０１８３】
さて、ガイドマーク登録手段１２３は、ガイドマーク登録用の楽譜データポインタをインクリメントしながら、図２２のガイドマーク制御情報を読み出して解釈する。ここで、ガイドマーク登録用の楽譜データポインタは、ガイドマーク登録用楽譜データの読み出し位置を示すポインタである。
【０１８４】
そして、ガイドマーク登録手段１２３は、読み出したガイドマーク制御情報に含まれるコマンドが、ノートオンであれば、そのガイドマーク制御情報に含まれるノートナンバを登録する。これが、新規にガイドマーク８３を登録する処理である。
【０１８５】
さて、次に、図１の自動演奏装置本体１の全体の処理の流れを、フローチャートを用いて説明する。
【０１８６】
図２４は、図１の自動演奏システムの全体の処理の流れをフローチャートである。図２４に示すように、ステップＳ１にて、ＣＰＵ２０１は、システムの初期設定を実行する。
【０１８７】
ステップＳ２にて、ＣＰＵ２０１は、自動演奏の状態をチェックする。
【０１８８】
ステップＳ３にて、ＣＰＵ２０１は、自動演奏が終了したかどうかを判断する。
【０１８９】
自動演奏が終了していない場合は、ＣＰＵ２０１は、ステップＳ４にて、画像表示処理を実行する。
【０１９０】
ステップＳ５にて、ＣＰＵ２０１は、２つの反射体３の振り動作の検出処理を実行する。
【０１９１】
ステップＳ６にて、ＣＰＵ２０１は、２つの反射体３の振り動作の検出結果に基づいて、発音のためのトリガ処理を実行する。
【０１９２】
ステップＳ７では、ＣＰＵ２０１は、ビデオ同期の割込み待ちかどうかを判断する。本実施の形態では、ＣＰＵ３１は、テレビジョンモニタ９０の表示画面を更新するため画像データを、垂直ブランキング期間の開始後にグラフィックプロセッサ２０２に与える。従って、表示画面を更新するための演算処理が完了したら、ビデオ同期割込みがあるまで処理を進めないようにしている。
【０１９３】
ステップＳ７で「ＹＥＳ」であれば、即ち、ビデオ同期の割込み待ちであれば（ビデオ同期信号による割り込みがなければ）、同じステップＳ７に戻る。一方、ステップＳ６で「ＮＯ」であれば、即ち、ビデオ同期の割込み待ちでなければ（ビデオ同期信号による割り込みがあれば）、ステップＳ２に進む。
【０１９４】
図２５は、図２４のステップＳ１の初期設定処理の流れを示すフローチャートである。図２５に示すように、ステップＳ１０にて、ＣＰＵ２０１は、ガイドマークの登録処理用の楽譜データポインタを初期化する。
【０１９５】
ステップＳ１１にて、ＣＰＵ２０１は、ガイドマークの登録処理用の実行待機カウンタを「０」にセットする。
【０１９６】
ステップＳ１２にて、ＣＰＵ２０１は、メロディ用の楽譜データポインタを初期化する。
【０１９７】
ステップＳ１３にて、ＣＰＵ２０１は、メロディ用の実行待機カウンタを「ｔ」にセットする。
【０１９８】
ステップＳ１４にて、ＣＰＵ２０１は、イメージセンサ４３の初期設定処理を行う。
【０１９９】
ステップＳ１５にて、ＣＰＵ２０１は、各種フラグを初期化する。
【０２００】
ステップＳ１６にて、ＣＰＵ２０１は、タイマ回路２１０を発音のための割込み源としてセットする。
【０２０１】
ここで、メロディ用の実行待機カウンタを「ｔ」にセットし、ガイドマークの登録処理用の実行待機カウンタを「０」にセットした理由は次の通りである。
【０２０２】
図１１に示されるように、ガイドマーク８３が上端に出現してから、シンバル８５の位置に到達するまで一定時間を要することから、この時間誤差を解消するために、一定時間だけ早くガイドマーク８３を出現させる必要があるからである。つまり、ガイドマーク登録処理用では、メロディ用に比べて、一定時間（カウント値ｔ）だけ早く楽譜データを読み出すようにしてある。なお、ガイドマーク８３の登録処理用の実行待機カウンタ、及び、メロディ用の実行待機カウンタは、カウントダウンを行うものである。
【０２０３】
図２６は、図２５のステップＳ１４のセンサ初期設定処理の流れを示すフローチャートである。図２６に示すように、最初のステップＳ２０では、高速プロセッサ２００は、設定データとして、コマンド“ＣＯＮＦ”を設定する。ただし、このコマンド“ＣＯＮＦ”は、イメージセンサ４３に、高速プロセッサ２００からコマンドを送信する設定モードに入ることを知らせるためのコマンドである。そして、次のステップＳ２１にて、コマンド送信処理を実行する。
【０２０４】
図２７は、図２６のステップＳ２１のコマンド送信処理の流れを示すブロック図である。図２７に示すように、最初のステップＳ３０では、高速プロセッサ２００は、設定データ（ステップＳ２１の場合はコマンド“ＣＯＮＦ”）をレジスタデータ（Ｉ／Ｏポート）に設定し、次のステップＳ３１でレジスタ設定クロックＣＬＫ（Ｉ／Ｏポート）をローレベルに設定する。その後、ステップＳ３２で規定時間待機した後、ステップＳ３３で、レジスタ設定クロックＣＬＫをハイレベルに設定する。そして、さらにステップＳ３４での規定時間の待機の後、ステップＳ３５でレジスタ設定クロックＣＬＫを再びローレベルに設定する。
【０２０５】
このようにして、図２８に示すように、規定時間の待機を行いながら、レジスタ設定クロックＣＬＫをローレベル，ハイレベルそしてローレベルとすることによって、コマンド（コマンドまたはコマンド＋データ）の送信処理が行われる。
【０２０６】
図２６の説明に戻る。ステップＳ２２では、ピクセルモードを設定するとともに、露光時間の設定を行う。この実施の形態１の場合、イメージセンサ４３は先に述べたようにたとえば３２×３２のＣＭＯＳイメージセンサであるため、設定アドレス“０”のピクセルモードレジスタに３２ピクセル×３２ピクセルであることを示す“０ｈ”を設定する。次のステップＳ２３において、高速プロセッサ２００は、レジスタ設定処理を実行する。
【０２０７】
図２９は、図２６のステップＳ２３のレジスタ設定処理の流れを示すフローチャートである。図２９に示すように、最初のステップＳ４０では、高速プロセッサ２００は、設定データとして、コマンド“ＭＯＶ”＋アドレスを設定し、次のステップＳ４１で、図２７で先に説明したコマンド送信処理を実行して、それを送信する。次にステップＳ４２において、高速プロセッサ２００は、設定データとして、コマンド“ＬＤ”＋データを設定し、次のステップＳ４３でコマンド送信処理を実行して、それを送信する。そして、ステップＳ４４で、高速プロセッサ２００は、設定データとして、コマンド“ＳＥＴ”を設定し、次のステップＳ４５でそれを送信する。なお、コマンド“ＭＯＶ”は制御レジスタのアドレスを送信することを示すコマンドで、コマンド“ＬＤ”はデータを送信することを示すコマンドで、コマンド“ＳＥＴ”はデータをそのアドレスに実際に設定させるためのコマンドである。なお、この処理は、設定する制御レジスタが複数ある場合には、繰り返し実行される。
【０２０８】
図２６の説明に戻る。ステップＳ２４では、設定アドレスを“１”（露光時間設定レジスタのローニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のローニブルデータ“Ｆｈ”を設定すべきデータとして設定する。そして、ステップＳ２５で図２９のレジスタ設定処理を実行する。同様にして、ステップＳ２６において、設定アドレスを“２”（露光時間設定レジスタのハイニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のハイニブルデータ“Ｆｈ”を設定すべきデータとして設定し、ステップＳ２７でレジスタ設定処理を実行する。
【０２０９】
その後、ステップＳ２８で設定終了を示しかつイメージセンサ４３にデータの出力を開始させるためのコマンド“ＲＵＮ”を設定し、ステップＳ２９で送信する。このようにして、図２５に示すステップＳ１４でのセンサ初期設定処理が実行される。ただし、図２６〜図２９に示す具体例は、使用されるイメージセンサ４３の仕様に応じて、適宜変更され得るものである。
【０２１０】
図３０は、図２４のステップＳ４の画像表示処理を示すフローチャートである。図３０に示すように、ステップＳ５０にて、画像表示制御手段１１５は、ガイドマーク８３及びタンバリン８５等のオブジェクト画像データを内部メモリ２０７にセットする。
【０２１１】
ステップＳ５１にて、画像表示制御手段１１５は、内部メモリ２０７に、背景画像データをセットする。
【０２１２】
図３１は、図３０のステップＳ５０のオブジェクトセット処理の流れを示すフローチャートである。図３１に示すように、画像表示制御手段１１５は、ステップＳ６０にて、現在表示中のガイドマーク８３の位置の更新処理を実行する。
【０２１３】
画像表示制御手段１１５は、スクリーン９１の下端に到達したガイドマークがある場合は、ステップＳ６２に進み、ない場合は、ステップＳ６３に進む（ステップＳ６１）。
【０２１４】
ステップＳ６２にて、画像表示制御手段１１５は、下端に到達したガイドマーク８３の消去処理を実行する。
【０２１５】
画像表示制御手段１１５は、打合フラグをチェックして、オンであれば、ステップＳ６４に進み、オフであれば、ステップＳ６６に進む（ステップＳ６３）。
【０２１６】
ステップＳ６４にて、画像表示制御手段１１５は、シンバル８５の位置に到達したガイドマーク８３の消去処理を行う。
【０２１７】
ステップＳ６５にて、画像表示制御手段１１５は、タンバリン８５の打ち合わせ処理を実行する。
【０２１８】
ステップＳ６６にて、画像表示制御手段１１５は、新規ガイドマークの登録をチェックする。
【０２１９】
画像表示制御手段１１５は、新規のガイドマークの登録があれば、ステップＳ６８に進み、登録がなければ、図３０のステップＳ５１に進む。
【０２２０】
ステップＳ６８にて、画像表示制御手段１１５は、スクリーン９１の上端にガイドマーク８３を出現させる処理を行う。
【０２２１】
図３２は、図２４のステップＳ５の振り動作検出処理の流れを示すフローチャートである。図３２に示すように、ステップＳ８０にて、振り動作検出手段１１７は、イメージセンサ４３のピクセルデータ群の取得処理を実行する。
【０２２２】
ステップＳ８１にて、振り動作検出手段１１７は、２つの反射体３の注目点の抽出処理を実行する。
【０２２３】
ステップＳ８２にて、振り動作検出手段１１７は、２つの反射体３の距離を規定値と比較して、大小の判定を実行する。
【０２２４】
図３３は、図３２のステップＳ８０のピクセルデータ群取得処理の流れを示すフローチャートである。図３３に示すように、最初のステップＳ９０で、差分データ生成手段１２９は、ピクセルデータ配列の要素番号としてＸに「−１」、Ｙに「０」を設定する。本実施の形態におけるピクセルデータ配列は、Ｘ＝０〜３１、Ｙ＝０〜３１の２次元配列であるが、前述のように各行の先頭ピクセルのデータとしてダミーデータが出力されるので、Ｘの初期値として「−１」が設定される。続くステップＳ９１では、ピクセルデータの取得処理を実行する。
【０２２５】
図３４は、図３３のステップＳ９１のピクセルデータ取得処理の流れを示すフローチャートである。図３４に示すように、最初のステップＳ１００で、差分データ生成手段１２９は、イメージセンサ４３からのフレームステータスフラグ信号ＦＳＦをチェックし、ステップＳ１０１でそのアップエッジ（ローレベルからハイレベルへの）が発生したかどうか判断する。そして、ステップＳ１０１でフラグ信号ＦＳＦのアップエッジを検出すると、次のステップＳ１０２において、差分データ生成手段１２９は、ＡＤＣ２０８に入力されてきたアナログのピクセルデータのデジタルデータへの変換の開始を指示する。その後、ステップＳ１０３でイメージセンサ４３からのピクセルストローブＰＤＳをチェックし、ステップＳ１０４でそのストローブ信号ＰＤＳのローレベルからハイレベルへのアップエッジが発生したかどうか判断する。
【０２２６】
ステップＳ１０４で“ＹＥＳ”が判断されると、差分データ生成手段１２９は、ステップＳ１０５において、Ｘ＝−１かどうか、すなわち先頭ピクセルかどうか判断する。先に述べたように、各行の先頭ピクセルはダミーピクセルとして設定されているので、このステップＳ１０５で“ＹＥＳ”が判断されると、次のステップＳ１０７でそのときのピクセルデータを取得しないで、要素番号Ｘをインクリメントする。
【０２２７】
ステップＳ１０５で“ＮＯ”が判断されると、行の第２番目以降のピクセルデータであるので、ステップＳ１０６およびＳ１０８において、そのときのピクセルデータを取得し、テンポラリレジスタ（図示せず）にそのピクセルデータを格納する。その後、図３３のステップＳ９２にリターンする。
【０２２８】
図３３のステップＳ９２では、テンポラリレジスタに格納されたピクセルデータをピクセルデータ配列Ｐ［Ｙ］［Ｘ］に代入する。
【０２２９】
続くステップＳ９３でＸをインクリメントする。Ｘが３２に満たない場合、前述のＳ９１からＳ９３の処理を繰り返し実行する。Ｘが３２の場合、すなわちピクセルデータの取得が行の終端に到達した場合には、続くステップＳ９５でＸに「−１」を設定し、ステップＳ９６でＹをインクリメントし、次の行の先頭からピクセルデータの取得処理を繰り返す。
【０２３０】
ステップＳ９７でＹが３２の場合、すなわちピクセルデータの取得がピクセルデータ配列Ｐ［Ｙ］［Ｘ］の終端に到達した場合、図３２のステップＳ８１にリターンする。
【０２３１】
次に、上記した第１の例による反射体３の注目点の座標算出処理（注目点抽出処理）の流れを説明する。
【０２３２】
図３５は、図３２のステップＳ８１の注目点抽出処理（第１の例）の流れを示すフローチャートである。図３５に示すように、ステップＳ１１０にて、差分データ生成手段１２９は、イメージセンサ４３からの、赤外発光ダイオード１５の点灯時のピクセルデータと、赤外発光ダイオード１５の消灯時のピクセルデータと、の差分を算出して、差分データを得る。
【０２３３】
ステップＳ１１１にて、差分データ生成手段１２９は、配列Ｄｉｆ［Ｘ］［Ｙ］に、算出した差分データを代入する。ここで、実施の形態１では、３２ピクセル×３２ピクセルのイメージセンサ４３を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１、である。
【０２３４】
ステップＳ１１２にて、状態情報算出手段１３１は、「ｎ」に「０」を代入する。
【０２３５】
ステップＳ１１３にて、状態情報算出手段１３１は、配列Ｄｉｆ［ｎ］［０］〜Ｄｉｆ［ｎ］［３１］の要素をスキャンする。
【０２３６】
ステップＳ１１４にて、状態情報算出手段１３１は、配列Ｄｉｆ［ｎ］［０］〜Ｄｉｆ［ｎ］［３１］のうちの最大値を検出する。
【０２３７】
状態情報算出手段１３１は、その最大値が所定の閾値Ｔｈより大きい場合は、ステップＳ１１６に進み、所定の閾値Ｔｈ以下の場合は、ステップＳ１１７に進む（ステップＳ１１５）。
【０２３８】
ステップＳ１１６にて、状態情報算出手段１３１は、配列ｍａｘ［ｎ］
に、所定の閾値Ｔｈを超えた最大値を代入する。
【０２３９】
一方、ステップＳ１１７にて、状態情報算出手段１３１は、配列ｍａｘ［ｎ］に、所定値（例えば、「０」）を代入する。
【０２４０】
ステップＳ１１８にて、状態情報算出手段１３１は、「ｎ」を１つインクリメントする。
【０２４１】
状態情報算出手段１３１は、「ｎ」が「３２」になったときは、ステップＳ１２０に進み、そうでない場合は、ステップＳ１１３に進む（ステップＳ１１９）。このようにして、３２ピクセル×３２ピクセルのＤｉｆ［Ｘ］［Ｙ］をスキャンして、列毎に最大値を求める。
【０２４２】
ステップＳ１２０にて、状態情報算出手段１３１は、２点抽出処理を実行する。
【０２４３】
図３６は、図３５のステップＳ１２０の注目点抽出処理の流れを示すフローチャートである。図３６に示すように、ステップＳ１３０にて、状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［３１］の要素をスキャンする。
【０２４４】
ステップＳ１３１にて、状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［３１］の要素のうちの最大値を検出する。
【０２４５】
状態情報算出手段１３１は、最大値を検出した場合は、ステップＳ１３３に進み、検出できなかった場合は、図２４のステップＳ６に進む（ステップＳ１３２）。
【０２４６】
ステップＳ１３３にて、状態情報算出手段１３１は、その最大値の座標を第１注目点（第１の反射体３の注目点）の座標（Ｘｃ１，Ｙｃ１）として保存する。
【０２４７】
ステップＳ１３４にて、状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［３１］の要素のうち、その最大値を中心に所定の範囲をマスクする。
【０２４８】
ステップＳ１３５にて、状態情報算出手段１３１は、配列ｍａｘ［０］〜ｍａｘ［３１］の要素のうち、マスクされた所定範囲を除いてスキャンを実行する。
【０２４９】
ステップＳ１３６にて、状態情報算出手段１３１は、スキャンした要素の中から、最大値を検出する。
【０２５０】
状態情報算出手段１３１は、最大値を検出できた場合は、ステップＳ１３８に進み、検出できなかった場合は、図２４のステップＳ６に進む（ステップＳ１３７）。
【０２５１】
ステップＳ１３８にて、状態情報算出手段１３１は、検出した最大値の座標を第２注目点（第２の反射体３の注目点）の座標（Ｘｃ２，Ｙｃ２）として保存し、図３２のステップＳ８２に処理を進める。
【０２５２】
次に、上記した第２の例による反射体３の注目点の座標算出処理の流れを説明する。
【０２５３】
図３７は、図３２のステップＳ８１の注目点抽出処理（第２の例）の流れを示すフローチャートである。図３７に示すように、ステップＳ１４０及びステップＳ１４１の処理は、それぞれ、図３５のステップＳ１１０及びステップＳ１１１の処理と同様であり説明を省略する。
【０２５４】
さて、ステップＳ１４２にて、状態情報算出手段１３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素をスキャンする。
【０２５５】
ステップＳ１４３にて、状態情報算出手段１３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素の最大値を検出する。
【０２５６】
状態情報算出手段１３１は、その最大値が所定の閾値Ｔｈより大きい場合は、ステップＳ１４５に進み、所定の閾値Ｔｈ以下の場合は、図２４のステップＳ６に進む（ステップＳ１４４）。
【０２５７】
ステップＳ１４５にて、状態情報算出手段１３１は、その最大値の座標を基に、第１注目点の座標（Ｘｃ１，Ｙｃ１）を算出する。
【０２５８】
図３８は、図３７のステップＳ１４５の注目点座標算出処理の流れを示すフローチャートである。図３８に示すように、ステップＳ１６０にて、状態情報算出手段１３１は、「ｍ」及び「ｎ」にそれぞれ、ステップＳ１４３で求めた最大値のＸ座標及びＹ座標を代入する。
【０２５９】
ステップＳ１６１にて、状態情報算出手段１３１は、「ｍ」を１つインクリメントする（ｍ＝ｍ＋１）。
【０２６０】
状態情報算出手段１３１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１６３に進み、そうでない場合は、ステップＳ１６４に進む（ステップＳ１６２）。
【０２６１】
ステップＳ１６３にて、状態情報算出手段１３１は、「ｍｒ」にそのときの「ｍ」を代入する。
【０２６２】
このように、ステップＳ１６１〜Ｓ１６３を繰り返しながら、最大値からＸ軸の正方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＸ座標を求める。
【０２６３】
ステップＳ１６４にて、状態情報算出手段１３１は、「ｍ」に、ステップＳ１４３で求めた最大値のＸ座標を代入する。
【０２６４】
ステップＳ１６５にて、状態情報算出手段１３１は、「ｍ」を１つデクリメントする。
【０２６５】
状態情報算出手段１３１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１６７に進み、そうでない場合は、ステップＳ１６８に進む（ステップＳ１６６）。
【０２６６】
ステップＳ１６７にて、状態情報算出手段１３１は、「ｍｌ」にそのときの「ｍ」を代入する。
【０２６７】
このように、ステップＳ１６５〜Ｓ１６７を繰り返しながら、最大値からＸ軸の負方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＸ座標を求める。
【０２６８】
ステップＳ１６８にて、状態情報算出手段１３１は、Ｘ座標ｍｒとＸ座標ｍｌとの中心座標を算出して、それを、注目点のＸ座標（Ｘｃ）とする。ここでは、ステップＳ１４５の説明をしているため、算出した注目点のＸ座標（Ｘｃ）は、第１注目点のＸ座標（Ｘｃ１）である。
【０２６９】
ステップＳ１６９にて、状態情報算出手段１３１は、「ｍ」及び「ｎ」にそれぞれ、ステップＳ１６８で求めた「Ｘｃ」およびステップＳ１４３で求めた最大値のＹ座標を代入する。
【０２７０】
ステップＳ１７０にて、状態情報算出手段１３１は、「ｎ」を１つインクリメントする（ｎ＝ｎ＋１）。
【０２７１】
状態情報算出手段１３１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１７２に進み、そうでない場合は、ステップＳ１７３に進む（ステップＳ１７１）。
【０２７２】
ステップＳ１７２にて、状態情報算出手段１３１は、「ｍｄ」にそのときの「ｎ」を代入する。
【０２７３】
このように、ステップＳ１７０〜Ｓ１７２を繰り返しながら、最大値からＹ軸の正方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＹ座標を求める。
【０２７４】
ステップＳ１７３にて、状態情報算出手段１３１は、「ｎ」に、ステップＳ１４３で求めた最大値のＹ座標を代入する。
【０２７５】
ステップＳ１７４にて、状態情報算出手段１３１は、「ｎ」を１つデクリメントする。
【０２７６】
状態情報算出手段１３１は、差分データＤｉｆ［ｍ］［ｎ］が、所定の閾値Ｔｈより大きい場合は、ステップＳ１７６に進み、そうでない場合は、ステップＳ１７７に進む（ステップＳ１７５）。
【０２７７】
ステップＳ１７６にて、状態情報算出手段１３１は、「ｍｕ」にそのときの「ｎ」を代入する。
【０２７８】
このように、ステップＳ１７４〜Ｓ１７６を繰り返しながら、最大値からＹ軸の負方向にスキャンを実行して、値が所定の閾値Ｔｈを超える一番端の差分データのＹ座標を求める。
【０２７９】
ステップＳ１７７にて、状態情報算出手段１３１は、Ｙ座標ｍｄとＹ座標ｍｕとの中心座標を算出して、それを、注目点のＹ座標（Ｙｃ）とする。ここでは、ステップＳ１４５の説明をしているため、算出した注目点のＹ座標（Ｙｃ）は、第１注目点のＹ座標（Ｙｃ１）である。
【０２８０】
以上のようにして、第１注目点の座標（Ｘｃ１，Ｙｃ１）が算出される。
【０２８１】
さて、図３７のステップＳ１４６にて、状態情報算出手段１３１は、Ｄｉｆ［Ｘｃ１］［Ｙｃ１］を中心に所定範囲をマスクする。
【０２８２】
ステップＳ１４７にて、状態情報算出手段１３１は、マスクされた所定範囲を除いて、Ｄｉｆ［Ｘ］［Ｙ］をスキャンする。
【０２８３】
ステップＳ１４８にて、状態情報算出手段１３１は、スキャンしたＤｉｆ［Ｘ］［Ｙ］の中から最大値を求める。
【０２８４】
状態情報算出手段１３１は、その最大値が所定の閾値Ｔｈより大きい場合は、ステップＳ１５０に進み、そうでない場合は、図２４のステップＳ６に進む（ステップＳ１４９）。
【０２８５】
ステップＳ１５０にて、状態情報算出手段１３１は、その最大値を基に第２注目点の座標（Ｘｃ２，Ｙｃ２）を算出する。ステップＳ１５０の処理は、ステップＳ１４５の処理と同様であり、説明を省略する。
【０２８６】
図３９は、図３２のステップＳ８２の距離判定処理の流れを示すフローチャートである。図３９に示すように、ステップＳ１８０にて、状態情報算出手段１３１は、第１の反射体３と第２の反射体３との間のＸ軸方向の距離（以下、この図の説明において、「２点間の距離」と呼ぶ。）を求める。
【０２８７】
ステップＳ１８１にて、状態情報算出手段１３１は、入力受付開始フラグをチェックする。
【０２８８】
状態情報算出手段１３１は、入力受付開始フラグがオンの場合は、ステップＳ１８３に進み、オフの場合は、ステップＳ１８８に進む（ステップＳ１８２）。
【０２８９】
入力受付開始フラグがオフの場合、ステップＳ１８８にて、状態情報算出手段１３１は、２点間の距離と規定値Ｌ２とを比較して、２点間の距離が大きい場合は、ステップＳ１８９に進み、そうでない場合は、図２４のステップＳ６に進む。
【０２９０】
ステップＳ１８９にて、状態情報算出手段１３１は、入力受付開始フラグをオンにする。
【０２９１】
ステップＳ１９０にて、状態情報算出手段１３１は、「Ｎ」に「１」を代入して、図２４のステップＳ６に進む。
【０２９２】
さて、入力受付開始フラグがオンの場合、ステップＳ１８３にて、状態情報算出手段１３１は、２点間の距離と規定値Ｌ１とを比較して、２点間の距離が小さい場合は、ステップＳ１８４に進み、そうでない場合は、ステップＳ１９１に進む。ステップＳ１９１では、状態情報算出手段１３１は、「Ｎ」に「１」を代入して、図２４のステップＳ６に進む。
【０２９３】
一方、状態情報算出手段１３１は、規定値Ｌ１より２点間の距離が小さい場合は、ステップＳ１８４にて、「Ｎ」を１つインクリメントする。
【０２９４】
ステップＳ１８５にて、状態情報算出手段１３１は、「Ｎ」と規定値ｋとを比較して、「Ｎ」が規定値ｋ以上の場合は、ステップＳ１８６に進む。
【０２９５】
ステップＳ１８６にて、状態情報算出手段１３１は、打合フラグをオンにする。
【０２９６】
ステップＳ１８７にて、状態情報算出手段１３１は、入力受付開始フラグをオフにして、図２４のステップＳ６に進む。
【０２９７】
一方、ステップＳ１８５にて、「Ｎ」が規定値ｋより小さい場合は、図２４のステップＳ６に進む。
【０２９８】
以上のようにして、ステップＳ１８３〜ステップＳ１８５の処理を行って、ｋフレームの間連続して、２点間の距離が、規定値Ｌ１より小さい場合に、２つの反射体３が打ち合わせられたと判断する。ここで、例えば、ｋ＝１とした場合は、入力受付開始フラグがオンになって、２点間の距離が、１回だけ規定値Ｌ１より小さくなった場合に、打合フラグがオンになる。また、例えば、ｋ＝２とした場合は、入力受付開始フラグがオンになって、２点間の距離が、２回続けて規定値Ｌ１より小さくなった場合に、打合フラグがオンになる。
【０２９９】
さて、図４０は、図２４のステップＳ６のトリガ処理の流れを示すフローチャートである。図４０に示すように、トリガ発生手段１１９は、ステップＳ２００で打合せフラグがオンであり、かつ、ステップＳ２３０１でガイドマーク８３がシンバル８５の位置に到達した、と判断した場合は、ステップＳ２０２に進む。
【０３００】
ステップＳ２０２にて、トリガ発生手段１１９は、発音フラグをオンにする。つまり、トリガ発生手段１１９は、オペレータ９４が、ガイドマーク８３が指示するタイミングで、２つの反射体３を打ち合わせた場合に、発音フラグをオン、即ち、トリガを発生する。
【０３０１】
ステップＳ２０３にて、サウンドドライバ１２７は、所定の波形データが格納されている先頭アドレスを、内部メモリ２０７にセットする。
【０３０２】
図４１は、割込み処理の流れを示すフローチャートである。図４１に示すように、ステップＳ２１０にて、サウンドドライバ１２７は、メロディの再生処理を実行する。
【０３０３】
ステップＳ２１１にて、ガイドマーク登録手段１２３は、ガイドマーク登録処理を実行する。
【０３０４】
ステップＳ２１２にて、サウンドドライバ１２７は、２つの反射体３の打ち合わせに応じたトリガによる発音処理を実行する。
【０３０５】
図４２は、図４１のステップＳ２１０のメロディ再生処理の流れを示すフローチャートである。図４２に示すように、ステップＳ２２０にて、サウンドドライバ１２７は、メロディ用の実行待機カウンタをチェックする。
【０３０６】
メロディ用の実行待機カウンタの値が「０」ならば、ステップＳ２２３へ進み、「０」でないならば、ステップＳ２２２へ進む（ステップＳ２２１）。
【０３０７】
ステップＳ２２２にて、サウンドドライバ１２７は、メロディ用の実行待機カウンタをデクリメントする。
【０３０８】
さて、ステップＳ２２３にて、サウンドドライバ１２７は、メロディ用の楽譜データポインタの指すコマンドを読み出して解釈する。
【０３０９】
コマンドがノートオンであれば、ステップＳ２２５に進む（ステップＳ２２４）。一方、コマンドが、ノートオンでなければ、即ち、待機であれば、ステップＳ２４０に進む。
【０３１０】
ステップＳ２４０にて、サウンドドライバ１２７は、メロディ用の実行待機カウンタに待機時間をセットする。
【０３１１】
さて、ステップＳ２２５にて、サウンドドライバ１２７は、サウンドプロセッサ２０３に、音符の発音を行わせる。
【０３１２】
ステップＳ２２６にて、サウンドドライバ１２７は、メロディ用の楽譜データポインタをインクリメントする。
【０３１３】
ステップＳ２２７にて、サウンドドライバ１２７は、各音符の残りの発音時間をチェックする。
【０３１４】
残りの発音時間が「０」であれば、ステップＳ２３９に進み、そうでなければ、図４１のステップＳ２１１へ進む（ステップＳ２２８）。
【０３１５】
ステップＳ２３９にて、サウンドドライバ１２７は、サウンドプロセッサ２０３に対して、残りの発音時間が「０」の音符の発音終了処理を実行させる。そして、図４１のステップＳ２１１に進む。
【０３１６】
図４３は、図４１のステップＳ２１１のガイドマーク登録処理の流れを示すフローチャートである。図４３に示すように、ステップＳ２４０にて、ガイドマーク登録手段１２３は、ガイドマーク登録用の実行待機カウンタをチェックする。
【０３１７】
ガイドマーク登録用の実行待機カウンタの値が「０」ならば、ステップＳ２４３へ進み、「０」でないならば、ステップＳ２４２へ進む（ステップＳ２４１）。
【０３１８】
ステップＳ２４２にて、ガイドマーク登録手段１２３は、ガイドマーク登録用の実行待機カウンタをデクリメントする。
【０３１９】
さて、ステップＳ２４３にて、ガイドマーク登録手段１２３は、ガイドマーク登録用の楽譜データポインタの指すコマンドを読み出して解釈する。
【０３２０】
コマンドがノートオンであれば、ステップＳ２４５に進む（ステップＳ２４４）。一方、コマンドが、ノートオンでなければ、即ち、待機であれば、ステップＳ２４９に進む。
【０３２１】
ステップＳ２４９にて、ガイドマーク登録手段１２３は、ガイドマーク登録用の実行待機カウンタに待機時間をセットする。
【０３２２】
さて、ノートナンバが音楽終了を意味するものであれば、ステップＳ２５０に進み、そうでなければ、ステップＳ２４６に進む（ステップＳ２４５）。
【０３２３】
ステップＳ２５０にて、ガイドマーク登録手段１２３は、音楽終了フラグをオンにする。
【０３２４】
さて、ノートナンバが音楽開始を意味するものであれば、ステップＳ２４８に進み、そうでなければ、ステップＳ２４７に進む（ステップＳ２４６）。
【０３２５】
ステップＳ２４７にて、ガイドマーク登録手段１２３は、新規にガイドマークを登録する。
【０３２６】
ステップＳ２４８にて、ガイドマーク登録手段１２３は、ガイドマーク登録用の楽譜データポインタをインクリメントする。そして、図４１のステップＳ２１２に進む。
【０３２７】
さて、図４４は、図４１のステップＳ２１２のトリガによる発音処理の流れを示すフローチャートである。図４４に示すように、サウンドドライバ１２７は、発音フラグがオンならば（ステップＳ２５０）、サウンドプロセッサ２０３に対して、所定の波形データの先頭アドレスを与える。
【０３２８】
ステップＳ２５１にて、サウンドプロセッサ２０３は、与えられた先頭アドレスに格納された波形データをＲＯＭ５１から読み出して、その波形データに応じた楽音信号を生成して、楽音信号出力端子４９へ出力する（発音）。
【０３２９】
ステップＳ２５２にて、サウンドドライバ１２７は、発音フラグをオフにする。
【０３３０】
さて、図４５は、撮像ユニット１３によるストロボスコープ撮影処理の流れを示すフローチャートである。ステップＳ２６０において、高速プロセッサ２００は、ストロボスコープ撮影のために赤外発光ダイオード１５を点灯する。具体的には、図９に示すＬＥＤコントロール信号ＬＥＤＣをＨレベルとする。その後、ステップＳ２６１で、イメージセンサ４３は、ピクセルデータを出力する。
【０３３１】
ステップＳ２６２において、高速プロセッサ２００は、ストロボスコープ撮影のために赤外発光ダイオード１５を消灯する。具体的には、図９に示すＬＥＤコントロール信号ＬＥＤＣをＬレベルとする。その後、ステップＳ２６３で、イメージセンサ４３は、ピクセルデータを出力する。
【０３３２】
以上の処理が音楽が終了するまで繰り返される（ステップＳ２６４）。
【０３３３】
さて、以上のように、本実施の形態によれば、ストロボスコープ（赤外発光ダイオード１５及びそれを制御する高速プロセッサ２００）により間欠的に赤外光が照射される２つの反射体３をイメージセンサ４３により撮影して、２つの反射体３の状態情報（位置情報及び距離情報）を求めている。このため、２つの反射体３の状態情報を求めるために、２つの反射体３に電源により駆動する回路を内蔵する必要がない。
【０３３４】
このように、簡易な構成の操作部材である反射体３を用いて、その状態情報（位置情報及び距離情報）を求め、トリガによる楽音の発生ができるので、操作部材の操作性及び信頼性の向上を図りながらも、表現豊かな厚みのある自動演奏を実行することができる。
【０３３５】
また、発光時画像信号と消灯時画像信号との差分信号を生成するといった簡単な処理のみで、ノイズや外乱の影響を抑えた精度の高い検出が可能であるので、コスト、許容される消費電力等の条件により自動演奏装置のパフォーマンスが制限されるシステムの上でも容易に達成が可能である。
【０３３６】
また、本実施の形態によれば、２つの反射体３の相対的な位置情報に基づいて、トリガの発生が行われるので、１つの反射体によりトリガを発生させる場合と異なる操作が必要であり、オペレータ９４は、１つの反射体によりトリガを発生させる場合とは異なる別の楽しみ方で、自動演奏に参加できる。
【０３３７】
さらに、本実施の形態では、テレビジョンモニタ９０において、ガイドマーク８３を移動させることで、操作ガイドを実行している。このため、オペレータ９４にとって、直感的に自動演奏の操作ガイドを認識でき、自動演奏装置による自動演奏を容易に制御できる。
【０３３８】
さらに、本実施の形態では、テレビジョンモニタ９０に表示しているタンバリン８５を、トリガに応じて変化させている。このように、反射体３の操作に応じて、表示されているタンバリン８５が変化するため、オペレータ９４は、音楽だけでなく映像をも楽しむことができる。
【０３３９】
さらに、本実施の形態では、ストロボスコープは、赤外光を照射し、また、イメージセンサ４３は、赤外光のみを透過する赤外フィルタ１７を透過した赤外光を検知する。このように、検出を行う反射体３以外の移動光源および点滅光源（蛍光灯など）に含まれない赤外光をストロボスコープの光源とし、イメージセンサ４３がこの赤外光にのみ応答するようにすることで、これらのノイズ光源を除去することが可能となる。
【０３４０】
さらに、本実施の形態によれば、ガイドマーク８３に従った操作ができなければ、トリガが発生せず、当然トリガに基づく楽音も発生されない。つまり、ガイドマーク８３がタンバリン８５の位置に来たときに、２つの反射体３を打ち合わせなければ、トリガは発生しない。このため、オペレータ９４は、操作ガイドに従うように努力するため、自動演奏装置は、より完成された自動演奏を行うことができる。
【０３４１】
（実施の形態２）
図４６は、本考案の第２の実施の形態における自動演奏システムの全体構成を示す図である。なお、図４６において、図１と同様の部分については、同一の参照符号を付して、説明を省略する。
【０３４２】
図４６に示すように、この自動演奏システムは、自動演奏装置本体１、反射体１５０、及び、テレビジョンモニタ９０、を具備する。なお、図４６においては、構成をの理解を容易にするため、自動演奏装置本体１の図示を大きくしている。
【０３４３】
ここで、図４６の自動演奏装置本体１が、図１の自動演奏装置本体１と異なる主な点は、図１３のＲＯＭ５１に格納された制御プログラム１０２、画像データ１０３、及び、音楽データ１０５、の内容である。
【０３４４】
図４７は、図４６の反射体１５０の斜視図である。図４７に示すように、反射体１５０は、スティック１５２の先端に反射ボール１５１を固定して構成される。この反射ボール１５１により、赤外発光ダイオード１５からの赤外光が反射される。反射ボール１５１の詳細を説明する。
【０３４５】
図４８（ａ）は、図４７の反射ボール１５１の上面図、図４８（ｂ）は、図４８（ａ）の矢印Ａ方向からの反射ボール１５１の側面図、図４８（ｃ）は、図４８（ａ）の矢印Ｂ方向からの反射ボール１５１の側面図、である。
【０３４６】
図４８（ａ）〜図４８（ｃ）に示すように、反射ボール１５１は、透明色（半透明、有色透明、及び、無色透明、を含む。）の球状外殻１５３の内部に球状内殻１５４を固定してなる。球状内殻１５４には、反射シート１５５が取り付けられる。この反射シート１５５が、赤外発光ダイオード１５からの赤外光を反射する。
【０３４７】
図４９は、図４７の反射ボール１５１の縦断面図である。図４９に示すように、球状外殻１５３は、２つの半球状外殻をボス１５６及びビス（図示せず）により固定してなる。球状内殻１５４は、球状外殻１５３の内部に、２つの半球状内殻をボス１５７により固定してなる。また、反射ボール１５１には、スティック１５２が、挿入して固定される。具体的には、球状外殻１５３を構成する２つの半球状外殻と、球状内殻１５４を構成する２つの半球状内殻と、によりスティック１５２を挟み、２つの半球状外殻をボス１５６及びビスで固定するとともに、２つの半球状内殻をボス１５７で固定することで、スティック１５２を反射ボール１５１に取り付ける。
【０３４８】
図５０は、図４６の反射体１５０の操作方法の説明図である。図５０に示すように、イメージセンサ４３が、３２ピクセル×３２ピクセルであるとする。オペレータ９４が、反射体１５０を、一定以上の速さで、Ｙ軸の正方向に、イメージセンサ４３のトリガレンジＲ１を横切るように振った場合、トリガＡ１が発生する。オペレータ９４が、反射体１５０を、一定以上の速さで、Ｙ軸の正方向に、イメージセンサ４３のトリガレンジＲ２を横切るように振った場合、トリガＡ２が発生する。オペレータ９４が、反射体１５０を、一定以上の速さで、Ｙ軸の正方向に、イメージセンサ４３のトリガレンジＲ３を横切るように振った場合、トリガＡ３が発生する。オペレータ９４が、反射体１５０を、一定以上の速さで、Ｙ軸の正方向に、イメージセンサ４３のトリガレンジＲ４を横切るように振った場合、トリガＡ４が発生する。
【０３４９】
図５１は、図４６のテレビジョンモニタ９０のスクリーン９１に表示される自動演奏画面の例示図である。図５１に示すように、スクリーン９１には、４つのオブジェクト１６５〜１６８が表示される。また、スクリーン９１の下端には、操作指示枠１６９、及び、ガイドマーク１７０〜１７３が表示される。
【０３５０】
ここで、ガイドマーク１７０は、オブジェクト１６５及びトリガレンジＲ１に対応しており、ガイドマーク１７１は、オブジェクト１６６及びトリガレンジＲ２に対応しており、ガイドマーク１７２は、オブジェクト１６７及びトリガレンジＲ３に対応しており、ガイドマーク１７３は、オブジェクト１６８及びトリガレンジＲ４に対応している。
【０３５１】
オペレータ９４が、操作指示枠１６９に入ったガイドマーク１７０〜１７３に対応するトリガレンジＲ１〜Ｒ４を横切るように、反射体１５０を振り動かすと、発生したトリガＡ１〜Ａ４に応じた楽音が発生される。
【０３５２】
ここで、トリガレンジＲ１〜Ｒ４の配置に対応して、オブジェクト１６５〜１６８が表示されているため、オペレータ９４は、トリガレンジＲ１〜Ｒ４が、空間のどのあたりに位置するのかを把握できる。
【０３５３】
また、オブジェクト１６５に対応するトリガＡ１によって、例えば、タンバリンの音色の楽音を発生させることができる。オブジェクト１６６に対応するトリガＡ２によって、例えば、ピアノの音色の楽音を発生させることができる。オブジェクト１６７に対応するトリガＡ３によって、例えば、ギターの音色の楽音を発生させることができる。オブジェクト１６８に対応するトリガＡ４によって、例えば、太鼓の音色の楽音を発生させることができる。
【０３５４】
また、オブジェクト１６５に対応するトリガＡ１によって、例えば、タンバリンが打ち合わせられた画像を表示することもできる。オブジェクト１６６に対応するトリガＡ２によって、例えば、ピアノをひいているような画像を表示できる。オブジェクト１６７に対応するトリガＡ３によって、例えば、ギターを弾いているような画像を表示できる。オブジェクト１６８に対応するトリガＡ４によって、例えば、太鼓を叩く画像を表示できる。
【０３５５】
さて、ガイドマーク１７０〜１７３は、上記の各パートの楽譜に沿った間隔で、スクリーン９１の右端に出現し、音楽のテンポに合った速度で、左方向へ移動していく。さらに、トリガＡ１〜Ａ３とは関係なく、バックグラウンドミュージック（ＢＧＭ）が自動演奏されている。
【０３５６】
従って、オペレータ９４が、ガイドマーク１７０〜１７３の指示通りに、反射体１５０によりトリガＡ１〜Ａ４を発生させれば、表現豊かなより厚みのある自動演奏が実行される。
【０３５７】
ここで、上記で挙げた例の各パート（タンバリン、ピアノ、ギター、及び、太鼓）の楽譜データ（以下、「トリガ発音用の楽譜データ」と呼ぶ。）について説明する。トリガ発音用の楽譜データは、トリガ音指示情報が時系列に配置された楽譜データである。なお、ＲＯＭ５１に格納される楽譜データ１１１には、ＢＧＭ用楽譜データ（実施の形態１のメロディ用楽譜データに相当）、及びガイドマーク登録用楽譜データに加えて、トリガ発音用楽譜データが含まれる。
【０３５８】
図５２は、トリガ発音用楽譜データの一例を示す概念図である。図５２に示すように、トリガ音指示情報は、コマンド、ノートナンバ／待機時間、及び、楽器指定情報、からなる。
【０３５９】
トリガ発音用楽譜データでは、楽器指定情報は、音楽を奏でる楽器（音色）を示す番号ではない。楽器指定情報は、トリガ発音用楽譜データが、トリガＡ１〜Ａ４により発音する音を決定する楽譜データであることを示す番号である。
【０３６０】
従って、ノートオンは、音を出すコマンドではなく、トリガＡ１〜Ａ４が発生した際に発音する音を指示するコマンドである。そして、ノートナンバは、音の高さ（ピッチ）を指定する情報ではなく、トリガ音指示情報を表す。トリガ音指示情報について詳しく説明する。
【０３６１】
トリガ発音用楽譜データから読み出された最新のトリガ音指示情報（ノートナンバ）が、トリガレンジＲ１〜Ｒ４毎に登録される。そして、登録されたトリガ音指示情報に関連付けられた波形データ先頭アドレス、音の高さ（ピッチ）の情報、ゲートタイム、及び、ボリューム情報が、ＲＯＭ５１から読み出され、内部メモリ２０７に格納される。この場合、ＲＯＭ５１に格納されたトリガ音設定テーブルが参照される。
【０３６２】
図５３は、ＲＯＭ５１に格納されているトリガ音設定テーブルの例示図である。図５３に示すように、トリガ音設定テーブルは、トリガ音指示情報と、波形データ先頭アドレスと、音の高さ（ピッチ）情報と、ゲートタイムと、ボリューム情報と、を関連付けたテーブルである。このトリガ音設定テーブルを参照することで、登録されているトリガ音指示情報に関連付けられている波形データ先頭アドレス等を取得できる。
【０３６３】
トリガＡ２が発生した場合、トリガレンジＲ２（トリガＡ２）に対応して登録されているトリガ音指示情報に関連付けられている波形データ先頭アドレス等が、サウンドプロセッサ２０３に与えられる。そして、サウンドプロセッサ２０３は、波形データ先頭アドレスが示す位置に格納されている波形データを、ピッチ制御情報に基づくアドレスポインタをインクリメントしながら、ＲＯＭ５１から読み出して、その波形データ及びボリューム情報に応じた楽音信号を生成して、楽音信号出力端子４９に出力する。これにより、テレビジョンモニタ９０のスピーカ（図示せず）から、ＲＯＭ５１から読み出した波形データに応じた楽音（上記例ではピアノ）が、ボリューム情報に応じた音量で発音される。なお、トリガＡ１、Ａ３、Ａ４による発音も、トリガＡ２による発音と同様である。
【０３６４】
ここで、トリガレンジＲｉ（ｉ＝１〜４）に対応するトリガ音指示情報が、配列ＴＳ［ｉ］に格納される。
【０３６５】
さて、実施の形態２による自動演奏システムの処理の流れをフローチャートを用いて説明する。
【０３６６】
実施の形態２による自動演奏システムの処理の全体の流れは、図２４と同様である。従って、図２４を実施の形態２による自動演奏システムのフローチャートとして説明する。
【０３６７】
また、実施の形態２における割込み処理の流れは、図４１に示した割り込み処理と同様である。従って、図４１を実施の形態２による割込み処理のフローチャートとして説明する。
【０３６８】
また、実施の形態２におけるストロボ撮影処理の流れは、図４５に示したストロボ撮影処理と同様である。従って、図４５を実施の形態２によるストロボ撮影処理のフローチャートとして説明する。
【０３６９】
以上により、実施の形態１と異なる点を中心に説明する。
【０３７０】
図５４は、図２４のステップＳ５の振り動作検出処理の流れを示すフローチャートである。図５４に示すように、ステップＳ３００にて、振り動作検出手段１１７は、イメージセンサ４３のピクセルデータ群の取得処理を実行する。この処理は、図３３の処理と同様である。
【０３７１】
ステップＳ３０１にて、振り動作検出手段１１７は、反射体１５０の注目点の抽出処理を実行する。
【０３７２】
ステップＳ３０２にて、振り動作検出手段１１７は、ステップＳ３０１の処理結果を基に、速度ベクトル算出処理を実行する。
【０３７３】
図５５は、図５４のステップＳ３０１の注目点抽出処理の第１の例の流れを示すフローチャートである。図５５に示すように、ステップＳ３２０〜ステップＳ３２９の処理は、それぞれ、図３５のステップＳ１１０〜ステップＳ１１９の処理と同様であり、説明を省略する。
【０３７４】
また、ステップＳ３３０〜ステップＳ３３２の処理は、それぞれ、図３６のステップＳ１３０〜ステップＳ１３２と同様であり、説明を省略する。
【０３７５】
さて、ステップＳ３３３にて、状態情報算出手段１３１は、回数Ｍの値を１つインクリメントする（Ｍ＝Ｍ＋１）。
【０３７６】
ステップＳ３３４にて、状態情報算出手段１３１は、Ｍ回目の注目点のＸ座標として、配列ＰＸ［Ｍ］にＸｃを代入し、Ｍ回目の注目点のＹ座標として、配列ＰＹ［Ｍ］にＹｃを代入する。
【０３７７】
ステップＳ３３５にて、状態情報算出手段１３１は、「Ｍ」と規定値Ｋとを比較して、「Ｍ」が規定値Ｋ以上の場合は、ステップＳ３３６に進み、「Ｍ」に「０」を」代入する。
【０３７８】
一方、ステップＳ３３５にて、状態情報算出手段１３１は、「Ｍ」が規定値Ｋより小さい場合は、図５４のステップＳ３０２に進む。
【０３７９】
以上のように、配列ＰＸ［Ｍ］、ＰＹ［Ｍ］の要素数は、規定値Ｋとしている。
【０３８０】
図５６は、図５４のステップＳ３０１の注目点抽出処理の第２の例の流れを示すフローチャートである。図５６に示すように、ステップＳ３１０〜ステップＳ３１５の処理は、それぞれ、図３７のステップＳ１４０〜ステップＳ１４５の処理と同様であり、説明を省略する。
【０３８１】
さて、ステップＳ３１６にて、状態情報算出手段１３１は、回数Ｍの値を１つインクリメントする（Ｍ＝Ｍ＋１）。
【０３８２】
ステップＳ３１７にて、状態情報算出手段１３１は、Ｍ回目の注目点のＸ座標として、配列ＰＸ［Ｍ］にＸｃを代入し、Ｍ回目の注目点のＹ座標として、配列ＰＹ［Ｍ］にＹｃを代入する。
【０３８３】
ステップＳ３１８にて、状態情報算出手段１３１は、「Ｍ」と規定値Ｋとを比較して、「Ｍ」が規定値Ｋ以上の場合は、ステップＳ３１９に進み、「Ｍ」に「０」を」代入する。
【０３８４】
一方、ステップＳ３１８にて、状態情報算出手段１３１は、「Ｍ」が規定値Ｋより小さい場合は、図５４のステップＳ３０２に進む。
【０３８５】
以上のように、配列ＰＸ［Ｍ］、ＰＹ［Ｍ］の要素数は、規定値Ｋとしている。
【０３８６】
図５７は、図５２のステップＳ３０２の速度ベクトル算出処理の流れを示すフローチャートである。図５７に示すように、ステップＳ３４０にて、状態情報算出手段１３１は、Ｍ回目の注目点のＸ方向の速度ベクトルＶＸ［Ｍ］とＹ方向の速度ベクトルＶＹ［Ｍ］とを求める。
【０３８７】
ステップＳ３４１にて、状態情報算出手段１３１は、Ｍ回目の注目点の速さＶ［Ｍ］を求める。
【０３８８】
以上のようにして、反射体１５０の速さＶ［Ｍ］が求められる。
【０３８９】
図５８は、図２４のステップＳ６のトリガ処理の流れを示すブロック図である。図５８に示すように、トリガ発生手段１１９は、Ｍ回目の注目点のＹ方向の速度ベクトルＶＹ［Ｍ］の向きがが、「正」かどうかを判断し、方向が「正」ならば、ステップＳ３５２に進む。
【０３９０】
ステップＳ３５２にて、トリガ発生手段１１９は、Ｍ回目の注目点の速さＶ［Ｍ］が、所定の閾値ＴｈＶを超えているかどうかを判断し、超えていれば、ステップＳ３５３に進む。
【０３９１】
ステップＳ３５３にて、トリガ発生手段１１９は、「ｉ」に「１」を代入する。
【０３９２】
ステップＳ３５４にて、トリガ発生手段１１９は、注目点の速度ベクトル（ＶＸ［Ｍ］，ＶＹ［Ｍ］）が、トリガレンジＲｉと交差しているか否かを判定する。
【０３９３】
ステップＳ３５５にて、交差しているならば、ステップＳ３５７に進み、発音フラグＳＦ［ｉ］をオンにする。
【０３９４】
一方、ステップＳ３５５にて、交差していないならば、ステップＳ３５６に進み、「ｉ」を１つインクリメントする。
【０３９５】
ステップＳ３５９にて、「ｉ」が規定値Ｉより大きいかどうかを判断し、規定値Ｉ以下の場合は、ステップＳ３５４に進み、規定値Ｉより大きい場合は、メインルーチンにリターンする。
【０３９６】
ここで、図５１の例では、トリガレンジは、トリガレンジＲ１〜Ｒ４までの４種類であるから、Ｉ＝４、である。以上のようにして、注目点の速度ベクトル（ＶＸ［Ｍ］，ＶＹ［Ｍ］）が、４種類のトリガレンジＲ１〜Ｒ４のうちのいずれかと交差していれば、対応する発音フラグＳＦ［ｉ］がオンにされる。
【０３９７】
図５９は、図４１のステップＳ２１２のトリガによる発音処理の流れを示すフローチャートである。図５９に示すように、ステップＳ３８０にて、サウンドドライバ１２７は、「ｉ」に「１」を代入する。
【０３９８】
ステップＳ３８１にて、サウンドドライバ１２７は、発音フラグＳＦ［ｉ］がオンの場合は、ステップＳ３８２に進む。
【０３９９】
ステップＳ３８２にて、サウンドドライバ１２７は、トリガ音指示情報ＴＳ［ｉ］を基に、トリガ音設定テーブルを参照して、ＲＯＭ５１から、波形データ先頭アドレスＡ［ｉ］、音の高さ（ピッチ）情報Ｐ［ｉ］、ゲートタイムＴ［ｉ］、及び、ボリューム情報Ｖ［ｉ］、を取得する。
【０４００】
そして、サウンドドライバ１２７は、波形データ先頭アドレスＡ［ｉ］、音の高さ（ピッチ）情報Ｐ［ｉ］に基づくピッチ制御情報、及び、ボリューム情報Ｖ［ｉ］を、サウンドプロセッサ２０３に与える。
【０４０１】
ステップＳ３８３にて、サウンドプロセッサ２０３は、波形データ先頭アドレスＡ［ｉ］が示す位置に格納されている波形データを、ピッチ制御情報に基づくアドレスポインタをインクリメントしながら、ＲＯＭ５１から読み出して、その波形データ及びボリューム情報Ｖ［ｉ］に応じた楽音信号を生成して、楽音信号出力端子４９に出力する。これにより、テレビジョンモニタ９０のスピーカ（図示せず）から、ＲＯＭ５１から読み出した波形データに応じた楽音（上記例ではタンバリン、ピアノ、ギター、あるいは、太鼓）が、ボリューム情報Ｖ［ｉ］に応じた音量で発音される。
【０４０２】
ステップＳ３８４にて、サウンドドライバ１２７は、発音フラグＳＦ［ｉ］をオフにする。
【０４０３】
ステップＳ３８５にて、「ｉ」が規定値Ｉ以下の場合は、ステップＳ３８１に進む。規定値Ｉの意味は、図５８の場合と同様である。一方、ステップＳ３８５にて、「ｉ」が規定値Ｉより大きい場合は、ステップＳ３８６に進む。
【０４０４】
ステップＳ３８６にて、サウンドドライバ１２７は、「ｉ」に「１」を代入する。
【０４０５】
ステップＳ３８７にて、サウンドドライバ１２７は、ゲートタイムＴ［ｉ］が終了しているかどうかを判断して、終了していれば、ステップＳ３８８にて、発音フラグＳＦ［ｉ］に基づく発音の終了指示を、サウンドプロセッサ２０３に出す。これに基づいて、サウンドプロセッサ２０３は、発音フラグＳＦ［ｉ］に基づく発音を終了する。一方、ゲートタイムＴ［ｉ］が終了していなければ、ステップＳ３９１に進む。
【０４０６】
ステップＳ３９１にて、「ｉ」が１つインクリメントされる。
【０４０７】
ステップＳ３８９にて、サウンドドライバ１２７は、「ｉ」が規定値Ｉより大きいかどうかを判断して、規定値Ｉ以下の場合は、ステップＳ３８７に進み、規定値Ｉより大きい場合は、メインルーチンにリターンする。このようにして、全てのゲートタイムＴ［ｉ］をチェックする。
【０４０８】
さて、実施の形態２では、図４１のステップＳ２１１のガイドマーク登録処理の後に、トリガ音指示情報登録処理が挿入される。
【０４０９】
図６０は、図４１のステップＳ２１１の後に挿入されるトリガ音指示情報登録処理の流れを示すフローチャートである。図６０に示すように、ステップＳ３９０にて、トリガ音指示情報登録手段は、トリガ音指示情報登録用の実行待機カウンタをチェックする。
【０４１０】
トリガ音指示情報登録用の実行待機カウンタの値が「０」ならば、ステップＳ３９３へ進み、「０」でないならば、ステップＳ３９２へ進む（ステップＳ３９１）。
【０４１１】
ステップＳ３９２にて、トリガ音指示情報登録手段は、トリガ音指示情報登録用の実行待機カウンタをデクリメントする。
【０４１２】
さて、ステップＳ３９３にて、トリガ音指示情報登録手段は、トリガ音指示情報登録用の楽譜データポインタの指すコマンドを読み出して解釈する。
【０４１３】
コマンドがノートオンであれば、ステップＳ３９６に進む（ステップＳ３９４）。一方、コマンドが、ノートオンでなければ、即ち、待機であれば、ステップＳ３９５に進む。
【０４１４】
ステップＳ３９５にて、トリガ音指示情報登録手段は、トリガ音指示情報登録用の実行待機カウンタに待機時間をセットする。
【０４１５】
さて、ステップＳ３９６にて、トリガ音指示情報登録手段は、トリガ音指示情報を登録する。具体的には、トリガレンジＲ１に対するトリガ音指示情報は、配列ＴＳ［１］に格納し、トリガレンジＲ２に対するトリガ音指示情報は、配列ＴＳ［２］に格納し、トリガレンジＲ３に対するトリガ音指示情報は、配列ＴＳ［３］に格納し、トリガレンジＲ４に対するトリガ音指示情報は、配列ＴＳ［４］に格納する。
【０４１６】
ステップＳ３９７にて、トリガ音指示情報登録手段は、トリガ音指示情報登録用の楽譜データポインタをインクリメントする。そして、図４１のステップＳ２１２に進む。
【０４１７】
なお、ＣＰＵ２０１が、ＲＯＭ５１の制御プログラム１０２を実行することで、ＣＰＵ２０１が、トリガ音指示情報登録手段として機能する。
【０４１８】
さて、次に、実施の形態２の変形例を説明する。この変形例の説明では、上述の実施の形態２と異なる点を中心に説明する。
【０４１９】
この変形例では、図５０のイメージセンサ４３を４分割したトリガ領域ａ１，ａ２，ａ３，ａ４を設定する。そして、このトリガ領域ａｉ（ｉ＝１〜４）に、トリガＡｉ（ｉ＝１〜４）を対応させる。そして、反射体１５０がイメージセンサ４３に近づき（反射体１５０の注目領域の面積変化が「正」）、かつ、反射体１５０の注目領域の面積変化が、所定の閾値ＴｈＡより大きい場合に、注目領域が位置する領域ａｉに対応するトリガＡｉがオンになる。その後は、上記の実施の形態２と同様である。次に、実施の形態２と異なる点を中心に、フローチャートを用いて説明する。
【０４２０】
図６１は、変形例における、図２４のステップＳ５の振り操作検出処理の流れを示すフローチャートである。図６１に示すように、ステップＳ４００にて、振り動作検出手段１１７は、イメージセンサ４３のピクセルデータ群の取得処理を実行する。この処理は、図３３の処理と同様である。
【０４２１】
ステップＳ４０１にて、振り動作検出手段１１７は、反射体１５０の注目領域の抽出処理を実行する。
【０４２２】
図６２は、図６１のステップＳ４０１の注目領域抽出処理の流れを示すフローチャートである。図６２に示すように、ステップＳ４１０にて、カウンタｃに「０」をセットする。
【０４２３】
ステップＳ４１１及びステップＳ４１２の処理は、それぞれ、図３５のステップＳ１１０及びステップＳ１１１の処理と同様であり、説明を省略する。
【０４２４】
ステップＳ４１３にて、状態情報算出手段１３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素を所定の閾値Ｔｈと比較する。
【０４２５】
状態情報算出手段１３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素が所定の閾値Ｔｈより大きい場合は、ステップＳ４１５に進み、カウンタｃをインクリメントする。
【０４２６】
ステップＳ４１６にて、状態情報算出手段１３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素について、所定の閾値Ｔｈとの比較が終了するまで、ステップＳ４１３からステップＳ４１５の処理を繰り返す。このようにして、状態情報算出手段１３１は、３２ピクセル×３２ピクセルのうち、所定の閾値Ｔｈを超えるピクセルの数をカウントする。このカウント数ｃが、反射体１５０の注目領域の面積に相当する。
【０４２７】
ステップＳ４１７にて、状態情報算出手段１３１は、回数Ｍをインクリメントする。
【０４２８】
ステップＳ４１８にて、状態情報算出手段１３１は、配列Ａｒ［Ｍ］に、カウント値ｃを代入する。
【０４２９】
ステップＳ４１９にて、状態情報算出手段１３１は、「Ｍ」と規定値Ｋとを比較して、「Ｍ」が規定値Ｋ以上の場合は、ステップＳ４２０に進み、「Ｍ」に「０」を」代入する。
【０４３０】
一方、ステップＳ４１９にて、状態情報算出手段１３１は、「Ｍ」が規定値Ｋより小さい場合は、図２４のステップＳ６に進む。
【０４３１】
以上のように、配列Ａｒ［Ｍ］の要素数は、規定値Ｋとしている。
【０４３２】
さて、図６３は、図２４のステップＳ６のトリガ処理の流れを示すフローチャートである。図６３に示すように、ステップＳ４３０にて、トリガ発生手段１１９は、Ｍ回目の注目領域の面積Ａｒ［Ｍ］と（Ｍ−１）回目の注目領域の面積Ａｒ［Ｍ−１］との差を求め、配列ＡＤ［Ｍ］に格納する。
【０４３３】
ステップＳ４３１にて、トリガ発生手段１１９は、Ｍ回目の差分面積ＡＤ［Ｍ］が、「正」かどうかを判断し、「正」であれば、ステップＳ４３２に進む。
【０４３４】
ステップＳ４３２にて、トリガ発生手段１１９は、Ｍ回目の差分面積ＡＤ［Ｍ］が、所定の閾値ＴｈＡを超えているかどうかを判断し、超えていれば、ステップＳ４３３に進む。
【０４３５】
ステップＳ４３３にて、トリガ発生手段１１９は、「ｉ」に「１」を代入する。
【０４３６】
ステップＳ４３４にて、トリガ発生手段１１９は、注目領域がどのトリガ領域ａｉに位置するかを判定する。
【０４３７】
ステップＳ４３５にて、トリガ発生手段１１９は、注目領域が位置するトリガ領域ａｉに対応する発音フラグＳＦ［ｉ］をオンにする。
【０４３８】
ここで、発音フラグＳＦ［ｉ］をオンにするための条件として、面積差が「正」であること及び面積差が所定の閾値ＴｈＡを超えていること、に加えて、さらに、注目領域の速さが所定値を超えていること、を条件とすることができる。
【０４３９】
さて、以上のように、本実施の形態（変形例含む。）によれば、ストロボスコープにより間欠的に光が照射される反射体１５０をイメージセンサ４３により撮影して、反射体１５０の状態情報（位置情報、速度ベクトル情報、及び、面積情報）を求めている。このため、反射体１５０の状態情報を求めるために、反射体１５０に電源により駆動する回路を内蔵する必要がない。
【０４４０】
このように、簡易な構成の操作部材である反射体１５０を用いて、その状態情報（位置情報、速度ベクトル情報、及び、面積情報）を求め、トリガによる楽音の発生ができるので、操作部材の操作性及び信頼性の向上を図りながらも、表現豊かな厚みのある自動演奏を実行することができる。
【０４４１】
また、発光時画像信号と消灯時画像信号との差分信号を生成するといった簡単な処理のみで、ノイズや外乱の影響を抑えた精度の高い検出が可能であるので、コスト、許容される消費電力等の条件により自動演奏装置のパフォーマンスが制限されるシステムの上でも容易に達成が可能である。
【０４４２】
また、本実施の形態（変形例含む。）によれば、イメージセンサ４３が生成する２次元画像に設定する所定領域（トリガレンジＲ１〜Ｒ４、トリガ領域ａ１〜ａ４）の位置によって、オペレータ９４に、空間上のどの付近で反射体１５０を操作させるかを、容易に調整できる。
【０４４３】
さらに、本実施の形態では、注目点（反射体１５０）の速度ベクトルのＹ成分が「正」であり、かつ、その速度ベクトルの大きさが所定の閾値ＴｈＶを超えており、かつ、その速度ベクトルがトリガレンジＲ１〜Ｒ４のいずれかと交差しているとき、トリガを発生する。
【０４４４】
このように、複数の条件を満足しないとトリガが発生しないため、意図しないときにトリガが発生するという不都合を回避できる。なお、変形例でも、２つあるいは３つの条件を満足することで、トリガを発生するため、同様のことが言える。
【０４４５】
さらに、本実施の形態（変形例含む。）によれば、複数のトリガ条件（トリガレンジＲ１〜Ｒ４、トリガ領域ａ１〜ａ４）に応じて、異なる楽音が発生されるので、より表現豊かなより厚みのある自動演奏が可能になる。また、オペレータ９４にとっても、複数のトリガ条件に応じて、異なる動作をしなければならないので、飽き難い自動演奏装置を提供できる。また、トリガ条件の数を調整することで、難易度の調整が可能である。
【０４４６】
さらに、本実施の形態（変形例含む。）によれば、イメージセンサ４３が生成する２次元画像に複数の所定領域（トリガレンジＲ１〜Ｒ４、トリガ領域ａ１〜ａ４）を設定するだけで、オペレータ９４に、空間上の様々な位置で反射体１５０を操作させることができる。
【０４４７】
さらに、本実施の形態（変形例含む。）によれば、異なるトリガ条件（トリガレンジＲ１〜Ｒ４、トリガ領域ａ１〜ａ４）ごとに異なるガイドマーク１７０〜１７３を用いて操作ガイドを行うため、オペレータ９４は、複数のトリガ条件が設定されていても、満足させるべきトリガ条件を直感的に把握できる。
【０４４８】
なお、本考案は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
【０４４９】
（１）実施の形態１において、トリガが発生した回数、即ち、オペレータ９４がガイドマーク８３に従った操作をした回数、を計数して、これを点数（得点）とすることができる。これにより、ゲーム性を付加できる。この場合、得点決定手段が、その処理を行う。具体的には、制御プログラム１０２を実行するＣＰＵ２０１が、得点決定手段として機能する。
【０４５０】
（２）実施の形態２では、反射体１５０の速さに応じて音量を制御することもできる。また、その変形例では、差分面積の大きさに応じて、音量を制御することもできる。これにより、反射体１５０の動きに応じて、音量が制御されることになるので、オペレータ９４は、自動演奏装置による自動演奏をより楽しむことができる。この場合、音量制御手段が、その処理を行う。具体的には、制御プログラム１０２を実行するＣＰＵ２０１が、音量制御手段として機能する。なお、他の状態情報（移動方向情報、移動距離情報、速度ベクトル情報、加速度情報、移動軌跡情報、若しくは、位置情報、のいずれか、又は、それらの２以上の組み合わせ）に応じて、音量を制御することもできる。
【０４５１】
（３）実施の形態１及び実施の形態２（その変形例を含む。）では、反射体３及び反射体１５０を用いたが、反射体の形状等は、これに限定されるものではない。光を反射できる部材（上記では、反射シート３１，１５５を例に挙げた。）を備えていれば、本考案で使用できる反射体として機能する。例えば、従来の先行文献１又は先行文献２のような指揮棒に反射部材を取り付けて、これを本考案の反射体として用いることができる。
【０４５２】
（４）実施の形態２（その変形例を含む。）では、トリガＡ１〜Ａ４の発生に応じて、対応するオブジェクト１６５〜１６８が踊るようにすることもできる。これにより、オペレータ９４は、音楽のみならず、映像をも楽しむことができる。また、ガイドマーク１７０〜１７３を、同一直線状に表示するのではなく、段を変えて表示することもできる。
【０４５３】
（５）実施の形態２（その変形例を含む。）では、トリガレンジＲ１〜Ｒ４及びトリガ領域ａ１〜ａ４、即ち、トリガ条件、を４つとしたが、これに限定されるものではない。トリガ条件は、１つ（イメージセンサ４３による二次元画像の一部あるいは全部）でもよいし、それより大きい幾つでもよい。
【０４５４】
（６）実施の形態１及び実施の形態２（その変形例を含む。）において、トリガにより発生させる楽音として、楽器の音色に限らず、音声、ノイズ音、動物の鳴き声、自然界に存在する音、などの様々な音色を指定できる。
【０４５５】
（７）実施の形態１及び実施の形態２（その変形例を含む。）において、トリガ発生手段１１９は、反射体３，１５０の状態情報としての、速さ情報、移動方向情報、移動距離情報、速度ベクトル情報、加速度情報、移動軌跡情報、面積情報、若しくは、位置情報、のいずれか、又は、それらの２以上の組み合わせ、に基づいて、トリガを発生するようにすることもできる。
【０４５６】
これにより、オペレータ９４による反射体３，１５０の様々な動きに応じたトリガの発生が可能となり、オペレータ９４が自分自身の動きをも楽しみながらの自動演奏が可能となる。
【０４５７】
（８）実施の形態２（その変形例を含む。）において、トリガＡ１〜Ａ４の発生に対応するガイドマーク１７０〜１７３の形態（色など）を変化させることもできる。この場合、ある１つのトリガが発生した場合、その１つのトリガに対応する１つのガイドマークの形態を変化させる。このようにすれば、オペレータ９４は、直感的に自動演奏の状態を認識でき、自動演奏装置による自動演奏を容易に制御できる。
【０４５８】
（９）図２２及び図５２で使用するノートナンバは、図２１で使用するノートナンバと異なるようにすることが好ましい。また、図２２及び図５２で使用する楽器指定情報は、図２１で使用する楽器指定情報と異なるようにすることが好ましい。
【０４５９】
（１０）図７の高速プロセッサ２００として、任意の種類のプロセッサを使用できるが、本件出願人が既に特許出願している高速プロセッサ（商品名：ＸａｖｉＸ）を用いることが好ましい。この高速プロセッサは、例えば、特開平１０−３０７７９０号公報およびこれに対応するアメリカ特許第６，０７０，２０５号に詳細に開示されている。
【図面の簡単な説明】
【図１】本考案の実施の形態１における自動演奏システムの全体構成を示す図。
【図２】図１の反射体の拡大図。
【図３】図１の反射体の斜視図。
【図４】（ａ）図３の反射体の上面図。
（ｂ）図３の反射体の側面図。
（ｃ）図３の反射体の下面図。
【図５】図１の撮像ユニットの図解図。
【図６】図１の自動演奏装置本体の電気的構成を示す図。
【図７】図６の高速プロセッサのブロック図。
【図８】図６のイメージセンサから高速プロセッサへピクセルデータを取り込む構成及びＬＥＤ駆動回路を示す図。
【図９】（ａ）図８のイメージセンサが出力するフレームステータスフラグ信号ＦＳＦのタイミング図。
（ｂ）図８のイメージセンサが出力するピクセルデータストローブ信号ＰＤＳのタイミング図。
（ｃ）図８のイメージセンサが出力するピクセルデータＤ（Ｘ，Ｙ）のタイミング図。
（ｄ）図８の高速プロセッサが出力するＬＥＤコントロール信号ＬＥＤＣのタイミング図。
（ｅ）図８の赤外発光ダイオードの点灯状態を示すタイミング図。
（ｆ）図８のイメージセンサの露光期間を示すタイミング図。
【図１０】（ａ）図９のフレームステータスフラグ信号ＦＳＦの拡大図。
（ｂ）図９のピクセルデータストローブ信号ＰＤＳの拡大図。
（ｃ）図９のピクセルデータＤ（Ｘ，Ｙ）の拡大図。
【図１１】実施の形態１における自動演奏画面の例示図。
【図１２】実施の形態１における自動演奏画面の他の例示図。
【図１３】図６のＲＯＭに格納されたプログラム及びデータの概念図。
【図１４】図７のＣＰＵの動作の説明図。
【図１５】（ａ）一般的なイメージセンサにより撮影された、特別な処理を施さない映像の例示図。
（ｂ）図１５（ａ）の映像信号を或る閾値でレベル弁別したときの映像信号の例示図。
（ｃ）赤外フィルタを介したイメージセンサの点灯時の映像信号を或る閾値でレベル弁別したときの映像信号の例示図。
（ｄ）赤外フィルタを介したイメージセンサの消灯時の映像信号を或る閾値でレベル弁別したときの映像信号の例示図。
（ｅ）点灯時の映像信号と消灯時の映像信号との差分信号の例示図。
【図１６】実施の形態１の第１の例による第１の反射体の注目点座標算出の説明図。
【図１７】実施の形態１の第１の例による第２の反射体の注目点座標算出の説明図。
【図１８】実施の形態１の第２の例による第１の反射体の注目点座標算出の説明図。
【図１９】（ａ）実施の形態１において、最大輝度値を持つピクセルの座標を基に、第１の反射体の注目点座標を算出する際のＸ方向スキャンの説明図。
（ｂ）実施の形態１において、最大輝度値を持つピクセルの座標を基に、第１の反射体の注目点座標を算出する際のＹ方向スキャンのスタート時の説明図。
（ｃ）実施の形態１において、最大輝度値を持つピクセルの座標を基に、第１の反射体の注目点座標を算出する際のＹ方向スキャンの説明図。
（ｄ）最大輝度値を持つピクセルの座標を基に、第１の反射体の注目点座標を算出する際の結果の説明図。
【図２０】実施の形態１の第２の例による第２の反射体の注目点座標算出の説明図。
【図２１】実施の形態１におけるメロディ用楽譜データの一例を示す概念図。
【図２２】実施の形態１におけるガイドマーク登録用楽譜データの一例を示す概念図。
【図２３】図２２の音符マーク登録用楽譜データで使用されるノートナンバとガイドマークとの関係図。
【図２４】図１の自動演奏装置本体の処理の流れを示すフローチャート。
【図２５】図２４のステップＳ１の初期設定処理のフローチャート。
【図２６】図２５のステップＳ１４のセンサ初期設定処理のフローチャート。
【図２７】図２６のステップＳ２１のコマンド送信処理のフローチャート。
【図２８】（ａ）図８のレジスタ設定クロックＣＬＫのタイミング図。
（ａ）図８のレジスタデータのタイミング図。
【図２９】図２６のステップＳ２３のレジスタ設定処理のフローチャート。
【図３０】図２４のステップＳ４の画像表示処理のフローチャート。
【図３１】図３０のステップＳ５０のオブジェクトセット処理のフローチャート。
【図３２】図２４のステップＳ５の振り動作検出処理のフローチャート。
【図３３】図３２のステップＳ８０のピクセルデータ群取得処理のフローチャート。
【図３４】図３３のステップＳ９１のピクセルデータ取得処理のフローチャート。
【図３５】図３２のステップＳ８１の第１の例による注目点抽出処理のフローチャート。
【図３６】図３５のステップＳ１２０の２点抽出処理のフローチャート。
【図３７】図３２のステップＳ８１の第２の例による注目点抽出処理のフローチャート。
【図３８】図３７のステップＳ１４５の注目点座標算出処理のフローチャート。
【図３９】図３２のステップＳ８２の距離判定処理のフローチャート。
【図４０】図２４のステップＳ６のトリガ処理のフローチャート。
【図４１】実施の形態１における割込み処理のフローチャート。
【図４２】図４１のステップＳ２１０のメロディ再生処理のフローチャート。
【図４３】図４１のステップＳ２１１のガイドマーク登録処理のフローチャート。
【図４４】図４１のステップＳ２１２のトリガによる発音処理のフローチャート。
【図４５】図１の撮像ユニットによるストロボスコープ撮影処理のフローチャート。
【図４６】本考案の実施の形態２における自動演奏システムの全体構成を示す図。
【図４７】図４６の反射体の斜視図。
【図４８】（ａ）図４７の反射ボールの上面図。
（ｂ）図４８（ａ）の矢印Ａ方向からの反射ボールの側面図。
（ｃ）図４８（ａ）の矢印Ｂ方向からの反射ボールの側面図。
【図４９】図４７の反射ボールの縦断面図。
【図５０】図４６の反射体の操作方法の説明図。
【図５１】実施の形態２における自動演奏画面の例示図。
【図５２】実施の形態２におけるトリガ発音用楽譜データの一例を示す概念図。
【図５３】図６のＲＯＭに格納されているトリガ音設定テーブルの例示図。
【図５４】実施の形態２における図２４のステップＳ５の振り動作検出処理のフローチャート。
【図５５】図５４のステップＳ３０１の第１の例による注目点抽出処理のフローチャート。
【図５６】図５４のステップＳ３０１の第２の例による注目点抽出処理のフローチャート。
【図５７】図５４のステップＳ３０２の速度ベクトル算出処理のフローチャート。
【図５８】実施の形態２における図２４のステップＳ６のトリガ処理のフローチャート。
【図５９】実施の形態２における図４１のステップＳ２１２のトリガによる発音処理のフローチャート。
【図６０】実施の形態２における図４１のステップＳ２１１の後に挿入されるトリガ音指示情報登録処理のフローチャート。
【図６１】実施の形態２の変形例における図２４のステップＳ５における振り動作検出処理のフローチャート。
【図６２】図６１のステップＳ４０１における注目領域抽出処理のフローチャート。
【図６３】実施の形態２の変形例における図２４のステップＳ６におけるトリガ処理のフローチャート。
【符号の説明】
１…自動演奏装置本体、３，１５０…反射体、５…決定ボタン、７…キャンセルボタン、９…方向キー、１１…電源スイッチ、１３…撮像ユニット、１４…リセットボタン、１５…赤外発光ダイオード、１７…赤外フィルタ、２３…装飾シート、２５…リング、２７…留具、２９…帯状部材、３１，１５５…反射シート、３５…ユニットベース、３６…支持筒、３７…凸レンズ、３９…凹レンズ、４１…開口、４３…イメージセンサ、４７…画像信号出力端子、４９…楽音信号出力端子、５１，５５…ＲＯＭ、５３…バス、５７…キースイッチ群、５９…基準電圧発生回路、６１，８１…ＮＰＮトランジスタ、６７…微分回路、７１…コンデンサ、７５…ＬＥＤ駆動回路、７７…ＰＮＰトランジスタ、６５，６９，７３，７９…抵抗素子、８３，１７０〜１７３…ガイドマーク、９０…テレビジョンモニタ、９１…スクリーン、９２…ＡＣアダプタ、９３…ＡＶケーブル、９４…オペレータ、１０２…制御プログラム、１０３…画像データ、１０５…音楽データ、１０７…オブジェクト画像データ、１０９…背景画像データ、１１１…楽譜データ、１１３…音源データ、１１５…画像表示制御手段、１１７…振り動作検出手段、１１９…トリガ発生手段、１２３…ガイドマーク登録手段、１２５…グラフィックドライバ、１２７…サウンドドライバ、１２９…差分データ生成手段、１３１…状態情報算出手段、１５１…反射ボール、１５２…スティック、１５３…球状外殻、１５４…球状内殻、１５６，１５７…ボス、２００…高速プロセッサ、２０１…ＣＰＵ、２０２…グラフィックプロセッサ、２０３…サウンドプロセッサ、２０４…ＤＭＡコントローラ、２０５…第１バス調停回路、２０６…第２バス調停回路、２０７…内部メモリ、２０８…ＡＤＣ（Ａ／Ｄコンバータ）、２０９…入出力制御回路、２１０…タイマ回路、２１１…ＤＲＡＭリフレッシュ制御回路、２１２…外部メモリインタフェース回路、２１３…クロックドライバ、２１４…ＰＬＬ回路、２１５…低電圧検出回路、２１６…水晶振動子、２１７…バッテリ、２１８…第１バス、２１９…第２バス

Claims (19)

1. 自動演奏される音楽データが格納され、反射体の状態情報に基づくトリガに応じて、少なくとも１種類以上の旋律を自動演奏する自動演奏装置であって、
   前記反射体に、予め定められた周期で、光を照射するストロボスコープと、
   前記ストロボスコープの発光時及び消灯時のそれぞれにおいて、前記反射体を撮影して、発光時画像信号及び消灯時画像信号を生成する撮像手段と、
   前記発光時画像信号と前記消灯時画像信号との差分信号を生成する差分信号生成手段と、
   前記差分信号に基づいて、前記反射体の前記状態情報を算出する状態情報算出手段と、
   前記反射体の前記状態情報に基づいて、トリガを発生するトリガ発生手段と、前記トリガに応じて、前記音楽データを読み出して、楽音信号を生成する楽音信号生成手段と、を備える自動演奏装置。
2. 前記トリガ発生手段は、前記反射体の前記状態情報としての、速さ情報、移動方向情報、移動距離情報、速度ベクトル情報、加速度情報、移動軌跡情報、面積情報、若しくは、位置情報、のいずれか、又は、それらの２以上の組み合わせ、に基づいて、前記トリガを発生する、請求項１記載の自動演奏装置。
3. 前記撮像手段が生成する２次元画像において、所定領域が設定され、
   前記トリガ発生手段は、前記反射体の前記状態情報と、前記所定領域と、の関係が所定条件を満足したとき、前記トリガを発生する、請求項１又は２記載の自動演奏装置。
4. 前記状態情報算出手段は、前記差分信号に基づいて、前記反射体の前記状態情報としての速度ベクトル情報を算出し、
   前記トリガ発生手段は、前記速度ベクトルの所定成分が所定方向を向いており、かつ、前記速度ベクトルの大きさが所定値を超えており、かつ、前記速度ベクトルが前記所定領域と交差しているとき、前記トリガを発生する、請求項３記載の自動演奏装置。
5. 前記トリガを発生するためのトリガ条件が複数設定され、
   前記トリガ発生手段は、前記反射体の前記状態情報が、前記複数のトリガ条件のいずれかを満足したとき、前記トリガを発生し、
   前記楽音信号生成手段は、前記トリガが発生したときに、満足した前記トリガ条件ごとに異なる前記音楽データを読み出して、前記楽音信号を生成する、請求項１又は２記載の自動演奏装置。
6. 前記撮像手段が生成する前記２次元画像において、複数の異なる所定領域が設定され、
   前記トリガ発生手段は、前記反射体の前記状態情報と、前記複数の所定領域のいずれかと、の関係が所定条件を満足したとき、前記トリガを発生し、
   前記楽音信号生成手段は、前記トリガが発生したときに、前記所定条件を満足した前記所定領域ごとに異なる音楽データを読み出して、前記楽音信号を生成する、請求項１又は２記載の自動演奏装置。
7. 前記状態情報算出手段は、前記差分信号に基づいて、前記反射体の前記状態情報としての速度ベクトル情報を算出し、
   前記トリガ発生手段は、前記速度ベクトルの所定成分が所定方向を向いており、かつ、前記速度ベクトルの大きさが所定値を超えており、かつ、前記速度ベクトルが前記複数の所定領域のいずれかと交差しているとき、前記トリガを発生する、請求項６記載の自動演奏装置。
8. 前記撮像手段は、前記ストロボスコープの発光時及び消灯時のそれぞれにおいて、２つの反射体を撮影して、それぞれの反射体の前記発光時画像信号及び前記消灯時画像信号を生成し、
   前記差分信号生成手段は、前記反射体ごとに、前記発光時画像信号と前記消灯時画像信号との前記差分信号を生成し、
   前記状態情報算出手段は、前記反射体ごとの前記差分信号に基づいて、前記反射体ごとに、前記状態情報としての位置情報を算出し、その位置情報に基づいて、一方の前記反射体に対する他方の前記反射体の相対的な位置情報を算出し、
   前記トリガ発生手段は、前記相対的な位置情報に基づいて、前記トリガを発生する、請求項１記載の自動演奏装置。
9. 前記一方の反射体に対する前記他方の反射体の前記相対的な位置情報は、前記一方の反射体から前記他方の反射体までの距離情報である、請求項８記載の自動演奏装置。
10. 自動演奏の状態を表す画像信号、及び、前記反射体の操作ガイドを表す画像信号、のいずれか又は双方を生成して、別個に設けられるテレビジョンモニタに表示する画像信号生成手段、をさらに備え、
    前記自動演奏の状態及び前記操作ガイドは、それぞれ、オブジェクトの形態の変化及び移動を用いて表示される、請求項１から９記載の自動演奏装置。
11. 自動演奏の状態を表す画像信号、及び、前記反射体の操作ガイドを表す画像信号、のいずれか又は双方を生成して、別個に設けられるテレビジョンモニタに表示する画像信号生成手段、をさらに備え、
    前記自動演奏の状態は、オブジェクトの形態の変化を用いて表示され、
    前記操作ガイドは、前記異なる音楽データに対応して、異なるオブジェクトの移動を用いて表示される、請求項５記載の自動演奏装置。
12. 前記トリガ発生手段は、前記反射体の前記状態情報が所定条件を満足し、かつ、前記反射体が前記操作ガイドに従ったタイミングで操作されたとき前記トリガを発生する、請求項１０又は１１記載の自動演奏装置。
13. 前記トリガが発生した回数に応じて、得点を決定する得点決定手段をさらに備える、請求項１２記載の自動演奏装置。
14. 前記反射体の前記状態情報に応じて、前記楽音信号の音量を制御する音量制御手段、をさらに備える、請求項１から１３記載の自動演奏装置。
15. 前記音量制御手段は、前記反射体の前記状態情報としての速さ情報に応じて、前記楽音信号の音量を制御する、請求項１４記載の自動演奏装置。
16. 自動演奏される音楽データ及び描画を行うための画像データを格納したメディアを装着する装着手段、をさらに備える請求項１から１５記載の自動演奏装置。
17. 前記画像信号生成手段は、前記テレビジョンモニタに表示しているオブジェクトの形態を、前記トリガに応じて変化させる、請求項１０又は１１記載の自動演奏装置。
18. 前記ストロボスコープは、
    特定の波長領域の光を出力する光源、を含み、
    前記撮像手段は、
    前記特定の波長領域の光のみを透過するフィルタと、
    前記フィルタを透過した光で形成される映像を撮影する撮像素子と、を含む、請求項１〜１７記載の自動演奏装置。
19. 請求項１記載の自動演奏装置と、
    自動演奏の状態を表す画像、及び、前記反射体の操作ガイドを表す画像、のいずれか又は双方を表示するテレビジョンモニタと、を備え、
    前記自動演奏の状態及び前記操作ガイドは、それぞれ、オブジェクトの形態の変化及び移動を用いて表示され、
    前記テレビジョンモニタは、前記自動演奏装置と別個に設けられる、自動演奏システム。

Images