JP6127367B2 - 演奏装置及びプログラム - Google Patents
演奏装置及びプログラム Download PDFInfo
- Publication number
- JP6127367B2 JP6127367B2 JP2012057967A JP2012057967A JP6127367B2 JP 6127367 B2 JP6127367 B2 JP 6127367B2 JP 2012057967 A JP2012057967 A JP 2012057967A JP 2012057967 A JP2012057967 A JP 2012057967A JP 6127367 B2 JP6127367 B2 JP 6127367B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- performance
- stick
- specific operation
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
- G10H2230/045—Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
- G10H2230/251—Spint percussion, i.e. mimicking percussion instruments; Electrophonic musical instruments with percussion instrument features; Electrophonic aspects of acoustic percussion instruments, MIDI-like control therefor
- G10H2230/275—Spint drum
- G10H2230/281—Spint drum assembly, i.e. mimicking two or more drums or drumpads assembled on a common structure, e.g. drum kit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
- G10H2240/211—Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、演奏装置及びプログラムに関する。
従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。
このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。
しかしながら、特許文献１に記載の楽器ゲーム装置をそのまま適用した場合、仮想的な楽器セットの配置などのレイアウト情報は予め定められているため、演奏者が移動した場合には、仮想的な楽器セットの配置はそのままであり、無理な体勢で演奏しなければならなかった。
本発明は、このような状況に鑑みてなされたものであり、演奏者が移動した場合であっても、仮想的な楽器セットの配置が演奏者の位置に応じて適切に変更されることで、無理な体勢で演奏しなくて済むことができる演奏装置を提供することを目的とする。
上記目的を達成するため、本発明の一態様の演奏装置は、
演奏者が保持可能な複数の演奏部材夫々の姿勢を検出する姿勢検出手段と、
前記演奏部材を被写体とする撮像画像平面上での前記複数の演奏部材夫々の位置を検出する位置検出手段と、
前記姿勢検出手段により検出された姿勢が特定の姿勢であり、かつ、前記撮像画像平面上における前記複数の演奏部材の夫々の位置の間に特定の条件が成立する場合に、前記演奏部材に対して特定の操作がなされたと判別する特定操作判別手段と、
前記特定の操作がなされたと判別された場合に、前記特定の操作がなされたときの前記複数の演奏部材夫々の位置に基づき、前記撮像画像平面上に配置された複数の領域夫々の位置を第１の位置から一律に変更する変更手段と、
前記複数の演奏部材のいずれかにより前記特定の操作がなされたタイミングにおいて、前記特定の操作がなされた演奏部材の位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、前記領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えたことを特徴とする。
演奏者が保持可能な複数の演奏部材夫々の姿勢を検出する姿勢検出手段と、
前記演奏部材を被写体とする撮像画像平面上での前記複数の演奏部材夫々の位置を検出する位置検出手段と、
前記姿勢検出手段により検出された姿勢が特定の姿勢であり、かつ、前記撮像画像平面上における前記複数の演奏部材の夫々の位置の間に特定の条件が成立する場合に、前記演奏部材に対して特定の操作がなされたと判別する特定操作判別手段と、
前記特定の操作がなされたと判別された場合に、前記特定の操作がなされたときの前記複数の演奏部材夫々の位置に基づき、前記撮像画像平面上に配置された複数の領域夫々の位置を第１の位置から一律に変更する変更手段と、
前記複数の演奏部材のいずれかにより前記特定の操作がなされたタイミングにおいて、前記特定の操作がなされた演奏部材の位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、前記領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えたことを特徴とする。
本発明によれば、演奏者が移動した場合であっても、仮想的な楽器セットの配置が演奏者の位置に応じて適切に変更されることで、無理な体勢で演奏しなくて済むことができる。
以下、本発明の実施形態について、図面を用いて説明する。
［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。
スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろす動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。
カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。
センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。
次に、このような本実施形態の演奏装置１の構成について具体的に説明する。
［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。
［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。
ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。
ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ｒのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｌのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。
ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。
モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。
図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。
モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
さらに、モーションセンサ部１４のセンサ値には、演奏者がスティック部１０を持ったときの長手方向と水平面とのなす角である「ピッチ角」を検出するために必要なデータも含まれる。
図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ｒのマーカー特徴情報と、スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ｒのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｌのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。
データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ｒ及びスティック部１０Ｌとの間で無線通信を行うこととしてもよい。
スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。入力情報としては、例えば、後述するセットレイアウト情報を変更するためのトリガーとなるセットレイアウト変更信号などが含まれる。
［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。
ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ｒ、１０Ｌのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。
ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ｒ、１０Ｌの夫々のマーカー特徴情報も併せて格納する。
イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。
データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。
［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。
ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。
ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。
音色データ等の格納方法としては、例えば、図６にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、サイズ（仮想パッドの形状及び径など）、及び音色（波形データ）などが対応づけられて格納されている。
ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図６参照）が示す概念を仮想平面上で可視化した図である。
図７は、６個の仮想パッド８１が仮想平面上に配置されている様子を示しており、各仮想パッド８１には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッドの６つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が各仮想パッド８１に対応する領域に属した場合、各仮想パッド８１に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１配置と共に後述する表示装置３５１に表示してもよい。また、ＲＯＭ３２に格納されたセットレイアウト情報を以下、「基準セットレイアウト情報」と呼び、基準セットレイアウト情報が有する位置及びサイズを以下、「基準位置」、「基準サイズ」と呼ぶ。
さらに、基準セットレイアウト情報は、図１１で後述するセットレイアウト変更処理により、基準セットレイアウト情報の有する基準位置、及び基準サイズが一律に変更される。
図７は、６個の仮想パッド８１が仮想平面上に配置されている様子を示しており、各仮想パッド８１には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッド、第８パッド、第９パッドの６つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が各仮想パッド８１に対応する領域に属した場合、各仮想パッド８１に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１配置と共に後述する表示装置３５１に表示してもよい。また、ＲＯＭ３２に格納されたセットレイアウト情報を以下、「基準セットレイアウト情報」と呼び、基準セットレイアウト情報が有する位置及びサイズを以下、「基準位置」、「基準サイズ」と呼ぶ。
さらに、基準セットレイアウト情報は、図１１で後述するセットレイアウト変更処理により、基準セットレイアウト情報の有する基準位置、及び基準サイズが一律に変更される。
図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出された基準セットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。
スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。
音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。
［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。
［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。
続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。
本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。
続いて、ＣＰＵ１１は、ステップＳ１乃至ステップＳ３の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。
続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ｒのマーカー部１５（第１マーカー）及びスティック部１０Ｌのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。
続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。
［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２１）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２３）。
続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２４）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ２５）。ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報から、マーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。ステップＳ２５の処理が終了すると、ＣＰＵ３１は、ステップＳ２１に処理を移行させる。
ステップＳ２４でＮＯと判断された場合には、ＣＰＵ３１は、セットレイアウト変更か否かを判断する（ステップＳ２６）。この処理では、スティック部１０Ｒ及び１０Ｌの一方が鉛直方向上向きかつ他方が鉛直方向下向きとなり、さらに、スティック部１０Ｒ、１０Ｌの長さを一辺とする正方形が形成された状態で、スティック部１０Ｒ及び１０Ｌが所定時間静止したか否かを判断する。
具体的には、ＣＰＵ３１は、ステップＳ２２で取得した姿勢情報として、スティック部１０Ｒ及び１０Ｌの一方のピッチ角が９０度かつ他方のピッチ角が−９０度となったことを検出し、かつ、ステップＳ２１で取得したマーカー検出情報として、スティック部１０Ｒ及び１０Ｌのマーカー部１５の位置座標を夫々（Ｒｘ１，Ｒｙ１）、（Ｌｘ１，Ｌｙ１）とした場合に、（Ｒｘ１−Ｌｘ１）＝（Ｒｙ１−Ｌｙ１）の関係が成立した状態で、ステップＳ２１で取得したモーションセンサ情報のうち、加速度センサ値及び角速度センサ値が共に０である状態が所定時間継続したか否かを判断する。
具体的には、ＣＰＵ３１は、ステップＳ２２で取得した姿勢情報として、スティック部１０Ｒ及び１０Ｌの一方のピッチ角が９０度かつ他方のピッチ角が−９０度となったことを検出し、かつ、ステップＳ２１で取得したマーカー検出情報として、スティック部１０Ｒ及び１０Ｌのマーカー部１５の位置座標を夫々（Ｒｘ１，Ｒｙ１）、（Ｌｘ１，Ｌｙ１）とした場合に、（Ｒｘ１−Ｌｘ１）＝（Ｒｙ１−Ｌｙ１）の関係が成立した状態で、ステップＳ２１で取得したモーションセンサ情報のうち、加速度センサ値及び角速度センサ値が共に０である状態が所定時間継続したか否かを判断する。
セットレイアウト変更と判断した場合には、ＣＰＵ３１は、セットレイアウト変更処理を実行し（ステップＳ２７）、ステップＳ２１に処理を移行させる。他方、セットレイアウト変更無し、と判断した場合には、ＣＰＵ３１は、ステップＳ２１に処理を移行させる。
なお、本実施形態における仮想平面はＸ−Ｙ平面とし、横方向をＸ軸方向、縦方向をＹ軸方向とする。
なお、本実施形態における仮想平面はＸ−Ｙ平面とし、横方向をＸ軸方向、縦方向をＹ軸方向とする。
スティック部１０Ｒ及び１０Ｌが所定時間静止したか否かの判断において、ＣＰＵ３１は、スティック部１０のスイッチ１７１が操作されたことによりセットレイアウト変更信号をスティック部１０から受信した場合には、所定時間経過する前に、セットレイアウト変更と判断してもよい。
［センターユニット部３０のセットレイアウト変更処理］
図１１は、図１０のセンターユニット部処理のうち、ステップＳ２７のセットレイアウト変更処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、中心座標とオフセット値を算出する（ステップＳ３１）。ここで、スティック部１０Ｒ及び１０Ｌの一方が鉛直方向上向きかつ他方が鉛直方向下向きとなり、さらに、スティック部１０Ｒ、１０Ｌの長さを一辺とする正方形が形成された状態での、基準セットレイアウト情報に対応するスティック部１０Ｒ及び１０Ｌの位置を「スティック基準位置」（図１２参照）と適宜呼び、ステップＳ２６において当該正方形が形成され、セットレイアウト変更と判断された時点でのスティック部１０Ｒ及び１０Ｌの位置を「スティック変更位置」（図１３参照）と適宜呼ぶ。
また、スティック基準位置でのスティック部１０Ｒ及び１０Ｌのマーカー部１５の位置座標を夫々（Ｒｘ０，Ｒｙ０）、（Ｌｘ０，Ｌｙ０）とすると、形成された正方形の中心座標は（（Ｒｘ０＋Ｌｘ０）／２，（Ｒｙ０＋Ｌｙ０）／２）なる。これらの座標は、スティック基準位置に対応する座標として予め定められている。
図１１は、図１０のセンターユニット部処理のうち、ステップＳ２７のセットレイアウト変更処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、中心座標とオフセット値を算出する（ステップＳ３１）。ここで、スティック部１０Ｒ及び１０Ｌの一方が鉛直方向上向きかつ他方が鉛直方向下向きとなり、さらに、スティック部１０Ｒ、１０Ｌの長さを一辺とする正方形が形成された状態での、基準セットレイアウト情報に対応するスティック部１０Ｒ及び１０Ｌの位置を「スティック基準位置」（図１２参照）と適宜呼び、ステップＳ２６において当該正方形が形成され、セットレイアウト変更と判断された時点でのスティック部１０Ｒ及び１０Ｌの位置を「スティック変更位置」（図１３参照）と適宜呼ぶ。
また、スティック基準位置でのスティック部１０Ｒ及び１０Ｌのマーカー部１５の位置座標を夫々（Ｒｘ０，Ｒｙ０）、（Ｌｘ０，Ｌｙ０）とすると、形成された正方形の中心座標は（（Ｒｘ０＋Ｌｘ０）／２，（Ｒｙ０＋Ｌｙ０）／２）なる。これらの座標は、スティック基準位置に対応する座標として予め定められている。
ステップＳ３１の具体的な処理としては、ＣＰＵ３１は、ステップＳ２６においてセットレイアウト変更と判断された時点に検出したスティック部１０Ｒ及び１０Ｌのマーカー部１５の夫々の位置座標（Ｒｘ１，Ｒｙ１）、（Ｌｘ１，Ｌｙ１）から、正方形の中心座標（（Ｒｘ１＋Ｌｘ１）／２，（Ｒｙ１＋Ｌｙ１）／２）を算出し、さらに、スティック基準位置での正方形の中心座標とスティック変更位置での正方形の中心座標とのオフセット値（（Ｒｘ１＋Ｌｘ１）／２−（Ｒｘ０＋Ｌｘ０）／２，（Ｒｙ１＋Ｌｙ１）／２−（Ｒｙ０＋Ｌｙ０）／２）を算出する。このオフセット値が、基準セットレイアウト情報における複数の仮想パッド８１夫々の基準位置を変更後のセットレイアウト情報の位置に移動させる際のオフセット値となる。
続いて、ＣＰＵ３１は、拡大・縮小率を算出する（ステップＳ３２）。拡大・縮小率とは、基準セットレイアウト情報における複数の仮想パッド８１夫々の基準サイズを変更後のセットレイアウト情報のサイズに拡大又は縮小する際の倍率である。
具体的には、ＣＰＵ３１は、横方向の拡大・縮小率（（Ｒｘ１−Ｌｘ１）／（Ｒｘ０−Ｌｘ０）の大きさ）、及び縦方向の拡大・縮小率（（Ｒｙ１−Ｌｙ１）／（Ｒｙ０−Ｌｙ０）の大きさ）を算出する。
具体的には、ＣＰＵ３１は、横方向の拡大・縮小率（（Ｒｘ１−Ｌｘ１）／（Ｒｘ０−Ｌｘ０）の大きさ）、及び縦方向の拡大・縮小率（（Ｒｙ１−Ｌｙ１）／（Ｒｙ０−Ｌｙ０）の大きさ）を算出する。
続いて、ＣＰＵ３１は、仮想パッドの位置を調整する（ステップＳ３３）。具体的には、ＣＰＵ３１は、基準セットレイアウト情報における複数の仮想パッド８１夫々の基準位置及び基準サイズにより決定される領域に含まれる全ての位置座標に対して、ステップＳ３２で算出した縦横各方向の拡大・縮小率を乗算し、乗算後の全ての位置座標に対してステップＳ３１で算出したオフセット値を加算する。
例えば、図１３に示すように、基準セットレイアウト情報に基づいて、演奏を行っている最中に演奏者が、横方向及び／又は前後方向に移動して、スティック部１０Ｒ及び１０Ｌを用いて正方形を形成すると、基準セットレイアウト情報における複数の仮想パッド８１夫々が、一律にオフセットかつ縮小（又は拡大）されるように変更されて、演奏者は、変更後のセットレイアウト情報に基づいて演奏することができる。
ステップＳ３３の処理が終了すると、ＣＰＵ３１は、セットレイアウト変更処理を終了する。
例えば、図１３に示すように、基準セットレイアウト情報に基づいて、演奏を行っている最中に演奏者が、横方向及び／又は前後方向に移動して、スティック部１０Ｒ及び１０Ｌを用いて正方形を形成すると、基準セットレイアウト情報における複数の仮想パッド８１夫々が、一律にオフセットかつ縮小（又は拡大）されるように変更されて、演奏者は、変更後のセットレイアウト情報に基づいて演奏することができる。
ステップＳ３３の処理が終了すると、ＣＰＵ３１は、セットレイアウト変更処理を終了する。
以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、セットレイアウト情報は、複数の仮想パッド８１夫々の配置の基準となる基準セットレイアウト情報を有し、ＣＰＵ３１は、一対のスティック部１０に対して正方形を形成する操作がなされたか否かを判別し、正方形を形成する操作がなされたと判別された場合に、基準セットレイアウト情報に対応する撮像画像平面上の予め定められた位置座標と、正方形を形成する操作がなされた場合での撮像画像平面上の一対のスティック部１０の位置座標とに基づいて、複数の仮想パッド８１夫々の配置を一律に調整する。
よって、演奏者がカメラユニット部２０に対して移動した場合に、移動後に所定の操作を行うことで、複数の仮想パッド８１夫々の配置が演奏者の位置に応じて適切かつ一律に変更されるので、無理な体勢で演奏しなくて済むようにできる。
本実施形態においては、セットレイアウト情報は、複数の仮想パッド８１夫々の配置の基準となる基準セットレイアウト情報を有し、ＣＰＵ３１は、一対のスティック部１０に対して正方形を形成する操作がなされたか否かを判別し、正方形を形成する操作がなされたと判別された場合に、基準セットレイアウト情報に対応する撮像画像平面上の予め定められた位置座標と、正方形を形成する操作がなされた場合での撮像画像平面上の一対のスティック部１０の位置座標とに基づいて、複数の仮想パッド８１夫々の配置を一律に調整する。
よって、演奏者がカメラユニット部２０に対して移動した場合に、移動後に所定の操作を行うことで、複数の仮想パッド８１夫々の配置が演奏者の位置に応じて適切かつ一律に変更されるので、無理な体勢で演奏しなくて済むようにできる。
また、本実施形態においては、セットレイアウト情報は、複数の仮想パッド８１夫々に、さらに位置及びサイズを対応付けており、基準セットレイアウト情報は、複数の仮想パッド８１夫々の配置の基準となる基準位置及び基準サイズを含み、ＣＰＵ３１は、複数の仮想パッド８１夫々の基準位置からの位置変化量及び基準サイズからのサイズ変化率を一律に算出し、算出された位置変化量及びサイズ変化率に基づいて、複数の仮想パッド８１夫々の位置及びサイズを調整する。
よって、演奏者がカメラユニット部２０に対して前後左右に移動した場合、左右の移動に対しては、複数の仮想パッド８１夫々の位置を適切に平行移動させて、前後の移動に対しては、複数の仮想パッド８１夫々のサイズを適切に拡大・縮小できる。
よって、演奏者がカメラユニット部２０に対して前後左右に移動した場合、左右の移動に対しては、複数の仮想パッド８１夫々の位置を適切に平行移動させて、前後の移動に対しては、複数の仮想パッド８１夫々のサイズを適切に拡大・縮小できる。
また、本実施形態においては、スティック部１０は、スティック部１０自体の姿勢情報を検出し、ＣＰＵ３１は、検出された一対のスティック部１０自体の姿勢情報が鉛直方向に互いに逆向きとなっており、かつ、カメラユニット部２０における一対のスティック部１０の位置座標の間にＸ座標の差の大きさとＹ座標の差の大きさが等しいという条件が成立する場合に、正方形を形成する操作がなされたと判別する。
よって、演奏者は、セットレイアウト情報の位置及びサイズを調整するトリガーとなる正方形を形成する操作を容易に行うことができる。
よって、演奏者は、セットレイアウト情報の位置及びサイズを調整するトリガーとなる正方形を形成する操作を容易に行うことができる。
以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。
また、上記実施形態では、スティック部１０の長さを一辺とする正方形を形成することで、レイアウト情報の調整のトリガーとしたが、これに限られず、平行四辺形など他の図形を形成するようにしてもよい。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別手段と、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記記憶手段に記憶されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えた演奏装置。
［付記２］
前記レイアウト情報はさらに、前記複数の領域夫々のサイズが対応付けられ、
前記変更手段は、前記記憶手段に記憶された複数の領域の夫々の位置を基準とした位置変化量、及び前記記憶手段に記憶された複数の領域の夫々のサイズを基準としたサイズ変化率を一律に算出し、当該算出された前記位置変化量及び前記サイズ変化率に基づいて、前記記憶手段に記憶された複数の領域の夫々の位置及びサイズを変更する、付記１に記載の演奏装置。
［付記３］
前記演奏部材は、前記演奏部材本体の姿勢を検出する姿勢検出手段をさらに備え、
前記所定操作判別手段は、前記姿勢検出手段により検出された姿勢が所定の姿勢であり、かつ、前記撮像画像平面上における前記演奏部材の位置の間に所定の条件が成立する場合に、前記所定の操作がなされたと判別する、
ことを特徴とする付記１又は２に記載の演奏装置。
［付記４］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、 前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別ステップと、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更ステップと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示するステップと、
を実行させるプログラム。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置を検出する撮像装置と、
前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別手段と、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記記憶手段に記憶されたレイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えた演奏装置。
［付記２］
前記レイアウト情報はさらに、前記複数の領域夫々のサイズが対応付けられ、
前記変更手段は、前記記憶手段に記憶された複数の領域の夫々の位置を基準とした位置変化量、及び前記記憶手段に記憶された複数の領域の夫々のサイズを基準としたサイズ変化率を一律に算出し、当該算出された前記位置変化量及び前記サイズ変化率に基づいて、前記記憶手段に記憶された複数の領域の夫々の位置及びサイズを変更する、付記１に記載の演奏装置。
［付記３］
前記演奏部材は、前記演奏部材本体の姿勢を検出する姿勢検出手段をさらに備え、
前記所定操作判別手段は、前記姿勢検出手段により検出された姿勢が所定の姿勢であり、かつ、前記撮像画像平面上における前記演奏部材の位置の間に所定の条件が成立する場合に、前記所定の操作がなされたと判別する、
ことを特徴とする付記１又は２に記載の演奏装置。
［付記４］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、 前記撮像画像平面に配置された複数の領域の位置及び当該複数の領域夫々に音色を対応させたレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
前記演奏部材に対して所定の操作がなされたか否かを判別する所定操作判別ステップと、
前記所定の操作がなされたと判別された場合に、当該所定の操作がなされたときの前記演奏部材の位置に基づき、前記記憶手段に記憶されたレイアウト情報内の複数の領域夫々の位置を一律に変更する変更ステップと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示するステップと、
を実行させるプログラム。
１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１・・・仮想パッド
Claims (3)
- 演奏者が保持可能な複数の演奏部材夫々の姿勢を検出する姿勢検出手段と、
前記演奏部材を被写体とする撮像画像平面上での前記複数の演奏部材夫々の位置を検出する位置検出手段と、
前記姿勢検出手段により検出された姿勢が特定の姿勢であり、かつ、前記撮像画像平面上における前記複数の演奏部材の夫々の位置の間に特定の条件が成立する場合に、前記演奏部材に対して特定の操作がなされたと判別する特定操作判別手段と、
前記特定の操作がなされたと判別された場合に、前記特定の操作がなされたときの前記複数の演奏部材夫々の位置に基づき、前記撮像画像平面上に配置された複数の領域夫々の位置を第１の位置から一律に変更する変更手段と、
前記複数の演奏部材のいずれかにより前記特定の操作がなされたタイミングにおいて、前記特定の操作がなされた演奏部材の位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、前記領域に対応する音色の楽音の発音を指示する発音指示手段と、
を備えた演奏装置。 - 前記複数の領域夫々に対して第１のサイズが夫々対応付けられ、
前記変更手段は、前記位置検出手段により検出された前記複数の演奏部材夫々を前記第１の位置から第２の位置に移動させた場合に前記複数の演奏部材夫々の位置の変化量を算出し、前記各変化量に基づいて前記複数の領域の夫々の前記第１の位置を基準とした位置変化量を算出するとともに、前記第１の位置における複数の演奏部材夫々の位置の間の差分と前記第２の位置における複数の演奏部材夫々の位置の間の差分とに基づいて、前記複数の領域の夫々の前記第１のサイズを基準としたサイズ変化率を算出し、前記算出された前記位置変化量及び前記サイズ変化率に基づいて、前記複数の領域の夫々の位置及びサイズを変更する、請求項１に記載の演奏装置。 - 演奏者が保持可能な複数の演奏部材夫々の姿勢を検出する姿勢検出手段を有する演奏装置として用いられるコンピュータに、
前記演奏部材を被写体とする撮像画像平面上での前記複数の演奏部材夫々の位置を検出する位置検出ステップと、
前記姿勢検出手段により検出された姿勢が特定の姿勢であり、かつ、前記撮像画像平面上における前記複数の演奏部材夫々の位置の間に特定の条件が成立する場合に、前記演奏部材に対して特定の操作がなされたと判別する特定操作判別ステップと、
前記特定の操作がなされたと判別された場合に、前記特定の操作がなされたときの前記複数の演奏部材夫々の位置に基づき、前記撮像画像平面上に配置された複数の領域夫々の位置を第１の位置から一律に変更する変更ステップと、
前記複数の演奏部材のいずれかにより前記特定の操作がなされたタイミングにおいて、前記特定の操作がなされた演奏部材の位置が、前記撮像画像平面上に配置された複数の領域のいずれかに属するか否かを判別するステップと、
前記いずれかの領域に属すると判別された場合に、前記領域に対応する楽音の発音を指示するステップと、
を実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012057967A JP6127367B2 (ja) | 2012-03-14 | 2012-03-14 | 演奏装置及びプログラム |
| US13/754,288 US8664508B2 (en) | 2012-03-14 | 2013-01-30 | Musical performance device, method for controlling musical performance device and program storage medium |
| CN201310081022.0A CN103310768B (zh) | 2012-03-14 | 2013-03-14 | 演奏装置以及演奏装置的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012057967A JP6127367B2 (ja) | 2012-03-14 | 2012-03-14 | 演奏装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013190695A JP2013190695A (ja) | 2013-09-26 |
| JP6127367B2 true JP6127367B2 (ja) | 2017-05-17 |
Family
ID=49135920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012057967A Active JP6127367B2 (ja) | 2012-03-14 | 2012-03-14 | 演奏装置及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8664508B2 (ja) |
| JP (1) | JP6127367B2 (ja) |
| CN (1) | CN103310768B (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5573899B2 (ja) * | 2011-08-23 | 2014-08-20 | カシオ計算機株式会社 | 演奏装置 |
| US9035160B2 (en) * | 2011-12-14 | 2015-05-19 | John W. Rapp | Electronic music controller using inertial navigation |
| JP5549698B2 (ja) | 2012-03-16 | 2014-07-16 | カシオ計算機株式会社 | 演奏装置、方法及びプログラム |
| JP5598490B2 (ja) * | 2012-03-19 | 2014-10-01 | カシオ計算機株式会社 | 演奏装置、方法及びプログラム |
| JP2013213946A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
| US9286875B1 (en) * | 2013-06-10 | 2016-03-15 | Simply Sound | Electronic percussion instrument |
| GB2516634A (en) * | 2013-07-26 | 2015-02-04 | Sony Corp | A Method, Device and Software |
| CN105807907B (zh) * | 2014-12-30 | 2018-09-25 | 富泰华工业（深圳）有限公司 | 体感交响乐演奏系统及方法 |
| WO2016111716A1 (en) | 2015-01-08 | 2016-07-14 | Muzik LLC | Interactive instruments and other striking objects |
| US9966051B2 (en) * | 2016-03-11 | 2018-05-08 | Yamaha Corporation | Sound production control apparatus, sound production control method, and storage medium |
| US9542919B1 (en) * | 2016-07-20 | 2017-01-10 | Beamz Interactive, Inc. | Cyber reality musical instrument and device |
| CN106652656A (zh) * | 2016-10-18 | 2017-05-10 | 朱金彪 | 利用虚拟乐器学习和演奏的方法、装置以及使用其的眼镜或头盔 |
| US10319352B2 (en) * | 2017-04-28 | 2019-06-11 | Intel Corporation | Notation for gesture-based composition |
| US10102835B1 (en) * | 2017-04-28 | 2018-10-16 | Intel Corporation | Sensor driven enhanced visualization and audio effects |
| CZ309241B6 (cs) * | 2017-05-30 | 2022-06-15 | Univerzita Tomáše Bati ve Zlíně | Způsob vytváření tónů na základě snímané polohy těles v prostoru |
| EP3428911B1 (en) * | 2017-07-10 | 2021-03-31 | Harman International Industries, Incorporated | Device configurations and methods for generating drum patterns |
| JP7081921B2 (ja) * | 2017-12-28 | 2022-06-07 | 株式会社バンダイナムコエンターテインメント | プログラム及びゲーム装置 |
| JP7081922B2 (ja) * | 2017-12-28 | 2022-06-07 | 株式会社バンダイナムコエンターテインメント | プログラム、ゲーム装置及びゲームを実行するための方法 |
| US10991349B2 (en) | 2018-07-16 | 2021-04-27 | Samsung Electronics Co., Ltd. | Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2071389B (en) | 1980-01-31 | 1983-06-08 | Casio Computer Co Ltd | Automatic performing apparatus |
| US5017770A (en) | 1985-10-07 | 1991-05-21 | Hagai Sigalov | Transmissive and reflective optical control of sound, light and motion |
| US5081896A (en) | 1986-11-06 | 1992-01-21 | Yamaha Corporation | Musical tone generating apparatus |
| US4968877A (en) | 1988-09-14 | 1990-11-06 | Sensor Frame Corporation | VideoHarp |
| IL95998A (en) | 1990-10-15 | 1995-08-31 | Interactive Light Inc | Apparatus and process for operating musical instruments video games and the like by means of radiation |
| US5442168A (en) | 1991-10-15 | 1995-08-15 | Interactive Light, Inc. | Dynamically-activated optical instrument for producing control signals having a self-calibration means |
| US5475214A (en) | 1991-10-15 | 1995-12-12 | Interactive Light, Inc. | Musical sound effects controller having a radiated emission space |
| JP3599115B2 (ja) * | 1993-04-09 | 2004-12-08 | カシオ計算機株式会社 | 楽器ゲーム装置 |
| JP3375773B2 (ja) * | 1995-02-10 | 2003-02-10 | 株式会社リコー | タッチパネル付き入力表示装置 |
| USRE37654E1 (en) | 1996-01-22 | 2002-04-16 | Nicholas Longo | Gesture synthesizer for electronic sound device |
| JPH09325860A (ja) | 1996-06-04 | 1997-12-16 | Alps Electric Co Ltd | 座標入力装置 |
| GB9820747D0 (en) | 1998-09-23 | 1998-11-18 | Sigalov Hagai | Pre-fabricated stage incorporating light-to-sound apparatus |
| US6222465B1 (en) | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
| US20010035087A1 (en) | 2000-04-18 | 2001-11-01 | Morton Subotnick | Interactive music playback system utilizing gestures |
| US6388183B1 (en) | 2001-05-07 | 2002-05-14 | Leh Labs, L.L.C. | Virtual musical instruments with user selectable and controllable mapping of position input to sound output |
| CA2457711A1 (en) * | 2001-08-16 | 2003-02-27 | Humanbeams, Inc. | Music instrument system and method |
| US7174510B2 (en) | 2001-10-20 | 2007-02-06 | Hal Christopher Salter | Interactive game providing instruction in musical notation and in learning an instrument |
| CN1280700C (zh) * | 2002-07-04 | 2006-10-18 | 皇家飞利浦电子股份有限公司 | 自适应虚拟键盘 |
| US20030159567A1 (en) | 2002-10-18 | 2003-08-28 | Morton Subotnick | Interactive music playback system utilizing gestures |
| US7060887B2 (en) * | 2003-04-12 | 2006-06-13 | Brian Pangrle | Virtual instrument |
| JP4063231B2 (ja) * | 2004-03-03 | 2008-03-19 | ヤマハ株式会社 | 音響信号処理装置の制御用プログラム |
| KR100651516B1 (ko) * | 2004-10-14 | 2006-11-29 | 삼성전자주식회사 | 악기연주 서비스 제공방법 및 장치 |
| US7402743B2 (en) | 2005-06-30 | 2008-07-22 | Body Harp Interactive Corporation | Free-space human interface for interactive music, full-body musical instrument, and immersive media controller |
| KR101189214B1 (ko) | 2006-02-14 | 2012-10-09 | 삼성전자주식회사 | 동작에 따른 음을 출력하는 장치 및 방법 |
| JP4757089B2 (ja) | 2006-04-25 | 2011-08-24 | 任天堂株式会社 | 音楽演奏プログラムおよび音楽演奏装置 |
| JP4679429B2 (ja) * | 2006-04-27 | 2011-04-27 | 任天堂株式会社 | 音出力プログラムおよび音出力装置 |
| JP4215104B2 (ja) * | 2007-01-12 | 2009-01-28 | ヤマハ株式会社 | 楽音制御装置 |
| JP4916390B2 (ja) * | 2007-06-20 | 2012-04-11 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| US8558100B2 (en) | 2008-06-24 | 2013-10-15 | Sony Corporation | Music production apparatus and method of producing music by combining plural music elements |
| US8169414B2 (en) | 2008-07-12 | 2012-05-01 | Lim Seung E | Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface |
| US8858330B2 (en) * | 2008-07-14 | 2014-10-14 | Activision Publishing, Inc. | Music video game with virtual drums |
| US8198526B2 (en) * | 2009-04-13 | 2012-06-12 | 745 Llc | Methods and apparatus for input devices for instruments and/or game controllers |
| JP5067458B2 (ja) * | 2010-08-02 | 2012-11-07 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
| JP5338794B2 (ja) * | 2010-12-01 | 2013-11-13 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
| US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
| JP5712603B2 (ja) * | 2010-12-21 | 2015-05-07 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
| GB201119447D0 (en) * | 2011-11-11 | 2011-12-21 | Fictitious Capital Ltd | Computerised percussion instrument |
-
2012
- 2012-03-14 JP JP2012057967A patent/JP6127367B2/ja active Active
-
2013
- 2013-01-30 US US13/754,288 patent/US8664508B2/en active Active
- 2013-03-14 CN CN201310081022.0A patent/CN103310768B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103310768B (zh) | 2015-12-02 |
| US8664508B2 (en) | 2014-03-04 |
| US20130239780A1 (en) | 2013-09-19 |
| CN103310768A (zh) | 2013-09-18 |
| JP2013190695A (ja) | 2013-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6127367B2 (ja) | 演奏装置及びプログラム | |
| JP6024136B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP5966465B2 (ja) | 演奏装置、プログラム及び演奏方法 | |
| JP5598490B2 (ja) | 演奏装置、方法及びプログラム | |
| JP2013182195A (ja) | 演奏装置及びプログラム | |
| JP5573899B2 (ja) | 演奏装置 | |
| US8710345B2 (en) | Performance apparatus, a method of controlling the performance apparatus and a program recording medium | |
| JP5533915B2 (ja) | 習熟度判定装置、習熟度判定方法及びプログラム | |
| JP2013040991A (ja) | 操作子、操作方法及びプログラム | |
| JP5549698B2 (ja) | 演奏装置、方法及びプログラム | |
| JP5861517B2 (ja) | 演奏装置及びプログラム | |
| JP6398291B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP6111526B2 (ja) | 楽音発生装置 | |
| JP6098081B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP5942627B2 (ja) | 演奏装置、方法及びプログラム | |
| JP6098083B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP6094111B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP5974567B2 (ja) | 楽音発生装置 | |
| JP5935399B2 (ja) | 楽音発生装置 | |
| JP6098082B2 (ja) | 演奏装置、演奏方法及びプログラム | |
| JP2013195626A (ja) | 楽音発生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6127367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |