JP5861517B2 - 演奏装置及びプログラム - Google Patents

Description

本発明は、演奏装置及びプログラムに関する。

従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。

このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。

特許第３５９９１１５号公報

しかしながら、特許文献１に記載の楽器ゲーム装置をそのまま適用した場合、仮想的な楽器セットの配置などのレイアウト情報は予め定められているため、演奏者の熟練度に応じてレイアウト情報を変更することはできなかった。

本発明は、このような状況に鑑みてなされたものであり、仮想的な楽器セットの配置などのレイアウト情報を、演奏者の熟練度に応じて変更できる演奏装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様の演奏装置は、
演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、
特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置座標を検出する特定操作位置検出手段と、
前記特定操作位置検出手段により検出された前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された領域に属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
前記検出された前記演奏部材の位置座標の、前記領域における分布度合を算出する分布算出手段と、
前記分布算出手段により算出された分布度合に応じて前記領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新する更新手段と、
を備えたことを特徴とする。

本発明によれば、仮想的な楽器セットの配置などのレイアウト情報を、演奏者の熟練度に応じて変更できる。

本発明の演奏装置の一実施形態の概要を示す図である。 上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。 上記スティック部の斜視図である。 上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。 上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。 本発明の演奏装置の一実施形態に係るセットレイアウト情報を示す図である。 上記セットレイアウト情報が示す概念を仮想平面上で可視化した図である。 上記スティック部の処理の流れを示すフローチャートである。 上記カメラユニット部の処理の流れを示すフローチャートである。 上記センターユニット部の処理の流れを示すフローチャートである。 上記センターユニット部のレベル判定処理の流れを示すフローチャートである。 仮想パッドの設定例を示す図である。 仮想パッドの設定例を示す図である。 上記実施形態に係るセットレイアウト情報を示す図である。 レベル報知の具体的表示例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態では、スティック部１０Ｒを、以下、「右手用スティック部１０Ｒ」と適宜呼び、スティック部１０Ｌを、以下、「左手用スティック部１０Ｌ」と適宜呼ぶ。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、右手用スティック部１０Ｒ及び左手用スティック部１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろしたりする動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。

カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。

センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。

次に、このような本実施形態の演奏装置１の構成について具体的に説明する。

［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。

［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。

ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。

ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、右手用スティック部１０Ｒのマーカー部１５（以下、「右マーカー」と適宜呼ぶ）と、左手用スティック部１０Ｌのマーカー部１５（以下、「左マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、右マーカーと左マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
右手用スティック部１０ＲのＣＰＵ１１及び左手用スティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。

図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。

モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり 、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、右手用スティック部１０Ｒのマーカー特徴情報と、左手用スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、右手用スティック部１０Ｒのマーカー部（右マーカー）の位置座標と、左手用スティック部１０Ｌのマーカー部（左マーカー）の位置座標とを個々に区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、右手用スティック部１０Ｒ及び左手用スティック部１０Ｌとの間で無線通信を行うこととしてもよい。

スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。

［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。

ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、右手用スティック部１０Ｒ及び左手用スティック部１０Ｌのマーカー部１５（右マーカー及び左マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。

ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信した右手用スティック部１０Ｒ及び左手用スティック部１０Ｌの夫々のマーカー特徴情報も併せて格納する。

イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。

ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。

ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。

音色データ等の格納方法としては、例えば、図６にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、サイズ（仮想パッドの形状及び径など）、及び音色（波形データ）などが対応づけられて格納されている。

ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図６参照）が示す概念を仮想平面上で可視化した図である。
図７は、４個の仮想パッド８１，８２，８３，８４が仮想平面上に配置されている様子を示しており、仮想パッド８１，８２，８３，８４には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッドの４つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１，８２，８３，８４が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が仮想パッド８１，８２，８３，８４に対応する領域に属した場合、仮想パッド８１，８２，８３，８４に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１配置と共に後述する表示装置３５１に表示してもよい。
また、本実施形態において、この仮想平面での位置座標は、カメラユニット部２０の撮像画像での位置座標と一致するものとする。

図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出されたセットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。

音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。

［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。

［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。

本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。

続いて、ＣＰＵ１１は、ステップＳ１乃至ステップＳ３の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。

［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。

続いて、ＣＰＵ２１は、右マーカー検出処理（ステップＳ１２）及び左マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、右手用スティック部１０Ｒのマーカー部１５（右マーカー）及び左手用スティック部１０Ｌのマーカー部１５（左マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。

続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。

［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、ショット対象となる仮想パッドを演奏者に報知する（ステップＳ２１）。この処理では、ＣＰＵ３１は、仮想パッド８１，８２，８３，８４のうち、ショット対象とする仮想パッドを選択して、演奏者に報知する。仮想パッドは、ランダムに選択されてもよいし、演奏者によるスイッチ３４１の操作に基づいて選択されてもよい。報知の方法として、ＣＰＵ３１は、例えば、選択された仮想パッドを一定周期で点滅させる画像を、表示回路３５を介して表示装置３５１に表示する。このとき、ＣＰＵ３１は、演奏者が仮想パッドをショットすべきショット回数を報知してもよいし、予め定められたショットすべき時間を報知してもよい。

続いて、ＣＰＵ３１は、カメラユニット部２０から、右マーカー及び左マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。また、ＣＰＵ３１は、右手用スティック部１０Ｒ及び左手用スティック部１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２３）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２４）。

続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ２６）。ショットなしと判断した場合には 、ＣＰＵ３１は、処理をステップＳ２２に移行させる。
ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報から、右マーカー及び左マーカー夫々のマーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１，８２，８３，８４のいずれかに対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。

続いて、ＣＰＵ３１は、ショット位置を記憶する（ステップＳ２７）。この処理では、ＣＰＵ３１は、右マーカー及び左マーカー夫々のマーカー検出情報に含まれる位置座標をＲＡＭ３３に記憶する。

続いて、ＣＰＵ３１は、演奏が終了したか否かを判断する（ステップＳ２８）。この処理では、ＣＰＵ３１は、仮想パッドをショットすべきショット回数が所定回数に到達したか否かを判断する。なお、ＣＰＵ３１は、ステップＳ２１での報知を行ってから所定時間が経過したか否かを判断してもよい。演奏が終了でないと判断されると、ＣＰＵ３１は、処理をステップＳ２２に移行させる。

演奏が終了した判断されると、ＣＰＵ３１は、図１１を参照して後述するレベル判定処理を実行する（ステップＳ２９）。

ステップＳ２９の処理が終了すると、ＣＰＵ３１は、センターユニット部処理を終了する。

［センターユニット部３０のレベル判定処理］
図１１は、図１０のセンターユニット部処理のうち、ステップＳ２９のレベル判定処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、ショット位置のばらつき度合を算出する（ステップＳ３１）。具体的には、ＣＰＵ３１は、図１０のステップＳ２７で取得した、右マーカー及び左マーカー夫々のマーカー検出情報に含まれる位置座標のうち、図１０のステップＳ２１で選択された仮想パッドの領域に属する全ての位置座標の平均位置座標を算出し、その平均位置座標から、当該選択された仮想パッドの領域に属する全ての位置座標夫々に対する距離を算出し、算出した距離の自乗をすべて加算した後、ショット回数で除算することで平均偏差を算出する。ＣＰＵ３１は、この平均偏差を両手用ばらつき度合としてＲＡＭ３３に格納する。また、ＣＰＵ３１は、右マーカーのマーカー検出情報に含まれる位置座標と、左マーカーのマーカー検出情報に含まれる位置座標とについて、別々にばらつき度合を上述した方法と同様に算出し、右手用ばらつき度合及び左手用ばらつき度合としてＲＡＭ３３に格納する。本実施例では上記ばらつき度合を平均偏差を用いたが、これの平方根である標準偏差をばらつき度合い（分布度合い）として用いてもよい。

続いて、ＣＰＵ３１は、レベル判定を行う（ステップＳ３２）。この処理では、ＣＰＵ３１は、ステップＳ３１でＲＡＭ３３に格納された両手用ばらつき度合に応じて、演奏者の演奏の熟練度を示すレベルを判定する。このとき、ＣＰＵ３１は、両手用ばらつき度合が所定の閾値より大きい場合に、レベルを初心者と判定し、所定の閾値以下の場合に、上級者と判定する。なお、閾値を複数設けて、レベルを複数段階に分けてもよい。

また、ＣＰＵ３１は、ＲＡＭ３３に格納された右手用ばらつき度合及び左手用ばらつき度合の夫々に応じて、演奏者の演奏の熟練度を示すレベルを判定してもよい。例えば、右手用ばらつき度合が所定の閾値以下である一方、左手用ばらつき度合が所定の閾値より大きい場合には、初心者と判定するという方法で当該レベルを判定する。なお、閾値を複数設けて、レベルを複数段階に分けてもよい。

続いて、ＣＰＵ３１は、仮想パッド設定を行う（ステップＳ３３）。この処理では、ＣＰＵ３１は、ステップＳ３１で算出されたばらつき度合に基づいて、仮想平面上における仮想パッドの位置及びサイズを設定する。例えば、ショット対象が仮想パッド８１であった際の両手用ばらつき度合が所定の閾値より大きい場合には、図１２に示すように、ＣＰＵ３１は、仮想パッド８１のサイズを大きくして、大きくした後のサイズをＲＡＭ３３に格納されているレイアウト情報のサイズ情報に書き込む。また、ＣＰＵ３１は、仮想平面上の位置を変更してもよい。なお、両手用ばらつき度合が所定の閾値以下である場合には、仮想パッド８１の位置及びサイズは変更されない。さらに、閾値が複数設けられている場合には、当該複数の閾値に基づいて決定される夫々のレベルに応じた位置及びサイズが決定される。

また、右手用ばらつき度合及び左手用ばらつき度合の夫々に基づいて、右手用スティック部１０Ｒ用及び左手用スティック部１０Ｌ夫々に対して仮想パッド８１の領域を別々に設定してもよい。例えば、右手用ばらつき度合が所定の閾値以下の場合であり、左手用ばらつき度合が所定の閾値より大きい場合には、図１３に示すように、ＣＰＵ３１は、仮想パッド８１に右手用スティック部１０Ｒ用の右手用領域９１を、位置及びサイズを変更せずに設定し、左手用スティック部１０Ｌ用の左手用領域９２を、サイズを大きくして設定する。この際位置を変更してもよい。なお、ショットタイミングにおける右マーカーのマーカー検出情報に含まれる位置座標が右手用領域９１に属した場合、仮想パッド８１に対応する音色で発音され、ショットタイミングにおける左マーカーのマーカー検出情報に含まれる位置座標が左手用領域９２に属した場合も、仮想パッド８１に対応する音色で発音される。

この場合、図１４に示すように、ＲＡＭ３３に格納されたセットレイアウト情報の各パッド情報において、ＣＰＵ３１は、右手用領域９１の位置及びサイズを、夫々、位置（右）及びサイズ（右）の格納領域に書き込み、左手用領域９２の位置及びサイズを、夫々、位置（左）及びサイズ（左）の格納領域に書き込む。

続いて、ＣＰＵ３１は、レベル報知を行う（ステップＳ３４）。この処理では、ＣＰＵ３１は、ステップＳ３２で判定したレベルを、表示回路３５を介して表示装置３５１に表示することで報知する。報知の具体的表示例を図１５に示す。ステップＳ３４の処理が終了すると、ＣＰＵ３１は、レベル判定処理を終了する。

以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、ＣＰＵ３１は、仮想パッド８１〜８４のうち、ショットタイミングにおいてスティック部１０がショットされるべき領域を指定し、ショットタイミングでのスティック部１０の位置座標を検出し、検出された位置座標が、仮想パッド８１〜８４のいずれかに属する場合に、対応する音色の楽音の発音を指示し、ショットタイミングにおけるスティック部１０の位置座標の指定された仮想パッドにおける分布度合を算出し算出された分布度合に応じて、指定された仮想パッドの配置を設定する。
よって、指定された仮想パッドをショットした際のばらつき度合、すなわち、演奏者の熟練度に応じて、レイアウト情報の仮想パッドの配置を変更できる。

また、本実施形態においては、スティック部１０は、右手用スティック部１０Ｒと、左手用スティック部１０Ｌとの一対の演奏部材であり、セットレイアウト情報は、仮想パッド８１〜８４夫々の領域について、右手用スティック部１０Ｒに対する領域と左手用スティック部１０Ｌに対する領域とを有している。さらに、ＣＰＵ３１は、右手用スティック部１０Ｒの位置座標と、左手用スティック部１０Ｌの位置座標とを別々に検出し、右手用スティック部１０Ｒの位置座標の分布度合と、左手用スティック部１０Ｌの位置座標の分布度合とを別々に算出し、算出された右手用スティック部１０Ｒの分布度合に応じて、指定された仮想パッドの右手用スティック部１０Ｒに対する領域の配置を設定すると共に、算出された左手用スティック部１０Ｌの分布度合に応じて、指定された仮想パッドの左手用スティック部１０Ｌに対する領域の配置を設定する。
よって、演奏者の左右夫々のスティック操作の熟練度に応じて、一の仮想パッドに対して、右手用の領域と左手用の領域とを別々に設定できる。

また、本実施形態においては、ＣＰＵ３１は、算出された分布度合に応じて、演奏者の演奏技術レベルを判定し、判定された演奏技術レベルを報知する。
よって、演奏者は、報知された演奏技術レベルを見ることで自身の演奏技術レベルを客観的に知ることができる。

また、本実施形態においては、ＣＰＵ３１は、算出された右手用スティック部１０Ｒの位置座標の分布度合と、左手用スティック部１０Ｌの位置座標の分布度合とに応じて、演奏者の演奏技術レベルを判定し、判定された演奏技術レベルを報知する。
よって、演奏者は、報知された演奏技術レベルを見ることで自身の演奏技術レベルを客観的に知ることができる。

以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。

また、上記実施形態では、ショット対象として指定された仮想パッドのみに対して領域を設定したが、これに限られず、ショット対象以外の仮想パッドも含めて領域を設定してもよい。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、
前記特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置座標を検出する特定操作位置検出手段と、
前記特定操作位置検出手段により検出された前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された領域に属するか否かを判別する判別手段と、
この判別手段により領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
前記検出された前記演奏部材の位置座標の、前記領域における分布度合を算出する分布算出手段と、
前記分布算出手段により算出された分布度合に応じて前記領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新する更新手段と、
を備えたことを特徴とする演奏装置。
［付記２］
前記分布算出手段により算出された前記分布度合に応じて、前記演奏者の演奏技術レベルを判定するレベル判定手段と、
前記レベル判定手段により決定された前記演奏者の演奏技術レベルを報知する報知手段と、をさらに備える、ことを特徴とする付記１に記載の演奏装置。
［付記３］
前記演奏部材は、右手用演奏部材と左手用演奏部材との一対からなり、
前記レイアウト情報は、前記右手用演奏部材に対する領域と前記左手用演奏部材に対する領域とを規定し、
前記特定操作位置検出手段は、前記右手用演奏部材の位置座標と、前記左手用演奏部材の位置座標とを別々に検出し、
前記分布算出手段は、前記右手用演奏部材の位置座標の前記分布度合と、前記左手用演奏部材の位置座標の前記分布度合とを別々に算出し、
前記更新手段は、前記算出された右手用演奏部材の分布度合に応じて、前記右手用演奏部材に対する領域を変更させ、前記算出された左手用演奏部材の分布度合に応じて、前記左手用演奏部材に対する領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新することを特徴とする付記１に記載の演奏装置。
［付記４］
前記算出された右手用演奏部材の位置座標の分布度合と、前記算出された左手用演奏部材の位置座標の前記分布度合とに応じて、前記演奏者の演奏技術レベルを判定するレベル判定手段と、
前記レベル判定手段により決定された前記演奏者の演奏技術レベルを報知する報知手段と、をさらに備える、
ことを特徴とする付記３に記載の演奏装置。
［付記５］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
前記特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置座標を検出する特定操作位置検出ステップと、
検出された前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された領域に属するか否かを判別する判別ステップと、
前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
前記検出された前記演奏部材の位置座標の、前記領域における分布度合を算出する分布算出ステップと、
前記算出された分布度合に応じて前記領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新する更新ステップと、
を実行させることを特徴とするプログラム。

１・・・演奏装置、１０Ｒ・・・右手用スティック部、１０Ｌ・・・左手用スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１〜８４・・・仮想パッド、９１・・・右手用領域、９２・・・左手用領域

Claims (5)

1. 演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
   前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、
   特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置座標を検出する特定操作位置検出手段と、
   前記特定操作位置検出手段により検出された前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された領域に属するか否かを判別する判別手段と、
   この判別手段により領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
   前記検出された前記演奏部材の位置座標の、前記領域における分布度合を算出する分布算出手段と、
   前記分布算出手段により算出された分布度合に応じて前記領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新する更新手段と、
   を備えたことを特徴とする演奏装置。
2. 前記分布算出手段により算出された前記分布度合に応じて、演奏者の演奏技術レベルを判定するレベル判定手段と、
   前記レベル判定手段により決定された前記演奏者の演奏技術レベルを報知する報知手段と、をさらに備える、ことを特徴とする請求項１に記載の演奏装置。
3. 前記演奏部材は、右手用演奏部材と左手用演奏部材との一対からなり、
   前記レイアウト情報は、前記右手用演奏部材に対する領域と前記左手用演奏部材に対する領域とを規定し、
   前記特定操作位置検出手段は、前記右手用演奏部材の位置座標と、前記左手用演奏部材の位置座標とを別々に検出し、
   前記分布算出手段は、前記右手用演奏部材の位置座標の前記分布度合と、前記左手用演奏部材の位置座標の前記分布度合とを別々に算出し、
   前記更新手段は、前記算出された右手用演奏部材の分布度合に応じて、前記右手用演奏部材に対する領域を変更させ、前記算出された左手用演奏部材の分布度合に応じて、前記左手用演奏部材に対する領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新することを特徴とする請求項１に記載の演奏装置。
4. 前記算出された右手用演奏部材の位置座標の分布度合と、前記算出された左手用演奏部材の位置座標の前記分布度合とに応じて、演奏者の演奏技術レベルを判定するレベル判定手段と、
   前記レベル判定手段により決定された前記演奏者の演奏技術レベルを報知する報知手段と、をさらに備える、
   ことを特徴とする請求項３に記載の演奏装置。
5. 演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、を有する演奏装置として用いられるコンピュータに、
   特定の演奏操作がなされたタイミングでの前記撮像画像平面上の前記演奏部材の位置座標を検出する特定操作位置検出ステップと、
   検出された前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された領域に属するか否かを判別する判別ステップと、
   前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
   前記検出された前記演奏部材の位置座標の、前記領域における分布度合を算出する分布算出ステップと、
   前記算出された分布度合に応じて前記領域を変更させるために、前記記憶手段に記憶されたレイアウト情報を更新する更新ステップと、
   を実行させることを特徴とするプログラム。

Images