JP7307422B2 - 演奏支援システム、方法及びプログラム - Google Patents

Description

本発明は、演奏支援システム、方法及びプログラム並びに楽器管理システム、方法及びプログラムに関する。

従来、ギター、バイオリン、ピアノ、サックス、トランペット、フルート等の楽器を調律するために用いる調律器（チューナ）が知られている（例えば、特許文献１、２参照）。

従来の調律器は、装置全体を動作させるための電池等の電源と、楽器の操作により生じた楽音の振動を検出する振動センサーと、電源のオン／オフ、調律の設定条件、及び表示条件等を入力するためのスイッチ等の操作手段と、調律の設定条件や調律の状況を表示するための表示手段と、振動センサーや操作手段からの入力を基に計算を行い、表示手段に情報を表示させる計算機（ＣＰＵ）とから構成されるのが一般的である。

例えば、ギターのような弦楽器の場合、調律器は一般的に弦楽器のヘッド部に取り付けられる。弦楽器において調律対象となる弦が操作されると、その操作により生じた楽音の振動は振動センサーの出力信号に基づいて検出される。そして、検出された周波数と基準周波数との周波数偏差が検出され、その検出結果に基づいて調律情報が表示手段に表示される。これにより、演奏者は、表示手段に表示された調律情報を確認しながら、楽器の調律を行うことが可能となっている。

特開２０１０－１８１７９８号公報 特開２０１２－１４１３５８号公報

しかしながら、従来の調律器に備えらえる振動センサーの感度方向は１軸のみであるため、楽器に取り付けられた調律器の姿勢（取り付け状態）によっては、振動センサーの感度が不足してしまい、楽器から発生する楽音の振動を的確に捉えられない場合がある。

この対応策の１つとして、楽器に対する調律器の取り付け位置や向きを規定することが考えられる。これにより、楽器から発生する楽音の振動に対して振動センサーの感度が最も大きくなるように調律器を配置することが可能となる。しかし、このような対応策は、楽器や調律器におけるデザインの制約を招き、演奏者にとって使い勝手の良くないという問題がある。

また、楽器の特性により、特定の周波数において振動センサーの感度方向の振動が弱く、他の方向の振動が強く出るような場合もある。このような場合、従来の調律器では、振動センサーの感度が１軸方向のみである指向性を有するため、楽器の調律を正確に行えないことになる。

特許文献１、２には、振動センサーを備えた調律器が開示されているものの、これらの課題については全く言及されておらず、当然のことながら、その課題を解決するための手段については記載も示唆もない。

本発明は、このような事情に鑑みてなされたもので、使い勝手が良く、安定かつ正確な調律が可能な楽器用調律器を実現するとともに、そのような楽器用調律器の機能を利用して、ユーザーの演奏を支援したり、楽器の管理を行うための演奏支援システム、方法及びプログラム並びに楽器管理システム、方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る演奏支援システムは、楽器に取り付けられるセンサーデバイスと、センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、センサーデバイスは、少なくとも２つの検出軸を有する加速度センサーと、加速度センサーから出力された検出信号を操作デバイスに送信するセンサー側通信手段とを備え、操作デバイスは、センサーデバイス及び講師端末と通信するための操作側通信手段であって、センサーデバイスから送信された検出信号を受信する操作側通信手段と、表示手段と、検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信し、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる制御手段とを備える。

本発明の第２の態様に係る演奏支援システムは、第１の態様において、制御手段は、楽器の演奏中における検出信号に応じて、ユーザーの演奏をアシストするための演奏支援情報を生成し、演奏支援情報に基づいて、表示手段の表示を制御するようにしたものである。

本発明の第３の態様に係る演奏支援システムは、第２の態様において、制御手段は、検出信号に応じて演奏状況の評価を行い、演奏状況の評価の結果を表示手段に表示させるようにしたものである。

本発明の第４の態様に係る演奏支援システムは、第２又は第３の態様において、制御手段は、操作デバイスに通信可能に接続された外部機器に対して、検出信号に応じた指示を送信するようにしたものである。

本発明の第５の態様に係る演奏支援システムは、第２から第４の態様のいずれかにおいて、制御手段は、楽譜を表示手段に表示させ、検出信号に応じて演奏の進行状況を検出し、演奏の進行状況に応じて、楽譜上に演奏箇所を示す表示を行うか、又は楽譜のページ送りを行うようにしたものである。

本発明の第６の態様に係る演奏支援システムは、楽器に取り付けられるセンサーデバイスと、センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、センサーデバイスは、加速度センサーと、加速度センサーから出力された検出信号を操作デバイスに送信するセンサー側通信手段とを備え、操作デバイスは、センサーデバイス及び講師端末と通信するための操作側通信手段であって、センサーデバイスから送信された検出信号を受信する操作側通信手段と、表示手段と、検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信し、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる制御手段とを備える。

本発明の第７の態様に係る演奏支援方法は、楽器に取り付けられるセンサーデバイスと、センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムにおける演奏支援方法であって、センサーデバイスは、加速度センサーにより検出した検出信号を操作デバイスに送信し、操作デバイスは、検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信し、操作デバイスは、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる。

本発明の第８の態様に係る演奏支援プログラムは、楽器に取り付けられるセンサーデバイスに設けられた加速度センサーにより検出した検出信号に応じて、ユーザーが楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信する機能と、講師端末から練習結果情報に対する指導情報をサーバーから受信して表示手段に表示させる機能とをコンピュータに実現させる。

本発明の第９の態様に係る楽器管理システムは、楽器に取り付けられるセンサーデバイス、及びセンサーデバイスと相互に無線通信可能な操作デバイスと通信可能なサーバーを備える楽器管理システムであって、操作デバイスは、位置情報記憶手段と、センサーデバイスと操作デバイスとの間のリンク状態が切れたことを検出した場合に、リンク状態が切れたことを検出した時点の操作デバイスの位置情報、又はリンク状態が切れたことを検出する直前の操作デバイスの位置情報を取得し、位置情報記憶手段に位置情報を格納する制御手段と、位置情報を含むステータス情報をサーバーに送信する操作側通信手段とを備え、サーバーは、操作デバイスから、ステータス情報を取得するステータス情報取得手段を備える。

本発明の第１０の態様に係る楽器管理方法は、楽器に取り付けられるセンサーデバイス、及びセンサーデバイスと相互に無線通信可能な操作デバイスと通信可能なサーバーを備える楽器管理システムにおける楽器管理方法であって、操作デバイスは、センサーデバイスと操作デバイスとの間のリンク状態が切れたことを検出した場合に、リンク状態が切れたことを検出した時点の操作デバイスの位置情報、又はリンク状態が切れたことを検出する直前の操作デバイスの位置情報を取得し、位置情報を格納し、位置情報を含むステータス情報をサーバーに送信するようにしたものである。

本発明の第１１の態様に係る楽器管理プログラムは、楽器に取り付けられるセンサーデバイスとの間のリンク状態が切れたことを検出した場合に、リンク状態が切れたことを検出した時点の操作デバイスの位置情報、又はリンク状態が切れたことを検出する直前の操作デバイスの位置情報を取得し、位置情報を格納する機能と、位置情報を含むステータス情報をサーバーに送信する機能とをコンピュータに実現させる。

本発明によれば、楽器に取り付けられた加速度センサーを利用して、講師に対して練習結果を報告することができ、かつ、操作デバイスを用いて、講師からの指導情報を取得することができる。これにより、音楽教室に通うことなく、遠隔で講師からの指導を受けることが可能になる。また、本発明によれば、楽器に取り付けられた加速度センサーを利用して、楽器の管理を行うことが可能になる。

図１は、本発明の第１の実施形態にかかる楽器用調律器を示すブロック図である。 図２は、本発明の第１の実施形態に係るセンサーデバイスを示すブロック図である。 図３は、本発明の第１の実施形態に係る操作デバイスを示すブロック図である。 図４は、本発明の第１の実施形態に係る楽器用調律器を用いた調律方法を示すフローチャートである。 図５は、本発明の第１の実施形態に係る演奏支援方法を示すフローチャートである。 図６は、演奏の進行状況を示す表示の例を示す図である。 図７は、本発明の第１の実施形態に係る楽器管理方法を示すフローチャートである。 図８は、本発明の第１の実施形態に係る楽器管理方法の別の例を示すフローチャートである。 図９は、本発明の第２の実施形態に係る楽器用調律器を示すブロック図である。 図１０は、本発明の第２の実施形態に係る操作デバイスを示すブロック図である。 図１１は、本発明の第２の実施形態に係るサーバーを示すブロック図である。 図１２は、本発明の第２の実施形態に係る演奏支援方法で使用されるデータの関係を示すブロック図である。 図１３は、本発明の第２の実施形態に係る演奏支援方法（演奏指導）を示すフローチャートである。 図１４は、本発明の第２の実施形態に係る楽器管理方法で使用されるデータの関係を示すブロック図である。 図１５は、本発明の第２の実施形態に係る楽器管理方法を示すフローチャートである。

以下、添付図面に従って本発明に係る演奏支援システム、方法及びプログラム並びに楽器管理システム、方法及びプログラムの実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態にかかる楽器用調律器を示すブロック図である。

図１に示すように、本実施形態に係る楽器用調律器１は、センサーデバイス１０及び操作デバイス５０を含んでいる。センサーデバイス１０及び操作デバイス５０は、相互に無線通信可能となっている。センサーデバイス１０及び操作デバイス５０との間の通信方式としては、無線ＬＡＮ（Local Area Network）、ＷｉＦｉ（登録商標）、Bluetooth（登録商標）、ＷＡＮ（Wide Area Network）等を採用可能である。

センサーデバイス１０は、楽器ＭＩ（図３参照）に取り付けられる。例えば、楽器ＭＩがギターの場合には、センサーデバイス１０は、クリップにより、そのヘッドに取り付けることが可能である。センサーデバイス１０の楽器ＭＩへの取り付け方法は特に限定されず、センサーデバイス１０の形状、楽器の形状及び種類に応じて選択可能である。センサーデバイス１０は、例えば、粘着剤式、ネジ止め等の方法により、楽器ＭＩに直接取り付けられるようにしてもよいし、クリップ等のアタッチメントを介して間接的に取り付けられるようにしてもよい。

センサーデバイス１０は、楽器ＭＩが発する音響又は振動を電気信号（音響信号）に変換して送信情報を作成し、操作デバイス５０に送信する。

操作デバイス５０は、センサーデバイス１０から受信した送信情報を復調して音響信号を取得する。そして、操作デバイス５０は、この音響信号を解析し、楽器ＭＩの調律に必要な調律情報を作成して表示部６２（図３参照）に表示させる。これにより、楽器ＭＩの演奏者（以下、ユーザーという。）は、調律情報の表示を確認しながら、楽器ＭＩの調律を行うことができる。

（センサーデバイス）
図２は、本発明の第１の実施形態に係るセンサーデバイスを示すブロック図である。図２に示すように、本実施形態のセンサーデバイス１０は、加速度センサー１２と、波形成形回路１４と、演算制御部１６と、通信モジュール１８とを備えている。また、図示は省略したが、センサーデバイス１０は、センサーデバイス１０の各部を動作させるための電源を供給する電源部を備えている。電源部は、一次電池または二次電池で構成される。

加速度センサー１２は、互いに直交する３つの検出軸（Ｘ軸、Ｙ軸、Ｚ軸）を有する３軸加速度センサーで構成される。この加速度センサー１２は、各検出軸に対応した３つのセンサー１２ａ、１２ｂ、１２ｃを有しており、各センサー１２ａ、１２ｂ、１２ｃからそれぞれ対応する検出軸についての検出信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚを出力する（以下、「加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚ」という。）。加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚは、波形成形回路１４に対して出力される。この加速度の値は、振動の周波数に応じた交流値で出力されるようにしてもよい。なお、加速度センサー１２は、その出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚを、デジタル信号で出力するデジタル出力タイプのものでもよいし、アナログ信号で出力するアナログ出力タイプであってもよい。但し、アナログ出力タイプは、デジタル出力タイプと比べてＡ／Ｄ（Analog-to-Digital）変換、通信などでの遅延が生じないので、変化への応答性が速く、楽器の調律には望ましい。本実施形態では、一例として、アナログ出力タイプの加速度センサー１２が用いられる。

波形成形回路１４は、バンドパスフィルタ（ハイパスフィルタ）や増幅回路などを備え、加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚを出力信号毎にハイパスフィルタでフィルタ処理して、各出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚに含まれるノイズ成分（低周波成分）を除去する。さらに、波形成形回路１４は、出力信号毎に増幅回路で増幅してパルス状波形に変換し、変換後の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚを出力信号Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚとして演算制御部１６に対して出力する。

演算制御部１６は、波形成形回路１４の出力信号Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚに各種処理を施して、操作デバイス５０に出力する。

演算制御部１６は、ＣＰＵ（Central Processing Unit）、メモリー（ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリー）、Ａ／Ｄコンバータ、その他周辺回路などを備えている。メモリーには、ＣＰＵを動作させるためのプログラムの他、各種データが記憶される。演算制御部１６は、メモリーに記憶されたプログラムがＣＰＵによって実行されることによって、図２に示した各機能が実現される。

演算制御部１６は、信号選択部２２と、周波数検出部２４と、記憶部３０と、送信情報生成部３２と、姿勢検出部３４として機能する。

信号選択部２２は、波形成形回路１４の出力信号Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚのうち、波形振幅の最大値と最小値との差が最も大きい出力信号（最も強い信号）を検出用信号Ｕとして選択して、選択した検出用信号Ｕを周波数検出部２４に対して出力する。

なお、本実施形態では、出力信号Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚのうち最も強い信号を用いて調律を行うことで、センサーデバイス１０の取付方向及び楽器ＭＩの特性に影響を抑制するようにしたが、本発明はこれに限定されない。例えば、ＸＹＺ軸の出力信号Ｔ_ｘ、Ｔ_ｙ、Ｔ_ｚを合成（例えば、加算）して得られた合成値を検出用信号Ｕとして用いて、軸の選択を不要とすることも可能である。

周波数検出部２４は、信号選択部２２の出力信号である検出用信号Ｕの周波数を検出して、検出した周波数（以下、「検出周波数」という。）Ｆを送信情報生成部３２に対して出力する。具体的には、周波数検出部２４は、信号選択部２２から入力された検出用信号Ｕの符号が変わるゼロクロス点の間の時間を計測することにより振動の周期を求める。そして、周波数検出部２４は、この振動の周期から検出周波数を求めて、送信情報生成部３２に出力する。周波数検出部２４は、本発明の周波数検出手段の一例である。

送信情報生成部３２は、周波数検出部２４から入力された検出周波数に基づいて、操作デバイス５０に送信する送信情報を生成する。なお、送信情報は、振動の周期に基づいて生成するようにして、検出周波数は、この振動の周期に関する情報を用いて、操作デバイス５０側で算出するようにすることも可能である。通信モジュール１８は、この送信情報を通信用の信号に変換して操作デバイス５０に送信する。送信情報生成部３２及び通信モジュール１８は、本発明のセンサー側通信手段の一例である。

そして、後述するように、操作デバイス５０は、操作部５６を介してユーザーからの操作入力を受け付け、調律対象とする音名（例えば、ギターの場合、弦の番号、弦名等）を設定する設定操作を受け付ける。操作デバイス５０は、センサーデバイス１０から送信された送信情報を用いて、調律対象とする音名に関する調律情報を生成し、表示部６２に表示させる。これにより、ユーザーは、表示部６２に表示された調律情報を見ながら、楽器Ｍ１の調律を行うことができる。

また、上記の例では、操作部５６を介して、調律対象とする音名等の設定操作を受け付けたが、加速度センサー１２を入力手段として用いて設定操作を受け付けるようにすることも可能である。

加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚには、それぞれ、楽器の操作により生じた楽音の振動の他に、楽器に取り付けられたセンサーデバイス１０の傾き状況（姿勢）によって変化する加速度信号（重力加速度）が含まれている。そこで、姿勢検出部３４は、加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚの変化を検出することにより、楽器の姿勢を示す姿勢情報を検出する。なお、加速度センサー１２によって検出された重力加速度の値は、直流のバイアス値として出力されるようにしてもよい。

姿勢検出部３４は、加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚに基づき、センサーデバイス１０が取り付けられた楽器の姿勢（傾き、向き）を示す姿勢情報を検出する。姿勢検出部３４が検出した姿勢情報は、送信情報生成部３２を介して操作デバイス５０に送信可能となっている。姿勢検出部３４は、本発明の姿勢検出手段の一例である。

後述するように、操作デバイス５０は、楽器ＭＩを上下に振った場合等の加速度の変化と、操作内容との関係を記憶している。操作デバイス５０は、センサーデバイス１０の姿勢検出部３４によって検出された加速度の変化を取得し、センサーデバイス１０が取り付けられた楽器ＭＩの動きを検出することにより操作入力を受け付けることが可能となる。また、楽器ＭＩに取り付けられたセンサーデバイス１０の姿勢と、楽器ＭＩに対する操作との組み合わせにより、操作入力を可能としてもよい。例えば、楽器ＭＩがギターの場合には、ギターの向き及び傾き角度と、特定の弦に対する操作（振動）との組み合わせにより操作入力を可能としてもよい。

また、加速度センサー１２に加えて角速度センサー（ジャイロセンサー）を設けることにより、ユーザーの挙動をより詳細に検出して、操作入力に利用できるようにしてもよい。

（操作デバイス）
次に、操作デバイスについて、図３を参照して説明する。図３は、本発明の第１の実施形態に係る操作デバイスを示すブロック図である。

図３に示すように、本実施形態に係る操作デバイス５０は、制御部５２、ストレージ５４、操作部５６、電源部５８、表示制御部６０、表示部６２、音声出力制御部６４、スピーカー６６、通信モジュール６８及び外部接続インターフェース（外部接続Ｉ／Ｆ）７０を含んでいる。操作デバイス５０は、専用のデバイスであってもよいが、例えば、スマートホン、タブレット端末、パーソナルコンピューター等の汎用のデバイスに本実施形態に係る機能を実現するためのソフトウェア又はプログラムを適用することによって実現することも可能である。

制御部５２は、操作デバイス５０の各部の動作を制御するＣＰＵと、ＣＰＵの作業領域として使用されるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）とを含んでいる。制御部５２は、操作部５６を介してユーザーからの操作入力を受け付け、操作入力に応じた制御信号を操作デバイス５０の各部に送信して各部の動作を制御する。制御部５２は、調律情報生成部５２０、演奏支援情報生成部５２２、動作判別部５２４、リンク状態検出部５２６、位置情報取得部５２８及び警告出力部５３０として機能する。

ストレージ５４は、ＣＰＵにより実行されるプログラム及びデータを格納する不揮発性メモリーを含んでいる。ストレージ５４に含まれる不揮発性メモリーとしては、例えば、ＳＳＤ（Solid State Drive）、ｅＭＭＣ（embedded Multi Media Card）等のフラッシュメモリーを含む記憶装置、ＨＤＤ（Hard Disk Drive）等の磁気ディスクを含む記憶装置等を用いることができる。ストレージ５４には、調律対象の音名（音階）と周波数（基準周波数Ｆ_０）の対応関係を示すテーブル（例えば、Ａ４＝４４０Ｈｚ等）が格納される。

操作部５６は、ユーザーからの操作入力を受け付ける手段である。操作部５６としては、例えば、表示部６２の表面等に設けられたタッチパネル、マウス等のポインティングデバイス、キーボード等を用いることができる。操作部５６は、本発明の操作手段の一例である。

電源部５８は、操作デバイス５０の各部に電力を供給するための一次電池又は二次電池を含んでいる。なお、電源部５８は、商用電源を操作デバイス５０に適した状態に変換する電源アダプターを含んでいてもよい。

表示制御部６０は、制御部５２からの制御信号に応じて画像信号を生成し、表示部６２に入力する。制御部５２及び表示制御部６０は、本発明の制御手段の一例である。

表示部６２は、操作ＧＵＩ（Graphical User Interface）、画像を表示する手段（例えば、液晶ディスプレイ）であり、表示制御部６０から入力された画像信号に応じて画像を表示する。表示部６２は、本発明の表示手段の一例である。

音声出力制御部６４は、制御部５２からの制御信号に応じて音声信号を生成し、スピーカー６６から音声を出力させる。なお、楽器用調律器１を演奏支援装置として使用する場合には、制御部５２により、操作デバイス５０の音声出力機能が自動的に無効化されるようにしてもよい。

通信モジュール６８は、センサーデバイス１０と通信接続するための手段である。通信モジュール６８は、制御部５２から出力された制御信号を通信用の信号に変換して、センサーデバイス１０に送信する。また、通信モジュール６８は、センサーデバイス１０から受信した信号を復調して得られたデータを制御部５２に入力する。通信モジュール６８は、本発明の操作側通信手段の一例である。

操作デバイス５０は、外部接続Ｉ／Ｆ７０を介して、エフェクター等の外部機器Ｅ１及びＥ２と通信可能に接続されている。なお、図３には、楽器ＭＩを介して操作デバイス５０に接続される外部機器Ｅ１と、操作デバイス５０に直接接続される外部機器Ｅ２が例示されているが、外部機器の接続方法及び接続台数はこれに限定されるものではない。

外部接続Ｉ／Ｆ７０は、制御部５２からの制御信号を通信用の信号に変換して外部機器Ｅ１及びＥ２に送信する。これにより、ユーザーは、操作デバイス５０を介して、エフェクター等による音量の調整（増幅、減衰、コンプレッション等）の設定を行うことができる。また、外部接続Ｉ／Ｆ７０は、外部機器Ｅ１及びＥ２から受信した設定等に関する情報を復調して制御部５２に入力するようにしてもよい。ここで、操作デバイス５０と外部機器Ｅ１及びＥ２との間の通信方式は、有線及び無線のいずれでもよい。

（調律モード）
次に、楽器ＭＩの調律を行う場合の処理の流れについて、図４を参照して説明する。図４は、本発明の第１の実施形態に係る楽器用調律器を用いた調律方法を示すフローチャートである。

まず、楽器用調律器１のセンサーデバイス１０が楽器ＭＩに取り付けられて、調律を開始する場合、操作デバイス５０又はセンサーデバイス１０からの操作入力に応じて、操作デバイス５０及びセンサーデバイス１０が楽器ＭＩの調律を行うための調律モードに設定される。操作デバイス５０は、ユーザーからの操作入力を受け付けて、調律対象の設定操作を行う（ステップＳ１０）。調律対象としては、楽器ＭＩがギターの場合には、複数の弦にそれぞれ対応する音名に限らず、弦の番号又は弦名を設定するようにしてもよい。調律対象の設定操作が行われると、その設定操作に対応した操作信号が、操作デバイス５０からセンサーデバイス１０に対して送信される。

次に、ユーザーによる楽器ＭＩの操作によって生じた楽音がセンサーデバイス１０に入力される（ステップＳ１２）。このとき、センサーデバイス１０に備えられる加速度センサー１２は、センサーデバイス１０に入力された楽音の振動を検出する（ステップＳ１４）。

加速度センサー１２の出力信号Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚは、波形成形回路１４を介して信号選択部２２に入力され、波形振幅の最大値と最小値との差が最も大きい出力信号が検出用信号Ｕとして選択される。そして、周波数検出部２４において、選択された検出用信号Ｕの周波数が検出周波数Ｆとして検出される（ステップＳ１６）。

次に、送信情報生成部３２は、周波数検出部２４から入力された検出周波数に基づいて、送信情報を生成する。そして、この送信情報は、センサーデバイス１０から操作デバイス５０に送信される（ステップＳ１８）。

次に、操作デバイス５０において、通信モジュール６８は、センサーデバイス１０から受信した送信情報を復調して制御部５２に入力する。そして、制御部５２（調律情報生成部５２０）は、この送信情報に基づいて、ユーザーによる調律を支援するための調律情報を生成する（ステップＳ２０）。

具体的には、制御部５２（調律情報生成部５２０）は、センサーデバイス１０が取り付けられた楽器ＭＩの操作に対応する検出周波数Ｆを送信情報から取得し、この検出周波数Ｆに基づいて、音高及びピッチの判定を行う。

また、制御部５２（調律情報生成部５２０）は、ステップＳ１０において調律対象として設定した音名に対応する基準周波数Ｆ_０をストレージ５４から読み出し、検出周波数Ｆと基準周波数Ｆ_０との偏差（以下、「周波数偏差」という。）ΔＦを検出する。ここで、調律情報生成部５２０は、本発明の周波数偏差検出手段の一例である。

次に、制御部５２（調律情報生成部５２０）は、生成した調律情報を表示制御部６０に出力する。表示制御部６０は、楽器ＭＩの調律情報として、調律対象の音名（又は弦の番号、弦名等）、音高、ピッチ、その音名から決定される基準周波数Ｆ_０との周波数偏差ΔＦ等を、表示部６２に表示させる（ステップＳ２２）。また、調律情報として、楽器ＭＩに対する具体的な操作の示唆（例えば、ギターの場合、どの糸巻を締める又は緩めるかに関する示唆）等を表示部６２に表示させる。これにより、ユーザーは、表示部６２に表示された調律情報及び調律情報を参照しながら楽器ＭＩの調律を行うことができる。なお、表示部６２に表示される情報としては、これらの調律情報に限らず、他の調律情報を含んでいてもよい。

次に、調律を継続する場合、ユーザーによる楽器ＭＩの操作によって生じた楽音が再度入力される（ステップＳ２４のＹｅｓ）。すると、ステップＳ１２からＳ２２が繰り返されて、調律情報が表示部６２に表示される（ステップＳ２２）。

調律対象の楽音等（例えば、ギターの弦）のすべてについての調律が終了し、操作デバイス５０の操作部５６から調律終了の指示が入力されると（ステップＳ２６のＹｅｓ）、操作デバイス５０における調律モードが終了する（ステップＳ２８）。そして、操作デバイス５０からセンサーデバイス１０に、調律終了の指示が送信されて、センサーデバイス１０においても調律モードが終了する（ステップＳ３０）。

このように本実施形態によれば、楽器の操作により生じた楽音の振動は、加速度センサー１２によって検出される。この加速度センサー１２は、互いに直交する３つの検出軸を有する３軸加速度センサーで構成されるので、３つの検出軸の出力信号のうち最も信号強度が大きくなる検出軸の出力信号を用いて、楽器の操作により生じた楽音の振動の周波数（検出周波数Ｆ）を検出することが可能となる。これにより、楽器に対するセンサーデバイス１０の取り付け位置や向きに影響されることなく、楽器から発生する楽音の振動を的確に捉えることができる。したがって、使い勝手が良く、安定かつ正確な調律が可能となる。

なお、本実施形態では、好ましい態様の一例として、加速度センサー１２を３軸加速度センサーで構成したが、これに限らず、加速度センサー１２は、互いに直交する２つの検出軸を有する２軸加速度センサーで構成されていてもよい。この場合にも、１軸方向のみの感度を有する振動センサーを備えた従来の調律器に比べて、使い勝手が良く、安定かつ正確な調律が可能となる。

また、本実施形態では、調律モードの設定及び終了を操作デバイス５０の操作部５６から行うようにしたが、センサーデバイス１０の加速度センサー１２を用いて、操作内容と関連づけられた加速度の変化を検出することにより調律モードの設定及び終了を指示するようにしてもよい。また、調律モードの設定及び終了は、センサーデバイス１０及び操作デバイス５０に対して個別に指示するようにしてもよい。

また、センサーデバイス１０から操作デバイス５０に伝送するデータは、例えば、センサーデバイス１０のＩＤ情報、加速度センサー１２の各軸の値、加速度センサー１２の任意の軸の周期値等を伝送することも考えられる。しかしながら、センサーデバイス１０から操作デバイス５０へのデータの伝送量が大きいと、センサーデバイス１０の消費電力が大きくなり、センサーデバイス１０の電池での稼働時間が短くなる。このため、操作デバイス５０において、伝送するデータの種類を選択可能として、必要最小限とすることが好ましい。本実施形態では、センサーデバイス１０において、加速度センサー１２の３軸の値のうち最も強い信号、又は各軸の値の合成値からその検出周波数Ｆ及び周波数偏差ΔＦを算出し、周波数偏差ΔＦを操作デバイス５０に伝送するようにした。これにより、調律モードにおけるセンサーデバイス１０と操作デバイス５０との間のデータの伝送量を抑制し、それぞれの電源部の電池を長持ちさせることができる。

（演奏支援モード）
ところで、楽器ＭＩの演奏を行う場合、例えば、演奏状況を客観的に解析したり、楽器ＭＩの音響効果を調整するためのエフェクター等の外部機器を簡易に制御することが求められている。

本実施形態に係る楽器用調律器１は、加速度センサー１２による検出信号を利用して、上記のような演奏支援に適用することが可能である。図５は、本発明の第１の実施形態に係る演奏支援方法を示すフローチャートである。

まず、操作デバイス５０において演奏支援モードが設定されると（ステップＳ４０）、演奏支援モードへの設定指示がセンサーデバイス１０に送信される。センサーデバイス１０の演算制御部１６は、演奏支援モードへの設定指示を受け付けると、演奏中の動作検出を開始する（ステップＳ４２）。一方、操作デバイス５０は、センサーデバイス１０からの楽器ＭＩの動作の入力待ち状態になる（ステップＳ４４）。

次に、センサーデバイス１０の加速度センサー１２により、楽器ＭＩの動きが検出されると（ステップＳ４６のＹｅｓ）、送信情報生成部３２は、ＸＹＺ軸ごとの加速度及びその時間変化の情報を含む動きの測定値を含む送信情報を生成する。通信モジュール１８は、この送信情報を操作デバイス５０に送信する（ステップＳ４８）。ここで、動きの測定値としては、加速度センサー１２による検出信号をそのまま用いてもよい。

次に、操作デバイス５０において、制御部５２（動作判別部５２４）は、センサーデバイス１０から受信した動きの測定値を解析して、楽器ＭＩの動きを判別する（ステップＳ５０）。制御部５２（演奏支援情報生成部５２２）は、楽器ＭＩの動きに応じて、ユーザーの演奏をアシストするための演奏支援情報を生成する。そして、制御部５２（演奏支援情報生成部５２２）は、この演奏支援情報に基づいて、表示制御部６０を制御して表示部６２の表示を制御して、ユーザーに対する演奏支援を行う（ステップＳ５２）。

ここで、ユーザーに対する演奏のアシストの態様としては、次の（１）から（３）に列挙するものが考えられる。

（１）演奏状況の検出
制御部５２（演奏支援情報生成部５２２及び動作判別部５２４）により、センサーデバイス１０の加速度センサー１２から出力された信号に基づいて演奏状況を解析して、演奏支援情報を生成することが考えられる。例えば、センサーデバイス１０において、演算制御部１６は、楽器ＭＩの演奏状況をもっともよく捉えた加速度センサー１２の軸の値（例えば、最も強い信号）、又は各軸の値の合成値から最適値を算出し、この最適値のデータを操作デバイス５０に送信する。ここで、センサーデバイス１０と操作デバイス５０との間の伝送帯域に余裕がある場合には、センサーデバイス１０から操作デバイス５０にＸＹＺの３軸すべてのデータを伝送して、操作デバイス５０側で最適値を算出してもよい。

次に、操作デバイス５０において、制御部５２は、この最適値又は３軸すべてのデータを用いてＦＦＴ（Fast Fourier Transform）解析等を行い、演奏している音程、和音の状況、及びテンポ等を算出する。制御部５２は、これらの算出値を表示制御部６０に出力して表示部６２に表示させる。これにより、ユーザーは、操作デバイス５０の表示部６２に表示された算出値を参照しながら、演奏又は練習をすることが可能になる。

（１）の例では、制御部５２は、例えば、演奏中の楽曲の楽譜を読み取って、楽譜から読み取られた音程等と、上記の算出値を比較することにより、演奏状況の評価を行い、演奏状況の評価結果（例えば、演奏状況の評価を示すスコア、又は「テンポが早すぎる」等のメッセージ等）を表示部６２に表示させるようにしてもよい。

（２）エフェクター等の外部機器（Ｅ１、Ｅ２）との連携（モーション検出）
外部機器（Ｅ１、Ｅ２）との連携を行う場合、制御部５２は、楽器ＭＩの動き（モーション）と、エフェクター等の外部機器（Ｅ１、Ｅ２）への指示内容との対応関係をあらかじめ記憶しておく。そして、制御部５２は、センサーデバイス１０から送信された加速度の大きさ及び向きを示す信号に基づいて楽器ＭＩに加えられた動作を検出し、外部機器（Ｅ１、Ｅ２）に設定変更の指示を送信する。例えば、楽器ＭＩがすばやく持ち上げられた場合（鉛直上方向の加速度が閾値以上）に音量を大きくしたり、楽器ＭＩとしてのギターのヘッドが振られた場合（ある軸に対する加速度又は角速度が周期的に変化した場合）に音量の変化幅を拡大又は圧縮する等、楽器ＭＩに加えられる動作と指示内容との関連づけが可能である。これにより、ユーザーは、エフェクター等の外部機器（Ｅ１、Ｅ２）に対する指示を演奏中に容易に行うことが可能になる。

なお、外部機器（Ｅ１、Ｅ２）に出力された指示内容（例えば、「音量を上げました。」、「音量の変化幅を拡大しました。」）は、操作デバイス５０の表示部６２に表示して、ユーザーが意図した指示がされたかどうかを確認できるようにしてもよい。

（３）操作デバイス５０における楽譜等の表示（モーション検出）
制御部５２は、演奏支援モード時において、表示部６２に演奏中の楽曲の楽譜を表示させるようにしてもよい。この場合、楽譜データの形式としては、例えば、ＰＤＦ（Portable Document Format）、PostScript、ＥＰＳ（Encapsulated PostScript）、ｅＰｕｂ（electronic Publication）、Music XML（eXtensible Markup Language）等、又は楽譜作成ソフトウェアの独自フォーマット等の任意の形式を用いることができる。このような楽譜のデータは、ストレージ５４にあらかじめ格納されていてもよいし、インターネット等を介して取得できるようになっていてもよい（第２の実施形態参照）。（３－１）制御部５２は、楽器ＭＩの動きの測定値に応じて演奏の進行状況を検出し、図６に示すように、演奏箇所を示す矢印等の画像を楽譜に重畳表示させ、演奏の進行状況に応じて移動させる。（３－２）また、制御部５２は、演奏の進行状況に応じて楽譜のページ送りを行ったり、楽器ＭＩの動きに応じて楽譜のページ戻しを行うようにしてもよい。（３－３）また、制御部５２は、演奏の速度に応じて一画面に表示させる楽譜のページ数を増減させてもよい（例えば、演奏速度が速いほどページ数を増やす等）。

ここで、（２）の外部機器（Ｅ１、Ｅ２）に対する指示、又は（３）の操作デバイス５０における楽譜等の表示の変更指示を行う場合、モーション検出は、センサーデバイス１０及び操作デバイス５０のどちらで行ってもよい。モーション検出を操作デバイス５０で精度よく行うためには、加速度センサー１２の３軸のデータと、角速度センサー３軸のデータとを操作デバイス５０に伝送することが好ましい。ユーザーが楽器ＭＩに加えるモーションは、楽器ＭＩの演奏による振動（例えば、弦の振動）と比較して非常に遅い（周波数が小さい）。そこで、加速度センサー１２及び角速度センサーにおけるサンプリング周波数を下げる（例えば、１００Ｈｚ程度）ことで伝送する情報量を減らすことが可能となる。また、モーション検出のための信号の量子化ビット数も１２ビットから８ビットのように減らすことも可能である。

また、（１）の演奏支援と（２）及び（３）のモーション検出とは、センサーデバイス１０と操作デバイス５０との間の伝送帯域に余裕があれば同時に実現することが可能である。これは、加速度センサー１２及び角速度センサーから得られるデータを可能な限り多く操作デバイス５０に伝送し、操作デバイス５０側で情報を切り分けて使用することが可能であるからである。

例えば、加速度センサー１２の３軸のデータと、角速度センサー３軸のデータの合計６軸のデータが各４ｋＨｚのサンプリングレート、１２ビットで伝送されている場合、モーション検出には６軸すべてのデータを２０回に１回の割合で取得し、見かけ上サンプリングレートを２００Ｈｚ程度にすることも可能であるし、１２ビットのデータから有効な８ビットのデータのみを取り出して採用することも可能である。このとき、２０回分のデータの加算平均を取ることも可能である。また、加速度センサー１２から出力される各軸のデータのうち、モーション検出に同時に必要な軸のデータのみをそのまま解析することも可能である。この場合、例えば、モーションが直線的である場合には、加速度センサー１２の３軸のデータの絶対値を比較して、絶対値が最大の１つの軸のデータのみを解析対象としてもよい。また、モーションが平面的である場合には、絶対値が最小のデータを除く２軸のデータのみを解析対象としてもよい。

次に、センサーデバイス１０において、加速度センサー１２により動きが検出されない状態が所定時間継続した場合に、演算制御部１６は、演奏が終了したと判定し（ステップＳ５４のＹｅｓ）、演奏支援モードを終了させる（ステップＳ５６）。さらに、演算制御部１６は、演奏支援モードの終了指示を操作デバイス５０に送信して、操作デバイス５０において演奏支援モードを終了させる（ステップＳ５８のＹｅｓ及びＳ６０）。

本実施形態によれば、楽器用調律器１の加速度センサー１２を用いて演奏の進行状況を判定し、楽譜の表示を制御することにより、ユーザーの演奏を容易にすることが可能になる。

なお、本実施形態では、操作デバイス５０からセンサーデバイス１０に対して演奏支援モードの設定指示を行う一方、センサーデバイス１０における演奏終了の判定に基づいて、演奏支援モードの終了指示を行うようにしたが、本発明はこれに限定されない。センサーデバイス１０から操作デバイス５０に対して演奏支援モードの設定指示を行ってもよいし、操作デバイス５０から演奏支援モードの終了指示を行ってもよいし、センサーデバイス１０及び操作デバイス５０に対して個別に演奏支援モードの設定及び終了の操作入力を行ってもよい。

（楽器管理モード）
ところで、楽器ＭＩの演奏を行わない不使用時には、楽器ＭＩが転倒したり、ユーザー以外の者によって誤って移動されることがあり得る。本実施形態に係る楽器用調律器１は、加速度センサー１２及び通信機能を利用して、楽器ＭＩの管理（不使用時の動き検出）を行うことも可能である。図７は、本発明の第１の実施形態に係る楽器管理方法を示すフローチャートである。

まず、操作デバイス５０において楽器管理モードが設定されると（ステップＳ７０）、楽器管理モードへの設定指示がセンサーデバイス１０に送信される。センサーデバイス１０の演算制御部１６は、楽器管理モードへの設定指示を受け付けると、非演奏時（楽器を不使用時、例えば、楽器の保管時、休憩時等）の動作検出を開始する（ステップＳ７２）。一方、操作デバイス５０は、センサーデバイス１０からの楽器ＭＩの動作の入力待ち状態になる（ステップＳ７４）。

なお、楽器管理モードは、例えば、センサーデバイス１０が取り付けられた楽器ＭＩがケースに格納されたことが検出された場合に、自動的に設定されるようにしてもよい。この場合、例えば、〈１〉楽器ＭＩが一定時間制止していることをセンサーデバイス１０が検出した場合、又は〈２〉楽器ＭＩのケースに内蔵されたセンサー（例えば、ＲＦＩＤ（Radio Frequency IDentifier）等の近距離通信用のセンサーをセンサーデバイス１０が検出した場合に、楽器管理モードが自動的に設定されるようにしてもよい。また、センサーデバイス１０に光センサー（例えば、フォトダイオード、太陽電池等）を設けて、〈３〉光センサーからの検出出力が所定値以下となった場合、又は所定値以下の状態が所定時間継続した場合に、センサーデバイス１０が取り付けられた楽器ＭＩがケースに収納されたとして、楽器管理モードが自動的に設定されるようにしてもよい。また、楽器ＭＩが収納されるケースに磁石を取り付け、センサーデバイス１０にホールセンサーを取り付けて、〈４〉ホールセンサーがケースの磁石を検出した場合に、楽器管理モードが自動的に設定されるようにしてもよい。

次に、センサーデバイス１０の加速度センサー１２により、楽器ＭＩの動きが検出されると（ステップＳ７６のＹｅｓ）、送信情報生成部３２は、ＸＹＺ軸ごとの加速度及びその時間変化の情報を含む動きの測定値を含む送信情報を生成する。通信モジュール１８は、この送信情報を操作デバイス５０に送信する（ステップＳ７８）。

次に、操作デバイス５０において、制御部５２（動作判別部５２４）は、センサーデバイス１０から受信した動きの測定値を解析して、楽器の動きを判別する（ステップＳ８０）。そして、動きの測定値が閾値以上の場合（ステップＳ８０のＹｅｓ）、制御部５２（警告出力部５３０）は、表示制御部６０及び音声出力制御部６４に警告の出力を指示する制御信号を出力し、表示部６２における警告表示及びスピーカー６６からの警告音の出力を行い（ステップＳ８２）、ステップＳ７４に戻る。ステップＳ８０からＳ８２では、例えば、楽器ＭＩを保管している状況下で、センサーデバイス１０が取り付けられた楽器ＭＩの移動が検出された場合に警告を出力させることにより、楽器ＭＩの転倒又は移動をユーザーに知らせることができる。これにより、楽器ＭＩの紛失又は盗難を防止することが可能になる。

次に、楽器管理モードを終了し、電源をＯＦＦする場合には、操作デバイス５０の操作部５６から電源ＯＦＦ指示が入力され（ステップＳ８４のＹｅｓ）、操作デバイス５０の電源がＯＦＦになる（ステップＳ８６）。そして、操作デバイス５０からセンサーデバイス１０に対して、電源ＯＦＦ指示が送信され（ステップＳ８８のＹｅｓ）、センサーデバイス１０の電源がＯＦＦになる（ステップＳ９０）。

本実施形態によれば、楽器用調律器１の加速度センサー１２を用いて非演奏時に楽器ＭＩの動きを検出することにより、楽器ＭＩの転倒又は移動をユーザーに知らせることができる。これにより、楽器ＭＩの紛失又は盗難を防止することが可能になる。

また、本実施形態に係る楽器用調律器１の通信機能を、楽器ＭＩの管理（紛失又は盗難の防止）に利用することも可能である。図８は、本発明の第１の実施形態に係る楽器管理方法の別の例を示すフローチャートである。

まず、操作デバイス５０において楽器管理モードが設定されると（ステップＳ１００）、楽器管理モードへの設定指示がセンサーデバイス１０に送信される。センサーデバイス１０の演算制御部１６は、楽器管理モードへの設定指示を受け付けると、リンク状態（通信が可能な状態か否か）の監視を開始し、応答要求待ち状態になる（ステップＳ１０２からＳ１１８）。

操作デバイス５０の制御部５２（リンク状態検出部５２６）は、所定時間（例えば、１秒から数秒）ごとに、センサーデバイス１０に対して応答を要求する応答要求信号を送信する（ステップＳ１０４）。センサーデバイス１０と操作デバイス５０との間のリンク状態が維持されている場合には、応答要求信号がセンサーデバイス１０に到達し、センサーデバイス１０から操作デバイス５０に対して、応答要求信号に対する応答信号が送信される（ステップＳ１０６のＹｅｓ及びステップＳ１０８）。ここで、応答要求信号及び応答信号には、それぞれ操作デバイス５０及びセンサーデバイス１０を特定するためのＩＤ（Identification）情報が含まれていてもよい。制御部５２は、センサーデバイス１０からの応答信号を受信することにより（ステップＳ１１０）、センサーデバイス１０との間のリンク状態が継続しているか否かを判定する。ステップＳ１０２からＳ１１２までの処理を所定時間ごとに繰り返すことにより、リンク状態を継続的に監視することが可能になる。

センサーデバイス１０が取り付けられた楽器ＭＩを置き忘れた場合等には、センサーデバイス１０と操作デバイス５０との間の距離が離れて通信接続が切れる。この場合、応答要求信号又は応答信号の不達により、操作デバイス５０において応答信号が受信されなくなる（ステップＳ１１０のＮｏ）。この場合、制御部５２（警告出力部５３０）は、表示制御部６０及び音声出力制御部６４に警告の出力を指示する制御信号を出力し、表示部６２における警告表示及びスピーカー６６からの警告音の出力を行う（ステップＳ１１４）。ステップＳ１１４では、センサーデバイス１０と操作デバイス５０との間の通信接続が切れたことが検出された時点（リンク切れの時点）で警告が出力されるので、楽器ＭＩの置き忘れ等による紛失及び盗難を防止することが可能になる。ここで、警告出力部５３０、表示部６２及びスピーカー６６は、本発明の警告出力手段の一例である。

また、制御部５２（位置情報取得部５２８）は、操作デバイス５０の現在位置を示す位置情報を取得して、この位置情報と、リンク切れを検出した日時の情報を含む警告情報をストレージ５４に格納する（ステップＳ１１６）。位置情報は、例えば、操作デバイス５０の無線ＬＡＮ接続のアクセスポイント情報から取得してもよいし、操作デバイス５０がＧＰＳ（Global Positioning System）機能を有する場合には、ＧＰＳ情報を取得してもよい。ここで、ストレージ５４は、本発明の位置情報記憶手段として機能する。これにより、ユーザーは、リンク切れの時点の操作デバイス５０の位置情報を参照することにより、センサーデバイス１０が取り付けられた楽器ＭＩを置き忘れた場所を推定することが可能になる。

一方、センサーデバイス１０において、操作デバイス５０からの応答要求信号が所定時間（例えば、数分）以上受信されなかった場合には（ステップＳ１１８のＹｅｓ）、不図示のＬＥＤ又はスピーカー等により警告音を出力する（ステップＳ１２０）。これにより、操作デバイス５０及び楽器ＭＩの置き忘れを確実に防止することが可能になる。

本実施形態では、楽器用調律器１の通信機能を用いて、紛失及び盗難の防止のための楽器の管理を行うことが可能になる。

なお、本実施形態では、応答要求信号に操作デバイス５０の現在位置を示す位置情報を含めておき、センサーデバイス１０において、リンク切れ（ステップＳ１１８のＹｅｓ）の直前に受信した応答要求信号に含まれていた位置情報を警告情報として、記憶部３０に格納してもよい。これにより、ユーザーは、リンク切れの直前の位置情報を参照することができるので、操作デバイス５０を置き忘れた後に、置き忘れた場所を特定することが可能になる。

また、センサーデバイス１０がＧＰＳ機能を有する場合には、センサーデバイス１０において、リンク切れ（ステップＳ１１８のＹｅｓ）の時点の位置情報を警告情報として記憶部３０に格納してもよい。また、この場合、センサーデバイス１０から操作デバイス５０に送信する応答信号にセンサーデバイス１０の位置情報を含めておき、操作デバイス５０において、リンク切れ（ステップＳ１１０のＮｏ）の直前に受信した応答信号に含まれていた位置情報を警告情報としてストレージ５４に格納してもよい。これにより、ユーザーは、操作デバイス５０において、リンク切れ直前のセンサーデバイス１０の位置情報を閲覧することができるので、センサーデバイス１０が取り付けられた楽器ＭＩを置き忘れた後に、置き忘れた場所を特定することが可能になる。

また、リンク切れが検出され、警告の出力及び警告情報の格納が実行された後は、センサーデバイス１０及び操作デバイス５０の電源をＯＦＦにするようにしてもよいし、リンク状態の検出を継続して行うようにしてもよい。リンク状態の検出を継続して行う場合には、リンク状態が復活した場合（一時的な電波障害又はリンク切れであった場合）に、警告の出力を停止したり、記憶部３０又はストレージ５４に格納された警告情報を消去するようにしてもよい。

また、図７及び図８に示す例では、操作デバイス５０からセンサーデバイス１０に対して楽器管理モードの設定指示及び終了指示（電源ＯＦＦ指示）を行うようにしたが、本発明はこれに限定されない。センサーデバイス１０から操作デバイス５０に対して楽器管理モードの設定及び終了指示を行ってもよいし、センサーデバイス１０及び操作デバイス５０に対して個別に楽器管理モードの設定及び終了の操作入力を行ってもよい。

なお、センサーデバイス１０は、楽器ＭＩの部品の一部、例えば、ギターの場合にはヘッド部等に組み付けて分解不可能としておくことが好ましい。これにより、楽器ＭＩの紛失及び盗難をより確実に防止することができる。

また、センサーデバイス１０が楽器ＭＩに対する着脱が容易なもの（例えば、クリップ式等）であっても、楽器ＭＩの楽器ケース等にセンサーデバイス１０を収容することにより、楽器ＭＩの紛失及び盗難を防止することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明では、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する。

図９は、本発明の第２の実施形態に係る楽器用調律器を示すブロック図であり、図１０は、本発明の第２の実施形態に係る操作デバイスを示すブロック図である。

図９に示すように、本実施形態に係る楽器用調律器１Ａは、ネットワークＮＷ（例えば、インターネット、ＶＰＮ（Virtual Private Network）等）を通じて、サーバー１００及び講師端末２００との間で通信可能に接続されている。ここで、講師端末２００は、例えば、タブレット端末、パーソナルコンピューター、ワークステーション等である。本実施形態では、サーバー１００を介して、音楽講師（以下、講師という。）から演奏の練習に関して指導を受けることが可能となっている。さらに、本実施形態では、サーバー１００を利用した楽器ＭＩの管理を行うことが可能となっている。

図１１は、本発明の第２の実施形態に係るサーバーを示すブロック図である。図１１に示すように、本実施形態に係るサーバー１００は、制御部１０２、ストレージ１０４、操作部１０６、表示部１０８及び通信モジュール１１０を備えている。

制御部１０２は、サーバー１００の各部の動作を制御するＣＰＵと、ＣＰＵの作業領域として使用されるＳＤＲＡＭとを含んでいる。制御部１０２は、操作部１０６を介してユーザーからの操作入力を受け付け、操作入力に応じた制御信号をサーバー１００の各部に送信して各部の動作を制御する。制御部１０２は、後述する演奏支援データ処理部１１２及び楽器ステータス情報処理部１１４として機能する。

ストレージ１０４は、ＣＰＵにより実行されるプログラム及びデータを格納する不揮発性メモリーを含んでいる。ストレージ１０４に含まれる不揮発性メモリーとしては、例えば、ＳＳＤ、ｅＭＭＣ等のフラッシュメモリーを含む記憶装置、ＨＤＤ等の磁気ディスクを含む記憶装置等を用いることができる。ストレージ１０４には、後述のデータベースが格納される（図１２及び図１４参照）。

操作部１０６は、ユーザーからの操作入力を受け付ける手段であり、例えば、マウス等のポインティングデバイス、キーボード等を含んでいる。

表示部１０８は、サーバー１００の操作ＧＵＩ、画像を表示する手段（例えば、液晶ディスプレイ）であり、制御部１０２から入力された画像信号に応じて画像を表示する。

通信モジュール１１０は、ネットワークＮＷと通信接続するための手段であり、ネットワークＮＷの通信方式にしたがって、サーバー１００に入出力される信号の変換を行う。

（演奏支援モード）
次に、本実施形態に係る演奏支援モードについて説明する。

図１０に示すように、操作デバイス５０Ａの制御部５２Ａは、第１の実施形態で説明した機能に加えて、指導情報処理部５３２として機能する。

本実施形態では、センサーデバイス１０が取り付けられた楽器ＭＩを用いて演奏の練習が行われた場合に、センサーデバイス１０の演算制御部１６は、通信モジュール１８を介して、加速度センサー１２からの検出信号を含む送信情報を操作デバイス５０Ａに送信する。操作デバイス５０Ａの制御部５２Ａ（指導情報処理部５３２）は、練習中にセンサーデバイス１０から取得した送信情報を用いて、練習の結果に関する練習結果情報を生成する。そして、制御部５２Ａ（指導情報処理部５３２）は、ユーザーを特定するためのユーザー特定情報とともに、練習結果情報をサーバー１００に送信する。

ここで、練習結果情報には、例えば、（Ａ）図５に示した演奏支援モードにおいて生成された演奏状況の評価、及びその履歴が含まれていてもよい。また、練習結果情報には、例えば、（Ｂ）エフェクター等の外部機器（Ｅ１、Ｅ２）に対する指示及びそのタイミングに関する情報が含まれていてもよい。講師は、これらの情報を、演奏状況の評価に対するユーザーの反応、及びエフェクター操作の習熟度に対する評価等に利用することが可能である。なお、練習結果情報は、これらに限定されるものではない。

サーバー１００の制御部１０２（演奏支援データ処理部１１２）は、この練習結果情報を受信して、ユーザー特定情報からこのユーザーを担当する講師を特定し、その講師の講師端末２００に練習結果情報を送信する。

講師は、講師端末２００を用いて、サーバー１００から受信した練習結果情報を参照しながら、ユーザーへのアドバイスを含む指導情報を作成し、サーバー１００に送信する。サーバー１００の制御部１０２（演奏支援データ処理部１１２）は、この指導情報を操作デバイス５０Ａに送信する。ユーザーは、この指導情報をサーバー１００から受信して、練習の参考にすることができる。これにより、ユーザーは、音楽教室に通うことなく、任意のタイミングで、遠隔的な音楽の指導を受けることが可能になる。

ここで、指導情報には、ユーザーが練習する楽曲の楽譜を含むテキストの情報が含まれていてもよい。また、これらのテキスト情報は、ユーザーがサーバー１００から閲覧及びダウンロード可能となっていてもよい。

図１２は、本発明の第２の実施形態に係る演奏支援方法で使用されるデータの関係を示すブロック図である。

図１２に示すように、本実施形態では、ユーザー登録情報、講師登録情報及び指導履歴情報を含む関係データベースが用いられる。サーバー１００は、このデータベースを用いて、ユーザーの操作デバイス５０Ａと講師端末２００との間の演奏の練習支援を行うことが可能となっている。

ユーザー登録情報は、ユーザー特定情報として、ユーザーに個別に割り振られたユーザーＩＤ、操作デバイスに個別に割り振られたデバイスＩＤ（センサーデバイス１０及び操作デバイス５０ＡのＩＤ）を含んでいる。ユーザー登録情報は、ユーザーに関する情報として、ユーザー名（例えば、氏名等）、ユーザー情報（例えば、住所、電話番号、電子メールアドレス等の連絡先情報、本実施形態に係るシステム（演奏支援システム及び楽器管理システム）の利用に関する情報、その他の個人情報）を含んでいる。

講師登録情報は、講師特定情報として、講師及び講師端末２００にそれぞれ個別に割り振られた講師ＩＤ及び講師端末ＩＤを含んでいる。さらに、講師登録情報は、講師名（例えば、氏名等）、講師情報（例えば、住所、電話番号、電子メールアドレス等の連絡先情報、本実施形態に係るシステムの利用に関する情報、その他の個人情報）を含んでいる。

ここで、デバイスＩＤ及び講師端末ＩＤとしては、例えば、ＩＰ（Internet Protocol）アドレス、ＭＡＣ（Media Access Control）アドレスを用いることができる。また、操作デバイス５０Ａ又は講師端末２００がスマートホンの場合には、デバイスＩＤ及び講師端末ＩＤとして電話番号を用いることも可能である。また、ユーザーＩＤ及び講師ＩＤを使用せずに、デバイスＩＤのみでユーザー及び講師を特定することも可能である。

指導履歴情報は、ユーザーＩＤがその担当講師の講師ＩＤと関連づけられて格納されており、ユーザーと、ユーザーを担当する講師の対応関係が特定される。１人のユーザーに対して、楽器の種類ごとに複数の担当講師がいる場合には、ユーザーＩＤ及び講師ＩＤと、その担当講師が担当する楽器の種類を示す情報が関連づけられて格納されるようにしてもよい。指導履歴情報は、練習履歴データ及び指導履歴データを含んでいる。

練習履歴データは、ユーザーの操作デバイス５０Ａから受信した練習結果に関するデータを蓄積したものである。この練習結果データは、例えば、クラウドサービスの予定管理（カレンダー）アプリケーション又はタスク管理アプリケーションと連携させて、練習のスケジュール及び実績（例えば、講師から課された課題、練習時間、又はスコアの達成状況）の管理を行うことも可能である。このようなクラウドサービスは、サーバー１００を介して提供されるようにしてもよい。

指導履歴データは、講師端末２００からユーザーに対して送信された指導情報を蓄積したものである。

サーバー１００の制御部１０２は、ユーザーＩＤ又は講師ＩＤを主キーとして、各情報に含まれるデータを必要に応じて呼び出すことが可能となっている。

図１３は、本発明の第２の実施形態に係る演奏支援方法（演奏指導）を示すフローチャートである。

まず、本実施形態に係るシステム（演奏支援システム）の演奏支援機能を利用するに先立って、ユーザー情報の登録が行われる。すなわち、操作デバイス５０Ａからユーザー情報が送信され（ステップＳ２００）、サーバー１００において、ユーザー登録情報として登録される（ステップＳ２０２）。

次に、図５に示した演奏支援モードを用いた楽器ＭＩの演奏の練習が終了すると、操作デバイス５０Ａからサーバー１００に、ユーザーＩＤ及び練習結果情報が送信される（ステップＳ２０４）。

サーバー１００の制御部１０２（演奏支援データ処理部１１２）は、受信したユーザーＩＤに基づいて、対応する指導履歴情報に含まれる練習履歴データを呼び出して、その中に練習結果情報を蓄積する。そして、制御部１０２（演奏支援データ処理部１１２）は、受信したユーザーＩＤに基づいて担当講師を特定して、特定した担当講師の講師端末２００に練習結果情報を送信する（ステップＳ２０６）。

講師は、講師端末２００により、ユーザーの練習結果情報を閲覧して、指導情報（例えば、ユーザーに対して練習メニュー及び楽曲を指示する情報、ユーザーに対するアドバイス等）を作成して送信する（ステップＳ２０８）。

制御部１０２（演奏支援データ処理部１１２）は、講師端末２００から講師ＩＤ及び指導情報を受信すると、受信した講師ＩＤに基づいて、対応する指導履歴情報に含まれる指導履歴データを呼び出して、その中に指導情報を蓄積する。そして、制御部１０２（演奏支援データ処理部１１２）は、受信した講師ＩＤに基づいて対象ユーザーを特定して、特定したユーザーの操作デバイス５０Ａに指導情報を送信する（ステップＳ２０６）。これにより、ユーザーは、操作デバイス５０Ａに指導情報を表示させて閲覧することが可能になる（ステップＳ２１２）。

本実施形態によれば、ユーザーは、音楽教室に通うことなく、遠隔的な音楽の指導を受けることが可能となる。

（楽器管理モード）
次に、本実施形態に係る楽器管理モードについて説明する。

本実施形態では、サーバー１００に登録されたデバイスＩＤと、センサーデバイス１０の通信機能を利用して、センサーデバイス１０が取り付けられた楽器ＭＩの管理を行うことが可能となっている。

図１４は、本発明の第２の実施形態に係る楽器管理方法で使用されるデータの関係を示すブロック図である。

楽器情報は、ユーザーが所有する楽器ＭＩに関する情報を含んでおり、楽器ＭＩに取り付けられたセンサーデバイス１０のデバイスＩＤを介して、ユーザー登録情報と関連づけられている。楽器情報は、デバイスＩＤに加えて、楽器ＭＩの種類等を示す楽器ＩＤ及びステータス情報を含んでいる。ステータス情報は、例えば、センサーデバイス１０から取得した楽器ＭＩの位置情報（例えば、直前に取得した最新の位置情報）を含んでいる。楽器ＭＩがレンタルされている場合には、ステータス情報は、その借用者情報を含んでいてもよい。また、ステータス情報は、紛失情報フラグを含んでいてもよい。紛失情報フラグは、操作デバイス５０Ａからの操作入力に応じてＯＮ／ＯＦＦが切り替えられるようにしてもよい。

図１５は、本発明の第２の実施形態に係る楽器管理方法を示すフローチャートである。なお、ステップＳ２２０からＳ２２８の処理は図８と同様であるため、説明を適宜省略する。

まず、操作デバイス５０において楽器管理モードが設定され、楽器管理モードへの設定指示がセンサーデバイス１０に送信される。センサーデバイス１０の演算制御部１６は、楽器管理モードへの設定指示を受け付けると、応答要求待ち状態になる。

操作デバイス５０は、所定時間ごとにセンサーデバイス１０に対して応答を要求する応答要求信号を送信する（ステップＳ２２０）。センサーデバイス１０と操作デバイス５０との間のリンク状態が維持されている場合には、応答要求信号がセンサーデバイス１０に到達し、センサーデバイス１０から操作デバイス５０に対して、応答要求信号に対する応答信号が送信される（ステップＳ２２２）。

制御部５２（警告出力部５３０）は、応答要求信号又は応答信号の不達により、操作デバイス５０において応答信号が受信されなくなったこと（リンク切れ）を検出すると（ステップＳ２２４）、表示制御部６０及び音声出力制御部６４に警告の出力を指示する制御信号を出力し、表示部６２における警告表示及びスピーカー６６からの警告音の出力を行う（ステップＳ２２６）。

また、制御部５２（位置情報取得部５２８）は、操作デバイス５０の現在位置を示す位置情報を取得して、この位置情報と、リンク切れを検出した日時の情報を含む警告情報をストレージ５４に格納する（ステップＳ２２８）。

次に、操作デバイス５０の制御部５２は、上記位置情報及びリンク切れ検出日時の情報に加えて、センサーデバイス１０が取り付けられた楽器ＭＩの所有者情報及び楽器ＭＩを特定するための情報を含むステータス情報を作成してサーバー１００に送信する（ステップＳ２３０）。

サーバー１００の制御部１０２は、操作デバイス５０からステータス情報を受信すると、ストレージ１０４に格納する（ステップＳ２３２）。そして、制御部１０２（楽器ステータス情報処理部１１４）は、受信したステータス情報から楽器ＭＩに関する公開用のステータス情報を作成し、ネットワークＮＷ等を介して閲覧可能にする（ステップＳ２３４）。ここで、公開用のステータス情報は、例えば、操作デバイス５０から受信したステータス情報からユーザーの個人情報等を削除したものである。ステップＳ２３４では、公開用のステータス情報が閲覧可能な範囲を、例えば、特定のネットワークＮＷ内に限定するようにしてもよい。なお、制御部１０２は、本発明のステータス情報取得手段の一例である。

本実施形態によれば、紛失及び盗難の防止のための楽器の管理を行うことが可能になる。さらに、本実施形態は、楽器に関する公開用のステータス情報を作成して公開することで、楽器ＭＩの盗難の発見等にも利用可能である。例えば、制御部１０２（楽器ステータス情報処理部１１４）は、紛失情報フラグがＯＮに設定された楽器ＭＩのステータス情報をネットワークＮＷを介して公開する。これにより、楽器ＭＩが、楽器の中古市場に持ち込まれた場合に、楽器買い取り業者は、サーバー１００に登録された操作デバイス５０ＡのデバイスＩＤを確認することで、盗品の不正な取引の防止に利用することが可能である。

さらに、本実施形態は、楽器ＭＩをレンタルする場合にも適用することが可能である。例えば、貸し出した相手（借用者）に関する情報をステータス情報に含めておくことにより、ユーザーは、楽器ＭＩの所在、借用者を容易に確認することが可能である。

なお、センサーデバイス１０をネットワークＮＷに接続可能とすることにより、センサーデバイス１０が取り付けられた楽器ＭＩの位置情報（例えば、アクセスポイント情報又はＧＰＳ情報）を取得可能としてもよい。これにより、楽器ＭＩを置き忘れた場合でも、操作デバイス５０Ａを用いて楽器ＭＩの位置情報を確認することができるので、楽器ＭＩの紛失を防止することができる。

［その他の実施形態］
なお、上記の各実施形態に係る演奏支援装置及びシステム、並びに楽器管理装置及びシステムは、加速度センサー１２を備えた楽器用調律器１又は１Ａを利用したものであるが、加速度センサーを備えたセンサーデバイス（調律機能を備えていないもの）により構成されていてもよい。また、上記の各実施形態に係る調律方法、演奏支援方法及び楽器管理方法は、スマートホン、タブレット端末又はパーソナルコンピューターに適用するソフトウェア、又はこのようなソフトウェアが格納された非一時的な有形記録媒体により実現することも可能である。

また、上記の各実施形態では、センサーデバイス１０に加速度センサー１２を設けたが、加速度センサー１２に加えて又は加速度センサー１２に代えて、マイクロホンを設けてもよい。この場合でも、マイクロホンにより楽器ＭＩからの音響を収集することにより、上記の各実施形態と同様に、管楽器等の楽器の調律及び演奏支援を行うことが可能である。また、加速度センサー１２とマイクロホンの両方を備える場合には、上記の各実施形態におけるモーション検出による演奏支援を行うことも可能である。

なお、楽器ＭＩの種類によっては、演奏操作を行う部分と、音響を発するスピーカーとが離れた位置関係となることがある。このような位置関係となる楽器ＭＩでは、マイクロホンを備えたセンサーデバイス１０を、楽器ＭＩの演奏操作を行う部分に取り付けても、音響を収集することが困難になると考えられる。そのような場合、楽器ＭＩからの音響を収集するマイクロホンを操作デバイス５０に設けて、スピーカーからの音響を操作デバイス５０のマイクロホンで収集し、ユーザーの演奏中のモーションをセンサーデバイス１０の加速度センサー１２により捉えるようにしてもよい。これにより、楽器演奏に伴う振動を伴わない楽器（例えば、電子楽器など）に対しても、操作デバイス５０において、マイクロホンから取得した音響信号と加速度センサー１２からの出力信号とを用いて演奏状況の評価等を行うことが可能になる。

また、楽器ＭＩがピアノ等の据え置き状態で使用される場合には、センサーデバイス１０の機能を操作デバイス５０に含めるようにすることも可能である。

また、上記の各実施形態では、少なくとも２つの検出軸を有する加速度センサー１２を用いたが、重力加速度を検出可能な少なくとも１軸の加速度センサーを用いて、楽器ＭＩの演奏（楽音）による振動と、ユーザーのモーションによる振動の両方を検出することも考えられる。この場合、楽音による振動、及びモーションによる振動の周波数領域の相違に基づいて、両者を分離することが可能である。なお、１軸の加速度センサーを用いる場合には、加速度センサーの楽器ＭＩへの取付方向を調整することが必要となるが、加速度センサーを用いて楽器ＭＩの動きの検出することにより、加速度センサーから出力される信号の増幅率を調整したり、加速度センサーから出力される信号がデジタル信号の場合には、積算等の信号処理を行ったりしてもよい。

１、１Ａ…楽器用調律器、１０…センサーデバイス、１２…加速度センサー、１４…波形成形回路、１６…演算制御部、１８…通信モジュール、２２…信号選択部、２４…周波数検出部、３０…記憶部、３２…送信情報生成部、３４…姿勢検出部、５０、５０Ａ…操作デバイス、５２、５２Ａ…制御部、５４…ストレージ、５６…操作部、５８…電源部、６０…表示制御部、６２…表示部、６４…音声出力制御部、６６…スピーカー、６８…通信モジュール、７０…外部接続Ｉ／Ｆ、５２０…調律情報生成部、５２２…演奏支援情報生成部、５２４…動作判別部、５２６…リンク状態検出部、５２８…位置情報取得部、５３０…警告出力部、５３２…指導情報処理部、１００…サーバー、１０２…制御部、１０４…ストレージ、１０６…操作部、１０８…表示部、１１０…通信モジュール、１１２…演奏支援データ処理部、１１４…楽器ステータス情報処理部、２００…講師端末、ＭＩ…楽器、Ｅ１、Ｅ２…外部機器

Claims (8)

1. 楽器に取り付けられるセンサーデバイスと、前記センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、
   前記センサーデバイスは、
   少なくとも２つの検出軸を有する加速度センサーと、
   前記加速度センサーから出力された検出信号を前記操作デバイスに送信するセンサー側通信手段とを備え、
   前記操作デバイスは、
   前記センサーデバイス及び前記講師端末と通信するための操作側通信手段であって、前記センサーデバイスから送信された前記検出信号を受信する操作側通信手段と、
   表示手段と、
   前記検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成して前記サーバーに送信し、前記講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して前記表示手段に表示させる制御手段とを備える、
   演奏支援システム。
2. 前記制御手段は、前記楽器の演奏中における前記検出信号に応じて、ユーザーの演奏をアシストするための演奏支援情報を生成し、前記演奏支援情報に基づいて、前記表示手段の表示を制御する、
   請求項１に記載の演奏支援システム。
3. 前記制御手段は、前記検出信号に応じて演奏状況の評価を行い、前記演奏状況の評価の結果を前記表示手段に表示させる、
   請求項２に記載の演奏支援システム。
4. 前記制御手段は、前記操作デバイスに通信可能に接続された外部機器に対して、前記検出信号に応じた指示を送信する、
   請求項２又は３に記載の演奏支援システム。
5. 前記制御手段は、楽譜を前記表示手段に表示させ、前記検出信号に応じて演奏の進行状況を検出し、前記演奏の進行状況に応じて、前記楽譜上に演奏箇所を示す表示を行うか、又は前記楽譜のページ送りを行う、
   請求項２から４のいずれか１項に記載の演奏支援システム。
6. 楽器に取り付けられるセンサーデバイスと、前記センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムであって、
   前記センサーデバイスは、
   加速度センサーと、
   前記加速度センサーから出力された検出信号を前記操作デバイスに送信するセンサー側通信手段とを備え、
   前記操作デバイスは、
   前記センサーデバイス及び前記講師端末と通信するための操作側通信手段であって、前記センサーデバイスから送信された前記検出信号を受信する操作側通信手段と、
   表示手段と、
   前記検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成して前記サーバーに送信し、前記講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して前記表示手段に表示させる制御手段とを備える、
   演奏支援システム。
7. 楽器に取り付けられるセンサーデバイスと、前記センサーデバイスと相互に無線通信可能な操作デバイスであって、サーバーを介して、講師の講師端末と通信可能な操作デバイスとを備える演奏支援システムにおける演奏支援方法であって、
   前記センサーデバイスは、加速度センサーにより検出した検出信号を前記操作デバイスに送信し、
   前記操作デバイスは、前記検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成して前記サーバーに送信し、
   前記操作デバイスは、前記講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して表示手段に表示させる、
   演奏支援方法。
8. 楽器に取り付けられるセンサーデバイスに設けられた加速度センサーにより検出した検出信号に応じて、ユーザーが前記楽器を用いて行った演奏の練習結果情報を生成してサーバーに送信する機能と、
   講師端末から前記練習結果情報に対する指導情報を前記サーバーから受信して表示手段に表示させる機能と、
   をコンピュータに実現させる演奏支援プログラム。

Images