JP5549110B2 - 信号制御装置 - Google Patents

信号制御装置 Download PDF

Info

Publication number
JP5549110B2
JP5549110B2 JP2009110157A JP2009110157A JP5549110B2 JP 5549110 B2 JP5549110 B2 JP 5549110B2 JP 2009110157 A JP2009110157 A JP 2009110157A JP 2009110157 A JP2009110157 A JP 2009110157A JP 5549110 B2 JP5549110 B2 JP 5549110B2
Authority
JP
Japan
Prior art keywords
unit
data
time
sound
myoelectric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009110157A
Other languages
English (en)
Other versions
JP2010261974A (ja
Inventor
卓朗 曽根
道彦 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009110157A priority Critical patent/JP5549110B2/ja
Publication of JP2010261974A publication Critical patent/JP2010261974A/ja
Application granted granted Critical
Publication of JP5549110B2 publication Critical patent/JP5549110B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Description

本発明は、運動の変化態様について基準となる変化態様との比較した結果に応じた放音制御を行う技術に関する。
演奏参加者の動きや状態に応じて多彩に楽音を制御することにより、演奏参加者全体で楽音演奏を楽しむことができる装置が、例えば、特許文献1に開示されている。
特開2001−195060号公報
特許文献1に開示された技術においては、演奏参加者の動きに応じて楽音演奏をすることができるが、演奏参加者は本来どのような動きをすべきなのかを知ることはできず、理想的な演奏を行うための動きを練習することには向いていない。
本発明は、上述の事情に鑑みてなされたものであり、運動者の運動に応じて放音される楽音を運動者に聴取させることによって、手本となる運動の変化態様を認識させることができる信号制御装置を提供することを目的とする。
上述の課題を解決するため、本発明は、
基準となる筋電位に応じた基準データであって、データの各部についての時刻を規定する同期情報が付された基準データを運動パターン毎に対応して記憶する記憶手段と、利用者の身体の一部に取り付けて、前記身体の一部に発生する筋電位を測定する測定手段と、前記測定手段によって時刻の進行に伴って測定された筋電位に応じた筋電データの各部と前記記憶手段に記憶された基準データの各部とを対応付け、対応付けられた各部について、前記測定手段によって前記各部に係る筋電位が測定された時刻と前記同期情報によって規定される時刻とを比較する時刻比較手段と、前記時刻比較手段による比較結果に基づいて、前記記憶手段から前記基準データを読み出す読出手段と、設定される処理の内容にしたがって楽音信号を生成する生成手段と、楽音信号が供給されることにより放音する放音手段に対して前記生成手段により生成された楽音信号を供給する場合であって、前記読出手段によって読み出された前記基準データの変化パターンが予め定められたパターンとなった場合、前記放音手段からの放音により利用者に聴取される内容が、当該変化パターンに対応した内容となるように前記生成手段に設定される処理の内容を制御する制御手段とを具備することを特徴とする信号制御装置を提供する。
また、本発明は、基準となる筋電位に応じた基準データであって、データの各部についての時刻を規定する同期情報が付された基準データを記憶する記憶手段と、利用者の身体の一部に取り付けて、前記身体の一部に発生する筋電位を測定する測定手段と、前記測定手段によって時刻の進行に伴って測定された筋電位に応じた筋電データの各部と前記記憶手段に記憶された基準データの各部とを対応付け、対応付けられた各部について、前記測定手段によって前記各部に係る筋電位が測定された時刻と前記同期情報によって規定される時刻とを比較する時刻比較手段と、前記時刻比較手段による比較結果に基づいて、前記記憶手段から前記基準データを読み出す読出手段と、前記測定手段によって測定された筋電位の変化に応じた筋電データと前記読出手段によって読み出された基準データとを比較するデータ比較手段と、設定される処理の内容にしたがって楽音信号を生成する生成手段と、楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、前記データ比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御する制御手段とを具備することを特徴とする信号制御装置を提供する。
また、別の好ましい態様において、前記測定手段によって測定された筋電位の変化に応じた筋電データと前記読出手段によって読み出された基準データとを比較するデータ比較手段をさらに具備し、前記制御手段は、楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、さらに、前記データ比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御することを特徴とする。
また、別の好ましい態様において、前記制御手段は、楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、さらに前記時刻比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御することを特徴とする。
また、本発明は、基準となる筋電位に応じた基準データであって、データの各部についての時刻を規定する同期情報が付された基準データを記憶する記憶手段と、利用者の身体の一部に取り付けて、前記身体の一部に発生する筋電位を測定する測定手段と、前記測定手段によって時刻の進行に伴って測定された筋電位に応じた筋電データの各部と前記記憶手段に記憶された基準データの各部とを対応付け、対応付けられた各部について、前記測定手段によって前記各部に係る筋電位が測定された時刻と前記同期情報によって規定される時刻とを比較する時刻比較手段と、設定される処理の内容にしたがって楽音信号を生成する生成手段と、楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、前記時刻比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御する制御手段とを具備することを特徴とする信号制御装置を提供する。
本発明によれば、運動者の運動に応じて放音される楽音を運動者に聴取させることによって、手本となる運動の変化態様を認識させることができる信号制御装置を提供することができる。
第1実施形態に係る楽音再生装置の使用態様を説明する説明図である。 第1実施形態に係る楽音再生装置の構成を示すブロック図である。 第1実施形態に係る記憶部に記憶されている測定部位と演奏パートとを対応付けた対応テーブルの一例を説明する図である。 本発明の第1実施形態に係る信号制御部の構成を示すブロック図である。 DPマッチングを行う際のDPプレーンを示す説明図である。 第2実施形態に係る信号制御部の構成を示すブロック図である。 第3実施形態に係る信号制御部の構成を示すブロック図である。 変形例1に係る信号制御部の構成を示すブロック図である。 変形例2に係る信号制御部の構成を示すブロック図である。 変形例3に係る信号制御部の構成を示すブロック図である。
以下、本発明の一実施形態について説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係る楽音再生装置1の使用態様を説明する説明図である。楽音再生装置1は、本体部10、筋電位測定部20および放音部30を有している。楽音再生装置1の利用者である運動者1000は、楽音再生装置1を使用するときには、本体部10を腰や腕などに装着し、筋電位測定部20を身体の各部位(この例においては、左右の大腿部、左右の腕)に装着する。ここで、筋電位測定部20は、左の大腿部(以下、単に左足という)に装着された筋電位測定部20−LF、右の大腿部(以下、単に右足という)に装着された筋電位測定部20−RF、左腕に装着された筋電位測定部20−LH、右腕に装着された筋電位測定部20−RHを総称したものである。以下の説明においては、これらをそれぞれ区別しない場合には、単に筋電位測定部20という。なお、この例においては、筋電位測定部20は、4箇所の測定部位を測定するようになっていたが、さらに多くの測定部位を測定するものであってもよいし、1箇所の測定部位(例えば、左足だけ)を測定するものであってもよい。
運動者1000は、ヘッドフォンなどの放音部30を耳に装着して、放音部30からの放音を聴取する。そして、運動者1000は、楽音再生装置1を使用し、放音部30からの放音を聴取しながら運動(この例においては歩行運動)を行うと、運動者1000の運動内容が理想的な場合と比べてどの程度違うかによって、聴取内容が変化するようになっている。
図2は、本発明の実施形態に係る楽音再生装置1の構成を示すブロック図である。本体部10は、筋電位測定部20および放音部30と無線または有線により接続している。本体部10は、制御部11、記憶部12、操作部13、表示部14、楽音信号出力部15、信号入力部16、運動検出部17およびインターフェイス18を有し、バスを介して互いに接続されている。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、DSP(Digital Signal Processor)などを有する。CPUは、ROMに記憶されている制御プログラムを読み出して、RAMにロードして実行することにより、本体部10の各部について、バスを介して制御し、後述する信号制御機能などを実現する。また、RAMは、CPUが各データの加工などを行う際のワークエリアとして機能する。
記憶部12は、例えば、不揮発性メモリなどの大容量記憶手段であって、各種データを記憶する。この例においては、記憶部12は、楽音記憶領域12−1に楽音制御データを記憶し、基準記憶領域12−2に基準データを記憶し、また対応テーブル12−3を記憶している(図4参照)。なお、記憶部12は、外付けの不揮発性メモリなどの記録媒体を、接続インターフェイスなどを介して接続したものであってもよい。
楽音制御データは、MIDI(Musical Instrument Digital Interface)形式など、音源において発音すべき楽音の内容(音高、音長など)、発音タイミング、再生時のテンポなどを制御するデータであり、複数のトラックを有している。複数のトラックの各々は、演奏パート(この例においては、ドラム、ベース、ギター、キーボード)に対応し、対応する演奏パートにおける発音タイミング、発音すべき楽音の内容などを制御するデータを有する。
なお、楽音制御データは、以下に示す運動パターン毎に対応したものとして記憶されていてもよい。この場合、一の運動パターンに対応する楽音制御データは複数であり、後述するように、この楽音制御データの再生を開始する順番、開始するきっかけとなる筋電位の特徴量の変化のパターンなどを示す情報が各楽音制御データに対応付けられていてもよい。また、楽音制御データが示す楽音の発音態様が運動パターンに応じたものとなっていてもよい。例えば、運動パターンが反復運動を示している場合には、その反復周期に応じた再生時のテンポ、発音パターンの繰り返しなどを示す楽音制御データとなっていればよく、反復運動でなくても、運動の動きに対応した楽音を発音させる楽音制御データとなっていればよい。
また、一の楽音制御データには、一のトラックを有するようにして、演奏パート毎の楽音制御データとしてもよい。この場合であっても、後述する再生部105において、異なる演奏パートの楽音制御データを複数再生することにより、複数のトラックを有している場合と同じ発音制御を行うことができるものとすればよい。
上述の運動パターンとは、運動者1000が特定の運動を行うときの運動のパターンを示すものであり、例えば、ゴルフや野球のスイングのパターン、歩行やマラソンなどの手足の運動のパターン、楽器の演奏を行うときの動き(運動)のパターン、空手などの型などを示している。
基準データは、運動パターン毎に対応して記憶され、運動パターンに応じた動きを理想的に行った場合の手本となるデータであって、測定部位毎に、身体の各測定部位における時刻の進行に伴う筋電位の変化、すなわち基準となる筋電位の変化を示すデータである。基準データによって示される筋電位の変化については、筋電位そのものの変化(筋電位信号)であってもよいが、この例においては、筋電位信号の出力レベル(振幅)、周波数などの特徴量の変化を示すものである。なお、これらの特徴量は、一定時間の平均値としてもよい。
また、基準データのデータ各部には、運動パターンの開始タイミングから起算した時刻を示す同期情報が付されている。したがって、基準データは、運動パターン開始時刻から起算した時刻と、その時刻において基準となる特徴量とが対応付けられているものとなっている。
また、記憶部12は、楽音制御データの演奏パートの各々と筋電位測定部20が装着される測定部位とを対応付けた対応テーブルを記憶している。
図3は、測定部位と演奏パートとを対応付けた対応テーブルを説明する図である。図3に示すように、測定部位の「LF(左足)」、「RF(右足)」、「LH(左腕)」、「RH(右腕)」には、それぞれ「ドラム」、「ベース」、「ギター」、「キーボード」が対応付けられている。これらの対応付けについては、後述する操作部13の操作によって行ってもよいし、筋電位測定部20の測定部位の各々に後述のようにして再生される楽音制御データのトラックに係る演奏パートの各々を自動的に割り当てるようにしてもよく、この場合には後述する表示部14に対応付けの内容を表示させてもよい。
図2に戻って説明を続ける。操作部13は、操作ボタンなどを有し、利用者が操作ボタンを操作するとその操作内容を表すデータが制御部11へ出力される。例えば、電源のオンオフ、音量の制御、再生の開始などの指示、再生する楽音制御データの指定、運動パターンの指定、運動開始のタイミングの指定などを操作によって行う。
表示部14は、表示画面に画像を表示する液晶ディスプレイなどの表示デバイスである。表示部14は、制御部11の制御により、表示画面に画像を表示する。表示画面に表示される表示される画像は、操作に応じた表示、メニュー表示、後述する信号制御部100において得られる各パラメータ表示などの各種表示である。
楽音信号出力部15は、放音部30と有線または無線により接続するインターフェイスを有し、制御部11の制御によって入力される楽音データに対してデジタルアナログ変換処理、増幅処理などを施した楽音信号を、接続されている放音部30に供給する。楽音信号出力部15が放音部30に楽音信号を供給することによって、放音部30から放音され、楽音信号に係る音が運動者1000によって聴取される。
信号入力部16は、筋電位測定部20から出力される筋電位信号が測定部位別に入力されるインターフェイスであり、入力された各測定部位の筋電位信号(筋電位の変化)に応じた、測定部位毎の筋電データを制御部11に出力する。
筋電データは、筋電位そのものの変化(筋電位信号)であってもよいが、この例においては、基準データに対応するように、筋電位信号の出力レベル(振幅)、周波数などの特徴量の変化を示すものに変換されて出力される。なお、基準データと同様に、これらの特徴量は、一定時間の平均値としてもよい。また、筋電位信号から筋電データへの変換は、信号入力部16においてなされるものでなくてもよく、筋電位信号をこのような筋電データに変換する変換部を、後述する信号制御部100において信号入力部16と時刻比較部102までの経路の間に設けるようにしてもよい。
運動検出部17は、例えば、加速度センサ、振動センサなどにより運動者1000による運動の態様を検出するセンサであって、運動者1000の運動の態様に応じた検出信号を制御部11に出力する。なお、地磁気センサ、ジャイロセンサなど、様々なセンサを用いてもよいし、複数のセンサを併用してもよい。なお、これらのセンサは、本体部10の外部に設けられてもよい。この場合には、筋電位測定部20から筋電位信号が入力される信号入力部16と同様に、外部に設けられたセンサの出力信号が入力される信号入力部を設ければよい。
インターフェイス18は、例えば、外部装置と有線接続する接続端子、無線接続する無線接続手段、ネットワークなどを介して接続する通信手段などであって、接続した外部装置と各種データの送受信を行う。例えば、楽音制御データ、基準データなどを受信した場合には、制御部11の制御によって記憶部12の楽音記憶領域12−1、基準記憶領域12−2に記憶される。
筋電位測定部20(この例においては、筋電位測定部20−LF、20−RF、20−LH、20−RH)は、表面筋電位計測を行う複数の電極が設けられた測定バンドを有する。筋電位を測定したい身体の部位に測定バンドを巻きつけると、各電極が測定部位に接触するようになっている。筋電位測定部20は、このようにして測定バンドが取り付けられた身体の一部の測定部位における筋電位(表面筋電位)を測定し、測定された筋電位を示す筋電位信号を信号入力部16に出力する。ここで、筋電位は非常に低い電圧であるため、信号入力部16に出力する前に、差動アンプを用いた双極誘導法を用いてノイズを低減する処理、アンプを用いた増幅処理、不要な周波数帯域を除去するフィルタ処理などを行って、ノイズの影響を減少させた筋電位信号に変換してもよい。
放音部30は、上述したように、ヘッドフォンなどの放音手段を有し、楽音信号出力部15から供給される楽音信号を放音して、運動者1000に聴取させる。
以上が、楽音再生装置1の構成の説明である。次に、制御部11が制御プログラムを実行することによって信号制御機能が実現されるときにRAM上に構成される信号制御部100について図4を用いて説明する。なお、以下に説明する信号制御部100については、それぞれの各機能の全部または一部をハードウエアによって実現してもよい。
図4は、本発明の第1実施形態に係る信号制御部100の構成を示すブロック図である。信号制御部100は、筋電位記録部101、時刻比較部102、読出部103、再生制御部104および再生部105を有する。
筋電位記録部101は、信号入力部16から出力される筋電データについて、一定時間分のデータを保持するバッファである。筋電位記録部101は、この筋電データについて、少なくとも、時刻比較部102における処理に要するデータ量を保持する。なお、保持されるデータは、一定量でなくてもよく、予め設定された区間を単位として保持されるようにしてもよい。予め設定された区間とは、例えば、運動パターンが反復運動である場合には、反復運動のパターンに対応する区間を単位として保持してもよいし、反復運動でない場合には、運動パターンを予め分割された区間に分割しておき、その分割された区間を単位としてもよい。
筋電位記録部101に保持される筋電データのデータ各部には、運動開始のタイミングから起算して、そのデータ各部に係る筋電位が測定された時刻を示す測定同期情報が付されるようになっている。この測定された時刻の認識は図示しない計時手段などにより行えばよい。したがって、筋電位記録部101に保持される筋電データは、運動開始のタイミングから起算した時刻と、その時刻において測定された筋電位の特徴量とが対応付けられているものとなっている。
ここで、運動開始のタイミングは、上述したように、操作部13の操作によって運動開始タイミングが指定されるタイミングとすればよい。なお、運動検出部17から出力される検出信号を解析して、予め設定された信号パターンが検出信号に現れたタイミングを運動開始のタイミングとして検出されてもよい。
時刻比較部102は、筋電位記録部101に保持された筋電データと、基準記憶領域12−2に記憶された基準データとを比較して、筋電データのデータ各部と基準データのデータ各部とを対応付ける。そして、対応付けられた各部について、筋電データの各部に対応する測定時刻情報が示す時刻と、基準データの各部に対応する同期情報が示す時刻とを比較して、時刻のずれを検出する。検出された時刻のずれにより、筋電データが示す特徴量の時刻の進行に伴う変化と基準データが示す特徴量の時刻の進行に伴う変化との時間的なずれの程度が算出される。
そして、時刻比較部102は、比較結果に基づいて、読み出すべき基準データの部分に対応する時刻を示す時刻情報を出力する。この例においては、時刻比較部102は、時刻情報を出力するタイミングにおいて、信号入力部16から出力される筋電データのデータ部分に対応すると推測される基準データのデータ部分を比較結果から算出し、算出した基準データのデータ部分に規定された同期情報が示す時刻を、時刻情報が示す時刻として読出部103に出力する。なお、この例においては、測定部位全体としての筋電データと基準データとの時刻のずれを検出するものとして説明するが、測定部位毎に並行して処理することにより、測定部位毎に時刻のずれを検出してもよい。並行処理する場合には、測定部位毎の時刻情報を出力する。
時刻比較部102は、筋電データのデータ各部と基準データのデータ各部とを対応付けて時刻のずれを検出する処理については、この例においては、DP(Dynamic Programming:動的計画法)マッチングを用いる。なお、HMM(Hidden Markov Model)方式などを用いてもよい。具体的には以下のような処理であり、図5を用いて説明する。
図5は、DPマッチングを行う際のDPプレーンを示す説明図である。時刻比較部102は、図5に示すような座標平面(DPプレーン)をRAMに形成する。このDPプレーンの縦軸は、筋電データが示す特徴量について、測定部位毎のデータ各部の特徴量(以下、パラメータという)をa1、a2、a3・・・anとして、時間軸に従って並べたものである。また、横軸のb1、b2、b3・・・bnは、基準データについて、測定部位毎のデータ各部の特徴量(パラメータ)を時間軸に従って並べたものである。ここで、縦軸のa1、a2、a3・・・anの間隔と横軸のb1、b2、b3・・・bnの間隔は、いずれもデータ各部間の時間長と対応している。
このDPプレーンにおける各格子点の各々には、a1、a2、a3・・・anの各パラメータと、b1、b2、b3・・・bnの各パラメータのユークリッド距離を夫々示す値であるDPマッチングスコアが対応付けられている。例えば、a1とb1とにより位置決めされる格子点(a1,b1)には、筋電データの一連のデータ各部(筋電位記録部101に保持されているデータ部分)のうち最初の部分のデータに係るパラメータと基準データの一連のデータ各部(筋電位記録部101に保持されているデータ部分に対応する一定量の基準データのデータ部分)のうち最初の部分のデータに係るパラメータのユークリッド距離を示す値が対応付けられることになる。
そして、時刻比較部102は、このような構造を成すDPプレーンを形成した後、a1とb1とにより位置決めされる始端にあたる格子点(a1,b1)からanとbnとにより位置決めされる終端にあたる格子点(an,bn)に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のDPマッチングスコアを累算して累算値を求める。
そして、DPマッチングスコアの累算値が最小となる経路をDPプレーン上から特定し、その経路上の各格子点によって、筋電データのデータ各部と基準データのデータ各部とが対応付けられる。この対応関係により筋電データが示す特徴量の時刻の進行に伴う変化と基準データが示す特徴量の時刻の進行に伴う変化との時間的なずれの程度が算出される。
例えば、図5に示すDPプレーン上に記された経路においては、a1とb1により位置決めされる格子点(a1,b1)からその右上のa2とb2により位置決めされる格子点(a2,b2)に進んでいることが分かる。この場合、a2のデータ部分とb2のデータ部分との時間軸上の位置は当初から同じである。一方、この経路においては、a2とb2により位置決めされる格子点(a2,b2)からその右のa2とb3により位置決めされる格子点(a2,b3)に進んでいる。筋電データと基準データとの時間的なずれが無ければ格子点(a3,b3)へ進み、b3のデータ部分の時間軸上の位置に対応すべき部分はa3のデータ部分となるものであるが、格子点(a2,b3)に進んでいることから、b3のデータ部分はa3ではなくa2のデータ部分の時間軸上の位置と同じであると対応付けられ、時間的なずれが発生していることになる。
すなわち、基準データのデータ部分b3までに進行する特徴量の変化が、筋電データのデータ部分a2までに進行していることになるから、この時点においては、基準データに係る特徴量よりも筋電データに係る特徴量の方が早く進んでいることになる。この結果、このデータ部分については、基準データについての時刻はb3に対応する時刻であるが、筋電データについての時刻はa2に対応する時刻であり、対応する部分についての時刻のずれを検出することができる。以上がDPマッチングの仕組みである。
このような処理により、一定のデータ範囲についての基準データと筋電データとの比較結果として、対応する各部における時刻のずれについての一連の結果を得ることができる。そして、時刻比較部102は、その比較結果から、時刻情報を出力するタイミングにおいて、信号入力部16から出力される筋電データのデータ部分に対応すると推測される基準データのデータ部分を算出し、算出した基準データのデータ部分に規定された同期情報が示す時刻を、時刻情報が示す時刻として読出部103に出力していく。以上が、時刻比較部102の説明である。
図4に戻って説明を続ける。読出部103は、時刻比較部102から出力される時刻情報と同期情報との対応関係に基づいて、基準記憶領域12−2から基準データを読み出して再生制御部104に出力する。具体的には、読出部103は、出力される時刻情報を参照し、基準データのうち、時刻情報が示す時刻が同期情報によって規定されているデータ部分を読み出す。これにより、通常の速度で進行する時刻に応じて基準データを読み出す場合と比べ、筋電データと基準データとの比較結果に応じて時間軸方向に伸縮されたデータとして読み出されることになる。なお、上述したように、時刻比較部102から測定部位毎の時刻情報が出力される場合には、測定部位毎の時刻情報を用いて基準データを読み出すことにより、測定部位毎に時間軸方向の伸縮が異なるデータとして読み出されることもある。
再生制御部104は、読出部103によって時間軸方向に伸縮されるように読み出された基準データ(以下、伸縮基準データという)を取得し、伸縮基準データが示す特徴量と、対応テーブル12−3とに基づいて、再生部105を制御する。この例においては、再生制御部104は、再生部105において再生される楽音制御データの各演奏パートの再生態様を、各演奏パートに対応する測定部位の伸縮基準データが示す特徴量に応じて制御する。各演奏パートに対応する測定部位の認識は、上述したように、対応テーブル12−3を参照して行われる。
再生態様の制御とは、例えば、伸縮基準データが示す特徴量の変化が特定の変化パターンになったときに、その変化パターンに対応する楽音制御データの再生を開始する態様での再生制御であり、この場合には、様々な楽音制御データが順に再生されていくことになる。ここで、基準データに基づいて再生制御をさせた場合と、伸縮基準データに基づいて再生制御をさせた場合とでは、時間軸方向に伸縮されているか否かの違いだけであるから、特定の変化パターンが現れるタイミングが異なるだけであり、すなわち、再生される楽音制御データが切り替わるタイミングが異なるだけである。なお、測定部位毎に時間軸方向の伸縮が異なる伸縮基準データを用いる場合には、演奏パート毎の楽音制御データを個々に再生制御するようにしてもよい。
また、再生制御部104は、操作部13の操作による再生開始指示があると、再生部105に伸縮基準データに応じた再生制御が行われる前に予め再生しておく楽音制御データの再生を開始させてもよい。そして、上述のように指定された運動開始タイミングにより、時刻比較部102における筋電データと基準データとの比較が開始されたことを示す音を再生部105から出力させるように制御してもよい。なお、再生部105によって楽音制御データの再生がされていない場合には、再生を開始させることにより、時刻比較部102における筋電データと基準データとの比較が開始されたことを示すようにしてもよい。
また、運動開始タイミングが操作部13により指定された場合など、現時点から運動開始タイミングに至るまでの時間がある場合には、運動開始タイミングに向けてカウントダウンを示す音を再生部105に出力させるように制御してもよい。カウントダウンは、楽音制御データに示されている再生時のテンポに応じたものとして行ってもよい。例えば、テンポが「120」である場合には、0.5秒間隔でカウントを行い、テンポが「60」である場合には、1秒間隔でカウントを行う。このような運動開始タイミングに係る音については、出力させなくてもよい。
再生部105は、再生される楽音制御データに従った楽音の波形を示す楽音データを生成する音源を有し、楽音記憶領域12−1から楽音制御データを読み出して再生することにより楽音データ生成し、楽音信号出力部15に出力する。また、再生制御部104により、運動開始を示す音、運動開始タイミングに向けたカウントダウンを示す音を出力するように制御されているときには、再生部105は、このような音が、楽音制御データに係る音に重畳されたものとなるように、楽音データを生成する。以上が、信号制御部100の構成についての説明である。
次に、楽音再生装置1の動作の具体的な一例について説明する。まず、運動者1000は、操作部13を操作して、最初に再生させる楽音制御データの指定、再生開始指示を行い、またこれから運動して、理想的な動きと比較しようとする運動パターンの指定、運動開始タイミング(例えば10秒後)の指定をする。なお、運動パターンと楽音制御データとが対応するものとして設定されていれば、再生する楽音データの指定は行わなくてもよく、例えば、操作部13の操作により運動パターンを指定すれば、運動パターンに対応する楽音制御データが自動的に指定される。
再生開始指示により、再生部105は楽音制御データの再生を開始し、放音部30からの放音により、運動者1000によって楽音制御データに係る楽音が聴取される。そして、運動開始タイミングに近づいてくると、そのタイミングを示すカウントダウンを示す音(例えば「3、2、1、開始」という声)を聴取する。
そして、運動開始タイミングに達すると、運動者1000の運動によって生じた各測定部位の筋電位に応じた筋電データについて、筋電位記録部101における保持が開始され、時刻比較部102における処理が開始される。そして、読出部103によって、運動者1000の運動に応じて、基準データが時間軸方向に伸縮されるようにして読み出され、再生部105は、伸縮基準データに応じて再生制御部104によって制御されながら、伸縮基準データの特徴量の変化に応じた楽音データを生成し、楽音データに係る楽音が放音部30から放音されることによって運動者1000に聴取される。
これにより、本発明の第1実施形態に係る楽音再生装置1は、運動者1000が指定した運動パターンに対応した基準データを、運動者1000自身の動きの早さにあわせて伸縮させた伸縮基準データに変換し、伸縮基準データに応じた楽音を放音させることができる。したがって、これを利用する運動者1000は、放音部30からの放音を聴取すると、指定した運動パターンを自分の運動のペースで行った場合における理想的な動きについて、聴取する楽音の変化から認識することができる。
<第2実施形態>
第2実施形態における楽音再生装置は、伸縮基準データと筋電データとの違いに応じて、運動者1000に聴取させる楽音の内容が変化するように構成したものである。第2実施形態においては、制御部11が制御プログラムを実行することによって信号制御機能が実現されるときに構成される信号制御部100Aが、第1実施形態における信号制御部100と異なる。以下、信号制御部100Aの構成について図6を用いて説明する。
図6は、本発明の第2実施形態に係る信号制御部100Aの構成を示すブロック図である。信号制御部100Aは、筋電位記録部101、時刻比較部102、読出部103、再生制御部104A、再生部105およびデータ比較部106を有する。再生制御部104Aおよびデータ比較部106以外の構成については、第1実施形態における構成と同様な構成であるので、説明を省略する。
データ比較部106は、読出部103から出力される伸縮基準データと、信号入力部16から出力される筋電データとを、測定部位毎に比較し、比較結果を示す情報を出力する。この例においては、データ比較部106は、筋電データと伸縮基準データとの差分を測定部位毎に算出して、算出した測定部位毎の差分(例えば、特徴量の差分)を示す差分情報を出力する。なお、差分ではなく、比などのその他の計算方法により筋電データと基準データとを比較するようにしてもよく、筋電データと伸縮基準データとの違いを比較結果として示すものであればどのようなものであってもよい。すなわち、特定のアルゴリズムによる演算を用いたもの、例えば、マハラノビス距離やMT法(マハラノビス・タグチ・メソッド)、N次元パラメータ空間での距離などを用いて得られる筋電データと伸縮基準データとの違いを比較結果として示してもよい。
また、筋電データおよび基準データは、特定のタイミングにおける値(例えば、データ最初の特徴量)を基準とした相対値として表されるものとして、相対値の差分として比較されるようにしてもよい。また、全測定部位の特徴量の平均または合計を基準とした相対値としてもよい。
再生制御部104Aは、データ比較部106から出力された差分情報と記憶部12に記憶されている対応テーブル12−3とに基づいて、再生部105を制御する。この例においては、再生部105によって再生される楽音制御データにおける各トラックの音量を制御する。具体的には、差分情報が示す各測定部位の差分が大きいほど、各測定部位に対応する演奏パートのトラックの音量を小さくするように制御する。例えば、LF(左足)の差分が大きい場合には、再生部105が楽音制御データを再生するときに、演奏パートがドラムのトラックの音量が小さくなるように制御する。ここで、測定部位に対応する演奏パートは、対応テーブル12−3によって対応付けられた関係に基づく。なお、このような音量制御は、差分が一定の値以上になっているときに行われるようにし、音量の変動が大きくなりすぎないようにしてもよい。また、差分が一定の値以上になっているときに、対応するトラックをミュートして、消音させるようにしてもよい。
このように構成することにより、第2実施形態に係る楽音再生装置を利用する運動者1000は、放音部30からの放音を聴取して、どの演奏パートの音量が小さくなっているかを確認することによって、どの測定部位の筋電位の変化が、基準となる筋電位の変化と違っているか、またその違いの程度について認識することができる。このとき、運動者1000が指定した運動パターンに対応した基準データを、運動者1000自身の動きの早さにあわせて伸縮させた伸縮基準データに変換して比較対象としている。したがって、運動者1000は、自分のペースで運動しつつ、全ての演奏パートについて音量が小さくならないように運動することにより、理想的な運動パターンに近づけることができる。
<第3実施形態>
第3実施形態における楽音再生装置は、筋電データが示す特徴量の時刻の進行に伴う変化と基準データが示す特徴量の時刻の進行に伴う変化との時間的なずれの程度に応じて、運動者1000に聴取させる楽音の内容が変化するように構成したものである。第3実施形態においては、制御部11が制御プログラムを実行することによって信号制御機能が実現されるときに構成される信号制御部100Bが、第1実施形態における信号制御部100と異なる。以下、信号制御部100Bの構成について図7を用いて説明する。
図7は、本発明の第3実施形態に係る信号制御部100Bの構成を示すブロック図である。信号制御部100Bは、筋電位記録部101、時刻比較部102B、再生制御部104Bおよび再生部105を有する。時刻比較部102Bおよび再生制御部104B以外の構成については、第1実施形態における構成と同様な構成であるので、説明を省略する。なお、第3実施形態においては、読出部103は設けられていない。
時刻比較部102Bは、第1実施形態における処理と同様にして、筋電データが示す特徴量の時刻の進行に伴う変化と基準データが示す特徴量の時刻の進行に伴う変化との時間的なずれの程度を算出する。このとき、時間的なずれの程度は、測定部位毎に算出される。そして、時刻比較部102Bは、測定部位毎に算出された時間的なずれの程度を示す差分情報を再生制御部104Bに出力する。なお、時刻比較部102Bは、時間的なずれの程度の時刻の進行に伴う変化から、現タイミングにおいて測定される筋電位に係る筋電データの部分において推測される時間的なずれの程度を算出し、算出した時間的なずれの程度を差分情報として出力してもよい。
再生制御部104Bは、時刻比較部102Bから出力された差分情報と記憶部12に記憶されている対応テーブル12−3とに基づいて、再生部105を制御する。この例においては、第2実施形態における再生制御部104Aで説明したように、再生部105によって再生される楽音制御データにおける各トラックの音量を制御するものである。第2実施形態における場合と差分情報の内容は異なるものであるが、同様な制御となるため、詳細の説明は省略する。
このように構成することにより、第3実施形態に係る楽音再生装置を利用する運動者1000は、放音部30からの放音を聴取して、どの演奏パートの音量が小さくなっているかを確認することによって、どの測定部位の筋電位の変化パターンが、基準となる筋電位の変化パターンと時間的なずれが生じているか、またそのずれの程度について認識することができる。したがって、運動者1000は、自分の運動のペースを調節して、全ての演奏パートについて音量が小さくならないように運動することにより、理想的な運動パターンのペースに近づけることができる。
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
<変形例1>
上述した第1実施形態および第2実施形態を組み合わせた構成としてもよい。すなわち、第1実施形態に示すように伸縮基準データに応じて再生制御されることにより放音される楽音の内容が、第2実施形態に示すように伸縮基準データと筋電データとの違いに応じてさらに楽音の内容が変化するようにした構成である。変形例1において、制御部11が制御プログラムを実行することによって信号制御機能が実現されるときに構成される信号制御部100Cの構成について図8を用いて説明する。
図8は、変形例1に係る信号制御部100Cの構成を示すブロック図である。信号制御部100Cは、筋電位記録部101、時刻比較部102、読出部103、再生制御部104C、再生部105およびデータ比較部106を有する。再生制御部104C以外の構成については、第1実施形態または第2実施形態における構成と同様な構成であるので、説明を省略する。
再生制御部104Cは、読出部103から出力される伸縮基準データを取得し、伸縮基準データに基づいて、第1実施形態における再生制御を行う。また、データ比較部106から出力される差分情報を取得し、伸縮基準データに応じて再生される楽音制御データについて、第2実施形態における再生制御のように、各トラックの音量を制御する。
このように構成することにより、運動者1000は、放音部30からの放音を聴取すると、指定した運動パターンを自分の運動のペースで行った場合における理想的な動きについて、聴取する楽音の変化から認識することができるとともに、さらにどの演奏パートの音量が小さくなっているかを確認することによって、どの測定部位の筋電位の変化が、基準となる筋電位の変化と違っているか、またその違いの程度について認識することができる。
なお、第1実施形態と第2実施形態とを組み合わせた構成だけでなく、第1実施形態と第3実施形態とを組み合わせることもできる。また、第1、第2、第3実施形態を組み合わせた構成とすることもできる。第2、第3実施形態の構成を併用する場合には、伸縮基準データと筋電データとの差分を示す差分情報に基づく再生制御と、時間的なずれの程度を示す差分情報に基づく再生制御とは、別の制御態様で行えばよい。別の制御態様については、以下の変形例8において別途説明する。
<変形例2>
上述した変形例1における構成において、伸縮基準データに応じた再生制御を行う代わりに、筋電データに応じた再生制御を行うような構成としてもよい。変形例2において、制御部11が制御プログラムを実行することによって信号制御機能が実現されるときに構成される信号制御部100Dの構成について図9を用いて説明する。
図9は、変形例2に係る信号制御部100Dの構成を示すブロック図である。信号制御部100Dは、筋電位記録部101、時刻比較部102、読出部103、再生制御部104D、再生部105およびデータ比較部106を有する。再生制御部104D以外の構成については、第1実施形態または第2実施形態における構成と同様な構成であるので、説明を省略する。
再生制御部104Dは、信号入力部16から出力される筋電データを取得し、第1実施形態における再生制御を伸縮基準データに応じて行うことに代えて、筋電データに応じて行う。また、データ比較部106から出力される差分情報を取得し、伸縮基準データに応じて再生される楽音制御データについて、第2実施形態における再生制御のように、各トラックの音量を制御する。
このように構成することにより、運動者1000は、放音部30からの放音を聴取すると、自分の運動に応じた楽音を聴取することができるとともに、どの演奏パートの音量が小さくなっているかを確認することによって、どの測定部位の筋電位の変化が、基準となる筋電位の変化と違っているか、またその違いの程度について認識することができる。
なお、第2実施形態における構成部分については、第3実施形態における構成部分と置き換えた構成、または併用した構成としてもよい。
<変形例3>
上述した変形例1における構成においては、時刻比較部102は、筋電データと基準データとの比較により、時間的なずれの程度を算出していたが、運動検出部17から出力される検出信号に基づいて算出するようにしてもよい。変形例3において、制御部11が制御プログラムを実行することによって信号制御機能が実現されるときに構成される信号制御部100Eの構成について図10を用いて説明する。
図10は、変形例3に係る信号制御部100Eの構成を示すブロック図である。信号制御部100Eは、時刻比較部102E、読出部103、再生制御部104C、再生部105、データ比較部106および運動態様記録部107を有する。時刻比較部102Eおよび運動態様記録部107以外の構成については、変形例1における構成と同様な構成であるので、説明を省略する。
また、記憶部12における基準記憶領域12−2は、筋電基準記憶領域12−21と運動基準記憶領域12−22を有している。筋電基準記憶領域12−21には、上述した実施形態における基準データと同様なデータが記憶されている。一方、運動基準記憶領域12−22には、運動態様基準データが記憶されている。運動態様基準データは、基準データの内容が理想とする筋電位信号の変化に基づくものであったのに対して、運動検出部17から出力される検出信号によって示される運動態様の変化の理想とするものに基づく。
すなわち、運動態様基準データは、運動パターン毎に対応して記憶され、運動パターンに応じた動きを理想的に行った場合の手本となるデータであって、時刻の進行に伴う運動態様(検出信号)の変化、すなわち基準となる運動態様の変化を示すデータである。
運動態様記録部107は、上述した実施形態における筋電位記録部101において筋電データが保持される代わりに、運動検出部17から出力される検出信号を保持するものである。
時刻比較部102Eは、上述した実施形態のように筋電データと基準データとの比較を行う処理ではなく、運動態様記録部107に保持されている検出信号と運動態様基準データとの比較を行うものであり、比較結果に応じた時刻情報を読出部103に出力する。このようにして出力された時刻情報を用いて読出部103が基準データを読み出すと、運動検出部17によって検出された運動態様(検出信号)と運動態様基準データとの比較結果に応じて時間軸方向に伸縮されたデータとして読み出されることになる。
運動検出部17における運動態様の検出と、筋電位の変化とは相関があることが通常であるから、変形例3のような構成により時間的なずれの程度を算出しても、筋電データと基準データとの時間的なずれの程度に概ね一致する。したがって、変形例3のような構成によっても、変形例1と同様な効果を得ることができる。なお、変形例1における比較対象と変形例3における比較対象とを複合的に処理して時間的なずれを算出してもよく、複合的に処理する方法は、他の実施形態、変形例においても適用できる。
<変形例4>
上述した実施形態においては、時刻比較部102においては、全ての測定部位について筋電データと基準データとの比較を行っていたが、一部の測定部位についてのみ行ってもよい。また、データ比較部106において差分をとる筋電データと伸縮基準データについても一部の測定部位についてのみ行うようにしてもよい。このとき、時刻比較部102において比較する測定部位と、データ比較部106において差分をとる測定部位は別の測定部位であってもよい。例えば、時刻比較部102においては、右足、左足に対応する筋電データと基準データとの比較を行い、データ比較部106においては、右腕、左腕に対応する筋電データと基準データとの差分をとるようにし、測定部位をグループ分けするようにすればよい。
このようにすれば、例えば、ランニングなどの運動パターンであったときに、脚部の筋電位の変化に応じて基準データの時間軸方向の伸縮がなされ、腕の筋電位の変化の差分に応じて放音される楽音の内容を変化させることができる。このような構成は、運動パターンについて、測定部位の一部分が反復運動となっているときなどに、その部分を用いると、時間的なずれの程度を容易に算出できる。
<変形例5>
上述した実施形態における時刻比較部102は、DPマッチングを用いて筋電データの各部と基準データの各部とを対応付けていたが、異なる方法で対応付けてもよい。例えば、筋電データの変化態様が特徴的なものとなる運動パターンの特定のタイミングを複数点設定しておき、時刻比較部102が筋電データの変化態様を監視して、その変化態様を検出したときに、その変化態様となる特定のタイミングに対応する筋電データのデータ部分と基準データのデータ部分として対応させればよい。そして、その対応関係から時間的なずれの程度を算出して、時刻情報を出力するようにすればよい。
<変形例6>
上述した実施形態において、再生部105において生成される楽音データ、または、楽音データの生成に必要な情報、例えば、伸縮基準データ、差分情報などを記憶部12に記憶しておいてもよい。このようにすることで、運動者1000は、運動終了後に、これらの記憶しておいた情報を用いて楽音信号出力部15から出力される楽音信号により、何らかの放音手段から放音させれば、楽音信号に係る音を聴取することもできるから、運動をするときに、リアルタイムに放音部30からの放音を聴取しない状態であってもよい。
<変形例7>
上述した第2実施形態においては、データ比較部106は、筋電データと伸縮基準データとを測定部位毎に比較し、筋電位の特徴量の差分を差分情報として出力していたが、筋電位の特徴量の変化について、一定期間における変化パターンを単位として比較し、変化パターンの違いを差分情報として出力してもよい。この場合には、基準データは、筋電位の特徴量の変化パターンとして規定したものであってもよい。なお、反復運動などにより筋電位の特徴量の変化が周期的なパターンとなるときには、反復運動による1周期のパターンの単位時間当たりの回数などを比較するようにしてもよい。
また、データ比較部106は、複数の測定部位の筋電位を測定している場合には、複数の測定部位の筋電データに予め設定された計算処理を施して得られる結果と、複数の測定部位の伸縮基準データに予め設定された計算処理を施して得られる結果とを比較してもよい。例えば、筋電データおよび伸縮基準データについて、左手と右手との比率を計算処理により得ることによって、これを比較対象としてもよい。これによれば、左手と右手との運動のバランスを基準と比較することができる。このような計算処理は、比率に限られず、左手の筋電データと右手の筋電データとの差分であったり、平均であったりしてもよい。全部の測定部位の平均としてもよい。
この場合、記憶部12に記憶されている対応テーブル12−3は、このような計算処理を施して得られる結果により、制御を行う演奏パートを規定するようにすればよい。また、基準データは、このような計算処理が予め施されたものとしてもよい。なお、比較対象は、実施形態と同様なものとし、複数の測定部位に対応する差分に対して、予め設定された計算処理を施した結果を差分情報としてもよい。
<変形例8>
上述した実施形態、変形例における再生制御部104A、104B、104C、104Dについては、測定部位に対応した演奏パートの音量を、その測定部位における差分に応じて制御するようにしていたが、このような制御態様は一例であって、運動者1000が放音部30からの放音を聴取して、聴取する音の内容を変化させるものであれば、どのような制御を行ってもよい。以下に、制御態様の例を複数挙げて説明する。
第1に、差分が大きくなったときに、対応する演奏パートの音量が大きくなるようにしてもよい。この場合には、運動者1000の運動が理想的な運動パターンであるほど音が小さくなる。最終的には、無音になるようにしてもよい。なお、差分は、絶対値としての大きさであるものとしてきたが、差分を筋電データから伸縮基準データを引いた値とした場合には、差分が正の値であるか負の値であるかにより制御を変えてもよい。この態様の場合、差分が正の値の場合は音量を大きくなるようにして、差分が負の値の場合には音量が小さくなるようにしてもよい。また、第3実施形態に係る差分の場合は筋電データと伸縮基準データとのいずれが時間的に先行しているか否かを差分の正負として対応させればよい。なお、このような制御は、以下の別の例においても適用できる。
第2に、差分が大きくなったときに、対応する演奏パートにおいて、発音すべき楽音を間引くようにしてもよい。差分に応じて間引く割合を変えてもよい。また、これとは逆に、差分が大きくなったときに、発音すべき楽音を増やすようにしてもよい。この増やす楽音の音高設定により、不協和音などを構成するようにしてもよいし、効果音などの発音させるようにしてもよい。また、楽音を間引く代わりに、その楽音の音高を変更するようにしてもよい。
第3に、差分に応じて、対応する演奏パートに音響処理を施してもよい。音響処理については、リバーブ、ディレイなどの音場効果を付与して、その付与の程度を制御するものであってもよいし、イコライジング処理などの周波数分布を制御するものであってもよい。また、運動者1000が聴取するときの音像の位置を制御するものであってもよい。例えば、変形例7において説明したような左手と右手との運動のバランスを基準と比較する場合であれば、左右のバランスのずれに応じて音像を左右に動かすようにすることもできる。
第4に、各測定部位を制御対象となる演奏パートに対応付けるのではなく、特定の演奏パートにおける音に対応付けてもよい。例えば、特定の演奏パートが「ドラム」であるとすれば、測定部位「LF(左足)」は「シンバル」、「RF(右足)」は「キックドラム」、「LH(左腕)」は「スネアドラム」、「RH(右腕)」は「ハイハット」として対応付け、差分に応じてその音量を制御するようにすればよい。特定の演奏パートが「キーボード」であれば、各測定部位に音高を対応付ければよい。いずれの場合であっても、楽音制御データがMIDI形式のものであれば、測定部位とノートナンバとが対応付けられていることになる。
なお、これらの制御は、測定部位に応じたものだけでなく、変形例1のように計算処理により得られる結果に応じたものであってもよい。このようにすれば、さらに、演奏パート全体に対しての制御、再生する楽音制御データの変更などの制御なども行うことができる。なお、楽音制御データに曲調を示す曲調情報を対応付けておけば、再生する楽音制御データを変更するときには、曲調が異なる楽音制御データに変更するようにするとよい。
<変形例9>
上述した実施形態、変形例においては、基準データは記憶部12の基準記憶領域12−2に記憶されていたが、運動者1000が行った運動によって得られた筋電データを基準データとして、基準記憶領域12−2に記憶させるようにしてもよい。このようにすると、過去における運動者1000自身の運動パターンと比較することもできる。
<変形例10>
上述した実施形態、変形例においては、筋電データと基準データとの比較結果に応じて、再生制御部104Aなどにおける再生部105の制御が行われていたが、さらに他の生体信号、例えば、心拍数、体温、発汗量などについて並行して比較を行うようにしてもよいし、運動検出部17において検出される運動の態様についても比較を行うようにしてもよい。
<変形例11>
上述した実施形態、変形例においては、記憶部12の楽音記憶領域12−1には、楽音制御データが記憶されていたが、非圧縮の波形データであるWAVE形式、圧縮された波形データ、例えば、MP3(MPEG-1 Audio Layer-3)形式などの波形データファイルである楽曲データであってもよい。この場合には、演奏パート毎の楽曲データが記憶される。そして、再生部105は、複数の楽曲データを同時に再生して、それぞれの楽曲データに係る音を、再生制御部104Aなどの制御に応じた音量で合成した楽音データを生成すると、第2実施形態などにおける楽音制御データの再生によって生成される楽音データと同様な内容とすることができる。
なお、上述した変形例8において説明した制御のうち、演奏パート毎の制御が不要な場合には、演奏パート毎の複数の楽曲データが記憶される態様でなくてもよい。また、楽音を間引くような制御を行う場合には、断続的にミュートするような再生をしてもよい。一方、楽音を追加するような制御を行う場合には、追加する楽音の波形を示すデータを別途記憶しておき、楽曲データとともにこのデータを再生するようにすればよい。また、実施形態における楽音制御データと変形例11に示すような楽曲データとを合わせて用いるようにしてもよい。
<変形例12>
上述した実施形態、変形例においては、運動者1000の運動に応じた楽音が、放音部30から放音され、これを運動者1000が聴取することによりフィードバックされるようになっていたが、運動者1000が認識できる別の態様によりフィードバックされるようにしてもよい。例えば、表示部14への表示、図示しない発光部を用いた発光、図示しない振動アクチュエータなどを用いた振動部の振動などであればよい。また、筋電位測定部20が装着されている部位に対して電気刺激を与えるものであってもよく、この場合には、筋電位測定部20に電気刺激を与える電極を設け、制御部11の制御により電流を供給し電気刺激を発生させるようにしておけばよい。
<変形例13>
上述した実施形態においては、楽音再生装置1は運動者1000が携帯できるような装置であったが、トレーニング装置、例えば、エルゴメータ、トレッドミル、ストレングスマシンなどに組み込まれたものであってもよい。この場合、運動検出部17は、トレーニング装置の運動時の可動部に設けてもよい。このようにトレーニング装置に組み込まれている場合に、放音部30は、スピーカとしてトレーニング装置に設けられていてもよい。すなわち、放音部30は、楽音信号に係る音を運動者1000に聴取させるものであればどのようなものであってもよい。
<変形例14>
上述した実施形態における制御プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。ネットワーク経由でダウンロードさせることも可能である。
1…楽音再生装置、10…本体部、11…制御部、12…記憶部、12−1…楽音記憶領域、12−2…基準記憶領域、12−21…筋電基準記憶領域、12−22…運動基準記憶領域、12−3…対応テーブル、13…操作部、14…表示部、15…楽音信号出力部、16…信号入力部、17…運動検出部、18…インターフェイス、20,20−LF,20−RF,20−LH,20−RH…筋電位測定部、30…放音部、100,100A,100B,100C,100D,100E…信号制御部、101…筋電位記録部、102,102B,102E…時刻比較部、103…読出部、104,104A,104B,104C,104D…再生制御部、105…再生部、106…データ比較部、107…運動態様記録部、1000…運動者

Claims (5)

  1. 基準となる筋電位に応じた基準データであって、データの各部についての時刻を規定する同期情報が付された基準データを運動パターン毎に対応して記憶する記憶手段と、
    利用者の身体の一部に取り付けて、前記身体の一部に発生する筋電位を測定する測定手段と、
    前記測定手段によって時刻の進行に伴って測定された筋電位に応じた筋電データの各部と前記記憶手段に記憶された基準データの各部とを対応付け、対応付けられた各部について、前記測定手段によって前記各部に係る筋電位が測定された時刻と前記同期情報によって規定される時刻とを比較する時刻比較手段と、
    前記時刻比較手段による比較結果に基づいて、前記記憶手段から前記基準データを読み出す読出手段と、
    設定される処理の内容にしたがって楽音信号を生成する生成手段と、
    楽音信号が供給されることにより放音する放音手段に対して前記生成手段により生成された楽音信号を供給する場合であって、前記読出手段によって読み出された前記基準データの変化パターンが予め定められたパターンとなった場合、前記放音手段からの放音により利用者に聴取される内容が、当該変化パターンに対応した内容となるように前記生成手段に設定される処理の内容を制御する制御手段と
    を具備することを特徴とする信号制御装置。
  2. 基準となる筋電位に応じた基準データであって、データの各部についての時刻を規定する同期情報が付された基準データを記憶する記憶手段と、
    利用者の身体の一部に取り付けて、前記身体の一部に発生する筋電位を測定する測定手段と、
    前記測定手段によって時刻の進行に伴って測定された筋電位に応じた筋電データの各部と前記記憶手段に記憶された基準データの各部とを対応付け、対応付けられた各部について、前記測定手段によって前記各部に係る筋電位が測定された時刻と前記同期情報によって規定される時刻とを比較する時刻比較手段と、
    前記時刻比較手段による比較結果に基づいて、前記記憶手段から前記基準データを読み出す読出手段と、
    前記測定手段によって測定された筋電位の変化に応じた筋電データと前記読出手段によって読み出された基準データとを比較するデータ比較手段と、
    設定される処理の内容にしたがって楽音信号を生成する生成手段と、
    楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、前記データ比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御する制御手段と
    を具備することを特徴とする信号制御装置。
  3. 前記測定手段によって測定された筋電位の変化に応じた筋電データと前記読出手段によって読み出された基準データとを比較するデータ比較手段
    をさらに具備し、
    前記制御手段は、楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、さらに、前記データ比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御する
    ことを特徴とする請求項1に記載の信号制御装置。
  4. 前記制御手段は、楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、さらに前記時刻比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御する
    ことを特徴とする請求項1乃至請求項3のいずれかに記載の信号制御装置。
  5. 基準となる筋電位に応じた基準データであって、データの各部についての時刻を規定する同期情報が付された基準データを記憶する記憶手段と、
    利用者の身体の一部に取り付けて、前記身体の一部に発生する筋電位を測定する測定手段と、
    前記測定手段によって時刻の進行に伴って測定された筋電位に応じた筋電データの各部と前記記憶手段に記憶された基準データの各部とを対応付け、対応付けられた各部について、前記測定手段によって前記各部に係る筋電位が測定された時刻と前記同期情報によって規定される時刻とを比較する時刻比較手段と、
    設定される処理の内容にしたがって楽音信号を生成する生成手段と、
    楽音信号が供給されることにより放音する放音手段に対して前記生成手段によって生成された楽音信号を供給した場合に、前記放音手段からの放音により利用者に聴取される内容が、前記時刻比較手段による比較結果に応じた内容となるように、前記生成手段に設定される処理の内容を制御する制御手段と
    を具備することを特徴とする信号制御装置。
JP2009110157A 2009-04-28 2009-04-28 信号制御装置 Expired - Fee Related JP5549110B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009110157A JP5549110B2 (ja) 2009-04-28 2009-04-28 信号制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009110157A JP5549110B2 (ja) 2009-04-28 2009-04-28 信号制御装置

Publications (2)

Publication Number Publication Date
JP2010261974A JP2010261974A (ja) 2010-11-18
JP5549110B2 true JP5549110B2 (ja) 2014-07-16

Family

ID=43360122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009110157A Expired - Fee Related JP5549110B2 (ja) 2009-04-28 2009-04-28 信号制御装置

Country Status (1)

Country Link
JP (1) JP5549110B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6515069B2 (ja) * 2016-07-29 2019-05-15 日本電信電話株式会社 筋活動解析装置、方法およびプログラム
JP6515070B2 (ja) * 2016-07-29 2019-05-15 日本電信電話株式会社 筋活動推定装置、方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3799190B2 (ja) * 1999-05-10 2006-07-19 株式会社タイトー 音楽指揮者ゲーム装置
JP2004302011A (ja) * 2003-03-31 2004-10-28 Toyota Motor Corp 指揮棒の振りタイミングに同期させて演奏する装置
JP4815594B2 (ja) * 2006-05-18 2011-11-16 国立大学法人広島大学 演奏インターフェース
JP2008295037A (ja) * 2007-04-24 2008-12-04 Victor Co Of Japan Ltd 動画再生装置及びその方法
JP5151245B2 (ja) * 2007-05-16 2013-02-27 ヤマハ株式会社 データ再生装置、データ再生方法およびプログラム

Also Published As

Publication number Publication date
JP2010261974A (ja) 2010-11-18

Similar Documents

Publication Publication Date Title
RU2398291C2 (ru) Способ и устройство воспроизведения содержания
US7737353B2 (en) Apparatus for controlling music reproduction and apparatus for reproducing music
US10518161B2 (en) Sound-output-control device, sound-output-control method, and sound-output-control program
JP4595555B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP3873654B2 (ja) オーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体
JP4144269B2 (ja) 演奏処理装置
JP2017215611A (ja) 適合音楽再生システム
JP2011000367A (ja) 音楽再生制御装置
JP2007193907A (ja) 音楽再生制御装置及び音楽再生装置
JP5381293B2 (ja) 放音制御装置
JP2005156641A (ja) 再生態様制御装置及び再生態様制御方法
JPH1063265A (ja) 自動演奏装置
US20090260506A1 (en) Method for controlling the tempo of a periodic conscious human physiological activity
JP4702071B2 (ja) 音楽再生制御装置及び音楽再生装置
JP2010259456A (ja) 放音制御装置
JP5549110B2 (ja) 信号制御装置
JP2009198714A (ja) カラオケ装置及びカラオケ伴奏音楽の再生処理方法及びプログラム
JP2014035436A (ja) 音声処理装置
JP4407757B2 (ja) 演奏処理装置
WO2023080080A1 (ja) 演奏解析方法、演奏解析システムおよびプログラム
JP6772640B2 (ja) フレーズを生成する装置および方法
JP2014046018A (ja) 情報処理装置、情報処理方法及びプログラム
JP2008225005A (ja) 音楽練習用電子装置及び音楽練習プログラム
JP4816534B2 (ja) 音楽再生制御装置
JP2014128411A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140505

R150 Certificate of patent or registration of utility model

Ref document number: 5549110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees