JP4496993B2 - 楽音制御装置 - Google Patents

Description

本発明は、運動体の状態を反映した楽音を発生するための技術に関する。

音程、音量及び発音タイミングなどからなる演奏データを記憶しておき、これを順次読み出して音源から楽音を発生させる自動演奏装置が知られている。この種の自動演奏装置を用いることにより、人間の心拍数に応じて演奏データを加工する技術が提案されている。例えば特許文献１に記載された技術では、利用者に脈拍センサを取り付けておき、この脈拍センサによって検知される心拍数が比較的小さい場合、つまり運動負荷率が低い場合には、通常の再生テンポで楽曲を再生する。そして、心拍数が徐々に大きくなるにつれて、つまり運動負荷率が高まるにつれて、再生テンポを遅くしていく。このため、利用者は、楽曲の再生テンポに基づいて身体にかかる負荷の状態を認知し、その負荷に応じた行動をとることができる。例えば再生テンポが下がったら、それに合わせてジョギングのペースを下げるといった具合である。

ただし、楽曲は、そもそも或る一定の再生テンポを想定して作られたものであるから、楽曲の再生テンポを運動負荷率に応じて単純に変化させただけでは、利用者にとって心地よいものにはならない。例えば単純に再生テンポを遅くしただけでは妙に間延びした楽曲になり、利用者は違和感を感じてしまう。また、単純に再生テンポを速くしただけでは単なる楽曲の早送りのようになってしまい、利用者も落ち着かない気分になってしまう。そこで、特許文献１では、同一楽曲の再生テンポを変化させるのではなく、そもそもオリジナルの再生テンポが異なる楽曲を複数用意しておき、これら楽曲の中から、運動負荷率に最適な再生テンポの楽曲を選択して再生することを提案している。このようにすれば、音楽的に違和感のない楽曲を利用者に聴かせることが可能となる。
特開平１０−６３２６５号公報

ところが、特許文献１に記載された技術では、予め定められた楽曲群の中から再生する楽曲を選択しているに過ぎないので、相当数の楽曲を事前に用意しておいたとしても、同じ心拍数の場合には全く同じ楽曲が演奏されることがある。これでは、利用者が何度も利用しているうちに聞き飽きてしまい、面白みが無くなってしまうという点が懸念される。そこで、本願発明者らは、上記の従来技術のように予め完成された楽曲を幾つも用意しておくのではなく、利用者の身体の状態に応じて楽曲そのものを作り上げていくような仕組みがあれば、利用者に楽曲を創造するという楽しみを与えることができ、例え何度も利用しても飽きることがないと考えた。本発明は、このような背景に鑑みてなされたものであり、人間等の運動体の状態に応じて楽曲を作り、これを再生する仕組みを提供することを目的とする。

上記課題を解決するために、本発明は、センサから出力される信号を解析し、当該センサが取り付けられた運動体の状態を判定する判定手段と、楽曲データを構成する複数の楽曲要素データを記憶した楽曲要素記憶手段と、前記運動体の状態別に定められた前記楽曲要素データの組み合わせを、各々の状態に対応づけてそれぞれ１又は複数記憶した記憶手段と、判定された前記運動体の状態に対応づけられて前記記憶手段に記憶されている１又は複数の前記楽曲要素データの組み合わせのうち、いずれかの組み合わせを選択する選択手段と、前記選択手段によって選択された組み合わせで、前記楽曲要素記憶手段に記憶された前記楽曲要素データを組み合わせて楽曲データを生成する作曲手段と、生成された楽曲データに基づいて楽曲を再生する再生手段とを備え、前記記憶手段は、前記運動体の少なくとも３つの時系列の状態を含む、状態の遷移別に前記楽曲要素データの組み合わせを記憶しており、前記選択手段は、前記判定手段によって判定された前記運動体の過去の状態を記憶しており、少なくとも、２つ前の状態から１つ前の状態への遷移と、１つ前の状態から現在の状態への遷移とを含む、前記運動体の状態の遷移に基づいて、前記楽曲要素データの組み合わせを選択することを特徴とする楽音制御装置を提供する。

この楽音制御装置によれば、センサから出力される信号に基づいて運動体の状態が判定され、その状態に応じて用意されている楽曲要素データの組み合わせのうち、いずれかが選択される。そして、選択された組み合わせで楽曲要素データが組み合わせられて楽曲データが生成され、楽曲として再生される。このように運動体の状態に応じた内容であり、かつ、選択された組み合わせに応じてその都度異なる内容の楽曲が再生されることになるので、利用者は独特の面白さを体感することができ、あまり飽きることがない。さらに、現在の運動体の状態が同じ状態であっても、また、１つ前の状態から現在の状態への遷移が同じであっても、それよりも過去の状態がどうであったかということに応じて、楽曲データの内容が変わり得る。よって、利用者を飽きさせないという効果は顕著である。

また、別の好ましい態様においては、利用者が楽曲のジャンルを指定するための操作手段を備え、前記記憶手段は、前記楽曲要素データの組み合わせを楽曲のジャンル毎に記憶しており、前記選択手段は、前記操作手段において指定されたジャンルに属する前記組み合わせを、前記記憶手段に記憶されている内容の中から選択する。これにより、利用者の好みに応じたジャンルの楽曲を再生することができる。

さらに、本発明では、他の楽音制御装置と通信を行う通信手段と、前記作曲手段が、前記楽曲要素データを組み合わせて生成した楽曲データを特徴づける特徴情報を前記通信手段によって他の楽音制御装置に送信する一方、他の楽音制御装置から送信されてくる前記特徴情報を前記通信手段によって受信する通信制御手段とを備え、前記作曲手段は、前記楽曲要素データを組み合わせて生成した楽曲データを、前記通信制御手段が他の楽音制御装置から受信した特徴情報の内容に基づいて加工するようにしてもよい。

また、本発明では、自装置と他の楽音制御装置との距離を測定する測定手段を備え、前記作曲手段は、前記楽曲要素データを組み合わせて生成した楽曲データを、前記測定手段によって測定された距離に基づいて加工するようにしてもよい。このようにすれば、他の楽音制御装置との関係に応じて楽曲の内容を変化させることができる。

また、本発明は、コンピュータに、センサから出力される信号を解析し、当該センサが取り付けられた運動体の状態を判定する判定機能と、前記判定機能によって判定された前記運動体の状態に対応づけられて記憶手段に記憶されている１又は複数の前記楽曲要素データの組み合わせのうち、いずれかの組み合わせを選択する選択機能と、前記選択機能によって選択された組み合わせで記憶手段に記憶された前記楽曲要素データを組み合わせて楽曲データを生成する作曲機能と、生成された楽曲データに基づいて楽曲を再生させる再生機能とを実現させるプログラムを提供する。このプログラムは、インターネットに代表されるネットワークを介して所定のサーバ装置からコンピュータに提供されるほか、これを記録したコンピュータ読取可能な記録媒体としても提供され得る。この種の記録媒体としては、可搬型の磁気ディスクや光ディスクなどが挙げられる。

以下、図面を参照して、本発明の実施形態について説明する。
（１）第１実施形態
（１−１）構成
図１は、本発明の第１実施形態に係る楽音制御装置１の外観図である。
楽音制御装置１の本体１０には、液晶ディスプレイなどの表示部１１と、複数のスイッチを備えた操作部１２と、複数のＬＥＤ（Light Emitting Diode）１３とが設けられている。また、本体１０には通信ケーブルを介して脈拍センサ１４や加速度センサ１５ａ，１５ｂなどの各種センサ群が接続されている。脈拍センサ１４は、利用者の脈拍を検知するために用いられるものであり、利用者の耳たぶをクリップで挟むようにして取り付けられる。加速度センサ１５ａ，１５ｂは、取り付けられた部位の身体状態を検知するために利用されるものであり、例えば利用者の左右の肘の部分の衣服などをクリップで挟むようにして取り付けられる。さらに、本体１０には、通信ケーブルを介してインナー型イヤーヘッドホン１６（以下、イヤホンという）が接続されるほか、ループ状のストラップ１７が設けられている。利用者は、このストラップ１７を自身の首に掛け、イヤホン１６を左右の耳穴に挿入し、脈拍センサ１４や加速度センサ１５ａ，１５ｂを所定の部位に取り付けた状態で楽音制御装置１を利用する。

次に、図２は、楽音制御装置１のハードウェア構成を示すブロック図である。
楽音制御装置１は、前述した脈拍センサ１４や加速度センサ１５ａ，１５ｂのほかに、ジャイロセンサ１８を内蔵している。このジャイロセンサ１８は、利用者の体の向きがどのように変化したかを検知するために利用される。制御部１００は、自身が記憶したコンピュータプログラムを実行することによって、上述したセンサ群（脈拍センサ１４、加速度センサ１５ａ，１５ｂ及びジャイロセンサ１８）からの出力信号を解析して利用者（運動体）の身体の状態を判定し、その判定結果に応じたＭＩＤＩ（Musical Instrument Digital Interface）形式の楽曲データを生成する。

また、制御部１００は、上記センサ群によって検出された利用者の身体状態を利用者自身が視覚的に理解できるように、ＬＥＤ１３の点灯期間や点灯タイミングを制御する。例えば、利用者が激しい運動をしたり、心拍数が上昇した場合には、比較的短い周期でＬＥＤ１３を点滅させ、利用者があまり運動をしなかったり、心拍数が下降した場合には、より長い周期でＬＥＤ１３を点滅させるといった具合である。楽音発生部１９は、音源や、効果付与回路及びＡ／Ｄ変換回路（いずれも図示略）を備えており、制御部１００から供給されるＭＩＤＩ形式の楽曲データに基づいて楽音信号を発生させ、これをイヤホン１６に供給する。イヤホン１６からはその楽音信号に応じた楽音が放音される。このようにして利用者は楽音制御装置１によって再生される楽曲を聴くことができる。

制御部１００は、センサ群からの出力信号を解析することにより、それらセンサ群が取り付けられた利用者（運動体）の状態を判定し、判定した状態に応じてリアルタイムで作曲を行うことができる。以下では、その作曲の仕組みについて説明する。
図３は、制御部１００の構成を示すブロック図である。制御部１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、不揮発性記憶部１０３とを備えたマイクロコンピュータである。不揮発性記憶部１０３は、例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）や、バックアップ電源が確保されたＳＲＡＭ（Static Random Access Memory）であり、ＣＰＵ１０１によって実行される制御プログラム２００や、そのプログラム実行時に使用される各種の情報を記憶している。不揮発性記憶部１０３に記憶されている情報には、身体状態判定テーブル２０１と、作曲テーブル２０２と、ジャンル別テンプレート２０３と、楽曲要素ライブラリ２０４とが含まれている。以下、これらの情報の内容について具体的に説明する。

身体状態判定テーブル２０１は、ＣＰＵ１０１がセンサ群からの出力信号に基づいて、利用者の身体状態を判定するためのテーブルである。ここでいう「利用者の身体状態」とは、例えば「歩いている」などの身体の運動そのもののほかに、「息切れ」等の身体の内部状態をも含むものとする。この身体状態判定テーブル２０１には、図４に示すように、各々のセンサからの出力信号を解析して得られる検出値と、身体状態とが対応付けられて記述されている。例えば、加速度が０．１ｍ／ｓまでで、心拍数が５０〜７５回／分の場合には、利用者の身体状態は「止まっている」と判定され、加速度が０．１〜１ｍ／ｓで、心拍数が７５〜９０回／分の場合には、利用者の身体状態は「歩いている」と判定される、といった具合である。また、心拍数が２２０以上と極めて多い場合には、加速度の大小に関わらず、「息切れ」と判定される。このようなセンサ群による検出値と身体状態との対応関係は予め決められていてもよいが、例えば心拍数には個人差があるため、利用者が操作部１２などを用いて自由に設定可能な構成としてもよい。

次に、楽曲要素ライブラリ２０４には、楽曲を構成する楽曲要素データが多数含まれている。楽曲要素データには、図３に示すように、フレーズループとパターンループという２種類のループ（繰り返し再生される一定期間の楽曲要素）が含まれている。フレーズループは、音階を表現可能な楽器（例えばピアノやベース）によって演奏される一定期間のメロディラインを表している。パターンループは、音階を表現しない楽器（例えばドラムなどの打楽器）による一定期間の発音タイミング（リズム）を表している。また、この楽曲要素ライブラリ２０４には、各種楽器の音色を規定する音の波形を表すディジタルデータも楽曲要素データとして記憶されている。ＣＰＵ１０１は、利用者の身体状態に応じてこれらのループや音色を適宜組み合わせ、さらに、この身体状態に応じて音程、効果及び音量を決定することによって、一定期間の楽曲データを生成し、これを繰り返し再生する。

次に、ジャンル別テンプレート２０３は、例えばロック、ダンス、ポップス・・・というように、楽曲のジャンル毎に用意されたテンプレートである。例えばあるジャンルのテンプレートには、図５に示すように、そのジャンルに合ったループの組み合わせを示すループパターンが１又は複数（図５では複数）が記述されている。さらにこのテンプレートには、音程、音色、効果（エフェクト）、音量を指定するパターンも１又は複数（図５では複数）記述されている。ＣＰＵ１０１は、このようなジャンル別テンプレート２０３に記述された各種パターンの中から、作曲テーブル２０２によって指定されるパターンを選択する。図５では、斜線を施した各パターン、すなわち「ループパターンＡ」と、「音程のパターンＣ」と、「音色のパターンＢ」と、「効果のパターンＡ」と、「音量のパターンＡ」とが選択されている場合が示されている。

次に、作曲テーブル２０２には、利用者の各身体状態において選択すべきループパターン、音程パターン、音色パターン、効果パターン及び音量パターンの組み合わせが記述されている。図６は、作曲テーブル２０２の一例を示す図である。図６の例では、例えば利用者の身体状態が「止まっている」場合には、ループパターンＡと、音程パターンＣと、音色パターンＢと、効果パターンＡと、音量パターンＡとを組み合わせて楽曲データを生成すべきであることが定められている。同様に、身体状態が「歩いている」、「早歩き」、「ジョギング」、「全力疾走」、「息切れ」・・・の各々について、選択すべきループパターン、音程パターン、音色パターン、効果パターン、音量パターンの組み合わせが作曲テーブルによって定められている。

さらに本実施形態では、現在の身体状態が「歩いている」場合であっても、それよりも過去の身体の状態がどうであったかによって、作曲テーブル２０２の内容も異なるようになっている。例えば、身体状態が「ジョギング」から「歩いている」に遷移した場合には（つまり利用者の身体状態が動的なものから静的なものに変化した場合には）、間奏を思わせるような楽曲を生成する内容の作曲テーブルが用意されている。また、「止まっている」から「歩いている」に遷移した場合には（つまり運動体の状態が静的なものから動的なものに変化した場合には）、より躍動感のある雰囲気の楽曲を生成する内容の作曲テーブルが用意されている。よって、図６においても、身体状態「歩いている」に対応する作曲テーブルとして、複数の作曲テーブル２０２ａ，２０２ｂ，２０２ｃ・・・が用意されているのである。

さらに、現在の身体状態と１つ前の過去の身体状態との関係に加えて、さらに２つ前の身体状態をも考慮した作曲テーブルが用意されている。例えば、「止まっている」→「ジョギング」→「歩いている」という身体状態の遷移とか、「歩いている」→「ジョギング」→「歩いている」とか、「止まっている」→「走っている」→「歩いている」といったように、相当数の組み合わせが存在する。他の身体状態に対応する作曲テーブルについてもこれと同様に、複数の作曲テーブルが用意されている。

このように、作曲テーブル２０２には、利用者（運動体）の過去から現在に至る時系列の身体状態に応じて、それぞれ異なるパターンの組み合わせが記述されており、ＣＰＵ１０１は、利用者（運動体）の時系列の状態に対応するパターンを組み合わせて楽曲データを生成する。このような仕組みで作曲することにより、利用者の身体状態をより正確に反映した楽曲を作ることができ、利用者に対してよりいっそうの面白みを感じさせることが可能となる。

（１−２）動作
次に、第１実施形態の動作について説明する。
図７は、制御プログラム２００に記述されたＣＰＵ１０１の処理手順を示すフローチャートである。利用者が操作部１２を用いて所定の操作を行い、楽曲の演奏を開始すべき旨の指示を与えると、ＣＰＵ１０１は、不揮発性記憶部１０３に記憶された制御プログラム２００を実行することによって図７に示す一連の処理を開始する。

まず、ＣＰＵ１０１は、利用者に楽曲のジャンルを選択させるためのメニュー画面を表示部１１に表示させる（ステップＳ１）。楽曲のジャンルは階層的に構成されており、例えば図８に示すように、上位の階層ではロック、ダンス、ポップ、レゲエ、ラテン・・・といった大まかなジャンルに区分されている。そして、例えばロックというジャンルであれば、ハードロック、ブリティッシュロック、アメリカンロック・・というようにさらに下位の階層でジャンルが細分化されている。もちろん、ジャンルはこのような２階層に限らず、もっと多くの階層で構成されていてもよい。

利用者が操作部１２を操作して、所望する楽曲のジャンルを選択する。ここでは例えば、図８に示すように「アメリカンロック」が選択されたとすると、ＣＰＵ１０１はこの選択操作を受け付け（ステップＳ２；Ｙｅｓ）、選択されたジャンル（アメリカンロック）に対応するジャンル別テンプレート２０３を不揮発性記憶部１０３から読み出す（ステップＳ３）。これによって、図８に示すように、多数のジャンル別テンプレートの中から、アメリカンロックに対応するジャンル別テンプレート２０３が抽出されることになる。

次に、ＣＰＵ１０１は、センサ群（脈拍センサ１４、加速度センサ１５ａ，１５ｂ及びジャイロセンサ１８）からの出力信号を取り込む（ステップＳ４）。そして、ＣＰＵ１０１は、取り込んだ出力信号を解析して検出値を得て、その検出値と身体状態判定テーブル２０１とを参照して利用者の身体状態を判定する（ステップＳ５）。ここでは、例えば加速度センサ１５ａ，１５ｂによる検出値（加速度）がいずれも加速度０．０５（ｍ／ｓ）であり、脈拍センサ１４による検出値（心拍数）が６０（回／分）であると仮定する。この場合、ＣＰＵ１０１は、図４に示した身体状態判定テーブル２０１の内容に従って、身体状態を「止まっている」と判定する。

次に、ＣＰＵ１０１は、身体状態に変化があったか否かを判定する（ステップＳ６）。ここでいう「身体状態の変化」とは、例えば「歩いている」から「止まっている」に変化したというように、利用者の身体状態に時系列的な変化があった場合である。なお、図７に示す処理が開始されてから初めての判定では、必ず、ＣＰＵ１０１は身体状態に変化があったと判定して（ステップＳ６；Ｙｅｓ）、次の処理に移行する。

次に、ＣＰＵ１０１は、ステップＳ５において判定した身体状態に対応する作曲テーブル２０２を不揮発性記憶部１０３から読み出す。そして、ＣＰＵ１０１は、読み出した作曲テーブル２０２と、ステップＳ３で読み出したジャンル別テンプレート２０３に基づいて楽曲データを生成する（ステップＳ７）。この例では、身体状態「止まっている」に対応する作曲テーブル２０２と、アメリカンロックに対応するジャンル別テンプレート２０３とが用いられることになる。

図９は、楽曲データを生成する様子の一例を具体的に説明するための図である。
ＣＰＵ１０１は、アメリカンロックのジャンル別テンプレート２０３に含まれる各種パターンのうち、身体状態「止まっている」に対応する作曲テーブル（図６参照）によって指定されるループパターンＡと、音程パターンＣと、音色パターンＢと、効果パターンＡと、音量パターンＡとを選択する。

ループパターンＡは、楽曲要素ライブラリ２０４に含まれる各種ループのうち、パート１として「パターンループｃ」を指定している。また、音程パターンＣは、音程を指定していない。音色パターンＢは、パート１（ここではパターンループｃ）の音色を「ドラム」に指定している。効果パターンＡは、パート１（ここではパターンループｃ）にエコー（残響）を付与するように指定している。そして、音量パターンＣは、パート１（パターンループｃ）の音量を大きくするよう指定している。ＣＰＵ１０１は、これらのパターンによって指定された内容で一区切りの楽曲データを生成すると、その再生処理を開始する（図７のステップＳ８）。

そして、ＣＰＵ１０１は、楽曲の再生を開始した後、ステップＳ４の処理に戻って再びセンサ群から出力信号を取り込み、利用者の身体状態を判定する。ＣＰＵ１０１は、身体状態が変化していないと判定している期間は（ステップＳ６；Ｎｏ）、そのまま楽曲を再生しつつ、ステップＳ４→ステップＳ５→ステップＳ６；Ｎｏ→ステップＳ４→ステップＳ５→・・・の処理を繰り返す。つまり、ＣＰＵ１０１は、利用者の身体状態に変化がない限り、同一の楽曲データを繰り返し再生する。これによって、利用者に対して、連続して再生される楽曲を聴かせることができる。

これに対し、利用者の身体状態が変化すると（ステップＳ６；Ｙｅｓ）、ＣＰＵ１０１は、その身体状態に応じた作曲テーブル２０２を用いて新たな楽曲データを生成する（ステップＳ７）。そして、ＣＰＵ１０１は、生成した楽曲データを今まで再生していた楽曲データに代えて再生する。このように再生される楽曲の内容が変わることにより、利用者は、自身の身体状態が変化したことを知ることができる。

ここで、図１０は、身体状態の時系列の変化と、この変化に応じて、作曲テーブル２０２の内容が遷移していく様子を説明する図である。図１０に示すように、まず最初の「止まっている」状態では、ループパターンＡと、音程パターンＣと、音色パターンＢと、効果パターンＡと、音量パターンＡとを指定した作曲テーブルが作曲に利用される。この場合は、利用者が身体を動かし始める前の段階であるから、静寂で落ち着いた雰囲気の楽曲、上述したように比較的遅いテンポのドラムの楽音が残響効果を伴って響き渡るような楽曲が作られることになる。なお、残響を付与する場合には、楽音発生部１９の効果付与回路が、各パートの楽音データに対し、ＣＰＵ１０１から指示された係数でインパルス応答波形のサンプルデータを畳み込む。これによって、効果付与回路から出力される楽音データが表す楽音には、作曲テーブル２０２によって指定される大きさの残響効果が付与されることとなる。

その後、身体状態が「止まっている」から「歩いている」に遷移した場合を想定する。「歩いている」という身体状態の場合、１つ前の過去の身体状態との組み合わせを考慮すると、（止まっている→）歩いている、（早歩き→）歩いている、（ジョギング→）歩いている、（全力疾走→）歩いている、（息切れ→）歩いている・・・というように、複数とおりの身体状態がある。よって、これら複数通りの身体状態の遷移について用意された作曲テーブルのうち、（止まっている→）歩いている、という身体状態の遷移に対して用意されている作曲テーブルがＣＰＵ１０１によって選択される。図１０に示す例では、ループパターンＣと、音程パターンＣと、音色パターンＡと、効果パターンＣと、音量パターンＢとを指定した作曲テーブルが利用されることになる。この場合は、利用者が身体を動かし始めた段階であるから、これから何かが起こりそうなことを予感させるような躍動感のある楽曲、例えばピアノの前奏メロディとドラムの伴奏パートとがやや早いテンポで進行していくような楽曲が作られる。

具体的には、ループパターンＣが、楽曲要素ライブラリ２０４に含まれる各種ループのうち、パート１として「フレーズループａ」を指定し、パート２として「フレーズループｂ」を指定し、パート３として「パターンループｄ」を指定する。また、音程パターンＣは、パート１（ここではフレーズループａ）を「半音高く」するように指定している。音色パターンＡは、パート１（ここではフレーズループａ）の音色を「ピアノ」に指定し、パート２（ここではフレーズループｂ）の音色を「ベース」に指定し、パート３（ここではパターンループｄ）の音色をドラムに指定している。効果パターンＣは、パート３（ここではフレーズループａ）にエコー（残響）を付与するように指定している。そして、音量パターンＢは、パート２（フレーズループｂ）の音量を大きくするよう指定している。ＣＰＵ１０１は、これらのパターンによって指定された内容で一定期間の楽曲データを生成すると、その再生処理を開始する。

その後、身体状態が再び「止まっている」に遷移すると、（止まっている→歩いている→）止まっている、という２つ前と１つ前の過去からの身体状態の遷移に対して用意されている作曲テーブルがＣＰＵ１０１によって選択される。図１０に示す例では、ループパターンＢと、音程パターンＥと、音色パターンＤと、効果パターンＣと、音量パターンＢとを指定した作曲テーブルが利用されることになる。この場合、一時休止を感じさせる間奏のような楽曲、例えばベースのソロのみが進行するような楽曲データが作られる。

ここで、図１１は、身体状態の様々な変化に応じて、再生される楽曲の内容が変化していく様子を視覚的に理解できるように示した図である。
図１１において、利用者が止まっている状態では、比較的遅いテンポのパターンループがドラムによって演奏される。次に、利用者が歩き始めると、ドラムのパターンループが変化するとと共に、そのドラムのパターンループに、ピアノのフレーズループとベースのフレーズループが重ね合わされる。利用者がさらにジョギングを開始すると、テンポが速いパターンループがドラムによって演奏されるとともに、電子音によるテンポが速いビートが刻まれる。そして、利用者が右に曲がると、ドラムのパターンループが変わると共に、ギターのフレーズループが加わる。利用者が右に曲がり終えると、再びジョギングの楽曲に戻る。また、利用者が右手を上げると、そのときだけ、ホーンが鳴り響く。そして、例えば信号待ちなどで利用者がジョギングを中断し、止まっている状態になると、今度はベースのソロのみが進行する。そして、利用者が再びジョギングを開始すると、それ以前のピアノのパターンループとは異なるパターンループが演奏される。ただし、ドラムのパターンループは、それ以前のパターンループと同じである。

このように、第１実施形態によれば、センサ群によって利用者（運動体）の状態が検出され、その状態に応じて異なる楽曲データが生成されて再生されるようになっているため、利用者は、自らの身体の状態に調和した雰囲気の楽曲を聴くことができ、独特の面白さを体感することができる。そして、同じような身体の状態であっても、それ以前の過去の身体状態がどうであったかということに応じて楽曲の内容が変わり得るので、利用者を飽きさせることがない。

（２）第２実施形態
上述した第１実施形態では、楽音制御装置１が利用者の身体状態に応じて楽曲データを生成するものであったが、第２実施形態では、複数の楽音制御装置どうしが互いに情報をやり取りし、その情報に応じて楽曲要素データ、音程、音色、効果及び音量を変更することで楽曲データを加工する。例えば、ジョギング中の利用者と、止まっている利用者がすれ違うような場合であれば、前者（ジョギング中）が利用している楽音制御装置が再生している楽曲を特徴付ける情報を、後者（止まっている）が利用している楽音制御装置に送信すると、それまでの「止まっている」状態に応じた楽曲が、「ジョギング」状態に応じた楽曲のようにややテンポアップした楽曲となるように加工される。
以下、この第２実施形態の詳細について説明する。

図１２は、第２実施形態に係る楽音制御装置１ａの構成を示すブロック図である。
図１２に示す楽音制御装置１ａの構成が図２に示した楽音制御装置１と異なる点は、無線通信部１２０を備えているところと、制御部１００の動作である。無線通信部１２０は、例えばＩｒＤＡ（Infrared Data Association）やブルートゥース（登録商標）、或いはＤＳＲＣ(Dedicated Short Range Communication)方式などの通信方式で、他の楽音制御装置の無線通信部とデータ通信を行う。

図１３は、制御部１００が記憶している制御プログラムに記述された手順を示すフローチャートである。
無線通信部１２０は、上記通信方式によって決められた手順で間欠的にポーリング信号を周囲に送信している。これと並行して、無線通信部１２０は、他の楽音制御装置の無線通信部から送信されてくるポーリング信号を間欠的に受信するようになっており、そのポーリング信号の受信電界強度が電界強度測定回路１２１（図１２参照）によって測定されている。

ＣＰＵ１０１は、電界強度測定回路１２１によって測定される受信電界強度を監視しており、他の楽音制御装置とデータ通信が可能な程度の受信電界強度に到達したと判断すると（ステップＳ１１；Ｙｅｓ）、自らが生成し再生している楽曲データを特徴付ける特徴情報を、他の楽音制御装置の無線通信部に送信する一方、その他の楽音制御装置の無線通信部から送信されてくる特徴情報を受信する（ステップＳ１２）。ここで、「楽曲データを特徴付ける特徴情報」とは、例えば作曲に利用された作曲テーブル２０２の内容そのものであってもよいし、ループ、音程、音色、効果及び音量のうち少なくともいずれか１つの内容を表す情報であってもよい。

ＣＰＵ１０１は、受信した特徴情報の内容に基づいて、自らが生成し再生している楽曲データを構成するループ、音色、音程、効果、音量を変化させることで、楽曲を加工する（ステップＳ１３）。具体的な加工方法については様々なものが考えられるが、例えば再生している楽曲の音量を特徴情報が表す音量に近づけたり、また、再生音量そのものを特徴情報が表す音量そのものにそっくり入れ替えてもよい。また、再生している楽曲の音色を特徴情報が表す音色の一部と変えたり、再生している全ての音色を特徴情報が表す内容にそっくり入れ替えてもよい。また、再生している楽曲に対して特徴情報が表す効果を付与するようにしてもよいし、これとは逆に、特徴情報の中に効果に関連する情報が含まれていない場合には、再生している楽曲の効果を除去するようにしてもよい。ＣＰＵ１０１は、このようにして加工した楽曲データを楽曲として再生する（ステップＳ１４）。

このように第２実施形態では、複数の楽音制御装置どうしが互いに情報をやり取りし、その情報に応じて楽曲データを加工して再生するので、第１実施形態で述べた効果に加えて、利用者に対してさらに変化に富んだ楽曲を提供することができる。

（３）変形例
上述した第１及び第２実施形態は次のように変形してもよい。
第１及び第２実施形態では、現在の身体状態に加えて、その２つ前と１つ前の過去の身体状態をも考慮して作曲テーブル２０２の内容を定めていた。しかし、これに限定されるわけではなく、現在の身体状態だけについて作曲テーブル２０２の内容を定めてもよいし、さらに３つ以上前の過去の身体状態をも考慮して定めるようにしてもよい。

第１及び第２実施形態においては、ＭＩＤＩ規格に準拠した楽曲データを用いたが、楽曲データの形式はこれに限られない。例えば、楽音の信号波形をサンプリングして得られた楽曲要素データを用いて楽曲データを生成してもよい。なお、楽曲要素ライブラリ２０４は、楽音制御装置１の不揮発性記憶部１０３に予め格納されたものである必要はなく、例えば、インターネットなどのネットワークを介して所定のサーバ装置から楽音制御装置１が受信したデータであってもよいし、光ディスクに代表される各種の記録媒体から楽音制御装置１に読み込まれたデータであってもよい。なお、楽曲の音色はピアノやドラムなどの楽器に限らず、例えば川の流れる音や動物の鳴き声といった自然音を用いてもよい。

第１及び第２実施形態では、利用者という「人間」の運動体の身体状態に応じて楽曲データを生成していたが、運動体は人間以外のものであってもよい。例えば、運動体は人間以外の動物であってもよいし、風見鶏や自転車或いは掃除機などのように何らかの外力の作用で動くものでもよいし、洗濯機や自動車などのように自らの動力源を用いて動くものであってもよい。

第１及び第２実施形態においては、利用者の身体状態に応じて楽曲データが生成される構成を例示したが、これに加えて、利用者が操作部１２を用いて入力した指示を楽曲データの内容に反映するようにしてもよい。例えば、利用者が指定した音色のパートを楽曲に追加したり或いは楽曲から削除したり、利用者の意図するような再生テンポに調整したり、といった具合である。

第２実施形態においては、他の楽音制御装置との距離を測定し、この距離に基づいて、再生している楽曲を加工するようにしてもよい。具体的には次のとおりである。ＣＰＵ１０１は、無線通信部１２０の電界強度測定回路１２１によって測定される強度レベルを参照することで、他の楽音制御装置との距離をおおよそ特定することができる。そこで、ＣＰＵ１０１は、例えば他の楽音制御装置との距離が小さくなればなるほど、再生している楽曲の音量を大きくする一方、他の楽音制御装置との距離が大きくなればなるほど、再生している楽曲の音量を小さくする。このようにすれば、利用者は、他の楽音制御装置１の利用者が近づいたり或いは遠ざかったりすることを、楽曲の音量によって体感することができる。また、これを応用して、楽曲に対していわゆるドップラー効果のような音響効果を与えることも可能である。

制御プログラムは、インターネットなどのネットワークを介して所定のサーバ装置から楽音制御装置１に提供されるものであってもよいし、何らかの記録媒体に格納された状態で提供されて楽音制御装置１にインストールされるものであってもよい。この種の記録媒体としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）に代表される各種の光ディスクのほか、可搬型の磁気ディスクなどが考えられる。

本発明の第１実施形態に係る楽音制御装置の外観を示す図である。 同楽音制御装置のハードウェア構成を示すブロック図である。 同楽音制御装置の制御部の構成を示すブロック図である。 同楽音制御装置が記憶している身体状態判定テーブルの内容を表す図である。 同楽音制御装置が記憶しているジャンル別テンプレートの内容を表す図である。 同楽音制御装置が記憶している作曲テーブルの内容を表す図である。 同楽音制御装置の制御プログラムに記述された手順を示すフローチャートである。 同楽音制御装置において楽曲データが生成される仕組みを説明するための図である。 同楽音制御装置において楽曲データが生成される仕組みを説明するための図である。 身体状態の変化と、この変化に応じて、作曲に利用される作曲テーブルが遷移していく様子を説明する図である。 身体状態の変化に応じて、再生される楽曲の内容が変化していく様子を示した図である。 本発明の第２実施形態に係る楽音制御装置の構成を示すブロック図である。 同楽音制御装置の制御プログラムに記述された手順を示すフローチャートである。

符号の説明

１，１ａ……楽音制御装置、１０……本体、１１……表示部、１２……操作部、１４……脈拍センサ、１５ａ，１５ｂ……加速度センサ、１６……イヤホン、１８……ジャイロセンサ、１９……楽音発生部、１００……制御部、１０１……ＣＰＵ、１０２……ＲＡＭ、１０３……不揮発性記憶部、１２０……無線通信部、２００……制御プログラム、２０１……身体状態判定テーブル、２０２……作曲テーブル、２０３……ジャンル別テンプレート、２０４……楽曲要素ライブラリ。

Claims (5)

1. センサから出力される信号を解析し、当該センサが取り付けられた運動体の状態を判定する判定手段と、
   楽曲データを構成する複数の楽曲要素データを記憶した楽曲要素記憶手段と、
   前記運動体の状態別に定められた前記楽曲要素データの組み合わせを、各々の状態に対応づけてそれぞれ１又は複数記憶した記憶手段と、
   判定された前記運動体の状態に対応づけられて前記記憶手段に記憶されている１又は複数の前記楽曲要素データの組み合わせのうち、いずれかの組み合わせを選択する選択手段と、
   前記選択手段によって選択された組み合わせで、前記楽曲要素記憶手段に記憶された前記楽曲要素データを組み合わせて楽曲データを生成する作曲手段と、
   生成された楽曲データに基づいて楽曲を再生する再生手段と
   を備え、
   前記記憶手段は、前記運動体の少なくとも３つの時系列の状態を含む、状態の遷移別に、前記楽曲要素データの組み合わせを記憶しており、
   前記選択手段は、前記判定手段によって判定された前記運動体の過去の状態を記憶しており、少なくとも、２つ前の状態から１つ前の状態への遷移と、１つ前の状態から現在の状態への遷移とを含む、前記運動体の状態の遷移に基づいて、前記楽曲要素データの組み合わせを選択する
   ことを特徴とする楽音制御装置。
2. 利用者が楽曲のジャンルを指定するための操作手段を備え、
   前記記憶手段は、前記楽曲要素データの組み合わせを楽曲のジャンル毎に記憶しており、
   前記選択手段は、前記操作手段において指定されたジャンルに属する前記組み合わせを、前記記憶手段に記憶されている内容の中から選択する請求項１記載の楽音制御装置。
3. 他の楽音制御装置と通信を行う通信手段と、
   前記作曲手段が、前記楽曲要素データを組み合わせて生成した楽曲データを特徴づける特徴情報を前記通信手段によって他の楽音制御装置に送信する一方、他の楽音制御装置から送信されてくる前記特徴情報を前記通信手段によって受信する通信制御手段とを備え、
   前記作曲手段は、前記楽曲要素データを組み合わせて生成した楽曲データを、前記通信制御手段が他の楽音制御装置から受信した特徴情報の内容に基づいて加工する請求項１記載の楽音制御装置。
4. 自装置と他の楽音制御装置との距離を測定する測定手段を備え、
   前記作曲手段は、前記楽曲要素データを組み合わせて生成した楽曲データを、前記測定手段によって測定された距離に基づいて加工する請求項１記載の楽音制御装置。
5. 前記運動体は人間の身体であり、
   前記運動体の状態とは、当該運動体の加速度、心拍数、角速度の少なくともいずれかによって示される状態である
   ことを特徴とする請求項１記載の楽音制御装置。

Images