JP3873654B2

JP3873654B2 - オーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体

Info

Publication number: JP3873654B2
Application number: JP2001142281A
Authority: JP
Inventors: 善樹西谷; 晃三木; 詠子小林; 聡史宇佐
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2001-05-11
Filing date: 2001-05-11
Publication date: 2007-01-24
Anticipated expiration: 2021-05-11
Also published as: US20020166439A1; US7161079B2; JP2002341865A

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザの動作に応じたオーディオ信号を生成するオーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
オーディオ機器等の楽音発生装置では、音色、音高、音量および効果といった４つの演奏パラメータが決まると、所望の楽音を発音することができる。近年では、ＣＤ（Compact Disc）プレイヤー、ＭＤ（Mini Disc）プレイヤー、ＭＰ３（Moving Picture Experts Group Player-1 Audio Layer 3）プレイヤーといった種々のオーディオ再生装置が広く普及しており、各々のオーディオ再生装置により再生可能な形式のオーディオデータが記録された記録媒体（ＣＤ、ＭＤ等）を再生装置にセットして再生することにより、ユーザは音楽を楽しむことができるようになっている。このようなオーディオ再生装置では、オーディオデータに基づいた楽曲の演奏再生が行われる際に、ユーザは当該再生装置の操作摘みやボタン等を操作することにより、音量等のパラメータを調整することができるようになっている。
【０００３】
【発明が解決しようとする課題】
ところで、上述したようなオーディオ再生装置では、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整している。ユーザがオーディオ再生装置により再生された演奏を所望の音量等で聴く場合には、操作摘みによる演奏パラメータの調整方法は有効である。しかしながら、従来のオーディオ再生装置では、広く市販されているＣＤ等に記録された楽曲を忠実に演奏再生する機能をユーザに提供することはできても、ユーザが楽曲演奏に積極的に参加できるといった娯楽性をユーザに提供することはできない。楽曲演奏にユーザが積極的に参加できるようにすれば、新たな音楽の楽しみ方を提供することができる。もちろん、従来からある種々の楽器や電子楽器を用いれば、楽曲演奏を行うことができるが、従来の楽器とは異なる手法により、操作者の手振りなどの動きを反映させた楽音の発生を行うことができれば、新しい音楽エンターテイメントを提供することも可能である。
【０００４】
本発明は、上記の事情を考慮してなされたものであり、オーディオ信号を所定のフォーマットで符号化したオーディオデータを利用したユーザ参加型の音楽エンターテイメントを提供することができるオーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明に係るオーディオ信号生成装置は、ユーザの動作に応じた運動情報を取得する運動情報取得手段と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段と、前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段とを具備することを特徴としている。
【０００６】
この構成によれば、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータ、例えば広く市販されている音楽ＣＤに記録されたオーディオデータからオーディオ信号を取得し、このオーディオ信号に対してユーザの動作を反映させた信号処理を施して楽曲再生等を行うことが可能となり、オーディオ信号を所定のフォーマットで符号化したオーディオデータを利用したユーザ参加型の音楽エンターテイメントを提供することができる。
【０００７】
また、本発明に係るオーディオシステムは、操作者が携帯可能な端末であって、当該端末を携帯する操作者の動作に応じた運動情報を生成して送信する操作端末と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータからオーディオ信号を生成するオーディオ信号生成装置とを備えたオーディオ信号生成システムであって、前記オーディオ信号生成装置は、前記操作端末から送信される運動情報を受信する受信手段と、前記オーディオデータからオーディオ信号を取得するオーディオ信号取得手段と、前記受信手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段とを有していることを特徴としている。
【０００８】
また、本発明に係るオーディオシステムは、操作者が携帯可能な端末であって、当該端末を携帯する操作者の動作に応じた運動情報を生成して送信する操作端末と、前記操作端末から送信される運動情報を受信する受信手段と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータからオーディオ信号を再生する再生手段と、前記再生手段によって再生されている前記オーディオデータの楽曲を構成する音高列、楽曲の拍子もしくは両者を含む第１の楽曲内容情報を取得する楽曲内容取得手段と、前記再生手段によって前記オーディオデータが再生されている場合に、前記受信手段によって受信された運動情報に応じて音高情報、拍子情報もしくは両者を含む第２の楽曲内容情報を作成する楽曲内容情報作成手段と、前記第１の楽曲内容情報と、前記第２の楽曲内容情報とを比較し、比較結果を出力する判定手段とを具備することを特徴としている。
【０００９】
この構成によれば、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータ、例えば広く市販されている音楽ＣＤに記録されたオーディオデータからオーディオ信号を取得して楽曲を再生する間に、ユーザの動作内容に応じて作成される楽曲内容と再生される実際の楽曲内容とが比較され、比較結果が出力される。このようなシステムにより、ユーザに対して動きと音楽ＣＤ等を再生した楽曲とを融合させるといった新たな音楽エンターテイメント娯楽を提供することができる。
【００１０】
また、本発明に係るオーディオ信号生成方法は、ユーザの動作に応じた運動情報を取得する運動情報取得ステップと、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得ステップと、前記取得された運動情報に応じた処理を、前記オーディオ信号取得ステップによって取得されたオーディオ信号に施す信号処理ステップと、前記信号処理ステップによって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録ステップとを具備することを特徴としている。
【００１１】
また、本発明に係るプログラムは、ユーザの動作に応じた運動情報を取得する運動情報取得手段と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段とを備えた楽音発生装置に搭載されるコンピュータを、前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段として機能させる。
【００１２】
また、本発明に係る記録媒体は、ユーザの動作に応じた運動情報を取得する運動情報取得手段と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段とを備えた楽音発生装置に搭載されるコンピュータを、前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段として機能させるためのプログラムを記録している。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．実施形態の構成
まず、図１は本発明の第１実施形態に係る楽音発生システム（オーディオ信号生成システム）を示す図である。同図に示すように、楽音発生システム１００は、楽音発生装置（オーディオ信号生成装置）１０と、操作者により携帯可能な操作端末１１とを備えている。
【００１４】
本実施形態における操作端末１１は、外観形状が棒状であり、その両端から中央側に行くにつれて径が小さくなる形状となっている。操作者は図示のように、この径の小さい中央部分を把持して当該操作端末１１を動かすことになる。この楽音発生システム１００では、楽音発生装置１０が、このように操作者に把持される操作端末１１の動き、つまり操作者の手の動きに応じた楽音発生を行うようになっている。なお、操作端末１１は、このような形状であって操作者の手に把持されるものに限らず、バンド等を用いて腕や足に装着するタイプのものであってもよいし、その形状や操作者への取り付け方等は任意であり、その形状も任意のものを使用することができる。
【００１５】
ここで、図２は操作端末１１の構成を示すブロック図である。同図に示すように、操作端末１１は、動作センサＭＳと、送信機ＣＰＵＴ０と、メモリＴ１と、高周波トランスミッタＴ２と、表示ユニットＴ３と、送信用電力増幅器Ｔ５と、操作スイッチＴ６と、送信アンテナＴＡとを備えている。
【００１６】
動作センサＭＳは、当該操作端末１１の使用時、つまり当該楽音発生システム１００（図１参照）において楽音発生を行う時には、操作端末１１を携帯している操作者の動作（例えば、図１に示すように手に把持されている場合には、把持している手の動き）を検出して運動情報を生成する。ここで、動作センサＭＳとしては、３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサ、傾斜センサ、歪みセンサ、衝撃センサ等の種々のセンサを用いることができるが、本実施形態では２次元加速度センサを採用しており、図示のように動作センサＭＳは、ｘ軸検出部ＭＳｘとｙ軸検出部ＭＳｙとを有している。これらのｘ軸検出部ＭＳｘおよびｙ軸検出部ＭＳｙは、それぞれ図１に示すｘ軸方向（水平方向）およびｙ軸方向（垂直方向）の加速度を検出する。
【００１７】
送信機ＣＰＵＴ０は、メモリＴ１に記録された送信機動作プログラムに基づいて、動作センサＭＳ、高周波トランスミッタＴ２、表示ユニットＴ３を制御する。動作センサＭＳからの検出信号は、送信機ＣＰＵＴ０により、ＩＤナンバの付加処理等の所定の処理が施され、高周波トランスミッタＴ２に伝送される。そして、この検出信号が送信用電力増幅器Ｔ５で増幅された上、送信アンテナＴＡを介して楽音発生装置１０側に無線送信される。
【００１８】
表示ユニットＴ３は、例えば、７セグメント形式のＬＥＤ（Light Emitting Diode）又はＬＣＤ（Liquid Crystal Display）表示器や1個乃至複数個のＬＥＤ発光器等を備え、センサナンバ、動作中、電源アラーム等の各種情報を表示する。操作スイッチＴ６は、当該操作端末１１の電源のオン／オフやモード設定等の各種設定を行うために用いられるスイッチである。このような操作端末１１の各構成要素には、図示せぬ電池電源から駆動電力が供給されるが、このような電池電源としては、一次電池を用いるようにしてもよいし、充電可能な二次電池を用いるようにしてもよい。
【００１９】
次に、楽音発生装置１０の構成について図３を参照しながら説明する。同図に示すように、楽音発生装置１０は、ＣＰＵ（Central Processing Unit）３０と、ＲＡＭ（Random Access Memory）３１と、ＲＯＭ（Read only Memory）３２と、ハードディスク３３と、ディスプレイ３４と、表示用インタフェース３５と、操作部３６と、操作部用インタフェース３７と、アンテナＲＡと、アンテナ分配回路３８と、受信処理回路３９と、ＣＤ再生部（オーディオ信号取得手段）４１と、ＤＳＰ（Digital Signal Processing）部４０と、サウンドスピーカシステム４２とを備えている。
【００２０】
ＣＰＵ３０は、各種演算処理を行うとともに各部を制御する。ＲＡＭ３１は、ＣＰＵ３０のワークメモリとして使用される、ＲＯＭ３２は、ＣＰＵ３０に読み出されて実行されるプログラム群を格納している。ハードディスク３３は、ＣＰＵ３０に読み出されて実行される各種制御プログラム群やデータ群を格納するとともに、オーディオデータ等の保管等にも使用される。ディスプレイ３４は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ等であり、操作者に対して画像を表示する。表示用インタフェース３５は、ＣＰＵ３０から供給されたデータに応じた画像をディスプレイ３４に表示させる。操作部３６は、キーボードやマウス等であり、操作者からの指示を入力するために操作者によって操作される。操作部用インタフェース３７は、操作部３６を介して入力された指示を表すデータをＣＰＵ３０へ供給する。アンテナ分配回路３８は、アンテナＲＡを介して操作端末１１（図１、図２参照）から送信される無線信号を受信する。受信処理回路３９は、アンテナ分配回路３８により受信された無線信号をＣＰＵ３０で処理可能なデータに変換して取り込む。
【００２１】
ＣＤ再生部４１は、ＣＤ−ＤＡ（Compact Disc-Digital Audio）規格に準拠した形式でオーディオ信号をディジタル符号化したオーディオデータを記録したＣＤ（以下、音楽ＣＤという）がセットされた場合に、当該音楽ＣＤに記録されたオーディオデータを読み出して再生し、ディジタルのオーディオ信号を出力する。ＤＳＰ部４０は、ＣＰＵ３０の制御によって決定された処理内容に従い、上記のようにＣＤ再生部４１によって再生されたディジタルオーディオ信号に対して時間軸圧伸処理等の信号処理を施し、信号処理後のオーディオ信号をサウンドスピーカシステム４２に出力する。サウンドスピーカシステム４２は、ＤＳＰ部４０から供給された信号処理後のオーディオ信号をアナログ信号に変換し、当該アナログ信号に応じた楽音をスピーカから発生させる。
【００２２】
楽音発生装置１０は、図示せぬ電源の投入や操作部３６により入力される操作者の指示に基づいてＣＰＵ３０がＲＯＭ３２やハードディスク３３に格納された楽音発生処理プログラム群を実行することにより後述する運動解析処理等を実行するとともに、ＣＰＵ３０が当該楽音発生装置１０の装置全体を制御し、上述した操作端末１１から送信される運動情報に応じた楽音発生処理を行うように構成されている。以下、この処理に着目した楽音発生装置１０の機能構成について図４を参照しながら説明する。
【００２３】
同図に示すように、当該楽音発生処理を行う場合の楽音発生装置１０の機能構成は、アンテナ分配回路３８と、受信処理回路３９と、運動解析部４５と、オーディオ信号処理部４６と、サウンドスピーカシステム４２と、データ記録部４７とを備えている。
【００２４】
アンテナ分配回路３８は、操作者に動かされる操作端末１１から無線送信されるｘ軸検出部ＭＳｘおよびｙ軸検出部ＭＳｙからの検出信号、つまりｘ軸方向の加速度αｘと、ｙ軸方向の加速度αｙとを受信し、受信処理回路３９に出力する。
【００２５】
受信処理回路３９は、アンテナ分配回路３８から供給されたｘ軸方向およびｙ軸方向の検出加速度を示す信号を所定のバンドパスフィルタに通し、運動解析部４５による運動状況の検出に不要な周波数成分を除去する。ここでは、地球の重力により加速度成分の除去も行われる。そして、受信処理回路３９は、不要な周波数成分を除去した加速度αｘおよびαｙを示す信号を運動解析部４５に出力する。
【００２６】
運動解析部４５は、受信処理回路３９から供給されるｘ軸方向の加速度αｘおよびｙ軸方向の加速度αｙから、操作者の動作による操作端末１１の運動状況を検出し、その検出結果をオーディオ信号処理部４６に出力する。具体的には、運動解析部４５は、各軸加速度データを解析し、まず、次式（１）で表わされる加速度の絶対値｜α｜を求める。
｜α｜＝（αｘ＊αｘ＋αｙ＊αｙ）^1/2 ……（１）
運動解析部４５は、このように求めた加速度の絶対値｜α｜が予め設定された閾値より大きいか否かを判断し、大きい場合にはハイレベルとなり、閾値よりも小さい場合にはローレベルとなる信号、すなわち操作者がどのタイミングで操作端末１１を大きく動作させたかといった動作タイミングを示す動作タイミング情報をオーディオ信号処理部４６に出力する。例えば、時間Ｔ１，Ｔ２，Ｔ３……といったタイミングで操作者が操作端末１１を大きく動かした場合には、運動解析部４５によって求められる加速度の絶対値｜α｜は、図５（ａ）に示すように各時間Ｔ１，Ｔ２，Ｔ３……といったタイミングで大きくなり、その結果図５（ｂ）に示すような検出結果信号が得られ、この信号が動作タイミング情報としてオーディオ信号処理部４６に出力される。また、運動解析部４５は、上記のように閾値を越える加速度の絶対値α１，α２，α３……といったを示す動作量情報をオーディオ信号処理部４６に出力する。
【００２７】
オーディオ信号処理部４６は、ＣＤ再生部４１が音楽ＣＤを読み取って再生するディジタルのオーディオ信号に対し、上述した運動解析部４５から供給される動作タイミング情報および動作量情報に応じた信号処理を施し、信号処理後のオーディオ信号をサウンドスピーカシステム４２およびデータ記録部４７に出力する。以下、オーディオ信号処理部４６による動作タイミング情報および動作量情報に応じた信号処理について詳細に説明する。
【００２８】
楽音発生処理を行う場合には、オーディオ信号処理部４６は、図６に示すように、予め用意した記憶領域（例えば、ハードディスク３３やＲＡＭ３１）に、音楽ＣＤに記録されたオーディオデータ（例えば１曲分）を記憶するとともに、当該オーディオデータを再生すべき時間の所定の一定間隔（図示の例ではｎフレーム）毎にテンポマーク情報を埋め込んだテンポ調整用データを記憶しておく。ここで、テンポマーク情報を埋め込む時間間隔は、操作者がある楽曲の演奏処理を行う際に、その楽曲毎に操作者が任意に設定できるようにしてもよいし、予め設定された固定値であってもよい。そして、オーディオ信号処理部４６は、上記オーディオデータとテンポ調整用データとを通常の音楽ＣＤを再生する際の読出速度で読み出し、読み出したオーディオデータは通常のＣＤプレイヤーと同様にＣＤ再生部４１がデコードしてディジタルのオーディオ信号を生成する。このようにオーディオ信号処理部４６では、ＣＤ再生部４１が音楽ＣＤに記録されたオーディオデータをデコードしてオーディオ信号を再生するとともに、テンポ調整用データを読み出した際にテンポマーク情報が出現するタイミングと、上述した動作タイミング情報に示されるＨレベルの信号が出現するタイミング（図５（ｂ）参照）、すなわち操作者が操作端末１１を大きく動かしたタイミングとに基づいて、ＣＤ再生部４１が再生したオーディオ信号に対して時間軸圧伸処理を行い、これによりサウンドスピーカシステム４２から放音される楽曲の音高（ピッチ）をほとんど変化させることなくテンポを調整する。
【００２９】
このようなオーディオ信号処理部４６による時間軸圧伸処理の内容について、音楽ＣＤを通常に再生することにより、ある区間で図７（ａ）に示すようなオーディオ信号（説明の便宜上アナログ波形で示す）が出力され、図示のｔ１，ｔ２，ｔ３（各タイミングの時間間隔は一定時間ｔ）といったタイミングにテンポマークが付加されている場合に、操作者が操作端末１１を操作することにより、図７（ｂ）に示すタイミングｔａ，ｔｂ，ｔｃにおいてＨレベルとなる動作タイミング情報が供給された時を例に挙げて説明する。
【００３０】
この例では、動作タイミング情報に示されるタイミングｔａと、テンポマーク情報に示されるタイミングｔ１とが一致し、タイミングｔｂはタイミングｔ２よりも遅く、タイミングｔｃはタイミングｔ３とが一致している。すなわち、操作者が操作端末１１を大きく動かしたタイミングｔａとタイミングｔｂとの間隔ｔａｂは上記テンポマーク情報に示される一定間隔ｔよりも長く、タイミングｔｂとタイミングｔｃとの間隔ｔｂｃは一定間隔ｔよりも短くなる。オーディオ信号処理部４６は、このように操作者が操作端末１１を大きく動かしたタイミングと次に大きく動かしたタイミングとの間の間隔が一定間隔ｔよりも長い場合には（間隔ｔａｂ）、この間隔に対応する区間（ｔ１〜ｔ２）のオーディオ信号の時間軸伸張処理を行う。この時間軸伸張処理の伸張倍率はｔａｂ／ｔである。
【００３１】
一方、操作者が操作端末１１を大きく動かしたタイミングと次に大きく動かしたタイミングとの間の間隔が一定間隔ｔよりも短い場合には（間隔ｔｂｃ）、この間隔に対応する区間（ｔ２〜ｔ３）のオーディオ信号の時間軸圧縮処理を行う。この時間軸圧縮処理の圧縮倍率はｔｂｃ／ｔである。このようにしてオーディオ信号処理部４６は、操作者が操作端末１１を大きく動かすタイミングに応じた時間軸圧伸処理を行い、図７（ｃ）に示すような操作者の動作に応じてテンポ調整がなされたオーディオ信号を生成する。ここで、オーディオ信号処理部４６が行う時間軸圧伸処理の方式としては、カット・アンド・スプライス法、ポインタ移動量制御による重複加算法、リバーブ、ディザ、ループの繰り返し等、公知の種々の方法を適用することができる。
【００３２】
このようにオーディオ信号処理部４６は、運動解析部４５から供給される動作タイミング情報、すなわち操作者がどのようなタイミングで操作端末１１を大きく動かしたかといった情報に応じてオーディオ信号に時間軸圧伸処理を施し、発生する楽音の音高を大きく変化させることなくテンポ調整を行うのである。
【００３３】
また、オーディオ信号処理部４６は、上記のような操作者の動作に応じた時間軸圧伸処理を行うとともに、運動解析部４５から供給される動作量情報に応じて楽音の発生音量を制御する処理を行う。具体的には、上述した操作端末１１が操作者によって大きく動かされたタイミングｔａ，ｔｂ，ｔｃにおけるその動きの大きさを示す動作量情報がαａ，αｂ、αｃとした場合、区間ｔａｂのオーディオ信号に対しては動作量情報αａに応じた増幅率で増幅し、区間ｔｂｃのオーディオ信号に対しては動作量情報αｂに応じた増幅率で増幅しタイミングｔｃから次の動作タイミングまでの間の区間のオーディオ信号に対しては動作量情報αｃに応じた増幅率で増幅する。ここで、動作量情報に示される値が大きければ大きいほど、増幅率を大きくするような処理を行うようにすることで、操作者が操作端末１１を大きく動作させたときの動作の度合いに応じて発生する楽音の音量を制御することができる。
【００３４】
以上のようにオーディオ信号処理部４６は、運動解析部４５から供給される動作タイミング情報および動作量情報に応じた信号処理を、音楽ＣＤをＣＤ再生部４１が再生することにより取得したオーディオ信号に対して施し、信号処理後のオーディオ信号をサウンドスピーカシステム４２およびデータ記録部４７に出力する。サウンドスピーカシステム４２は、オーディオ信号処理部４６から供給される操作者の動作に応じて処理がなされたオーディオ信号をアナログ信号に変換に増幅等した後、スピーカから放音し、これにより操作者の動作に応じて制御された楽曲が再生される。データ記録部４７は、オーディオ信号処理部４６から供給されるオーディオ信号を所定の記録媒体、例えばＣＤ−Ｒ（CD-Recordable）、ＭＤ、半導体メモリ、ハードディスク等に記録する。
【００３５】
Ｂ．楽音発生方法
次に、上記構成の楽音発生システム１００を用いて操作者が楽音発生を行う方法について説明する。まず、操作者は当該楽音発生システム１００を構成する楽音発生装置１０および操作端末１１に電源を投入し、楽音発生装置１０において楽音発生を行うための楽音発生処理プログラム群を実行させる。そして、操作者は演奏したい楽曲が記録された音楽ＣＤをＣＤ再生部４１にセットした後、楽曲演奏の開始を指示する。なお、上述したテンポマーク情報（図６参照）を埋め込む時間間隔を操作者が指定する場合には、操作者は時間間隔、例えば３秒間隔といった情報を操作部３６を操作して入力すれば、楽音発生装置１０によって入力された時間間隔情報にしたがってテンポマーク情報を埋め込んだテンポ調整用データの作成処理が行われる。
【００３６】
このように音楽ＣＤがセットされて演奏開始を指示すると、操作者は操作端末１１を把持した手を大きく振るといった動作を行い、音楽ＣＤに記録されたオーディオデータを読み出すことにより再生される楽曲のテンポや音量を制御する。上述したように楽音発生装置１０は、操作者が操作端末１１を大きく動かすタイミングに応じたテンポで音楽ＣＤに記録された楽曲の再生を行う。例えば、操作者が入力した時間間隔（３秒間隔）よりも短い時間間隔で操作端末１１を大きく動作させれば、通常の音楽ＣＤの再生よりも早いテンポでの楽曲再生が行われる。一方、操作者が入力した時間間隔よりも長い時間間隔で操作端末１１を大きく動作させれば、通常の音楽ＣＤの再生よりも遅いテンポでの楽曲再生が行われる。また、１つの楽曲の再生中に、ある区間では操作者が入力した時間間隔よりも短い時間間隔で操作端末１１を大きく動作させ、別の区間では上記時間間隔よりも長い時間間隔で操作端末１１を大きく動作させると、ある区間ではテンポの早い楽曲再生が行われ、別の区間ではテンポの遅い楽曲再生が行われる。
【００３７】
以上説明したように、本実施形態では、音楽ＣＤといった広く市販されている音源のソースを再生する場合にも、操作者の動きに応じて再生音量や再生テンポを制御することができる。したがって、従来では、音楽ＣＤの再生の際には、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整するといったことしかできなかったが、本実施形態によれば、単なる楽曲を忠実に演奏再生する機能をユーザに提供するのではなく、ユーザが楽曲再生に積極的に参加できるようになり、新たな音楽の楽しみ方を提供することができる。また、本実施形態では、広く市販されている音楽ＣＤを音源ソースとしているので、多数の市販されている楽曲の再生の際に上記のような楽曲再生の新たな楽しみ方を提供することができる。また、データ記録部４７によって上記のように操作者の動作に応じて制御された楽音のオーディオ信号を記録することができるので、後から当該記録したオーディオ信号を再生して操作者の操作によって制御されたオリジナルの楽曲再生を行うことができる。
【００３８】
また、このような楽音発生システム１００を用いた楽音発生方法を利用すれば、特別な楽曲データ等を用意することなく広く市販されている音楽ＣＤを利用しながら、次のような新たな音楽エンターテイメントを提供することができる。まず、従来から楽器、電子楽器などでは、演奏操作子を選択操作することにより所望の楽音を発生させるようにしているが（ピアノの鍵やギターの弦など）、この楽音発生システム１００では、このような操作子の選択操作ではなく、操作者が操作端末１１を動かすといった簡易な動作で音楽ＣＤの楽音発生を制御することができる。つまり、従来の楽器などでは、指による操作子の選択操作といったより優れた演奏を行うための操作性を追求しているのに対し、本実施形態によれば、このような操作性を重視した楽音発生システム（楽器等）ではなく、操作端末１１を操作者のある程度大きな動きと楽音発生とを対応させることにより、体の動きと楽音発生とを交えた新たな音楽エンターテイメントシステムを提供することができる。
【００３９】
Ｃ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００４０】
（変形例１）
上述した実施形態では、操作者が操作端末１１をある程度大きく動作させた時の動作の大きさである動作センサＭＳの加速度の絶対値に応じてオーディオ信号を増幅し、楽音発生音量を制御するようにしていたが、動作センサＭＳの加速度の絶対値以外にも動作センサＭＳから得られる信号の周波数や変化量等に応じて、ＣＤ再生部４１が再生したオーディオ信号を増幅し、楽音発生音量を制御するようにしてもよい。例えば、動作センサＭＳから出力される信号の周波数が高い、すなわち操作者が操作端末１１を早い周期で動作させた場合には、音量が大きくなるように制御し、逆に操作端末１１をゆっくりとした周期で動作させた場合には音量が小さくなるように制御するといった手法を採用することができる。この場合にも、どのような動作を行えば、音量が増加するもしくは減少するといったことを操作者が知っていれば、操作者は出力したい音量に応じて操作端末１１を動かせばよく、上記実施形態と同様、楽曲再生に積極的に参加できるといった効果が得られる。
【００４１】
（変形例２）
また、上述した実施形態では、操作者が操作端末１１を大きく動かすタイミングによって、一定期間ｔ毎にＣＤ再生部４１によって再生されたオーディオ信号に対して時間軸圧伸処理を施して再生される楽曲のテンポ調整を行うようにしていたが、以下に例示するような手法により楽曲のテンポ調整を行うようにしてもよい。
【００４２】
すなわち、予め設定されているＣＤ再生部４１による楽曲再生のデフォルトのテンポからのオフセット量を操作者の動作から求め、ＣＤ再生部４１がこのオフセット量に応じてテンポをデフォルト値よりも大きくまたは小さくして音楽ＣＤの再生を行うことにより、再生される楽曲のテンポを調整するようにしてもよい。つまり、一般的なＣＤプレイヤーに搭載されているテンポ調整機能を利用し、その調整量であるデフォルト値からのオフセット量を操作者による操作端末１１の動作に応じて決定することにより、操作者の動作に応じてテンポ調整を行う。
【００４３】
このようなテンポ調整を行う場合におけるオフセット量の決定方法としては、例えば上記動作センサＭＳから出力される信号の周波数が予め設定された基準周波数よりも大きい区間（操作者が早い周期で操作端末１１を動かしている時）ではテンポを早くするように調整するオフセット量を導出し、動作センサＭＳから出力される信号の周波数が基準周波数よりも小さい区間（操作者がゆっくりとした周期で操作端末１１を動かしている時）ではテンポを遅くするようなオフセット量を導出するようにするといった手法を採用することができる。
【００４４】
また、動作センサＭＳとして傾斜センサを使用する場合には、この傾斜センサの出力結果が＋の勾配を示している際には、テンポを早くするように調整するオフセット量を導出し、傾斜センサの出力結果が−の勾配を示している際にはテンポを遅くするようなオフセット量を導出するようにするといった手法を採用することができる。この場合にも、どのような動作を行えば、テンポが早くなるもしくは遅くなるといったことを操作者が知っていれば、操作者は出力したいテンポに応じて操作端末１１を動かせばよく、上記実施形態と同様、楽曲再生に積極的に参加できるといった効果が得られる。
【００４５】
（変形例３）
また、上述した実施形態では、操作端末１１が１つである場合を例に挙げて、説明したが、操作端末１１は２つ以上であってもよい。複数の操作端末１１を用いる場合には、各々の操作端末１１から、動作センサＭＳの出力結果に加え、自端末を識別するためのＩＤ情報を楽音発生装置１０に無線送信するようにし、楽音発生装置１０側において、どの操作端末１１からどのような動作に応じた情報が供給されているかを検知することができるようにする。そして、楽音発生装置１０は、複数の操作端末１１から供給される動作センサＭＳの出力結果に応じた処理を、ＣＤ再生部４１によって再生されるオーディオ信号に施し、音量調整やテンポ調整を行うようにしてもよい。複数の操作端末１１を用いる場合には、ある操作端末１１の動作に応じてテンポを制御し、他の操作端末１１の動作に応じて音量を制御するといったように各操作端末１１毎に制御対象（テンポ、音量、音色、効果等）を割り当てておくようにすればよい。
【００４６】
また、上記のように複数の操作端末１１を用いて音楽ＣＤの再生による楽音発生を制御する場合には、音楽ＣＤを再生したオーディオ信号に含まれる複数の音源パート（例えば、歌唱パート、楽器パート）を分離し、分離した各々の音源パートのオーディオ信号に対し、予め対応付けられた操作端末１１の動作に応じた処理を施すといった楽音発生処理を行うようにしてもよい。このような処理に着目した楽音発生装置１０’の機能構成について図８を参照しながら説明する。
【００４７】
同図に示すように、上記のような音源分離を含む楽音発生処理を行う場合の楽音発生装置１０’の機能構成は、上記実施形態における操作端末１１と同様の構成の操作端末１１ａ，１１ｂと、上記実施形態と同様のアンテナ分配回路３８、受信処理回路３９、サウンドスピーカシステム４２および運動解析部４５、データ記録部４７（図４参照）と、オーディオ信号処理部４６に代わるオーディオ信号処理部１４６とを備えている。
【００４８】
操作端末１１ａ，１１ｂの各々からは、操作者の動作に応じたｘ軸検出部ＭＳｘおよびｙ軸検出部ＭＳｙからの検出信号、つまりｘ軸方向の加速度αｘ１，αｘ２と、ｙ軸方向の加速度αｙ１，αｙ２とが無線送信され、アンテナ分配回路３８は、各操作端末１１ａ，１１ｂから送信されるｘ軸方向の加速度αｘ１，αｘ２と、ｙ軸方向の加速度αｙ１，αｙ２とを受信し、受信処理回路３９に出力する。受信処理回路３９は、アンテナ分配回路３８から供給されたｘ軸方向およびｙ軸方向の検出加速度を示す信号を所定のバンドパスフィルタに通し、運動解析部４５による運動状況の検出に不要な周波数成分を除去し、加速度αｘ１，αｘ２およびαｙ１，αｙ２を示す信号を運動解析部４５に出力する。
【００４９】
運動解析部４５は、受信処理回路３９から供給されるｘ軸方向の加速度αｘ１，αｘ２およびαｙ１，αｙ２から、操作者の動作による各操作端末１１ａ，１１ｂの運動状況を検出し、操作端末１１ａから送信されたセンサ検出結果に基づく動作タイミング情報および動作量情報からなる動作情報ＤＪ１と、操作端末１１ｂから送信されたセンサ検出結果に基づく動作タイミング情報および動作量情報からなる動作情報ＤＪ２とをオーディオ信号処理部１４６に出力する。なお、動作タイミング情報と動作量情報の内容は上記実施形態と同様である。
【００５０】
オーディオ信号処理部１４６は、音源分離部１４７を有している。当該音源分離部１４７は、ＣＤ再生部４１によって再生されたオーディオ信号の周波数領域において各信号の基本周波数を推定し、調波構造を抜き出すことにより、同一音源からの成分を集めて合成するといった公知の音源分離処理を行い、オーディオ信号を予め決められた複数の音源パート（例えば歌唱パートと楽器パート）毎のオーディオ信号に分離する。ここで、操作端末１１ａが歌唱パートを制御する端末として割り当てられており、操作端末１１ｂが楽器パートを制御する端末として割り当てられており、オーディオ信号処理部１４６は、操作端末１１ａのセンサ検出結果に基づく動作情報ＤＪ１に応じた処理を歌唱パートのオーディオ信号に対して実行する。また、操作端末１１ｂのセンサ検出結果に基づく動作情報ＤＪ２に応じた処理を楽器パートのオーディオ信号に対して実行する。このようにすることで、音楽ＣＤに収録された楽曲を音源パート毎に制御することが可能となる。
【００５１】
（変形例４）
また、上述した実施形態では、操作者が操作端末１１を動かすことによって、一定期間ｔ毎にＣＤ再生部４１によって再生されたオーディオ信号に対して時間軸圧伸処理を施して再生される楽曲のテンポ調整を行うようにしていたが、操作端末１１の動きに応じてＣＤ再生部４１によって再生されるオーディオ信号に対して、仮想音源の位置を設定し、その位置に音源が実際にある場合をシミュレートする音像定位処理を施すようにしてもよい。
【００５２】
例えば、２チャンネルのステレオ再生を行う場合には、操作者が所持する操作端末１１の一端側が指し示す方向の位置に仮想音源位置を設定し、その位置に音源が実際にある場合をシミュレートする音像定位処理を施すといった楽音発生処理を行うようにしてもよい。このような処理に着目した楽音発生システム１１０の機能構成について図９を参照しながら説明する。
【００５３】
同図に示すように、操作端末１１内に上記動作センサＭＳに代えて、方向検出器１１１が設けられており、方向検出器１１１は操作者によって操作された操作端末１１の一端側の位置が指し示す方向を検出する。ここで、方向検出器１１１は傾斜センサおよびジャイロセンサ等から構成するようにすれば、３次元空間での方向を検出することができる。このように方向検出器１１１が検出した方向を示す信号が操作端末１１から楽音発生装置１１２に無線送信され、アンテナ分配回路３８、受信処理回路３９を介して音像定位制御部１１３に供給される。音像定位制御部１１３は、受信処理回路３９から供給される操作端末１１の一端部が指し示す方向を示す情報から、当該方向上の位置を仮想音源の位置として設定し、当該設定した位置に応じたパンニング情報をオーディオ信号処理部１１４に出力し、オーディオ信号処理部１１４が当該パンニング情報に応じた信号処理を実行する。
【００５４】
具体的には、音像定位制御部１１３は、予め実験等により求められて記憶されている多数の仮想音源位置と振幅変調部１１５，１１６の各々に供給すべきパンニング情報とを対応付けたテーブルを参照し、設定位置に応じたパンニング情報ＰＬ，ＰＲを取得する。そして、振幅変調部１１５，１１６の各々に取得したパンニング情報ＰＬ，ＰＲを出力する。振幅変調部１１５，１１６は、ディジタル乗算器等で構成され、ＣＤ再生部４１から再生されたＬチャンネルのオーディオ信号ＡＬおよびＲチャンネルのオーディオ信号ＡＲが供給され、各々のオーディオ信号ＡＬ，ＡＲの振幅が振幅変調部１１５，１１６によってパンニング情報ＰＬ，ＰＲにしたがって変調される。このように振幅変調部１１５，１１６によって振幅変調されたオーディオ信号ＡＬ，ＡＲが各々Ｌスピーカ１４２ａおよびＲスピーカ１４２ｂに供給され、各々のＬスピーカ１４２ａおよびＲスピーカ１４２ｂから振幅変調されたオーディオ信号ＡＬ，ＡＲに対応した楽音が発生させられる。このように操作者が動かす操作端末１１の指し示す位置に応じた音像定位処理を、音楽ＣＤを再生して得られるオーディオ信号に施すようにしてもよい。
【００５５】
また、入力されるオーディオ信号として、上述した音楽ＣＤを再生して得られる２チャンネルのオーディオ信号の他に、マルチチャンネルオーディオ信号と称される５チャンネル程度のオーディオ信号が入力される場合もある。例えば、ＤＶＤ（Digital Versatile Disc）から再生したオーディオ信号として、フロント左チャンネルと、フロント右チャンネルと、センターチャンネルと、リア左チャンネルと、リア右チャンネルと、低域専用チャンネルの合計６チャンネルのマルチチャンネルオーディオ信号、いわゆる５．１チャンネルと称されるオーディオ信号が入力されることがある。低域専用チャンネルは、例えば１２０Ｈｚ程度よりも低域のオーディオ信号だけが得られるチャンネルで、当該チャンネルのオーディオ信号は低域音だけを再生するスピーカ装置に供給して楽音を発生させる。低域専用チャンネル以外の他のチャンネルのオーディオ信号は、それぞれのチャンネル用に配置されたスピーカ装置に供給することにより各々のスピーカから楽音を発生させる。このようなマルチチャンネルのオーディオ信号に応じた楽音発生を行うシステムにおいても、上記ステレオ再生の場合と同様、各チャンネルのオーディオ信号に対して操作端末１１の指し示す位置に応じた振幅変調、位相調整、周波数特性の調整等の処理を施し、音像定位制御を行うようにしてもよい。
【００５６】
（変形例５）
また、操作端末１１内に動作センサＭＳとして傾斜センサーを採用し、操作者の所持する操作端末１１の傾きに応じた振幅調整処理や周波数特性調整処理を、音楽ＣＤを再生することによりＣＤ再生部４１から出力されるオーディオ信号に対して施すようにしてもよい。例えば、操作端末１１内に設けられた傾斜センサによって図１０（ａ）に示すようなセンサ出力信号が得られた場合に、傾斜センサにより検出される傾きが大きくなればなるほど、ＣＤ再生部４１によって再生されたオーディオ信号の振幅を大きくするといった振幅調整処理を行い、図１０（ｂ）に示すようなオーディオ信号をサウンドスピーカシステム４２に出力して楽音発生を行うようにしてもよい。
【００５７】
（変形例６）
また、図１に示すような棒状の操作端末１１に代えて、腕や足に巻き付けることが可能なバンド型や、靴内にセンサを内蔵したシューズ型等の様々な形状の操作端末を用いることができる。例えば、図１１に示すように、複数（図示の例では７つ）の棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇからなる操作端末２１２を用い、当該操作端末２１２の動作状態に応じた処理を、ＣＤ再生部４１によって再生されるオーディオ信号に施して発生する楽音を制御するようにしてもよい。
【００５８】
棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇは、隣り合う棒状部材の端部同士が各々の部材同士の相対位置が変動可能に連結されており、棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇには傾斜センサが内蔵されている。そして、操作端末２１２は、これらの各棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇ内の傾斜センサから得られたセンサ出力信号を各棒状部材を識別するＩＤを付与して無線送信する。このような操作端末２１２から無線送信されたセンサ出力信号に応じて楽音発生制御を行う楽音発生システムについて図１２を参照しながら説明する。
【００５９】
同図に示すように、操作端末２１２からは棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇに内蔵された傾斜センサからの出力信号Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｋ６，Ｋ７が楽音発生装置２０９に無線送信され、アンテナ分配回路３８、受信処理回路３９を介して周波数特性パラメータ決定部２４５に供給される。周波数特性パラメータ決定部２４５は、受信処理回路３９から供給される各棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇの傾斜具合に応じた出力信号Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｋ６，Ｋ７から、各々棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇに対応付けられた７つの周波数帯域の振幅変調率を示すパラメータＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７を決定し、決定したパラメータＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７をオーディオ信号処理部２４６に出力する。周波数特性パラメータ決定部２４５によるパラメータ決定は、各棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇの傾斜が大きければ大きいほど、振幅を大きくするといったものであってもよいし、図１３に示すように、７つの棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇの形状（図１３（ａ））と類似した周波数特性（図１３（ｂ））に近似するように各パラメータ値を決定するようにしてもよい。
【００６０】
オーディオ信号処理部２４６は、上述した７つの周波数帯域の各々を通過させるバンドパスフィルタ２４７Ａ，２４７Ｂ，２４７Ｃ，２４７Ｄ，２４７Ｅ，２４７Ｆ，２４７Ｇを有している。ＣＤ再生部４１によって再生されたオーディオ信号は各々のバンドパスフィルタ２４７Ａ，２４７Ｂ，２４７Ｃ，２４７Ｄ，２４７Ｅ，２４７Ｆ，２４７Ｇに供給され、各々バンドパスフィルタ２４７Ａ，２４７Ｂ，２４７Ｃ，２４７Ｄ，２４７Ｅ，２４７Ｆ，２４７Ｇからは対応する周波数帯域のオーディオ信号のみが各々振幅変調部２４８Ａ，２４８Ｂ，２４８Ｃ，２４８Ｄ，２４８Ｅ，２４８Ｆ，２４８Ｇに出力される。各々の振幅変調部２４８Ａ，２４８Ｂ，２４８Ｃ，２４８Ｄ，２４８Ｅ，２４８Ｆ，２４８Ｇには、上述したパラメータＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７が供給され、各々の振幅変調部は供給されたパラメータ値に応じてオーディオ信号の振幅を調整し、加算器２４９に出力する。加算器２４９は、振幅変調部２４８Ａ，２４８Ｂ，２４８Ｃ，２４８Ｄ，２４８Ｅ，２４８Ｆ，２４８Ｇから供給される振幅調整済みのオーディオ信号を加算し、サウンドスピーカシステム４２に出力する。この結果、サウンドスピーカシステム４２から操作端末２１２の各棒状操作部材２１１ａ，２１１ｂ，２１１ｃ，２１１ｄ，２１１ｅ，２１１ｆ，２１１ｇの傾斜具合に応じて周波数特性が調整、すなわち音色が調整された楽音が発生される。
【００６１】
（変形例７）
また、図１に示すような短い棒状の操作端末１１に代えて、図１４に示すように、長尺棒状の操作端末３１２を用い、当該操作端末３１２の動作状態に応じた処理を、ＣＤ再生部４１によって再生されるオーディオ信号に施して発生する楽音を制御するようにしてもよい。
【００６２】
操作端末３１２には傾斜センサが内蔵されており、操作端末３１２は当該傾斜センサから得られたセンサ出力信号を無線送信する。このような操作端末３１２から無線送信されたセンサ出力信号に応じて楽音発生制御を行う楽音発生システムについて図１５を参照しながら説明する。
【００６３】
同図に示すように、操作端末３１２からは内蔵される傾斜センサのセンサ出力信号が楽音発生装置３０９に無線送信され、アンテナ分配回路３８、受信処理回路３９を介してパンニングパラメータ決定部３４５に供給される。パンニングパラメータ決定部３４５は、受信処理回路３９から供給される操作端末３１２の傾斜具合に応じた出力信号Ｋから、ＬチャネルおよびＲチャネルのオーディオ信号の振幅変調率を示すパラメータＰＰＬ，ＰＰＲを決定し、決定したパラメータＰＰＬ，ＰＰＲを各々振幅変調部４１５，４１６に出力する。パンニングパラメータ決定部３４５によるパラメータ決定は、例えば図１６に示すように、操作端末３１２の傾斜具合に応じて上側にある端部３１２Ａに予め対応付けられたＬチャンネルの増幅率を大きく、下側にある他端部３１２Ｂに予め対応付けられたＲチャネルの増幅率を小さくするといった具合に決定される。
【００６４】
上記のようにパンニングパラメータ決定部３４５は、振幅変調部４１５，４１６の各々に決定したパラメータＰＰＬ，ＰＰＲを出力する。振幅変調部４１５，４１６は、ディジタル乗算器等で構成され、ＣＤ再生部４１から再生されたＬチャンネルのオーディオ信号ＡＬおよびＲチャンネルのオーディオ信号ＡＲが供給され、各々のオーディオ信号ＡＬ，ＡＲの振幅が振幅変調部４１５，４１６によってパラメータＰＰＬ，ＰＰＲにしたがって増幅等される。このように振幅変調部４１５，４１６によって増幅等の振幅変調がなされたオーディオ信号ＡＬ，ＡＲが各々Ｌスピーカ１４２ａおよびＲスピーカ１４２ｂに供給され、各々のＬスピーカ１４２ａおよびＲスピーカ１４２ｂから振幅変調されたオーディオ信号ＡＬ，ＡＲに対応した楽音が発生させられる。
【００６５】
（変形例８）
また、上述した実施形態および様々な変形例では、操作端末１１の動きに応じた信号処理を、音楽ＣＤを再生することにより得られるオーディオ信号に施すようにしていたが、予め操作端末の動きと、音高とを対応付けておき、音楽ＣＤのある楽曲を再生する際に、操作者が操作端末を操作した一連の動きによって特定される音高が、上記ある楽曲を構成する音高列と一致するか否かといった判定を行い、当該判定結果を操作者に通知するといったエンターテイメントシステムを構成するようにしてもよい。
【００６６】
このようなエンターテイメントシステムを実現するための機能構成を図１７に示す。同図に示すように、このエンターテイメントシステムは、上記実施形態と同様の操作端末１１と、アンテナ分配回路３８、受信処理回路３９、移動軌跡検出部５４５、音高作成部（楽曲内容情報作成手段）５４６、音高軌跡変換テーブル５４７、および判定処理部５４８を有する判定装置５５０とを備えている。
【００６７】
操作端末１１からは上記実施形態と同様に、ｘ軸方向の加速度αｘと、ｙ軸方向の加速度αｙとを示す情報が無線送信され、判定装置５５０のアンテナ分配回路３８はこれを受信し、受信処理回路３９を介して加速度αｘおよびαｙを示す信号を移動軌跡検出部５４５に出力する。
【００６８】
移動軌跡検出部５４５は、受信処理回路３９から供給されるｘ軸方向の加速度αｘおよびｙ軸方向の加速度αｙから、操作端末１１の移動軌跡を検出する。ここで、移動軌跡検出部５４５による移動軌跡の検出は、αｘおよびαｙが予め設定された微小な設定値よりも小さい値である時点（つまり、ほとんど操作端末１１が動いていない状態）から当該設定値よりもαｘまたはαｙが大きくなった時点で動作が開始されたと判断し、この時点からのαｘおよびαｙに基づいて移動軌跡の検出を開始する。一方、このような移動軌跡の検出を行っている間に、αｘおよびαｙが上述した設定値を下回った時点（ほとんど動かない状態になった時点）で当該移動軌跡の検出を終了し、これにより操作者の操作による操作端末１１の一連の動きによる移動軌跡を検出することができる。なお、このようにαｘおよびαｙの値から移動軌跡の検出期間を設定するようにしてもよいが、操作端末１１側に移動軌跡を検出する期間を指定するスイッチ等を設け、移動軌跡検出部５４５は、当該スイッチが押下されている間のαｘおよびαｙに応じて１つの移動軌跡を検出するようにしてもよい。この場合には、操作者は移動軌跡を検出させる動きをする間だけ上記スイッチを押下したまま所望の動作を行うことになる。
【００６９】
移動軌跡検出部５４５は、上述したような期間中に受信処理回路３９から供給されるαｘおよびαｙから、操作端末１１の移動軌跡に関する情報を求める。ここで、移動軌跡に関する情報とは、その移動軌跡が描く形状情報である。操作端末１１の動く軌跡の形状としては、円形、楕円形、四角形、三角形、八の字型等の形状があり、音高軌跡変換テーブル５４７には、これらの移動軌跡形状に対応して音高情報が格納されている。音高作成部５４６は、このような音高軌跡変換テーブル５４７を参照することにより、操作者による操作端末１１の移動軌跡の形状に対応する音高を特定する。音高作成部５４６は、このような音高特定処理を移動軌跡検出部５４５から形状情報が供給される毎に実行し、特定した音高を逐次判定処理部５４８に出力する。
【００７０】
一方、判定処理部５４８には、ＣＤ再生部４１によって再生される音楽ＣＤの楽曲を構成するＣＤ側音高列情報が供給され、判定処理部５４８はこのようなＣＤ側音高列情報と、音高作成部５４６から逐次供給された音高により構成される音高列とを比較し、その一致具合を判定し、その判定結果を操作者に通知する。なお、ＣＤ再生部４１によって再生される音楽ＣＤの楽曲を構成するＣＤ側音高列情報の取得方法としては、再生されるオーディオ信号（楽器パートや歌唱パートに音源分離したものでもよい）のピッチを検出して音高列情報を取得する方法や、予め多数の各楽曲毎の音高列情報を記憶しておき、ＣＤ再生部４１に再生されている楽曲の音高列情報を取得するといった方法を用いることができる。
【００７１】
また、上記変形例では、音高作成部５４６は、移動軌跡検出部５４５から供給される移動軌跡に応じて音高情報を作成するようにしていたが、移動軌跡に応じて拍子情報を作成するようにしてもよい。この場合、判定処理部５４８は、ＣＤ再生部４１によって再生されている楽曲の拍子情報を取得し、取得した楽曲の拍子情報と、操作端末１１の移動軌跡に応じて作成された拍子情報とを比較し、一致具合を判定結果として操作者に通知するようにしてもよい。また、音高情報と拍子情報の両者を操作端末１１の移動軌跡といった運動情報に応じて作成するようにし、ＣＤ再生部４１によって再生されている楽曲の音高列情報および拍子情報と比較するようにしてもよい。
【００７２】
（変形例９）
また、上述した実施形態では、ＣＤ再生部４１が再生したオーディオ信号に対し、操作者の操作による操作端末１１の動きに応じた信号処理（時間軸圧伸処理等）を施すようにしていたが、例えば操作端末１１が大きく動かされたタイミングでＣＤ再生部４１が再生したオーディオ信号に掛け声、手拍子、打楽器音などの単発音を発生するためのオーディオ信号をミキシング等するようにしてもよい。また、操作端末１１が大きく動かされている間に、ＣＤ再生部４１が再生したオーディオ信号に対して残響を付与するといった効果付与処理を施すようにしてもよい。
【００７３】
（変形例１０）
なお、上述した実施形態および様々な変形例においては、音源ソースとしてＣＤ−ＤＡ形式でオーディオ信号をディジタルデータ化したオーディオデータを記録した音楽ＣＤを用いる場合を例に挙げて説明したが、他の形式でオーディオ信号を符号化したオーディオデータ、例えばＡＴＲＡＣ（Adaptive Transform Acoustic Coding）方式で符号化したオーディオデータ、ＭＰ３方式で符号化したオーディオデータ、ＴｗｉｎＶＱ（Transform-Domain Weighted Interleave Vector Quantization）方式で符号化したオーディオデータを音源ソースとして用いることができる。
【００７４】
（変形例１１）
上述した実施形態においては、操作端末１１に搭載される動作センサＭＳの検出結果を楽音発生装置１０に対して無線送信するようにしていたが、これに限らず、操作端末１１および楽音発生装置１０を信号ケーブル等で接続し、当該信号ケーブルを介して操作端末１１から楽音発生装置１０に対して動作センサＭＳの検出結果を送信するようにしてもよい。また、上述した他の変形例においても無線送信に代えて有線送信を用いるようにしてもよい。
また、上記実施形態のように操作端末１１と楽音発生装置１０を別体として構成せずに、両者を一体の装置として構成するようにしてもよい。また、上述した他の変形例においても操作端末と楽音発生装置とを一体の装置として構成してもよい。
【００７５】
（変形例１２）
また、上述した実施形態では、ＣＤ再生部４１が再生したオーディオ信号に対して実行する信号処理内容を、操作端末１１から供給された運動に関する情報に応じて決定する（例えば、時間軸圧伸処理の圧伸率の決定や増幅率の決定）といった処理を実現するプログラムが予めＣＰＵ３０のハードディスク３３等にインストールされている場合について述べたが、本発明はこれに限らず、上記のような運動情報に応じて信号処理内容を決定する等の処理をＣＰＵ等からなるコンピュータシステムに実行させるプログラムの格納された例えばＣＤ−ＲＯＭ（CD-Read Only Memory）、ＤＶＤ−ＲＯＭ（DVD-Read Only Memory）等のパッケージメディアでなる記録媒体を読み取ることにより上記プログラムをインストールしても良く、またプログラムが一時的もしくは永続的に格納される半導体メモリや光磁気ディスク等の記録媒体を読み取ることにより上記プログラムをインストールしてもよい。また、上記プログラムをインターネット等の伝送媒体を介して楽音発生装置１０に取り込んでインストールするようにしてもよい。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、オーディオ信号を所定のフォーマットで符号化したオーディオデータを利用したユーザ参加型の音楽エンターテイメントを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る楽音発生システムの概略を示す図である。
【図２】前記楽音発生システムの構成要素である操作端末の構成を示すブロック図である。
【図３】前記楽音発生システムの構成要素である楽音発生装置のハードウェア構成を示すブロック図である。
【図４】前記楽音発生システムの機能構成を示すブロック図である。
【図５】前記楽音発生装置の構成要素である運動解析部の処理内容を説明するための図である。
【図６】前記楽音発生装置の構成要素であるオーディオ信号処理部による信号処理に必要なデータを記憶した記憶領域を説明するための図である。
【図７】前記オーディオ信号処理部による信号処理の内容を説明するための図である。
【図８】前記楽音発生システムの変形例の機能構成を示すブロック図である。
【図９】前記楽音発生システムの他の変形例の機能構成を示すブロック図である。
【図１０】前記楽音発生システムのその他の変形例における操作端末に内蔵された傾斜センサから出力信号と、オーディオ信号に対して施される処理の内容との関係を説明するための図である。
【図１１】前記楽音発生システムの構成要素である操作端末の変形例の外観を示す図である。
【図１２】図１１に示す前記操作端末を用いて楽音発生を行う楽音発生システムの機能構成を示すブロック図である。
【図１３】図１１に示す前記操作端末の状態と、当該状態に応じた信号処理の内容との関係を説明するための図である。
【図１４】前記楽音発生システムの構成要素である操作端末の他の変形例の外観を示す図である。
【図１５】図１４に示す前記操作端末を用いて楽音発生を行う楽音発生システムの機能構成を示すブロック図である。
【図１６】図１４に示す前記操作端末の状態と、当該状態に応じた信号処理の内容との関係を説明するための図である。
【図１７】前記楽音発生システムのさらにその他の変形例の機能構成を示すブロック図である。
【符号の説明】
１０……楽音発生装置、１０’……楽音発生装置、１１……操作端末、３０……ＣＰＵ、３１……ＲＡＭ、３２……ＲＯＭ、３３……ハードディスク、３８……アンテナ分配回路、３９……受信処理回路、４０……ＤＳＰ部、４１……ＣＤ再生部、４５……運動解析部、４６……オーディオ信号処理部、４７……データ記録部、１００……楽音発生システム、１１０……楽音発生システム、１１２……楽音発生装置、１１４……オーディオ信号処理部、１１５，１１６……振幅変調部、１４６……オーディオ信号処理部、２０９……楽音発生装置、２１２……操作端末、２４５……周波数特性パラメータ決定部、２４６……オーディオ信号処理部、３０９……楽音発生装置、３１２……操作端末、３４５……パンニングパラメータ決定部、４１５，４１６……振幅変調部、５５０……判定装置、５４５……移動軌跡検出部、５４６……音高作成部、５４７……音高軌跡変換テーブル、５４８……判定処理部、ＭＳ……動作センサ

Claims

ユーザの動作に応じた運動情報を取得する運動情報取得手段と、
オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段と、
前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、
前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段と
を具備することを特徴とするオーディオ信号生成装置。
前記信号処理手段は、前記オーディオ信号取得手段によって取得されたオーディオ信号に対し、前記運動情報に応じてテンポ、音量、タイミング、音色および効果の少なくとも１つを制御する処理を施すことを特徴とする請求項１に記載のオーディオ信号生成装置。
前記信号処理手段は、前記オーディオ信号取得手段によって取得されたオーディオ信号を、前記運動情報に応じたテンポのオーディオ信号に変換するために当該オーディオ信号に対して時間軸圧伸処理を施すことを特徴とする請求項１に記載のオーディオ信号生成装置。
前記信号処理手段は、前記オーディオ信号取得手段によって取得されたオーディオ信号に対し、音像定位処理を施すことを特徴とする請求項１に記載のオーディオ信号生成装置。
複数の棒状の部材からなり、各々の前記部材の傾斜具合を、ユーザの動作に応じた運動情報として取得する運動情報取得手段と、
オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段と、
前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段とを具備し、
前記信号処理手段は、前記オーディオ信号取得手段によって取得されたオーディオ信号に対し、
前記運動情報である各々の前記部材の傾斜具合に応じて、前記複数の棒状の部材の各々に対応付けられた周波数帯域毎に、前記オーディオ信号の振幅を調整する
ことを特徴とするオーディオ信号生成装置。
各々の相対位置が変動可能に連結された複数の棒状の部材からなり、各々の前記部材の傾斜具合を、ユーザの動作に応じた運動情報として取得する運動情報取得手段と、
オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段と、
前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段とを具備し、
前記信号処理手段は、前記オーディオ信号取得手段によって取得されたオーディオ信号に対し、
前記運動情報によって表される前記複数の棒状の部材の連結形状に応じて、前記オーディオ信号の振幅を調整する
ことを特徴とするオーディオ信号生成装置。
操作者が携帯可能な端末であって、当該端末を携帯する操作者の動作に応じた運動情報を生成して送信する操作端末と、
オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータからオーディオ信号を生成するオーディオ信号生成装置とを備えたオーディオ信号生成システムであって、
前記オーディオ信号生成装置は、
前記操作端末から送信される運動情報を受信する受信手段と、
前記オーディオデータからオーディオ信号を取得するオーディオ信号取得手段と、
前記受信手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、
前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段と
を有していることを特徴とするオーディオ信号生成システム。
操作者が携帯可能な端末であって、当該端末を携帯する操作者の動作に応じた運動情報を生成して送信する操作端末と、
前記操作端末から送信される運動情報を受信する受信手段と、
オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータからオーディオ信号を再生する再生手段と、
前記再生手段によって再生されている前記オーディオデータの楽曲を構成する音高列、楽曲の拍子もしくは両者を含む第１の楽曲内容情報を取得する楽曲内容取得手段と、
前記再生手段によって前記オーディオデータが再生されている場合に、前記受信手段によって受信された運動情報に応じて音高情報、拍子情報もしくは両者を含む第２の楽曲内容情報を作成する楽曲内容情報作成手段と、
前記第１の楽曲内容情報と、前記第２の楽曲内容情報とを比較し、比較結果を出力する判定手段と
を具備することを特徴とするオーディオシステム。
ユーザの動作に応じた運動情報を取得する運動情報取得ステップと、
オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得ステップと、
前記取得された運動情報に応じた処理を、前記オーディオ信号取得ステップによって取得されたオーディオ信号に施す信号処理ステップと、
前記信号処理ステップによって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録ステップと
を具備することを特徴とするオーディオ信号生成方法。
ユーザの動作に応じた運動情報を取得する運動情報取得手段と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段とを備えた楽音発生装置に搭載されるコンピュータを、
前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、
前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段と
して機能させるためのプログラム。
ユーザの動作に応じた運動情報を取得する運動情報取得手段と、オーディオ信号を所定のフォーマットにしたがって符号化したオーディオデータから前記オーディオ信号を取得するオーディオ信号取得手段とを備えた楽音発生装置に搭載されるコンピュータを、
前記運動情報取得手段によって取得された運動情報に応じた処理を、前記オーディオ信号取得手段によって取得されたオーディオ信号に施す信号処理手段と、
前記信号処理手段によって前記運動情報に応じた処理が施されたオーディオ信号を記録する記録手段と
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。