JP4779264B2 - 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 - Google Patents
移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 Download PDFInfo
- Publication number
- JP4779264B2 JP4779264B2 JP2001269549A JP2001269549A JP4779264B2 JP 4779264 B2 JP4779264 B2 JP 4779264B2 JP 2001269549 A JP2001269549 A JP 2001269549A JP 2001269549 A JP2001269549 A JP 2001269549A JP 4779264 B2 JP4779264 B2 JP 4779264B2
- Authority
- JP
- Japan
- Prior art keywords
- musical
- information
- mobile communication
- tone
- musical sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M19/00—Current supply arrangements for telephone systems
- H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
- H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
- G10H2240/046—File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
- G10H2240/056—MIDI or other note-oriented file format
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
- G10H2240/241—Telephone transmission, i.e. using twisted pair telephone lines or any type of telephone network
- G10H2240/251—Mobile telephone transmission, i.e. transmitting, accessing or controlling music data wirelessly via a wireless or mobile telephone receiver, analog or digital, e.g. DECT GSM, UMTS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
Description
【０００１】
【発明の属する技術分野】
本発明は、移動通信網を利用して楽音発生等を行うための移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法に関する。
【０００２】
【従来の技術】
オーディオ機器等の楽音発生装置では、音色、音高、音量および効果といった４つの演奏パラメータが決まると、所望の楽音を発音することができる。ＭＩＤＩ（Musical Instrument Digital Interface）楽器等の楽音発生装置では、楽曲データに基づいた楽曲の演奏再生が行われ、ユーザは当該ＭＩＤＩ楽器の操作摘みやボタン等を操作することにより、音量等の演奏パラメータを調整していた。
【０００３】
【発明が解決しようとする課題】
上述したようにＭＩＤＩ楽器等の楽音発生装置では、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整している。ユーザが楽音発生装置により再生された演奏を所望の音量等で聴く場合には、操作摘みによる演奏パラメータの調整方法は有効である。しかしながら、従来の楽音発生装置では、楽曲データに基づいて忠実に楽曲の演奏再生する機能をユーザに提供することはできても、ユーザが楽曲演奏に積極的に参加できるといった娯楽性をユーザに提供することはできない。
【０００４】
そこで、ユーザの体に動作検出センサを取り付け、これらのセンサがユーザの身体の動きを検出し、その検出結果を楽音発生装置に無線送信することにより、ユーザの動きに応じて楽曲演奏を行うシステムを開発し、当該システムをユーザに提供することが考えられる。このようなシステムを用いることにより、ユーザは音楽に合わせて踊るといった動作を行うわけではなく、ユーザが動くことによりＭＩＤＩデータ等に基づく楽曲演奏制御を行うことができ、新しい参加型音楽エンターテイメントをユーザに提供することができる。しかしながら、上記のような楽曲演奏を行うために、動作検出センサを搭載した無線ユニットや該無線ユニットから無線送信される楽音発生装置といった専用のシステムを用いる必要があり、手軽に楽曲演奏を行うことの妨げとなる。また、外出先等で使用するといったことが手軽に行えないため、自室にいる等の限られた条件でしか使用できない。
【０００５】
また、上記のような楽音発生の制御以外にも、ユーザは自身の動作内容を何かに反映させたり、動作内容を管理記録等したりしたいといった要望がある場合には、専用の装置を用意する必要があり、外出先等で手軽に自身の動作内容を何かに反映させたり、管理記録したりすることはできなかった。
【０００６】
本発明は、上記の事情を考慮してなされたものであり、ユーザが、より手軽に自身の動作内容を利用して楽音発生等に参加することができる移動通信端末、移動通信端末に装着されるセンサユニット、楽音生成システム、楽音生成装置および楽音情報提供方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る移動通信端末は、移動通信網による通信サービスを受ける移動通信端末であって、前記移動通信端末に対するユーザの動作を検出する動作検出センサと、予め再生制御内容が定義されている楽音データを記憶する記憶手段と、前記動作検出センサによって検出される前記ユーザの動作に応じて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段とを具備することを特徴としている。
【０００８】
この構成によれば、ユーザが移動通信端末に対して行った動作、例えば突き上げたり、振ったりする動作が動作検出センサによって検出され、該検出された動作に応じて生成される楽音制御情報と、該移動通信端末に記憶されている楽音情報とに基づいて楽音が発生させられる。したがって、ユーザは特別な楽音発生専用の装置等を持ち歩くことなく、外出先等であっても移動電話等のサービスを利用するための移動通信端末を用い、自身が該移動通信端末に対して行った動作を反映した楽音を発生させることができる。
【００１１】
また、本発明の別態様の移動通信端末は、移動通信網による通信サービスを受ける移動通信端末であって、音声を入力するマイクロホンと、予め再生制御内容が定義されている楽音データを記憶する記憶手段と、前記マイクロホンによって入力された音声に基づいて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段とを具備することを特徴とする。
【００１２】
この構成によれば、ユーザがマイクロホンに入力した音声に応じて生成される楽音制御情報と、該移動通信端末に記憶されている楽音情報とに基づいて楽音が発生させられる。したがって、ユーザは特別な楽音発生専用の装置等を持ち歩くことなく、外出先等であっても移動電話等のサービスを利用するための移動通信端末を用い、自身が発した音声を反映した楽音を発生させることができる。
【００１６】
また、本発明に係る楽音生成システムは、移動通信網による通信サービスを受ける移動通信端末と、前記移動通信網に接続される楽音情報生成装置とを備えた楽音生成システムであって、前記移動通信端末は、当該移動通信端末に内蔵され、もしくは一体に取り付けられ、当該移動通信端末に対するユーザの動作を検出する動作検出センサと、前記動作検出センサによる検出結果に応じた検出結果情報を前記移動通信網を介して前記楽音情報生成装置に送信する検出結果送信手段と、前記楽音情報生成装置は、前記移動通信端末から送信された前記検出結果情報を受信する受信手段と、予め再生制御内容が定義されている楽音データを記憶する記憶手段と、前記受信手段によって受信された前記検出結果情報に基づいて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段とを具備することを特徴としている。
【００１７】
この構成によれば、移動通信端末を動かす等すると、その動作が動作検出センサによって検出され、該検出結果に応じた情報が楽音情報生成装置に移動通信網を介して送信される。そして、楽音情報生成装置において、該移動通信端末から送信された検出結果に応じた情報を反映した楽音を発生させることができる。したがって、移動通信端末のユーザは、外出先等にいる場合であっても、所持する移動通信端末を動かす等することで、楽音情報生成装置における楽音発生の制御に自身の動作を反映させることができる。
【００１８】
また、本発明に係る楽音生成装置は、複数のパートからなる楽曲を表す楽曲情報を記憶する楽曲情報記憶手段と、移動通信網による通信サービスを受ける移動通信端末に対するユーザの動作を検出した結果を示す検出結果情報を、前記楽曲情報の楽曲の各パートに対して予め割当てられた複数のアクセス番号毎に前記移動通信端末から受信する受信手段と、前記楽曲情報記憶手段に記憶されている前記各パートの楽曲情報と、当該パートに割当てられた前記アクセス番号に対する前記検出結果情報とに基づいて、当該パートの楽音情報を生成する楽音情報生成手段とを具備することを特徴としている。
【００１９】
この構成によれば、移動通信端末から送信される、移動通信端末のユーザの動作に応じた楽音制御情報に応じて楽音を発生することができる。したがって、移動通信端末のユーザは、外出先等にいる場合であっても、所持する移動通信端末を動かす等することで、楽音の発生に自身の動作を反映させることができる。
【００２０】
また、本発明に係る楽音情報提供方法は、移動通信網による通信サービスを受ける移動通信端末であり、当該移動通信端末に対するユーザの動作を検出する動作検出センサを有する移動通信端末に対し、楽曲を表す楽曲情報を予め記憶する楽音情報提供装置から楽音情報を提供する方法であって、前記移動通信端末から前記移動通信網を介して送信される、前記動作検出センサの検出結果に応じた検出結果情報を、前記楽音情報提供装置において受信する受信ステップと、前記受信ステップにおいて受信した前記検出結果情報に基づいて前記楽曲情報の楽音発生を制御する制御内容を表す楽音制御情報を前記楽音情報提供装置において生成する制御情報生成ステップと、前記楽音情報提供装置において、前記制御情報生成ステップで生成された前記楽音制御情報に基づく前記制御内容に従って、前記楽曲情報の楽音を制御して楽音を生成する楽音生成ステップと、前記楽音生成ステップで生成された前記楽音を表す楽音情報を、前記受信ステップで受信された前記検出結果情報の送信元である前記移動通信端末に前記楽音情報提供装置から前記移動通信網を介して送信する楽音送信ステップとを有することを特徴とする。
【００２１】
この方法によれば、移動通信端末のユーザが行った動作に応じた検出結果情報が該移動通信端末から移動通信網を介して楽音情報提供装置に送信され、楽音情報提供装置が受信した検出結果情報に基づいて、つまりユーザの動作に基づいて楽音を生成し、生成した楽音を表す楽音情報を移動通信端末に移動通信網を介して送信することができる。したがって、ユーザが所持する移動通信端末が楽音情報生成機能を備えていないものであっても、外出先等で当該移動通信端末を動かす等することで、該動きを反映した楽音情報を取得することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．第１実施形態
Ａ−１．構成
まず、図１は本発明の第１実施形態に係る携帯電話（移動通信端末）の構成を示すブロック図である。同図に示すように、携帯電話１１は、制御部１１０と、無線通信部１１２と、ユーザインターフェース部１１３と、動作検出センサ１１４と、音源回路１１６と、効果回路１１９と、これらを相互に接続するバス１１７と、音源回路１１６に接続されるスピーカ１１５とを備えている。
【００２３】
制御部１１０は、ＣＰＵ（Central Processing Unit）１１０ａ、ＲＯＭ（Read Only Memory）１１０ｂ、ＲＡＭ（Random Access Memory）１１０ｃおよびＥＥＰＲＯＭ（Electrical Erasable Read Only Memory）１１０ｄを備えており、この携帯電話１１の装置各部を制御する。ＲＯＭ１１０ｂには、種々の制御プログラムや、移動通信サービスにおいて当該携帯電話１１を特定するためのＩＤなどのデータが格納されている。ＣＰＵ１１０ａは、ＲＯＭ１１０ｂに格納された制御プログラムを実行することにより、データ通信や電話などの機能を実現するとともに、後述する楽音発生のための制御処理を行うことができるようになっている。ＲＡＭ１１０ｃは、ＣＰＵ１１０ａのワーキングエリアとして使用される。ＥＥＰＲＯＭ１１０ｄには、電話帳データなどのデータが格納されるとともに、後述する楽音データの配信サービス等によって図示せぬ移動通信網を介して携帯電話１１にダウンロードされた楽音データが格納されるようになっている。ここで、ＥＥＰＲＯＭ１１０ｄに格納される楽音データは、ある楽曲を演奏再生するためのデータ（ＭＩＤＩデータ等）に限らず、波の音、風の音、打楽器音などを発生するための楽音データを格納することができる。なお、本実施形態では、楽音データを格納する記憶手段として、ＥＥＰＲＯＭを採用しているが、書換可能な記憶手段であればよく、例えばハードディスクなどを代用することもできる。
【００２４】
無線通信部１１２は、アンテナ１１２ａを介して移動通信網の基地局との間で無線通信を行う。これにより、当該携帯電話１１は、移動通信網によって提供される無線通信サービスを受けることができ、他の携帯電話や固定電話等の通信機器と移動通信網を介して電話やデータ通信を行うことができるようになっている。
【００２５】
ユーザインターフェース部１１３は、各種情報を表示する液晶表示部、ユーザが入力操作を行うキーパッド、ユーザが通話を行うためのマイクロホンおよびスピーカ等を備えている。ここで、無線通信部１１２やユーザインターフェース部１１３については、通常の一般的な携帯電話と同様であるため、その詳細な説明は割愛する。
【００２６】
動作検出センサ１１４は、３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサ、歪み検出器または傾斜センサ等の公知の種々の動作検出センサを用いることができ、ユーザが当該携帯電話１１に対して行った動作を検出する。すなわち、携帯電話１１は、通常の通話やデータ通信等の一般的な携帯電話に対してユーザが何らかの指示等を行うためのキーパット等のインターフェース部に加え、後述する楽音制御のために使用する動作検出センサを搭載している。このような動作検出センサ１１４として、加速度センサを用いた場合には、ユーザが携帯電話１１を動かすといった動作を行った場合にその加速度を検出し、歪みセンサや圧電センサを用いた場合にはユーザが当該携帯電話１１の所定の部位を叩く等の動作を行った場合に、その叩く動作を検出する。動作検出センサ１１４は、このようにユーザの携帯電話１１に対する動作を検出し、該検出結果を示す信号に対して所定の信号処理（Ａ／Ｄ変換やフィルタリング等）を施して制御部１１０によって処理可能な形式のデータとして出力する。
【００２７】
当該携帯電話１１を用いて楽音発生を行う場合には、上記のように動作検出センサ１１４から出力される検出結果を示すデータを用い、制御部１１０がＲＯＭ１１０ｂに格納された制御プログラムにしたがった楽音発生のための制御処理を行い、楽音発生を制御するコントロール情報を生成する。すなわち、動作検出センサ１１４の検出結果であるユーザの携帯電話１１に対する動作を反映したコントロール情報を生成する。なお、ここでのコントロール情報の生成処理についての詳細は後述する。
【００２８】
音源回路１１６は、制御部１１０のＥＥＰＲＯＭ１１０ｄに格納されている楽音データに基づいて楽音信号を生成する。ＥＥＰＲＯＭ１１０ｄに格納されている楽音データがある楽曲を演奏するためのＭＩＤＩデータ等である場合には、音源回路１１６はＭＩＤＩ音源であり、該ＭＩＤＩデータにしたがって楽音信号を生成する。このように楽音データにしたがって楽音信号を生成する際に、音源回路１１６は、制御部１１０から供給されるコントロール情報に応じて楽音信号を生成する。例えば、コントロール情報として音量やテンポを指定する情報が供給された場合には、ＭＩＤＩデータにしたがった音高や音色の楽音を、コントロール情報にしたがった音量やテンポで発生させるような楽音信号を生成するのである。このように音源回路１１６は、ＥＥＰＲＯＭ１１０ｄに格納された楽音データと、制御部１１０から供給されるユーザの動作を反映したコントロール情報との両者に基づいて楽音信号を生成する。
【００２９】
ＤＳＰ（Digital Signal Processing）等で構成される効果回路１１９は、音源回路１１６によって生成された楽音信号にエコー付与等の効果付与を行い、効果付与後（付与しなくてもよい）の楽音信号をスピーカ１１５に出力する。ここで、制御部１１０から効果付与に関するコントロール情報が供給された場合には効果回路１１９は、そのコントロール情報にしたがった効果付与を行う。スピーカ１１５は、このように効果回路１１９から供給される楽音信号に応じて演奏楽音を放音する。
【００３０】
Ａ−２．動作
上述したように、携帯電話１１では、ユーザの動作を反映したコントロール情報によりスピーカ１１５から発生させる楽音を制御することが可能である。携帯電話１１がこのようなユーザの動作を反映させた楽音発生を行う動作反映演奏モードに設定された場合には、上記のように制御部１１０は、動作検出センサ１１４の検出結果に基づいてコントロール情報を生成するコントロール情報生成処理を行う。ここで、動作検出センサ１１４の検出結果をどのように解析等して、どのようなコントロール情報を生成するかは任意であり、使用する動作検出センサ１１４の種類（２次元センサ、３次元センサ、歪みセンサ等）などに応じて適宜設定するようにすればよい。以下、動作検出センサ１１４として３次元加速度センサを用いた場合のコントロール情報生成処理の一例を挙げ、当該コントロール情報生成処理を含む動作反映演奏モードにおける携帯電話１１の楽音発生時の処理動作について説明する。
【００３１】
図２は、動作反映モード時における携帯電話１１の処理動作を説明するための図である。動作検出センサ１１４として３次元加速度センサを用いる場合には、動作検出センサ１１４のｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺによって、それぞれ、ｘ（上下）方向の加速度αｘ、ｙ（左右）方向の加速度αｙおよびｚ（前後）方向の加速度αｚを表わす信号αｘ，αｙ，αｚが検出される。
【００３２】
動作検出センサ１１４から各軸の加速度データが供給されると、制御部１１０は、供給された各軸の加速度データを解析する解析処理を行う（ステップＳ１）。この解析処理では、まず、次式（１）で表わされる加速度の絶対値｜α｜が求められる。
｜α｜＝（αｘ＊αｘ＋αｙ＊αｙ＋αｚ＊αｚ）1/2 ……（１）
次に、加速度αｘ、αｙと、加速度αｚとを比較する。例えば、
αｘ＜αｚ、且つ、αｙ＜αｚの関係が成立するとき、つまり、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより大きいときは、ユーザが携帯電話１１を突く「突き動作」であると判別する。
【００３３】
逆に、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより小さいときには、携帯電話１１により空気を切りさく「切り動作」であると判別する。この場合、さらに、ｘ、ｙ方向加速度αｘ,αｙの値を互いに比較することにより、「切り動作」の方向が「たて」（ｘ）なのか「よこ」（ｙ））なのかを判別することができる。
【００３４】
また、各軸ｘ、ｙ、ｚ方向成分相互の比較だけでなく、各方向成分αｘ、αｙ、αｚ自体の大きさと所定のしきい値とを比較し、しきい値以上であれば、これらの動作を組み合わせた「組合せ動作」であると判別することができる。例えば、αｚ＞αｘ、αｙ、且つ、αｘ＞「ｘ成分のしきい値」であれは「たて（ｘ方向）に切りつつ、突く動作」と判別し、αｚ＜αｘ、αｙ、αｘ＞「ｘ成分のしきい値」且つ、αｙ＞「ｙ成分のしきい値」であれば、「斜め（ｘ、ｙ両方向）切り動作」であると判別する。さらに、Ｘ方向およびｙ方向の加速度αｘ、αｙの値が、円軌跡を描くように相対的に変化して行く現象を検出することにより、バトンをぐるぐると回す「回し動作」を判別することができる。
【００３５】
上記のように動作検出センサ１１４から供給される加速度データからユーザが携帯電話１１に対して行った動作を解析すると、制御部１１０はこの解析内容に基づいて、コントロール情報を生成する（ステップＳ２）。ここで、解析内容に基づいてどのようなコントロール情報を生成するかは任意であるが、以下にその具体的な内容を例示して説明する。
【００３６】
まず、加速度絶対値｜α｜或いは各方向成分αｘ、αｙ、αｚのうち最大を示す成分の大きさに応じて発生すべき楽音の音量を制御する音量コントロール情報を生成する。
【００３７】
また、解析内容に基づいて次のようなコントロール情報を生成する。例えば、「たて（ｘ方向）切り動作」の周期に応じてテンポを制御するためのコントロール情報を生成する。すなわち、「たて（ｘ方向）切り動作」が検出される頻度が高い、つまりユーザが携帯電話１１に対して「たて（ｘ方向）切り動作」を高い頻度で行った場合には、楽曲の演奏テンポを速くすることを指示するコントロール情報を生成し、一方「たて（ｘ方向）切り動作」の頻度が低い場合には演奏テンポを遅くすることを指示するコントロール情報を生成する。
【００３８】
また、「たて切り動作」が素早く小さい動作であればアーティキュレーションを与えることを指示するコントロール情報を生成し、一方ゆっくりと大きい動作であればピッチ（音高）を下げることを指示するコントロール情報を生成する。また、「よこ（ｙ方向）切り動作」の判別によりスラー効果を与えるためのコントロール情報を生成する。さらに、「突き動作」を判別したときは、そのタイミングで、楽音発生タイミングを縮めてスタッカート効果を与えたることを指示するコントロール情報を生成するとともに、その動きの大きさに応じた単発音（打楽器音、掛け声等）を楽音演奏に挿入することを指示するコントロール情報を生成する。また、「突き動作」との「組み合わせ動作」を判別したときは、上述の制御を併用して行うことを指示するコントロール情報を生成する。また、「回し動作」を判別したときは、その動作周期が大きい場合は大きさに応じて残響効果を高めたり、周期が小さい場合は周期に応じてトリルを発生させるように指示するコントロール情報を生成する。
【００３９】
以上のように制御部１１０によって生成されたコントロール情報は、音源回路１１６や効果回路１１９に供給される。
【００４０】
なお、このようなコントロール情報を生成する以外にも、各軸の加速度のローカルピーク値やローカルピークの鋭さを示すピークＱ値、ローカルピーク間の時間間隔を表わすピークインターバル、ローカルピーク間の谷の深さ、ピークの高周波成分の強さ、加速度α（ｔ）のローカルピークの極性等を抽出し、ピーク発生時刻に応じて演奏楽曲の拍タイミングを制御し、ローカルピーク値に応じてダイナミクスを制御し、ピークＱ値に応じてアーティキュレーションＡＲを制御する、等の制御を行うためのコントロール情報を生成するようにしてもよい。
【００４１】
以上のようにしてユーザが携帯電話１１に対して行った動作に応じたコントロール情報を生成する一方で、ＣＰＵ１１０ａは制御部１１０のＥＥＰＲＯＭ１１０ｄに格納された楽音データ（ここでは、ある楽曲のＭＩＤＩデータとする）を読み出して音源回路１１６に供給する。音源回路１１６はこのＭＩＤＩデータにしたがって楽音信号を生成する。このようにＭＩＤＩデータにしたがって楽音信号を生成する際に、音源回路１１６は制御部１１０から供給されたコントロール情報に示される指示を反映する。例えば、ＭＩＤＩデータに示される音高、音色等の楽音信号を、上記のように加速度の絶対値｜α｜の値に応じて生成された音量コントロール情報や、「切り動作」の頻度に応じて生成されたテンポやピッチに対するコントロール情報にしたがって制御した楽音信号を生成する。また、単発音等を挿入することを指示するコントロール情報が供給された場合には、指示された単発音を発生するための楽音信号をＭＩＤＩデータに基づいて生成した楽音信号に加算して出力する。すなわち、音源回路１１６は、ＥＥＰＲＯＭ１１０ｄに格納されている楽音データに基づいて楽音信号を生成する際に、制御部１１０から供給されたコントロール情報にしたがった制御、つまりユーザが携帯電話１１に対して行った動作を反映した制御がなされるのである。
【００４２】
このように音源回路１１６によって生成された楽音信号は、効果回路１１９に供給される。効果回路１１９には、制御部１１０によって生成された効果付与に関するコントロール情報が供給され、効果回路１１９は音源回路１１６から供給された楽音信号に対してコントロール情報に示された効果付与を行う。例えば、音源回路１１６から供給された楽音信号に対して、上記のように「回し動作」の大きさに応じて決められた残響効果を指示するコントロール情報にしたがって残響効果を付与する等の効果付与処理を行う。このように効果回路１１９によってコントロール情報にしたがった効果付与、つまりユーザが携帯電話１１に対して行った動作に応じた効果付与がなされた楽音信号がスピーカ１１５に出力される。この結果、単にＥＥＰＲＯＭ１１０ｄに格納された楽音データ（ある楽曲のＭＩＤＩデータ）に従った忠実な楽音ではなく、ユーザが携帯電話１１に対して行った動作を反映させた楽音がスピーカ１１５から発せられる。
【００４３】
以上説明したように、本実施形態では、電話やデータ通信などの移動通信網のサービスを受けることが可能な携帯電話１１をユーザが動かす等することにより、楽曲等の演奏再生にユーザの動作を反映させることができる。すなわち、従来では、楽曲等を演奏再生する際には、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整するといったことしかできなかったが、本実施形態によれば、単なる楽曲を忠実に演奏再生する機能をユーザに提供するのではなく、ユーザが楽曲等の演奏再生に積極的に参加できるようになり、新たな音楽の楽しみ方を提供することができる。また、本実施形態では、上記のような楽音発生に積極的に参加させるといった新たな楽しみ方を、移動電話等の機能を有する携帯電話１１を利用してユーザに提供することができ、楽音発生のための専用の装置等を用意することなく、外出先等でも手軽に楽しむことができる。
【００４４】
また、本実施形態では、移動通信網による移動通信サービスを受けることが可能な携帯電話１１を、上記のようなユーザが楽音発生に積極的に参加するための手段として用いているので、以下のような移動通信網を用いたコンテンツ配信サービスを利用することにより、より手軽に多種の楽曲演奏を楽しむことができる。図３に示すように、このコンテンツ配信サービスが適用されるシステムは、上記構成の携帯電話１１と、移動通信網１００と、コンテンツサーバ１５０とを備えている。なお、図示では図面が煩雑となるのを防止するために、１台の携帯電話１１のみを図示している。また、図示ではコンテンツサーバ１５０は移動通信網１００に直接接続されているが、インターネット等の他のネットワークを介して接続されるものであってもよい。
【００４５】
コンテンツサーバ１５０は、携帯電話１１に配信すべき多数の楽音データを格納している。ここで、コンテンツサーバ１５０が格納する楽音データとしては、楽曲を演奏再生するためのデータ（例えば、ＭＩＤＩデータやＭＰ３（MPEG-1 Audio Layer-III）形式のデータ等）に限らず、波の音や打楽器の音などの単発音を発生させるための楽音データであってもよい。
【００４６】
このシステムにおいて、携帯電話１１のユーザがユーザインターフェース部１１３を適宜操作することによりし、携帯電話１１が移動通信網１００を介してコンテンツサーバ１５０に対して楽音データの配信要求をすると、該配信要求に応じてコンテンツサーバ１５０から携帯電話１１に要求に応じた楽音データが移動通信網１００を介して配信される。携帯電話１１は、このようにコンテンツサーバ１５０から配信される楽音データをＥＥＰＲＯＭ１１０ｄに格納する。このようにコンテンツサーバ１５０から取得した楽音データを、上述したようなユーザ自身の動作を反映した楽音発生のために用いることができる。したがって、楽曲データ等を記録したＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の可搬型記録媒体を購入し、この可搬型記録媒体等からパーソナルコンピュータを用いて楽曲データを取得するといった煩雑な作業を行うことなく、手軽に様々な楽音データを取得して演奏再生に用いることができる。したがって、ユーザは、携帯電話１１を所持していれば、楽曲データ等を記録した可搬型記録媒体等を持ち歩いたりしなくても、外出先において自身が所望する楽曲等の演奏再生を楽しむことができるのである。
【００４７】
Ｂ．第２実施形態
次に、本発明の第２実施形態に係る携帯電話について説明する。図４は、第２実施形態に係る携帯電話が用いられるネットワークシステムの概略構成を示す。同図に示すように、このネットワークシステムは、第２実施形態に係る携帯電話２１１と、携帯電話２１１に無線通信サービスを提供する移動通信網２００と、移動通信網２００に接続される楽音発生装置２５０とを備えている。なお、図示では、移動通信網２００と楽音発生装置２５０とが直接接続されているが、固定電話網やインターネット等の通信網を両者の間に介在させるようにしてもよく、携帯電話２１１と楽音発生装置２５０との間で移動通信網２００を介してデータ通信が行えるようなネットワークであればよい。
【００４８】
Ｂ−１．携帯電話
図５に示すように、第２実施形態に係る携帯電話２１１は、上記第１実施形態における携帯電話１１と同様に制御部１１０と、無線通信部１１２と、ユーザインターフェース部１１３と、動作検出センサ１１４と、これらを相互に接続するバス１１７とを備えているが、スピーカ１１５、音源回路１１６および効果回路１１９といった構成要素を備えていない点で第１実施形態における携帯電話１１と相違している。
【００４９】
すなわち、第２実施形態における携帯電話２１１は、ＭＩＤＩデータ等に基づいて楽音を発生する機能を有していない。携帯電話２１１は、自身が楽音を発生するのではなく、他の装置である楽音発生装置２５０がＭＩＤＩデータ等に基づいて楽音発生を行う際に、その楽音発生にユーザが参加するために用いられるのである。
【００５０】
上記のように楽音発生装置２５０の楽音発生にユーザを参加させるために、携帯電話２１１の制御部１１０のＲＯＭ１１０ｂに格納された制御プログラムにしたがって制御部１１０のＣＰＵ１１０ａは、以下のような処理を行う。
【００５１】
図６に示すように、上記第１実施形態と同様、動作検出センサ１１４のｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺから、各軸の加速度データが制御部１１０に供給される。制御部１１０は、供給された各軸の加速度データを解析する解析処理を行う（ステップＳ１）。ここで行われる解析処理は、上記第１実施形態と同様であるため、その説明を省略する（図２参照）。
【００５２】
上記のように動作検出センサ１１４から供給される加速度データからユーザが携帯電話１１に対して行った動作を解析すると、制御部１１０はこの解析内容に基づいて、コントロール情報を生成する（ステップＳ２）。ここでのコントロール情報の生成処理も上記第１実施形態と同様であるため、その説明を省略する（図２参照）。
【００５３】
第２実施形態における携帯電話２１１では、制御部１１０によって生成されたコントロール情報が無線通信部１１２に供給される。無線通信部１１２は、制御部１１０によって生成されたコントロール情報、すなわちユーザが携帯電話２１１に対して行った動作の検出結果に応じたコントロール情報（検出結果情報）を、移動通信網２００を介して楽音発生装置２５０に送信する。このようにして携帯電話２１１から移動通信網２００を介して送信されたコントロール情報が、楽音発生装置２５０における楽音発生制御に用いられる。
【００５４】
Ｂ−２．楽音発生装置
次に、図７を参照しながら楽音発生装置２５０について説明する。同図に示すように、楽音発生装置２５０は、ＣＰＵ２６１と、ＲＯＭ２６２と、ＲＡＭ２６３と、通信インターフェース（Ｉ／Ｆ）２６４と、ユーザインターフェース（Ｉ／Ｆ）２６５と、効果回路２６６と、音源回路２６７と、サウンドスピーカシステム２６８と、外部記憶装置２６９とを備えている。
【００５５】
ＣＰＵ２６１は、各種演算処理を行うとともに各部を制御する。ＲＡＭ２６３は、ＣＰＵ２６１のワークメモリとして使用される、ＲＯＭ２６２は、ＣＰＵ２６１に読み出されて実行される制御プログラムを格納している。ＣＰＵ２６１は、ＲＯＭ２６２に格納された制御プログラムを実行することにより、後述するユーザの携帯電話２１１に対する動作を反映した楽音発生処理（図８参照）を行うように構成されている。
【００５６】
外部記憶装置２６９は、ハードディスクドライブやＣＤ−ＲＯＭ（Compact Disc Read Only Memory）ドライブ等であり、楽音データ等を格納した記録媒体から楽音データを読み出したり、記録媒体に楽音データ等を格納したりすることができる。ここで外部記憶装置２６９に格納される楽音データは、楽曲等を演奏再生するためのＭＩＤＩデータや、波の音および打楽器音といった単発音等を発生するための楽音データである。なお、外部記憶装置２６９に上記の制御プログラムを格納するようにしてもよい。
【００５７】
ユーザインターフェース２６５は、各種情報を表示する表示部、ユーザが入力操作を行うボタン群等を備えている。通信インターフェース２６４は、モデムやルータ等であり、ネットワークを介して他の機器との間でデータの授受を行う。本実施形態では、移動通信網２００を介して携帯電話２１１から送信されるコントロール情報を受信して装置内に取り込み、ＣＰＵ２６１に供給する。ＣＰＵ２６１は、通信インターフェース２６４から供給されたコントロール情報を音源回路２６７および効果回路２６６に供給する。
【００５８】
音源回路２６７は、外部記憶装置２６９に格納されている楽音データに基づいて楽音信号を生成する。このように楽音データにしたがって楽音信号を生成する際に、音源回路２６７は、ＣＰＵ２６１から供給されるコントロール情報に応じて楽音信号を生成する。例えば、コントロール情報として音量やテンポを指定する情報が供給された場合には、楽音データ（例えばＭＩＤＩデータ）にしたがった音高や音色の楽音を、上記第１実施形態と同様にコントロール情報にしたがった音量やテンポで発生させるような楽音信号を生成する。このように音源回路２６７は、外部記憶装置２６９に格納された楽音データと、携帯電話２１１から移動通信網２００を介して供給されるユーザの動作を反映したコントロール情報との両者に基づいて楽音信号を生成する。
【００５９】
効果回路２６６は、ＤＳＰ等で構成され、音源回路２６７によって生成された楽音信号にエコー付与等の効果付与を行い、効果付与後（付与しなくてもよい）の楽音信号をサウンドスピーカシステム２６８に出力する。ここで、ＣＰＵ２６１から効果付与に関するコントロール情報が供給された場合には効果回路２６６は、上記第１実施形態と同様、そのコントロール情報にしたがった効果付与を行う。サウンドスピーカシステム２６８は、このように効果回路２６６から供給される楽音信号に応じて演奏楽音を放音する。
【００６０】
Ｂ−３．楽音発生時の処理
以上のように、携帯電話２１１および楽音発生装置２５０を有するネットワークシステムでは、ユーザが携帯電話２１１を動かす等することにより、携帯電話２１１と離れた位置（近くにあってもよい）にある楽音発生装置２５０の楽音発生にその動きを反映させることができる。このように携帯電話２１１を用いて楽音発生装置２５０の発生する楽音を制御する際の、携帯電話２１１および楽音発生装置２５０において実行される処理について図８に示すシーケンスフローチャートを参照しながら説明する。
【００６１】
同図に示すように、携帯電話２１１を用いて離れた位置にある楽音発生装置２５０によって楽音発生を行う場合には、ユーザは楽音発生装置２５０にアクセスするために携帯電話２１１を適宜操作し、これにより携帯電話２１１が楽音発生装置２５０にアクセスするための電話番号に発呼する（ステップＳａ１）。携帯電話２１１からの呼があると、楽音発生装置２５０はその呼に応答し、両者間の移動通信網２００を介した回線が確立する。このように回線が確立すると、楽音発生装置２５０は演奏開始を行うための応答ガイダンス等を再生する（ステップＳａ２）。このような応答ガイダンスとしては、演奏する楽曲選択をテンキー操作により促す内容や、演奏開始を指示するテンキー操作を促す内容を含んだものを再生する。
【００６２】
上記のような楽音発生装置２５０によって再生される音声ガイダンスに応答し、ユーザがある楽曲の演奏を指示するテンキー操作を行うと、携帯電話２１１は該操作に応じたトーン信号を移動通信網２００を介して楽音発生装置２５０に送信する（ステップＳａ３）。このようなトーン信号による演奏開始の指示を受けた楽音発生装置２５０は、そのトーン信号によって示される楽曲の演奏処理を開始するとともに（ステップＳａ４）、携帯電話２１１から供給されるコントロール情報を待ち受ける。より具体的には、楽音発生装置２５０は、トーン信号によって示される楽曲の楽音データを外部記憶装置２６９から読み出し、読み出した楽音データに基づいて楽音信号を生成する処理を行う。
【００６３】
楽音発生装置２５０によって演奏が開始されると、その演奏に自身の動きを反映させるためにユーザは携帯電話２１１を適宜動かす。これにより携帯電話２１１では、ユーザの動きに応じたコントロール情報が生成され、このコントロール情報が移動通信網２００を介して楽音発生装置２５０に送信される（ステップＳａ５）。楽音発生装置２５０は、楽音発生処理を行っている間に、携帯電話２１１から供給されるコントロール情報を受信すると、読み出した楽音データだけではなく、コントロール情報にしたがって楽音信号を生成し、これをサウンドスピーカシステム２６８から放音する（ステップＳａ６）。これにより離れた位置にある携帯電話２１１を用いて楽音発生装置２５０の発生する楽音を制御することができるのである。
【００６４】
そして、楽音データに基づく楽音発生処理が終了すると、楽音発生装置２５０は、楽音データに基づく楽音発生処理が終了した旨を音声ガイダンス等で通知し（ステップＳａ７）、ユーザがオンフックボタン等を押下することにより携帯電話２１１と楽音発生装置２５０との移動通信網２００を介した回線を切断する（ステップＳａ８）。このようにして、楽音発生装置２５０による楽曲の演奏に、離れた位置にある携帯電話２１１を所持するユーザの動きを反映させた楽音発生処理が終了する。
【００６５】
以上説明したように第２実施形態に係る携帯電話２１１では、電話やデータ通信などの移動通信網のサービスを受けることが可能な携帯電話１１をユーザが動かす等することにより、離れた位置（近くにあってもよい）にある楽音発生装置２５０による楽曲等の演奏再生にユーザの動作を反映させることができる。このように楽音発生する楽音発生装置２５０と離れた位置にいても、ユーザにその楽音発生に積極的に参加させるといった新たな楽しみ方を、移動電話等の機能を有する携帯電話２１１を利用してユーザに提供することができる。
【００６６】
なお、楽音発生装置２５０が同時に複数の携帯電話２１１と通信できる機能を持たせ、複数の携帯電話２１１から送信されるコントロール情報に応じて発生楽音を制御させるようにしてもよい。また、楽音発生装置２５０の外部記憶装置２６９に格納されている楽音データが複数パートからなる楽曲データである場合には、各々のパートに異なる携帯電話２１１を割り当てて、各パートの楽音発生制御の際に割り当てられた携帯電話２１１から送信されるコントロール情報を反映させるようにしてもよい。
【００６７】
また、上述した第２実施形態では、携帯電話２１１がユーザの動作に応じた検出結果（動作検出センサ１１４が三次元加速度センサの場合には信号αｘ、αｙ、αｚ）コントロール情報を生成し、生成したコントロール情報を移動通信網２００を介して楽音発生装置２５０に送信するようにしていたが、携帯電話２１１ではコントロール情報を生成せずに、動作検出センサ１１４の検出結果である信号αｘ、αｙ、αｚを表す検出結果データを移動通信網２００を介して楽音発生装置２５０に送信するようにしてもよい。そして、この加速度αｘ、αｙ、αｚを表す検出結果データを受信した楽音発生装置２５０において、当該受信した検出結果データに基づいてコントロール情報を生成し、楽音発生制御に用いるようにしてもよい。
【００６８】
Ｃ．第３実施形態
次に、本発明の第３実施形態に係る楽音発生システムについて説明する。第３実施形態に係る楽音発生システムは、上記第２実施形態に係る携帯電話を用いて離れた位置にある楽音発生装置の楽音発生制御を行う技術を利用し、多数の聴取者が集まるコンサート会場等で聴取者参加型の新しいエンターテイメントを提供するためのシステムであり、その概略構成を図９に示す。
【００６９】
同図に示すように、コンサート会場における聴取者参加型のエンターテイメントを提供するための楽音発生システムは、コンサート会場にいる多数の聴取者が所持する携帯電話３１１と、移動通信網２００と、コンサート会場内に設置された楽音発生装置３５０と、演奏者が所持する電子楽器２７０と、歌唱者が所持するマイクロホン２８０とを備えている。
【００７０】
図１０に示すように、携帯電話３１１は、上述した第２実施形態における携帯電話２１１（図５参照）と同様の制御部１１０、無線通信部１１２ユーザインターフェース部１１３、動作検出センサ１１４に加え、ＬＥＤ（Light Emitting Diode）等の発光体を有する発光部（報知手段）３５１を備えている。
【００７１】
携帯電話３１１は、上記第２実施形態における携帯電話２１１と同様、ユーザである聴取者の動きに応じたコントロール情報を生成し、生成したコントロール情報を移動通信網２００を介して楽音発生装置３５０に送信する機能を有している。さらに、携帯電話３１１においては、無線通信部１１２が楽音発生装置３５０から移動通信網２００を介して供給される発光指示データを受信し、制御部１１０が受信した発光指示データにしたがって発光部３５１を駆動する。
【００７２】
図１１に示すように、楽音発生装置３５０は、上述した第２実施形態における楽音発生装置２５０（図７参照）と同様のＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６３、通信インターフェース２６４、ユーザインターフェース２６５、効果回路２６６、音源回路２６７、サウンドスピーカシステム２６８および外部記憶装置２６９に加え、楽音データ入力インターフェース（Ｉ／Ｆ）３６０を備えている。
【００７３】
この楽音発生システムでは、演奏者が楽曲を演奏することにより電子楽器２７０によって生成される楽音データ（第２の楽音情報）、および歌唱者が歌唱音を入力したマイクロホン２８０によって生成される歌唱音データ（第２の楽音情報）を有線もしくは無線通信手段等を介して楽音発生装置３５０に送信されるようになっており、楽音データ入力インターフェース（楽音情報取得手段）３６０はこれらの楽音データを当該装置内に取り込むインターフェースである。
【００７４】
楽音発生装置３５０は、上述した第２実施形態における楽音発生装置２５０と異なり、外部記憶装置２６９に格納された楽曲データではなく、電子楽器２７０やマイクロホン２８０から供給される楽音データに基づいて楽音発生を行う。すなわち、楽音発生装置３５０は、コンサート会場において、演奏者によって演奏された楽曲の演奏音と、歌唱者によって歌唱された音声とをサウンドスピーカシステム２６８から放音するのである。なお、外部記憶装置２６９に楽音データ（第２の楽音情報）を格納しておき、この楽音データに基づいて楽音発生を行うようにしてもよい。
【００７５】
楽音発生装置３５０は、上記のような演奏者の演奏および歌唱者の歌唱に応じた楽音発生処理を行う際に、多数の聴取者の所持する携帯電話３１１から送信されるコントロール情報を反映させる。ここで、楽音発生装置３５０は、当該楽音発生装置３５０にアクセスするための回線を多数用意しておき、多数の携帯電話３１１との間で同時にデータ通信を行えるようになっている。
【００７６】
また、楽音発生装置３５０の外部記憶装置２６９には、当該コンサートにおいて演奏が予定されている楽曲を識別する情報と、発光指示データとが対応付けられたテーブルが格納されている。ここで、発光指示データは、対応する楽曲の楽音発生時に当該楽音発生装置３５０に移動通信網２００を介して接続している携帯電話３１１に送信するデータである。この発光指示データは、携帯電話３１１に搭載されている発光部３５１の発光タイミングや発光の仕方（発光体が複数ある場合には、どれを発光させるか等）を制御するためのデータである。
【００７７】
演奏者および歌唱者によってある楽曲の演奏が開始される場合には、コンサートのスタッフ等によってその旨がユーザインターフェース２６５を介して楽音発生装置３５０に入力されるようになっている。楽音発生装置３５０のＣＰＵ２６１は、ある楽曲の演奏開始が入力されると、その楽曲に対応する発光指示データを外部記憶装置２６９から読み出し、読み出した発光指示データを当該楽音発生装置３５０に接続している携帯電話３１１に対して送信する制御処理を実行し、これにより通信インターフェース２６４から移動通信網２００を介して回線接続中の携帯電話３１１に発光指示データが送信される。
【００７８】
次に、演奏者の演奏や歌唱者の歌唱に応じた楽曲演奏に聴取者が参加する際の、上記構成の楽音発生システムの動作について説明する。コンサート会場において、演奏者によってある楽曲の演奏および歌唱者による歌唱が始まると、電子楽器２７０やマイクロホン２８０から楽音発生装置３５０に楽音データが供給され、楽音発生装置３５０はこれらの楽音データに基づいて楽音信号を生成し、サウンドスピーカシステム２６８から楽音を放音し、これにより楽曲演奏が開始される。
【００７９】
このような演奏者の演奏や歌唱者の歌唱に応じた楽曲演奏が開始された後、多数の聴取者の携帯電話３１１からコントロール情報が楽音発生装置３５０に送信されると、楽音発生装置３５０は受信したコントロール情報に応じて演奏者の演奏や歌唱者の歌唱に応じた楽音発生を制御する。
【００８０】
より具体的には、各聴取者は携帯電話３１１を適宜操作し、楽音発生装置３５０にアクセスするための電話番号に発呼する。当該発呼に楽音発生装置３５０が応答して移動通信網２００を介した両者間の回線接続が確立すると、携帯電話３１１からはユーザの動作に応じたコントロール情報（検出結果情報）が楽音発生装置３５０に送信される一方で、楽音発生装置３５０からは演奏中の楽曲に対応した発光指示データが携帯電話３１１に送信される。楽音発生装置３５０から送信される発光指示データを受信した携帯電話３１１は、受信した発光指示データに応じて発光部３５１を駆動する。本実施形態では、聴取者の動作に応じて楽音発生装置３５０による楽音発生が制御されることになる。したがって、発光指示データは、演奏する楽曲に応じて聴取者がどのような動作をすべきかといった模範動作を聴取者に報知するような内容となっている。具体的に例示すると、携帯電話３１１を大きく振る動作を行って欲しいタイミングで発光部３５１を発光させるデータ等である。また、発光部３５１が複数の発光体を有する場合には、どの発光体を発光させるかによって模範動作を聴取者に報知することができる。例えば、２つの発光体を有し、一方のみが発光した場合には左右方向に振る動作を行うべきことを報知し、両者が発光した場合には上下方向に振る動作を行うべきことを報知するといったルールが決められている場合には、左右方向に振る動作を行わせるべきタイミングで発光部３５１が駆動されるような発光指示データを用いればよい。
【００８１】
以上のような発光指示データに基づいた発光部３５１の発光によって、各聴取者はどのような動作をどのようなタイミングで行えばよいかを知ることができ、その報知内容に応じた動作を行えばよい。そして、上記のような報知内容に応じて聴取者が携帯電話３１１を動かす等することにより、携帯電話３１１によってコントロール情報が生成され、これが楽音発生装置３５０に供給されるのである。
【００８２】
例えば、楽音発生装置３５０に携帯電話３１１から送信されたコントロール情報が歌唱音に対する残響効果を高めることを指示するものであれば、歌唱音信号に対する残響効果が高くなるような信号処理を施し、該処理後の歌唱音信号をサウンドスピーカシステム２６８から放音する。また、携帯電話３１１から送信されたコントロール情報が拍手音や掛け声等の単発の音を挿入することを指示するものであれば、演奏者の演奏や歌唱者の歌唱に応じた楽音信号に上記のような単発音を発生するための楽音信号を加算してサウンドスピーカシステム２６８に出力する。これにより、多数の聴取者の携帯電話３１１から供給されるコントロール情報、すなわち多数の聴取者が携帯電話３１１に対して行った動作に応じた楽音発生制御がなされるのである。
【００８３】
また、上述したように多数の聴取者の携帯電話３１１から送信されるコントロール情報に応じて楽音発生装置３５０が楽音発生を行う場合には、他種類のコントロール情報が同時に送信されることが考えられる。したがって、楽音発生装置３５０では、ある一定期間内に受信した多数のコントロール情報の中から処理可能な数のコントロール情報をランダムに抽出し、抽出したコントロール情報を用いて楽音発生を制御している。
【００８４】
なお、このように抽出したコントロール情報を利用する態様に限らず、例えば一定期間（例えば３秒間）毎に受信した多数のコントロール情報の中で、その指示内容が同一であるコントロール情報が最も多く受信されたコントロール情報を利用して楽音発生制御を行うようにしてもよい。例えば、ある一定期間内において、歌唱音に付与する残響効果を高めることを指示するコントロール情報が最も多く受信された場合、その一定期間経過後、次の一定期間が経過するまでの間そのコントロール情報にしたがって歌唱音に付与する残響効果を高める処理を行うといった具合である。同一内容のコントロール情報を携帯電話３１１で生成するには、各携帯電話３１１を所持する聴取者がほぼ同じ動作を行ったということであり、上記のように最も多く受信されたコントロール情報を用いることにより、最も多くの聴取者の動きを反映した楽音発生制御を行うことができるのである。
【００８５】
また、演奏者の演奏パート、例えばギター、ベース等や歌唱音といった各パート毎の楽音発生を、聴取者の携帯電話３１１から送信されるコントロール情報を用いて制御するようにしてもよい。具体的には、予め、ギター、ベース、歌唱といった各パート毎に、各々異なる楽音発生装置３５０にアクセスするための電話番号を割り当てておき、各々の電話番号を用いて楽音発生装置３５０に回線接続している携帯電話３１１から送信されるコントロール情報を各パートの楽音発生制御に用いる。例えば、楽音発生装置３５０がギターのパートの楽音信号を生成する際に、ギターパートに割り当てられた電話番号を用いて当該楽音発生装置３５０と接続している携帯電話３１１から送信されるコントロール情報を用いる。また、歌唱音の楽音信号を生成する際には、歌唱パートが割り当てられた電話番号を用いて当該楽音発生装置３５０と接続している携帯電話３１１から送信されるコントロール情報を用いるといった具合である。
【００８６】
なお、上記第３実施形態では、各聴取者の所持する携帯電話３１１が発光部３５１を有し、この発光部３５１を発光させるための発光指示データを楽音発生装置３５０が送信することにより、ある楽曲演奏に対応する模範動作を各聴取者に報知するようにしていたが、これ以外の方法で各聴取者に報知するようにしてもよい。例えば、携帯電話３１１の液晶表示部を発光させたり、液晶表示部の模範動作の内容を表示させたりすることにより、各聴取者に模範動作を報知するようにしてもよい。この場合、楽音発生装置３５０から各々報知すべき内容に応じて発光や表示がなされるように液晶表示部を駆動するためのデータを送信すればよい。
【００８７】
また、上記第３実施形態においては、楽音発生装置３５０から送信される発光指示データに基づいて携帯電話３１１の発光部３５１を発光させるようにしていたが、携帯電話３１１の制御部１１０が動作検出センサ１１４の検出結果に応じて発光部３５１を発光駆動するようにしてもよい。例えば、動作検出センサ１１４によって所定以上の大きな動作（例えば、検出された加速度が所定値以上）を検出した場合に発光させるといった制御を携帯電話３１１の制御部１１０が行うようにしてもよい。
【００８８】
Ｄ．第４実施形態
次に、図１２は、本発明の第４実施形態に係る楽音データ提供方法を利用した楽音データ提供サービスを実施するためのネットワークシステムの概略構成を示す。同図に示すように、このネットワークシステムは、携帯電話４１１と、携帯電話４１１に無線通信サービスを提供する移動通信網４００と、移動通信網４００に接続される楽音データ提供サーバ（楽音生成装置）４５０とを備えている。なお、図示では、移動通信網４００と楽音データ提供サーバ４５０とが直接接続されているが、固定電話網やインターネット等の通信網を両者の間に介在させるようにしてもよい。
【００８９】
楽音データ提供サーバ４５０は、パーソナルコンピュータやワークステーションといったコンピュータシステムであり、内蔵するハードディスク等の記憶手段に格納された制御プログラムをＣＰＵが実行することにより、携帯電話４１１から移動通信網４００を介して楽音データの配信要求を受けた場合に、該要求に応じて楽音データを携帯電話４１１に提供する楽音データ送信処理を行うように構成されている。
【００９０】
図１２に示すように、楽音データ提供サーバ４５０は、通信インターフェース（Ｉ／Ｆ）４６０と、楽音データ生成部４６１と、楽音データ蓄積部４６３とを備えている。
【００９１】
通信インターフェース４６０は、当該楽音データ提供サーバ４５０と外部機器との間でデータの授受を行い、携帯電話４１１との間で移動通信網４００を介して各種データの授受を行う。携帯電話４１１の所持者が楽音データの配信要求を行う場合、予め設定されている楽音データ提供サーバ４５０にアクセスするための電話番号に発呼することにより、楽音データ提供サーバ４５０と携帯電話４１１との間の回線が確立され、この回線を利用して後述する各種要求、検出結果データ、楽音データ等の授受が行われるようになっている。
【００９２】
ハードディスク等から構成される楽音データ蓄積部４６３は、多数の楽曲を演奏するための楽曲データ（ＭＩＤＩデータやＣＤ−ＤＡ（CD Digital Audio）形式のオーディオデータ等）、および打楽器音、波の音、風の音などの単発音を発生させるためのデータ等の楽音データを記憶している。
【００９３】
楽音データ生成部４６１は、通信インターフェース４６０を介して携帯電話４１１からの楽音データ配信要求を受けた場合に、要求に応じた楽音データを楽音データ蓄積部４６３から読み出し、読み出した楽音データと要求のあった携帯電話１１から供給される検出結果データとに基づいて楽音信号を生成し、該楽音信号を通信インターフェース４６０を介して携帯電話４１１に送信する。より具体的には、楽音データ生成部４６１は、携帯電話４１１から移動通信網４００を介して配信を希望する楽曲を識別するための情報を含む配信要求を受けると、配信を希望する楽曲の楽音データを楽音データ蓄積部４６３から読み出す。そして、読み出した楽曲の楽音データに基づいて楽音信号を生成し、該楽音信号を所定の形式（例えばＭＰ３形式）で圧縮等した楽音信号を通信インターフェース４６０を介して携帯電話４１１に送信する。楽音データ生成部４６１は、このように要求された楽曲を演奏するための楽音信号を、配信要求のあった携帯電話４１１に送信するとともに、この間に携帯電話４１１から送信された検出結果データから楽音信号生成を制御するためのコントロール情報を生成し、該コントロール情報を用いて楽音データ蓄積部４６３から読み出した楽音データから楽音信号を生成する。ここで、生成されるコントロール情報は、上述した各実施形態と同様、後述する携帯電話４１１の動作検出センサ１１４によって検出された携帯電話４１１のユーザの動作を反映したものであり、音量、テンポ、単発音の挿入、残響効果付与等の各種楽音信号生成処理を制御するためのコントロール情報である。
【００９４】
以上のように楽音データ生成部４６１は、楽音データ蓄積部４６３から楽音データを読み出し、読み出した楽音データと、携帯電話４１１から供給される検出結果データに応じて生成したコントロール情報とに基づいて楽音信号を生成する。そして、生成した楽音信号を通信インターフェース４６０を介して携帯電話４１１宛に送信するのである。
【００９５】
次に、上記のような楽音データの配信要求を行う携帯電話４１１について図１３を参照しながら説明する。同図に示すように、携帯電話４１１は、上記第１実施形態における携帯電話１１と同様の制御部１１０、無線通信部１１２、ユーザインターフェース部１１３、動作検出センサ１１４およびスピーカ１１５に加え、楽音データ再生部４５１を備えている。
【００９６】
楽音データ再生部４５１は、ＭＰ３形式等の圧縮された楽音信号を復号し、スピーカ１１５に出力する。ここで、楽音データ再生部４５１は、予めＥＥＰＲＯＭ１１０ｄに格納されているＭＰ３形式等の楽音信号を復号して楽曲演奏等を行うこともできるが、本実施形態における携帯電話４１１では、上記のように楽音データ提供サーバ４５０から送信される圧縮楽音信号を復号して楽音信号を生成することができる。
【００９７】
上述したように携帯電話４１１は、楽音データ提供サーバ４５０から送信される楽音信号を受信し再生して楽曲演奏を行うことができるが、この楽音データ提供サーバ４５０から送信される楽音信号に基づく楽曲演奏に携帯電話４１１のユーザの動きを反映させることができるようになっている。このように楽曲演奏にユーザを参加させるために、楽音データ提供サーバ４５０と回線が接続され、楽音データ提供サーバ４５０からの楽音データの配信を受けている間、携帯電話４１１の制御部１１０は、ＲＯＭ１１０ｂに格納された制御プログラムにしたがって以下のような処理を行う。まず、制御部１１０は、上記第１実施形態と同様、動作検出センサ１１４のｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺから、各軸の加速度データを周期的に取り込み、該取り込んだ動作検出センサ１１４の検出結果を表すデータを楽音データ提供サーバ４５０との間のデータ通信に適合した所定のフォーマットに変換して無線通信部１１２に出力する。これにより動作検出センサ１１４によって検出されたユーザの携帯電話４１１に対する動作に応じた検出結果データが携帯電話４１１から移動通信網４００を介して楽音データ提供サーバ４５０に送信される。
【００９８】
次に、携帯電話４１１が楽音データ提供サーバ４５０に自身の動作を反映した楽音データの配信要求を行う際の、上記構成のネットワークシステムの動作について説明する。
【００９９】
まず、ユーザは楽音データ提供サーバ４５０にアクセスするために携帯電話４１１のテンキー等を適宜操作し、これにより携帯電話４１１が楽音データ提供サーバ４５０にアクセスするための電話番号に発呼する。携帯電話４１１からの呼があると、楽音データ提供サーバ４５０はその呼に応答し、両者間の移動通信網４００を介した回線が確立する。このように回線が確立すると、楽音データ提供サーバ４５０は演奏開始を行うための応答ガイダンス等を再生する。このような応答ガイダンスとしては、演奏する楽曲選択をテンキー操作により促す内容や、演奏開始を指示するテンキー操作を促す内容を含んだものを再生する。また、ユーザのどのような動作がどのように演奏に反映させるかの説明等をガイダンスに含めるようにしてもよい。
【０１００】
上記のような楽音データ提供サーバ４５０によって再生される音声ガイダンスに応答し、ユーザがある楽曲の演奏を指示するテンキー操作を行うと、携帯電話４１１は該操作に応じたトーン信号を移動通信網４００を介して楽音データ提供サーバ４５０に送信する。このようなトーン信号による演奏開始の指示を受けた楽音データ提供サーバ４５０は、そのトーン信号によって示される楽曲の楽音データを楽音データ蓄積部４６３から読み出し、該楽音データに基づく楽音信号の生成処理を開始し、生成した楽音信号を移動通信網４００を介して携帯電話４１１に送信する。また、このように楽音信号の送信処理を開始する一方で、携帯電話４１１から送信されるコントロール情報を待ち受ける。
【０１０１】
このような楽音データ提供サーバ４５０から携帯電話４１１への楽音信号の送信が開始された後、携帯電話４１１からコントロール情報が楽音データ提供サーバ４５０に送信されると、楽音データ提供サーバ４５０は受信したコントロール情報に応じて読み出した楽音データに基づく楽音信号を制御する。すなわち、携帯電話４１１からはユーザの動作に応じたコントロール情報が楽音データ提供サーバ４５０に送信される一方で、楽音データ提供サーバ４５０からは当該コントロール情報に応じた楽音信号が携帯電話４１１に送信される。例えば、楽音データ提供サーバ４５０に携帯電話４１１から送信されたコントロール情報が残響効果を高めることを指示するものであれば、読み出した楽音データに基づく楽音信号の生成の際に楽音信号に対する残響効果が高くなるような信号処理を施し、該処理後の楽音信号を携帯電話４１１に送信する。このように楽音データ提供サーバ４５０から送信された楽音信号が携帯電話４１１の楽音データ再生部４５１によって再生され、携帯電話４１１のスピーカ１１５から放音される。
【０１０２】
以上のように本実施形態では、携帯電話４１１のユーザは楽音データ提供サーバ４５０にアクセスし、所望の楽曲等を指定すると、自身の動作を反映した指定楽曲の演奏音がリアルタイムで自身の所持する携帯電話４１１のスピーカ１１５から放音されるのである。従来では、楽曲等を演奏再生する際には、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整するといったことしかできなかったが、本実施形態によれば、単なる楽曲を忠実に演奏再生する機能をユーザに提供するのではなく、ユーザが楽曲等の演奏再生に積極的に参加できるようになり、新たな音楽の楽しみ方を提供することができる。
【０１０３】
また、本実施形態では、上記のような楽音発生に積極的に参加させるといった新たな楽しみ方を、移動電話等の機能を有する携帯電話４１１を利用してユーザに提供することができ、楽音発生のための専用の装置等を用意することなく、外出先等でも手軽に楽しむことができる。
【０１０４】
また、自身の動作を反映した楽音信号の制御等は、携帯電話４１１ではなく、楽音データ提供サーバ４５０で行われ、携帯電話４１１は送信された楽音信号を再生するだけで自身の動作を反映した楽音を発生させることができる。したがって、携帯電話４１１にユーザの動作を解析してコントロール情報を生成するといった処理を行うための構成要素が不要であり、携帯電話４１１の構成を簡略化できる。
【０１０５】
Ｅ．変形例
なお、本発明は、上述した各実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１０６】
（変形例１）
上述した第２実施形態では、携帯電話２１１がユーザの動作に応じたコントロール情報を生成し、該コントロール情報を移動通信網２００を介して楽音発生装置２５０に送信することにより、楽音発生装置２５０による楽音発生を制御するようにしていたが、携帯電話２１１において生成したユーザの動作に応じた情報を楽音発生制御以外に用いるようにしてもよい。例えば、図１４に示すように、高齢者やリハビリテーションの実行者等の健康状態を遠隔管理するネットワークシステムに携帯電話２１１’を用いるようにしてもよい。
【０１０７】
同図に示すように、このネットワークシステムは、管理される者である管理対象者が所持する携帯電話２１１’と、携帯電話２１１’に無線通信サービスを提供する移動通信網２００と、移動通信網２００に接続される健康管理サーバ５５０とを備えている。なお、図示では、移動通信網２００と健康管理サーバ５５０とが直接接続されているが、固定電話網やインターネット等の通信網を両者の間に介在させるようにしてもよい。
【０１０８】
この例における携帯電話２１１’は、第２実施形態における携帯電話２１１と同様に動作検出センサ１１４を備えており、携帯電話２１１’を所持する管理対象者の動作を検出する点では一致しているが、上記携帯電話２１１のように楽音発生を制御するためのコントロール情報を生成する処理は行われない。すなわち、携帯電話２１１’では、動作検出センサ１１４が検出した結果（３次元加速度センサである場合には、信号αｘ、αｙ、αｚ）を表す情報を、健康管理サーバ５５０との間のデータ通信に適合したフォーマットの検出結果データに変換し、変換した検出結果データを移動通信網２００を介して健康管理サーバ５５０に送信している。ここで、携帯電話２１１’から健康管理サーバ５５０に検出結果データを送信する場合、移動通信網２００を利用することになる。したがって、常時携帯電話２１１’と健康管理サーバ５５０との間の回線を確保して検出結果データを送信するようにしてもよいが、通信料金等の高騰を抑制するために、一定の時間間隔で健康管理サーバ５５０に接続して検出結果データを送信するようにしてもよい。この場合、携帯電話２１１’において一定時間の間検出結果データを一時的に記憶しておき、送信時間になると、記憶している一定の時間内の検出結果データをまとめて送信する。なお、上記のように一定の時間間隔毎に検出結果データを健康管理サーバ５５０に送信する場合には、一定時間の間に管理対象者に異常事態等が発生した時に、健康管理サーバ５５０側でその異常を検知するのが遅れてしまうこともある、したがって、携帯電話２１１’に、検出データが異常なものであるか否か（三次元加速度センサの場合には、通常の運動状態では考えられない非常に大きい加速度が検出された場合など）を判断する機能を持たせ、異常であると判断した場合には、その時点で検出結果データを送信するようにしてもよい。
【０１０９】
健康管理サーバ５５０は、パーソナルコンピュータ等で構成され、内蔵される記憶装置に格納された制御プログラムをＣＰＵが実行することにより、以下に説明するような健康管理処理を実施するように構成されている。
【０１１０】
健康管理サーバ５５０は、携帯電話２１１'から移動通信網２００を介して送信される検出結果データを各々の管理対象者毎にデータベース等に格納し、管理対象者毎に運動状態を管理する。そして、管理者の指示等に基づいて検出結果データを時系列で表示等することにより、管理者に対して管理対象者毎の運動状態を報知することができる。
【０１１１】
以上のように本システムでは、各管理対象者が自身の所持する携帯電話２１１’に対して行った運動の結果をデータベースに蓄積し、管理者が当該データベースの記憶内容を参照等することにより、その管理対象者の運動状態を知ることができる。また、予め管理者と管理対象者との間でどの時間にどの程度の運動を行う等を決めておき、決められた時間に管理対象者が決められた量の運動を行っているか否かを遠隔地にある健康管理サーバ５５０の表示部等を参照することにより管理者がチェックするといった運動状況の遠隔管理に用いることができる。ここで、決められた時間に決められた運動が行われていない場合等には、管理者が運動をしていない管理対象者の携帯電話２１１’に発呼してその旨の注意を促すこともできる。
【０１１２】
（変形例２）
また、上述した各実施形態では、動作検出センサ１１４を搭載した携帯電話を用いて楽音発生制御等を行うようにしていたが、動作検出センサ１１４を搭載しない携帯電話において、マイクロホンから入力される音声に基づいて楽音発生制御を行うようにしてもよい。
【０１１３】
ここで、図１５に上記第１実施形態における携帯電話１１の動作検出センサ１１４に代えて、ユーザインターフェース部１１３に含まれる通話等に用いることが可能なマイクロホンからの入力音声に基づいてスピーカ１１５から発生させる楽音を制御する際の携帯電話の制御処理内容を示す。同図に示すように、この携帯電話では、ユーザが発した音声がユーザインターフェース部１１３のマイクロホン１１３ａから入力され、マイクロホン１１３ａから音声信号が制御部１１０に出力される。制御部１１０では、まずマイクロホン１１３ａから供給された音声信号を解析する処理を行う。ここでの解析処理は、一般的な音声認識処理でユーザの発した音声の意味内容を解析するものであってもよいが、本例では、入力音声のピッチ、フォルマント（音韻解析）、音量、発声タイミング、発声停止タイミング等を解析する（ステップＳ１００）。
【０１１４】
このように入力音声の解析を行うと、制御部１１０は当該解析結果に基づいてコントロール情報を生成する処理を行う。例えば、入力音声のピッチに応じて、生成する楽音信号のピッチを変動させることを指示するコントロール情報を生成したり、入力音声の音量に応じて生成する楽音信号の音量（増幅率）をコントロールするコントロール情報を生成したりする。また、フォルマント解析等により、発声した音韻（例えば、「ア」、「イ」等）を特定し、特定した音韻に基づいて生成する楽音信号の音高を指示するコントロール情報を生成するようにしてもよい。
【０１１５】
制御部１１０は、以上のようにして生成したコントロール情報を上記第１実施形態と同様（図２参照）、音源回路１１６および効果回路１１９に出力する。音源回路１１６は、上記第１実施形態と同様、ＥＥＰＲＯＭ１１０ｄに格納されている楽音データと、上記のコントロール情報とに基づいて楽音信号を生成し、該楽音信号を効果回路１１９に出力する。効果回路１１９は、音源回路１１６から供給される楽音信号に対し、制御部１１０から供給されるコントロール情報にしたがった効果付与を行い、スピーカ１１５に出力し、これによりユーザがマイクロホン１１３ａを介して入力した音声を反映した楽音がスピーカ１１５から発せられる。例えば、ある楽曲の歌唱部分をユーザが歌唱すると、その歌唱によってマイクロホン１１３ａから入力された音声の解析結果に基づいて上記ある楽曲の伴奏部分をスピーカ１１５から発音させるコントロール情報が生成されるようにしておくと、ユーザがある楽曲の歌唱部分を歌唱すると、自動的にその歌唱に合わせて楽曲の伴奏部分をスピーカ１１５から発音させるといったことも可能である。さらに、歌唱音にエコーを付与する処理の実行を指示するコントロール情報が生成されるようにすれば、上記のように自動的に伴奏部分が演奏発音されるだけではなく、自身の歌声もエコーが付与された歌唱音として発音されるようになる。
【０１１６】
（変形例３）
また、上述した各実施形態では、動作検出センサ１１４を搭載した携帯電話を用いて楽音発生制御を行うようにしていたが、動作検出センサ１１４を搭載していない携帯電話に、図１６に示すようなセンサユニットを装着し、上記各実施形態における携帯電話に代えて、当該センサユニット装着した携帯電話を用いるようにしてもよい。
【０１１７】
同図に示すように、センサユニット７００は、動作検出センサ１１４を搭載しない携帯電話７１１の装着部７１１ａにはめ込み等により装着されている。ここで、センサユニット７００と携帯電話７１１とは、容易に着脱できる装着構造となっており、通常の電話等を行う場合にはセンサユニット７００を携帯電話７１１から取り外して使用し、上述した各実施形態のように楽音発生制御する場合にはセンサユニット７００を装着した状態で携帯電話７１１を使用することができるようになっている。
【０１１８】
ここで、図１７にセンサユニット７００および携帯電話７１１の構成を示す。
同図に示すように、携帯電話７１１は、上記第１実施形態における携帯電話１１と同様の制御部１１０と、無線通信部１１２と、ユーザインターフェース部１１３と、音源回路１１６と、効果回路１１９と、これらを相互に接続するバス１１７と、音源回路１１６に接続されるスピーカ１１５とを備え、さらに動作検出センサ１１４に代えて接続インターフェース（Ｉ／Ｆ）７５０を備えている。
【０１１９】
接続インターフェース７５０は、装着部７１１ａに接続された他の電子機器との間でデータの授受を行うインターフェースであり、装着部７１１ａにセンサユニット７００が接続されると、センサユニット７００との間でデータの授受を行う。
【０１２０】
センサユニット７００は、接続インターフェース（Ｉ／Ｆ）７６２と、制御部７６０と、動作検出センサ７６１とを備えている。接続インターフェース７６２は、当該センサユニット７００が携帯電話７１１に装着された場合に、上述した接続インターフェース７５０との間でデータの授受を行う、つまり携帯電話７１１との間でデータの授受を行うインターフェースである。
【０１２１】
動作検出センサ７６１は、上記各実施形態の動作検出センサ１１４と同様、３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサ、歪み検出器または傾斜センサ等の公知の種々の動作検出センサを用いることができ、ユーザが当該センサユニット７００が装着された携帯電話７１１に対して行った動作を検出する。
【０１２２】
制御部７６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＲＯＭに格納された制御プログラムをＣＰＵが実行することにより、動作検出センサ７６１の検出結果を携帯電話７１１に送信する検出結果送信処理を制御するように構成されている。より具体的には、制御部７６０は、動作検出センサ７６１の検出結果を取り込み、該検出結果を携帯電話７１１との間でデータ通信が行えるフォーマットに変換した検出結果データとして接続インターフェース７６２を介して携帯電話７１１に送信する。
【０１２３】
上記のようにセンサユニット７００から送信された検出結果データを接続インターフェース７５０を介して受け取った携帯電話７１１では、上記第１実施形態と同様、制御部１１０が受け取った検出結果データに応じたコントロール情報を生成し、該コントロール情報を用いて楽音発生制御を行う。これにより、センサユニット７００を装着した携帯電話７１１は、上記第１実施形態と同様にユーザの動作を反映した楽音発生を行うことができるのである。
【０１２４】
このように本変形例では、上記第１実施形態と同様、携帯電話７１１をユーザが楽音発生に積極的に参加させる手段として用いることができるとともに、携帯電話７１１を通常の機能である電話等で使用する場合には、センサユニット７００を取り外すことも可能である。すなわち、上記のような楽音発生制御に用いない場合には、センサユニット７００を取り外しておくことができ、これによりセンサユニット７００が通話作業等の妨げとなることを抑制することができる。
【０１２５】
なお、本変形例では、センサユニット７００を装着した携帯電話７１１が上記第１実施形態における携帯電話１１と同様の楽音発生制御を可能とする場合について説明したが、他の実施形態における携帯電話２１１、携帯電話３１１、携帯電話４１１等に代えて、動作検出センサ１１４を有しない携帯電話を使用し、これらの携帯電話にセンサユニット７００を装着することにより、上記各実施形態の携帯電話と同様の機能を持たせるようにしてもよい。
【０１２６】
また、当該変形例においては、携帯電話７１１に搭載された音源回路１１６、効果回路１１９およびスピーカ１１５を用いて楽音発生を行うようにしているが、センサユニット７００に、音源回路１１６、効果回路１１９およびスピーカ１１５と同様の構成を搭載し、センサユニット７００が楽音発生を行うようにしてもよい。このようにセンサユニット７００で楽音発生を行う場合には、センサユニット７００の制御部７６０が動作検出センサ７６１の検出結果に応じてコントロール情報を生成し、該コントロール情報と携帯電話７１１のＥＥＰＲＯＭ１１０ｄから読み出した楽音データとに基づいてセンサユニット７００側に搭載された音源回路１１６、効果回路１１９およびスピーカ１１５といった構成要素が楽音発生を行うようにすればよい。
【０１２７】
（変形例４）
また、上述した実施形態では、携帯電話を利用して楽音発生制御等を行うようになっていたが、移動通信網による通信サービスを受けることができる移動通信端末であればよく、ＰＨＳ（Personal Handy-phone System（商標））等であってもよい。
【０１２８】
（変形例５）
なお、上述したような各実施形態の携帯電話の制御部が実行する楽音発生のための制御処理や、第２実施形態および第３実施形態における楽音発生装置２５０および楽音発生装置３５０が行う楽音発生のための制御処理を、コンピュータに実現させるためのプログラムを記録したＣＤ−ＲＯＭやフロッピーディスク等の様々な記録媒体をユーザに提供するようにしてもよいし、インターネット等の伝送媒体を介してユーザに提供するようにしてもよい。
【０１２９】
【発明の効果】
以上説明したように、本発明によれば、ユーザが、より手軽に自身の動作内容を利用して楽音発生等に参加することができる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る携帯電話の構成を示すブロック図である。
【図２】 前記携帯電話によって行われる楽音発生処理を説明するための図である。
【図３】 前記携帯電話を用いたネットワークシステムの概略構成を示すブロック図である。
【図４】 本発明の第２実施形態に係る携帯電話が用いられるネットワークシステムの概略構成を示すブロック図である。
【図５】 第２実施形態に係る前記携帯電話の構成を示すブロック図である。
【図６】 第２実施形態に係る前記携帯電話によって行われる楽音発生のためのコントロール情報を送信する処理を説明するための図である。
【図７】 第２実施形態に係る前記携帯電話から送信されるコントロール情報に基づいて楽音を発生する楽音発生装置の構成を示すブロック図である。
【図８】 楽音発生処理を行う際の、第２実施形態に係る前記携帯電話および前記楽音発生装置の処理動作を示すシーケンスフローチャートである。
【図９】 本発明の第３実施形態に係る楽音発生システムの概略構成を示すブロック図である。
【図１０】 第３実施形態に係る前記楽音発生システムの構成要素である携帯電話の構成を示すブロック図である。
【図１１】 第３実施形態に係る前記楽音発生システムの構成要素である楽音発生装置の構成を示すブロック図である。
【図１２】 本発明の第４実施形態に係る楽音データ提供方法が適用されるネットワークシステムの概略構成を示すブロック図である。
【図１３】 第４実施形態の前記ネットワークシステムの構成要素である携帯電話の構成を示すブロック図である。
【図１４】 本発明の変形例に係る携帯電話を利用して健康管理を行うネットワークシステムの概略構成を示すブロック図である。
【図１５】 本発明の変形例に係る携帯電話による楽音発生処理を説明するための図である。
【図１６】 本発明の変形例に係る携帯電話、および携帯電話に装着するセンサユニットの外観を示す斜視図である。
【図１７】 前記センサユニットを装着した前記携帯電話の構成を示すブロック図である。
【符号の説明】
１１……携帯電話、１００……移動通信網、１１０……制御部、１１２……無線通信部、１１３……ユーザインターフェース部、１１３ａ……マイクロホン、１１４……動作検出センサ、１１５……スピーカ、１１６……音源回路、１１７……バス、１１９……効果回路、１５０……コンテンツサーバ、２００……移動通信網、２１１……携帯電話、２５０……楽音発生装置、２５０’……楽音発生装置、２６１……ＣＰＵ、２６２……ＲＯＭ、２６３……ＲＡＭ、２６４……通信インターフェース、２６５……ユーザインターフェース、２６６……効果回路、２６７……音源回路、２６８……サウンドスピーカシステム、２６９……外部記憶装置、２７０……電子楽器、２８０……マイクロホン、３１１……携帯電話、３５０……楽音発生装置、３５１……発光部、３６０……楽音データ入力インターフェース、４００……移動通信網、４１１……携帯電話、４５０……楽音データ提供サーバ、４５１……楽音データ再生部、４６０……通信インターフェース、４６１……楽音データ生成部、４６３……楽音データ蓄積部、５５０……健康管理サーバ、７００……センサユニット、７１１……携帯電話、７６１……動作検出センサ
【発明の属する技術分野】
本発明は、移動通信網を利用して楽音発生等を行うための移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法に関する。
【０００２】
【従来の技術】
オーディオ機器等の楽音発生装置では、音色、音高、音量および効果といった４つの演奏パラメータが決まると、所望の楽音を発音することができる。ＭＩＤＩ（Musical Instrument Digital Interface）楽器等の楽音発生装置では、楽曲データに基づいた楽曲の演奏再生が行われ、ユーザは当該ＭＩＤＩ楽器の操作摘みやボタン等を操作することにより、音量等の演奏パラメータを調整していた。
【０００３】
【発明が解決しようとする課題】
上述したようにＭＩＤＩ楽器等の楽音発生装置では、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整している。ユーザが楽音発生装置により再生された演奏を所望の音量等で聴く場合には、操作摘みによる演奏パラメータの調整方法は有効である。しかしながら、従来の楽音発生装置では、楽曲データに基づいて忠実に楽曲の演奏再生する機能をユーザに提供することはできても、ユーザが楽曲演奏に積極的に参加できるといった娯楽性をユーザに提供することはできない。
【０００４】
そこで、ユーザの体に動作検出センサを取り付け、これらのセンサがユーザの身体の動きを検出し、その検出結果を楽音発生装置に無線送信することにより、ユーザの動きに応じて楽曲演奏を行うシステムを開発し、当該システムをユーザに提供することが考えられる。このようなシステムを用いることにより、ユーザは音楽に合わせて踊るといった動作を行うわけではなく、ユーザが動くことによりＭＩＤＩデータ等に基づく楽曲演奏制御を行うことができ、新しい参加型音楽エンターテイメントをユーザに提供することができる。しかしながら、上記のような楽曲演奏を行うために、動作検出センサを搭載した無線ユニットや該無線ユニットから無線送信される楽音発生装置といった専用のシステムを用いる必要があり、手軽に楽曲演奏を行うことの妨げとなる。また、外出先等で使用するといったことが手軽に行えないため、自室にいる等の限られた条件でしか使用できない。
【０００５】
また、上記のような楽音発生の制御以外にも、ユーザは自身の動作内容を何かに反映させたり、動作内容を管理記録等したりしたいといった要望がある場合には、専用の装置を用意する必要があり、外出先等で手軽に自身の動作内容を何かに反映させたり、管理記録したりすることはできなかった。
【０００６】
本発明は、上記の事情を考慮してなされたものであり、ユーザが、より手軽に自身の動作内容を利用して楽音発生等に参加することができる移動通信端末、移動通信端末に装着されるセンサユニット、楽音生成システム、楽音生成装置および楽音情報提供方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る移動通信端末は、移動通信網による通信サービスを受ける移動通信端末であって、前記移動通信端末に対するユーザの動作を検出する動作検出センサと、予め再生制御内容が定義されている楽音データを記憶する記憶手段と、前記動作検出センサによって検出される前記ユーザの動作に応じて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段とを具備することを特徴としている。
【０００８】
この構成によれば、ユーザが移動通信端末に対して行った動作、例えば突き上げたり、振ったりする動作が動作検出センサによって検出され、該検出された動作に応じて生成される楽音制御情報と、該移動通信端末に記憶されている楽音情報とに基づいて楽音が発生させられる。したがって、ユーザは特別な楽音発生専用の装置等を持ち歩くことなく、外出先等であっても移動電話等のサービスを利用するための移動通信端末を用い、自身が該移動通信端末に対して行った動作を反映した楽音を発生させることができる。
【００１１】
また、本発明の別態様の移動通信端末は、移動通信網による通信サービスを受ける移動通信端末であって、音声を入力するマイクロホンと、予め再生制御内容が定義されている楽音データを記憶する記憶手段と、前記マイクロホンによって入力された音声に基づいて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段とを具備することを特徴とする。
【００１２】
この構成によれば、ユーザがマイクロホンに入力した音声に応じて生成される楽音制御情報と、該移動通信端末に記憶されている楽音情報とに基づいて楽音が発生させられる。したがって、ユーザは特別な楽音発生専用の装置等を持ち歩くことなく、外出先等であっても移動電話等のサービスを利用するための移動通信端末を用い、自身が発した音声を反映した楽音を発生させることができる。
【００１６】
また、本発明に係る楽音生成システムは、移動通信網による通信サービスを受ける移動通信端末と、前記移動通信網に接続される楽音情報生成装置とを備えた楽音生成システムであって、前記移動通信端末は、当該移動通信端末に内蔵され、もしくは一体に取り付けられ、当該移動通信端末に対するユーザの動作を検出する動作検出センサと、前記動作検出センサによる検出結果に応じた検出結果情報を前記移動通信網を介して前記楽音情報生成装置に送信する検出結果送信手段と、前記楽音情報生成装置は、前記移動通信端末から送信された前記検出結果情報を受信する受信手段と、予め再生制御内容が定義されている楽音データを記憶する記憶手段と、前記受信手段によって受信された前記検出結果情報に基づいて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段とを具備することを特徴としている。
【００１７】
この構成によれば、移動通信端末を動かす等すると、その動作が動作検出センサによって検出され、該検出結果に応じた情報が楽音情報生成装置に移動通信網を介して送信される。そして、楽音情報生成装置において、該移動通信端末から送信された検出結果に応じた情報を反映した楽音を発生させることができる。したがって、移動通信端末のユーザは、外出先等にいる場合であっても、所持する移動通信端末を動かす等することで、楽音情報生成装置における楽音発生の制御に自身の動作を反映させることができる。
【００１８】
また、本発明に係る楽音生成装置は、複数のパートからなる楽曲を表す楽曲情報を記憶する楽曲情報記憶手段と、移動通信網による通信サービスを受ける移動通信端末に対するユーザの動作を検出した結果を示す検出結果情報を、前記楽曲情報の楽曲の各パートに対して予め割当てられた複数のアクセス番号毎に前記移動通信端末から受信する受信手段と、前記楽曲情報記憶手段に記憶されている前記各パートの楽曲情報と、当該パートに割当てられた前記アクセス番号に対する前記検出結果情報とに基づいて、当該パートの楽音情報を生成する楽音情報生成手段とを具備することを特徴としている。
【００１９】
この構成によれば、移動通信端末から送信される、移動通信端末のユーザの動作に応じた楽音制御情報に応じて楽音を発生することができる。したがって、移動通信端末のユーザは、外出先等にいる場合であっても、所持する移動通信端末を動かす等することで、楽音の発生に自身の動作を反映させることができる。
【００２０】
また、本発明に係る楽音情報提供方法は、移動通信網による通信サービスを受ける移動通信端末であり、当該移動通信端末に対するユーザの動作を検出する動作検出センサを有する移動通信端末に対し、楽曲を表す楽曲情報を予め記憶する楽音情報提供装置から楽音情報を提供する方法であって、前記移動通信端末から前記移動通信網を介して送信される、前記動作検出センサの検出結果に応じた検出結果情報を、前記楽音情報提供装置において受信する受信ステップと、前記受信ステップにおいて受信した前記検出結果情報に基づいて前記楽曲情報の楽音発生を制御する制御内容を表す楽音制御情報を前記楽音情報提供装置において生成する制御情報生成ステップと、前記楽音情報提供装置において、前記制御情報生成ステップで生成された前記楽音制御情報に基づく前記制御内容に従って、前記楽曲情報の楽音を制御して楽音を生成する楽音生成ステップと、前記楽音生成ステップで生成された前記楽音を表す楽音情報を、前記受信ステップで受信された前記検出結果情報の送信元である前記移動通信端末に前記楽音情報提供装置から前記移動通信網を介して送信する楽音送信ステップとを有することを特徴とする。
【００２１】
この方法によれば、移動通信端末のユーザが行った動作に応じた検出結果情報が該移動通信端末から移動通信網を介して楽音情報提供装置に送信され、楽音情報提供装置が受信した検出結果情報に基づいて、つまりユーザの動作に基づいて楽音を生成し、生成した楽音を表す楽音情報を移動通信端末に移動通信網を介して送信することができる。したがって、ユーザが所持する移動通信端末が楽音情報生成機能を備えていないものであっても、外出先等で当該移動通信端末を動かす等することで、該動きを反映した楽音情報を取得することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．第１実施形態
Ａ−１．構成
まず、図１は本発明の第１実施形態に係る携帯電話（移動通信端末）の構成を示すブロック図である。同図に示すように、携帯電話１１は、制御部１１０と、無線通信部１１２と、ユーザインターフェース部１１３と、動作検出センサ１１４と、音源回路１１６と、効果回路１１９と、これらを相互に接続するバス１１７と、音源回路１１６に接続されるスピーカ１１５とを備えている。
【００２３】
制御部１１０は、ＣＰＵ（Central Processing Unit）１１０ａ、ＲＯＭ（Read Only Memory）１１０ｂ、ＲＡＭ（Random Access Memory）１１０ｃおよびＥＥＰＲＯＭ（Electrical Erasable Read Only Memory）１１０ｄを備えており、この携帯電話１１の装置各部を制御する。ＲＯＭ１１０ｂには、種々の制御プログラムや、移動通信サービスにおいて当該携帯電話１１を特定するためのＩＤなどのデータが格納されている。ＣＰＵ１１０ａは、ＲＯＭ１１０ｂに格納された制御プログラムを実行することにより、データ通信や電話などの機能を実現するとともに、後述する楽音発生のための制御処理を行うことができるようになっている。ＲＡＭ１１０ｃは、ＣＰＵ１１０ａのワーキングエリアとして使用される。ＥＥＰＲＯＭ１１０ｄには、電話帳データなどのデータが格納されるとともに、後述する楽音データの配信サービス等によって図示せぬ移動通信網を介して携帯電話１１にダウンロードされた楽音データが格納されるようになっている。ここで、ＥＥＰＲＯＭ１１０ｄに格納される楽音データは、ある楽曲を演奏再生するためのデータ（ＭＩＤＩデータ等）に限らず、波の音、風の音、打楽器音などを発生するための楽音データを格納することができる。なお、本実施形態では、楽音データを格納する記憶手段として、ＥＥＰＲＯＭを採用しているが、書換可能な記憶手段であればよく、例えばハードディスクなどを代用することもできる。
【００２４】
無線通信部１１２は、アンテナ１１２ａを介して移動通信網の基地局との間で無線通信を行う。これにより、当該携帯電話１１は、移動通信網によって提供される無線通信サービスを受けることができ、他の携帯電話や固定電話等の通信機器と移動通信網を介して電話やデータ通信を行うことができるようになっている。
【００２５】
ユーザインターフェース部１１３は、各種情報を表示する液晶表示部、ユーザが入力操作を行うキーパッド、ユーザが通話を行うためのマイクロホンおよびスピーカ等を備えている。ここで、無線通信部１１２やユーザインターフェース部１１３については、通常の一般的な携帯電話と同様であるため、その詳細な説明は割愛する。
【００２６】
動作検出センサ１１４は、３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサ、歪み検出器または傾斜センサ等の公知の種々の動作検出センサを用いることができ、ユーザが当該携帯電話１１に対して行った動作を検出する。すなわち、携帯電話１１は、通常の通話やデータ通信等の一般的な携帯電話に対してユーザが何らかの指示等を行うためのキーパット等のインターフェース部に加え、後述する楽音制御のために使用する動作検出センサを搭載している。このような動作検出センサ１１４として、加速度センサを用いた場合には、ユーザが携帯電話１１を動かすといった動作を行った場合にその加速度を検出し、歪みセンサや圧電センサを用いた場合にはユーザが当該携帯電話１１の所定の部位を叩く等の動作を行った場合に、その叩く動作を検出する。動作検出センサ１１４は、このようにユーザの携帯電話１１に対する動作を検出し、該検出結果を示す信号に対して所定の信号処理（Ａ／Ｄ変換やフィルタリング等）を施して制御部１１０によって処理可能な形式のデータとして出力する。
【００２７】
当該携帯電話１１を用いて楽音発生を行う場合には、上記のように動作検出センサ１１４から出力される検出結果を示すデータを用い、制御部１１０がＲＯＭ１１０ｂに格納された制御プログラムにしたがった楽音発生のための制御処理を行い、楽音発生を制御するコントロール情報を生成する。すなわち、動作検出センサ１１４の検出結果であるユーザの携帯電話１１に対する動作を反映したコントロール情報を生成する。なお、ここでのコントロール情報の生成処理についての詳細は後述する。
【００２８】
音源回路１１６は、制御部１１０のＥＥＰＲＯＭ１１０ｄに格納されている楽音データに基づいて楽音信号を生成する。ＥＥＰＲＯＭ１１０ｄに格納されている楽音データがある楽曲を演奏するためのＭＩＤＩデータ等である場合には、音源回路１１６はＭＩＤＩ音源であり、該ＭＩＤＩデータにしたがって楽音信号を生成する。このように楽音データにしたがって楽音信号を生成する際に、音源回路１１６は、制御部１１０から供給されるコントロール情報に応じて楽音信号を生成する。例えば、コントロール情報として音量やテンポを指定する情報が供給された場合には、ＭＩＤＩデータにしたがった音高や音色の楽音を、コントロール情報にしたがった音量やテンポで発生させるような楽音信号を生成するのである。このように音源回路１１６は、ＥＥＰＲＯＭ１１０ｄに格納された楽音データと、制御部１１０から供給されるユーザの動作を反映したコントロール情報との両者に基づいて楽音信号を生成する。
【００２９】
ＤＳＰ（Digital Signal Processing）等で構成される効果回路１１９は、音源回路１１６によって生成された楽音信号にエコー付与等の効果付与を行い、効果付与後（付与しなくてもよい）の楽音信号をスピーカ１１５に出力する。ここで、制御部１１０から効果付与に関するコントロール情報が供給された場合には効果回路１１９は、そのコントロール情報にしたがった効果付与を行う。スピーカ１１５は、このように効果回路１１９から供給される楽音信号に応じて演奏楽音を放音する。
【００３０】
Ａ−２．動作
上述したように、携帯電話１１では、ユーザの動作を反映したコントロール情報によりスピーカ１１５から発生させる楽音を制御することが可能である。携帯電話１１がこのようなユーザの動作を反映させた楽音発生を行う動作反映演奏モードに設定された場合には、上記のように制御部１１０は、動作検出センサ１１４の検出結果に基づいてコントロール情報を生成するコントロール情報生成処理を行う。ここで、動作検出センサ１１４の検出結果をどのように解析等して、どのようなコントロール情報を生成するかは任意であり、使用する動作検出センサ１１４の種類（２次元センサ、３次元センサ、歪みセンサ等）などに応じて適宜設定するようにすればよい。以下、動作検出センサ１１４として３次元加速度センサを用いた場合のコントロール情報生成処理の一例を挙げ、当該コントロール情報生成処理を含む動作反映演奏モードにおける携帯電話１１の楽音発生時の処理動作について説明する。
【００３１】
図２は、動作反映モード時における携帯電話１１の処理動作を説明するための図である。動作検出センサ１１４として３次元加速度センサを用いる場合には、動作検出センサ１１４のｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺによって、それぞれ、ｘ（上下）方向の加速度αｘ、ｙ（左右）方向の加速度αｙおよびｚ（前後）方向の加速度αｚを表わす信号αｘ，αｙ，αｚが検出される。
【００３２】
動作検出センサ１１４から各軸の加速度データが供給されると、制御部１１０は、供給された各軸の加速度データを解析する解析処理を行う（ステップＳ１）。この解析処理では、まず、次式（１）で表わされる加速度の絶対値｜α｜が求められる。
｜α｜＝（αｘ＊αｘ＋αｙ＊αｙ＋αｚ＊αｚ）1/2 ……（１）
次に、加速度αｘ、αｙと、加速度αｚとを比較する。例えば、
αｘ＜αｚ、且つ、αｙ＜αｚの関係が成立するとき、つまり、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより大きいときは、ユーザが携帯電話１１を突く「突き動作」であると判別する。
【００３３】
逆に、ｚ方向加速度αｚがｘ、ｙ方向加速度αｘ、αｙより小さいときには、携帯電話１１により空気を切りさく「切り動作」であると判別する。この場合、さらに、ｘ、ｙ方向加速度αｘ,αｙの値を互いに比較することにより、「切り動作」の方向が「たて」（ｘ）なのか「よこ」（ｙ））なのかを判別することができる。
【００３４】
また、各軸ｘ、ｙ、ｚ方向成分相互の比較だけでなく、各方向成分αｘ、αｙ、αｚ自体の大きさと所定のしきい値とを比較し、しきい値以上であれば、これらの動作を組み合わせた「組合せ動作」であると判別することができる。例えば、αｚ＞αｘ、αｙ、且つ、αｘ＞「ｘ成分のしきい値」であれは「たて（ｘ方向）に切りつつ、突く動作」と判別し、αｚ＜αｘ、αｙ、αｘ＞「ｘ成分のしきい値」且つ、αｙ＞「ｙ成分のしきい値」であれば、「斜め（ｘ、ｙ両方向）切り動作」であると判別する。さらに、Ｘ方向およびｙ方向の加速度αｘ、αｙの値が、円軌跡を描くように相対的に変化して行く現象を検出することにより、バトンをぐるぐると回す「回し動作」を判別することができる。
【００３５】
上記のように動作検出センサ１１４から供給される加速度データからユーザが携帯電話１１に対して行った動作を解析すると、制御部１１０はこの解析内容に基づいて、コントロール情報を生成する（ステップＳ２）。ここで、解析内容に基づいてどのようなコントロール情報を生成するかは任意であるが、以下にその具体的な内容を例示して説明する。
【００３６】
まず、加速度絶対値｜α｜或いは各方向成分αｘ、αｙ、αｚのうち最大を示す成分の大きさに応じて発生すべき楽音の音量を制御する音量コントロール情報を生成する。
【００３７】
また、解析内容に基づいて次のようなコントロール情報を生成する。例えば、「たて（ｘ方向）切り動作」の周期に応じてテンポを制御するためのコントロール情報を生成する。すなわち、「たて（ｘ方向）切り動作」が検出される頻度が高い、つまりユーザが携帯電話１１に対して「たて（ｘ方向）切り動作」を高い頻度で行った場合には、楽曲の演奏テンポを速くすることを指示するコントロール情報を生成し、一方「たて（ｘ方向）切り動作」の頻度が低い場合には演奏テンポを遅くすることを指示するコントロール情報を生成する。
【００３８】
また、「たて切り動作」が素早く小さい動作であればアーティキュレーションを与えることを指示するコントロール情報を生成し、一方ゆっくりと大きい動作であればピッチ（音高）を下げることを指示するコントロール情報を生成する。また、「よこ（ｙ方向）切り動作」の判別によりスラー効果を与えるためのコントロール情報を生成する。さらに、「突き動作」を判別したときは、そのタイミングで、楽音発生タイミングを縮めてスタッカート効果を与えたることを指示するコントロール情報を生成するとともに、その動きの大きさに応じた単発音（打楽器音、掛け声等）を楽音演奏に挿入することを指示するコントロール情報を生成する。また、「突き動作」との「組み合わせ動作」を判別したときは、上述の制御を併用して行うことを指示するコントロール情報を生成する。また、「回し動作」を判別したときは、その動作周期が大きい場合は大きさに応じて残響効果を高めたり、周期が小さい場合は周期に応じてトリルを発生させるように指示するコントロール情報を生成する。
【００３９】
以上のように制御部１１０によって生成されたコントロール情報は、音源回路１１６や効果回路１１９に供給される。
【００４０】
なお、このようなコントロール情報を生成する以外にも、各軸の加速度のローカルピーク値やローカルピークの鋭さを示すピークＱ値、ローカルピーク間の時間間隔を表わすピークインターバル、ローカルピーク間の谷の深さ、ピークの高周波成分の強さ、加速度α（ｔ）のローカルピークの極性等を抽出し、ピーク発生時刻に応じて演奏楽曲の拍タイミングを制御し、ローカルピーク値に応じてダイナミクスを制御し、ピークＱ値に応じてアーティキュレーションＡＲを制御する、等の制御を行うためのコントロール情報を生成するようにしてもよい。
【００４１】
以上のようにしてユーザが携帯電話１１に対して行った動作に応じたコントロール情報を生成する一方で、ＣＰＵ１１０ａは制御部１１０のＥＥＰＲＯＭ１１０ｄに格納された楽音データ（ここでは、ある楽曲のＭＩＤＩデータとする）を読み出して音源回路１１６に供給する。音源回路１１６はこのＭＩＤＩデータにしたがって楽音信号を生成する。このようにＭＩＤＩデータにしたがって楽音信号を生成する際に、音源回路１１６は制御部１１０から供給されたコントロール情報に示される指示を反映する。例えば、ＭＩＤＩデータに示される音高、音色等の楽音信号を、上記のように加速度の絶対値｜α｜の値に応じて生成された音量コントロール情報や、「切り動作」の頻度に応じて生成されたテンポやピッチに対するコントロール情報にしたがって制御した楽音信号を生成する。また、単発音等を挿入することを指示するコントロール情報が供給された場合には、指示された単発音を発生するための楽音信号をＭＩＤＩデータに基づいて生成した楽音信号に加算して出力する。すなわち、音源回路１１６は、ＥＥＰＲＯＭ１１０ｄに格納されている楽音データに基づいて楽音信号を生成する際に、制御部１１０から供給されたコントロール情報にしたがった制御、つまりユーザが携帯電話１１に対して行った動作を反映した制御がなされるのである。
【００４２】
このように音源回路１１６によって生成された楽音信号は、効果回路１１９に供給される。効果回路１１９には、制御部１１０によって生成された効果付与に関するコントロール情報が供給され、効果回路１１９は音源回路１１６から供給された楽音信号に対してコントロール情報に示された効果付与を行う。例えば、音源回路１１６から供給された楽音信号に対して、上記のように「回し動作」の大きさに応じて決められた残響効果を指示するコントロール情報にしたがって残響効果を付与する等の効果付与処理を行う。このように効果回路１１９によってコントロール情報にしたがった効果付与、つまりユーザが携帯電話１１に対して行った動作に応じた効果付与がなされた楽音信号がスピーカ１１５に出力される。この結果、単にＥＥＰＲＯＭ１１０ｄに格納された楽音データ（ある楽曲のＭＩＤＩデータ）に従った忠実な楽音ではなく、ユーザが携帯電話１１に対して行った動作を反映させた楽音がスピーカ１１５から発せられる。
【００４３】
以上説明したように、本実施形態では、電話やデータ通信などの移動通信網のサービスを受けることが可能な携帯電話１１をユーザが動かす等することにより、楽曲等の演奏再生にユーザの動作を反映させることができる。すなわち、従来では、楽曲等を演奏再生する際には、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整するといったことしかできなかったが、本実施形態によれば、単なる楽曲を忠実に演奏再生する機能をユーザに提供するのではなく、ユーザが楽曲等の演奏再生に積極的に参加できるようになり、新たな音楽の楽しみ方を提供することができる。また、本実施形態では、上記のような楽音発生に積極的に参加させるといった新たな楽しみ方を、移動電話等の機能を有する携帯電話１１を利用してユーザに提供することができ、楽音発生のための専用の装置等を用意することなく、外出先等でも手軽に楽しむことができる。
【００４４】
また、本実施形態では、移動通信網による移動通信サービスを受けることが可能な携帯電話１１を、上記のようなユーザが楽音発生に積極的に参加するための手段として用いているので、以下のような移動通信網を用いたコンテンツ配信サービスを利用することにより、より手軽に多種の楽曲演奏を楽しむことができる。図３に示すように、このコンテンツ配信サービスが適用されるシステムは、上記構成の携帯電話１１と、移動通信網１００と、コンテンツサーバ１５０とを備えている。なお、図示では図面が煩雑となるのを防止するために、１台の携帯電話１１のみを図示している。また、図示ではコンテンツサーバ１５０は移動通信網１００に直接接続されているが、インターネット等の他のネットワークを介して接続されるものであってもよい。
【００４５】
コンテンツサーバ１５０は、携帯電話１１に配信すべき多数の楽音データを格納している。ここで、コンテンツサーバ１５０が格納する楽音データとしては、楽曲を演奏再生するためのデータ（例えば、ＭＩＤＩデータやＭＰ３（MPEG-1 Audio Layer-III）形式のデータ等）に限らず、波の音や打楽器の音などの単発音を発生させるための楽音データであってもよい。
【００４６】
このシステムにおいて、携帯電話１１のユーザがユーザインターフェース部１１３を適宜操作することによりし、携帯電話１１が移動通信網１００を介してコンテンツサーバ１５０に対して楽音データの配信要求をすると、該配信要求に応じてコンテンツサーバ１５０から携帯電話１１に要求に応じた楽音データが移動通信網１００を介して配信される。携帯電話１１は、このようにコンテンツサーバ１５０から配信される楽音データをＥＥＰＲＯＭ１１０ｄに格納する。このようにコンテンツサーバ１５０から取得した楽音データを、上述したようなユーザ自身の動作を反映した楽音発生のために用いることができる。したがって、楽曲データ等を記録したＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の可搬型記録媒体を購入し、この可搬型記録媒体等からパーソナルコンピュータを用いて楽曲データを取得するといった煩雑な作業を行うことなく、手軽に様々な楽音データを取得して演奏再生に用いることができる。したがって、ユーザは、携帯電話１１を所持していれば、楽曲データ等を記録した可搬型記録媒体等を持ち歩いたりしなくても、外出先において自身が所望する楽曲等の演奏再生を楽しむことができるのである。
【００４７】
Ｂ．第２実施形態
次に、本発明の第２実施形態に係る携帯電話について説明する。図４は、第２実施形態に係る携帯電話が用いられるネットワークシステムの概略構成を示す。同図に示すように、このネットワークシステムは、第２実施形態に係る携帯電話２１１と、携帯電話２１１に無線通信サービスを提供する移動通信網２００と、移動通信網２００に接続される楽音発生装置２５０とを備えている。なお、図示では、移動通信網２００と楽音発生装置２５０とが直接接続されているが、固定電話網やインターネット等の通信網を両者の間に介在させるようにしてもよく、携帯電話２１１と楽音発生装置２５０との間で移動通信網２００を介してデータ通信が行えるようなネットワークであればよい。
【００４８】
Ｂ−１．携帯電話
図５に示すように、第２実施形態に係る携帯電話２１１は、上記第１実施形態における携帯電話１１と同様に制御部１１０と、無線通信部１１２と、ユーザインターフェース部１１３と、動作検出センサ１１４と、これらを相互に接続するバス１１７とを備えているが、スピーカ１１５、音源回路１１６および効果回路１１９といった構成要素を備えていない点で第１実施形態における携帯電話１１と相違している。
【００４９】
すなわち、第２実施形態における携帯電話２１１は、ＭＩＤＩデータ等に基づいて楽音を発生する機能を有していない。携帯電話２１１は、自身が楽音を発生するのではなく、他の装置である楽音発生装置２５０がＭＩＤＩデータ等に基づいて楽音発生を行う際に、その楽音発生にユーザが参加するために用いられるのである。
【００５０】
上記のように楽音発生装置２５０の楽音発生にユーザを参加させるために、携帯電話２１１の制御部１１０のＲＯＭ１１０ｂに格納された制御プログラムにしたがって制御部１１０のＣＰＵ１１０ａは、以下のような処理を行う。
【００５１】
図６に示すように、上記第１実施形態と同様、動作検出センサ１１４のｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺから、各軸の加速度データが制御部１１０に供給される。制御部１１０は、供給された各軸の加速度データを解析する解析処理を行う（ステップＳ１）。ここで行われる解析処理は、上記第１実施形態と同様であるため、その説明を省略する（図２参照）。
【００５２】
上記のように動作検出センサ１１４から供給される加速度データからユーザが携帯電話１１に対して行った動作を解析すると、制御部１１０はこの解析内容に基づいて、コントロール情報を生成する（ステップＳ２）。ここでのコントロール情報の生成処理も上記第１実施形態と同様であるため、その説明を省略する（図２参照）。
【００５３】
第２実施形態における携帯電話２１１では、制御部１１０によって生成されたコントロール情報が無線通信部１１２に供給される。無線通信部１１２は、制御部１１０によって生成されたコントロール情報、すなわちユーザが携帯電話２１１に対して行った動作の検出結果に応じたコントロール情報（検出結果情報）を、移動通信網２００を介して楽音発生装置２５０に送信する。このようにして携帯電話２１１から移動通信網２００を介して送信されたコントロール情報が、楽音発生装置２５０における楽音発生制御に用いられる。
【００５４】
Ｂ−２．楽音発生装置
次に、図７を参照しながら楽音発生装置２５０について説明する。同図に示すように、楽音発生装置２５０は、ＣＰＵ２６１と、ＲＯＭ２６２と、ＲＡＭ２６３と、通信インターフェース（Ｉ／Ｆ）２６４と、ユーザインターフェース（Ｉ／Ｆ）２６５と、効果回路２６６と、音源回路２６７と、サウンドスピーカシステム２６８と、外部記憶装置２６９とを備えている。
【００５５】
ＣＰＵ２６１は、各種演算処理を行うとともに各部を制御する。ＲＡＭ２６３は、ＣＰＵ２６１のワークメモリとして使用される、ＲＯＭ２６２は、ＣＰＵ２６１に読み出されて実行される制御プログラムを格納している。ＣＰＵ２６１は、ＲＯＭ２６２に格納された制御プログラムを実行することにより、後述するユーザの携帯電話２１１に対する動作を反映した楽音発生処理（図８参照）を行うように構成されている。
【００５６】
外部記憶装置２６９は、ハードディスクドライブやＣＤ−ＲＯＭ（Compact Disc Read Only Memory）ドライブ等であり、楽音データ等を格納した記録媒体から楽音データを読み出したり、記録媒体に楽音データ等を格納したりすることができる。ここで外部記憶装置２６９に格納される楽音データは、楽曲等を演奏再生するためのＭＩＤＩデータや、波の音および打楽器音といった単発音等を発生するための楽音データである。なお、外部記憶装置２６９に上記の制御プログラムを格納するようにしてもよい。
【００５７】
ユーザインターフェース２６５は、各種情報を表示する表示部、ユーザが入力操作を行うボタン群等を備えている。通信インターフェース２６４は、モデムやルータ等であり、ネットワークを介して他の機器との間でデータの授受を行う。本実施形態では、移動通信網２００を介して携帯電話２１１から送信されるコントロール情報を受信して装置内に取り込み、ＣＰＵ２６１に供給する。ＣＰＵ２６１は、通信インターフェース２６４から供給されたコントロール情報を音源回路２６７および効果回路２６６に供給する。
【００５８】
音源回路２６７は、外部記憶装置２６９に格納されている楽音データに基づいて楽音信号を生成する。このように楽音データにしたがって楽音信号を生成する際に、音源回路２６７は、ＣＰＵ２６１から供給されるコントロール情報に応じて楽音信号を生成する。例えば、コントロール情報として音量やテンポを指定する情報が供給された場合には、楽音データ（例えばＭＩＤＩデータ）にしたがった音高や音色の楽音を、上記第１実施形態と同様にコントロール情報にしたがった音量やテンポで発生させるような楽音信号を生成する。このように音源回路２６７は、外部記憶装置２６９に格納された楽音データと、携帯電話２１１から移動通信網２００を介して供給されるユーザの動作を反映したコントロール情報との両者に基づいて楽音信号を生成する。
【００５９】
効果回路２６６は、ＤＳＰ等で構成され、音源回路２６７によって生成された楽音信号にエコー付与等の効果付与を行い、効果付与後（付与しなくてもよい）の楽音信号をサウンドスピーカシステム２６８に出力する。ここで、ＣＰＵ２６１から効果付与に関するコントロール情報が供給された場合には効果回路２６６は、上記第１実施形態と同様、そのコントロール情報にしたがった効果付与を行う。サウンドスピーカシステム２６８は、このように効果回路２６６から供給される楽音信号に応じて演奏楽音を放音する。
【００６０】
Ｂ−３．楽音発生時の処理
以上のように、携帯電話２１１および楽音発生装置２５０を有するネットワークシステムでは、ユーザが携帯電話２１１を動かす等することにより、携帯電話２１１と離れた位置（近くにあってもよい）にある楽音発生装置２５０の楽音発生にその動きを反映させることができる。このように携帯電話２１１を用いて楽音発生装置２５０の発生する楽音を制御する際の、携帯電話２１１および楽音発生装置２５０において実行される処理について図８に示すシーケンスフローチャートを参照しながら説明する。
【００６１】
同図に示すように、携帯電話２１１を用いて離れた位置にある楽音発生装置２５０によって楽音発生を行う場合には、ユーザは楽音発生装置２５０にアクセスするために携帯電話２１１を適宜操作し、これにより携帯電話２１１が楽音発生装置２５０にアクセスするための電話番号に発呼する（ステップＳａ１）。携帯電話２１１からの呼があると、楽音発生装置２５０はその呼に応答し、両者間の移動通信網２００を介した回線が確立する。このように回線が確立すると、楽音発生装置２５０は演奏開始を行うための応答ガイダンス等を再生する（ステップＳａ２）。このような応答ガイダンスとしては、演奏する楽曲選択をテンキー操作により促す内容や、演奏開始を指示するテンキー操作を促す内容を含んだものを再生する。
【００６２】
上記のような楽音発生装置２５０によって再生される音声ガイダンスに応答し、ユーザがある楽曲の演奏を指示するテンキー操作を行うと、携帯電話２１１は該操作に応じたトーン信号を移動通信網２００を介して楽音発生装置２５０に送信する（ステップＳａ３）。このようなトーン信号による演奏開始の指示を受けた楽音発生装置２５０は、そのトーン信号によって示される楽曲の演奏処理を開始するとともに（ステップＳａ４）、携帯電話２１１から供給されるコントロール情報を待ち受ける。より具体的には、楽音発生装置２５０は、トーン信号によって示される楽曲の楽音データを外部記憶装置２６９から読み出し、読み出した楽音データに基づいて楽音信号を生成する処理を行う。
【００６３】
楽音発生装置２５０によって演奏が開始されると、その演奏に自身の動きを反映させるためにユーザは携帯電話２１１を適宜動かす。これにより携帯電話２１１では、ユーザの動きに応じたコントロール情報が生成され、このコントロール情報が移動通信網２００を介して楽音発生装置２５０に送信される（ステップＳａ５）。楽音発生装置２５０は、楽音発生処理を行っている間に、携帯電話２１１から供給されるコントロール情報を受信すると、読み出した楽音データだけではなく、コントロール情報にしたがって楽音信号を生成し、これをサウンドスピーカシステム２６８から放音する（ステップＳａ６）。これにより離れた位置にある携帯電話２１１を用いて楽音発生装置２５０の発生する楽音を制御することができるのである。
【００６４】
そして、楽音データに基づく楽音発生処理が終了すると、楽音発生装置２５０は、楽音データに基づく楽音発生処理が終了した旨を音声ガイダンス等で通知し（ステップＳａ７）、ユーザがオンフックボタン等を押下することにより携帯電話２１１と楽音発生装置２５０との移動通信網２００を介した回線を切断する（ステップＳａ８）。このようにして、楽音発生装置２５０による楽曲の演奏に、離れた位置にある携帯電話２１１を所持するユーザの動きを反映させた楽音発生処理が終了する。
【００６５】
以上説明したように第２実施形態に係る携帯電話２１１では、電話やデータ通信などの移動通信網のサービスを受けることが可能な携帯電話１１をユーザが動かす等することにより、離れた位置（近くにあってもよい）にある楽音発生装置２５０による楽曲等の演奏再生にユーザの動作を反映させることができる。このように楽音発生する楽音発生装置２５０と離れた位置にいても、ユーザにその楽音発生に積極的に参加させるといった新たな楽しみ方を、移動電話等の機能を有する携帯電話２１１を利用してユーザに提供することができる。
【００６６】
なお、楽音発生装置２５０が同時に複数の携帯電話２１１と通信できる機能を持たせ、複数の携帯電話２１１から送信されるコントロール情報に応じて発生楽音を制御させるようにしてもよい。また、楽音発生装置２５０の外部記憶装置２６９に格納されている楽音データが複数パートからなる楽曲データである場合には、各々のパートに異なる携帯電話２１１を割り当てて、各パートの楽音発生制御の際に割り当てられた携帯電話２１１から送信されるコントロール情報を反映させるようにしてもよい。
【００６７】
また、上述した第２実施形態では、携帯電話２１１がユーザの動作に応じた検出結果（動作検出センサ１１４が三次元加速度センサの場合には信号αｘ、αｙ、αｚ）コントロール情報を生成し、生成したコントロール情報を移動通信網２００を介して楽音発生装置２５０に送信するようにしていたが、携帯電話２１１ではコントロール情報を生成せずに、動作検出センサ１１４の検出結果である信号αｘ、αｙ、αｚを表す検出結果データを移動通信網２００を介して楽音発生装置２５０に送信するようにしてもよい。そして、この加速度αｘ、αｙ、αｚを表す検出結果データを受信した楽音発生装置２５０において、当該受信した検出結果データに基づいてコントロール情報を生成し、楽音発生制御に用いるようにしてもよい。
【００６８】
Ｃ．第３実施形態
次に、本発明の第３実施形態に係る楽音発生システムについて説明する。第３実施形態に係る楽音発生システムは、上記第２実施形態に係る携帯電話を用いて離れた位置にある楽音発生装置の楽音発生制御を行う技術を利用し、多数の聴取者が集まるコンサート会場等で聴取者参加型の新しいエンターテイメントを提供するためのシステムであり、その概略構成を図９に示す。
【００６９】
同図に示すように、コンサート会場における聴取者参加型のエンターテイメントを提供するための楽音発生システムは、コンサート会場にいる多数の聴取者が所持する携帯電話３１１と、移動通信網２００と、コンサート会場内に設置された楽音発生装置３５０と、演奏者が所持する電子楽器２７０と、歌唱者が所持するマイクロホン２８０とを備えている。
【００７０】
図１０に示すように、携帯電話３１１は、上述した第２実施形態における携帯電話２１１（図５参照）と同様の制御部１１０、無線通信部１１２ユーザインターフェース部１１３、動作検出センサ１１４に加え、ＬＥＤ（Light Emitting Diode）等の発光体を有する発光部（報知手段）３５１を備えている。
【００７１】
携帯電話３１１は、上記第２実施形態における携帯電話２１１と同様、ユーザである聴取者の動きに応じたコントロール情報を生成し、生成したコントロール情報を移動通信網２００を介して楽音発生装置３５０に送信する機能を有している。さらに、携帯電話３１１においては、無線通信部１１２が楽音発生装置３５０から移動通信網２００を介して供給される発光指示データを受信し、制御部１１０が受信した発光指示データにしたがって発光部３５１を駆動する。
【００７２】
図１１に示すように、楽音発生装置３５０は、上述した第２実施形態における楽音発生装置２５０（図７参照）と同様のＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６３、通信インターフェース２６４、ユーザインターフェース２６５、効果回路２６６、音源回路２６７、サウンドスピーカシステム２６８および外部記憶装置２６９に加え、楽音データ入力インターフェース（Ｉ／Ｆ）３６０を備えている。
【００７３】
この楽音発生システムでは、演奏者が楽曲を演奏することにより電子楽器２７０によって生成される楽音データ（第２の楽音情報）、および歌唱者が歌唱音を入力したマイクロホン２８０によって生成される歌唱音データ（第２の楽音情報）を有線もしくは無線通信手段等を介して楽音発生装置３５０に送信されるようになっており、楽音データ入力インターフェース（楽音情報取得手段）３６０はこれらの楽音データを当該装置内に取り込むインターフェースである。
【００７４】
楽音発生装置３５０は、上述した第２実施形態における楽音発生装置２５０と異なり、外部記憶装置２６９に格納された楽曲データではなく、電子楽器２７０やマイクロホン２８０から供給される楽音データに基づいて楽音発生を行う。すなわち、楽音発生装置３５０は、コンサート会場において、演奏者によって演奏された楽曲の演奏音と、歌唱者によって歌唱された音声とをサウンドスピーカシステム２６８から放音するのである。なお、外部記憶装置２６９に楽音データ（第２の楽音情報）を格納しておき、この楽音データに基づいて楽音発生を行うようにしてもよい。
【００７５】
楽音発生装置３５０は、上記のような演奏者の演奏および歌唱者の歌唱に応じた楽音発生処理を行う際に、多数の聴取者の所持する携帯電話３１１から送信されるコントロール情報を反映させる。ここで、楽音発生装置３５０は、当該楽音発生装置３５０にアクセスするための回線を多数用意しておき、多数の携帯電話３１１との間で同時にデータ通信を行えるようになっている。
【００７６】
また、楽音発生装置３５０の外部記憶装置２６９には、当該コンサートにおいて演奏が予定されている楽曲を識別する情報と、発光指示データとが対応付けられたテーブルが格納されている。ここで、発光指示データは、対応する楽曲の楽音発生時に当該楽音発生装置３５０に移動通信網２００を介して接続している携帯電話３１１に送信するデータである。この発光指示データは、携帯電話３１１に搭載されている発光部３５１の発光タイミングや発光の仕方（発光体が複数ある場合には、どれを発光させるか等）を制御するためのデータである。
【００７７】
演奏者および歌唱者によってある楽曲の演奏が開始される場合には、コンサートのスタッフ等によってその旨がユーザインターフェース２６５を介して楽音発生装置３５０に入力されるようになっている。楽音発生装置３５０のＣＰＵ２６１は、ある楽曲の演奏開始が入力されると、その楽曲に対応する発光指示データを外部記憶装置２６９から読み出し、読み出した発光指示データを当該楽音発生装置３５０に接続している携帯電話３１１に対して送信する制御処理を実行し、これにより通信インターフェース２６４から移動通信網２００を介して回線接続中の携帯電話３１１に発光指示データが送信される。
【００７８】
次に、演奏者の演奏や歌唱者の歌唱に応じた楽曲演奏に聴取者が参加する際の、上記構成の楽音発生システムの動作について説明する。コンサート会場において、演奏者によってある楽曲の演奏および歌唱者による歌唱が始まると、電子楽器２７０やマイクロホン２８０から楽音発生装置３５０に楽音データが供給され、楽音発生装置３５０はこれらの楽音データに基づいて楽音信号を生成し、サウンドスピーカシステム２６８から楽音を放音し、これにより楽曲演奏が開始される。
【００７９】
このような演奏者の演奏や歌唱者の歌唱に応じた楽曲演奏が開始された後、多数の聴取者の携帯電話３１１からコントロール情報が楽音発生装置３５０に送信されると、楽音発生装置３５０は受信したコントロール情報に応じて演奏者の演奏や歌唱者の歌唱に応じた楽音発生を制御する。
【００８０】
より具体的には、各聴取者は携帯電話３１１を適宜操作し、楽音発生装置３５０にアクセスするための電話番号に発呼する。当該発呼に楽音発生装置３５０が応答して移動通信網２００を介した両者間の回線接続が確立すると、携帯電話３１１からはユーザの動作に応じたコントロール情報（検出結果情報）が楽音発生装置３５０に送信される一方で、楽音発生装置３５０からは演奏中の楽曲に対応した発光指示データが携帯電話３１１に送信される。楽音発生装置３５０から送信される発光指示データを受信した携帯電話３１１は、受信した発光指示データに応じて発光部３５１を駆動する。本実施形態では、聴取者の動作に応じて楽音発生装置３５０による楽音発生が制御されることになる。したがって、発光指示データは、演奏する楽曲に応じて聴取者がどのような動作をすべきかといった模範動作を聴取者に報知するような内容となっている。具体的に例示すると、携帯電話３１１を大きく振る動作を行って欲しいタイミングで発光部３５１を発光させるデータ等である。また、発光部３５１が複数の発光体を有する場合には、どの発光体を発光させるかによって模範動作を聴取者に報知することができる。例えば、２つの発光体を有し、一方のみが発光した場合には左右方向に振る動作を行うべきことを報知し、両者が発光した場合には上下方向に振る動作を行うべきことを報知するといったルールが決められている場合には、左右方向に振る動作を行わせるべきタイミングで発光部３５１が駆動されるような発光指示データを用いればよい。
【００８１】
以上のような発光指示データに基づいた発光部３５１の発光によって、各聴取者はどのような動作をどのようなタイミングで行えばよいかを知ることができ、その報知内容に応じた動作を行えばよい。そして、上記のような報知内容に応じて聴取者が携帯電話３１１を動かす等することにより、携帯電話３１１によってコントロール情報が生成され、これが楽音発生装置３５０に供給されるのである。
【００８２】
例えば、楽音発生装置３５０に携帯電話３１１から送信されたコントロール情報が歌唱音に対する残響効果を高めることを指示するものであれば、歌唱音信号に対する残響効果が高くなるような信号処理を施し、該処理後の歌唱音信号をサウンドスピーカシステム２６８から放音する。また、携帯電話３１１から送信されたコントロール情報が拍手音や掛け声等の単発の音を挿入することを指示するものであれば、演奏者の演奏や歌唱者の歌唱に応じた楽音信号に上記のような単発音を発生するための楽音信号を加算してサウンドスピーカシステム２６８に出力する。これにより、多数の聴取者の携帯電話３１１から供給されるコントロール情報、すなわち多数の聴取者が携帯電話３１１に対して行った動作に応じた楽音発生制御がなされるのである。
【００８３】
また、上述したように多数の聴取者の携帯電話３１１から送信されるコントロール情報に応じて楽音発生装置３５０が楽音発生を行う場合には、他種類のコントロール情報が同時に送信されることが考えられる。したがって、楽音発生装置３５０では、ある一定期間内に受信した多数のコントロール情報の中から処理可能な数のコントロール情報をランダムに抽出し、抽出したコントロール情報を用いて楽音発生を制御している。
【００８４】
なお、このように抽出したコントロール情報を利用する態様に限らず、例えば一定期間（例えば３秒間）毎に受信した多数のコントロール情報の中で、その指示内容が同一であるコントロール情報が最も多く受信されたコントロール情報を利用して楽音発生制御を行うようにしてもよい。例えば、ある一定期間内において、歌唱音に付与する残響効果を高めることを指示するコントロール情報が最も多く受信された場合、その一定期間経過後、次の一定期間が経過するまでの間そのコントロール情報にしたがって歌唱音に付与する残響効果を高める処理を行うといった具合である。同一内容のコントロール情報を携帯電話３１１で生成するには、各携帯電話３１１を所持する聴取者がほぼ同じ動作を行ったということであり、上記のように最も多く受信されたコントロール情報を用いることにより、最も多くの聴取者の動きを反映した楽音発生制御を行うことができるのである。
【００８５】
また、演奏者の演奏パート、例えばギター、ベース等や歌唱音といった各パート毎の楽音発生を、聴取者の携帯電話３１１から送信されるコントロール情報を用いて制御するようにしてもよい。具体的には、予め、ギター、ベース、歌唱といった各パート毎に、各々異なる楽音発生装置３５０にアクセスするための電話番号を割り当てておき、各々の電話番号を用いて楽音発生装置３５０に回線接続している携帯電話３１１から送信されるコントロール情報を各パートの楽音発生制御に用いる。例えば、楽音発生装置３５０がギターのパートの楽音信号を生成する際に、ギターパートに割り当てられた電話番号を用いて当該楽音発生装置３５０と接続している携帯電話３１１から送信されるコントロール情報を用いる。また、歌唱音の楽音信号を生成する際には、歌唱パートが割り当てられた電話番号を用いて当該楽音発生装置３５０と接続している携帯電話３１１から送信されるコントロール情報を用いるといった具合である。
【００８６】
なお、上記第３実施形態では、各聴取者の所持する携帯電話３１１が発光部３５１を有し、この発光部３５１を発光させるための発光指示データを楽音発生装置３５０が送信することにより、ある楽曲演奏に対応する模範動作を各聴取者に報知するようにしていたが、これ以外の方法で各聴取者に報知するようにしてもよい。例えば、携帯電話３１１の液晶表示部を発光させたり、液晶表示部の模範動作の内容を表示させたりすることにより、各聴取者に模範動作を報知するようにしてもよい。この場合、楽音発生装置３５０から各々報知すべき内容に応じて発光や表示がなされるように液晶表示部を駆動するためのデータを送信すればよい。
【００８７】
また、上記第３実施形態においては、楽音発生装置３５０から送信される発光指示データに基づいて携帯電話３１１の発光部３５１を発光させるようにしていたが、携帯電話３１１の制御部１１０が動作検出センサ１１４の検出結果に応じて発光部３５１を発光駆動するようにしてもよい。例えば、動作検出センサ１１４によって所定以上の大きな動作（例えば、検出された加速度が所定値以上）を検出した場合に発光させるといった制御を携帯電話３１１の制御部１１０が行うようにしてもよい。
【００８８】
Ｄ．第４実施形態
次に、図１２は、本発明の第４実施形態に係る楽音データ提供方法を利用した楽音データ提供サービスを実施するためのネットワークシステムの概略構成を示す。同図に示すように、このネットワークシステムは、携帯電話４１１と、携帯電話４１１に無線通信サービスを提供する移動通信網４００と、移動通信網４００に接続される楽音データ提供サーバ（楽音生成装置）４５０とを備えている。なお、図示では、移動通信網４００と楽音データ提供サーバ４５０とが直接接続されているが、固定電話網やインターネット等の通信網を両者の間に介在させるようにしてもよい。
【００８９】
楽音データ提供サーバ４５０は、パーソナルコンピュータやワークステーションといったコンピュータシステムであり、内蔵するハードディスク等の記憶手段に格納された制御プログラムをＣＰＵが実行することにより、携帯電話４１１から移動通信網４００を介して楽音データの配信要求を受けた場合に、該要求に応じて楽音データを携帯電話４１１に提供する楽音データ送信処理を行うように構成されている。
【００９０】
図１２に示すように、楽音データ提供サーバ４５０は、通信インターフェース（Ｉ／Ｆ）４６０と、楽音データ生成部４６１と、楽音データ蓄積部４６３とを備えている。
【００９１】
通信インターフェース４６０は、当該楽音データ提供サーバ４５０と外部機器との間でデータの授受を行い、携帯電話４１１との間で移動通信網４００を介して各種データの授受を行う。携帯電話４１１の所持者が楽音データの配信要求を行う場合、予め設定されている楽音データ提供サーバ４５０にアクセスするための電話番号に発呼することにより、楽音データ提供サーバ４５０と携帯電話４１１との間の回線が確立され、この回線を利用して後述する各種要求、検出結果データ、楽音データ等の授受が行われるようになっている。
【００９２】
ハードディスク等から構成される楽音データ蓄積部４６３は、多数の楽曲を演奏するための楽曲データ（ＭＩＤＩデータやＣＤ−ＤＡ（CD Digital Audio）形式のオーディオデータ等）、および打楽器音、波の音、風の音などの単発音を発生させるためのデータ等の楽音データを記憶している。
【００９３】
楽音データ生成部４６１は、通信インターフェース４６０を介して携帯電話４１１からの楽音データ配信要求を受けた場合に、要求に応じた楽音データを楽音データ蓄積部４６３から読み出し、読み出した楽音データと要求のあった携帯電話１１から供給される検出結果データとに基づいて楽音信号を生成し、該楽音信号を通信インターフェース４６０を介して携帯電話４１１に送信する。より具体的には、楽音データ生成部４６１は、携帯電話４１１から移動通信網４００を介して配信を希望する楽曲を識別するための情報を含む配信要求を受けると、配信を希望する楽曲の楽音データを楽音データ蓄積部４６３から読み出す。そして、読み出した楽曲の楽音データに基づいて楽音信号を生成し、該楽音信号を所定の形式（例えばＭＰ３形式）で圧縮等した楽音信号を通信インターフェース４６０を介して携帯電話４１１に送信する。楽音データ生成部４６１は、このように要求された楽曲を演奏するための楽音信号を、配信要求のあった携帯電話４１１に送信するとともに、この間に携帯電話４１１から送信された検出結果データから楽音信号生成を制御するためのコントロール情報を生成し、該コントロール情報を用いて楽音データ蓄積部４６３から読み出した楽音データから楽音信号を生成する。ここで、生成されるコントロール情報は、上述した各実施形態と同様、後述する携帯電話４１１の動作検出センサ１１４によって検出された携帯電話４１１のユーザの動作を反映したものであり、音量、テンポ、単発音の挿入、残響効果付与等の各種楽音信号生成処理を制御するためのコントロール情報である。
【００９４】
以上のように楽音データ生成部４６１は、楽音データ蓄積部４６３から楽音データを読み出し、読み出した楽音データと、携帯電話４１１から供給される検出結果データに応じて生成したコントロール情報とに基づいて楽音信号を生成する。そして、生成した楽音信号を通信インターフェース４６０を介して携帯電話４１１宛に送信するのである。
【００９５】
次に、上記のような楽音データの配信要求を行う携帯電話４１１について図１３を参照しながら説明する。同図に示すように、携帯電話４１１は、上記第１実施形態における携帯電話１１と同様の制御部１１０、無線通信部１１２、ユーザインターフェース部１１３、動作検出センサ１１４およびスピーカ１１５に加え、楽音データ再生部４５１を備えている。
【００９６】
楽音データ再生部４５１は、ＭＰ３形式等の圧縮された楽音信号を復号し、スピーカ１１５に出力する。ここで、楽音データ再生部４５１は、予めＥＥＰＲＯＭ１１０ｄに格納されているＭＰ３形式等の楽音信号を復号して楽曲演奏等を行うこともできるが、本実施形態における携帯電話４１１では、上記のように楽音データ提供サーバ４５０から送信される圧縮楽音信号を復号して楽音信号を生成することができる。
【００９７】
上述したように携帯電話４１１は、楽音データ提供サーバ４５０から送信される楽音信号を受信し再生して楽曲演奏を行うことができるが、この楽音データ提供サーバ４５０から送信される楽音信号に基づく楽曲演奏に携帯電話４１１のユーザの動きを反映させることができるようになっている。このように楽曲演奏にユーザを参加させるために、楽音データ提供サーバ４５０と回線が接続され、楽音データ提供サーバ４５０からの楽音データの配信を受けている間、携帯電話４１１の制御部１１０は、ＲＯＭ１１０ｂに格納された制御プログラムにしたがって以下のような処理を行う。まず、制御部１１０は、上記第１実施形態と同様、動作検出センサ１１４のｘ軸検出部ＳＸ、ｙ軸検出部ＳＹおよびｚ軸検出部ＳＺから、各軸の加速度データを周期的に取り込み、該取り込んだ動作検出センサ１１４の検出結果を表すデータを楽音データ提供サーバ４５０との間のデータ通信に適合した所定のフォーマットに変換して無線通信部１１２に出力する。これにより動作検出センサ１１４によって検出されたユーザの携帯電話４１１に対する動作に応じた検出結果データが携帯電話４１１から移動通信網４００を介して楽音データ提供サーバ４５０に送信される。
【００９８】
次に、携帯電話４１１が楽音データ提供サーバ４５０に自身の動作を反映した楽音データの配信要求を行う際の、上記構成のネットワークシステムの動作について説明する。
【００９９】
まず、ユーザは楽音データ提供サーバ４５０にアクセスするために携帯電話４１１のテンキー等を適宜操作し、これにより携帯電話４１１が楽音データ提供サーバ４５０にアクセスするための電話番号に発呼する。携帯電話４１１からの呼があると、楽音データ提供サーバ４５０はその呼に応答し、両者間の移動通信網４００を介した回線が確立する。このように回線が確立すると、楽音データ提供サーバ４５０は演奏開始を行うための応答ガイダンス等を再生する。このような応答ガイダンスとしては、演奏する楽曲選択をテンキー操作により促す内容や、演奏開始を指示するテンキー操作を促す内容を含んだものを再生する。また、ユーザのどのような動作がどのように演奏に反映させるかの説明等をガイダンスに含めるようにしてもよい。
【０１００】
上記のような楽音データ提供サーバ４５０によって再生される音声ガイダンスに応答し、ユーザがある楽曲の演奏を指示するテンキー操作を行うと、携帯電話４１１は該操作に応じたトーン信号を移動通信網４００を介して楽音データ提供サーバ４５０に送信する。このようなトーン信号による演奏開始の指示を受けた楽音データ提供サーバ４５０は、そのトーン信号によって示される楽曲の楽音データを楽音データ蓄積部４６３から読み出し、該楽音データに基づく楽音信号の生成処理を開始し、生成した楽音信号を移動通信網４００を介して携帯電話４１１に送信する。また、このように楽音信号の送信処理を開始する一方で、携帯電話４１１から送信されるコントロール情報を待ち受ける。
【０１０１】
このような楽音データ提供サーバ４５０から携帯電話４１１への楽音信号の送信が開始された後、携帯電話４１１からコントロール情報が楽音データ提供サーバ４５０に送信されると、楽音データ提供サーバ４５０は受信したコントロール情報に応じて読み出した楽音データに基づく楽音信号を制御する。すなわち、携帯電話４１１からはユーザの動作に応じたコントロール情報が楽音データ提供サーバ４５０に送信される一方で、楽音データ提供サーバ４５０からは当該コントロール情報に応じた楽音信号が携帯電話４１１に送信される。例えば、楽音データ提供サーバ４５０に携帯電話４１１から送信されたコントロール情報が残響効果を高めることを指示するものであれば、読み出した楽音データに基づく楽音信号の生成の際に楽音信号に対する残響効果が高くなるような信号処理を施し、該処理後の楽音信号を携帯電話４１１に送信する。このように楽音データ提供サーバ４５０から送信された楽音信号が携帯電話４１１の楽音データ再生部４５１によって再生され、携帯電話４１１のスピーカ１１５から放音される。
【０１０２】
以上のように本実施形態では、携帯電話４１１のユーザは楽音データ提供サーバ４５０にアクセスし、所望の楽曲等を指定すると、自身の動作を反映した指定楽曲の演奏音がリアルタイムで自身の所持する携帯電話４１１のスピーカ１１５から放音されるのである。従来では、楽曲等を演奏再生する際には、所望の音量等を得るためにユーザは操作摘み等の操作子を適宜調整するといったことしかできなかったが、本実施形態によれば、単なる楽曲を忠実に演奏再生する機能をユーザに提供するのではなく、ユーザが楽曲等の演奏再生に積極的に参加できるようになり、新たな音楽の楽しみ方を提供することができる。
【０１０３】
また、本実施形態では、上記のような楽音発生に積極的に参加させるといった新たな楽しみ方を、移動電話等の機能を有する携帯電話４１１を利用してユーザに提供することができ、楽音発生のための専用の装置等を用意することなく、外出先等でも手軽に楽しむことができる。
【０１０４】
また、自身の動作を反映した楽音信号の制御等は、携帯電話４１１ではなく、楽音データ提供サーバ４５０で行われ、携帯電話４１１は送信された楽音信号を再生するだけで自身の動作を反映した楽音を発生させることができる。したがって、携帯電話４１１にユーザの動作を解析してコントロール情報を生成するといった処理を行うための構成要素が不要であり、携帯電話４１１の構成を簡略化できる。
【０１０５】
Ｅ．変形例
なお、本発明は、上述した各実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１０６】
（変形例１）
上述した第２実施形態では、携帯電話２１１がユーザの動作に応じたコントロール情報を生成し、該コントロール情報を移動通信網２００を介して楽音発生装置２５０に送信することにより、楽音発生装置２５０による楽音発生を制御するようにしていたが、携帯電話２１１において生成したユーザの動作に応じた情報を楽音発生制御以外に用いるようにしてもよい。例えば、図１４に示すように、高齢者やリハビリテーションの実行者等の健康状態を遠隔管理するネットワークシステムに携帯電話２１１’を用いるようにしてもよい。
【０１０７】
同図に示すように、このネットワークシステムは、管理される者である管理対象者が所持する携帯電話２１１’と、携帯電話２１１’に無線通信サービスを提供する移動通信網２００と、移動通信網２００に接続される健康管理サーバ５５０とを備えている。なお、図示では、移動通信網２００と健康管理サーバ５５０とが直接接続されているが、固定電話網やインターネット等の通信網を両者の間に介在させるようにしてもよい。
【０１０８】
この例における携帯電話２１１’は、第２実施形態における携帯電話２１１と同様に動作検出センサ１１４を備えており、携帯電話２１１’を所持する管理対象者の動作を検出する点では一致しているが、上記携帯電話２１１のように楽音発生を制御するためのコントロール情報を生成する処理は行われない。すなわち、携帯電話２１１’では、動作検出センサ１１４が検出した結果（３次元加速度センサである場合には、信号αｘ、αｙ、αｚ）を表す情報を、健康管理サーバ５５０との間のデータ通信に適合したフォーマットの検出結果データに変換し、変換した検出結果データを移動通信網２００を介して健康管理サーバ５５０に送信している。ここで、携帯電話２１１’から健康管理サーバ５５０に検出結果データを送信する場合、移動通信網２００を利用することになる。したがって、常時携帯電話２１１’と健康管理サーバ５５０との間の回線を確保して検出結果データを送信するようにしてもよいが、通信料金等の高騰を抑制するために、一定の時間間隔で健康管理サーバ５５０に接続して検出結果データを送信するようにしてもよい。この場合、携帯電話２１１’において一定時間の間検出結果データを一時的に記憶しておき、送信時間になると、記憶している一定の時間内の検出結果データをまとめて送信する。なお、上記のように一定の時間間隔毎に検出結果データを健康管理サーバ５５０に送信する場合には、一定時間の間に管理対象者に異常事態等が発生した時に、健康管理サーバ５５０側でその異常を検知するのが遅れてしまうこともある、したがって、携帯電話２１１’に、検出データが異常なものであるか否か（三次元加速度センサの場合には、通常の運動状態では考えられない非常に大きい加速度が検出された場合など）を判断する機能を持たせ、異常であると判断した場合には、その時点で検出結果データを送信するようにしてもよい。
【０１０９】
健康管理サーバ５５０は、パーソナルコンピュータ等で構成され、内蔵される記憶装置に格納された制御プログラムをＣＰＵが実行することにより、以下に説明するような健康管理処理を実施するように構成されている。
【０１１０】
健康管理サーバ５５０は、携帯電話２１１'から移動通信網２００を介して送信される検出結果データを各々の管理対象者毎にデータベース等に格納し、管理対象者毎に運動状態を管理する。そして、管理者の指示等に基づいて検出結果データを時系列で表示等することにより、管理者に対して管理対象者毎の運動状態を報知することができる。
【０１１１】
以上のように本システムでは、各管理対象者が自身の所持する携帯電話２１１’に対して行った運動の結果をデータベースに蓄積し、管理者が当該データベースの記憶内容を参照等することにより、その管理対象者の運動状態を知ることができる。また、予め管理者と管理対象者との間でどの時間にどの程度の運動を行う等を決めておき、決められた時間に管理対象者が決められた量の運動を行っているか否かを遠隔地にある健康管理サーバ５５０の表示部等を参照することにより管理者がチェックするといった運動状況の遠隔管理に用いることができる。ここで、決められた時間に決められた運動が行われていない場合等には、管理者が運動をしていない管理対象者の携帯電話２１１’に発呼してその旨の注意を促すこともできる。
【０１１２】
（変形例２）
また、上述した各実施形態では、動作検出センサ１１４を搭載した携帯電話を用いて楽音発生制御等を行うようにしていたが、動作検出センサ１１４を搭載しない携帯電話において、マイクロホンから入力される音声に基づいて楽音発生制御を行うようにしてもよい。
【０１１３】
ここで、図１５に上記第１実施形態における携帯電話１１の動作検出センサ１１４に代えて、ユーザインターフェース部１１３に含まれる通話等に用いることが可能なマイクロホンからの入力音声に基づいてスピーカ１１５から発生させる楽音を制御する際の携帯電話の制御処理内容を示す。同図に示すように、この携帯電話では、ユーザが発した音声がユーザインターフェース部１１３のマイクロホン１１３ａから入力され、マイクロホン１１３ａから音声信号が制御部１１０に出力される。制御部１１０では、まずマイクロホン１１３ａから供給された音声信号を解析する処理を行う。ここでの解析処理は、一般的な音声認識処理でユーザの発した音声の意味内容を解析するものであってもよいが、本例では、入力音声のピッチ、フォルマント（音韻解析）、音量、発声タイミング、発声停止タイミング等を解析する（ステップＳ１００）。
【０１１４】
このように入力音声の解析を行うと、制御部１１０は当該解析結果に基づいてコントロール情報を生成する処理を行う。例えば、入力音声のピッチに応じて、生成する楽音信号のピッチを変動させることを指示するコントロール情報を生成したり、入力音声の音量に応じて生成する楽音信号の音量（増幅率）をコントロールするコントロール情報を生成したりする。また、フォルマント解析等により、発声した音韻（例えば、「ア」、「イ」等）を特定し、特定した音韻に基づいて生成する楽音信号の音高を指示するコントロール情報を生成するようにしてもよい。
【０１１５】
制御部１１０は、以上のようにして生成したコントロール情報を上記第１実施形態と同様（図２参照）、音源回路１１６および効果回路１１９に出力する。音源回路１１６は、上記第１実施形態と同様、ＥＥＰＲＯＭ１１０ｄに格納されている楽音データと、上記のコントロール情報とに基づいて楽音信号を生成し、該楽音信号を効果回路１１９に出力する。効果回路１１９は、音源回路１１６から供給される楽音信号に対し、制御部１１０から供給されるコントロール情報にしたがった効果付与を行い、スピーカ１１５に出力し、これによりユーザがマイクロホン１１３ａを介して入力した音声を反映した楽音がスピーカ１１５から発せられる。例えば、ある楽曲の歌唱部分をユーザが歌唱すると、その歌唱によってマイクロホン１１３ａから入力された音声の解析結果に基づいて上記ある楽曲の伴奏部分をスピーカ１１５から発音させるコントロール情報が生成されるようにしておくと、ユーザがある楽曲の歌唱部分を歌唱すると、自動的にその歌唱に合わせて楽曲の伴奏部分をスピーカ１１５から発音させるといったことも可能である。さらに、歌唱音にエコーを付与する処理の実行を指示するコントロール情報が生成されるようにすれば、上記のように自動的に伴奏部分が演奏発音されるだけではなく、自身の歌声もエコーが付与された歌唱音として発音されるようになる。
【０１１６】
（変形例３）
また、上述した各実施形態では、動作検出センサ１１４を搭載した携帯電話を用いて楽音発生制御を行うようにしていたが、動作検出センサ１１４を搭載していない携帯電話に、図１６に示すようなセンサユニットを装着し、上記各実施形態における携帯電話に代えて、当該センサユニット装着した携帯電話を用いるようにしてもよい。
【０１１７】
同図に示すように、センサユニット７００は、動作検出センサ１１４を搭載しない携帯電話７１１の装着部７１１ａにはめ込み等により装着されている。ここで、センサユニット７００と携帯電話７１１とは、容易に着脱できる装着構造となっており、通常の電話等を行う場合にはセンサユニット７００を携帯電話７１１から取り外して使用し、上述した各実施形態のように楽音発生制御する場合にはセンサユニット７００を装着した状態で携帯電話７１１を使用することができるようになっている。
【０１１８】
ここで、図１７にセンサユニット７００および携帯電話７１１の構成を示す。
同図に示すように、携帯電話７１１は、上記第１実施形態における携帯電話１１と同様の制御部１１０と、無線通信部１１２と、ユーザインターフェース部１１３と、音源回路１１６と、効果回路１１９と、これらを相互に接続するバス１１７と、音源回路１１６に接続されるスピーカ１１５とを備え、さらに動作検出センサ１１４に代えて接続インターフェース（Ｉ／Ｆ）７５０を備えている。
【０１１９】
接続インターフェース７５０は、装着部７１１ａに接続された他の電子機器との間でデータの授受を行うインターフェースであり、装着部７１１ａにセンサユニット７００が接続されると、センサユニット７００との間でデータの授受を行う。
【０１２０】
センサユニット７００は、接続インターフェース（Ｉ／Ｆ）７６２と、制御部７６０と、動作検出センサ７６１とを備えている。接続インターフェース７６２は、当該センサユニット７００が携帯電話７１１に装着された場合に、上述した接続インターフェース７５０との間でデータの授受を行う、つまり携帯電話７１１との間でデータの授受を行うインターフェースである。
【０１２１】
動作検出センサ７６１は、上記各実施形態の動作検出センサ１１４と同様、３次元加速度センサ、３次元速度センサ、２次元加速度センサ、２次元速度センサ、歪み検出器または傾斜センサ等の公知の種々の動作検出センサを用いることができ、ユーザが当該センサユニット７００が装着された携帯電話７１１に対して行った動作を検出する。
【０１２２】
制御部７６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＲＯＭに格納された制御プログラムをＣＰＵが実行することにより、動作検出センサ７６１の検出結果を携帯電話７１１に送信する検出結果送信処理を制御するように構成されている。より具体的には、制御部７６０は、動作検出センサ７６１の検出結果を取り込み、該検出結果を携帯電話７１１との間でデータ通信が行えるフォーマットに変換した検出結果データとして接続インターフェース７６２を介して携帯電話７１１に送信する。
【０１２３】
上記のようにセンサユニット７００から送信された検出結果データを接続インターフェース７５０を介して受け取った携帯電話７１１では、上記第１実施形態と同様、制御部１１０が受け取った検出結果データに応じたコントロール情報を生成し、該コントロール情報を用いて楽音発生制御を行う。これにより、センサユニット７００を装着した携帯電話７１１は、上記第１実施形態と同様にユーザの動作を反映した楽音発生を行うことができるのである。
【０１２４】
このように本変形例では、上記第１実施形態と同様、携帯電話７１１をユーザが楽音発生に積極的に参加させる手段として用いることができるとともに、携帯電話７１１を通常の機能である電話等で使用する場合には、センサユニット７００を取り外すことも可能である。すなわち、上記のような楽音発生制御に用いない場合には、センサユニット７００を取り外しておくことができ、これによりセンサユニット７００が通話作業等の妨げとなることを抑制することができる。
【０１２５】
なお、本変形例では、センサユニット７００を装着した携帯電話７１１が上記第１実施形態における携帯電話１１と同様の楽音発生制御を可能とする場合について説明したが、他の実施形態における携帯電話２１１、携帯電話３１１、携帯電話４１１等に代えて、動作検出センサ１１４を有しない携帯電話を使用し、これらの携帯電話にセンサユニット７００を装着することにより、上記各実施形態の携帯電話と同様の機能を持たせるようにしてもよい。
【０１２６】
また、当該変形例においては、携帯電話７１１に搭載された音源回路１１６、効果回路１１９およびスピーカ１１５を用いて楽音発生を行うようにしているが、センサユニット７００に、音源回路１１６、効果回路１１９およびスピーカ１１５と同様の構成を搭載し、センサユニット７００が楽音発生を行うようにしてもよい。このようにセンサユニット７００で楽音発生を行う場合には、センサユニット７００の制御部７６０が動作検出センサ７６１の検出結果に応じてコントロール情報を生成し、該コントロール情報と携帯電話７１１のＥＥＰＲＯＭ１１０ｄから読み出した楽音データとに基づいてセンサユニット７００側に搭載された音源回路１１６、効果回路１１９およびスピーカ１１５といった構成要素が楽音発生を行うようにすればよい。
【０１２７】
（変形例４）
また、上述した実施形態では、携帯電話を利用して楽音発生制御等を行うようになっていたが、移動通信網による通信サービスを受けることができる移動通信端末であればよく、ＰＨＳ（Personal Handy-phone System（商標））等であってもよい。
【０１２８】
（変形例５）
なお、上述したような各実施形態の携帯電話の制御部が実行する楽音発生のための制御処理や、第２実施形態および第３実施形態における楽音発生装置２５０および楽音発生装置３５０が行う楽音発生のための制御処理を、コンピュータに実現させるためのプログラムを記録したＣＤ−ＲＯＭやフロッピーディスク等の様々な記録媒体をユーザに提供するようにしてもよいし、インターネット等の伝送媒体を介してユーザに提供するようにしてもよい。
【０１２９】
【発明の効果】
以上説明したように、本発明によれば、ユーザが、より手軽に自身の動作内容を利用して楽音発生等に参加することができる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る携帯電話の構成を示すブロック図である。
【図２】 前記携帯電話によって行われる楽音発生処理を説明するための図である。
【図３】 前記携帯電話を用いたネットワークシステムの概略構成を示すブロック図である。
【図４】 本発明の第２実施形態に係る携帯電話が用いられるネットワークシステムの概略構成を示すブロック図である。
【図５】 第２実施形態に係る前記携帯電話の構成を示すブロック図である。
【図６】 第２実施形態に係る前記携帯電話によって行われる楽音発生のためのコントロール情報を送信する処理を説明するための図である。
【図７】 第２実施形態に係る前記携帯電話から送信されるコントロール情報に基づいて楽音を発生する楽音発生装置の構成を示すブロック図である。
【図８】 楽音発生処理を行う際の、第２実施形態に係る前記携帯電話および前記楽音発生装置の処理動作を示すシーケンスフローチャートである。
【図９】 本発明の第３実施形態に係る楽音発生システムの概略構成を示すブロック図である。
【図１０】 第３実施形態に係る前記楽音発生システムの構成要素である携帯電話の構成を示すブロック図である。
【図１１】 第３実施形態に係る前記楽音発生システムの構成要素である楽音発生装置の構成を示すブロック図である。
【図１２】 本発明の第４実施形態に係る楽音データ提供方法が適用されるネットワークシステムの概略構成を示すブロック図である。
【図１３】 第４実施形態の前記ネットワークシステムの構成要素である携帯電話の構成を示すブロック図である。
【図１４】 本発明の変形例に係る携帯電話を利用して健康管理を行うネットワークシステムの概略構成を示すブロック図である。
【図１５】 本発明の変形例に係る携帯電話による楽音発生処理を説明するための図である。
【図１６】 本発明の変形例に係る携帯電話、および携帯電話に装着するセンサユニットの外観を示す斜視図である。
【図１７】 前記センサユニットを装着した前記携帯電話の構成を示すブロック図である。
【符号の説明】
１１……携帯電話、１００……移動通信網、１１０……制御部、１１２……無線通信部、１１３……ユーザインターフェース部、１１３ａ……マイクロホン、１１４……動作検出センサ、１１５……スピーカ、１１６……音源回路、１１７……バス、１１９……効果回路、１５０……コンテンツサーバ、２００……移動通信網、２１１……携帯電話、２５０……楽音発生装置、２５０’……楽音発生装置、２６１……ＣＰＵ、２６２……ＲＯＭ、２６３……ＲＡＭ、２６４……通信インターフェース、２６５……ユーザインターフェース、２６６……効果回路、２６７……音源回路、２６８……サウンドスピーカシステム、２６９……外部記憶装置、２７０……電子楽器、２８０……マイクロホン、３１１……携帯電話、３５０……楽音発生装置、３５１……発光部、３６０……楽音データ入力インターフェース、４００……移動通信網、４１１……携帯電話、４５０……楽音データ提供サーバ、４５１……楽音データ再生部、４６０……通信インターフェース、４６１……楽音データ生成部、４６３……楽音データ蓄積部、５５０……健康管理サーバ、７００……センサユニット、７１１……携帯電話、７６１……動作検出センサ
Claims (11)
- 移動通信網による通信サービスを受ける移動通信端末であって、
前記移動通信端末に対するユーザの動作を検出する動作検出センサと、
予め再生制御内容が定義されている楽音データを記憶する記憶手段と、
前記動作検出センサによって検出される前記ユーザの動作に応じて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、
前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段と
を具備することを特徴とする移動通信端末。 - 前記動作検出センサは、前記移動通信端末がユーザによって動かされたときの当該移動通信端末について予め定められた各軸方向の各加速度を検出し、
前記制御情報生成手段は、前記動作検出センサによって検出された前記各加速度の値の大小関係又は各加速度の相対的な変化量に基づいて、前記ユーザが前記移動通信端末に対して行った前記動作の種別を判別し、当該動作の頻度又は大きさ又は当該動作の種別と組合わせてなされた他の動作の種別の少なくとも一つに応じて、判別した前記動作の種別に対応する前記再生制御内容を変更することを指示する前記楽音制御情報又は前記新たな再生制御内容を追加することを指示する前記楽音制御情報を生成することを特徴とする請求項１に記載の移動通信端末。 - 前記制御情報生成手段は、前記楽音を発生させる際の、音量、テンポ、アーティキュレーション、ピッチのうちの少なくとも一つについて制御する制御内容、若しくは、スラー効果、スタッカート効果、残響効果、エコー付与の効果のうちの少なくとも一つについて制御する制御内容、若しくは単発音を制御する制御内容であることを特徴とする請求項１又は２に記載の移動通信端末。
- 前記移動通信網に接続された楽音情報配信装置に対して楽音データの配信を要求する要求手段と、
前記楽音情報配信装置から前記移動通信網を介して配信される楽音データを受信する受信手段とをさらに具備し、
前記記憶手段は、前記受信手段によって受信された楽音データを記憶することを特徴とする請求項１から３のいずれか一項に記載の移動通信端末。 - 移動通信網による通信サービスを受ける移動通信端末であって、
音声を入力するマイクロホンと、
予め再生制御内容が定義されている楽音データを記憶する記憶手段と、
前記マイクロホンによって入力された音声に基づいて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、
前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段と
を具備することを特徴とする移動通信端末。 - 移動通信網による通信サービスを受ける移動通信端末と、前記移動通信網に接続される楽音情報生成装置とを備えた楽音生成システムであって、
前記移動通信端末は、
当該移動通信端末に内蔵され、もしくは一体に取り付けられ、当該移動通信端末に対するユーザの動作を検出する動作検出センサと、
前記動作検出センサによる検出結果に応じた検出結果情報を前記移動通信網を介して前記楽音情報生成装置に送信する検出結果送信手段と、
前記楽音情報生成装置は、
前記移動通信端末から送信された前記検出結果情報を受信する受信手段と、
予め再生制御内容が定義されている楽音データを記憶する記憶手段と、
前記受信手段によって受信された前記検出結果情報に基づいて、前記再生制御内容を変更することを指示する楽音制御情報又は新たな再生制御内容を追加することを指示する楽音制御情報を生成する制御情報生成手段と、
前記制御情報生成手段で生成された前記楽音制御情報と、前記記憶手段における前記楽音データに定義されている前記再生制御内容のうち前記楽音制御情報の再生制御内容に対応する部分を除く前記再生制御内容とに従って、前記楽音データの楽音信号を生成し、生成した楽音信号に基づく楽音を発生させる楽音発生手段と
を具備することを特徴とする楽音生成システム。 - 移動通信網による通信サービスを受ける移動通信端末と、前記移動通信網に接続される楽音情報生成装置とを備えた楽音生成システムであって、
前記移動通信端末は、
当該移動通信端末に内蔵され、もしくは一体に取り付けられ、当該移動通信端末に対するユーザの動作を検出する動作検出センサと、
前記動作検出センサによる検出結果に応じた検出結果情報を前記移動通信網を介して前記楽音情報生成装置に送信する検出結果送信手段と、
前記楽音情報生成装置から前記移動通信網を介して前記検出結果情報に応じた楽音情報を受信し、当該楽音情報に基づく楽音を発生させる楽音発生手段とを備え、
前記楽音情報生成装置は、
前記移動通信端末から送信された前記検出結果情報を受信する受信手段と、
楽音情報を記憶する記憶手段と、
前記受信手段によって受信された前記検出結果情報に基づいて、前記記憶手段に記憶されている前記楽音情報の楽音発生を制御する制御内容を表す楽音制御情報を生成する制御情報生成手段と、
前記制御情報生成手段によって生成された前記楽音制御情報に基づく前記制御内容に従って、前記記憶手段に記憶されている前記楽音情報を制御して楽音を生成する楽音発生手段と、
前記楽音発生手段によって生成された楽音を表す楽音情報を前記移動通信網を介して前記移動通信端末に送信する楽音情報送信手段とを具備することを特徴とする楽音生成システム。 - 移動通信網による通信サービスを受ける移動通信端末と、前記移動通信網に接続される楽音情報生成装置とを備えた楽音生成システムであって、
前記移動通信端末は、
当該移動通信端末に内蔵され、もしくは一体に取り付けられ、当該移動通信端末に対するユーザの動作を検出する動作検出センサと、
前記動作検出センサによって検出された前記ユーザの動作に応じて、楽音発生を制御する制御内容を表す楽音制御情報を生成する制御情報生成手段と、
前記制御情報生成手段によって生成された前記楽音制御情報を、前記移動通信網を介して前記楽音情報生成装置に送信する検出結果送信手段と、
前記楽音情報生成装置から前記ユーザに予め定められた動作を指示する指示情報を受信する指示受信手段と、
前記指示受信手段によって受信された前記指示情報に対応する前記動作内容を前記ユーザに報知する報知手段とを備え、
前記楽音情報生成装置は、
楽音情報を記憶する記憶手段と、
前記移動通信端末から前記楽音制御情報を受信する受信手段と、
外部から第２の楽音情報を取得する楽音情報取得手段と、
前記楽音情報取得手段によって取得された前記第２の楽音情報に基づいた前記指示情報を前記移動通信端末に送信する指示送信手段と、
前記受信手段によって受信された前記楽音制御情報に基づく前記制御内容に従って、前記記憶手段に記憶されている前記楽音情報、又は前記楽音情報取得手段によって取得された前記第２の楽音情報を制御して楽音を発生させる楽音発生手段と、
を具備することを特徴とする楽音生成システム。 - 複数のパートからなる楽曲を表す楽曲情報を記憶する楽曲情報記憶手段と、
移動通信網による通信サービスを受ける移動通信端末に対するユーザの動作を検出した結果を示す検出結果情報を、前記楽曲情報の楽曲の各パートに対して予め割当てられた複数のアクセス番号毎に前記移動通信端末から受信する受信手段と、
前記楽曲情報記憶手段に記憶されている前記各パートの楽曲情報と、当該パートに割当てられた前記アクセス番号に対する前記検出結果情報とに基づいて、当該パートの楽音情報を生成する楽音情報生成手段と
を具備することを特徴とする楽音生成装置。 - 前記楽音情報生成手段が生成した前記楽音情報を、前記検出結果情報の送信元である前記移動通信端末に前記移動通信網を介して送信する送信手段を備えることを特徴とする請求項９に記載の楽音生成装置。
- 移動通信網による通信サービスを受ける移動通信端末であり、当該移動通信端末に対するユーザの動作を検出する動作検出センサを有する移動通信端末に対し、楽曲を表す楽曲情報を予め記憶する楽音情報提供装置から楽音情報を提供する方法であって、
前記移動通信端末から前記移動通信網を介して送信される、前記動作検出センサの検出結果に応じた検出結果情報を、前記楽音情報提供装置において受信する受信ステップと、
前記受信ステップにおいて受信した前記検出結果情報に基づいて前記楽曲情報の楽音発生を制御する制御内容を表す楽音制御情報を前記楽音情報提供装置において生成する制御情報生成ステップと、
前記楽音情報提供装置において、前記制御情報生成ステップで生成された前記楽音制御情報に基づく前記制御内容に従って、前記楽曲情報の楽音を制御して楽音を生成する楽音生成ステップと、
前記楽音生成ステップで生成された前記楽音を表す楽音情報を、前記受信ステップで受信された前記検出結果情報の送信元である前記移動通信端末に前記楽音情報提供装置から前記移動通信網を介して送信する楽音送信ステップと
を有することを特徴とする楽音情報提供方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001269549A JP4779264B2 (ja) | 2001-09-05 | 2001-09-05 | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 |
| US10/235,018 US20030045274A1 (en) | 2001-09-05 | 2002-09-04 | Mobile communication terminal, sensor unit, musical tone generating system, musical tone generating apparatus, musical tone information providing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001269549A JP4779264B2 (ja) | 2001-09-05 | 2001-09-05 | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003076368A JP2003076368A (ja) | 2003-03-14 |
| JP4779264B2 true JP4779264B2 (ja) | 2011-09-28 |
Family
ID=19095349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001269549A Expired - Fee Related JP4779264B2 (ja) | 2001-09-05 | 2001-09-05 | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030045274A1 (ja) |
| JP (1) | JP4779264B2 (ja) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3915754B2 (ja) * | 2003-08-04 | 2007-05-16 | ソニー株式会社 | 携帯端末及び着信音生成方法 |
| KR20050019171A (ko) * | 2003-08-18 | 2005-03-03 | 에스케이텔레텍주식회사 | 움직임을 감지하여 벨소리/진동량을 조절하는 방법 및이를 구현하는 이동통신 단말기 |
| US7966034B2 (en) * | 2003-09-30 | 2011-06-21 | Sony Ericsson Mobile Communications Ab | Method and apparatus of synchronizing complementary multi-media effects in a wireless communication device |
| CA2531524A1 (en) * | 2003-10-31 | 2005-05-12 | Iota Wireless Llc | Concurrent data entry for a portable device |
| ES2411135T3 (es) * | 2004-03-25 | 2013-07-04 | Nokia Corporation | Protección de tecla activada por movimiento |
| KR100668298B1 (ko) * | 2004-03-26 | 2007-01-12 | 삼성전자주식회사 | 움직임에 기반한 소리 발생 방법 및 장치 |
| EP1583335A1 (en) * | 2004-04-02 | 2005-10-05 | Sony Ericsson Mobile Communications AB | Rhythm detection in radio communication terminals |
| DE602004029021D1 (de) | 2004-07-13 | 2010-10-21 | Sony Ericsson Mobile Comm Ab | Tragbares elektronisches Gerät mit 3D Audiowiedergabe |
| KR100703262B1 (ko) * | 2005-02-26 | 2007-04-03 | 삼성전자주식회사 | 이동통신 단말기에서 음악 연주를 제어하는 장치 및 방법 |
| US20060060068A1 (en) * | 2004-08-27 | 2006-03-23 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling music play in mobile communication terminal |
| US20060073819A1 (en) * | 2004-10-04 | 2006-04-06 | Research In Motion Limited | Automatic audio intensity adjustment |
| US7164906B2 (en) * | 2004-10-08 | 2007-01-16 | Magix Ag | System and method of music generation |
| KR100645379B1 (ko) * | 2004-10-29 | 2006-11-15 | 삼성광주전자 주식회사 | 로봇 제어 시스템 및 로봇 제어방법 |
| IL165817A0 (en) | 2004-12-16 | 2006-01-15 | Samsung Electronics U K Ltd | Electronic music on hand portable and communication enabled devices |
| KR100738072B1 (ko) | 2005-02-01 | 2007-07-12 | 삼성전자주식회사 | 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법 |
| US7764641B2 (en) | 2005-02-05 | 2010-07-27 | Cisco Technology, Inc. | Techniques for determining communication state using accelerometer data |
| KR101237544B1 (ko) | 2005-05-13 | 2013-02-26 | 삼성전자주식회사 | 단일 무선 인터페이스를 위한 다중채널 스케줄링 방법 |
| CN1870128B (zh) * | 2005-05-25 | 2011-11-23 | 光宝科技股份有限公司 | 混合乐曲的方法及装置 |
| KR20070009299A (ko) * | 2005-07-15 | 2007-01-18 | 삼성전자주식회사 | 동작에 따른 음을 발생하는 장치 및 방법 |
| KR20070009298A (ko) * | 2005-07-15 | 2007-01-18 | 삼성전자주식회사 | 모션 감지에 의하여 효과 음향을 재생하고 제어하는 방법및 장치 |
| US20070036347A1 (en) * | 2005-08-06 | 2007-02-15 | Mordechai Teicher | Mobile Telephone with Ringer Mute |
| WO2007034787A1 (ja) * | 2005-09-26 | 2007-03-29 | Nec Corporation | 携帯電話端末、データ処理開始方法、データ伝送方法 |
| US20070137462A1 (en) * | 2005-12-16 | 2007-06-21 | Motorola, Inc. | Wireless communications device with audio-visual effect generator |
| WO2007077090A1 (de) * | 2005-12-29 | 2007-07-12 | Siemens Aktiengesellschaft | Drahtlose kommunikationsvorrichtung |
| KR100650890B1 (ko) | 2006-01-09 | 2006-11-28 | 주식회사 팬택 | 음악 연주 장치를 가지는 이동통신 단말기 및 그단말기에서의 음악 연주 방법 |
| KR101189214B1 (ko) | 2006-02-14 | 2012-10-09 | 삼성전자주식회사 | 동작에 따른 음을 출력하는 장치 및 방법 |
| JP4679431B2 (ja) | 2006-04-28 | 2011-04-27 | 任天堂株式会社 | 音出力制御プログラムおよび音出力制御装置 |
| KR100778367B1 (ko) | 2006-08-02 | 2007-11-22 | 삼성전자주식회사 | 휴대 단말기 및 그의 이벤트 처리 방법 |
| US20080167968A1 (en) * | 2007-01-07 | 2008-07-10 | Eddy Cue | Creating and Purchasing Ringtones |
| US20080233996A1 (en) * | 2007-03-19 | 2008-09-25 | Gemini Mobile Technologies, Inc. | Method and apparatus for motion-based communication |
| JP2009171302A (ja) * | 2008-01-17 | 2009-07-30 | Panasonic Corp | 携帯電子機器 |
| JP5034976B2 (ja) * | 2008-01-24 | 2012-09-26 | 株式会社セガ | 音声再生装置および音声再生制御プログラム |
| US9001747B2 (en) * | 2008-03-26 | 2015-04-07 | Nokia Corporation | Reporting channel state information |
| DE102008038340B4 (de) * | 2008-08-19 | 2010-04-22 | Austriamicrosystems Ag | Schaltungsanordnung zur Ansteuerung einer Lichtquelle und Verfahren zum Erzeugen eines Ansteuersignals für dieselbe |
| US9930310B2 (en) | 2009-09-09 | 2018-03-27 | Apple Inc. | Audio alteration techniques |
| US20110137213A1 (en) * | 2009-11-30 | 2011-06-09 | University College Dublin, National University Of Ireland, Dublin | Method and system for therapeutic exergaming |
| JP5454133B2 (ja) | 2009-12-25 | 2014-03-26 | 富士通株式会社 | 検知情報補正装置、可搬型装置、検知情報補正方法、およびコンピュータプログラム |
| KR101157129B1 (ko) * | 2010-04-23 | 2012-06-22 | (재) 전라남도문화산업진흥원 | 동작 기반의 음악 구절 표현 방법, 음악 검색 방법 및 음악 검색 장치 |
| US20110287806A1 (en) * | 2010-05-18 | 2011-11-24 | Preetha Prasanna Vasudevan | Motion-based tune composition on a mobile device |
| CN102377871B (zh) * | 2010-08-24 | 2013-12-04 | 联想(北京)有限公司 | 一种信息处理设备及其控制方法 |
| US8994499B2 (en) * | 2011-03-16 | 2015-03-31 | Apple Inc. | Locking and unlocking a mobile device using facial recognition |
| US10868720B2 (en) * | 2016-04-29 | 2020-12-15 | Dcb Solutions Limited | Data driven orchestrated network using a voice activated light weight distributed SDN controller |
| US10607386B2 (en) | 2016-06-12 | 2020-03-31 | Apple Inc. | Customized avatars and associated framework |
| US10775941B2 (en) * | 2016-12-30 | 2020-09-15 | Jason Francesco Heath | Sensorized spherical input and output device, systems, and methods |
| US10861210B2 (en) | 2017-05-16 | 2020-12-08 | Apple Inc. | Techniques for providing audio and video effects |
| CN108683812B (zh) * | 2018-05-14 | 2020-09-22 | Oppo（重庆）智能科技有限公司 | 音量调节方法、装置以及移动终端 |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5290964A (en) * | 1986-10-14 | 1994-03-01 | Yamaha Corporation | Musical tone control apparatus using a detector |
| US5177311A (en) * | 1987-01-14 | 1993-01-05 | Yamaha Corporation | Musical tone control apparatus |
| JP2663503B2 (ja) * | 1988-04-28 | 1997-10-15 | ヤマハ株式会社 | 楽音制御装置 |
| US5027688A (en) * | 1988-05-18 | 1991-07-02 | Yamaha Corporation | Brace type angle-detecting device for musical tone control |
| JPH0283590A (ja) * | 1988-09-21 | 1990-03-23 | Yamaha Corp | 楽音制御装置 |
| US5313010A (en) * | 1988-12-27 | 1994-05-17 | Yamaha Corporation | Hand musical tone control apparatus |
| JP2812055B2 (ja) * | 1992-03-24 | 1998-10-15 | ヤマハ株式会社 | 電子楽器 |
| US20010036821A1 (en) * | 1994-04-19 | 2001-11-01 | Jay L. Gainsboro | Computer-based method and apparatus for controlling, monitoring, recording and reporting wireless communications |
| US5663514A (en) * | 1995-05-02 | 1997-09-02 | Yamaha Corporation | Apparatus and method for controlling performance dynamics and tempo in response to player's gesture |
| JP3307152B2 (ja) * | 1995-05-09 | 2002-07-24 | ヤマハ株式会社 | 自動演奏制御装置 |
| US5648627A (en) * | 1995-09-27 | 1997-07-15 | Yamaha Corporation | Musical performance control apparatus for processing a user's swing motion with fuzzy inference or a neural network |
| US5768696A (en) * | 1995-12-18 | 1998-06-16 | Golden Eagle Electronics Manufactory Ltd. | Wireless 900 MHz monitor system |
| US6167260A (en) * | 1996-01-31 | 2000-12-26 | Motorola, Inc. | Method for demand channel change for a radio telephone |
| JP3747584B2 (ja) * | 1996-10-18 | 2006-02-22 | ヤマハ株式会社 | 端末装置の機能拡張方法及びホストコンピュータ並びに端末装置 |
| US6018654A (en) * | 1996-10-29 | 2000-01-25 | Ericsson Inc | Method and apparatus for downloading tones to mobile terminals |
| EP1445910A3 (de) * | 1997-10-15 | 2005-03-02 | Nokia Corporation | Verfahren zum Bereitstellen von Information in einem Kommunikationssystem mittels eines mobilen Telefons |
| JPH11220518A (ja) * | 1998-01-30 | 1999-08-10 | Matsushita Electric Ind Co Ltd | 携帯電話機 |
| JP2000029462A (ja) * | 1998-05-18 | 2000-01-28 | Sony Corp | 情報処理装置および情報処理方法、並びに提供媒体 |
| US6369794B1 (en) * | 1998-09-09 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Operation indication outputting device for giving operation indication according to type of user's action |
| JP2000148351A (ja) * | 1998-09-09 | 2000-05-26 | Matsushita Electric Ind Co Ltd | ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体 |
| JP3799190B2 (ja) * | 1999-05-10 | 2006-07-19 | 株式会社タイトー | 音楽指揮者ゲーム装置 |
| JP2000339575A (ja) * | 1999-05-26 | 2000-12-08 | Matsushita Electric Works Ltd | 無線式センサ装置およびセンサシステム |
| US6606374B1 (en) * | 1999-06-17 | 2003-08-12 | Convergys Customer Management Group, Inc. | System and method for recording and playing audio descriptions |
| JP2001145167A (ja) * | 1999-11-18 | 2001-05-25 | Mega Chips Corp | 情報通信端末 |
| JP2001175300A (ja) * | 1999-12-17 | 2001-06-29 | Yamaha Corp | 電話端末装置の音声合成装置 |
| JP4167785B2 (ja) * | 2000-01-07 | 2008-10-22 | 株式会社日立製作所 | 携帯電話機 |
| EP1837858B1 (en) * | 2000-01-11 | 2013-07-10 | Yamaha Corporation | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| JP2001203783A (ja) * | 2000-01-19 | 2001-07-27 | Yamaha Corp | 携帯電話機 |
| JP3596401B2 (ja) * | 2000-01-25 | 2004-12-02 | ヤマハ株式会社 | 携帯電話機 |
| JP3843685B2 (ja) * | 2000-02-02 | 2006-11-08 | ヤマハ株式会社 | 音響信号発生装置 |
| US6754504B1 (en) * | 2000-06-10 | 2004-06-22 | Motorola, Inc. | Method and apparatus for controlling environmental conditions using a personal area network |
| JP4198875B2 (ja) * | 2000-11-30 | 2008-12-17 | 株式会社東芝 | 移動通信端末 |
| US6388183B1 (en) * | 2001-05-07 | 2002-05-14 | Leh Labs, L.L.C. | Virtual musical instruments with user selectable and controllable mapping of position input to sound output |
-
2001
- 2001-09-05 JP JP2001269549A patent/JP4779264B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-04 US US10/235,018 patent/US20030045274A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20030045274A1 (en) | 2003-03-06 |
| JP2003076368A (ja) | 2003-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4779264B2 (ja) | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 | |
| JP4741596B2 (ja) | 楽器伴奏およびサウンド評価のための携帯用電子装置 | |
| JP3867515B2 (ja) | 楽音制御システムおよび楽音制御装置 | |
| JP2008515009A6 (ja) | 楽器伴奏およびサウンド評価のための携帯用電子装置 | |
| JP5119932B2 (ja) | 鍵盤楽器、ピアノおよび自動演奏ピアノ | |
| JP3867630B2 (ja) | 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法 | |
| JP3879583B2 (ja) | 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体 | |
| JP3972619B2 (ja) | 音発生装置 | |
| JP2006251697A (ja) | カラオケ装置 | |
| JP5842383B2 (ja) | カラオケシステム及びカラオケ装置 | |
| JP5486941B2 (ja) | 聴衆に唱和をうながす気分を楽しむカラオケ装置 | |
| JP4983012B2 (ja) | 楽曲再生において立体音響効果を付加する装置およびプログラム | |
| JP4262642B2 (ja) | カラオケ装置およびカラオケシステム | |
| JP6220576B2 (ja) | 複数人による通信デュエットに特徴を有する通信カラオケシステム | |
| JPH11167392A (ja) | カラオケ再生装置、通信カラオケシステム、およびカラオケプログラムを記録した読み取り可能な記録媒体 | |
| JP3902735B2 (ja) | カラオケ装置 | |
| JP4244338B2 (ja) | 音出力制御装置、楽曲再生装置、音出力制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 | |
| JP2001195058A (ja) | 演奏装置 | |
| WO2021210338A1 (ja) | 再生制御方法、制御システムおよびプログラム | |
| JP2004258502A (ja) | カラオケ演奏装置における効果音発生機構および使用方法 | |
| JPH10282978A (ja) | カラオケ装置およびカラオケ装置の配信装置 | |
| Farwell | Adapting the trombone: a suite of electro-acoustic interventions for the piece Rouse | |
| JP2000163054A (ja) | 音楽合同練習装置 | |
| JP4158634B2 (ja) | 楽曲データ編集装置、楽曲データ配信装置及びプログラム | |
| JP2022181977A (ja) | カラオケ装置およびカラオケシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080722 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090717 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |