JP3867630B2 - 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法 - Google Patents

楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法 Download PDF

Info

Publication number
JP3867630B2
JP3867630B2 JP2002211322A JP2002211322A JP3867630B2 JP 3867630 B2 JP3867630 B2 JP 3867630B2 JP 2002211322 A JP2002211322 A JP 2002211322A JP 2002211322 A JP2002211322 A JP 2002211322A JP 3867630 B2 JP3867630 B2 JP 3867630B2
Authority
JP
Japan
Prior art keywords
music
information
peak
sound effect
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002211322A
Other languages
English (en)
Other versions
JP2004053930A5 (ja
JP2004053930A (ja
Inventor
健二 石田
善樹 西谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002211322A priority Critical patent/JP3867630B2/ja
Priority to US10/621,975 priority patent/US7060885B2/en
Publication of JP2004053930A publication Critical patent/JP2004053930A/ja
Publication of JP2004053930A5 publication Critical patent/JP2004053930A5/ja
Application granted granted Critical
Publication of JP3867630B2 publication Critical patent/JP3867630B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281Reverberation or echo
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/201User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G10H2220/206Conductor baton movement detection used to adjust rhythm, tempo or expressivity of, e.g. the playback of musical pieces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/321Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、楽曲再生システム等に係り、特にユーザが簡易な操作によって思い通りの曲想を実現し、さらには種々の音響効果を付与することが可能な楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法に関する。
【0002】
【従来の技術】
楽曲演奏の鑑賞等を嗜好するユーザは、単に楽曲データ(例えば、MIDI(Musical Instrument Digital Interface)データ等)を再生することによって奏でられる演奏音を鑑賞して楽しむのみならず、自分の曲想に合わせて該楽曲データを編集し、編集後の楽曲データを再生するなどして楽しみたいという思いがある。
かかる場合、ユーザは、自己のパーソナルコンピュータ等に搭載されている様々な楽曲データ編集ソフトを利用して、該楽曲の演奏テンポを変更したり、所望の音響効果(例えば、残響効果等)を付与するなどして、既存の楽曲データを編集していた。
【0003】
【発明が解決しようとする課題】
しかしながら、このようにパーソナルコンピュータ等を利用して楽曲データの編集等を行う場合、ユーザは、既存の楽曲データをいったんパーソナルコンピュータに読み込ませ、例えば一音、一小節あるいは一フレーズ毎に、自己の曲想を実現するための制御コードや音響効果等を付与するための制御コード(例えば、残響効果を付与するための制御コード等)を追加、変更するなどして該楽曲データを編集する必要があり、多大な労力と時間が必要であった。
【0004】
本発明は、以上説明した事情を鑑みてなされたものであり、ユーザが所望する曲想の実現及び音響効果の付与を、簡易な操作によって実現することができる楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
上述した問題を解決するため、本発明に係る楽曲再生システムは、操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成し、送信する操作端末と、前記操作端末から前記運動情報を受信し、受信した運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集装置と、前記楽曲データ編集装置から供給される編集後の楽曲データを再生し、楽音を発生する楽音発生装置とを具備する楽曲再生システムであって、前記楽曲データ編集装置は、前記受信した運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段と、前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集手段と、前記楽曲データ編集手段によって編集された後の楽曲データを前記楽音発生装置へ出力する出力手段とを具備することを特徴とする。
【0006】
かかる構成によれば、楽曲データ編集装置は、操作端末から送信される運動情報を受信すると、受信した運動情報を解析等し、運動の大きさを示すピーク情報を検出する。そして、楽曲データ編集装置は、ピーク情報に示されるピーク値が第1の閾値を越え、かつ、第2の閾値を越えている場合、楽曲データの再生を制御するための制御情報(例えば、演奏テンポ、音量を制御するための制御情報)を生成する一方、該ピーク値が第1の閾値を越え、かつ、第2の閾値を下まわっている場合、楽曲データに付与する音響効果を制御するための制御情報(例えば、残響効果、音延長効果を制御するための制御情報)を生成し、生成した各情報に基づいて、既存楽曲データの編集を行う。楽曲データ編集装置によって編集された後の楽曲データは、楽音発生装置へ出力され、再生楽音として外部に出力される。
【0007】
このように、操作者は、当該操作端末を操作するといった簡単な操作により、楽曲データの再生を制御すると共に、該楽曲データに付与する音響効果を制御することができる。このため、MIDI等に関する知識がない初心者であっても、容易かつ直感的に音響効果を付与することができる。
【0008】
また本発明に係る楽曲編集システムは、操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成し、送信する操作端末と、前記操作端末から前記運動情報を受信し、受信した運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集装置とを具備する楽曲編集システムであって、前記楽曲データ編集装置は、前記受信した運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段と、前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集手段とを具備することを特徴とする。
【0009】
また、本発明に係る楽曲編集装置は、操作者携帯可能な操作端末から、当該端末を携帯する操作者の動作に応じて生成された運動情報を受信する受信手段と、前記受信手段によって受信された運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する楽曲再生制御情報生成手段と、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する音響効果制御情報生成手段と、前記各制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集手段とを具備することを特徴とする。
【0010】
また、本発明に係る楽曲編集端末は、操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成する運動情報生成手段と、前記運動情報生成手段によって生成された運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集手段とを具備する楽曲編集端末であって、前記運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段とを具備し、前記楽曲データ編集手段は、前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行うことを特徴とする。
【0011】
また、本発明に係る楽曲再生端末は、操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成する運動情報生成手段と、前記運動情報生成手段によって生成された運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集手段と、前記楽曲データ編集手段によって編集された後の楽曲データを再生し、楽音を発生する楽音発生手段とを具備する楽曲再生端末であって、前記運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段とを具備し、前記楽曲データ編集手段は、前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行い、編集した後の楽曲データを前記楽音発生手段へ出力することを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明に係る実施の形態について説明する。かかる実施の形態は、本発明の一態様を示すものであり、本発明の技術的思想の範囲で任意に変更可能である。
【0013】
A.本実施形態
(1)実施形態の構成
<楽曲再生システム100の構成>
図1は、本実施形態に係る楽曲再生システム100の構成を示す図である。
楽曲再生システム100は、操作者携帯可能な操作端末OUと、操作端末OUから送信される操作者の動きに応じた運動情報を受信し、受信した運動情報に基づいて既存の楽曲データ(MIDIデータ等)の編集を行うと共に、編集後の楽曲データの再生等を行うパーソナルコンピュータシステムPSとを具備している。
【0014】
<操作端末OUの構成>
図2は、本実施形態に係る操作端末OUの外観を示す図であり、図3は、操作端末OUのハードウェア構成を示すブロック図である。
図2に示すように、本実施形態に係る操作端末OUは、操作者が手に把持して使用する、いわゆる手持ちタイプの操作端末であり、両端側が大径で中央側が小径のテーパ状をなす基部(図示左寄り)と端部(図示右寄り)から構成されている。
【0015】
基部は、平均径が端部より小さく手で握りやすくなっており、把持部として機能する。この基部における底部(図示左端)外面にはLED(Light Emitting Diode)表示器TDや電池電源の電源スイッチTSが設けられ、中央部外面には操作スイッチT4が設けられている。一方、端部の先端近傍には、複数個のLED発光器TLが設けられている。このような形状を有する操作端末OUには、各種の装置が内蔵されている。なお、本実施形態では、手持ちタイプの操作端末OUを例示しているが、バンド等を用いて腕や足に装着するタイプの操作端末や、シューズタイプの操作端末など、様々なタイプの操作端末に適用可能である。
【0016】
図3に示すCPUT0は、ROM、RAM等により構成されたメモリT1に格納されている各種制御プログラムに基づいて、動作センサSSなど操作端末OUの各部を制御する。
動作センサSSは、楽曲再生システム100を利用して楽音発生を行う際、当該操作端末OUを携帯している操作者の動作(例えば把持している操作者の手の動き)を検出し、該動作の方向、大きさおよび速度に応じた運動情報を生成する。
本実施形態に係る動作センサSSは、2次元加速度センサ等によって構成され、図2に示すx軸方向(垂直方向)の加速度を検出するx軸検出部SSxと、y軸方向(水平方向)の加速度を検出するy軸検出部SSyとを有している。このように、本実施形態では、動作センサSSとして2次元加速度センサを用いる場合を例に説明を行うが、例えば3次元加速度センサ、3次元速度センサ、2次元速度センサなど、操作者の動作検出が可能な種々のセンサを用いても良い。
【0017】
送信回路T2は、アンテナT2aのほか、高周波トランスミッタ、電力増幅器、(ともに図示略)等を備えており、CPUT0による制御の下、該CPUT0から供給される運動情報をパーソナルコンピュータシステムPSに無線送信する役割を担っている。
【0018】
表示ユニットT3は、上述したLCD表示器TD、複数個のLED発光器TL等を備え(図2参照)、CPUT0による制御の下、センサナンバ、動作中、電源アラーム等の各種情報を表示する。
操作スイッチT4は、当該操作端末OUの電源のオン/オフ切り換えや各種モード設定等を行うために用いられるスイッチである。これらの各構成要素には、図示せぬ電池電源から駆動電力が供給されるが、このような電池電源としては、一次電池を用いるようにしてもよいし、充電可能な二次電池を用いるようにしてもよい。
【0019】
<パーソナルコンピュータシステムPSの構成>
図4は、パーソナルコンピュータシステムPSの構成を示すブロック図である。
パーソナルコンピュータシステムPSは、一般的なパーソナルコンピュータと同様の機能を備えるほか、上述した操作端末OUから無線送信される運動情報を受信する機能、受信した運動情報に基づいて既存の楽曲データを編集する機能、編集後の楽曲データを再生する機能等を備えている。
【0020】
パーソナルコンピュータシステムPSの各部を制御する本体CPUM0は、テンポクロックや割り込みクロックの発生等に利用されるタイマM1による時間管理の下、所定のプログラムに従って後述する各種の制御を行う。
【0021】
メモリM2は、ROM等の不揮発性メモリ、RAM等の揮発性メモリ等によって構成され、該メモリM2には本体CPUM0によって実行されるオペレーティングシステムや当該パーソナルコンピュータシステムPSを制御するための所定の制御プログラム等が記憶されている。
【0022】
受信処理回路M3には、多チャンネル高周波レシーバ等によって構成されたアンテナ分配回路M3aが接続されている。受信処理回路M3は、操作端末OUから送信される運動情報をアンテナM3b、アンテナ分配回路M3aを介して受信し、受信した信号に所定の信号処理を施す役割を担っている。
【0023】
検出回路M4には、キーボードM4aや図示せぬマウスが接続されている。操作者は、このキーボードM4a等を使用して演奏データ制御に必要な各種モードの設定、演奏トラックへの音色(音源)・設定等、種々の設定操作を行う。
表示回路M5には、液晶パネルM5a等が接続され、現在編集している楽曲データに関する様々な情報等が液晶パネルM5a等に表示される。
【0024】
外部記憶装置M6は、ハードディスクドライブ(HDD)、コンパクトディスク・リード・オンリ・メモリ(CD−ROM)ドライブ、フロッピィデイスクドライブ(FDD)、光磁気(MO)ディスクドライブ、ディジタル多目的ディスク(DVD)ドライブ等の記憶装置から成り、既存の楽曲データや編集後の楽曲データ等を記憶することが可能となっている。
【0025】
楽音発生装置M7は、本体CPUM0から供給される編集後の楽曲データ(以下、オリジナル楽曲データという)に基づいて楽音を発生する装置であり、音源回路M7a、効果回路M7b、スピーカシステムM7c等によって構成されている。
音源回路M7aは、該本体CPUM0から供給されるオリジナル楽曲データ等を再生することにより、対応する楽音信号を順次生成する。
効果回路M7bは、DSP(Digital Signal Processor)等によって構成され、音源回路M7aにおいて生成された楽音信号に様々な効果を付与し、これをスピーカシステムM7cへ出力する。
【0026】
スピーカシステムM7cは、D/A変換器、アンプ等を備え、音源回路M7aから効果回路M7b等を介して供給される楽音信号を楽音として外部に出力する。
以下、本実施形態に係るパーソナルコンピュータシステムPSの機能について、図5等を参照しながら説明する。
【0027】
<パーソナルコンピュータシステムPSの機能>
図5は、パーソナルコンピュータPSの機能を説明するための説明図である。
操作者が動作センサSSの内蔵された操作端末OUを手に持って操作すると、操作方向、大きさ及び速度に応じた運動情報が該操作端末OUからパーソナルコンピュータシステムPSへ送信される。さらに詳述すると、操作端末OUにおける動作センサ310のx軸検出部SSx、y軸検出部SSyからは、x(水平)方向の加速度およびy(垂直)方向の加速度を表わす加速度センサ信号αx、αyが出力され、これらの加速度センサ信号αx、αyが運動情報として、操作端末OUからパーソナルコンピュータシステムPSへ送信される。
【0028】
パーソナルコンピュータシステムPSのアンテナ分配回路M3aは、アンテナM3bを介して信号αx、αyを受信すると、受信処理回路M3へ出力する。受信処理回路M3は、アンテナ分配回路M3aから順次供給される加速度センサ信号αx、αyに含まれるノイズ成分を除去するため、当該加速度センサ信号αx、αyに所定のフィルタ処理を施し、加速度データαx、αyとして本体CPUM0に出力する。
【0029】
ローカルピーク・ダイナミクス検出部M01は、受信処理回路M3から加速度データαx、αyを受け取ると、各加速度データを解析して、x軸方向の加速度及びy軸方向の加速度を合成した加速度ベクトルの大きさを示す加速度値αを求め、ローカルピークとダイナミクスの検出を行う。
【0030】
ここで、図6は、経過時間と加速度値αとの関係を例示した図である。
ローカルピーク・ダイナミクス検出部M01は、各加速度データαx、αyに基づき加速度値αを求めると、加速度値αのピーク(ピーク情報)の検出を開始する。ローカルピーク・ダイナミクス検出部M01は、ピークを検出すると、該ピークに対応する加速度値(ピーク値)が正(ここで操作端末OUの操作方向を正とする)であるか否かを判断する。ここで、例えば検出したピーク値が負であると判断すると(図6に示す、ピーク値p11参照)、ローカルピーク・ダイナミクス検出部M01は、ピークの検出を継続する。
【0031】
一方、検出したピーク値が正であると判断すると(図6に示す、ピーク値p12参照)、ローカルピーク・ダイナミクス検出部M01は、予めメモリM2等に記憶されている第1の閾値t1(>0)及び第2の閾値t2(>t1)を読み出し、読み出した各閾値t1、t2と今回検出したピーク値p12とを比較する。ここで、メモリM2に記憶されている第1の閾値t1及び第2の閾値t2は、パーソナルコンピュータシステムPSの製造時等に予め設定しておくことも可能であるが、例えば操作者がパーソナルコンピュータシステムPSのキーボードM4a等を操作して自由に設定・変更できるようにしても良い。
【0032】
<検出したピーク値が第1の閾値を越え、かつ、第2の閾値を越えている場合>
さて、ローカルピーク・ダイナミクス検出部M01は、今回検出したピーク値が第1の閾値t1を越え、かつ、第2の閾値t2を越えていると判断すると(例えば、図6に示すピーク値p12)、拍打操作の意思ありと判定する。ローカルピーク・ダイナミクス検出部M01は、このように第1の閾値t1を越え、かつ、第2の閾値t2を越えるピーク(以下、便宜上、第1ローカルピークという)を検出すると、ピーク値p12とピーク値p11との差分をダイナミクス値として求め(図6に示す、ダイナミクス値D参照)、求めたダイナミクス値Dと共に、第1ローカルピークを検出した旨を楽曲再生制御部M02へ送る。
【0033】
楽曲再生制御部M02は、ローカルピーク・ダイナミクス検出部M01から送られてくるダイナミクス値Dに基づいて、再生楽音の音量レベルを決定すると共に、ローカルピーク・ダイナミクス検出部M01によって検出される第1ローカルピークの時間間隔に基づいて、演奏テンポを決定する。詳述すると、メモリM2等には、ダイナミクス値Dと再生楽音の音量レベルとの対応付けがなされた音量レベル決定テーブル(図示略)が記憶されている。楽曲再生制御部M02は、ローカルピーク・ダイナミクス検出部M01からダイナミクス値Dを受け取ると、該音量レベル決定テーブルを参照し、ダイナミクス値Dに対応する音量レベルを取得する。
【0034】
また、楽曲再生制御部M02は、ローカルピーク・ダイナミクス検出部M01から第1ローカルピークを検出した旨の通知を受け取ると、図示せぬタイマを参照し、当該時点における時刻をメモリM2等に記録する。楽曲再生制御部M02は、ローカルピーク・ダイナミクス検出部M01から第1ローカルピークを検出した旨の通知を受け取る度に、かかる操作を繰り返し実行し、第1ローカルピークの時間間隔を求めていく。メモリM2等には検出される第1ローカルピークの時間間隔と演奏テンポとの対応付けがなされた演奏テンポ決定テーブル(図示略)が記憶されている。楽曲再生制御部M02は、上記のようにして第1ローカルピークの時間間隔を求めると、該演奏テンポ決定テーブルを参照し、求めた第1ローカルピークの時間間隔に対応する演奏テンポを取得する。楽曲再生制御部M02は、このようにして音量レベル及び演奏テンポを決定すると、これを楽曲再生制御情報として楽曲データ編集部M05に出力する。
【0035】
<検出したピーク値が第1の閾値を越え、かつ、第2の閾値を下まわっている場合>
一方、ローカルピーク・ダイナミクス検出部M01は、例えば図6に示すように今回検出したピーク値が第1の閾値t1を越え、かつ、第2の閾値t2を下まわっていると判断すると(例えば、図6に示すピーク値p22)、拍打操作の意思ではなく、音響効果付与の意思ありと判定する。ローカルピーク・ダイナミクス検出部M01は、このように第1の閾値t1を越え、かつ、第2の閾値t2を下まわっているピーク(以下、便宜上、第2ローカルピークという)を検出すると、ピーク値p22とピーク値p21との差分をダイナミクス値として求め(図6に示す、ダイナミクス値d参照)、求めたダイナミクス値dと共に、第2ローカルピークを検出した旨を音響効果付与制御部M03へ送る。
【0036】
一方、軌跡形状・方向検出部M04は、受信処理回路M3から供給される加速度データαx、αyに基づき、操作端末OUの移動軌跡に関する情報(以下、単に移動軌跡情報という)を求める。なお、この移動軌跡情報は、その移動軌跡の形状(例えば、円形、三角形等)を示す軌跡形状情報や、その移動軌跡を描く際の方向(例えば、上下、左右、回転方向等)を示す軌跡方向情報等によって構成されている。
【0037】
ここで、例えば図7(a)に示すように操作者が操作端末OUを右まわり(時計まわり)に小さく円運動させた場合、軌跡形状・方向検出部M04によって生成される移動軌跡情報は、図7(b)に示すようなものとなる。すなわち、移動軌跡の形状を示す情報として「円形」であることを示す軌跡形状情報が、移動軌跡を描く際の方向を示す情報として「右まわり」であることを示す軌跡方向情報が、軌跡形状・方向検出部M04によってそれぞれ生成される。
【0038】
なお、メモリM2等には、移動軌跡の形状を一意に特定するための軌跡形状特定テーブル(図示略)や、移動軌跡を描く際の方向を一意に特定するための軌跡方向特定テーブル(図示略)が格納されている。詳述すると、該軌跡形状特定テーブルには、上述した「円形」のほか、図8(a)〜(f)に示すように「8の字形」、「斜め切り形」、「四角形」、「うずまき形」、「波切り形」、「三角形」など、様々な形状が登録されている。軌跡形状・方向検出部M04は、加速度データαx、αyを解析することにより得られる移動軌跡の形状が、この軌跡形状特定テーブルに登録されている様々な形状のうちのいずれの形状と一致するか(あるいは最も近似しているか)を判断し、軌跡形状情報の特定を行う。
【0039】
一方、軌跡方向特定テーブルには、操作端末OUを操作する方向と、該操作により得られる加速度データαx、αyの変位を示す加速度データ変位情報が対応付けて登録されている。詳述すると、該軌跡方向特定テーブルには、「上下」、「左右」、「左まわり」、「右まわり」など、様々な操作方向と、該加速度データ変位情報とが対応付けて登録されている。軌跡形状・方向検出部M04は、受信処理回路M3から加速度データαx、αyを受け取ると、この軌跡方向特定テーブルを参照し、軌跡方向情報の特定を行う。
【0040】
軌跡形状・方向検出部M04は、このようにして軌跡形状情報及び軌跡方向情報を取得すると、軌跡形状情報及び軌跡方向情報を含む移動軌跡情報を音響効果付与制御部M03へ出力する。
音響効果付与制御部M03は、軌跡形状・方向検出部M04から供給される移動軌跡情報に基づいて付与する音響効果項目等を決定すると共に、前述したローカルピーク・ダイナミクス検出部M01から供給されるダイナミクス値dに基づいて音響効果レベルを決定する。
【0041】
ここで、図9は、メモリM2等に記憶されている音響効果項目決定テーブルTAを説明するための図であり、図10は、該メモリM2等に記憶されている音響効果レベル決定テーブルTBを説明するための図である。
図9に示すように、音響効果項目決定テーブルTAには、軌跡形状情報と軌跡方向情報と音響効果項目が対応付けて登録されている。該音響効果項目には、発音中の音を持続させるフェルマータ、スラー、テヌート等の「音延長」、波の音などの効果音の追加を示す「第1効果音」、残響効果を示す「残響」、音のピッチ(音高)をふるわせる「ビブラート」、コーラス(多音)効果を示す「コーラス」、拍手音などの効果音の追加を示す「第2効果音」など、様々な音響効果項目がある。
【0042】
一方、図10に示すように、音響効果レベル決定テーブルTBには、音響効果項目毎に、ダイナミクス値と音響効果レベルとが対応付けて登録されている。ここで、音響効果レベルは、各種音響効果の強さ、深さ等を示しており、例えば「第1効果音」の音響効果レベルは、該第1効果音の音の大きさ等を示しており、「残響」の音響効果レベルは、残響の深さ等を示している。
【0043】
さて、音響効果付与制御部M03は、軌跡形状・方向検出部M04から移動軌跡情報を受け取ると、該移動軌跡情報に含まれる軌跡形状情報及び軌跡方向情報を検索キーとして、図9に示す音響効果項目決定テーブルTAを検索する。
【0044】
ここで、例えば「円形」であることを示す軌跡形状情報と「右まわり」であることを示す軌跡方向情報が移動軌跡情報に含まれている場合、音響効果付与制御部M03は、これら各情報を検索キーとして音響効果項目決定テーブルTAを検索することにより、音響効果項目「音延長」を取得する。同様に、「波切り形」であることを示す軌跡形状情報と「上下」方向であることを示す軌跡方向情報が移動軌跡情報に含まれている場合、音響効果付与制御部M03は、これら各情報を検索キーとして音響効果項目決定テーブルTAを検索することにより、音響効果項目「残響」を取得する。なお、他の音響効果項目については、同様に説明することができるため、これ以上の説明は省略する。
【0045】
音響効果付与制御部M03は、このようにして音響効果項目を決定すると、決定した音響効果項目及びローカルピーク・ダイナミクス検出部M01から供給されるダイナミクス値dを検索キーとして、図10に示す音響効果レベル決定テーブルTBを検索する。
【0046】
ここで、例えば決定した音響効果項目が「残響」であり、供給されるダイナミクス値dがc0〜c1の範囲内にある場合、音響効果付与制御部M03は、これら各情報を検索キーとして音響効果レベル決定テーブルTBを参照することにより、音響効果レベル「レベル1」を取得する。なお、他の音響効果レベルを決定する場合については、同様に説明することができるため、割愛する。音響効果付与制御部M03は、このようにして付与すべき音響効果の種類を示す音響効果項目及び該音響効果の強さ、大きさ等を示す音響効果レベルを決定すると、これらを音響効果制御情報として楽曲データ編集部M05に出力する(図5参照)。
【0047】
楽曲データ編集部M05は、楽曲再生制御部M02から供給される音量レベル及び演奏テンポを表す楽曲再生制御情報や、音響効果付与制御部M03から供給される音響効果項目及び音響効果レベルを表す音響効果制御情報に基づき、既存楽曲データ記憶部M06に記憶されている既存の楽曲データ(以下、既存楽曲データ)の編集を行う。
【0048】
ここで、図11は、既存楽曲データを説明するための図である。
既存楽曲データには、楽曲再生制御コードや、音響効果制御コード等が含まれている。
楽曲再生制御コードは、演奏テンポを制御するための演奏テンポ制御コードや音量を制御するための音量制御コード等により構成されている。
音響効果制御コードは、残響効果を付与するための残響制御コード、音延長効果を付与するための音延長制御コード、効果音を付与するための効果音制御コードなど、上述した音響効果項目に対応する様々な制御コードにより構成されている。
【0049】
楽曲データ編集部M05は、楽曲再生制御部M02から供給される楽曲再生制御情報に基づき、音量制御コードに示される音量レベルや演奏テンポ制御コードに示される演奏テンポの書き換えを行う一方、音響効果付与制御部M03から供給される音響効果制御情報に基づき、対応する音響効果制御コード(例えば、残響制御コード)に示される残響効果レベルの書き換えや対応する音響効果制御コードの追加等を行う。
【0050】
楽曲データ編集部M05は、このようにして既存楽曲データの編集を行い、操作者の曲想等を反映した新たな楽曲データ(以下、オリジナル楽曲データ)を生成すると、これをオリジナル楽曲データ記憶部M07へ転送すると共に、楽音発生装置M7へ出力する。
楽音発生装置M7は、楽曲データ編集部M05から供給されるオリジナル楽曲データに基づいて楽音信号を生成し、これをスピーカシステムM7cを介して楽音として出力する。この結果、楽音発生装置M7から操作者の曲想を反映した演奏音が順次発音されることになる。
【0051】
<検出したピーク値が第1の閾値を下まわっている場合>
一方、ローカルピーク・ダイナミクス検出部M01は、図6に示すように今回検出したピーク値が第1の閾値t1を下まわっていると判断すると、操作者の意思なしと判定(ノイズと判定)し、何もしない。かかる場合、楽音発生装置M7から、既存楽曲データに基づく演奏音が順次発音されることになる。
以下、本実施形態に係る楽曲再生システム100を利用して既存の楽曲データを編集・再生する場合の動作について説明する。
【0052】
(2)実施形態の動作
操作端末OUを操作する操作者は、まず操作端末OUの電源スイッチTSや操作スイッチT4、及びパーソナルコンピュータシステムPSの操作部(図示略)等を操作して、当該操作端末OU及びパーソナルコンピュータシステムPSに電源を投入する。そして、操作者は、該操作部を操作して外部記憶装置M6等に格納されている複数の楽曲データの中から編集、再生対象となる楽曲データを選択する。
操作者によって楽曲データが選択されると、パーソナルコンピュータシステムPSの本体CPUM0は、対応する楽曲データを外部記憶装置M6から読み出し、これを既存楽曲データ記憶部M06等に格納する。本体CPUM0は、該楽曲データのヘッダ等に付与されているパート構成情報を参照し、当該楽曲のパート構成を把握する。そして、本体CPUM0は、液晶パネルM5aに当該楽曲データのパート構成を表示し、いずれのパートの楽曲データを編集、再生対象とすべきか操作者に選択を促す。
【0053】
操作者は、液晶パネルM5aに表示される内容を確認し、編集、再生対象とすべきパート(例えば、ピアノパート等)を1つ若しくは複数(例えば、全パート)選択する。なお、本実施形態では、操作者が編集、再生対象とすべき演奏パートを選択しているが、パーソナルコンピュータシステムPS側で自動選択しても良い。
【0054】
操作者は、このようにして編集、再生対象とすべきパートを選択すると、操作部を操作して該楽曲データの再生開始指示を入力し、操作端末OUの操作を開始する。
ここで、例えば操作者が図12に示すように、大きな三角形を描くように操作端末OUを操作すると、この操作に応じた運動情報(すなわち、x軸方向及びy軸方向の加速度を表す加速度センサ信号αx、αy)が動作センサSSによって生成され、パーソナルコンピュータシステムPSへ送信される。
【0055】
パーソナルコンピュータシステムPSのローカルピーク・ダイナミクス検出部M01は、アンテナ分配回路M3a、受信処理回路M3等を介して運動情報を順次受け取ると、前述したように加速度値αを求め(図6参照)、ローカルピークとダイナミクスの検出を行う。
ここで、ローカルピーク・ダイナミクス検出部M01は、検出したピーク値が第1の閾値t1を越え、かつ、第2の閾値t2を越えていると判断すると、拍打操作の意思有りと判定し、ダイナミクス値Dを求める。そして、求めたダイナミクス値Dと共に、第1ローカルピークを検出した旨を楽曲再生制御部M02へ送る。楽曲再生制御部M02は、ローカルピーク・ダイナミクス検出部M01から順次供給されるダイナミクス値Dに基づいて音量レベルを決定すると共に、ローカルピーク・ダイナミクス検出部M01によって検出される第1ローカルピークの時間間隔に基づいて演奏テンポを決定し、これらを楽曲再生制御情報として楽曲データ編集部M05に出力する。
【0056】
楽曲データ編集部M05は、楽曲再生制御部M02から供給される楽曲再生制御情報に従って、既存楽曲データ記憶部M06から読み出した所定パート(すなわち、操作者によって選択されたパート)の既存楽曲データの編集を行う。そして、楽曲データ編集部M05は、所定パートの既存楽曲データを編集した後の楽曲データ、すなわちオリジナル楽曲データをオリジナル楽曲データ記憶部M07に格納すると共に、これを楽音発生装置M7へ供給する。この結果、操作者の拍打操作に基づきパート音量及び演奏テンポの制御された演奏音が楽音発生装置M7から発音されることになる。
【0057】
一方、操作者が図13に示すように、拍打操作の途中で(あるいは、拍打操作後に)小さな円形を描くように操作端末OUを操作すると、上記と同様、この操作に応じた運動情報(すなわち、x軸方向及びy軸方向の加速度を表す加速度センサ信号αx、αy)が動作センサSSによって生成され、パーソナルコンピュータシステムPSへ送信される。
【0058】
パーソナルコンピュータシステムPSのローカルピーク・ダイナミクス検出部M01は、アンテナ分配回路M3a、受信処理回路M3等を介して運動情報を順次受け取ると、前述したように加速度値αを求め、ローカルピークとダイナミクスの検出を行う。
ここで、ローカルピーク・ダイナミクス検出部M01は、検出したピーク値が第1の閾値t1を越え、かつ、第2の閾値t2を下まわっていると判断すると、音響効果付与の意思有りと判定し、ダイナミクス値dを求める。そして、求めたダイナミクス値dと共に、第2ローカルピークを検出した旨を音響効果付与制御部M03へ送る。
【0059】
軌跡形状・方向検出部M04は、受信処理回路M3等を介して供給される運動情報に基づき、軌跡形状情報(図13では、「円形」を示す軌跡形状情報)及び軌跡方向情報(図13では、「右まわり」を示す軌跡方向情報)を含む移動軌跡情報を求め、求めた移動軌跡情報を音響効果付与制御部M03へ出力する。
【0060】
音響効果付与制御部M03は、ローカルピーク・ダイナミクス検出部M01からダイナミクス値dを受け取ると共に、軌跡形状・方向検出部M04から移動軌跡情報を受け取ると、図に示す音響効果項目決定テーブルTA及び図10に示す音響効果レベル決定テーブルTBを参照し、付与すべき音響効果項目及び音響効果レベルを決定する。そして、音響効果付与制御部M03は、このようにして決定した音響効果項目(図13では、音延長)及び音響効果レベル(図13では、レベル1)を音響効果制御情報として、楽曲データ編集部M05に出力する。
【0061】
楽曲データ編集部M05は、音響効果付与制御部M03から供給される音響効果制御情報に従って、所定パートの既存楽曲データの編集を行い、編集した後の楽曲データ、すなわちオリジナル楽曲データをオリジナル楽曲データ記憶部M07に格納すると共に、これを楽音発生装置M7へ供給する。この結果、操作者の音響効果付与操作(図13では、音延長効果付与操作)に基づき音響効果の付与された演奏音が楽音発生装置M7から発音されることになる。なお、操作者が拍打操作の途中で(あるいは、拍打操作後に)他の音響効果を付与するための操作(例えば、図14に示す残響効果付与操作参照)を行う場合については、上述した場合とほぼ同様に説明することができるため、割愛する。
【0062】
以上説明したように、本実施形態に係る楽曲再生システム100によれば、操作者は、携帯する操作端末OUを操作するといった簡単な操作により、パーソナルコンピュータシステムPSによって再生される楽曲を聴きながら、リアルタイムに当該楽曲の演奏テンポや全体音量などを制御することができ、さらに、自己の曲想等に応じて所望の音響効果を付与することができる。このため、MIDI等に関する知識がない初心者であっても、操作端末OUを操作するといった簡単な操作により、容易かつ直感的に音響効果を付与することができる。
【0063】
別言すると、本実施形態に係る楽曲再生システム100によれば、従来音響効果を付与するために必要とされた作業、すなわち音響効果付与の対象となるコード名を覚えるといった作業や、どの程度の数値を入力することでどの程度の音響効果が付与されるかを学習する作業を軽減することが可能となる。
また、従来、これらのコードや数字を入力するためには、楽曲再生を一旦停止する必要があり、さらに、入力を終えてから該当個所を再生し、編集結果を確認するといった作業も必要であったため、一曲を編集/再生するのに多大な時間と労力を費やす必要があった。これに対し、本実施形態に係る楽曲再生システム100によれば、操作端末OUを操作するといった簡単な操作でリアルタイムに音響効果を付与することができるため、一曲を編集/再生するのに要する時間及び労力を大幅に短縮及び軽減することが可能となる。
【0064】
(3)変形例
以上この発明の一実施形態について説明したが、上記実施形態はあくまで例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【0065】
<変形例1>
上述した本実施形態では、第1の閾値t1を越え、かつ、第2の閾値t2を越えた場合に拍打操作の意思有りと判定し、第1の閾値t1を越え、かつ、第2の閾値t2を下まわった場合に音響効果付与の意思有りと判定したが、これとは逆に、第1の閾値t1を越え、かつ、第2の閾値t2を越えた場合に音響効果付与の意思有りと判定し、第1の閾値t1を越え、かつ、第2の閾値t2を下まわった場合に拍打操作の意思有りと判定としても良いのは勿論である。
【0066】
<変形例2>
また、上述した本実施形態では、第2ローカルピークが検出される毎に、該第2ローカルピークに対応するダイナミクス値dを求め、これを音響効果付与制御部M03に通知したが、ダイナミクス値dのばらつきを考慮し、第2ローカルピークに対応する複数のダイナミクス値dの平均値を求め、求めたダイナミクス値dの平均値を音響効果付与制御部M03に通知しても良い(図6参照)。
【0067】
<変形例3>
また、上述した本実施形態では、1台の操作端末OUを用いて楽曲データを編集・再生する場合について説明したが、複数台の操作端末OUを用いて楽曲データを編集・再生することも可能である。かかる場合、各操作端末OUのCPUT0は、動作センサSSによって生成される運動情報に対し、自端末を識別するための識別情報(以下、端末ID)を付加してパーソナルコンピュータシステムPSへ送信する。
【0068】
パーソナルコンピュータシステムPSのメモリM2には、管理下にある複数の操作端末OUを識別するための端末IDが格納されている。パーソナルコンピュータシステムPSの本体CPUM0は、アンテナ分配回路M3a、受信処理回路M3等を介して運動情報を受信すると、該運動情報に付加されている端末IDとメモリM2に格納されている端末IDとを比較し、いずれの操作端末OUから送信された運動情報であるかを判定する。さらに、本体CPUM0は、メモリM2に格納されているパート割り当てテーブル(図示略)を参照し、編集、再生対象となるパート(例えば、バイオリンパート等)を1つ若しくは複数(例えば、全パート)選択する。
【0069】
ここで、パート割り当てテーブルには、端末IDと編集再生対象となるパートが対応付けて登録されている。一例を挙げて説明すると、パート割り当てテーブルには、端末ID−1とバイオリンパートが対応付けて登録され、端末ID−2とチェロパート及びピアノパートが対応付けて登録され、・・・端末ID−kとトランペットパートが対応付けて登録されている。本体CPUM0は、運動情報に付加されている端末IDを取得すると、かかる端末IDを検索キーとしてパート割り当てテーブルを検索する。
本体CPUM0は、パート割り当てテーブルを検索することにより、編集、再生対象とすべきパートを特定する。なお、この後の動作については、上述した本実施形態とほぼ同様に説明することができるため、省略する。
【0070】
<変形例4>
また、上述した本実施形態では、ダイナミクス値dに基づいて音響効果レベルを決定する場合について説明したが(図10に示す、音響効果レベル決定テーブルTB参照)、図6に示す第2ピークが検出される時間間隔(すなわち、第2ピークの検出周期)Tに基づき、音響効果レベルを決定しても良い。例えば、第2ピークの検出周期が短い場合には、該音響効果レベルを大きく設定する一方、該周期が長い場合には、該音響効果レベルを小さく設定する。このように第2ピークの検出周期Tに基づき音響効果レベルを決定しても良い。
【0071】
<変形例5>
また、以上説明した本実施形態及び各変形例では、操作端末OUとパーソナルコンピュータシステムPSとが別体構成である場合を例示したが、例えば操作端末OUにパーソナルコンピュータシステムPSを構成する様々なハードウェア資源等を搭載するなどして一体構成とし、操作端末OUのみにより、上述した楽曲データ編集、再生処理を実行するようにしても良い。
【0072】
なお、以上説明した本実施形態及び各変形例に係るパーソナルコンピュータシステムPSの本体CPUM0等に係る諸機能は、ハードウェア及びソフトウェアのいずれにおいても実現可能である。ここで、例えば、図5に示す本体CPUM0の各機能をソフトウェアによって実現する場合、該ソフトウェアが記録されている記録媒体(例えばCD−ROM等)をパーソナルコンピュータシステムPSに装着し、インストールする、あるいは該ソフトウェアを備えたサーバからネットワーク(インターネット等)を介してパーソナルコンピュータシステムPSにダウンロードし、インストールする。このように、上述したコンピュータシステムPSに係る諸機能をソフトウェアによって実現することも可能である。
【0073】
【発明の効果】
以上説明したように、本発明によれば、ユーザが所望する曲想の実現及び音響効果の付与を、簡易な操作によって実現することが可能となる。
【図面の簡単な説明】
【図1】 本実施形態に係る楽曲再生システムの構成を示す図である。
【図2】 同実施形態に係る操作端末の外観を示す図である。
【図3】 同実施形態に係る操作端末の構成を示す図である。
【図4】 同実施形態に係るパーソナルコンピュータシステムの構成を示す図である。
【図5】 同実施形態に係るパーソナルコンピュータシステムの機能を説明するための図である。
【図6】 同実施形態に係る経過時間と加速度値αとの関係を例示した図である。
【図7】 同実施形態に係る軌跡形状・方向検出部において生成される移動軌跡情報を説明するための図である。
【図8】 同実施形態に係る操作端末の移動軌跡形状を例示した図である。
【図9】 同実施形態に係る音響効果項目決定テーブルを説明するための図である。
【図10】 同実施形態に係る音響効果レベル決定テーブルを説明するための図である。
【図11】 同実施形態に係る既存楽曲データを説明するための図である。
【図12】 同実施形態に係る操作端末の拍打操作を説明するための図である。
【図13】 同実施形態に係る操作端末の音響効果付与操作を説明するための図である。
【図14】 同実施形態に係る操作端末の音響効果付与操作を説明するための図である。
【符号の説明】
100・・・楽曲再生システム、PS・・・パーソナルコンピュータシステム、OU・・・操作端末、210・・・制御部、220・・・既存楽曲データ記憶部、230・・・標準楽曲データ生成部、240・・・標準楽曲データ記憶部、250・・・標準楽曲データ読み出し部、260・・・外部通信部、T0・・・CPU、T1、M2・・・メモリ、T2・・・送信回路、T3・・・表示ユニット、T4・・・操作スイッチ、SS・・・動作センサ、SSx・・・x軸検出部、SSy・・・y軸検出部、M0・・・本体CPU、M01・・・ローカルピーク・ダイナミクス検出部、M02・・・楽曲再生制御部、M03・・・音響効果付与制御部、M04・・・軌跡形状・方向検出部、M05・・・楽曲データ編集部、M06・・・既存楽曲データ記憶部、M07・・・オリジナル楽曲データ記憶部、M1・・・タイマ、M3・・・受信処理回路、M4・・・検出回路、M5・・・表示回路、M6・・・外部記憶装置、M7・・・楽音発生装置。

Claims (9)

  1. 操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成し、送信する操作端末と、
    前記操作端末から前記運動情報を受信し、受信した運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集装置と、
    前記楽曲データ編集装置から供給される編集後の楽曲データを再生し、楽音を発生する楽音発生装置とを具備する楽曲再生システムであって、
    前記楽曲データ編集装置は、
    前記受信した運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、
    前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段と、
    前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集手段と、
    前記楽曲データ編集手段によって編集された後の楽曲データを前記楽音発生装置へ出力する出力手段と
    を具備することを特徴とする楽曲再生システム。
  2. 操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成し、送信する操作端末と、
    前記操作端末から前記運動情報を受信し、受信した運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集装置とを具備する楽曲編集システムであって、
    前記楽曲データ編集装置は、
    前記受信した運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、
    前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段と、
    前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集手段と
    を具備することを特徴とする楽曲編集システム。
  3. 操作者携帯可能な操作端末から、当該端末を携帯する操作者の動作に応じて生成された運動情報を受信する受信手段と、
    前記受信手段によって受信された運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、
    前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する楽曲再生制御情報生成手段と、
    前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する音響効果制御情報生成手段と、
    前記各制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集手段と
    を具備することを特徴とする楽曲編集装置。
  4. 前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記運動情報から前記操作者の動作に応じた前記操作端末の軌跡形状を特定する軌跡形状特定手段と、
    操作端末の軌跡形状を示す軌跡形状情報と、楽曲に付与する音響効果項目を示す音響効果項目情報とを対応付けて記憶する第1の記憶手段とをさらに具備し、
    前記音響効果制御情報生成手段は、前記軌跡形状特定手段によって特定された軌跡形状を検索キーとして前記第1の記憶手段を検索することにより、対応する音響効果項目情報を取得し、取得した音響効果項目情報に示される音響効果を制御するための音響効果制御情報を、前記ピーク情報から生成することを特徴とする請求項3に記載の楽曲編集装置。
  5. 前記軌跡形状特定手段は、前記運動情報から前記操作者の動作に応じた前記操作端末の軌跡形状を特定すると共に、該軌跡の方向を特定し、
    前記第1の記憶手段は、操作端末の軌跡形状を示す軌跡形状情報と、該軌跡の方向を示す軌跡方向情報と、楽曲に付与する音響効果項目を示す音響効果項目情報とを対応付けて記憶し、
    前記音響効果制御情報生成手段は、前記軌跡形状特定手段によって特定された軌跡形状及び該軌跡の方向を検索キーとして前記第1の記憶手段を検索することにより、対応する音響効果項目情報を取得し、取得した音響効果項目情報に示される音響効果を制御するための音響効果制御情報を、前記ピーク情報から生成することを特徴とする請求項4に記載の楽曲編集装置。
  6. 前記ピーク情報に示されるピーク値と、前記楽曲に付与する音響効果の大きさを示す音響効果レベル値とを対応付けて記憶する第2の記憶手段をさらに具備し、
    前記音響効果制御情報生成手段は、前記検出手段によって検出されたピーク情報を検索キーとして前記第2の記憶手段を検索することにより、対応する音響効果レベル値を取得する一方、前記軌跡形状特定手段によって特定された軌跡形状、または軌跡形状及び該軌跡の方向を検索キーとして前記第1の記憶手段を検索することにより、対応する音響効果項目情報を取得し、取得した音響効果レベル値及び音響効果項目情報から前記音響効果制御情報を生成することを特徴とする請求項4または5に記載の楽曲編集装置。
  7. 操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成する運動情報生成手段と、前記運動情報生成手段によって生成された運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集手段とを具備する楽曲編集端末であって、
    前記運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、
    前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段とを具備し、
    前記楽曲データ編集手段は、前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行うことを特徴とする楽曲編集端末。
  8. 操作者携帯可能な端末であり、当該端末を携帯する操作者の動作に応じた運動情報を生成する運動情報生成手段と、前記運動情報生成手段によって生成された運動情報に基づいて、再生対象たる楽曲に対応した楽曲データの編集を行う楽曲データ編集手段と、前記楽曲データ編集手段によって編集された後の楽曲データを再生し、楽音を発生する楽音発生手段とを具備する楽曲再生端末であって、
    前記運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出手段と、
    前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記ピーク情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する一方、前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記ピーク情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する制御情報生成手段とを具備し、
    前記楽曲データ編集手段は、前記制御情報生成手段によって生成される各制御情報に基づいて、前記楽曲データの編集を行い、編集した後の楽曲データを前記楽音発生手段へ出力することを特徴とする楽曲再生端末。
  9. 再生対象たる楽曲に対応した楽曲データの編集を行う楽曲編集装置の制御方法であって、
    操作者携帯可能な操作端末から、当該端末を携帯する操作者の動作に応じて生成された運動情報を受信する受信過程と、
    前記受信した運動情報から前記操作者の運動の大きさを示すピーク情報を検出する検出過程と、
    前記ピーク情報に示されるピーク値が、設定されている第1の閾値及び第2の閾値を越えている場合、前記運動情報から前記楽曲再生を制御するための楽曲再生制御情報を生成する楽曲再生制御情報生成過程と、
    前記ピーク情報に示されるピーク値が、設定されている前記第1の閾値を越え、かつ、前記第2の閾値を下まわっている場合、前記運動情報から前記楽曲に付与する音響効果を制御するための音響効果制御情報を生成する音響効果制御情報生成過程と、
    前記各制御情報に基づいて、前記楽曲データの編集を行う楽曲データ編集過程と
    を具備することを特徴とする楽曲編集装置の制御方法。
JP2002211322A 2002-07-19 2002-07-19 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法 Expired - Fee Related JP3867630B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002211322A JP3867630B2 (ja) 2002-07-19 2002-07-19 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法
US10/621,975 US7060885B2 (en) 2002-07-19 2003-07-17 Music reproduction system, music editing system, music editing apparatus, music editing terminal unit, music reproduction terminal unit, method of controlling a music editing apparatus, and program for executing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002211322A JP3867630B2 (ja) 2002-07-19 2002-07-19 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法

Publications (3)

Publication Number Publication Date
JP2004053930A JP2004053930A (ja) 2004-02-19
JP2004053930A5 JP2004053930A5 (ja) 2005-09-15
JP3867630B2 true JP3867630B2 (ja) 2007-01-10

Family

ID=30437589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002211322A Expired - Fee Related JP3867630B2 (ja) 2002-07-19 2002-07-19 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法

Country Status (2)

Country Link
US (1) US7060885B2 (ja)
JP (1) JP3867630B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1855267B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
KR100738072B1 (ko) * 2005-02-01 2007-07-12 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법
EP1713057A1 (de) * 2005-04-15 2006-10-18 ETH Zürich Virtuelles Musikinstrument
TWM281223U (en) * 2005-06-30 2005-11-21 Mobinote Technology Corp Illuminating audio player
US20070139366A1 (en) * 2005-12-21 2007-06-21 Dunko Gregory A Sharing information between devices
KR101189214B1 (ko) * 2006-02-14 2012-10-09 삼성전자주식회사 동작에 따른 음을 출력하는 장치 및 방법
JP4320782B2 (ja) * 2006-03-23 2009-08-26 ヤマハ株式会社 演奏制御装置、およびプログラム
JP4748593B2 (ja) * 2006-04-11 2011-08-17 株式会社河合楽器製作所 電子楽器
JP2007286812A (ja) 2006-04-14 2007-11-01 Sony Corp 携帯型電子機器、ユーザインターフェイス制御方法、プログラム
JP4757089B2 (ja) * 2006-04-25 2011-08-24 任天堂株式会社 音楽演奏プログラムおよび音楽演奏装置
JP4679429B2 (ja) * 2006-04-27 2011-04-27 任天堂株式会社 音出力プログラムおよび音出力装置
JP4679431B2 (ja) 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
JP4916762B2 (ja) * 2006-05-02 2012-04-18 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8814641B2 (en) 2006-05-08 2014-08-26 Nintendo Co., Ltd. System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
DE102008039967A1 (de) * 2008-08-27 2010-03-04 Breidenbrücker, Michael Verfahren zum Betrieb eines elektronischen Klangerzeugungsgerätes und zur Erzeugung kontextabhängiger musikalischer Kompositionen
US8237041B1 (en) * 2008-10-29 2012-08-07 Mccauley Jack J Systems and methods for a voice activated music controller with integrated controls for audio effects
US8653350B2 (en) * 2010-06-01 2014-02-18 Casio Computer Co., Ltd. Performance apparatus and electronic musical instrument
CN102651212B (zh) * 2011-02-28 2015-05-27 卡西欧计算机株式会社 演奏装置及电子乐器
JP5902919B2 (ja) * 2011-11-09 2016-04-13 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、情報処理方法
WO2017128267A1 (zh) * 2016-01-28 2017-08-03 段春燕 一种音乐旋律的编辑方法及移动终端
JP7140447B2 (ja) * 2016-12-25 2022-09-21 ミクティック アーゲー 感知ユニットの動きからの少なくとも1つの検出される力を聴覚信号に変換するための装置及び方法
US10152958B1 (en) * 2018-04-05 2018-12-11 Martin J Sheely Electronic musical performance controller based on vector length and orientation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US15123A (en) * 1856-06-17 Ship s capstan and windlass
US10537A (en) * 1854-02-14 Joel b
GB2071389B (en) * 1980-01-31 1983-06-08 Casio Computer Co Ltd Automatic performing apparatus
US5177311A (en) 1987-01-14 1993-01-05 Yamaha Corporation Musical tone control apparatus
JP2663503B2 (ja) * 1988-04-28 1997-10-15 ヤマハ株式会社 楽音制御装置
US5602356A (en) * 1994-04-05 1997-02-11 Franklin N. Eventoff Electronic musical instrument with sampling and comparison of performance data
US5663514A (en) 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture
US5648627A (en) 1995-09-27 1997-07-15 Yamaha Corporation Musical performance control apparatus for processing a user's swing motion with fuzzy inference or a neural network
US5808219A (en) * 1995-11-02 1998-09-15 Yamaha Corporation Motion discrimination method and device using a hidden markov model
US5920024A (en) * 1996-01-02 1999-07-06 Moore; Steven Jerome Apparatus and method for coupling sound to motion
US5890116A (en) * 1996-09-13 1999-03-30 Pfu Limited Conduct-along system
EP1855267B1 (en) 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
JP3867515B2 (ja) 2001-05-11 2007-01-10 ヤマハ株式会社 楽音制御システムおよび楽音制御装置
JP3948242B2 (ja) 2001-10-17 2007-07-25 ヤマハ株式会社 楽音発生制御システム

Also Published As

Publication number Publication date
US20040011189A1 (en) 2004-01-22
US7060885B2 (en) 2006-06-13
JP2004053930A (ja) 2004-02-19

Similar Documents

Publication Publication Date Title
JP3867630B2 (ja) 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法
US7956274B2 (en) Performance apparatus and storage medium therefor
US20030045274A1 (en) Mobile communication terminal, sensor unit, musical tone generating system, musical tone generating apparatus, musical tone information providing method, and program
JP2006284817A (ja) 電子楽器
JP4496993B2 (ja) 楽音制御装置
KR20040077784A (ko) 검색된 음악 부분과 결합하기 위한 음악 검색 시스템
JP3879583B2 (ja) 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体
US7038122B2 (en) Musical tone generation control system, musical tone generation control method, musical tone generation control apparatus, operating terminal, musical tone generation control program and storage medium storing musical tone generation control program
JP3972619B2 (ja) 音発生装置
JP2006251376A (ja) 楽音制御装置
JP3747758B2 (ja) 自動演奏装置
US7351903B2 (en) Musical composition data editing apparatus, musical composition data distributing apparatus, and program for implementing musical composition data editing method
JP5486941B2 (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
JP2007156280A (ja) 音響再生装置、音響再生方法および音響再生プログラム
JPH11338480A (ja) カラオケ装置
JPH10143170A (ja) 楽曲データ作成装置およびカラオケ装置
JPH06124062A (ja) カラオケ装置
JP2011197664A (ja) 音楽ファイル再生装置及びシステム
JP4158634B2 (ja) 楽曲データ編集装置、楽曲データ配信装置及びプログラム
JP4924040B2 (ja) 電子楽器及びプログラム
JP4858174B2 (ja) 電子楽器及びプログラム
JP2002196760A (ja) 楽音生成装置
JP3637782B2 (ja) データ生成装置と記録媒体
JPS63113498A (ja) 鍵盤楽器の自動演奏装置
JP5505012B2 (ja) 電子音楽装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061002

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees