JPH06102877A - 音響構成装置 - Google Patents

音響構成装置

Info

Publication number
JPH06102877A
JPH06102877A JP4274795A JP27479592A JPH06102877A JP H06102877 A JPH06102877 A JP H06102877A JP 4274795 A JP4274795 A JP 4274795A JP 27479592 A JP27479592 A JP 27479592A JP H06102877 A JPH06102877 A JP H06102877A
Authority
JP
Japan
Prior art keywords
sound
data
signal
sound source
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4274795A
Other languages
English (en)
Other versions
JP3381074B2 (ja
Inventor
Haruo Oba
晴夫 大場
Junichi Nagahara
潤一 永原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27479592A priority Critical patent/JP3381074B2/ja
Priority to KR1019930018345A priority patent/KR100275799B1/ko
Priority to US08/122,363 priority patent/US5471009A/en
Publication of JPH06102877A publication Critical patent/JPH06102877A/ja
Application granted granted Critical
Publication of JP3381074B2 publication Critical patent/JP3381074B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00Instruments in which the tones are generated by electromechanical means
    • G10H3/12Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/32Constructional details
    • G10H1/34Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/344Structural association with individual keys
    • G10H1/348Switches actuated by parts of the body other than fingers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/351Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/371Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G10H2220/376Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information using brain waves, e.g. EEG
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/321Gensound animals, i.e. generating animal voices or sounds
    • G10H2250/325Birds
    • G10H2250/335Sea birds, e.g. seagulls
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/391Gensound footsteps, i.e. footsteps, kicks or tap-dancing sounds
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/395Gensound nature
    • G10H2250/411Water, e.g. seashore, waves, brook, waterfall, dripping faucet
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/395Gensound nature
    • G10H2250/415Weather
    • G10H2250/431Natural aerodynamic noises, e.g. wind gust sounds, rustling leaves, beating sails
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/641Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts

Abstract

(57)【要約】 【構成】 入力信号変換回路部10からの出力信号をデ
ータ抽出回路部12に供給し、信号を解析してデータを
抽出してMIDI信号変換回路部13に供給する。MI
DI信号変換回路部13は、該データ抽出回路部12で
抽出した音源データに基づいて音源制御データを音源発
生回路部14に出力する。音源発生回路部14は、MI
DI信号変換回路部13からの制御データに応じた音信
号を発音回路部15に出力する。最終的に、発音回路部
15は、供給される出力信号を変換して発音させてい
る。 【効果】 原音と全く違う音の構成にして出力し、リス
ナーやリスニング環境等と相互に影響し合って偶然性、
意外性及びインタラクティブ性に富んだ音響再生を可能
にして、再生可能時間等の時間依存性を排除することが
できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、予め入力された音を構
成する音素片をトリガとして発生させる音と外部環境の
状態の変化を検出した入力信号とを相互作用させ、かつ
リアルタイムに演奏時間の制約を受けずに発音させるこ
とのできる音響構成装置に関するものである。
【0002】
【従来の技術】従来からの音響再生装置は、例えばレコ
ードプレーヤ、光ディスクを用いた再生装置、カセット
テープレコーダ等がある。これらは、いずれも予め記録
媒体に記録されている音データを再生して音楽等を楽し
むものである。
【0003】また、ハードウェアとソフトウェアを用
い、例えばコンピュータ、オーディオ機器及び記録媒体
を駆使して音楽を作曲したり、ユーザが弾いた音を楽譜
になおす等のいわゆるコンピュータ・ミュージックが盛
んになってきている。このコンピュータ・ミュージック
は楽器を自動演奏させて音楽を聴く場合がある。この楽
器の自動演奏は、予め記録されている音響再生用のMI
DIシーケンスデータを音源装置に供給して音を発生さ
せている。実際、生の楽器を演奏して前述したMIDI
シーケンシャルデータを音源であるサンプラ等のオーデ
ィオ機器に供給して、演奏や作曲を行うことにもコンピ
ュータ・ミュージックによるシステムを利用することも
できる。
【0004】上述した記録媒体には記録容量に限界が存
在することから、例えば記録内容に応じた演奏等が一定
時間に限って時間に関して固定的に再生されることにな
る。そこで、この再生される時間の延長を図るために、
前述した音響再生装置は予めループ機能をもったプログ
ラムで繰り返し再生される範囲及び繰り返し回数を設定
して再生時間の延長が図られている。
【0005】一方、最近の音楽の傾向は、このようなハ
ードウェアの面の問題だけでなく、演奏される音楽、す
なわち音楽ソフトウェアも大きく様変わりしつつある。
このような音楽ソフトウェアの様変わりは、社会の影響
によるところが大きい。現在の社会は、21世紀に向け
て生活時間も大きく変化しつつある。これに伴って人の
生活時間に対する意識も変化しつつある。現在の人の要
求は、従来までの物質的な豊かさを満足させようという
要求や心に余裕のない忙しい毎日からこれらに対する脱
日常的な感覚として精神的な心の豊かさや心のやすらぎ
を求める音楽へと要求が変化してきている。また、音楽
に対する姿勢も単に音楽を聴く受動的な態度から能動的
に自己の感覚を表現し、演出する傾向が強くなってきて
いる。
【0006】このような社会動向の変化に伴って人の指
向は、実際に外部環境として例えば自然と自分の係わり
合いを注目するようになっている。人の趣向を反映する
ものとして例えば森や海の中の環境音をテーマにした
り、ゆったりした音楽を聴くことによって日頃の状況か
ら解き放たれた脱日常感が容易に得られる装置の要求が
高くなってきている。
【0007】
【発明が解決しようとする課題】ところで、前述した従
来の音響再生装置は、記録媒体に予め記録されている音
響データを再生して音場を構成するものであった。従っ
て、この音響再生装置は、記録媒体の容量及び記録媒体
から取り出したデータを音に再生するための再生技術の
特性から、ソフトウェアによる連続繰り返し再生モード
を用いずに1回だけの再生ではそれぞれの装置毎に再生
可能な時間が制限されていた。逆に、上述した再生可能
な時間の延長は、音楽の再生に用いる記録媒体に記録す
る音響データの増大を意味することになる。従って、再
生時間延長は、再生時間に比例して記録容量の増加、あ
るいは予め複数の記録媒体を設ける必要性が生じる。
【0008】従って、上述したように繰り返し再生を行
わず、あるいは複数の記録媒体を用いずに長時間の再生
を行うことは、現在の音響再生装置では不可能である。
また、現在の音響再生装置は、予め記録されている音響
データを用いているから、リスナーやリスニング空間等
の状況に対応して演奏状態を自動的、かつ即時的に変化
させることができない。
【0009】また、一般的に音楽の演奏・創作活動を行
う場合、演奏・作曲を行うための技術、複雑なコンピュ
ータに関する知識や技術が必要性になる。このため、こ
れらの活動が行える人は技術等の修得に多大な時間を要
することから制限されることになる。従って、通常、上
述した範疇以外の人は再生される音楽を受動的に聴くだ
けになってしまう。また、従来の音響再生装置ではリス
ナーは、例えばライブコンサートで聴くときのように演
奏状態そのもの、あるいはリスニング空間に影響を及ぼ
すことはできない。
【0010】そこで、本発明は、このような実情に鑑み
てなされたものであり、再生時間の制約を受けることな
く、外部環境の状態、あるいは状態の変化に対応してリ
スナーの要求に合った音を発生させて有効な音響効果を
得ることができる音響構成装置の提供を目的とする。
【0011】
【課題を解決するための手段】本発明に係る音響構成装
置は、外部環境の状態の変化を信号に変換して入力する
入力手段と、該入力手段からの出力信号を解析してデー
タを抽出するデータ抽出手段と、該データ抽出手段で抽
出した音源データに基づいて音源制御データを出力する
音源制御手段と、該音源制御手段からの制御データに応
じた音信号を出力する音源手段と、該音源手段からの出
力信号を変換して発音させる発音手段とを有して成るこ
とにより、上述の課題を解決する。
【0012】ここで、上記入力手段は、上記外部環境と
して音として特に、外部環境雑音と、振動と、光と、温
度と、湿度と、気圧と、時刻、日、季節等の時間に関す
る情報と、脳波、体温、脈拍、発汗、呼吸数等の生体情
報の少なくとも1つの状態及び状態の変化を検出し電気
信号に変換したり、撮像装置を介して供給される情報を
用いる。
【0013】上記データ抽出手段は、上記入力手段で変
換した電気信号から音のピッチを抽出や音量情報をレベ
ル値として抽出している。また、このデータの抽出は、
撮像された画像の変化量をデータとして抽出してもよ
い。
【0014】上記音源制御手段は、上記データ抽出手段
からのデータをMIDI情報に変換し、さらにMIDI
情報を音響効果の制御情報に変換したりしている。
【0015】上記音源手段は、上記音源制御手段からの
MIDI情報のピッチデータに応じて音素片の信号を出
力し、この出力信号をMIDI情報の音量データに応じ
た信号を発生させる音源信号発生手段から出力したり、
供給されるMIDI情報に応じて音源信号発生手段から
の発音に音響効果を与える音響効果発生手段とを有する
ことにより、上述の課題を解決する。
【0016】
【作用】本発明の音響構成装置は、入力手段を介して外
部環境の状態の変化を信号に変換して信号を出力し、デ
ータ抽出手段ではこの出力信号を解析してデータ抽出を
行い、音源制御手段ではデータ抽出手段で抽出した音源
データに基づいて音源制御データを出力し、この制御デ
ータに応じた音信号を音源手段で出力し、この出力信号
を変換して発音手段を介して発音させて時間の制約を取
り除いている。
【0017】この発音に当たって上記入力手段から上記
外部環境として音として特に外部環境雑音と、振動と、
光と、温度と、湿度と、気圧と、時刻、日、季節等の時
間の情報と、脳波、体温、脈拍、発汗、呼吸数等の生体
情報の少なくとも1つの状態及び状態の変化を検出して
電気信号に変換することにより、これらの外部環境の情
報を装置に取り込んでリスナーに音を供給することがで
きる。
【0018】上記データ抽出手段は、上記入力手段で変
換した電気信号から音のピッチを抽出したり、音量情報
をレベル値として抽出したデータや撮像された画像の変
化量のデータ等を音を作成する上でのトリガ情報を生成
している。また、上記音源制御手段は、供給されたトリ
ガ情報を発音や音響効果に対応するMIDI規格のデー
タに変換して発音される音の自由度を高めている。
【0019】上記音源手段は、上記音源制御手段からの
MIDI情報のピッチデータに応じて音素片の信号を出
力し、この出力信号をMIDI情報の音量データに応じ
た信号を出力して対応する音の品質を高いものにしてい
る。
【0020】
【実施例】以下、本発明に係る音響構成装置の一実施例
について、図面を参照しながら説明する。
【0021】ここで、実際、既に定義されている音楽は
音による芸術であり、拍子、節、音色、和声等に基づ
き、種々の形式に組立られた曲を人声や楽器で奏するも
の、あるいは音を素材としてその強弱、長短、高低、音
色等を組合せて作り、美的な感情をおこさせる芸術と定
義されている。ところで、本発明の音響構成装置による
対応する仮想現実音、自然音の再現等の一般の音楽ソフ
トウェアとして扱われる音響も音楽として扱うものとす
る。このように定義した音を扱うことができる音響構成
装置の基本的なブロック構成について説明する。
【0022】本発明に係る音響構成装置は、図1に示す
基本的な回路構成を、外部環境の状態の変化を信号に変
換して入力する入力手段である入力信号変換回路部10
と、該入力信号変換回路部10からの出力信号を解析し
てデータを抽出するデータ抽出手段であるデータ抽出回
路部12と、該データ抽出回路部12で抽出した音源デ
ータに基づいて音源制御データを出力する音源制御手段
であるMIDI信号変換回路部13と、該MIDI信号
変換回路部13からの制御データに応じた音信号を出力
する音源手段である音源発生回路部14と、該音源発生
回路部14からの出力信号を変換して発音させる発音手
段である発音回路部15とで構成している。
【0023】なお、このデータ抽出回路部12とMID
I信号変換回路部13とは一体的に構成したデータ解析
回路部11とみなしてもよい。
【0024】これらの各回路部について説明すると、図
1に示す入力信号変換回路部10は外部環境の状態の変
化を取り込み、電気信号に変換するセンサ部10aと、
センサ部10aからの出力信号を増幅するアンプ10b
と、で構成している。上記センサ部10aは、後述する
ように各種のセンサが本発明の音響構成装置に対応させ
ることができる。
【0025】取り込んだ外部環境に関する情報はディジ
タル信号に変換されてデータ抽出回路部12に供給され
る。このデータ抽出回路部12は、上記アンプ10bを
介して出力されるアナログ信号レベルをディジタル信号
に変換するA/D変換器12aと、電気信号から音のピ
ッチを抽出するピッチ抽出回路部12bと、電気信号か
ら音量情報をレベル値として抽出する音量抽出回路部1
2cとで構成している。上記音量情報は、供給された音
の各ピーク値の平均値として得られる。ピッチ抽出回路
部12bは、抽出したピッチ情報をMIDI信号変換回
路部13に供給する。また、音量抽出回路部12cは、
抽出した音量情報をMIDI信号に変換して後述する発
音回路部15のアンプ15aの増幅される出力値を制御
してもよい。
【0026】MIDI信号変換回路部13は、供給され
た音情報をディジタル信号で通信するための国際規格で
あるいわゆる音楽機器ディジタルインターフェース(Mu
sicInstrument Digital Interface)機器を介してMI
DI規格の信号に変換している。上記MIDI規格に
は、ディジタルデータのハードフォーマットからソフト
フォーマットに至る各種の通信方法が規定されている。
MIDI規格のディジタルデータは、音情報をステータ
スバイトとデータバイトで示されている。
【0027】上記ステータスバイトは、最上位ビットを
“1”にすることで示す以降の3ビットで例えばノート
オフ、ノートオン等の各種ステータスの種類の指定と、
下位4ビットでMIDIチャンネルを定義している。ま
た、データバイトは最上位ビットを“0”にすることで
この領域を指定し、下位7ビットをデータ領域としてい
る。このように指定された規格に対応するよう変換して
供給されたディジタル信号をMIDI信号変換回路部1
3は、例えばMIDIケーブルを介して音源発生回路部
14に制御する信号を出力している。
【0028】音源発生回路部14は、音素片発生部14
a、エフェクタ部14b及びD/A変換器14cとで構
成している。上記音素片発生部14aは、供給されるM
IDI信号のディジタルデータに対応する例えば波の
音、海猫の鳴き声やシギの群れの声等の音素片の対応付
けを行ってエフェクタ部14bに出力する。この音素片
の信号波形については後述する。エフェクタ部14b
は、供給された信号に対して例えばビブラート、モジュ
レーション及びリバーブレーション等の音響効果をもた
らすように加工している。これら一連の処理が施された
信号が、D/A変換器14cに供給される。
【0029】なお、上述した構成は、ディジタル処理で
エフェクタを変える場合の構成を示すものであるが、D
/A変換器14cの後にエフェクタ部14bを設けても
よい。
【0030】D/A変換器14cでは、ディジタル信号
をアナログ信号に変換して発音回路部15に供給してい
る。発音回路部15は、アンプ15aとスピーカ15b
で構成している。このアンプ15aは、前述した音量抽
出回路部12bから抽出されたディジタルデータに基づ
いて信号を増幅している。この増幅された信号は、スピ
ーカ15bを介して音信号に変換される。
【0031】このように構成して入力された外部環境の
変化に対応した情報をトリガとしてMIDI規格のデー
タと音素片をソフトウェア的に選択して対応付けて音を
発音されることにより、同じ記録媒体に記録されている
情報を繰り返し再生する音響再生装置と異なり、再生に
おける時間的な制約を受けない自由度及び品質の高い音
の再生を行うことができる全く新しい概念に基づく音響
機器を提供することができる。
【0032】本発明の音響構成装置におけるより具体的
な第1の実施例を図2及び図3に示す回路構成とソフト
ウェアの制作に関して図4〜図12を参照しながら説明
する。ここで、図1に前述した基本構成回路と共通する
部分には同じ参照番号を付している。
【0033】また、本実施例は、ある空間、例えば図2
に示す会議室16等においてトリガに対応した波の音、
鳥の声等を発生させると共に、さらにこの空間16にい
る個々の人間の話し声をマイクロフォン10Aでサンプ
ルし、このサンプルした音声、あるいは雑音の環境に合
わせて音響構成装置による音の発生の度合いを変化させ
る場合を図3に示すブロック図を参照しながら説明す
る。
【0034】本発明の音響構成装置において、上述した
センサ部10aは図3に示す外部環境を音響構成装置に
取り込む入力手段のセンサとしてマイクロフォン10A
を用いている。マイクロフォン10Aは、外部環境の音
を取り込む。上記入力手段として音響−電気変換手段で
あるマイクロフォン10Aを用い、外部環境雑音を集音
して入力し、電気信号に変換している。また、この電気
信号は、音響構成装置における音響発生のスイッチング
用トリガとして用いている。上記マイクロフォンは、例
えば通常のコンデンサ型、またはダイナミック型等のも
のを使用する。
【0035】外部環境の電気信号に変換された音は、ラ
インレベルにアンプ10bを介して増幅され、データ解
析部11の例えば電気信号の中から音のピッチを抽出し
MIDI規格のディジタルデータに変換するPitch
to MIDI変換器(以下ピッチ−MIDI変換器
という)12Aに供給される。
【0036】ピッチ−MIDI変換器12Aは、供給さ
れるアナログ信号を図1に示したA/D変換器12aに
相当するA/D変換器(図示せず)でディジタル信号に
変換する。このディジタル信号は、図1に示したピッチ
抽出回路部12aに相当するピッチ−MIDI変換器1
2A内で入力信号から音の基本周波数、音圧レベル、時
間変化等に関する音響情報を数値化し、音のピッチ信号
を検出している。従って、このピッチ−MIDI変換器
12Aは音圧レベルから前記音の平均レベルとしての音
量に関する情報も抽出することから、音量抽出回路部1
2bに相当する機能も有している。さらに、このピッチ
−MIDI変換器12Aは上述した情報をMIDI規格
の信号に変換して音源発生回路部14であるサンプラ1
4AにMIDI信号を供給する。なお、これらの一連の
音響情報を解析し、変換制御するため内蔵するCPUを
用いて行っている。
【0037】実際に、上記音響情報は、MIDI規格の
情報としてそれぞれ音の基本振動数をノートナンバー、
音圧レベルをベロシティレベル、時間変化をノートオン
やノートオフに、また、発音後の変化に対する情報をア
フタータッチとしてそれぞれ変換している。これら音響
情報であるMIDI規格のディジタルデータは、このM
IDI規格によって制御される音源発生回路部14の発
音、あるいは演奏情報として供給される。上記音源発生
回路部14は、これらの音響情報によって発生させる音
素片の対応を行っている。
【0038】本発明では上述したように音の各情報に対
する対応は、図示していないMIDIインターフェース
を介して供給されたMIDI信号とPROM14Bに書
き込まれているソフトウェアとを内蔵するCPU14C
によって例えば対応する鍵盤と対応させ、この対応する
再生信号として使用する予め記憶させておいた音素片を
RAM14Dから出力する。この音の各情報に対する対
応を示すソフトウェアの手法については、後段において
詳述する。
【0039】上記音源発生回路部14に相当する音響機
器として例えばサンプラを使用する。サンプラ14A
は、元来楽器用に開発された音響機器である。このた
め、各音源に対応する属性の決定はシンセサイザと似た
方法で決定している。上記シンセサイザは、音を複数か
らなる要素に分けて所望の音色を創作している。
【0040】ここで、簡単に音とサンプラについて説明
する。サンプラは、例えば音をサンプリング(標本化)
してディジタルデータに変換して記録しておき、再生時
には、記録されているディジタルデータを、音の高さ等
のパラメータを所望の値に設定して再生する装置といえ
る。
【0041】このような機能を有するサンプラは、実際
に例えば予め動物の鳴き声や生の楽器の音等をディジタ
ルデータに変換して装置に記憶させておき、キーボード
を弾くことでこれらの記憶した音に音の高さを変化させ
自由にメロディをつけて演奏させることもできる。従っ
て、このサンプラは、一から音色を合成して音を構成す
るいわゆるシンセサイザと異なり、音色を楽器外の実際
に既に存在している音に求めて、この音色を素材として
様々に加工、合成していくものである。
【0042】サンプリングしたディジタル音声データは
そのままで使用しにくいことから、上記ディジタル音声
データを多少加工する必要がある。この加工操作が、い
わゆる「編集」である。この「編集」操作は、ソフトウ
ェア、いわゆるサンプル・エディティング・ソフトで行
っている。この編集用のソフトウェアには、ルーピング
機能、イコライザ機能、フィルタ機能、ピッチシフト機
能、タイムコンプレス、タイムエキスパンド機能、アン
プリチュードの変更機能等を有している。
【0043】上記ルーピング機能は、サンプリングした
波形の一部分を繰り返し効率よく再生して持続音を表現
するものである。イコライザ機能は、音の特定周波数成
分に対して変更を加えて波形を書き換えて表現する機能
である。フィルタ機能は、音の周波数を選択的に取り出
す機能である。
【0044】一般に音のピッチは、例えばテープ等の再
生において再生速度が速いとき音程が上がり、再生速度
を遅くするとき音程が下がる。一方、サンプラには、サ
ンプリングした音の再生速度をそのままに音の高さだけ
を変化させることができ、このように音の高さ(ピッ
チ)のみを変化をさせる機能をピッチシフト機能と呼ん
でいる(図4を参照)。
【0045】タイムコンプレス、タイムエキスパンド機
能は、上記ピッチシフト機能と逆に音の高さをそのまま
に再生速度を可変して音の再生速度の短縮化(図5を参
照)と延長化(図6を参照)を図る機能である。この音
の再生速度の短縮化と延長化は、図5及び図6に示すよ
うに例えば100ms程度の短時間内での再生音を減衰さ
せる機能に対し、初めの時間に比べて例えば400ms程
度の長い時間で減衰させるといった互いに再生時間の変
化が対の関係にあることが判る。
【0046】また、アンプリチュードの変更機能は、音
の大きさを揃えるため計算で波形の書換えを行う機能で
ある(図7を参照)。この機能を発展させて波形の各部
分に対して自由に変更を加えれば、音の立ち上がりや減
衰等のいわゆる「エンベロープ」の設定を行うこともで
きる(図8と図9を参照)。
【0047】音源として使用するサンプラは、先ず音色
を規定する音の波形を予めRAMやROM等のメモリ上
にPCMディジタルデータとして記録しておく。さら
に、このディジタルデータは、上述した「エンベロー
プ」を規定してやることで録音された音源の再生音とし
てどのように再生されるか決めることができる。
【0048】次に、このソフトウェアによる各作業は、
MIDI規格のノートナンバーに対応させて各音源の音
量を決定して音の高さ及び音量を決定する。換言すれ
ば、ある周波数の音に対してどの音源(すなわち音の波
形)を対応させ、どのくらいの音量で、どのように音を
変化させるか(すなわちエンベロープの変化)という各
種の属性が決定されたことになる。
【0049】このように再生音を規定するためにサンプ
ラ14Aは、音の高さ、音量、音色として音の波形及び
エンベロープの各属性を決定した属性に従って変化さ
せ、複合制御された再生信号をD/A変換器14Eに供
給する。D/A変換器14Eはアナログ信号に変換して
発音回路部15に出力する。
【0050】なお、サンプラは、音源及びその音の各属
性を外部記憶媒体であるフロッピーディスク17等の記
憶媒体に記録しておくことができる。この記憶媒体に記
憶してある各種のディジタルデータをサンプラのメモリ
上に読み込む方法を採用すれば、上述した海の情景だけ
でなく、異なった音源としてサンプラを使用することが
でき、異なる環境の音の再生を行う上で非常に便利であ
る。
【0051】アナログ信号に変換された再生信号が、ア
ンプ15aを介して増幅され、会議室16に設置したス
ピーカ15bによって再生される。このように本発明の
音響構成装置はマイクロフォン10Aで採取した環境音
をトリガ信号として自然音を再生している。また、上記
アンプ15aは、MIDI規格の信号に応じて再生信号
の振幅、すなわち音量を制御させてもよいし、音響構成
装置が発した音をフィードバックさせて音響状態を常に
制御する方法をとってもよい。
【0052】また、前述した環境音をトリガとして用い
る際に、ピッチ−MIDI変換器でMIDI規格に変換
する方法を採用しているが、本発明の構成においてトリ
ガの変換方法は上述の方法に限定されるものではない。
本実施例の場合、図1に示したデータ解析部11と音源
発生回路部14とが分離されているため、信号の伝達の
一手段として用いている。音の変換部におけるMIDI
規格の使用はあくまでも便宜的なものに過ぎない。
【0053】次に、音の対応関係をもたらすためのソフ
トウェア制作について説明する。ここで、具体的なソフ
トウェアとして前述した海の情景を参考にしながら説明
する。このソフトウェアプログラムは、少なくとも創作
しようとする音楽の構成要素となる音素片やトリガとし
て入力した入力信号のデータ解析結果及びこの解析結果
の数値化した数値に対して音素片をどのように対応させ
るかという対応情報を含んでいる。
【0054】先ず、ソフトウェアの制作にあたりある環
境における音響の構成を音楽的、サウンドスケープデザ
イン的な視点で分析する。この考え方は、平凡社のR.
マリー・シェーファー著「世界の調律」に上記サウンド
スケープデザインについての記載がなされている。サウ
ンドスケープデザインで音響の構成音は、大別して基調
音と装飾音に分けることができる。
【0055】上記基調音とは、ある環境の中でその音響
のイメージを形作る上で根幹をなす音と定義している。
また、装飾音とは、上記基調音によって形作られた音響
の中でその音響をより特徴付けるものにしている音と定
義している。音響構成装置のソフトウェアの制作に当た
って集音された音響及び再生される音の中で上記2つの
音を見極めることが必要となる。この定義された2つの
音を見極める一つの方法として各周波数のポイントにお
ける音の頻出度合いを調べる方法がある。
【0056】第1の実施例の場合、マイクロフォン10
Aによって集音された会議室の音響をピッチ−MIDI
変換器12Aを通すことでMIDI規格の信号に変換で
きることは、前述した通りである。ピッチ−MIDI変
換器12Aは、例えばこのMIDI規格の信号をMID
Iモニタ等を通すことにより、入力した音の中にどの周
波数の音がどのくらいの頻度で存在しているかを調べる
ことができる。この検出した周波数毎の各頻度を周波数
に対する頻度としてグラフに表示すると、図10(A)
に示すグラフが得られる。
【0057】図10(A)に示す会議室でサンプリング
した入力音の各周波数に対する頻度は、100Hz付近
の音が最も頻度が高く、次に10kHz付近の音の頻度
が高かったとする。図10(A)に示す上記入力音は定
義から、この場合100Hz付近の音が基調音としての
音域にあたり、10kHz付近の音が装飾的な音域にあ
たっていると考える。
【0058】会議室において周波数分析した結果から上
記基調音の周波数の実際の音は、基調音が図10(B)
に示す人の会話の音に相当し、装飾音は図10(B)に
示すドアの開閉音、空調ノイズ、足音等がこの周波数に
該当していることが判った。
【0059】第1に、これらの音に対応して発音させる
音素片を音源としてそれぞれ割り当てる。この割り当て
した音素片を再生すれば、入力音と再生音の対応関係が
生じ、入力音をトリガとする音楽的、サウンドスケープ
デザイン的な視点に基づくソフトウェアの制作が可能に
なる。前述した第1の実施例において使用するMIDI
規格の音源機器は、原則的にMIDI規格で送られたノ
ートナンバーに対応した音源を再生することにある。
【0060】ここで、割り当てるノートナンバー0〜1
27の128個は、88鍵あるピアノでいう中央の
“C”、すなわちC3 を60として音階C-2〜C8 に割
り当てられている。上記基調音に対して割り当てるノー
トナンバーは図10(C)に示すように例えばNo.3
0〜40付近を割り当てて再生音を図10(D)で波の
音に対応付けて設定している。
【0061】また、装飾音に対してノートナンバーは図
10(C)に示すように例えばNo.90〜100付近
を割り当てて再生音を図10(D)で上記波の音以外の
海鳥の鳴き声1、2、風の音等の自然音をそれぞれ設定
している。実際、波の音は、ピッチを可変に設定して各
種周期の波を表現している。また、海鳥の鳴き声として
例えば海猫を表現する場合、ピッチを一定にして不自然
な声が発せられないように設定する音素片とピッチを可
変にして複数の音の高さで鳴いているように表現できる
ようにソフトウェアで設定している。
【0062】また、図10(C)に示した各音素片の割
り振りは、ソフトウェアで実際に各音域に合わせてオー
バーラップするように音を割り振りしている。この音の
割り振りによって、入力される音は高くても低くても略
々均等に発音させることができる。
【0063】さらに、上述した対応関係にある音に対し
て音の各種属性を変更して再生させると再生音の表現に
広がりをもたらす。音源に付随する表現に関するパラメ
ータは各種存在する。これらのパラメータの主なものを
挙げてみると、パラメータには、波形データのある範囲
を繰り返し再生するループ、音源の時間変化を示すエン
ベロープ、各音源の音量変化の設定、音の鮮明度の変化
をカットオフ周波数の設定により行うフィルタの設定、
音像定位、音の強弱を表すベロシティ及び同時に発音さ
せる音源の選択等がある。
【0064】実際に、図10で示した3つの音素片に対
してパラメータを設定する例を図11に示す。ここで、
波の音は波形から明らかなように音の立ち上がり(すな
わちアタック)を緩くして音素片の強さで立ち上がりを
変化させて雰囲気を出している。また、海鳥の鳴き声も
入力音の強さで音量を変化させることで遠くで鳴いた
り、近くで鳴いた雰囲気を出すように設定している。
【0065】図11(a)は、波の音、海鳥の鳴き声及
び風の音等の自然音の各音素片の波形を示している。ル
ープを設定する際、波の音は基本周波数の波形全部の区
間A1を繰り返し再生する。海鳥の鳴き声及び風の音等
の自然音に対して設定するループさせる区間は、それぞ
れA2、A3を繰り返す処理を設定している。
【0066】また、図11(b)に示す波形は、音の振
幅波形の包絡線に相当するエンベロープである。例え
ば、鍵盤(キー)を放したり、あるいは入力信号の音程
が変化するポイントを音のリリースポイントとして表す
ことができる。ソフトウェア制作においてこの音のリリ
ースポイントからリリースを長くすることで、瞬間的に
音が入ってすぐに切れてしまった場合でも、音響構成装
置から発音される音はひとしきり聴こえるように設定し
ている。波の音以外の2つの波形は略々同じ波形に設定
している。このようにエンベロープを細かく設定するこ
とで音の特徴やつながりを自然なものにすることができ
る。
【0067】図11(c)に示す数値は、規格した音の
レベルに対する音の大きさを音量比として示している。
波の音の音量比は10に設定している。また、海鳥の鳴
き声の音量比は5に設定している。第3の音である風等
の自然音の音量比は3に設定している。全体的な音量比
を決めてやることで、再生音響における空間感等を表現
することができる。音楽の制作に使われる各音の要素を
有しているから、単一音源だけでもかなりの表現は可能
であるが、このように各パラメータを設定して再生音を
構成し、複合して用いることにより、より一層のきめの
細かな音の表現を行うことができるようになる。
【0068】ソフトウェアは、前述したこれらの音の構
成を制御する音楽用のソフトウェア18を格納するだけ
でなく、図3に示すサンプラ14AのPROM14Cに
は、図12に示す制御用ソフトウェア19も含まれてい
る。この制御用ソフトウェア19によってサンプラ14
Aの動作制御する動作制御ブロック部14Fを介して前
述した各種音素片を再生するブロック部14Gから再生
信号を発音回路部15に出力している。
【0069】このようにサンプラのハードウェア制御用
ソフトウェア及び音素片を設定する音楽用ソフトウェア
を分けて構成することにより、音響再生される音に表現
の幅をもたせることができると共に、特に、外部から記
録媒体を介して音楽用のソフトウェアを供給することが
できることから、対応して再生する音響を自由に設定す
ることもハードウェアの変更等を要すことなく、容易に
行うことができる。
【0070】このように構成することにより、音響構成
装置はこの装置からの出力する音を原音と変換後全く違
う音の構成にして出力することができる。これに対し
て、従来のディジタル信号処理装置(Digital Signal P
rocessor)では、単に元の音に対して付加的な要素とし
て例えばエコー処理やピッチの変更等を行って図13
(A)に示す波形変換は容易に行うことができるもの
の、本発明の音響構成装置のように各種の信号処理を行
った後に図13(B)に示すように入力信号と全く異な
る音、楽音を出力することは非常に困難、あるいは不可
能である。
【0071】本発明の音声構成装置は、上述した複雑な
理論を駆使した信号処理を行うことなく、容易に音素片
をトリガとして各音の要素を編集設定することにより、
原音を全く異なる音の構成に変換することができる。特
に、周囲環境の雑音を状況に合わせて即時的に変化させ
ることができる。
【0072】また、この音響構成装置は、リスナーやリ
スニング環境等と相互に影響し合って偶然性、意外性及
びインタラクティブ性に富んだ音響再生を可能にしてい
る。音響構成装置は、記録媒体を再生する音響機器でな
く、再生可能時間等の時間依存性を排除することができ
る。この再生される音の構成や音楽に対して音響構成装
置が必要とするデータは、外部環境からの入力情報がト
リガデータに対応させることにより、時間に対し独立さ
せることができ、装置内に内蔵するデータを最小限に抑
えることができる。
【0073】音響構成装置は、複雑なディジタル機器を
用いることなく、装置内に予め記憶されたプログラムに
応じた例えば仮想現実音、あるいは音楽等の作成も容易
にでき、リスナーもある程度演奏に参加することができ
る。
【0074】音響構成装置に使用するプログラムソフト
ウェアは、上述したように限定したデータを基に時間に
依存しない新たな音楽ソフトウェアを市場に提供するこ
ともできるようになる。
【0075】なお、音響構成装置は、上述したように単
体構成で発音できるが、例えばMIDIアウト端子から
外部に別個に用意した同様のシステムを制御するように
設定すれば、より多くの演奏結果のバリエーションを得
ることも可能になる。
【0076】次に、本発明の音響構成装置における第2
の実施例について図14を参照しながら説明する。ここ
で、共通する部分には同じ参照番号を付して説明を省略
する。本実施例は、図1に示したセンサ部10aに使用
するセンサを第1の実施例のマイクロフォン10Aと異
なる脳波検出装置を用いている。
【0077】この脳波検出装置10Bは、ヘッドバンド
20と電極21、アンプ22及び送信機23とが一体的
に構成されているものである。検出された脳波データは
テレメータ方式で音響構成装置内に設けている電波受信
機を有する受信用インターフェース24を介して音響構
成装置に供給され、最終的に発音用のトリガ信号として
使用される。
【0078】なお、この脳波データをMIDIインター
フェースを介してMIDI規格の信号に変換してもよ
い。
【0079】電波の受信用インターフェース24から供
給される脳波の電気信号は、データ解析部11で電気信
号の波形からピッチ抽出、音量抽出を行いサンプラ14
AにMIDI信号に変換されて供給される。サンプラ1
4Aは、このMIDI信号をソフトウェアの動作に応じ
た音の音素片や音の各種要素に対応させた発音用の信号
を発音回路部15に供給する。発音回路部15は、供給
された信号をアンプ15aで増幅しスピーカ15bから
入力した電気信号と全く異なる音を発音させる。
【0080】脳波は、検出される周波数によって分類さ
れる。脳波の分類は、低い周波数から4Hzまでの脳波
をδ波、4Hz〜8Hzまでの脳波をθ波、8Hz〜1
3Hzまでの脳波をα波、13Hz以上の周波数の脳波
をβ波と4つに分けられている。
【0081】脳波は、脳の機能を反映し、さらに被検者
の精神状態をも反映するものである。上記α波は、安静
時、眼を閉じているとき、後頭部に多く発生する。β波
は、緊張したり、精神集中しているときに発生する。δ
波やθ波は眠っている際に発生する。検出される脳波に
は個体差がみられるものの、上述した一般的な傾向が存
在することは明かである。
【0082】この傾向を利用して個々の精神状態を調整
する機器として用いることができる。例えば、精神を安
定させたい場合、音響構成装置は、脳波の検出に応じて
発せられる音をα波の検出を促すような音に設定すれ
ば、被検者は音を聴いてα波を誘発させることが容易に
できるようになる。音響構成装置は、所望の脳波を音に
よってフィードバックさせることにより、自己コントロ
ールするためのトレーニング機器になる。
【0083】また、脳波を検出する方法は、上述した方
法に限定されるものでなく、脳の活動に応じて流れる神
経電流によって磁界が発生する。頭皮上の磁束密度を測
定して脳に流れる神経電流量を計算から算出することが
できる。この神経電流や検出される磁界の変化を音響構
成装置の入力信号として用いることもできる。例えば純
音、クリック音、ノイズ、楽音、音節、単語頭のあらゆ
る音によって聴覚刺激を受けることにより、聴覚誘発脳
磁界が変化する。また、スポット光、正弦波グレーティ
ングパターン、チェッカーボードパターン、あるいはラ
ンダムドットパターン等の視覚刺激によっても視覚誘発
脳磁界が変化する。このような信号を入力信号に用いれ
ば音響構成装置は、聴覚や視覚に対応した音を発生させ
ることもできる。
【0084】トリガ信号に使用するセンサに入力する情
報は、上記脳波に限定されるものでなく、例えば体温、
脈拍、発汗、呼吸数等の生体情報をセンサで捉えて音響
構成装置に供給したり、この他に3つの成分で示される
バイオリズムの変化に対応して発音させることもでき
る。
【0085】次に、本発明の音響構成装置における第3
の実施例について図15を参照しながら説明する。ここ
で、前述した実施例と共通する部分には同じ参照番号を
付して説明を省略する。
【0086】本実施例は、図1に示したセンサ部10a
に使用するセンサを第1の実施例のマイクロフォン10
Aと異なる撮像装置10Cを用いている。この第3の実
施例のデータ解析部11に撮像装置10Cで撮像された
画像情報が画像の変化量をデータとして抽出する移動体
抽出部12Bに供給される。
【0087】この移動体抽出部12Bは、例えば単眼視
による動画像のシーケンスから移動体の移動量を自動的
に抽出している。抽出した移動量に基づいて得られる電
気信号は、最終的に音響構成装置でトリガ信号として使
用する。この移動量に対応した電気信号の抽出方法は、
後段において説明する。移動体抽出部12Bは、例えば
図1に示したMIDI変換器13を内蔵しており、抽出
された電気信号の波形をMIDI規格の信号に変換して
いる。移動体抽出部12Bは、ディジタル化されたMI
DI信号をサンプラ14Aに供給する。サンプラ14A
は、前述した実施例と同様に供給されるMIDI信号を
音素片に対応付けて各種のエフェクト処理も施して発音
回路部15に供給する。発音回路部15は、供給された
発音用の信号をアンプ15aで増幅しスピーカ15bか
ら入力した電気信号と全く異なる音を発音させる。
【0088】ここで、前述した移動体抽出部12Bにお
ける移動体の移動量に対応する電気信号の抽出する方法
は、ベクトル的に移動を扱い、複数の協調した動きに対
して同一グループとみなしている。この抽出方法のアル
ゴリズムは、例えば移動体の一つである歩行者を非剛体
と扱い、実画像の雑音に対してロバスト的に扱って、撮
像した画像の中から動き抽出と、歩行者抽出を行う。
【0089】このアルゴリズムは、動き抽出において入
力画像から移動体を含まない背景画像を差し引いた閾値
処理によって得られる領域画像を求める。
【0090】次に、時間平滑化を行うことによって収束
させて個々の物体に相当する歩行者全体の平均の運動ベ
クトルを求める。
【0091】この時間平滑化で検出された領域をサブ領
域に再分割する。この再分割した任意の2つの領域の統
合仮説に基づいて繰り返し併合する。上記統合仮説は例
えば同一人物に属する各部が協調して動くことを利用し
て歩行者画像の確率的なモデルから与えられる適合度で
評価する。
【0092】これらの処理によって動画像中の移動体、
この場合歩行者を確率的なモデルで抽出することができ
る。この処理は、人間の運動視における知覚的統合に対
応している。このような動き検出に関する情報も生体活
動に基づく情報の一つとみなすこともできる。この外部
環境からの情報を音響構成装置に供給してトリガ信号に
使用すれば、時間の制約を受けずに環境と相互に影響し
合う偶然性、意外性に富んだ音響再生を行わせることが
できるようになる。
【0093】次に、本発明の音響構成装置における第4
の実施例について図16を参照しながら説明する。ここ
で、前述した実施例と共通する部分には同じ参照番号を
付して説明を省略する。
【0094】本実施例は、図1に示したセンサ部10a
に使用するセンサを第1の実施例のマイクロフォン10
Aと異なる気象観測装置10Dを用いている。気象観測
装置10Dは、少なくとも観測時刻を記載するため時間
情報を供給することができる。また、各気象要素である
温度、湿度、気圧、明るさに関する情報として雲量、日
照時間等をそれぞれタイマ30、温度計31、湿度計3
2、気圧計33、雲量計34、日照時間算出計35検出
する。この各要素の検出した信号を電気信号で例えばピ
ッチ−MIDI変換器12Aに供給する。このピッチ−
MIDI変換器12Aで上記各種の電気信号をそれぞれ
MIDI信号入力変換してサンプラ14Aに供給する。
サンプラ14Aは、供給されたMIDI信号に応じた例
えば外部環境に対応した音素片を予め供給しておき、こ
れらの音素片の中からソフトウェアで選択し、かつ各種
のエフェクタ処理を施した信号を発音回路15に供給す
る。
【0095】発音回路15は、供給された発音用の信号
をアンプ15aで増幅しスピーカ15bから入力した電
気信号と全く異なる音を発音させる。
【0096】このように構成することにより、音響構成
装置を季節や気候の変化に合わせた発音制御も可能にな
る。また、音の変化によって時間や季節の変化を知らせ
ることもできる。この他、時間に関して最近、人間の活
動リズムと深い関係にあることが知られている潮汐の情
報に応じた音響効果をもたせることも可能である。ま
た、この音響構成装置を用いることにより、より環境と
の相互の影響を羽委させた発音制御を行うことができ
る。
【0097】なお、上述した実施例においてセンサとし
て使用した気象観測装置は、上述した各要素すべてをま
とめて供給する必要はなく、少なくとも一つを選択して
使用してもよい。また、前述した第1〜第4の実施例を
合わせて用いても、外部環境との相互関連を一層高める
ことができるようになることは明かである。
【0098】次に、本発明の音響構成装置における第5
の実施例について図17を参照しながら説明する。ここ
で、前述した実施例と共通する部分には同じ参照番号を
付して説明を省略する。この実施例に使用するセンサは
前述した第1〜第4の実施例のセンサを音響構成装置に
単体、あるいは複合的に用いている。
【0099】図1に示した音源発生回路部14は、デー
タ解析部11内のMIDI信号変換回路部13から供給
されるMIDI情報に応じた音信号を発生させる音素片
発生部14aと、上記音素片発生部14aから供給され
るMIDI情報に応じて発生する音に音響効果を与える
エフェクタ部14bとを有して構成している。
【0100】前述した実施例まで音源発生回路部14
は、サンプラ14Aを用いていたが、この他にも通常の
シンセサイザ14Bを音源として用いてもよい。シンセ
サイザ14Bは、エンベロープ制御の充実や例えば異な
る波形の合成(ミックス)、連結(リンク)等の音源波
形の編集及び複数の音源の同時発音機能等を有してい
る。このため、単純な波形から複雑な音色の変化を容易
につくることができるようになっている。このように音
源の充実によって、音の表現力を一層高めることがで
き、かつメモリの節約にも寄与することができる。
【0101】また、音源発生回路部14の制御において
前述してきたサンプラ14Aの使用は、比較的長いフレ
ーズでも使用可能な利点を有していたことにある。しか
しながら、センサ部10aから入力信号の変化を供給す
るMIDI規格のMIDI信号をソングチェンジ情報や
例えばスタート・ストップ等のシーケンサのコントロー
ル情報をMIDI信号変換回路部13から供給してやれ
ば、音源発生回路部14は供給される上記ソングチェン
ジ情報やコントロール情報のシーケンスデータで音の状
態に合わせて制御することができる。このシーケンスデ
ータの制御によっても音の表現力を高め、使用するメモ
リを節約することができる。
【0102】なお、音源のバリエーションは、上述した
サンプラ14Aやシンセサイザ14Bに限定されるもの
でなく、前記コントロール情報を例えば演奏ロボット1
4Cを動作させるような機械的な運動の制御に用いるこ
とにより、演奏ロボット14Cが演奏するアコースティ
ックな楽器15cを制御させ、楽器15cから発音させ
ることもできる。
【0103】最後に、本発明の音響構成装置は図18に
示すように小型のパーソナル機器として使用する。音響
構成装置における筺体21の大きさは、例えば図18に
示す片手で操作しやすい程度にする。音響構成装置で使
用されるトリガである周囲の雑音等は、一対のイアホン
22、22とそれぞれ反対側の向きにマイク10A、1
0Aを配設して装置本体に供給される。
【0104】また、音響構成装置は、外部からディジタ
ル情報を内蔵するメモリやICで構成されたカード
を例えば装置下部側から挿入させる。上記ディジタル情
報は、音素片やこの音素片をいかに音処理するか等のソ
フトウェアで構成している。音響構成装置は、電源オン
時に現在、矢印A方向に挿入されたカード23がどのよ
うな音を発生させるか表示窓24に液晶等を用いて表示
する。
【0105】上記表示窓24に表示される情報は、例え
ば“Relaxation”、“Nature”及び“Music”等のサウ
ンドモードをサウンドモード選択スイッチ25で選択す
る。上記“Relaxation”モードは、心の安定感をもたら
すようなゆったりした音を発生させる。また、“Natur
e”モードは、例えば「海岸」、「川」及び「山」等の
場所に応じたサウンドを供給することができる。この場
所の選択を選択スイッチ26で選択する。“Music”モ
ードの場合も選択スイッチ26を用いて音響構成装置
は、例えば「ジャズ」、「ロック」、「ソウル」、「ク
ラシック」、「ラテン」、「レゲー」、「ブルース」、
「カントリー」及び「インド」風等の音楽を生み出すモ
ードから一つを選択する。これらの各モードから選択さ
れたモードに対応した音がトリガにに応じてイアホン2
2、22を介して発音させる。また、表示窓24には、
発音の音量レベルを表示させることもできる。
【0106】この発音は上述したモードに限定されるも
のでなく、装置に挿入するカード23を取り替えること
によってこれ以外のモードの音楽を供給することができ
る。
【0107】このようにカードを使用することによって
音を作る上での幅を広げることもできる。音響構成装置
は、各種のモードの音楽を連続して供給できるステレオ
セットの一つとして、また子供達の玩具等として提供す
ることができる。
【0108】本発明の音響構成装置は、このように構成
することにより、元の音に対する波形変換を非常に容易
に行う従来のディジタル信号処理装置(Digital Signal
Processor)に比べてこの音響構成装置を介した発音を
原音と全く違う音の構成にして出力することができる。
この原音を全く違う音の構成に変換する際に、必要とさ
れる高度なレベルでのファジー理論を用いたファジー制
御や非線形理論の一つであるカオス理論を用いた非線形
制御等を用いることなく、容易にトリガに対しての音素
片の発音の要素を編集設定することにより、原音を全く
異なる音の構成に変換することができる。特に、周囲環
境の雑音を状況に合わせて即時的に変化させることがで
きる。
【0109】また、この音響構成装置は、リスナーやリ
スニング環境等と相互に影響し合って偶然性、意外性及
びインタラクティブ性に富んだ音響再生を可能にしてい
る。音響構成装置は、記録媒体を再生する音響機器でな
く、再生可能時間等の時間依存性を排除することができ
る。この再生される音の構成や音楽に対して音響構成装
置が必要とするデータは、時間に対し独立しており、最
小限に抑えることができる。
【0110】音響構成装置は、複雑なディジタル機器を
用いることなく、装置内に予め記憶されたプログラムに
応じた例えば仮想現実音、あるいは音楽等の作成も容易
にできる。
【0111】音響構成装置に使用するプログラムソフト
ウェアは、上述したように限定したデータを基に時間に
依存しない新たな音楽ソフトウェアを市場に提供するこ
ともできるようになる。
【0112】なお、センサは、前述した実施例に限定さ
れるものでなく、外部環境との相互の影響を図ることが
できるセンサを用いれば入力信号に応じた発音をさせる
ことができる。現在、発売されている集積回路を用いれ
ば、前述の実施例のように大規模なシステム構成にする
ことなく、簡単な構成で音響構成装置を容易に実現する
こともできる。
【0113】
【発明の効果】以上の説明からも明らかなように、本発
明の音響構成装置によれば、入力手段を介して外部環境
の状態の変化を信号に変換して信号を出力し、データ抽
出手段ではこの出力信号を解析してデータ抽出を行い、
音源制御手段ではデータ抽出手段で抽出した音源データ
に基づいて音源制御データを出力し、この制御データに
応じた音信号を音源手段で出力し、この出力信号を変換
して発音手段を介して発音させることにより、原音と全
く違う音の構成にして出力することができる。
【0114】この原音を全く違う音の構成に変換する際
に、必要とされる高度なレベルでの複雑な各種の理論を
用いることなく、容易に音素片をトリガとして各音の要
素を編集設定することにより、原音を全く異なる音の構
成に変換することができる。特に、周囲環境の雑音を状
況に合わせて即時的に変化させることができる。
【0115】また、この音響構成装置は、リスナーやリ
スニング環境等と相互に影響し合って偶然性、意外性及
びインタラクティブ性に富んだ音響再生を可能にするこ
とができる。音響構成装置は、記録媒体を再生する音響
機器でなく、外部環境からの入力情報がトリガデータに
対応させることにより、再生可能時間等の時間依存性を
排除することができ、装置内に内蔵するデータを最小限
に抑えることができる。
【0116】音響構成装置は、複雑なディジタル機器を
用いることなく、装置内に予め記憶されたプログラムに
応じた例えば仮想現実音、あるいは音楽等の作成も容易
にでき、リスナーもある程度演奏に参加する、あるいは
影響を与えることができる。
【0117】上記入力手段としては、上記外部環境とし
て音と、振動と、光と、温度と、湿度と、気圧と、時
刻、日、季節等の時間と、脳波、体温、脈拍、発汗、呼
吸数等の生体情報の少なくとも1つの状態及び状態の変
化を検出したり、音響−電気変換手段を用い、外部環境
雑音を入力して電気信号に変換することにより、外部環
境との相互の影響を高め、環境と音との依存性を高くす
ることができる。
【0118】上記データ抽出手段では、上記入力手段で
変換した電気信号から音のピッチを抽出したり、上記入
力手段で変換した電気信号から音量情報をレベル値とし
て抽出することにより、この再生される音の構成や音楽
に対して音響構成装置が必要とするデータは、上述した
ように時間に対し独立しており、データ量を最小限に抑
えることができる。
【0119】また、上記入力手段として撮像装置を用い
て電気信号に変換し、上記データ抽出手段において、撮
像された画像の変化量をデータとして抽出してもリスナ
ーやリスニング環境等と相互に影響し合って偶然性、意
外性及びインタラクティブ性に富んだ音響再生を可能に
することができ、記録媒体を再生する音響機器でなく、
再生可能時間等の時間依存性を排除することができる。
【0120】上記音源制御手段は、上記データ抽出手段
からのデータをMIDI情報に変換し、また、上記音源
手段は、上記音源制御手段からのMIDI情報のピッチ
データに応じて音素片の信号を出力し、この出力信号を
MIDI情報の音量データに応じた信号を出力すること
により、データの制御を容易にすることができる。
【0121】上記音源制御手段は、上記データ抽出手段
からのデータをMIDI情報を音響効果の制御情報に変
換することにより、音のエフェクト制御を容易にすると
共に、音の質を高いものにすることができる。
【0122】上記音源手段は、上記音源制御手段から供
給されるMIDI情報に応じた音信号を音源信号発生手
段で発生させて、上記音源制御手段から供給されるMI
DI情報に応じて発生する音に対して音響効果発生手段
で音響効果を与える音信号を発生することにより、例え
ば仮想現実音であっても実際に近い音をリスナーに供給
することができる。この音響効果がより一層リスナーの
心理的な効果を高めることができる。
【0123】音響構成装置の情報及び使用するソフトウ
ェアを内蔵したカードを使用することによって音を作る
上での幅を広げることができる。
【図面の簡単な説明】
【図1】本発明の音響構成装置における基本的なブロッ
ク構成を示す回路図である。
【図2】図1に示した音響構成装置のセンサとしてマイ
クロフォンを会議室に設置した第1の実施例にける設置
状況を示す模式図である。
【図3】本発明の音響構成装置におけるより具体的な第
1の実施例のブロック構成を示す回路図である。
【図4】音の要素となるサンプリングした音の基本周波
数(すなわち音程)の再生速度をそのままに音の高さを
変えるピッチシフト機能を説明する波形図である。
【図5】音の要素となるサンプリングした音に対して音
の高さをそのままに音の再生速度の短縮化を図るタイム
コンプレス機能を説明する波形図である。
【図6】音の要素となるサンプリングした音に対して音
の高さをそのままに音の再生速度の延長化を図るタイム
エキスパンド機能を説明する波形図である。
【図7】音の要素となるサンプリングした音に対して音
の大きさを揃えるため計算で波形の書換えを行うアンプ
リチュードの変更機能を説明する波形図である。
【図8】音の要素となるサンプリングした音に対して音
の立ち上がりの設定を行うエンベロープ機能を説明する
波形図である。
【図9】音の要素となるサンプリングした音に対して音
の減衰傾向の設定を行うエンベロープ機能を説明する波
形図である。
【図10】図10は音のデータ解析とソフトウェアとの
対応関係の取り方を説明する図であり、(A)は入力し
た音を周波数分析したときの一例を示すグラフであり、
(B)は(A)に対応する基調音と装飾音との分類方法
を説明する図であり、(C)は、(B)において分類し
た基調音と装飾音とをMIDI機器へ割り付ける際の一
方法を示し、(D)はMIDI機器に割り付けた音素片
の対応を説明するための図である。
【図11】波の音、海鳥の鳴き声及び風の音等の自然音
をより実際の音に近い音に聞こえるように設定する音の
各要素としてそれぞれ(a)ループ、(b)エンベロー
プ及び(c)音量比の設定例を示す図である。
【図12】本発明の音響構成装置におけるサンプラの構
成を説明するブロック回路図である。
【図13】(A)に示す従来のDSPによる音の変換に
よる出力音と(B)に示す本発明の音響構成装置による
音の変換による出力音との違いを説明するための模式図
である。
【図14】本発明の音響構成装置におけるより具体的な
第2の実施例のブロック構成を示す回路図である。
【図15】本発明の音響構成装置におけるより具体的な
第3の実施例のブロック構成を示す回路図である。
【図16】本発明の音響構成装置におけるより具体的な
第4の実施例のブロック構成を示す回路図である。
【図17】本発明の音響構成装置におけるより具体的な
第5の実施例のブロック構成を示す回路図である。
【図18】本発明の音響構成装置を個人的な使用の機器
として構成した際の一形態を示す図である。 10a・・・・・・・・センサ部 10b、15a・・・・アンプ 11・・・・・・・・・データ解析部 12a・・・・・・・・A/D変換器 12b・・・・・・・・ピッチ抽出回路部 12c・・・・・・・・音量抽出回路部 13・・・・・・・・・MIDI変換器 14・・・・・・・・・音源発生回路部 14a・・・・・・・・音素片発生部 14b・・・・・・・・エフェクタ部 14c・・・・・・・・D/A変換器 15・・・・・・・・・発音回路部 15b・・・・・・・・スピーカ

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 外部環境の状態の変化を信号に変換して
    入力する入力手段と、 該入力手段からの出力信号を解析してデータを抽出する
    データ抽出手段と、 該データ抽出手段で抽出した音源データに基づいて音源
    制御データを出力する音源制御手段と、 該音源制御手段からの制御データに応じた音信号を出力
    する音源手段と、 該音源手段からの出力信号を変換して発音させる発音手
    段とを有して成ることを特徴とする音響構成装置。
  2. 【請求項2】 上記入力手段は、上記外部環境として音
    と、振動と、光と、温度と、湿度と、気圧と、時刻、
    日、季節等の時間と、脳波、体温、脈拍、発汗、呼吸数
    等の生体情報の少なくとも1つの状態及び状態の変化を
    検出して電気信号に変換することを特徴とする請求項1
    記載の音響構成装置。
  3. 【請求項3】 上記入力手段として外部環境雑音を入力
    して電気信号に変換する音響−電気変換手段を用いるこ
    とを特徴とする請求項1記載の音響構成装置。
  4. 【請求項4】 上記データ抽出手段は、上記入力手段で
    変換した電気信号から音のピッチを抽出することを特徴
    とする請求項3記載の音響構成装置。
  5. 【請求項5】 上記データ抽出手段は、上記入力手段で
    変換した電気信号から音量情報をレベル値として抽出す
    ることを特徴とする請求項3記載の音響構成装置。
  6. 【請求項6】 上記入力手段として撮像装置を用いるこ
    とを特徴とする請求項1記載の音響構成装置。
  7. 【請求項7】 上記データ抽出手段は、撮像された画像
    の変化量をデータとして抽出することを特徴とする請求
    項6記載の音響構成装置。
  8. 【請求項8】 上記音源制御手段は、上記データ抽出手
    段からのデータをMIDI情報に変換することを特徴と
    する請求項1記載の音響構成装置。
  9. 【請求項9】 上記音源手段は、上記音源制御手段から
    のMIDI情報のピッチデータに応じて音素片の信号を
    出力し、この出力信号をMIDI情報の音量データに応
    じた信号を出力することを特徴とする請求項1記載の音
    響構成装置。
  10. 【請求項10】 上記音源制御手段は、上記データ抽出
    手段からのデータをMIDI情報を音響効果の制御情報
    に変換することを特徴とする請求項1記載の音響構成装
    置。
  11. 【請求項11】 上記音源手段は、上記音源制御手段か
    ら供給されるMIDI情報に応じた音信号を発生させる
    音源信号発生手段と、 上記音源制御手段から供給されるMIDI情報に応じて
    発生する音に音響効果を与える音響効果発生手段とを有
    して成ることを特徴とする請求項10記載の音響構成装
    置。
JP27479592A 1992-09-21 1992-09-21 音響構成装置 Expired - Lifetime JP3381074B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP27479592A JP3381074B2 (ja) 1992-09-21 1992-09-21 音響構成装置
KR1019930018345A KR100275799B1 (ko) 1992-09-21 1993-09-13 음향구성장치
US08/122,363 US5471009A (en) 1992-09-21 1993-09-17 Sound constituting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27479592A JP3381074B2 (ja) 1992-09-21 1992-09-21 音響構成装置

Publications (2)

Publication Number Publication Date
JPH06102877A true JPH06102877A (ja) 1994-04-15
JP3381074B2 JP3381074B2 (ja) 2003-02-24

Family

ID=17546674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27479592A Expired - Lifetime JP3381074B2 (ja) 1992-09-21 1992-09-21 音響構成装置

Country Status (3)

Country Link
US (1) US5471009A (ja)
JP (1) JP3381074B2 (ja)
KR (1) KR100275799B1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084516A (en) * 1998-02-06 2000-07-04 Pioneer Electronic Corporation Audio apparatus
JP2002341870A (ja) * 2001-05-15 2002-11-29 Yamaha Corp 楽音制御システムおよび楽音制御装置
JP2004355789A (ja) * 2003-05-02 2004-12-16 Sony Corp データ再生装置およびデータ再生方法、並びにデータ記録再生装置およびデータ記録再生方法
WO2005122134A1 (ja) * 2004-06-09 2005-12-22 Toyota Motor Kyushu Inc. 楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体
JP2006304167A (ja) * 2005-04-25 2006-11-02 Sony Corp キー生成方法およびキー生成装置
CN100399981C (zh) * 2003-06-30 2008-07-09 索尼株式会社 控制设备和控制方法
WO2010084830A1 (ja) * 2009-01-23 2010-07-29 株式会社コナミデジタルエンタテインメント 音声処理装置、チャットシステム、音声処理方法、情報記憶媒体、ならびに、プログラム
JP2011198373A (ja) * 2001-10-10 2011-10-06 Immersion Corp 触覚フィードバックを使用する音声データ出力および操作
WO2013103103A1 (ja) * 2012-01-04 2013-07-11 株式会社ニコン 電子機器、及び音楽コード出力方法
JP2016183988A (ja) * 2015-03-25 2016-10-20 株式会社豊田中央研究所 音楽生成装置
JP2020517372A (ja) * 2017-04-25 2020-06-18 サントル ナシオナル ドゥ ラ ルシェルシェ シアンティフィクCentre National De La Recherche Scientifique 生理感覚変換方法および装置

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW279219B (ja) * 1994-03-31 1996-06-21 Yamaha Corp
TW314614B (ja) * 1995-10-23 1997-09-01 Yamaha Corp
EP0922327A4 (en) * 1996-08-30 1999-08-04 Headwaters Research And Dev In DIGITAL SOUND RELAXATION SYSTEM
JP3910702B2 (ja) * 1997-01-20 2007-04-25 ローランド株式会社 波形発生装置
US6304846B1 (en) * 1997-10-22 2001-10-16 Texas Instruments Incorporated Singing voice synthesis
US6226422B1 (en) * 1998-02-19 2001-05-01 Hewlett-Packard Company Voice annotation of scanned images for portable scanning applications
US6104998A (en) 1998-03-12 2000-08-15 International Business Machines Corporation System for coding voice signals to optimize bandwidth occupation in high speed packet switching networks
JP4305971B2 (ja) 1998-06-30 2009-07-29 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP4170458B2 (ja) 1998-08-27 2008-10-22 ローランド株式会社 波形信号の時間軸圧縮伸長装置
US6323797B1 (en) 1998-10-06 2001-11-27 Roland Corporation Waveform reproduction apparatus
EP1017039B1 (en) * 1998-12-29 2006-08-16 International Business Machines Corporation Musical instrument digital interface with speech capability
JP2001075565A (ja) 1999-09-07 2001-03-23 Roland Corp 電子楽器
JP2001084000A (ja) 1999-09-08 2001-03-30 Roland Corp 波形再生装置
JP4293712B2 (ja) 1999-10-18 2009-07-08 ローランド株式会社 オーディオ波形再生装置
JP2001125568A (ja) 1999-10-28 2001-05-11 Roland Corp 電子楽器
US6757573B1 (en) * 1999-11-02 2004-06-29 Microsoft Corporation Method and system for authoring a soundscape for a media application
US7010491B1 (en) 1999-12-09 2006-03-07 Roland Corporation Method and system for waveform compression and expansion with time axis
EP1837858B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
EP1128358A1 (en) * 2000-02-21 2001-08-29 In2Sports B.V. Method of generating an audio program on a portable device
EP1156610A3 (de) * 2000-05-19 2005-01-26 Martin Lotze Verfahren und Vorrichtung zur automatischen Auswahl von Musikstücken und/oder Tonaufnahmen
US7525034B2 (en) * 2004-12-17 2009-04-28 Nease Joseph L Method and apparatus for image interpretation into sound
KR100658869B1 (ko) * 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
US8652040B2 (en) * 2006-12-19 2014-02-18 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
JP5130809B2 (ja) * 2007-07-13 2013-01-30 ヤマハ株式会社 楽曲を制作するための装置およびプログラム
US8409006B2 (en) 2007-09-28 2013-04-02 Activision Publishing, Inc. Handheld device wireless music streaming for gameplay
JP5166549B2 (ja) * 2007-12-20 2013-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明雰囲気に関連付けられている音を自動的に生成するシステム及び方法
JP4623124B2 (ja) * 2008-04-07 2011-02-02 ソニー株式会社 楽曲再生装置、楽曲再生方法および楽曲再生プログラム
US9767817B2 (en) * 2008-05-14 2017-09-19 Sony Corporation Adaptively filtering a microphone signal responsive to vibration sensed in a user's face while speaking
JP4640463B2 (ja) * 2008-07-11 2011-03-02 ソニー株式会社 再生装置、表示方法および表示プログラム
EP2163284A1 (en) * 2008-09-02 2010-03-17 Zero Point Holding A/S Integration of audio input to a software application
US7977560B2 (en) * 2008-12-29 2011-07-12 International Business Machines Corporation Automated generation of a song for process learning
JP4936479B2 (ja) 2009-03-26 2012-05-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
GB201020138D0 (en) * 2010-11-29 2011-01-12 Third Sight Ltd A memory aid device
EP2497670B1 (en) * 2011-03-11 2015-07-01 Johnson Controls Automotive Electronics GmbH Method and apparatus for monitoring the alertness of the driver of a vehicle
US9084042B2 (en) * 2012-05-16 2015-07-14 Elli&Nooli, llc Apparatus and method for long playback of short recordings
WO2015047032A1 (ko) * 2013-09-30 2015-04-02 삼성전자 주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
KR102460393B1 (ko) 2015-04-30 2022-11-01 삼성전자주식회사 사운드 출력 기기, 전자 장치 및 그 제어 방법
WO2016175622A1 (en) 2015-04-30 2016-11-03 Samsung Electronics Co., Ltd. Sound outputting apparatus, electronic apparatus, and control method thereof
CN113223483A (zh) * 2021-04-09 2021-08-06 凌晓军 音乐演奏方法、电子设备及计算机可读存储介质
AT525615A1 (de) 2021-11-04 2023-05-15 Peter Graber Oliver Vorrichtung und verfahren zur ausgabe eines akustischen signals basierend auf physiologischen daten

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4441399A (en) * 1981-09-11 1984-04-10 Texas Instruments Incorporated Interactive device for teaching musical tones or melodies
US4731847A (en) * 1982-04-26 1988-03-15 Texas Instruments Incorporated Electronic apparatus for simulating singing of song
JPH05341793A (ja) * 1991-04-19 1993-12-24 Pioneer Electron Corp カラオケ演奏装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084516A (en) * 1998-02-06 2000-07-04 Pioneer Electronic Corporation Audio apparatus
JP2002341870A (ja) * 2001-05-15 2002-11-29 Yamaha Corp 楽音制御システムおよび楽音制御装置
JP2011198373A (ja) * 2001-10-10 2011-10-06 Immersion Corp 触覚フィードバックを使用する音声データ出力および操作
JP2004355789A (ja) * 2003-05-02 2004-12-16 Sony Corp データ再生装置およびデータ再生方法、並びにデータ記録再生装置およびデータ記録再生方法
CN100399981C (zh) * 2003-06-30 2008-07-09 索尼株式会社 控制设备和控制方法
US7655856B2 (en) 2004-06-09 2010-02-02 Toyota Motor Kyushu Inc. Musical sounding producing apparatus, musical sound producing method, musical sound producing program, and recording medium
WO2005122134A1 (ja) * 2004-06-09 2005-12-22 Toyota Motor Kyushu Inc. 楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体
JP2006304167A (ja) * 2005-04-25 2006-11-02 Sony Corp キー生成方法およびキー生成装置
US7929693B2 (en) 2005-04-25 2011-04-19 Sony Corporation Key generating method and key generating apparatus
WO2010084830A1 (ja) * 2009-01-23 2010-07-29 株式会社コナミデジタルエンタテインメント 音声処理装置、チャットシステム、音声処理方法、情報記憶媒体、ならびに、プログラム
JP2010169925A (ja) * 2009-01-23 2010-08-05 Konami Digital Entertainment Co Ltd 音声処理装置、チャットシステム、音声処理方法、ならびに、プログラム
WO2013103103A1 (ja) * 2012-01-04 2013-07-11 株式会社ニコン 電子機器、及び音楽コード出力方法
JP2016183988A (ja) * 2015-03-25 2016-10-20 株式会社豊田中央研究所 音楽生成装置
JP2020517372A (ja) * 2017-04-25 2020-06-18 サントル ナシオナル ドゥ ラ ルシェルシェ シアンティフィクCentre National De La Recherche Scientifique 生理感覚変換方法および装置

Also Published As

Publication number Publication date
KR100275799B1 (ko) 2000-12-15
US5471009A (en) 1995-11-28
KR940007766A (ko) 1994-04-28
JP3381074B2 (ja) 2003-02-24

Similar Documents

Publication Publication Date Title
JP3381074B2 (ja) 音響構成装置
Wishart Sound symbols and landscapes
JP4771647B2 (ja) 環境を音響的に向上させるための装置
Collins Studying Sound: A Theory and Practice of Sound Design
Brice Music engineering
Lubin Getting great sounds: The microphone book
JP6300328B2 (ja) 環境音生成装置及びそれを用いた環境音生成システム、環境音生成プログラム、音環境形成方法及び記録媒体
Burtner Sounding Art Climate Change
CN112289289A (zh) 一种可编辑的普遍音色合成分析系统及方法
Sangild Noise—Three musical gestures: Expressionist, introvert and minimal noise
Bergsland Experiencing voices in electroacoustic music
Accornero Shocking Intimacy: Techniques, Technologies, and Aesthetics of Amplification in Clara Iannotta’s “Intent on Resurrection”
CN103943098A (zh) 多米索交响乐器
Stine et al. Musical Aesthetics of the Natural World: Two Modern Compositional Approaches
Spreadborough et al. Voices within voices: Developing a new analytical approach to vocal timbre by examining the interplay of emotionally valenced vocal timbres and emotionally valenced lyrics
Rodgers Listening to yourself listen: spatial experience in music for acoustic instruments and electronic sound
Schwär et al. A Dataset of Larynx Microphone Recordings for Singing Voice Reconstruction
Maxbauer Untitled (March) and Surrounding Compositional Practice
Kenty A Set of Musical Works on Contemporary Immigration:'What We're Missing'and'It Wasn't Something that We Could Control'
James Experiencing Gigli with Quality Audio: Exquisitely Beautiful Singing
SHI Extending the Sound of the Guzheng
Brøvig “It ain't but One Kind of blues”: Kid Koala's Bluesy Embrace of the Fragmented (“1 bit Blues,” 2012)
Fraser Large String Array
Puckette et al. Between the Tracks: Musicians on Selected Electronic Music
Tomlinson Theophany-Somewhere Between the Canyon and Stars

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10