JP6024077B2 - 信号送信装置および信号処理装置 - Google Patents
信号送信装置および信号処理装置 Download PDFInfo
- Publication number
- JP6024077B2 JP6024077B2 JP2011147444A JP2011147444A JP6024077B2 JP 6024077 B2 JP6024077 B2 JP 6024077B2 JP 2011147444 A JP2011147444 A JP 2011147444A JP 2011147444 A JP2011147444 A JP 2011147444A JP 6024077 B2 JP6024077 B2 JP 6024077B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- data
- unit
- output
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
[機能構成]
図1は、本発明の実施形態における発音システム1の機能構成を説明するブロック図である。発音システム1は、発音装置10、信号送信装置20、信号処理装置30および放音装置40を有する。発音装置10における発音内容を示すオーディオ信号、および発音装置の運動を検出した結果を示す検出信号が信号送信装置20から信号処理装置30に無線通信により送信される。発音システム1においては、低遅延でのオーディオ信号および検出信号の送信をすることができる。以下、発音システム1の機能構成について説明する。
検出部220は、検出対象部120における運動を検出し、検出結果に応じた検出信号(Sensor)を出力する。この検出信号は、検出対象部120の運動に伴い出力値が変化する信号であり、この出力値を波形(以下、検出波形という)で示す信号である。検出対象部120は、例えば、振動体110に振動を励起させるためのユーザからの操作、またユーザが検出対象部120を動かすことなどにより運動することになる。
また、センサデータを、ビット単位で分割し、各パケットには分割されたセンサデータ(分割データ)が含まれるようにすることもできる。どのようにしてセンサデータがパケット化されているかの情報については、パケットのヘッダに記録されるようにすればよい。センサデータが分割されるか否かにかかわらず、オーディオデータとセンサデータとが同一のパケットに含まれるようになっていることに違いはない。
送信部260は、生成部250から入力された送信データを無線通信により信号処理装置30に送信する。
続いて、発音システム1の機能構成を実現するための具体的な実施形態について、第1実施形態および第2実施形態として説明する。
本発明の第1実施形態においては、発音装置10がギターである場合について説明する。第1実施形態の説明においては、発音装置10をギター10と記す。
信号送信装置20は、ピックアップ21および制御モジュール200を有する。ピックアップ21は、胴部12に設けられ、弦11からの振動波形がサドルを介して伝達される。ピックアップ21は、信号出力部210を実現するための構成であり、伝達された振動波形をオーディオ信号として出力する。ピックアップ21は、例えば、インブリッジ式、コンタクト式などのピエゾピックアップである。
制御モジュール200は、胴部12に設けられ、ピックアップ21から出力されるオーディオ信号が入力される。制御モジュール200を含む信号送信装置20の構成を図3を用いて説明する。
加速度センサ22は、検出部220を実現するための構成であり、取り付けられた部分(この例においては胴部12)における運動を、3軸(x軸、y軸、z軸)方向の加速度として検出し、各軸についての検出結果を示す検出信号Sx、Sy、Szを出力する。この例においては、加速度センサ22は、弦11が張られた方向をx軸、弦11が並ぶ方向をy軸、x軸およびy軸を含む平面の法線方向をz軸として、加速度を検出する。
第1AD変換部23のサンプリング周波数は、第2AD変換部24のサンプリング周波数の220倍である。したがって、1回のサンプリングにより3軸方向のセンサデータが生成されるうちに、オーディオデータが220回生成される。
なお、通信の確立は、公知の技術を用いればよい。この例においては、信号処理装置30が、ある一定範囲内において使用可能な無線周波数をサーチして決定し、信号送信装置20に決定した無線周波数を通知する。そして、信号送信装置20は、この無線周波数を用いて信号処理装置30への通信を確立するようにすればよい。
続いて、信号送信装置20と信号処理装置30との間で通信されるデータについて、図4、図5を用いて説明する。
図4は、本発明の第1実施形態における送信データおよび同期データの構造を説明する図である。図4(a)は、1パケットの送信データの構造を説明する図である。図4(b)は、同期データの構造を説明する図である。送信データおよび同期データは、ヘッダ部(図4における先頭2byte「H」の部分)とペイロード部(ヘッダ部以外の部分)とにより構成されている。図4(b)に示す同期データにおいて、ペイロード部は、信号送信装置20からの送信データを受信していることを示すSyncコマンド(「C」の部分)を1byteで示すデータになっている。
次に、送信データにおける各パケットに含まれる分割データの内容を図5を用いて説明する。
その後、次のサンプリングによりセンサデータが生成されるまでの期間は、パケットNo.1〜24までの24パケットにおける分割データの割り当てが繰り返される。図5に示す例においては、N回目に割り当てられた分割データを、SxN−1、SxN−2、・・・として示している。
以上が、信号送信装置20の構成に関する説明である。続いて、信号処理装置30の構成について説明する。
図6は、本発明の第1実施形態における信号処理装置30の構成を説明するブロック図である。信号処理装置30は、通信モジュール31、DA(digital-analog)変換部32、制御部33およびDSP(Digital Signal Processor)34を有する。
通信モジュール31は、受信部310を実現するための構成であり、信号送信装置20との間で通信が確立された後、信号送信装置20から送信された送信データを受信して出力する。また、上述したように、信号送信装置20との無線による通信を確立するための処理を行う。これは、図示しない操作部を用いてユーザが通信の確立の指示などを入力することにより開始される。なお、通信モジュール31においては、送信データに欠損があっても、再送の要求などは行わず、欠損しているものとして扱う。すなわち、エラー訂正の処理は行わない。また、通信モジュール31は、一定時間にわたって送信データが受信できない場合には、無線周波数を変更するなど通信を確立し直してもよい。
制御部33は、特定した|Ps|を制御テーブルにしたがって、エフェクト制御値Ceffを決定し、DSP34に出力する。出力するタイミングは、予め決められたタイミング(例えば、第2AD変換部24におけるサンプリング周波数200Hzで決められる間隔)であればよい。
エフェクト制御値Ceffは、DSP34において用いられるパラメータであり、この例においては、オーディオ信号に付与する音響効果の効き具合(加工態様)を定めるパラメータである。制御テーブルは、|Ps|からCeffを決定するためのテーブルである。
DSP34は、制御部33から出力されたエフェクト制御値Ceffが示す音響効果の効き具合に応じて、付与する音響効果の程度、例えば、ディレイ量を決定する。DSP34は、ディレイ量でなく、ディレイ音の減衰量、ディレイ音量などを決定してもよい。このように、DSP34は、オーディオ信号に対して付与する音響効果の程度をエフェクト制御値Ceffに基づいて決定するため、制御部33によって付与すべき音響効果の程度が制御されることになる。
このようにしてDSP34から出力されたオーディオ信号は、放音装置40に入力され、放音装置40から放音される。
また、オーディオデータとセンサデータとが同一パケットにより送信されているから、ギター10を傾きを変化させたときにおいて、リアルタイムに演奏音への音響効果の付与態様の変化として反映されているという印象をユーザに与えることもできる。
さらに、送信データに含まれる情報は波形を示すものであるから、この送信データを受信する装置において自由に処理を施すことができ汎用性を高めることができる。
本発明の第2実施形態においては、発音装置10がスネアドラムである場合について説明する。第2実施形態の説明においては、発音装置10をスネアドラム10Aと記す。
信号送信装置20Aは、制御モジュール200Aを有する。制御モジュール200は、胴部12Aに設けられている。
シリコンマイク21Aは、信号出力部210を実現するための構成であり、膜部11Aが打撃されることにより生じた振動波形が伝達され、伝達された振動波形をオーディオ信号として第1AD変換部23に出力する。シリコンマイク21Aは、例えば、MEMS(Micro Electro Mechanical Systems)技術によりシリコン基板等を用いて製造された収音装置である。
第2実施形態における信号処理装置30Aは、第1実施形態における信号処理装置30に対して、制御部33において決定される加工態様が異なり、それに伴いDSP34(以下、DSP34Aとして記す)においてオーディオ信号に対して施される加工処理の態様も異なっている。以下、第2実施形態における制御部33(以下、制御部33Aとして記す)において決定される加工態様について説明する。なお、信号処理装置30Aの構成については、図6に示す信号処理装置30において、制御部33が制御部33Aとして、DSP34がDSP34Aとして変わるだけであるため、図示を省略する。
制御部33Aは、DA変換部32から出力される検出信号Sを解析して、検出信号Sが示す振動波形のエンベロープからピークを検出するとともに、そのピークレベルLpについても特定する。制御部33Aは、ピークを検出すると、DSP34Aに増幅処理の開始を指示する。このときの増幅値については、特定したピークレベルLpから、制御テーブルにしたがって制御部33Aが決定する。
本発明の第1、2実施形態においては、発音装置10は、振動体110および検出対象部120を有するものとして説明したが、検出対象部120が別の構成であってもよい。この場合には、検出対象部120は、信号送信装置20の一部の構成として扱うものとする。
このように構成される場合についての実施形態について、第3実施形態および第4実施形態として説明する。
マイクロフォン20Bは、筐体12B、ムービングコイル21Bおよび制御モジュール200Bを有する。ムービングコイル21Bおよび制御モジュール200Bは、筐体12Bに設けられている。筐体12Bは、検出対象部120の機能を実現するための構成である。
制御モジュール200Bは、加速度センサ22、第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26を有する。これらの各構成については、第1実施形態における構成と同様であるため、説明を省略する。
図15は、本発明の第4実施形態における携帯端末20Cの構成を説明するブロック図である。図14、図15に示すように、携帯端末20Cは、シリコンマイク21C、加速度センサ22C、第1AD変換部23C、第2AD変換部24C、制御部25C、通信モジュール26Cおよび記憶部50Cを有し、それぞれ筐体12Cに設けられている。
加速度センサ22C、第1AD変換部23C、第2AD変換部24Cおよび通信モジュール26Cについては、第1実施形態において対応する構成と同様であるため説明を省略する。また、シリコンマイク21Cについても、第2実施形態におけるシリコンマイク21Aと同様であるため説明を省略する。
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。なお、実施形態および変形例のうちの一の例について変形した態様として説明するものであっても、他の例についても同様に変形して適用することができる。
上述した実施形態において、信号処理装置30(30A)においては、オーディオ信号に対して施される加工処理が音響効果の付与であったが、別のオーディオ信号を合成するものであってもよい。この場合の構成について説明する。
なお、合成部34B2において合成されるオーディオ信号のうち、DA変換部32から出力されるオーディオ信号は、各実施形態において示したようにDSP34(34A)により音響効果が付与される処理が施されてもよい。
例えば、音量を規定する制御コマンドの制御値が「0」から「127」であるものとする。また、とり得るピークレベルLpの範囲が「6000」から「22000」であるものとする。この場合には、ピークレベルLpが「6000」である場合に制御コマンドの制御値が「0」、ピークレベルLpが「22000」であるときに制御コマンドの制御値が「127」になるように、ピークレベルLpから制御コマンドの制御値が決定される。このとき、制御値の最小値から最大値までの間については、補間態様を適宜設定しておけばよい。また、制御値のとりうる範囲について、上限、下限を設け、補間した結果、制御値が上限値を超える場合には上限値に固定、下限値を下回る場合には下限値に固定するようにしてもよい。
上述した第1実施形態においては、ユーザが聴くことのできる音は、放音装置40から放音される音以外については、ギター10における弦11の振動による発音であったが、ギター10にスピーカを設けることにより、このスピーカからも音を聴くことができるようにしてもよい。
DSP27は、第1実施形態におけるDSP34と同様であり、入力されたオーディオ信号に対してエフェクト制御値Ceffに応じた音響効果を付与する処理を施して放音装置28に出力する。放音装置28は、放音装置40と同様、入力されたオーディオ信号を増幅して放音する。
上述した第1、第2実施形態においては、発音装置10は、振動体110が振動することにより発音する構成であったが、演奏操作を受け付ける演奏操作部を有し、発音を制御する装置としてもよい。
発音システム1Eは、演奏操作部110Eおよび検出対象部120を有する。演奏操作部110Eは、ユーザに操作されることにより発音内容の指示を示す指示信号を出力する機能を有する。検出対象部120Eは、演奏操作部110Eが設けられる。
続いて、このような発音システム1Eの機能構成を実現するための実施形態の例について説明する。
信号送信装置20Eは、制御モジュール200Eを有する。制御モジュール200Eは、筐体12Eに設けられている。
上述した実施形態において、信号処理装置30においては、検出信号に基づいて決定された態様(効果の程度、ダイナミックレンジ変換、他のオーディオ信号の合成など)で音響効果を付与する信号処理をオーディオ信号に対して施していたが、検出信号に基づいて決定される態様は様々にとり得る。検出信号に基づいて決定される態様としては、例えば、音響効果の種類(ディレイ、リバーブ、コーラスなど)の切り替え、ピッチ変換、位相調整などであり、また音源部を用いる場合には音色の切り替えなども可能である。
上述した実施形態において、放音装置40は、スピーカから放音するものとして説明したが、ヘッドフォンなどであってもよい。また、放音装置40と信号処理装置30とは一体に構成されていてもよい。
上述した実施形態においては、送信データの各パケットにおける最後の1bitにセンサデータが分割データとして含まれる態様のデータ構造であったが、別の態様であってもよい。
例えば、センサデータは2bit単位で分割されて各パケットに2bitが含まれるようにしてもよいし、分割せずに各パケットに1byte単位で含まれるようにしてもよい。
また、オーディオデータの一部をセンサーデータ(分割データ)として置き換えてもよい。例えば、オーディオデータの最下位bitを置き換えるだけであれば、音に与える影響は少ない。
上述した実施形態においては、送信データの各パケットにおいてセンサーデータ(分割データ)が最後の1bitに含まれているが、少なくとも1回のサンプリングにより生成されたセンサデータが送信された後は、次のサンプリングによりセンサデータが生成されるまで、センサデータとは関係の無いダミーデータとして送信してもよい。すなわち、送信データの各パケット全てにおいてセンサデータが含まれている必要はなく、一部のパケットにおいてセンサデータが含まれていなくてもよい。
上述した実施形態においては、1つの信号送信装置20から1つの信号処理装置30に対して送信データが送信されていたが、少なくとも一方が複数であってもよい。
一方、信号処理装置30が複数である場合には、信号送信装置20からの送信データに応じて、それぞれ決定された加工態様で加工処理が施されたオーディオ信号を、それぞれ接続された放音装置40に出力すればよい。このとき、複数の信号処理装置30から出力されるオーディオ信号を合成した信号が1つの放音装置40に出力されるようにしてもよい。
上述した実施形態においては、検出部220の例として、加速度センサ、振動センサを用いていたが、ジャイロ、地磁気センサなどを用いてもよい。すなわち、検出部220は、検出対象部120の運動により出力値が変化する検出信号を出力可能な構成であれば、どのような構成であってもよい。
上述した実施形態においては、信号出力部210から出力されるオーディオ信号はモノラル信号として説明したが、ステレオ信号など多チャンネルの信号として出力されてもよい。
上述した実施形態においては、信号出力部210は、検出対象部120に取り付けられていたが、直接取り付けられる場合に限らず、他の部材を介して間接的に取り付けられていてもよい。
上述した第4実施形態において制御部25Cによって実行されるアプリケーションプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、携帯端末20Cは、このアプリケーションプログラムをネットワーク経由でダウンロードしてもよい。
Claims (4)
- 楽器の振動部分である振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力する信号出力手段と、
前記信号出力手段を備える前記楽器の胴部又は筐体部である検出対象部の運動を検出し、当該運動により出力値が変化する検出信号を出力する検出手段と、
前記出力されたオーディオ信号を第1サンプリング周波数でサンプリングして第1サンプルデータを生成し出力する第1サンプリング手段と、
前記出力された検出信号を前記第1サンプリング周波数より低い第2サンプリング周波数でサンプリングして第2サンプルデータを生成し出力する第2サンプリング手段と、
前記出力された前記第1サンプルデータと前記第2サンプルデータとが同一のパケットに含まれるようにパケット化して送信データを生成する生成手段と、
前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して、前記生成された送信データを無線通信により送信する送信手段と
を具備し、
前記検出手段は、加速度センサであり、
前記振動体と前記検出対象部とは前記楽器においてそれぞれ異なる部分である
ことを特徴とする信号送信装置。 - 前記生成手段は、前記複数のパケットに同一の前記第2サンプルデータが含まれるようにパケット化して前記送信データを生成する
ことを特徴とする請求項1に記載の信号送信装置。 - 前記生成手段は、前記第2サンプルデータを複数の分割データに分割し、前記第1サンプルデータおよび当該第2サンプルデータの分割データが同一のパケットに含まれるようにパケット化して前記送信データを生成する
ことを特徴とする請求項1又は2に記載の信号送信装置。 - 請求項1乃至請求項3のいずれか1項に記載の信号送信装置から送信された送信データを受信する受信手段と、
前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、
前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、
前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段と
を具備することを特徴とする信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147444A JP6024077B2 (ja) | 2011-07-01 | 2011-07-01 | 信号送信装置および信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147444A JP6024077B2 (ja) | 2011-07-01 | 2011-07-01 | 信号送信装置および信号処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016137728A Division JP6176372B2 (ja) | 2016-07-12 | 2016-07-12 | 楽器および信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013015633A JP2013015633A (ja) | 2013-01-24 |
JP6024077B2 true JP6024077B2 (ja) | 2016-11-09 |
Family
ID=47688378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011147444A Expired - Fee Related JP6024077B2 (ja) | 2011-07-01 | 2011-07-01 | 信号送信装置および信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6024077B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
CN105531762B (zh) | 2013-09-19 | 2019-10-01 | 索尼公司 | 编码装置和方法、解码装置和方法以及程序 |
KR20230042410A (ko) | 2013-12-27 | 2023-03-28 | 소니그룹주식회사 | 복호화 장치 및 방법, 및 프로그램 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001339425A (ja) * | 2000-05-25 | 2001-12-07 | Mitsubishi Electric Corp | データ通信システム |
JP2006201654A (ja) * | 2005-01-24 | 2006-08-03 | Yamaha Corp | 伴奏追従システム |
JP2006163435A (ja) * | 2006-01-23 | 2006-06-22 | Yamaha Corp | 楽音制御装置 |
JP5556075B2 (ja) * | 2008-07-30 | 2014-07-23 | ヤマハ株式会社 | 演奏情報出力装置、及び演奏システム |
-
2011
- 2011-07-01 JP JP2011147444A patent/JP6024077B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013015633A (ja) | 2013-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7339107B2 (en) | Method of and system for controlling audio effects | |
US8111241B2 (en) | Gestural generation, sequencing and recording of music on mobile devices | |
JP6024077B2 (ja) | 信号送信装置および信号処理装置 | |
CN103165121B (zh) | 信号处理设备 | |
JP2808617B2 (ja) | 電子楽器 | |
JP3262625B2 (ja) | 電子楽器 | |
CN108573690B (zh) | 电子乐器、发音控制方法以及记录介质 | |
US10360887B2 (en) | Musical strum and percussion controller | |
US20110287806A1 (en) | Motion-based tune composition on a mobile device | |
EP1357538A3 (en) | Method for making electronic tones close to acoustic tones, recording system and tone generating system | |
JP2007256736A (ja) | 電気楽器 | |
JP2008197227A (ja) | 演奏装置 | |
JP2003255950A (ja) | アナログ楽器のディジタルインターフェイス及びこれを備えたアナログ楽器 | |
JP2012098637A (ja) | 電子打楽器およびプログラム | |
JP6176372B2 (ja) | 楽器および信号処理装置 | |
US9396720B2 (en) | Electro-acoustic audio reverberation device | |
CN111108547B (zh) | 采用反馈和输入驱动器增强的原声乐器 | |
JP2019168707A (ja) | 音響装置 | |
JP6004027B2 (ja) | 楽器 | |
JP5716409B2 (ja) | 楽器 | |
JP2000181447A (ja) | 音楽情報送信装置、音楽情報受信装置、音楽情報送受信装置、及び記憶媒体 | |
JP6627325B2 (ja) | 音響システム及び音響装置 | |
US20160112799A1 (en) | Acoustic system, acoustic system control device, and acoustic system control method | |
EP3518230A1 (en) | Generation and transmission of musical performance data | |
CN216527988U (zh) | 用于对演奏信号进行处理的电子设备以及演奏乐器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160412 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160712 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160926 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6024077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |