JP6176372B2 - 楽器および信号処理装置 - Google Patents
楽器および信号処理装置 Download PDFInfo
- Publication number
- JP6176372B2 JP6176372B2 JP2016137728A JP2016137728A JP6176372B2 JP 6176372 B2 JP6176372 B2 JP 6176372B2 JP 2016137728 A JP2016137728 A JP 2016137728A JP 2016137728 A JP2016137728 A JP 2016137728A JP 6176372 B2 JP6176372 B2 JP 6176372B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- output
- unit
- data
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、複数種類のデータを同時に送信する技術に関する。
複数種類のデータを同時に送信する技術があるが、そのような技術のひとつとして、センシングDATA(ジャイロ、加速度、圧電などのデジタルセンシングデータ)等をオーディオデータと共に送信する技術があり、音源などの発音態様を制御するための発音制御データ(例えば、MIDI(Musical Instrument Digital Interface)形式のデータ)をオーディオデータとともに記録、または伝送するために、効率よくデータを生成する技術がある。例えば、特許文献1に記載された技術によれば、オーディオデータの最下位ビットなどを発音制御データを示すビットで置き換えることにより、発音制御データとオーディオデータとを、記録、または伝送時に単一のデータとして扱うことができる。
特許文献1に開示された技術によって、発音制御データを含むオーディオデータとして扱うことができるため、オーディオデータとしてLAN(Local Area Network)、インターネットなどの通信により、遠隔地に送信して、遠隔地においてオーディオデータと発音制御データとに応じた発音をさせることができる。このような通信により発音制御データとオーディオデータとを送信する場合、通信の状況によってデータの一部が欠損しないようにエラー訂正を行うことが知られている。
ところで、このオーディオデータおよび発音制御データが生成されてから通信され、これらのデータに基づいて発音するまでに、リアルタイム性が求められるような状況となることがある。このように、リアルタイム性が求められる状況においては、これらのデータの生成から発音までの時間を短くする必要があるが、エラー訂正を行うことがそのまま遅延の原因となってしまう。そのため、データ通信の精度が下がることになったとしても、リアルタイム性を確保するために、エラー訂正を用いないようにするか簡易な構成にする必要がある。
無線通信によりデータを送信する場合など、データ通信の精度が下がってしまう場合には、各データの一部に欠損、誤りが生じることがある。欠損、誤りが生じたデータがオーディオデータの場合には、ノイズが混ざる程度の影響で済む一方、発音制御データなど制御コマンドを示すデータの場合には、制御コマンドそのものが欠損したり変化してしまったりすることがあり、音源の発音制御に与える影響が非常に大きなものとなってしまう。そのため、オーディオデータが示す音は、発音制御データが示す音が合成されることにより加工され、加工された音として発音される場合には、通信によるデータの欠損が発生していない場合と比べて大きく変化してしまうことがあった。
本発明は、送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすることを目的とする。
上述の課題を解決するため、本発明は、楽器からオーディオ信号を出力する信号出力手段と、前記信号出力手段を備える前記楽器の胴部又は筐体部である検出対象部に設置された加速度センサ手段と、前記加速度センサ手段の出力値を、ユーザが前記検出対象部を動かすことにより、出力値が変化する検出信号として検出する検出手段と、前記出力されたオーディオ信号を第1サンプリング周波数でサンプリングして第1サンプルデータを生成し出力する第1サンプリング手段と、前記出力された検出信号を前記第1サンプリング周波数より低い第2サンプリング周波数でサンプリングして第2サンプルデータを生成し出力する第2サンプリング手段と、前記出力された前記第1サンプルデータと前記第2サンプルデータとが同一のパケットに含まれるようにパケット化し、前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して送信する送信手段とを具備することを特徴とする楽器を提供する。
また、本発明は、楽器からオーディオ信号を出力する信号出力手段と、前記信号出力手段を備える前記楽器の胴部又は筐体部である検出対象部に設置された振動センサ手段と、前記振動センサ手段の出力値を、ユーザが前記楽器を演奏することにより、出力値が変化する検出信号として検出する検出手段と、前記出力されたオーディオ信号を第1サンプリング周波数でサンプリングして第1サンプルデータを生成し出力する第1サンプリング手段と、前記出力された検出信号を前記第1サンプリング周波数より低い第2サンプリング周波数でサンプリングして第2サンプルデータを生成し出力する第2サンプリング手段と、前記出力された前記第1サンプルデータと前記第2サンプルデータとが同一のパケットに含まれるようにパケット化し、前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して送信する送信手段とを具備することを特徴とする楽器を提供する。
好ましい態様において、前記信号出力手段は、前記楽器の振動部分である振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力することを特徴とする。
別の好ましい態様において、前記振動体と前記検出対象部とは前記楽器においてそれぞれ異なる部分であることを特徴とする。
また、本発明は、上記記載の楽器から送信された送信データを受信する受信手段と、前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段とを具備することを特徴とする信号処理装置を提供する。
好ましい態様において、前記抽出手段は高周波成分を除去することを特徴とする。
本発明によれば、送信側で生成されるオーディオ信号およびこのオーディオ信号を加工するための信号に基づいて受信側において発音させる場合に、低遅延での送信をしつつも、通信におけるデータの欠損および誤りの影響を受けにくくすることができる。
<実施形態>
[機能構成]
図1は、本発明の実施形態における発音システム1の機能構成を説明するブロック図である。発音システム1は、発音装置10、信号送信装置20、信号処理装置30および放音装置40を有する。発音装置10における発音内容を示すオーディオ信号、および発音装置の運動を検出した結果を示す検出信号が信号送信装置20から信号処理装置30に無線通信により送信される。発音システム1においては、低遅延でのオーディオ信号および検出信号の送信をすることができる。以下、発音システム1の機能構成について説明する。
[機能構成]
図1は、本発明の実施形態における発音システム1の機能構成を説明するブロック図である。発音システム1は、発音装置10、信号送信装置20、信号処理装置30および放音装置40を有する。発音装置10における発音内容を示すオーディオ信号、および発音装置の運動を検出した結果を示す検出信号が信号送信装置20から信号処理装置30に無線通信により送信される。発音システム1においては、低遅延でのオーディオ信号および検出信号の送信をすることができる。以下、発音システム1の機能構成について説明する。
発音装置10は、振動体110および検出対象部120を有する。振動体110は、振動することにより発音する機能を有する。検出対象部120は、振動体110の振動または振動により生じた発音(以下、まとめて振動波形という)が伝達される。
信号送信装置20は、信号出力部210、検出部220、第1サンプリング部230、第2サンプリング部240、生成部250および送信部260を有する。信号出力部210は、振動体110から伝達された振動波形が入力され、この振動波形をオーディオ信号(Audio)に変換して出力する。この信号出力部210は、検出対象部120に取り付けられる。
検出部220は、検出対象部120における運動を検出し、検出結果に応じた検出信号(Sensor)を出力する。この検出信号は、検出対象部120の運動に伴い出力値が変化する信号であり、この出力値を波形(以下、検出波形という)で示す信号である。検出対象部120は、例えば、振動体110に振動を励起させるためのユーザからの操作、またユーザが検出対象部120を動かすことなどにより運動することになる。
検出部220は、検出対象部120における運動を検出し、検出結果に応じた検出信号(Sensor)を出力する。この検出信号は、検出対象部120の運動に伴い出力値が変化する信号であり、この出力値を波形(以下、検出波形という)で示す信号である。検出対象部120は、例えば、振動体110に振動を励起させるためのユーザからの操作、またユーザが検出対象部120を動かすことなどにより運動することになる。
第1サンプリング部230は、信号出力部210からオーディオ信号が入力され、このオーディオ信号を第1サンプリング周波数でサンプリングしてオーディオデータ(第1サンプルデータ)を生成し出力する。第2サンプリング部240は、検出部220から検出信号が入力され、この検出信号を第2サンプリング周波数でサンプリングしてセンサデータ(第2サンプルデータ)を生成し出力する。第2サンプリング周波数は、第1サンプリング周波数よりも低い値である。以下、単にオーディオデータ、センサデータといった場合には、1回のサンプリングにより得られたサンプルデータ単位であるものとして説明する。
生成部250は、第1サンプリング部230からオーディオデータが入力され、また、第2サンプリング部240からセンサデータが入力される。生成部250は、これらのデータをパケット化して送信データを生成し、生成した送信データを出力する。このとき、生成部250は、オーディオデータとセンサデータとが同一のパケットに含まれるようにパケット化する。また、センサデータは、オーディオデータよりも低いサンプリング周波数でサンプリングされて得られたデータである。そのため、パケットごとにオーディオデータが異なるものとしても、複数のパケットに同一のセンサデータが含まれるようにすることもできる。
また、センサデータを、ビット単位で分割し、各パケットには分割されたセンサデータ(分割データ)が含まれるようにすることもできる。どのようにしてセンサデータがパケット化されているかの情報については、パケットのヘッダに記録されるようにすればよい。センサデータが分割されるか否かにかかわらず、オーディオデータとセンサデータとが同一のパケットに含まれるようになっていることに違いはない。
送信部260は、生成部250から入力された送信データを無線通信により信号処理装置30に送信する。
また、センサデータを、ビット単位で分割し、各パケットには分割されたセンサデータ(分割データ)が含まれるようにすることもできる。どのようにしてセンサデータがパケット化されているかの情報については、パケットのヘッダに記録されるようにすればよい。センサデータが分割されるか否かにかかわらず、オーディオデータとセンサデータとが同一のパケットに含まれるようになっていることに違いはない。
送信部260は、生成部250から入力された送信データを無線通信により信号処理装置30に送信する。
信号処理装置30は、受信部310、抽出部320、決定部330および加工部340を有する。受信部310は、信号送信装置20の送信部260から送信された送信データを受信して出力する。抽出部320は、受信部310から入力された送信データから、オーディオ信号(Audio)および検出信号(Sensor)を抽出して出力する。決定部330は、抽出部320から検出信号が入力され、この検出信号に基づいて、加工部340におけるオーディオ信号への加工態様を決定する。加工部340は、抽出部320から入力されたオーディオ信号に対して、決定部330において決定された加工態様での加工処理を施して出力する。
放音装置40は、信号処理装置30の加工部340から入力されたオーディオ信号を増幅し、音として出力する。放音装置40は、スピーカ、アンプなどによりその機能が実現される。このようにして放音装置40から出力される音は、信号出力部210から出力されたオーディオ信号に対して、検出部220から出力された検出信号に基づく加工態様で加工された音となる。
信号送信装置20から信号処理装置30に対して無線通信により送信される送信データは、その通信の状況に応じて、一部の送信データが欠損したり誤りが発生したりする場合がある。この場合であっても、オーディオ信号の振動波形にノイズが生じる程度であり、また、検出信号の検出波形についてもノイズが生じる程度である。そのため、決定部330において検出信号に対するフィルタリング(例えばローパスフィルタ)などによりノイズの除去をすれば、検出波形をほぼ再現することができる。また、同一パケット(送信データ)にオーディオデータとセンサデータとが含まれているから、オーディオ信号のどの部分に対して検出信号に基づく加工をすべきかの対応関係が明らかとなる。したがって、オーディオ信号に対して、検出信号に基づく加工処理が施されるときに、リアルタイム性を維持することができる。
続いて、発音システム1の機能構成を実現するための具体的な実施形態について、第1実施形態および第2実施形態として説明する。
続いて、発音システム1の機能構成を実現するための具体的な実施形態について、第1実施形態および第2実施形態として説明する。
<第1実施形態>
本発明の第1実施形態においては、発音装置10がギターである場合について説明する。第1実施形態の説明においては、発音装置10をギター10と記す。
本発明の第1実施形態においては、発音装置10がギターである場合について説明する。第1実施形態の説明においては、発音装置10をギター10と記す。
図2は、本発明の第1実施形態におけるギター10の外観構成を説明する図である。この例における発音システム1は、ギター10、信号送信装置20、信号処理装置30、および放音装置40を有する。ギター10は、弦11および弦11が張られた胴部12を有する。弦11は、振動体110の機能を実現するための構成である。胴部12は、検出対象部120の機能を実現するための構成である。
[信号送信装置20の構成]
信号送信装置20は、ピックアップ21および制御モジュール200を有する。ピックアップ21は、胴部12に設けられ、弦11からの振動波形がサドルを介して伝達される。ピックアップ21は、信号出力部210を実現するための構成であり、伝達された振動波形をオーディオ信号として出力する。ピックアップ21は、例えば、インブリッジ式、コンタクト式などのピエゾピックアップである。
制御モジュール200は、胴部12に設けられ、ピックアップ21から出力されるオーディオ信号が入力される。制御モジュール200を含む信号送信装置20の構成を図3を用いて説明する。
信号送信装置20は、ピックアップ21および制御モジュール200を有する。ピックアップ21は、胴部12に設けられ、弦11からの振動波形がサドルを介して伝達される。ピックアップ21は、信号出力部210を実現するための構成であり、伝達された振動波形をオーディオ信号として出力する。ピックアップ21は、例えば、インブリッジ式、コンタクト式などのピエゾピックアップである。
制御モジュール200は、胴部12に設けられ、ピックアップ21から出力されるオーディオ信号が入力される。制御モジュール200を含む信号送信装置20の構成を図3を用いて説明する。
図3は、本発明の第1実施形態における信号送信装置20の構成を説明するブロック図である。信号送信装置20における制御モジュール200は、加速度センサ22、第1AD(analog-digital)変換部23、第2AD変換部24、制御部25および通信モジュール26を有する。ピックアップ21から出力されるオーディオ信号は、第1AD変換部23に入力される。
加速度センサ22は、検出部220を実現するための構成であり、取り付けられた部分(この例においては胴部12)における運動を、3軸(x軸、y軸、z軸)方向の加速度として検出し、各軸についての検出結果を示す検出信号Sx、Sy、Szを出力する。この例においては、加速度センサ22は、弦11が張られた方向をx軸、弦11が並ぶ方向をy軸、x軸およびy軸を含む平面の法線方向をz軸として、加速度を検出する。
加速度センサ22は、検出部220を実現するための構成であり、取り付けられた部分(この例においては胴部12)における運動を、3軸(x軸、y軸、z軸)方向の加速度として検出し、各軸についての検出結果を示す検出信号Sx、Sy、Szを出力する。この例においては、加速度センサ22は、弦11が張られた方向をx軸、弦11が並ぶ方向をy軸、x軸およびy軸を含む平面の法線方向をz軸として、加速度を検出する。
第1AD変換部23は、第1サンプリング部230を実現するための構成であり、入力されたオーディオ信号を、サンプリング周波数44kHz、量子化数16bitでサンプリングしてオーディオデータを生成し出力するADコンバータである。第2AD変換部24は、第2サンプリング部240を実現するための構成であり、入力された検出信号Sx、Sy、Szの各々を、サンプリング周波数200Hz、量子化数8bitでサンプリングしてセンサデータを生成し出力するADコンバータである。
第1AD変換部23のサンプリング周波数は、第2AD変換部24のサンプリング周波数の220倍である。したがって、1回のサンプリングにより3軸方向のセンサデータが生成されるうちに、オーディオデータが220回生成される。
第1AD変換部23のサンプリング周波数は、第2AD変換部24のサンプリング周波数の220倍である。したがって、1回のサンプリングにより3軸方向のセンサデータが生成されるうちに、オーディオデータが220回生成される。
制御部25は、生成部250を実現するための構成であり、CPU(Central Processing Unit)などの演算処理回路により構成される。制御部25は、オーディオデータとセンサデータとをパケット化した送信データを通信モジュール26に出力する。送信データの構造については後述する。
通信モジュール26は、送信部260を実現するための構成であり、信号処理装置30
との間で無線による通信が確立された後、生成部250から出力された送信データを、信号処理装置30に無線通信により送信する。このとき、通信モジュール26は、信号処理装置30から同期データを一定期間毎に受け取ることで、信号処理装置30が送信データを受け取っていることが通知されるようにしてもよい。
なお、通信の確立は、公知の技術を用いればよい。この例においては、信号処理装置30が、ある一定範囲内において使用可能な無線周波数をサーチして決定し、信号送信装置20に決定した無線周波数を通知する。そして、信号送信装置20は、この無線周波数を用いて信号処理装置30への通信を確立するようにすればよい。
続いて、信号送信装置20と信号処理装置30との間で通信されるデータについて、図4、図5を用いて説明する。
との間で無線による通信が確立された後、生成部250から出力された送信データを、信号処理装置30に無線通信により送信する。このとき、通信モジュール26は、信号処理装置30から同期データを一定期間毎に受け取ることで、信号処理装置30が送信データを受け取っていることが通知されるようにしてもよい。
なお、通信の確立は、公知の技術を用いればよい。この例においては、信号処理装置30が、ある一定範囲内において使用可能な無線周波数をサーチして決定し、信号送信装置20に決定した無線周波数を通知する。そして、信号送信装置20は、この無線周波数を用いて信号処理装置30への通信を確立するようにすればよい。
続いて、信号送信装置20と信号処理装置30との間で通信されるデータについて、図4、図5を用いて説明する。
[データ構造]
図4は、本発明の第1実施形態における送信データおよび同期データの構造を説明する図である。図4(a)は、1パケットの送信データの構造を説明する図である。図4(b)は、同期データの構造を説明する図である。送信データおよび同期データは、ヘッダ部(図4における先頭2byte「H」の部分)とペイロード部(ヘッダ部以外の部分)とにより構成されている。図4(b)に示す同期データにおいて、ペイロード部は、信号送信装置20からの送信データを受信していることを示すSyncコマンド(「C」の部分)を1byteで示すデータになっている。
図4は、本発明の第1実施形態における送信データおよび同期データの構造を説明する図である。図4(a)は、1パケットの送信データの構造を説明する図である。図4(b)は、同期データの構造を説明する図である。送信データおよび同期データは、ヘッダ部(図4における先頭2byte「H」の部分)とペイロード部(ヘッダ部以外の部分)とにより構成されている。図4(b)に示す同期データにおいて、ペイロード部は、信号送信装置20からの送信データを受信していることを示すSyncコマンド(「C」の部分)を1byteで示すデータになっている。
図4(a)に示す送信データにおいて、ペイロード部は、オーディオデータ(「Audio」の部分)が6byte、および、その後のセンサデータ(「S」の部分)が1bitを示すデータになっている。なお、1パケットにつき、オーディオデータが6byte、センサデータが1bitとしたのは一例であって、他のデータ量の組み合わせであってもよい。
オーディオデータは、16bitの量子化数でサンプリングされて得られたデータであるから、1パケットには、3回のサンプリングにより得られたオーディオデータが含まれることになる。センサデータは、8bitの量子化数でサンプリングされて得られる一方、1パケットに含まれるセンサデータは1bitである。そのため、センサデータは、制御部25によって、8つの1bitのセンサデータ(分割データ)に分割されて、各パケットに含まれるものとなる。また、センサデータは、3軸方向のセンサデータSx、Sy、Szにより構成されているから、1回のサンプリングで8bit×3=24bitとなる。そのため、センサデータの各サンプリング毎に24パケットに分割されることになる。
次に、送信データにおける各パケットに含まれる分割データの内容を図5を用いて説明する。
次に、送信データにおける各パケットに含まれる分割データの内容を図5を用いて説明する。
図5は、本発明の第1実施形態における送信データの例を示す図である。図5の左側に示す「No.」は、パケットの番号を示している。分割データSx1−1〜Sx1−8は、x軸方向のセンサデータの1ビット目から8ビット目までを示し、この8bitで1回のサンプリングにより得られるセンサデータSxが構成される。同様にして、Sy1−1〜Sy1−8、Sz1−1〜Sz1−8により、センサデータSy、Szが得られる。上述したように、パケットNo.1〜24までの24パケットを送受信することにより、1回のサンプリングにより得られる3軸のセンサデータSx、Sy、Szが信号処理装置30に送信される。
その後、次のサンプリングによりセンサデータが生成されるまでの期間は、パケットNo.1〜24までの24パケットにおける分割データの割り当てが繰り返される。図5に示す例においては、N回目に割り当てられた分割データを、SxN−1、SxN−2、・・・として示している。
その後、次のサンプリングによりセンサデータが生成されるまでの期間は、パケットNo.1〜24までの24パケットにおける分割データの割り当てが繰り返される。図5に示す例においては、N回目に割り当てられた分割データを、SxN−1、SxN−2、・・・として示している。
一方、オーディオデータの部分については、各パケットにつき3回のサンプリングにより得られたオーディオデータが含まれている。次のサンプリングによりセンサデータが生成されるまでに、オーディオデータが220回生成される。220回目のサンプリングにより生成されたオーディオデータは、パケットNo.74に含まれる。そのため、このパケットNo.74には、新たなサンプリングにより生成されたセンサデータの分割データSx1−1が含まれることになり、再び24パケット単位で繰り返される。なお、パケットNo.73には、4回目の繰り返しが開始されているが、次のパケットNo.74が生成されるときには、次のサンプリングによりセンサデータが生成されているため、4回目の繰り返しは中止されている。
各パケットのヘッダ部には、信号送信装置20(送信側の装置)を識別する情報、パケットNo.など順番を規定する情報、オーディオデータおよびセンサデータについてのデータ長、量子化数、サンプリング周波数、分割データがセンサデータの何bit目に対応するか、3軸のうちどの軸のセンサデータに対応するか、何回目のサンプリングに対応するかなどの各種情報が含まれている。
以上が、信号送信装置20の構成に関する説明である。続いて、信号処理装置30の構成について説明する。
以上が、信号送信装置20の構成に関する説明である。続いて、信号処理装置30の構成について説明する。
[信号処理装置30の構成]
図6は、本発明の第1実施形態における信号処理装置30の構成を説明するブロック図である。信号処理装置30は、通信モジュール31、DA(digital-analog)変換部32、制御部33およびDSP(Digital Signal Processor)34を有する。
通信モジュール31は、受信部310を実現するための構成であり、信号送信装置20との間で通信が確立された後、信号送信装置20から送信された送信データを受信して出力する。また、上述したように、信号送信装置20との無線による通信を確立するための処理を行う。これは、図示しない操作部を用いてユーザが通信の確立の指示などを入力することにより開始される。なお、通信モジュール31においては、送信データに欠損があっても、再送の要求などは行わず、欠損しているものとして扱う。すなわち、エラー訂正の処理は行わない。また、通信モジュール31は、一定時間にわたって送信データが受信できない場合には、無線周波数を変更するなど通信を確立し直してもよい。
図6は、本発明の第1実施形態における信号処理装置30の構成を説明するブロック図である。信号処理装置30は、通信モジュール31、DA(digital-analog)変換部32、制御部33およびDSP(Digital Signal Processor)34を有する。
通信モジュール31は、受信部310を実現するための構成であり、信号送信装置20との間で通信が確立された後、信号送信装置20から送信された送信データを受信して出力する。また、上述したように、信号送信装置20との無線による通信を確立するための処理を行う。これは、図示しない操作部を用いてユーザが通信の確立の指示などを入力することにより開始される。なお、通信モジュール31においては、送信データに欠損があっても、再送の要求などは行わず、欠損しているものとして扱う。すなわち、エラー訂正の処理は行わない。また、通信モジュール31は、一定時間にわたって送信データが受信できない場合には、無線周波数を変更するなど通信を確立し直してもよい。
DA変換部32は、抽出部320を実現するための構成であり、ヘッダの情報を参照して送信データをDA変換して、オーディオ信号および検出信号Sx、Sy、Szを出力するDAコンバータである。DA変換部32は、サンプリング順にオーディオデータをDA変換してオーディオ信号を生成して出力する。また、DA変換部32は、各パケットに含まれる分割データを8パケット分(3軸をあわせると24パケット分)をまとめてセンサデータを生成する。そして、DA変換部32は、センサデータをサンプリング順にDA変換することにより検出信号Sx、Sy、Szを生成して出力する。
なお、通信モジュール31において送信データが受信できず欠損が発生した場合には、直前の送信データからDA変換した値を保持する。一方、センサデータについては、DA変換部32は、複数回受信する送信データに同一ビットの分割データ(例えば、Sx1−1とSx2−1)が含まれるため、受信できた送信データにおける分割データを組み合わせて各ビットの値を特定することもできる。また、送信データの欠損が無くとも受信した送信データが送信したときと変わってしまう誤りが発生する場合もあるが、この場合には、DA変換部32は、複数回の同一ビットの分割データを比較して最も多い値を正常な値として特定してもよい。
ここで、DA変換部32において生成されるオーディオ信号および検出信号Sx、Sy、Szは、制御コマンドではなく、波形を示す信号である。そのため、一部の送信データに欠損、誤りが発生したりしても、オーディオ信号および検出信号Sx、Sy、Szの波形には、僅かな期間だけノイズが発生する程度であり、大きく波形が変化してしまうことがない。また、上述のように、検出信号については、エラー訂正の処理を行わなくても、複数回同一ビットを受信するなどの冗長性を持たせることもできるため、欠損、誤りが生じにくくすることもできる。
制御部33は、決定部330を実現するための構成であり、CPU(Central Processing Unit)などの演算処理回路により構成される。制御部33は、入力された検出信号Sx、Sy、Szを解析して、ギター10における弦11の張られた方向の水平からの傾きの絶対値|Ps|を特定する。なお、解析にあたり、検出信号について一定時間で移動平均を取るなどして高周波成分を除去することで、送信データの欠損、誤りなどの影響を低減するようにしてもよい。
制御部33は、特定した|Ps|を制御テーブルにしたがって、エフェクト制御値Ceffを決定し、DSP34に出力する。出力するタイミングは、予め決められたタイミング(例えば、第2AD変換部24におけるサンプリング周波数200Hzで決められる間隔)であればよい。
エフェクト制御値Ceffは、DSP34において用いられるパラメータであり、この例においては、オーディオ信号に付与する音響効果の効き具合(加工態様)を定めるパラメータである。制御テーブルは、|Ps|からCeffを決定するためのテーブルである。
制御部33は、特定した|Ps|を制御テーブルにしたがって、エフェクト制御値Ceffを決定し、DSP34に出力する。出力するタイミングは、予め決められたタイミング(例えば、第2AD変換部24におけるサンプリング周波数200Hzで決められる間隔)であればよい。
エフェクト制御値Ceffは、DSP34において用いられるパラメータであり、この例においては、オーディオ信号に付与する音響効果の効き具合(加工態様)を定めるパラメータである。制御テーブルは、|Ps|からCeffを決定するためのテーブルである。
図7は、本発明の第1実施形態における制御テーブルの内容を説明する図である。図7に示すように、この例における制御テーブルは、|Ps|が大きくなるほど、Ceffが大きくなる関係に規定されている。このような関係は、一例であって、様々な関係に定めることができる。また、検出信号Sx、Sy、Szのそれぞれについて、異なる種類のエフェクト制御値が決定されるようにしてもよい。また、1対1の変換テーブルでなく、検出信号Sx、Sy、Szのそれぞれの組み合わせに対応して、一のエフェクト制御値が決定されるようにしてもよい。
DSP34は、加工部340を実現するための構成であり、入力されたオーディオ信号に対して、音響効果(この例においてはディレイ効果)を付与する信号処理を施して出力する。すなわち、この例においては、オーディオ信号に対して施される加工処理は、音響効果を付与する処理である。
DSP34は、制御部33から出力されたエフェクト制御値Ceffが示す音響効果の効き具合に応じて、付与する音響効果の程度、例えば、ディレイ量を決定する。DSP34は、ディレイ量でなく、ディレイ音の減衰量、ディレイ音量などを決定してもよい。このように、DSP34は、オーディオ信号に対して付与する音響効果の程度をエフェクト制御値Ceffに基づいて決定するため、制御部33によって付与すべき音響効果の程度が制御されることになる。
このようにしてDSP34から出力されたオーディオ信号は、放音装置40に入力され、放音装置40から放音される。
DSP34は、制御部33から出力されたエフェクト制御値Ceffが示す音響効果の効き具合に応じて、付与する音響効果の程度、例えば、ディレイ量を決定する。DSP34は、ディレイ量でなく、ディレイ音の減衰量、ディレイ音量などを決定してもよい。このように、DSP34は、オーディオ信号に対して付与する音響効果の程度をエフェクト制御値Ceffに基づいて決定するため、制御部33によって付与すべき音響効果の程度が制御されることになる。
このようにしてDSP34から出力されたオーディオ信号は、放音装置40に入力され、放音装置40から放音される。
このように、本発明の第1実施形態における発音システム1においては、ユーザがギター10の弦11を弾くなどして演奏しながらギター10を傾けると、放音装置40からは、傾きに応じたディレイ量のディレイ効果が付与されたギター10の演奏音が放音される。このとき、ギター10に設けられた信号送信装置20から信号処理装置30へは、無線通信により音の情報と傾きの情報とが波形の情報として送信されている。このとき、上述したようにパケット化されて送信することにより、エラー訂正の処理をしなくてもよくなり、低遅延での送信が可能となる。
また、オーディオデータとセンサデータとが同一パケットにより送信されているから、ギター10を傾きを変化させたときにおいて、リアルタイムに演奏音への音響効果の付与態様の変化として反映されているという印象をユーザに与えることもできる。
また、オーディオデータとセンサデータとが同一パケットにより送信されているから、ギター10を傾きを変化させたときにおいて、リアルタイムに演奏音への音響効果の付与態様の変化として反映されているという印象をユーザに与えることもできる。
また、信号送信装置20においては、DSP34などの処理負荷が大きい構成を必要としないため、低消費電力とすることができる。そのため、信号送信装置20が設けられたギター10に容量の大きな電源を用いる必要がなく、小型化にもつながり、持ち運びが容易となる。
さらに、送信データに含まれる情報は波形を示すものであるから、この送信データを受信する装置において自由に処理を施すことができ汎用性を高めることができる。
さらに、送信データに含まれる情報は波形を示すものであるから、この送信データを受信する装置において自由に処理を施すことができ汎用性を高めることができる。
<第2実施形態>
本発明の第2実施形態においては、発音装置10がスネアドラムである場合について説明する。第2実施形態の説明においては、発音装置10をスネアドラム10Aと記す。
本発明の第2実施形態においては、発音装置10がスネアドラムである場合について説明する。第2実施形態の説明においては、発音装置10をスネアドラム10Aと記す。
図8は、本発明の第2実施形態におけるスネアドラム10Aの外観構成を説明する図である。この例における発音システム1Aは、スネアドラム10A、信号送信装置20A、信号処理装置30A、および放音装置40を有する。放音装置40については、第1実施形態における構成と同様であるため説明を省略する。スネアドラム10Aは、膜部11Aおよび膜部11Aが張られた胴部12Aを有する。膜部11Aは、振動体110の機能を実現するための構成である。胴部12Aは、検出対象部120の機能を実現するための構成である。
[信号送信装置20Aの構成]
信号送信装置20Aは、制御モジュール200Aを有する。制御モジュール200は、胴部12Aに設けられている。
信号送信装置20Aは、制御モジュール200Aを有する。制御モジュール200は、胴部12Aに設けられている。
図9は、本発明の第2実施形態における信号送信装置20Aの構成を説明するブロック図である。信号送信装置20Aにおける制御モジュール200Aは、シリコンマイク21A、振動センサ22A、第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26を有する。
シリコンマイク21Aは、信号出力部210を実現するための構成であり、膜部11Aが打撃されることにより生じた振動波形が伝達され、伝達された振動波形をオーディオ信号として第1AD変換部23に出力する。シリコンマイク21Aは、例えば、MEMS(Micro Electro Mechanical Systems)技術によりシリコン基板等を用いて製造された収音装置である。
シリコンマイク21Aは、信号出力部210を実現するための構成であり、膜部11Aが打撃されることにより生じた振動波形が伝達され、伝達された振動波形をオーディオ信号として第1AD変換部23に出力する。シリコンマイク21Aは、例えば、MEMS(Micro Electro Mechanical Systems)技術によりシリコン基板等を用いて製造された収音装置である。
振動センサ22Aは、検出部220を実現するための構成であり、取り付けられた部分(この例においては胴部12A)の振動を検出し、検出結果を示す検出信号Sを出力する。この例においては、振動センサ22Aは、膜部11Aへの打撃により胴部12Aに伝達される振動を検出し、検出した振動の波形を示す検出信号Sを第2AD変換部24に出力する。
第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26については、第1実施形態における構成と同様であるため説明を省略する。なお、検出部220を実現する構成は、第1実施形態においては、3軸方向のそれぞれについて検出信号Sx、Sy、Sz(出力値が3種類)として出力されていたが、第2実施形態においては、1種類の出力値の検出信号Sとして出力される。そのため、送信データに含まれるセンサデータ(分割データ)については、第1実施形態においては、1回のサンプリングに対して、3軸のそれぞれについてのセンサデータが3回繰り返されていたが、サンプリング周波数が同じであれば、第2実施形態においては、9回繰り返されることになる。
[信号処理装置30Aの構成]
第2実施形態における信号処理装置30Aは、第1実施形態における信号処理装置30に対して、制御部33において決定される加工態様が異なり、それに伴いDSP34(以下、DSP34Aとして記す)においてオーディオ信号に対して施される加工処理の態様も異なっている。以下、第2実施形態における制御部33(以下、制御部33Aとして記す)において決定される加工態様について説明する。なお、信号処理装置30Aの構成については、図6に示す信号処理装置30において、制御部33が制御部33Aとして、DSP34がDSP34Aとして変わるだけであるため、図示を省略する。
第2実施形態における信号処理装置30Aは、第1実施形態における信号処理装置30に対して、制御部33において決定される加工態様が異なり、それに伴いDSP34(以下、DSP34Aとして記す)においてオーディオ信号に対して施される加工処理の態様も異なっている。以下、第2実施形態における制御部33(以下、制御部33Aとして記す)において決定される加工態様について説明する。なお、信号処理装置30Aの構成については、図6に示す信号処理装置30において、制御部33が制御部33Aとして、DSP34がDSP34Aとして変わるだけであるため、図示を省略する。
第2実施形態における加工態様としては、オーディオ信号に対して時間変化する増幅処理を施す態様である。
制御部33Aは、DA変換部32から出力される検出信号Sを解析して、検出信号Sが示す振動波形のエンベロープからピークを検出するとともに、そのピークレベルLpについても特定する。制御部33Aは、ピークを検出すると、DSP34Aに増幅処理の開始を指示する。このときの増幅値については、特定したピークレベルLpから、制御テーブルにしたがって制御部33Aが決定する。
制御部33Aは、DA変換部32から出力される検出信号Sを解析して、検出信号Sが示す振動波形のエンベロープからピークを検出するとともに、そのピークレベルLpについても特定する。制御部33Aは、ピークを検出すると、DSP34Aに増幅処理の開始を指示する。このときの増幅値については、特定したピークレベルLpから、制御テーブルにしたがって制御部33Aが決定する。
図10は、本発明の第2実施形態における増幅処理の時間変化態様を説明する図である。DSP34Aは、制御部33Aにおいて増幅処理の開始の指示を受けると、図10に示すように時間変化する増幅値P(t)にしたがってオーディオ信号を増幅して出力する。この増幅値P(t)は、ピーク検出後、時間tmが経過すると最大増幅値Pm(dB)となり、その後時間経過に伴って減少し、ピーク検出から時間teが経過すると増幅値が0(dB)となるように決められている。
図11は、本発明の第2実施形態における最大値を決定するための制御テーブルを説明する図である。この例における制御テーブルは、制御部33Aが、ピークレベルLpに基づいて最大増幅値Pmを決定するために用いられる。図11に示すように、この例における制御テーブルは、Lpが大きくなるほど、Pmが大きくなる関係に規定されている。
このように、増幅処理の時間変化態様、および制御テーブルが決められているため、以下のような効果を奏する。例えば、膜部11Aの打撃により生じた音を収音して、一定の増幅率で増幅して放音する場合には、音量は増大するがダイナミックレンジは変わらない。一方、第2実施形態におけるDSP34Aでの増幅処理をオーディオ信号に施すことによっては、膜部11Aの打撃により生じた振動を振幅に基づいて、放音される音の音量を制御することができる。すなわち、膜部11Aが強く打撃されるほど、オーディオ信号が大きく増幅されることになるため、ダイナミックレンジが拡大することになる。
なお、制御テーブルが図11に示す内容ではなく、ピークレベルLpが大きくなるほど、最大増幅値Pmが小さくなる関係に規定されていれば、逆に、ダイナミックレンジを圧縮することもできる。また、上記の増幅値が0(dB)となる時間teについても、ピークレベルLpに応じて変化するようにしてもよい。例えば、増幅処理の時間変化態様において、増幅値が0(dB)となる時間を規定するのではなく、最大増幅値Pmからの減少率を一定として規定してもよい。
<第3実施形態>
本発明の第1、2実施形態においては、発音装置10は、振動体110および検出対象部120を有するものとして説明したが、検出対象部120が別の構成であってもよい。この場合には、検出対象部120は、信号送信装置20の一部の構成として扱うものとする。
このように構成される場合についての実施形態について、第3実施形態および第4実施形態として説明する。
本発明の第1、2実施形態においては、発音装置10は、振動体110および検出対象部120を有するものとして説明したが、検出対象部120が別の構成であってもよい。この場合には、検出対象部120は、信号送信装置20の一部の構成として扱うものとする。
このように構成される場合についての実施形態について、第3実施形態および第4実施形態として説明する。
第3実施形態においては、発音装置10が楽器であり、信号送信装置20がマイクロフォンである場合について説明する。第3実施形態の説明においては、発音装置10を楽器10Bと記し、信号送信装置20をマイクロフォン20Bと記す。なお、発音装置10は楽器でなく、ユーザなどの人であってもよく、音を発する構成を有していればよい。
図12は、本発明の第3実施形態におけるマイクロフォン20Bの外観構成を説明する図である。この例における発音システム1Bは、楽器10B、マイクロフォン20B、信号処理装置30、および放音装置40を有する。信号処理装置30および放音装置40については、第1実施形態における構成と同様であるため説明を省略する。楽器10Bは、発音部11Bを有する。発音部11Bは、振動体110の機能を実現するための構成である。
[マイクロフォン20Bの構成]
マイクロフォン20Bは、筐体12B、ムービングコイル21Bおよび制御モジュール200Bを有する。ムービングコイル21Bおよび制御モジュール200Bは、筐体12Bに設けられている。筐体12Bは、検出対象部120の機能を実現するための構成である。
マイクロフォン20Bは、筐体12B、ムービングコイル21Bおよび制御モジュール200Bを有する。ムービングコイル21Bおよび制御モジュール200Bは、筐体12Bに設けられている。筐体12Bは、検出対象部120の機能を実現するための構成である。
図13は、本発明の第3実施形態におけるマイクロフォン20Bの構成を説明するブロック図である。ムービングコイル21Bは、信号出力部210を実現するための構成であり、発音部11Bにおける発音に応じた音の振動波形が伝達され、伝達された振動波形をオーディオ信号として第1AD変換部23に出力する。
制御モジュール200Bは、加速度センサ22、第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26を有する。これらの各構成については、第1実施形態における構成と同様であるため、説明を省略する。
制御モジュール200Bは、加速度センサ22、第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26を有する。これらの各構成については、第1実施形態における構成と同様であるため、説明を省略する。
このように、第3実施形態においては、発音部11Bからの音に音響効果を付与して放音させることができる。このとき、ユーザがマイクロフォン20Bを把持して傾けることにより、付与される音響効果を変化させることもできる。例えば、カラオケのマイクロフォンとして、このマイクロフォン20Bを用いれば、ユーザは、歌唱しつつこのマイクロフォン20Bを傾けることにより、歌唱音に様々な音響効果を付与することができる。
<第4実施形態>
第4実施形態においては、信号送信装置20(第3実施形態におけるマイクロフォン20B)が携帯端末である場合について説明する。第4実施形態の説明においては、発音装置10を楽器10Cと記し、信号送信装置20を携帯端末20Cと記す。携帯端末20Cは、携帯電話、タブレット端末、PDA(Personal Digital Assistant)などの持ち運び可能な情報処理端末である。
図14は、本発明の第4実施形態における携帯端末20Cの外観構成を説明する図である。この例における発音システム1Cは、楽器10C、携帯端末20C、信号処理装置30、および放音装置40を有する。信号処理装置30および放音装置40については、第1実施形態における構成と同様であるため説明を省略する。また、楽器10C(発音部11C)についても第3実施形態における構成と同様であるため説明を省略する。
[携帯端末20Cの構成]
図15は、本発明の第4実施形態における携帯端末20Cの構成を説明するブロック図である。図14、図15に示すように、携帯端末20Cは、シリコンマイク21C、加速度センサ22C、第1AD変換部23C、第2AD変換部24C、制御部25C、通信モジュール26Cおよび記憶部50Cを有し、それぞれ筐体12Cに設けられている。
加速度センサ22C、第1AD変換部23C、第2AD変換部24Cおよび通信モジュール26Cについては、第1実施形態において対応する構成と同様であるため説明を省略する。また、シリコンマイク21Cについても、第2実施形態におけるシリコンマイク21Aと同様であるため説明を省略する。
図15は、本発明の第4実施形態における携帯端末20Cの構成を説明するブロック図である。図14、図15に示すように、携帯端末20Cは、シリコンマイク21C、加速度センサ22C、第1AD変換部23C、第2AD変換部24C、制御部25C、通信モジュール26Cおよび記憶部50Cを有し、それぞれ筐体12Cに設けられている。
加速度センサ22C、第1AD変換部23C、第2AD変換部24Cおよび通信モジュール26Cについては、第1実施形態において対応する構成と同様であるため説明を省略する。また、シリコンマイク21Cについても、第2実施形態におけるシリコンマイク21Aと同様であるため説明を省略する。
記憶部50Cは、不揮発性メモリなどであって、アプリケーションプログラムを記憶している。制御部25Cは、このアプリケーションプログラムを実行すると、携帯端末20Cの各構成を制御して、信号送信装置20の機能構成を実現する。このとき、制御部25Cは、シリコンマイク21Cにより信号出力部210を実現し、加速度センサ22Cにより検出部220を実現し、第1AD変換部23Cにより第1サンプリング部230として実現し、第2AD変換部24Cにより第2サンプリング部240として実現し、通信モジュール26Cにより送信部260を実現する。また、制御部25Cにおいて、生成部250を実現する。
このように、信号送信装置20における各機能構成は、アプリケーションプログラムを制御部25Cに実行させることにより、制御部25Cと各ハードウエア構成とにより協働して実現されるようにすることができる。なお、第1サンプリング部230および第2サンプリング部240の機能構成については、制御部25Cにおいて実現されるようにしてもよい。
<変形例>
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。なお、実施形態および変形例のうちの一の例について変形した態様として説明するものであっても、他の例についても同様に変形して適用することができる。
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。なお、実施形態および変形例のうちの一の例について変形した態様として説明するものであっても、他の例についても同様に変形して適用することができる。
[変形例1]
上述した実施形態において、信号処理装置30(30A)においては、オーディオ信号に対して施される加工処理が音響効果の付与であったが、別のオーディオ信号を合成するものであってもよい。この場合の構成について説明する。
上述した実施形態において、信号処理装置30(30A)においては、オーディオ信号に対して施される加工処理が音響効果の付与であったが、別のオーディオ信号を合成するものであってもよい。この場合の構成について説明する。
図16は、本発明の変形例1における信号処理装置30Bの構成を説明するブロック図である。信号処理装置30Bは、通信モジュール31、DA変換部32、制御部33B、音源部34B1および合成部34B2を有する。通信モジュール31およびDA変換部32については、第1実施形態における構成と同様であるため説明を省略する。
音源部34B1および合成部34B2は、加工部340を実現する構成である。音源部34B1は、制御部33Bの制御に応じてオーディオ信号を生成して出力する。音源部34B1は、例えば、MIDI形式の制御コマンドが入力されると、制御コマンドに基づいて決まる発音内容を示す波形のオーディオ信号を出力する。合成部34B2は、DA変換部32から出力されるオーディオ信号および音源部34B1から出力されるオーディオ信号とを加算して合成して出力する。
なお、合成部34B2において合成されるオーディオ信号のうち、DA変換部32から出力されるオーディオ信号は、各実施形態において示したようにDSP34(34A)により音響効果が付与される処理が施されてもよい。
なお、合成部34B2において合成されるオーディオ信号のうち、DA変換部32から出力されるオーディオ信号は、各実施形態において示したようにDSP34(34A)により音響効果が付与される処理が施されてもよい。
制御部33Bは、決定部330を実現する構成であり、この例においては、DA変換部32から出力される検出信号に基づいて、音源部34B1の発音内容を決定し、決定した発音内容のオーディオ信号を出力させるための制御コマンドを音源部34B1に出力する。
例えば、制御部33Bは、第1実施形態の場合のように検出信号Sx、Sy、Szが入力される場合には、検出信号Sxの出力値が一定値未満から一定値以上に変化した場合に、発音開始を指示する制御コマンドを出力する。制御部33Bは、このように発音を開始させる音については、例えば、検出信号Sxの出力値が一定値以上に変化したときの検出信号Syの出力値に応じた音高、検出信号Szの出力値に応じた音量となるように、制御コマンドを出力すればよい。音色については、予め決められたものを用いればよい。
また、制御部33Bは、第2実施形態の場合のように検出信号Sが入力される場合には、ピークが検出された場合に、発音開始を指示する制御コマンドを出力し、ピークレベルLpに応じた音量となるように制御コマンドを出力すればよい。この場合には、音色、音高などは予め決められたものとすればよい。
このとき、ピークレベルLpのとり得る範囲を予め設定しておき、また、とり得る音量の範囲を予め設定しておくことにより、制御部33Bは、それぞれの範囲の関係で音量を決定するようにして制御コマンドを出力するようにしてもよい。
例えば、音量を規定する制御コマンドの制御値が「0」から「127」であるものとする。また、とり得るピークレベルLpの範囲が「6000」から「22000」であるものとする。この場合には、ピークレベルLpが「6000」である場合に制御コマンドの制御値が「0」、ピークレベルLpが「22000」であるときに制御コマンドの制御値が「127」になるように、ピークレベルLpから制御コマンドの制御値が決定される。このとき、制御値の最小値から最大値までの間については、補間態様を適宜設定しておけばよい。また、制御値のとりうる範囲について、上限、下限を設け、補間した結果、制御値が上限値を超える場合には上限値に固定、下限値を下回る場合には下限値に固定するようにしてもよい。
例えば、音量を規定する制御コマンドの制御値が「0」から「127」であるものとする。また、とり得るピークレベルLpの範囲が「6000」から「22000」であるものとする。この場合には、ピークレベルLpが「6000」である場合に制御コマンドの制御値が「0」、ピークレベルLpが「22000」であるときに制御コマンドの制御値が「127」になるように、ピークレベルLpから制御コマンドの制御値が決定される。このとき、制御値の最小値から最大値までの間については、補間態様を適宜設定しておけばよい。また、制御値のとりうる範囲について、上限、下限を設け、補間した結果、制御値が上限値を超える場合には上限値に固定、下限値を下回る場合には下限値に固定するようにしてもよい。
このような制御態様は一例であって、様々な制御態様が設定可能であり、制御部33Bは、入力された検出信号に基づいて、設定された制御態様で制御コマンドを出力することができる。
[変形例2]
上述した第1実施形態においては、ユーザが聴くことのできる音は、放音装置40から放音される音以外については、ギター10における弦11の振動による発音であったが、ギター10にスピーカを設けることにより、このスピーカからも音を聴くことができるようにしてもよい。
上述した第1実施形態においては、ユーザが聴くことのできる音は、放音装置40から放音される音以外については、ギター10における弦11の振動による発音であったが、ギター10にスピーカを設けることにより、このスピーカからも音を聴くことができるようにしてもよい。
図17は、本発明の変形例2における信号送信装置20Dの構成を説明するブロック図である。信号送信装置20Dは、第1実施形態における構成に加えて、DSP27を有する。
DSP27は、第1実施形態におけるDSP34と同様であり、入力されたオーディオ信号に対してエフェクト制御値Ceffに応じた音響効果を付与する処理を施して放音装置28に出力する。放音装置28は、放音装置40と同様、入力されたオーディオ信号を増幅して放音する。
DSP27は、第1実施形態におけるDSP34と同様であり、入力されたオーディオ信号に対してエフェクト制御値Ceffに応じた音響効果を付与する処理を施して放音装置28に出力する。放音装置28は、放音装置40と同様、入力されたオーディオ信号を増幅して放音する。
制御部25Dは、第1実施形態における制御部25の機能に加えて、オーディオ信号をDSP27に出力する機能を有する。また、制御部25Dは、制御部33と同様にして、検出信号Sx、Sy、Szに基づいて、DSP27において用いられるエフェクト制御値Ceffを決定する。なお、DSP27において付与される音響効果については、信号処理装置30におけるDSP34とは異なるものであってもよい。
なお、DSP27は、変形例1で説明した音源部34B1に相当する構成であってもよい。また、放音装置28に出力されるオーディオ信号は、送信データとしてパケット化されてもよい。この場合には、放音装置28に出力されるオーディオ信号は、第1AD変換部23から出力されるオーディオ信号に代えて、または合成して、パケット化されればよい。
また、ギター10に操作部29が設けられていてもよい。この場合には、操作部29がユーザの指示を受け付け、指示に応じてDSP27における加工態様が設定可能に構成されていてもよい。また、この指示内容は、通信モジュール26を介して信号処理装置30に送信されてもよい。この場合には信号処理装置30におけるDSP34の加工態様が設定可能に構成されていてもよい。加工態様が設定されると、制御部25D、33において決定する加工態様は、設定内容に応じたものとなる。
[変形例3]
上述した第1、第2実施形態においては、発音装置10は、振動体110が振動することにより発音する構成であったが、演奏操作を受け付ける演奏操作部を有し、発音を制御する装置としてもよい。
上述した第1、第2実施形態においては、発音装置10は、振動体110が振動することにより発音する構成であったが、演奏操作を受け付ける演奏操作部を有し、発音を制御する装置としてもよい。
図18は、本発明の変形例3における発音システム1Eの機能構成を説明するブロック図である。発音システム1Eは、発音制御装置10E、信号送信装置20E、信号処理装置30および放音装置40を有する。信号処理装置30および放音装置40については、第1実施形態における構成と同様であるため説明を省略する。
発音システム1Eは、演奏操作部110Eおよび検出対象部120を有する。演奏操作部110Eは、ユーザに操作されることにより発音内容の指示を示す指示信号を出力する機能を有する。検出対象部120Eは、演奏操作部110Eが設けられる。
発音システム1Eは、演奏操作部110Eおよび検出対象部120を有する。演奏操作部110Eは、ユーザに操作されることにより発音内容の指示を示す指示信号を出力する機能を有する。検出対象部120Eは、演奏操作部110Eが設けられる。
信号送信装置20Eは、信号出力部210E、検出部220、第1サンプリング部230、第2サンプリング部240、生成部250および送信部260を有する。信号出力部210Eは、演奏操作部110Eから出力される指示信号に応じて発音内容を決定し、決定した発音内容を波形で示すオーディオ信号を出力する。他の構成については、第1実施形態における構成と同様であるため説明を省略する。
続いて、このような発音システム1Eの機能構成を実現するための実施形態の例について説明する。
続いて、このような発音システム1Eの機能構成を実現するための実施形態の例について説明する。
図19は、本発明の変形例3における鍵盤装置10Eの外観構成を説明する図である。この例における発音システム1Eは、鍵盤装置10E、信号送信装置20E、信号処理装置30および放音装置40を有する。信号処理装置30および放音装置40については、上述したように第1実施形態における構成と同様であるため説明を省略する。鍵盤装置10Eは、演奏操作部110Eを実現するための構成の鍵11E1および鍵センサ11E2を有し、また、検出対象部120Eを実現するための構成の筐体12Eを有する。これらの各構成は、電子鍵盤楽器などにおいて用いられる構成と同様であり、鍵センサ11E2は、ユーザにより押下された鍵11E1の押下量に基づく指示信号を出力する。
信号送信装置20Eは、制御モジュール200Eを有する。制御モジュール200Eは、筐体12Eに設けられている。
信号送信装置20Eは、制御モジュール200Eを有する。制御モジュール200Eは、筐体12Eに設けられている。
図20は、本発明の変形例3における信号送信装置20Eの構成を説明するブロック図である。信号送信装置20Eにおける制御モジュール200Eは、音源部21E、加速度センサ22、第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26を有する。音源部21Eは、信号出力部210Eを実現する構成であり、鍵センサ11E2から出力される指示信号に基づいて、発音内容を特定し、発音内容を波形で示すオーディオ信号を出力する。加速度センサ22、第1AD変換部23、第2AD変換部24、制御部25および通信モジュール26については、第1実施形態における構成と同様であるため説明を省略する。
このように、信号出力部から出力されるオーディオ信号は、振動体の振動波形に基づいて生成された信号に限らず、演奏操作に基づいて生成された信号であってもよい。
[変形例4]
上述した実施形態において、信号処理装置30においては、検出信号に基づいて決定された態様(効果の程度、ダイナミックレンジ変換、他のオーディオ信号の合成など)で音響効果を付与する信号処理をオーディオ信号に対して施していたが、検出信号に基づいて決定される態様は様々にとり得る。検出信号に基づいて決定される態様としては、例えば、音響効果の種類(ディレイ、リバーブ、コーラスなど)の切り替え、ピッチ変換、位相調整などであり、また音源部を用いる場合には音色の切り替えなども可能である。
上述した実施形態において、信号処理装置30においては、検出信号に基づいて決定された態様(効果の程度、ダイナミックレンジ変換、他のオーディオ信号の合成など)で音響効果を付与する信号処理をオーディオ信号に対して施していたが、検出信号に基づいて決定される態様は様々にとり得る。検出信号に基づいて決定される態様としては、例えば、音響効果の種類(ディレイ、リバーブ、コーラスなど)の切り替え、ピッチ変換、位相調整などであり、また音源部を用いる場合には音色の切り替えなども可能である。
[変形例5]
上述した実施形態において、放音装置40は、スピーカから放音するものとして説明したが、ヘッドフォンなどであってもよい。また、放音装置40と信号処理装置30とは一体に構成されていてもよい。
上述した実施形態において、放音装置40は、スピーカから放音するものとして説明したが、ヘッドフォンなどであってもよい。また、放音装置40と信号処理装置30とは一体に構成されていてもよい。
[変形例6]
上述した実施形態においては、送信データの各パケットにおける最後の1bitにセンサデータが分割データとして含まれる態様のデータ構造であったが、別の態様であってもよい。
例えば、センサデータは2bit単位で分割されて各パケットに2bitが含まれるようにしてもよいし、分割せずに各パケットに1byte単位で含まれるようにしてもよい。
また、オーディオデータの一部をセンサーデータ(分割データ)として置き換えてもよい。例えば、オーディオデータの最下位bitを置き換えるだけであれば、音に与える影響は少ない。
上述した実施形態においては、送信データの各パケットにおける最後の1bitにセンサデータが分割データとして含まれる態様のデータ構造であったが、別の態様であってもよい。
例えば、センサデータは2bit単位で分割されて各パケットに2bitが含まれるようにしてもよいし、分割せずに各パケットに1byte単位で含まれるようにしてもよい。
また、オーディオデータの一部をセンサーデータ(分割データ)として置き換えてもよい。例えば、オーディオデータの最下位bitを置き換えるだけであれば、音に与える影響は少ない。
[変形例7]
上述した実施形態においては、送信データの各パケットにおいてセンサーデータ(分割データ)が最後の1bitに含まれているが、少なくとも1回のサンプリングにより生成されたセンサデータが送信された後は、次のサンプリングによりセンサデータが生成されるまで、センサデータとは関係の無いダミーデータとして送信してもよい。すなわち、送信データの各パケット全てにおいてセンサデータが含まれている必要はなく、一部のパケットにおいてセンサデータが含まれていなくてもよい。
上述した実施形態においては、送信データの各パケットにおいてセンサーデータ(分割データ)が最後の1bitに含まれているが、少なくとも1回のサンプリングにより生成されたセンサデータが送信された後は、次のサンプリングによりセンサデータが生成されるまで、センサデータとは関係の無いダミーデータとして送信してもよい。すなわち、送信データの各パケット全てにおいてセンサデータが含まれている必要はなく、一部のパケットにおいてセンサデータが含まれていなくてもよい。
[変形例8]
上述した実施形態においては、1つの信号送信装置20から1つの信号処理装置30に対して送信データが送信されていたが、少なくとも一方が複数であってもよい。
上述した実施形態においては、1つの信号送信装置20から1つの信号処理装置30に対して送信データが送信されていたが、少なくとも一方が複数であってもよい。
例えば、信号送信装置20が複数である場合には、信号処理装置30は、各信号送信装置20からの送信データに対して実施形態と同様な処理を行い、加工処理が施されたオーディオ信号を合成して放音装置40出力すればよい。
一方、信号処理装置30が複数である場合には、信号送信装置20からの送信データに応じて、それぞれ決定された加工態様で加工処理が施されたオーディオ信号を、それぞれ接続された放音装置40に出力すればよい。このとき、複数の信号処理装置30から出力されるオーディオ信号を合成した信号が1つの放音装置40に出力されるようにしてもよい。
一方、信号処理装置30が複数である場合には、信号送信装置20からの送信データに応じて、それぞれ決定された加工態様で加工処理が施されたオーディオ信号を、それぞれ接続された放音装置40に出力すればよい。このとき、複数の信号処理装置30から出力されるオーディオ信号を合成した信号が1つの放音装置40に出力されるようにしてもよい。
ここで、信号送信装置20から送信される送信データは、制御コマンドではなく波形信号をサンプリングしてパケット化したものであるから、信号処理装置30においては、特定の制御コマンドにより制御される必要はなく、波形信号を個々に解析して利用することができ、汎用性が高くなる。
[変形例9]
上述した実施形態においては、検出部220の例として、加速度センサ、振動センサを用いていたが、ジャイロ、地磁気センサなどを用いてもよい。すなわち、検出部220は、検出対象部120の運動により出力値が変化する検出信号を出力可能な構成であれば、どのような構成であってもよい。
上述した実施形態においては、検出部220の例として、加速度センサ、振動センサを用いていたが、ジャイロ、地磁気センサなどを用いてもよい。すなわち、検出部220は、検出対象部120の運動により出力値が変化する検出信号を出力可能な構成であれば、どのような構成であってもよい。
また、検出部220は、複数種類のセンサが組み合わされて実現されてもよく、例えば、加速度センサとジャイロとにより実現されてもよい。信号処理装置30においては、それぞれのセンサから出力された検出信号に基づいて、オーディオ信号に対する加工態様を決定すればよい。
[変形例10]
上述した実施形態においては、信号出力部210から出力されるオーディオ信号はモノラル信号として説明したが、ステレオ信号など多チャンネルの信号として出力されてもよい。
上述した実施形態においては、信号出力部210から出力されるオーディオ信号はモノラル信号として説明したが、ステレオ信号など多チャンネルの信号として出力されてもよい。
[変形例11]
上述した実施形態においては、信号出力部210は、検出対象部120に取り付けられていたが、直接取り付けられる場合に限らず、他の部材を介して間接的に取り付けられていてもよい。
上述した実施形態においては、信号出力部210は、検出対象部120に取り付けられていたが、直接取り付けられる場合に限らず、他の部材を介して間接的に取り付けられていてもよい。
[変形例12]
上述した第4実施形態において制御部25Cによって実行されるアプリケーションプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、携帯端末20Cは、このアプリケーションプログラムをネットワーク経由でダウンロードしてもよい。
上述した第4実施形態において制御部25Cによって実行されるアプリケーションプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、携帯端末20Cは、このアプリケーションプログラムをネットワーク経由でダウンロードしてもよい。
1,1A,1B,1C,1E…発音システム、10…発音装置、ギター、10A…スネアドラム、10B,10C…楽器、10E…発音制御装置、鍵盤装置、11…弦、11A…膜部、11B,11C…発音部、11E1…鍵、11E2…鍵センサ、12E…筐体、12,12A…胴部、12B,12C…筐体、20,20A,20D,20E…信号送信装置、20B…マイクロフォン、20C…携帯端末、21…ピックアップ、21A,21C…シリコンマイク、21B…ムービングコイル、21E…音源部、22,22C…加速度センサ、22A…振動センサ、23,23C…第1AD変換部、24,24C…第2AD変換部、25,25C,25D…制御部、26,26C…通信モジュール、27…DSP、28…放音装置、29…操作部、30,30B…信号処理装置、31…通信モジュール、32…DA変換部、33,33B…制御部、34…DSP、34B1…音源部、34B
2…合成部、40…放音装置、50C…記憶部、110…振動体、110E…演奏操作部、120,120E…検出対象部、200,200A,200D,200E…制御モジュール、210,210E…信号出力部、220…検出部、230…第1サンプリング部、240…第2サンプリング部、250…生成部、260…送信部、310…受信部、320…抽出部、330…決定部、340…加工部
2…合成部、40…放音装置、50C…記憶部、110…振動体、110E…演奏操作部、120,120E…検出対象部、200,200A,200D,200E…制御モジュール、210,210E…信号出力部、220…検出部、230…第1サンプリング部、240…第2サンプリング部、250…生成部、260…送信部、310…受信部、320…抽出部、330…決定部、340…加工部
Claims (6)
- 楽器からオーディオ信号を出力する信号出力手段と、
前記信号出力手段を備える前記楽器の胴部又は筐体部である検出対象部に設置された加速度センサ手段と、
前記加速度センサ手段の出力値を、ユーザが前記検出対象部を動かすことにより、出力値が変化する検出信号として検出する検出手段と、
前記出力されたオーディオ信号を第1サンプリング周波数でサンプリングして第1サンプルデータを生成し出力する第1サンプリング手段と、
前記出力された検出信号を前記第1サンプリング周波数より低い第2サンプリング周波数でサンプリングして第2サンプルデータを生成し出力する第2サンプリング手段と、
前記出力された前記第1サンプルデータと前記第2サンプルデータとが同一のパケットに含まれるようにパケット化し、前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して送信する送信手段と
を具備することを特徴とする楽器。 - 楽器からオーディオ信号を出力する信号出力手段と、
前記信号出力手段を備える前記楽器の胴部又は筐体部である検出対象部に設置された振動センサ手段と、
前記振動センサ手段の出力値を、ユーザが前記楽器を演奏することにより、出力値が変化する検出信号として検出する検出手段と、
前記出力されたオーディオ信号を第1サンプリング周波数でサンプリングして第1サンプルデータを生成し出力する第1サンプリング手段と、
前記出力された検出信号を前記第1サンプリング周波数より低い第2サンプリング周波数でサンプリングして第2サンプルデータを生成し出力する第2サンプリング手段と、
前記出力された前記第1サンプルデータと前記第2サンプルデータとが同一のパケットに含まれるようにパケット化し、前記検出信号に基づく態様で前記オーディオ信号に加工処理を施して出力する信号処理装置に対して送信する送信手段と
を具備することを特徴とする楽器。 - 前記信号出力手段は、前記楽器の振動部分である振動体から伝達される振動波形をオーディオ信号に変換し、当該変換したオーディオ信号を出力する
ことを特徴とする請求項1又は2に記載の楽器。 - 前記振動体と前記検出対象部とは前記楽器においてそれぞれ異なる部分である
ことを特徴とする請求項3に記載の楽器。 - 請求項1乃至請求項4のいずれかに記載の楽器から送信された送信データを受信する受信手段と、
前記受信した送信データからオーディオ信号および検出信号を抽出する抽出手段と、
前記抽出された検出信号に基づいて、オーディオ信号の加工態様を決定する決定手段と、
前記決定された加工態様で前記抽出されたオーディオ信号に加工処理を施して出力する加工手段と
を具備することを特徴とする信号処理装置。 - 前記抽出手段は高周波成分を除去する
ことを特徴とする請求項5に記載の信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016137728A JP6176372B2 (ja) | 2016-07-12 | 2016-07-12 | 楽器および信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016137728A JP6176372B2 (ja) | 2016-07-12 | 2016-07-12 | 楽器および信号処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011147444A Division JP6024077B2 (ja) | 2011-07-01 | 2011-07-01 | 信号送信装置および信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016194721A JP2016194721A (ja) | 2016-11-17 |
JP6176372B2 true JP6176372B2 (ja) | 2017-08-09 |
Family
ID=57322815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016137728A Expired - Fee Related JP6176372B2 (ja) | 2016-07-12 | 2016-07-12 | 楽器および信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6176372B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019135291A1 (ja) * | 2018-01-08 | 2019-07-11 | ローランド株式会社 | 楽器用送信機およびそのモード切替方法 |
JP6474518B1 (ja) * | 2018-07-02 | 2019-02-27 | 坪井 純子 | 簡易操作声質変換システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001339425A (ja) * | 2000-05-25 | 2001-12-07 | Mitsubishi Electric Corp | データ通信システム |
JP2006201654A (ja) * | 2005-01-24 | 2006-08-03 | Yamaha Corp | 伴奏追従システム |
JP2006163435A (ja) * | 2006-01-23 | 2006-06-22 | Yamaha Corp | 楽音制御装置 |
JP5556075B2 (ja) * | 2008-07-30 | 2014-07-23 | ヤマハ株式会社 | 演奏情報出力装置、及び演奏システム |
-
2016
- 2016-07-12 JP JP2016137728A patent/JP6176372B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016194721A (ja) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7339107B2 (en) | Method of and system for controlling audio effects | |
JP6024077B2 (ja) | 信号送信装置および信号処理装置 | |
CN103165121B (zh) | 信号处理设备 | |
US8111241B2 (en) | Gestural generation, sequencing and recording of music on mobile devices | |
JP2808617B2 (ja) | 電子楽器 | |
US20070169615A1 (en) | Controlling audio effects | |
JP4265664B2 (ja) | 演奏装置 | |
CN108573690B (zh) | 电子乐器、发音控制方法以及记录介质 | |
JP2003255950A (ja) | アナログ楽器のディジタルインターフェイス及びこれを備えたアナログ楽器 | |
CN101421782A (zh) | 用来修正音频信号的方法和系统 | |
JP2010055077A (ja) | 制御装置 | |
JP6176372B2 (ja) | 楽器および信号処理装置 | |
JP6733781B2 (ja) | 音響装置 | |
US9396720B2 (en) | Electro-acoustic audio reverberation device | |
CN111108547B (zh) | 采用反馈和输入驱动器增强的原声乐器 | |
KR20150080740A (ko) | 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치 | |
JP2000181447A (ja) | 音楽情報送信装置、音楽情報受信装置、音楽情報送受信装置、及び記憶媒体 | |
JP2015146030A (ja) | 楽器 | |
JP2012150235A (ja) | 楽器 | |
US20160112799A1 (en) | Acoustic system, acoustic system control device, and acoustic system control method | |
JP2004325775A (ja) | 合奏用ミキシングサーバ及び合奏用演奏装置 | |
JP2016081039A (ja) | 音響システム | |
CN216527988U (zh) | 用于对演奏信号进行处理的电子设备以及演奏乐器 | |
US11501745B1 (en) | Musical instrument pickup signal processing system | |
JP2010165444A (ja) | 曲再生制御装置、曲再生システム、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6176372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |