JP7070757B2 - 電子鍵盤楽器、音信号発生装置および音信号発生方法 - Google Patents

Description

本発明は、ピアノ音を発生する電子鍵盤楽器、音信号発生装置および音信号発生方法に関する。

電子ピアノ等の電子鍵盤楽器においては、スピーカの性能によって一部の音域の音が十分に発音されないことがある。例えば、スピーカの口径が小さい場合には、スピーカが低周波数成分を適切に出力することができない。そのため、低音域の音が十分に発音されない。一方、低周波数成分の倍音成分を出力することにより、聴覚錯覚（ミッシングファンダメンタル）と呼ばれる現象によって物理的には出力されていない低周波数成分が出力されているように知覚させる技術がある。特許文献１には、入力された音声信号からスピーカの再生不能帯域内にある基音を検出し、ハイパスフィルターによって再生不能帯域がカットされた後の音声信号に、基音の倍音信号を加算する信号処理方法が記載されている。
国際公開第２０１３／１６８２００号

電子鍵盤楽器では、アコースティックピアノのように豊かな響きのピアノ音を知覚することが求められる。特許文献１の信号処理方法のように、基音の倍音信号を音声信号に加算するだけでは、豊かな響きの音をユーザに知覚させることはできない。

本発明の目的は、ユーザが豊かな響きのピアノ音を知覚することが可能な電子鍵盤楽器、音信号発生装置および音信号発生方法を提供することである。

本発明の一の局面に従う電子鍵盤楽器は、複数の鍵を含む鍵盤と、各鍵の操作に応じて該鍵に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まないピアノ音の波形を表す原音信号を取得する取得部と、取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出する抽出部と、操作された鍵の周波数に対応する周波数成分を用い、該周波数成分の倍音成分であって、上限周波数以上の周波数を有する倍音成分を生成する倍音成分生成部と、取得された原音信号および生成された倍音成分を含む出力音信号を生成する音信号生成部と、下限周波数以上の再生可能帯域を有し、生成された出力音信号に基づくピアノ音を出力する音出力部とを備える。

上限周波数以上の周波数を有する倍音成分は、アリコート音を表してもよい。電子鍵盤楽器は、生成された出力音信号の周波数特性を調整するイコライザをさらに備えてもよい。電子鍵盤楽器は、取得部により取得されかつ倍音成分生成部を経由しない原音信号を外部に出力する外部出力端子をさらに備えてもよい。

本発明の他の局面に従う音信号発生装置は、操作された音高指定操作子に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まない楽器音の波形を表す原音信号を取得し、取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出し、操作された音高指定操作子の周波数に対応する周波数成分を用い、該周波数成分の倍音成分であって、上限周波数以上の周波数を有する倍音成分を生成し、取得された原音信号および生成された倍音成分を含む出力音信号を生成するにように構成されたプロセッサを備える。

上限周波数以上の周波数を有する倍音成分は、アリコート音を表してもよい。

本発明のさらに他の局面に従う音信号発生方法は、操作された音高指定操作子に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まない楽器音の波形を表す原音信号を取得することと、取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出することと、操作された前記音高指定操作子の周波数に対応する周波数成分を用い、該周波数成分の倍音成分であって、上限周波数以上の周波数を有する倍音成分を生成することと、取得された原音信号および生成された倍音成分を含む出力音信号を生成することとを含む。

上限周波数以上の周波数を有する倍音成分は、アリコート音を表してもよい。

本発明によれば、ユーザは、豊かな響きのピアノ音を知覚することができ、その豊かな響きのピアノ音を用いた演奏を行うことができる。

図１は本発明の一実施の形態に係る電子鍵盤楽器の外観を表す模式的平面図である。 図２は図１の電子鍵盤楽器の構成を示すブロック図である。 図３は音源部およびサウンドシステムの主要部の構成を示すブロック図である。 図４はアコースティックピアノの音に含まれる種々の周波数成分について説明するための図である。 図５は信号補正部の具体的な構成例について説明するための図である。 図６はピアノ音の出力動作を示すフローチャートである。

以下、本発明の実施の形態に係る電子鍵盤楽器について図面を用いて詳細に説明する。

（１）電子鍵盤楽器の構成
図１は、本発明の一実施の形態に係る電子鍵盤楽器の外観を表す模式的平面図である。図２は、図１の電子鍵盤楽器の構成を示すブロック図である。図１の電子鍵盤楽器１は、例えば電子ピアノであり、鍵盤２および表示部６を備える。鍵盤２は、複数の鍵２ａを含む。複数の鍵２ａには、互いに異なる複数の音高が割り当てられる。使用者が各鍵２ａを押下すると、発音指示信号が後述のＣＰＵ（中央演算処理装置）１１に入力される。発音指示信号は、押下された鍵２ａに割り当てられた音高を表す音高情報および押鍵速度を表すベロシティ情報を含む。表示部６は、例えば液晶ディスプレイを含み、演奏または設定に関する各種情報を表示する。

図２に示すように、電子鍵盤楽器１は、検出回路３、設定操作子４、検出回路５および表示回路７をさらに備える。鍵盤２（図１参照）は、検出回路３を介してバス１９に接続される。設定操作子４は、オンオフ操作されるスイッチ、回転操作されるロータリエンコーダ、またはスライド操作されるリニアエンコーダ等を含み、検出回路５を介してバス１９に接続される。設定操作子４は、音色の切り替え、音量の調整、電源のオンオフおよび各種設定を行うために用いられる。

表示部６（図１参照）は、表示回路７を介してバス１９に接続される。表示部６がタッチパネルディスプレイであってもよい。この場合、使用者は、表示部６を操作することにより各種操作を指示することができる。

電子鍵盤楽器１は、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ１１、タイマ１２および記憶装置１３をさらに備える。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１および記憶装置１３はバス１９に接続され、タイマ１２はＣＰＵ１１に接続される。外部記憶装置１５等の外部機器が通信Ｉ／Ｆ（インタフェース）１４を介してバス１９に接続されてもよい。

ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、制御プログラム等のコンピュータプログラムを記憶する。タイマ１２は、現在時刻等の時間情報をＣＰＵ１１に与える。

記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。記憶装置１３には、例えば、楽曲を表す楽曲信号が記憶装置１３に記憶される。楽曲信号は、オーディオデータであり、音の変化を表す波形信号を所定のサンプリング周期でサンプリングすることにより得られる複数のサンプリング値からなる。鍵盤２の操作によってＣＰＵ１１に入力された演奏データが記憶装置１３に記憶されてもよい。外部記憶装置１５は、記憶装置１３と同様に、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。オーディオデータまたは演奏データが外部記憶装置１５に記憶されてもよい。

電子鍵盤楽器１は、音源部１６、サウンドシステム１７および外部出力端子１８をさらに備える。音源部１６はバス１９に接続される。サウンドシステム１７は音源部１６およびバス１９に接続される。外部出力端子１８は、音源部１６およびバス１９に接続される。音源部１６は、鍵盤２の操作に応じて原音信号を生成する。原音信号はサンプリングされたデジタル音信号である。サウンドシステム１７は、音源部１６から与えられる原音信号をアナログ音信号に変換し、アナログ音信号に基づく楽音（本例ではピアノ音）を発生する。外部出力端子１８には、外部スピーカまたはヘッドフォン等の出力装置が接続される。外部出力端子１８は、音源部１６から与えられる原音信号をそのまま外部出力装置に出力する。

記憶装置１３または外部記憶装置１５に記憶された楽曲信号がサウンドシステム１７または外部出力端子１８に与えられてもよい。この場合、楽曲信号に基づく楽音（以下、楽曲音と呼ぶ。）がサウンドシステム１７または外部出力装置から出力される。ユーザは、出力された楽曲音に合わせて鍵盤２による演奏を行うことができる。なお、図示しない外部入力端子から入力された楽曲信号がサウンドシステム１７または外部出力端子１８に与えられてもよい。

（２）音源部およびサウンドシステムの構成
図３は、音源部１６およびサウンドシステム１７の主要部の構成を示すブロック図である。図３に示すように、音源部１６は、原音信号生成部１６１、波形データ記憶部１６２および音響効果部１６３を含む。

波形データ記憶部１６２は、例えばプログラマブルＲＯＭからなり、図１の複数の鍵２ａに割り当てられた複数の音高にそれぞれ対応する複数のピアノ波形データを記憶する。各ピアノ波形データは、対応する音高を有するピアノ音の波形を表す。なお、ピアノ波形データに加えて、他の音色を表す波形データを波形データ記憶部１６２に記憶してもよい。

原音信号生成部１６１には、図２のＣＰＵ１１から発音指示信号ＳＧが与えられる。上記のように、発音指示信号ＳＧは、音高情報およびベロシティ情報を含む。原音信号生成部１６１は、音高情報およびベロシティ情報に基づいて、波形データ記憶部１６２に記憶されたピアノ波形データからデジタル音信号である原音信号Ｄ０を生成する。具体的には、原音信号生成部１６１は、音高情報に対応するピアノ波形データを波形データ記憶部１６２から取得し、音高情報に応じた周波数およびベロシティ情報に基づいたエンベロープ等でそのピアノ波形データから原音信号Ｄ０を生成する。原音信号生成部１６１は取得部の一例である。

音響効果部１６３には、ＣＰＵ１１から複数の音響効果パラメータのパラメータ値ＥＦが与えられる。音響効果部１６３は、パラメータ値ＥＦに基づいて原音信号Ｄ０に音響効果を付与し、デジタルの原音信号Ｄ１を出力する。音響効果は、例えば、リバーブ（Reverb）、ディレイ（Delay）、ブリリアンス（Brilliance）、エンハンス（Enhance）等である。

音源部１６とサウンドシステム１７との間でかつ音源部１６と外部出力端子１８との間に分岐部１６４が設けられる。分岐部１６４には、ＣＰＵ１１から指定情報ＤＤが与えられる。指定情報ＤＤは、サウンドシステム１７および外部出力端子１８の一方を指定する。分岐部１６４は、音響効果部１６３から出力された原音信号Ｄ１を、サウンドシステム１７および外部出力端子１８のうち指定情報ＤＤにより指定された一方に与える。

例えば、外部出力端子１８に外部出力装置が接続されていない場合、ＣＰＵ１１は、サウンドシステム１７を指定する指定情報ＤＤを分岐部１６４に与える。この場合、原音信号Ｄ１がサウンドシステム１７に与えられる。一方、外部出力端子１８に外部出力装置が接続されている場合、ＣＰＵ１１は、外部出力端子１８を指定する指定情報ＤＤを分岐部１６４に与える。この場合、原音信号Ｄ１が外部出力端子１８に与えられる。ユーザによってサウンドシステム１７および外部出力端子１８のうちの一方が予め選択され、選択された一方に原音信号Ｄ１が与えられてもよい。分岐部１６４は、予め記憶された楽曲信号ＡＳまたは外部から入力された楽曲信号ＡＳをサウンドシステム１７または外部出力端子１８のうち指定情報ＤＤにより指定された一方に与えてもよい。

サウンドシステム１７は、信号補正部１７０、イコライザ１７１、設定値記憶部１７１ａ、Ｄ／Ａ（デジタル／アナログ）変換器１７２、増幅器１７３およびスピーカ１７４を含む。信号補正部１７０は、原音信号Ｄ１に含まれる周波数成分のうち予め定められた下限周波数より低い周波数成分の倍音成分を生成し、生成した倍音成分を原音信号Ｄ１に付加することによって出力音信号Ｄ２を生成する。信号補正部１７０は、楽曲信号ＡＳに対して原音信号Ｄ１と同様の処理を行うことによって出力音信号Ｄ２を生成してもよい。本実施の形態において、原音信号生成部１６１および信号補正部１７０が音信号発生装置２００を構成する。

イコライザ１７１は複数の周波数帯域を有する。設定値記憶部１７１ａは、イコライザ１７１の複数の周波数帯域の利得の設定値を記憶する。設定値記憶部１７１ａに記憶される設定値は、例えばアコースティックピアノの音色に適するようにそれぞれ予め設定される。イコライザ１７１の各周波数帯域の利得は、設定値記憶部１７１ａから与えられる設定値ＳＴに設定される。イコライザ１７１は、設定値ＳＴに基づいて出力音信号Ｄ２の周波数特性を調整し、調整された出力音信号Ｄ３を出力する。設定値記憶部１７１ａに記憶される設定値ＳＴは、変更可能であってもよい。この場合、イコライザ１７１の各周波数帯域の設定値ＳＴを変更することが可能となる。

イコライザ１７１から出力されるデジタルの出力音信号Ｄ３はＤ／Ａ変換器１７２に与えられる。Ｄ／Ａ変換器１７２は、デジタルの出力音信号Ｄ３をアナログの出力音信号Ａ０に変換する。増幅器１７３は、出力音信号Ａ０を増幅し、増幅されたアナログの出力音信号Ａ１を出力する。スピーカ１７４は、出力音信号Ａ１に基づいて楽音（ピアノ音または楽曲音）を発生する。

本実施の形態において、スピーカ１７４は、一定の下限周波数以上の再生可能帯域を有する。この場合、スピーカ１７４は、再生可能帯域においてほぼ一定値の周波数応答（音圧レベル）［ｄＢ］を有する。再生可能帯域よりも低い周波数帯域では、音圧レベルが低下する。それにより、スピーカ１７４は、再生可能帯域よりも低い周波数を基音とする楽音の基音部分を十分な音圧レベルで発生することができない。そこで、信号補正部１７０においては、スピーカ１７４の再生可能帯域よりも低い周波数を基音とする楽音の倍音成分を生成し、原音信号Ｄ１に付加する。この場合、基音部分の周波数の音は十分出力されていないが、聴覚錯覚によって再生可能帯域より低い周波数を基音とする楽音をユーザに知覚させることができる。

（３）ピアノ音
アコースティックピアノが発生するピアノ音について説明する。アコースティックピアノが発生するピアノ音は、鍵の位置に応じた音高を有する基音、その基音の種々の倍音、および種々の付属音を含む。このような多くの音の組み合わせによって豊かな響きのピアノ音が実現される。基音は、押下された鍵に割り当てられた弦の振動による音高を有する音であり、アコースティックピアノの基本となる音である。

アコースティックピアノは、筐体、棚板、複数の鍵、複数の弦、響板および複数のハンマ等を有する。棚板は筐体の前部から略水平に延設され、複数の鍵は棚板の上方に配置される。複数の弦は、複数の鍵にそれぞれ対応する。各弦の振動は、ブリッジを介して響板に伝達される。

各弦には、ブリッジを含む複数の駒が押し当てられる。各弦は、ブリッジと他の１つの駒との間に設定される有効部を含む。各鍵が押下されると、その鍵に対応する弦の有効部をハンマが打撃する。以下、ハンマにより打撃された弦を対象弦と呼び、他の弦を非対象弦と呼ぶ。対象弦の有効部の振動により、基音が発生する。また、非対象弦の有効部が共振することにより、基音の倍音である弦共鳴音が発生する。

また、一部のアコースティックピアノにおいては、弦の一部に共鳴部が設定される。すなわち、一本の弦の両端を支える２つの駒の間の部分が有効部を形成し、それらの駒の外側の部分が共鳴部を形成する。あるいは、一部の弦に有効部が設定されることなく共鳴部のみが設定される。対象弦の有効部の振動に伴って共鳴部が共振することにより、基音の倍音であるアリコート音が発生する。さらに、基音の倍音として、筐体の共振による筐体音、またはねじ等の共振による金属音が発生することがある。

一方、鍵の押下によって鍵が棚板に衝突する。それにより、付属音として鍵と棚板との衝突音である棚板音が発生する。また、ハンマによる打弦によって付属音としてハンマと弦との衝突音である打弦音が発生する。

図４は、アコースティックピアノの音に含まれる種々の周波数成分について説明するための図である。図４において、横軸は周波数を表す。図４には、図３のスピーカ１７４の再生可能帯域ＦＧ１が示される。再生可能帯域ＦＧ１の下限周波数および上限周波数は、それぞれＬＦ１およびＨＦ１である。また、図３の波形データ記憶部１６２に記憶されたピアノ波形データは、予め定められた帯域（以下、波形データ帯域と呼ぶ）内の周波数成分を含む。図４には、波形データ帯域ＦＧ２が示される。波形データ帯域ＦＧ２の下限周波数および上限周波数は、それぞれＬＦ２およびＨＦ２である。本例において、下限周波数ＬＦ２は下限周波数ＬＦ１よりも低く、上限周波数ＨＦ２は下限周波数ＬＦ１よりも高くかつ上限周波数ＨＦ１よりも低い。以下の説明では、下限周波数ＬＦ２以上であって下限周波数ＬＦ１よりも低い周波数帯域を低帯域と呼び、下限周波数ＬＦ１以上であって上限周波数ＨＦ２よりも低い周波数帯域を中帯域と呼び、上限周波数ＨＦ２以上であって上限周波数ＨＦ１以下の周波数帯域を高帯域と呼ぶ。

基音および弦共鳴音の周波数成分は、押下される鍵に依存する。具体的には、押下された鍵に割り当てられた音高が高いほど、発生される基音および弦共鳴音の周波数成分は高い。図４の例において、基音および弦共鳴音の周波数成分の下限値は、低帯域内である。また、基音および弦共鳴音の周波数成分の上限値は、中帯域内である。

棚板音および打弦音は、主に低帯域内の周波数成分を含む。一方、アリコート音および金属音は、主に高帯域内の周波数成分を含む。筐体音は、主に中帯域内の周波数成分を含む。

このように、アコースティックピアノの音は、低帯域、中帯域および高帯域内に広く分布する種々の周波数成分を含む。本実施の形態では、図３の波形データ記憶部１６２に記憶されるピアノ波形データが、波形データ帯域ＦＧ２内の周波数成分として、各鍵２ａに割り当てられた音高に対応する基音、弦共鳴音および筐体音の周波数成分を含むとともに、各鍵２ａに対応する打弦音および各鍵２ａの操作に伴う棚板音の周波数成分を含む。ピアノ波形データは、例えば、アコースティックピアノの各音高の音を所定の周期でサンプリングすることによって取得される。

（４）信号補正部
図５は、信号補正部１７０の具体的な構成例について説明するための図である。図５の信号補正部１７０は、入力端子２１、第１の抽出部２２、第２の抽出部２３、第１の倍音成分生成部２４、第２の倍音成分生成部２５、音信号生成部２７および出力端子２８を含む。以下、信号補正部１７０による原音信号Ｄ１の処理について説明する。

図３の音響効果部１６３から与えられる原音信号Ｄ１が、入力端子２１に入力される。本例において、原音信号Ｄ１に含まれる周波数成分は、ピアノ波形データに含まれる周波数成分と実質的に同じであり、基音、弦共鳴音、筐体音、打弦音および棚板音の周波数成分を含む。

第１の抽出部２２は、入力された原音信号Ｄ１から図４の低帯域内の周波数成分を第１の周波数成分ＦＣ１として抽出する。第１の倍音成分生成部２４は、抽出された第１の周波数成分ＦＣ１の倍音成分を第１の倍音成分ＨＣ１として生成する。第１の倍音成分ＨＣ１は、第１の周波数成分ＦＣ１の整数倍の周波数であって、図４の下限周波数ＬＦ１以上の周波数を有する。第１の倍音成分ＨＣ１は、打弦音および棚板音の周波数成分の倍音成分を含む。また、原音信号Ｄ１における基音および弦共鳴音の周波数成分が低帯域内にある場合、第１の倍音成分ＨＣ１は、基音および弦共鳴音の周波数成分の倍音成分を含む。第１の倍音成分ＨＣ１は、第１の周波数成分ＦＣ１の一の整数倍（例えば、ｎ倍）の周波数のみを有してもよく、第１の周波数成分ＦＣ１の複数の整数倍（例えば、ｎ倍、ｎ＋１倍、・・・）の周波数を有してもよい。ここで、ｎは、２以上の整数である。

第２の抽出部２３は、入力された原音信号Ｄ１から図４の下限周波数ＬＦ１以上の周波数成分を第２の周波数成分ＦＣ２として抽出する。第２の抽出部２３は、下限周波数ＬＦ１以上の周波数成分のうち、予め定められた一定帯域内の周波数成分のみを第２の周波数成分ＦＣ２として抽出してもよい。第２の倍音成分生成部２５は、抽出された第２の周波数成分ＦＣ２の倍音成分を第２の倍音成分ＨＣ２として生成する。第２の倍音成分ＨＣ２は、第２の周波数成分ＦＣ２の整数倍の周波数であって、図４の上限周波数ＨＦ２以上の周波数を有する。第２の倍音成分ＨＣ２は、第２の周波数成分ＦＣ２の一の整数倍（例えば、ｎ倍）の周波数のみを有してもよく、第２の周波数成分ＦＣ２の複数の整数倍（例えば、ｎ倍、ｎ＋１倍、・・・）の周波数を有してもよい。

音信号生成部２７は、生成された第１および第２の倍音成分ＨＣ１，ＨＣ２を原音信号Ｄ１に付加することにより、原音信号Ｄ１の周波数成分と倍音成分ＨＣ１，ＨＣ２とを含む出力音信号Ｄ２を生成する。出力端子２８は、生成された出力音信号Ｄ２を出力する。

出力音信号Ｄ２は、図３のイコライザ１７１、Ｄ／Ａ変換器１７２および増幅器１７３を介してアナログの出力音信号Ａ１としてスピーカ１７４に与えられる。これにより、スピーカ１７４がピアノ音を出力する。スピーカ１７４が出力するピアノ音は、低帯域内の周波数成分をほぼ含まない。本例では、低帯域以外の帯域について、スピーカ１７４が出力するピアノ音の周波数成分は、信号補正部１７０から出力される出力音信号Ｄ２の周波数成分と実質的に同じである。すなわち、スピーカ１７４が出力するピアノ音は、原音信号Ｄ１における中帯域内の周波数成分、ならびに第１および第２の倍音成分ＨＣ１，ＨＣ２を含む。

スピーカ１７４から出力されるピアノ音は、中帯域内の周波数成分を有する筐体音を含む。また、基音および弦共鳴音が中帯域内の周波数成分を有する場合、スピーカ１７４から出力されるピアノ音は、基音および弦共鳴音を含む。さらに、基音および弦共鳴音が低帯域内の周波数成分を含む場合であっても、第１の倍音成分ＨＣ１が基音および弦共鳴音の周波数成分の倍音成分を含むので、ユーザは、聴覚錯覚によって低帯域内の基音および弦共鳴音を知覚することができる。また、第１の倍音成分ＨＣ１は打弦音および棚板音の周波数成分の倍音成分を含むので、ユーザは、聴覚錯覚によって打弦音および棚板音を知覚することができる。

一方、アリコート音および金属音の周波数成分は高帯域内にあるので、原音信号Ｄ０，Ｄ１に含まれない。しかしながら、中帯域内の周波数成分の倍音成分である第２の倍音成分ＨＣ２は、高帯域内の周波数成分を含む。そのため、基音の周波数成分が中帯域内にある場合、その基音の倍音成分が第２の倍音成分ＨＣ２として出力音信号Ｄ２に含まれる。アリコート音および金属音は基音の倍音であるので、ユーザは、第２の倍音成分ＨＣ２によってアリコート音および金属音を知覚することができる。

このようにして、ユーザは、基音、弦共鳴音、筐体音、棚板音、打弦音、アリコート音および金属音をピアノ音として知覚することができる。したがって、ユーザは、アコースティックピアノと同様に豊かな響きのピアノ音を知覚することができる。

仮に、信号補正部１７０によって第１の倍音成分ＨＣが原音信号Ｄ１に付加されない場合には、聴覚錯覚が生じないので、ユーザは低帯域の音を知覚することができない。その場合、イコライザ１７１によって低帯域内の周波数成分を強調するための調整を行うことが考えられる。具体的には、低帯域内の周波数成分の中帯域の倍音成分が強調されるように、イコライザ１７１によって中帯域内の所定の周波数領域の利得が上げられる。この場合、低帯域内の周波数成分が強調されたようにユーザに錯覚させることができる。しかしながら、本来的に中帯域内にある周波数成分も強調されるので、結果的にピアノ音の響きが不自然になる。本例では、このようなイコライザ１７１の調整を行うことなく、聴覚錯覚によって低帯域をユーザに知覚させることができる。それにより、自然な響きのピアノ音をユーザに知覚させることができる。

また、原音信号Ｄ１が図３の分岐部１６４から外部出力端子１８に与えられる場合、信号補正部１７０（図３および図５）を経由しない原音信号Ｄ１が外部出力端子１８から外部出力装置に出力される。そのため、低帯域の音を出力可能なスピーカまたはヘッドフォンを外部出力装置として用いた場合、原音信号Ｄ１に基づいて高音質のピアノ音を忠実に再現することができる。信号補正部１７０を経由しない楽曲信号ＡＳが外部出力端子１８に与えられる場合にも同様に、楽曲信号ＡＳに基づいて外部出力装置から高音質の楽曲音を出力することができる。したがって、電子鍵盤楽器１が備えるサウンドシステム１７を用いることによって低コストでかつ簡単にユーザに低帯域の音を知覚させることができる一方で、高性能な外部出力装置を用いることによって低帯域の音を出力することができる。

信号補正部１７０を経由しない原音信号Ｄ１が演奏データとして記憶装置１３または外部記憶装置１５に記憶されてもよい。この場合、演奏データから再生された原音信号Ｄ１がサウンドシステム１７または外部出力端子１８に選択的に与えられることにより、打弦音および棚板音を含むピアノ音が再現される。

（５）出力動作
図６は、電子鍵盤楽器１におけるピアノ音の出力動作を示すフローチャートである。図６の出力動作において、ステップＳ２，Ｓ３，Ｓ７～Ｓ１１が音信号発生方法に相当する。

図６に示すように、ＣＰＵ１１は、鍵盤２（図１）の操作が検出されたか否かを判定する（ステップＳ１）。検出回路５（図２）によって鍵盤２の操作が検出されるまでＣＰＵ１１はステップＳ１を繰り返す。検出回路５によって鍵盤２の操作が検出されると、ＣＰＵ１１は、操作された鍵２ａに割り当てられたピアノ音を発生するための発音指示信号ＳＧを原音信号生成部１６１に与える。原音信号生成部１６１は、発音指示信号ＳＧに基づいて、波形データ記憶部１６２（図２）からピアノ波形データを取得するとともに（ステップＳ２）、取得したピアノ波形データから原音信号Ｄ０を生成する（ステップＳ３）。続いて、音響効果部１６３が、生成された原音信号Ｄ０に音響効果を付与し、原音信号Ｄ１を出力する（ステップＳ４）。

ＣＰＵ１１は、原音信号Ｄ１を外部出力すべきか否かを判定する（ステップＳ５）。例えば、外部出力端子１８（図３）に外部出力装置が接続されている場合には、ＣＰＵ１１は原音信号Ｄ１を外部出力すべきであると判定し、外部出力端子１８を指定する指定情報ＤＤを分岐部１６４（図３）に与える。それにより、分岐部１６４が原音信号Ｄ１を外部出力端子１８に与え、外部出力端子１８が外部出力装置に原音信号Ｄ１を出力する（ステップＳ６）。その後、ＣＰＵ１１がステップＳ１に戻る。

一方、外部出力端子１８に外部出力装置が接続されていない場合、ＣＰＵ１１は原音信号Ｄ１を外部出力すべきでないと判定し、サウンドシステム１７を指定する指定情報ＤＤを分岐部１６４に与える。それにより、分岐部１６４が原音信号Ｄ１を信号補正部１７０の入力端子２１（図５）に与える。第１の抽出部２２（図５）は、入力された原音信号Ｄ１から第１の周波数成分ＦＣ１を抽出する（ステップＳ７）。第１の倍音成分生成部２４（図５）は、抽出された第１の周波数成分ＦＣ１から第１の倍音成分ＨＣ１を生成する（ステップＳ８）。第２の抽出部２３（図５）は、入力された原音信号Ｄ１から第２の周波数成分ＦＣ２を抽出する（ステップＳ９）。第２の倍音成分生成部２５（図５）は、抽出された第２の周波数成分ＦＣ２から第２の倍音成分ＨＣ２を生成する（ステップＳ１０）。音信号生成部２７は、入力された原音信号Ｄ１ならびに生成された第１および第２の倍音成分ＨＣ１，ＨＣ２を含む出力音信号Ｄ２を生成する（ステップＳ１１）。

イコライザ１７１（図２）は、生成された出力音信号Ｄ２の周波数特性を調整し、出力音信号Ｄ３を出力する（ステップＳ１２）。Ｄ／Ａ変換器１７２および増幅器１７３によって出力音信号Ｄ３がアナログ音信号に変換されるとともに増幅され、出力音信号Ａ１がスピーカ１７４に与えられる。スピーカ１７４は、出力音信号Ａ１に基づいてピアノ音を出力する（ステップＳ１３）。ステップＳ１～Ｓ１３が繰り返されることにより、ユーザによる鍵盤２の操作に応じてピアノ音が順次発生される。

（６）実施の形態の効果
本実施の形態によれば、基音を含む原音信号Ｄ１からスピーカ１７４の再生可能帯域ＦＧ１よりも低い周波数成分が抽出され、抽出された周波数成分の倍音成分が生成される。生成された倍音成分を含むピアノ音がスピーカ１７４から出力される。これにより、ユーザは、スピーカ１７４の再生可能帯域ＦＧ１よりも低い周波数成分を有する音を聴覚錯覚によって知覚することができる。この場合、原音信号Ｄ１から倍音成分が抽出されるのではなく、再生可能帯域ＦＧ１よりも低い周波数成分の倍音成分が生成される。そのため、原音信号Ｄ１に含まれる倍音成分が不明瞭である場合でも、明瞭な倍音成分を生成することができる。それにより、原音信号Ｄ１に含まれる倍音成分が不明瞭な場合でも、ユーザは、再生可能帯域ＦＧ１よりも低い周波数成分を有する音を聴覚錯覚によって明瞭に知覚することができる。

これに対して、音声信号から基音の倍音成分を抽出する信号処理方法では、入力された音声信号に再生可能帯域よりも低い周波数成分を有する基音の倍音成分が明瞭に含まれない場合に、再生不能帯域内にある音を明瞭にユーザに知覚させることができない。

また、本実施の形態によれば、打弦音および棚板音を含む原音信号Ｄ１からスピーカ１７４の再生可能帯域ＦＧ１よりも低い周波数成分が抽出され、抽出された周波数成分の倍音成分を含むピアノ音がスピーカ１７４から出力される。この場合、再生可能帯域ＦＧ１よりも低い周波数成分を有する打弦音および棚板音の倍音成分が生成される。これにより、ユーザは、スピーカ１７４の再生可能帯域ＦＧ１よりも低い周波数成分を有する打弦音および棚板音を聴覚錯覚によって知覚することができる。

これに対して、音声信号から基音の倍音成分を抽出する信号処理方法では、スピーカ１７４の再生可能帯域ＦＧ１よりも低い周波数成分を有する打弦音および棚板音をユーザに知覚させることはできない。

また、本実施の形態では、原音信号Ｄ１に含まれる周波数成分から原音信号Ｄ１の上限周波数ＨＦ２よりも高い周波数を有する倍音成分が生成され、その倍音成分を含むピアノ音がスピーカ１７４から出力される。これにより、ユーザは、原音信号Ｄ１に含まれない周波数成分を有するアリコート音および金属音を知覚することができる。

これらにより、ユーザは、アコースティックピアノと同様に豊かな響きのピアノ音を知覚することができ、その豊かな響きのピアノ音を用いた演奏を行うことができる。

（７）他の実施の形態
音源部１６およびサウンドシステム１７の構成は上記の例に限らない。例えば、信号補正部１７０が音源部１６に設けられてもよい。また、信号補正部１７０が原音信号生成部１６１と音響効果部１６３との間に設けられてもよい。あるいは、音響効果部１６３が、サウンドシステム１７に設けられてもよい。

上記実施の形態では、波形データ記憶部１６２に記憶されたピアノ波形データに基づいて原音信号生成部１６１により原音信号Ｄ０が生成されるが、例えば図示しない外部入力端子から原音信号が電子鍵盤楽器１に入力されてもよい。この場合、入力された原音信号がサウンドシステム１７または外部出力端子１８に直接的に与えられてもよい。

上記実施の形態では、信号補正部１７０において第１および第２の倍音成分ＨＣ１，ＨＣ２がそれぞれ原音信号Ｄ１に付加されるが、第１および第２の倍音成分ＨＣ１，ＨＣ２の一方のみが原音信号Ｄ１に付加されてもよい。例えば、スピーカ１７４の再生可能帯域が図４の低帯域を含む場合には、第１の倍音成分ＨＣ１が原音信号Ｄ１に付加されなくても、スピーカ１７４から打弦音および棚板音を含むピアノ音が出力される。一方、ピアノ波形データ（原音信号Ｄ０，Ｄ１）が図４の高帯域を含む場合には、第２の倍音信号ＣＨが原音信号Ｄ１に付加されなくても、スピーカ１７４からアリコート音および金属音を含むピアノ音が出力される。

上記実施の形態では、第１の抽出部２２が原音信号ＤＩから第１の周波数成分ＦＣ１として打弦音および棚板音の周波数成分を抽出し、第１の倍音成分生成部２４が抽出された打弦音および棚板音の周波数成分の倍音成分を第１の倍音成分ＨＣ１として生成するが、本発明はこれに限定されない。第１の抽出部２２は、原音信号ＤＩから第１の周波数成分ＦＣ１として打弦音および棚板音のうち一方の周波数成分を抽出してもよい。この場合、第１の倍音成分生成部２４は、抽出された一方の周波数成分ＦＣ１の倍音成分を第１の倍音成分ＨＣ１として生成してもよい。あるいは、第１の抽出部２２は、原音信号ＤＩから第１の周波数成分ＦＣ１として打弦音および棚板音の周波数成分を抽出し、第１の倍音成分生成部２４は、抽出された打弦音および棚板音の周波数成分のうちいずれか一方の周波数成分の倍音成分を第１の倍音成分ＨＣ１として生成してもよい。

上記実施の形態では、第２の倍音成分生成部２５は、アリコート音および金属音を表す第２の倍音成分ＨＣ２を生成するが、本発明はこれに限定されない。第２の倍音成分生成部２５は、アリコート音または金属音のいずれか一方を表す第２の倍音成分ＨＣ２を生成してもよい。

上記実施の形態では、基音および弦共鳴音の周波数成分の下限値がスピーカ１７４の再生可能帯域ＦＧ１よりも低い周波数帯域にあるが、基音および弦共鳴音の周波数成分の下限値がスピーカ１７４の再生可能帯域ＦＧ１にあってもよい。この場合、聴覚錯覚を利用することなく、各鍵２ａに対応する基音および弦共鳴音をユーザに知覚させることができる。また、筐体音、打弦音および棚板音のうちの少なくとも１つの周波数成分が、全てのピアノ波形データに含まれるのではなく、一部の鍵２ａに対応するピアノ波形データにのみ含まれてもよい。

上記実施の形態では、音信号発生装置および音信号発生方法が電子鍵盤楽器に適用されているが、音信号発生装置および音信号発生方法が他の電子楽器に適用可能であってもよい。

上記実施の形態では、音高指定操作子が鍵であり、楽器音がピアノ音であるが、音高指定操作子がパッド等の他の音高指定操作子であってもよく、楽器音が他の楽器音であってもよい。

図３の原音信号生成部１６１、音響効果部１６３、分岐部１６４、信号補正部１７０およびイコライザ１７１は、電子回路等のハードウエアによって実現されてもよく、ＣＰＵ１１等のハードウエアおよび制御プログラム等のソフトウエアにより実現されてもよい。例えば、図３の音信号発生装置２００がＣＰＵ１１またはＤＳＰ（デジタルシグナルプロセッサ）等のプロセッサおよび音信号発生プログラムにより実現されてもよい。この場合、音信号発生プログラムは、ＲＯＭ１０、記憶装置１３または外部記憶装置１５等の記憶媒体（記録媒体）に記憶されてもよい。

（８）参考形態
本参考形態の一局面に従う電子鍵盤楽器は、複数の鍵を含む鍵盤と、各鍵の操作に応じて該鍵に対応する基音を含むピアノ音の波形を表す原音信号を取得する取得部と、取得された原音信号から予め定められた下限周波数よりも低い周波数成分を抽出する抽出部と、抽出された周波数成分の倍音成分であって下限周波数以上の周波数を有する倍音成分を生成する倍音成分生成部と、取得された原音信号および生成された倍音成分を含む出力音信号を生成する音信号生成部と、下限周波数以上の再生可能帯域を有し、生成された出力音信号に基づくピアノ音を出力する音出力部とを備える。

取得部は、操作された鍵に対応する打弦音および該弦の操作に伴う棚板音のうち少なくとも一方を含むピアノ音の波形を表す原音信号を取得し、抽出部は、取得された原音信号から下限周波数よりも低い周波数成分として打弦音および棚板音のうち少なくも一方の周波数成分を抽出し、少なくとも一方の周波数成分の倍音成分を生成してもよい。

本参考形態の他の局面に従う電子鍵盤楽器は、複数の鍵を含む鍵盤と、各鍵の操作に応じて該鍵に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まないピアノ音の波形を表す原音信号を取得する取得部と、取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出する抽出部と、抽出された周波数成分の倍音成分であって上限周波数以上の周波数を有する倍音成分を生成する倍音成分生成部と、取得された原音信号および生成された倍音成分を含む出力音信号を生成する音信号生成部と、下限周波数以上の再生可能帯域を有し、生成された出力音信号に基づくピアノ音を出力する音出力部とを備える。

上限周波数以上の周波数を有する倍音成分は、アリコート音を表してもよい。電子鍵盤楽器は、生成された出力音信号の周波数特性を調整するイコライザをさらに備えてもよい。電子鍵盤楽器は、取得部により取得されかつ倍音成分生成部を経由しない原音信号を外部に出力する外部出力端子をさらに備えてもよい。

本参考形態のさらに他の局面に従う音信号発生装置は、操作された音高指定操作子に対応する基音を含む楽器音の波形を表す原音信号を取得し、取得された原音信号から予め定められた下限周波数よりも低い周波数成分を抽出し、抽出された周波数成分の倍音成分であって下限周波数以上の周波数を有する倍音成分を生成し、取得された原音信号および生成された倍音成分を含む出力音信号を生成するように構成されたプロセッサを備える。

プロセッサは、操作された音高指定操作子に対応する打弦音および該弦の操作に伴う棚板音のうち少なくとも一方を含む楽器音の波形を表す原音信号を取得し、取得された原音信号から下限周波数よりも低い周波数成分として打弦音および棚板音のうち少なくも一方の周波数成分を抽出し、少なくとも一方の周波数成分の倍音成分を生成するように構成されてもよい。

本参考形態のさらに他の局面に従う音信号発生装置は、操作された音高指定操作子に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まない楽器音の波形を表す原音信号を取得し、取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出し、抽出された周波数成分の倍音成分であって上限周波数以上の周波数を有する倍音成分を生成し、取得された原音信号および生成された倍音成分を含む出力音信号を生成するにように構成されたプロセッサを備える。

上限周波数以上の周波数を有する倍音成分は、アリコート音を表してもよい。

本参考形態のさらに他の局面に従う音信号発生方法は、操作された音高指定操作子に対応する基音を含む楽器音の波形を表す原音信号を取得することと、取得された原音信号から予め定められた下限周波数よりも低い周波数成分を抽出することと、抽出された周波数成分の倍音成分であって下限周波数以上の周波数を有する倍音成分を生成することと、取得された原音信号および生成された倍音成分を含む出力音信号を生成することとを含む。

取得することは、操作された音高指定操作子に対応する打弦音および該弦の操作に伴う棚板音のうち少なくとも一方を含む楽器音の波形を表す原音信号を取得することを含み、抽出することは、取得された原音信号から下限周波数よりも低い周波数成分として打弦音および棚板音のうち少なくも一方の周波数成分を抽出することを含み、生成することは、少なくとも一方の周波数成分の倍音成分を生成することを含んでもよい。

本参考形態のさらに他の局面に従う音信号発生方法は、操作された音高指定操作子に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まない楽器音の波形を表す原音信号を取得することと、取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出することと、抽出された周波数成分の倍音成分であって上限周波数以上の周波数を有する倍音成分を生成することと、取得された原音信号および生成された倍音成分を含む出力音信号を生成することとを含む。

上限周波数以上の周波数を有する倍音成分は、アリコート音を表してもよい。

Claims (6)

1. 複数の鍵を含む鍵盤と、
   各鍵の操作に応じて該鍵に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まないピアノ音の波形を表す原音信号を取得する取得部と、
   前記取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出する抽出部と、
   操作された前記鍵の周波数に対応する周波数成分を用い、該周波数成分の倍音成分であって、前記上限周波数以上の周波数を有する倍音成分を生成する倍音成分生成部と、
   前記取得された原音信号および前記生成された倍音成分を含む出力音信号を生成する音信号生成部と、
   前記下限周波数以上の再生可能帯域を有し、前記生成された出力音信号に基づくピアノ音を出力する音出力部とを備えた、電子鍵盤楽器。
2. 前記上限周波数以上の周波数を有する倍音成分は、アリコート音を表す、請求項１記載の電子鍵盤楽器。
3. 生成された出力音信号の周波数特性を調整するイコライザをさらに備える、請求項１または２のいずれか一項に記載の電子鍵盤楽器。
4. 前記取得部により取得されかつ前記倍音成分生成部を経由しない原音信号を外部に出力する外部出力端子をさらに備える、請求項１～３のいずれか一項に記載の電子鍵盤楽器。
5. 操作された音高指定操作子に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まない楽器音の波形を表す原音信号を取得し、
   前記取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出し、
   操作された前記音高指定操作子の周波数に対応する周波数成分を用い、該周波数成分の倍音成分であって、前記上限周波数以上の周波数を有する倍音成分を生成し、
   前記取得された原音信号および前記生成された倍音成分を含む出力音信号を生成するにように構成されたプロセッサを備えた、音信号発生装置。
6. 操作された音高指定操作子に対応する基音を含みかつ予め定められた上限周波数以上の周波数成分を含まない楽器音の波形を表す原音信号を取得することと、
   前記取得された原音信号から予め定められた下限周波数よりも高い周波数成分を抽出することと、
   操作された前記音高指定操作子の周波数に対応する周波数成分を用い、該周波数成分の倍音成分であって、前記上限周波数以上の周波数を有する倍音成分を生成することと、
   前記取得された原音信号および前記生成された倍音成分を含む出力音信号を生成することとを含む、音信号発生方法。

Images