JP3649197B2 - 楽音生成装置および楽音生成方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、サンプリングして波形メモリに記憶した楽音波形データを読み出し、この楽音波形データに基づいて楽音を生成する楽音生成装置および楽音生成方法に関する。
【０００２】
【従来の技術】
楽器の音をサンプリングし、楽音波形データとして波形メモリに記憶し、この楽音波形データを読み出して楽音を生成する、いわゆる波形テーブル（ウェーブテーブル）音源は、従来から知られている。
【０００３】
【発明が解決しようとする課題】
上記従来の波形テーブル音源では、波形メモリの記憶容量を低減するために、当該音源システム本来のサンプリング周波数、具体的には、波形メモリに記憶された楽音波形データを読み出して楽音を生成するときの周波数よりも低い周波数で、楽音をサンプリングすることがある。以下、当該音源システム本来のサンプリング周波数を「サンプリング周波数」と言い、楽音をサンプリングして楽音波形データを生成するときのサンプリング周波数を「録音サンプリング周波数」という。
【０００４】
録音サンプリング周波数は、単位時間（１秒）当たりの楽音波形サンプル（楽音波形データを構成する個々の波形サンプル）の個数に相当するので、録音サンプリング周波数を低くすればするほど、各楽音波形データの容量は少なくなり、その結果、波形メモリの記憶容量は低減する。
【０００５】
しかし、サンプリングの定理によれば、録音サンプリング周波数は、再現可能な楽音の上限周波数（＝録音サンプリング周波数の半分）を決定づけるため（たとえば、録音サンプリング周波数を１６ＫＨｚとした場合には、８ＫＨｚまでの周波数の楽音しか再現できない）、換言すると、録音サンプリング周波数を低く抑えた場合には、高次高調波成分の失われた楽音しか再現できないため、この場合に再現される楽音の音質は劣化することになる。
【０００６】
本発明は、この点に着目してなされたものであり、録音サンプリング周波数をサンプリング周波数より低くして楽音波形データを生成した場合でも、その失われた高調波成分を回復することにより、より自然な楽音を生成することが可能な楽音生成装置および楽音生成方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の楽音生成装置は、当該楽音生成装置本来のサンプリング周波数より低い録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを波形メモリに記憶し、該波形メモリから楽音波形データを読み出して楽音を生成する楽音生成装置において、前記録音サンプリング周波数の半分以下の所定周波数だけ、前記読み出された楽音波形データに含まれるすべての周波数成分を正方向にシフトするシフト手段と、該シフト後の周波数成分のうち、前記録音サンプリング周波数の半分以下の周波数成分をカットするカット手段と、該周波数成分のカットされた楽音波形データの振幅を調整する振幅調整手段と、該振幅調整された楽音波形データと前記読み出された楽音波形データとを加算する加算手段とを有することを特徴とする。
【０００８】
好ましくは、前記シフト手段は、前記録音サンプリング周波数の半分以下の所定周波数の正弦波信号を生成する生成手段と、該生成された正弦波信号と前記読み出された楽音波形データとを乗算する乗算手段とからなることを特徴とする。
【０００９】
さらに、好ましくは、前記サンプリング対象の楽器の音は、その周波数スペクトルが非線状のものであることを特徴とする。
【００１０】
また、上記目的を達成するため、請求項４に記載の楽音生成方法は、楽音を生成するサンプリング周波数より低い録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを波形メモリに記憶し、該波形メモリから楽音波形データを読み出して楽音を生成する楽音生成方法において、前記録音サンプリング周波数の半分以下の所定周波数だけ、前記読み出された楽音波形データに含まれるすべての周波数成分を正方向にシフトし、該シフト後の周波数成分のうち、前記録音サンプリング周波数の半分以下の周波数成分をカットし、該周波数成分のカットされた楽音波形データの振幅を調整し、該振幅調整された楽音波形データと前記読み出された楽音波形データとを加算することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１２】
図１は、本発明の一実施の形態に係る楽音生成装置を適用した携帯電話機の概略構成を示すブロック図である。
【００１３】
同図に示すように、制御部１は、当該携帯電話機全体の制御を司るＣＰＵと、該ＣＰＵが実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭと、着信メロディ等を演奏するための演奏データ（たとえば、ＭＩＤＩ（Musical Instrument Digital Interface）データからなる）、各種入力情報および演算結果等を一時的に記憶するＲＡＭとによって構成されている。
【００１４】
制御部１には、テンキーや各種情報を入力するための操作子を備えた操作入力部２と、たとえばカラー液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示部３と、アナログ音声信号をデジタル音声信号に変換した後圧縮し、逆に、圧縮されたデジタル音声信号を伸長した後アナログ音声信号に変換する音声ＣＯＤＥＣ５と、音声ＣＯＤＥＣ５からの出力信号を変調し、アンテナ７を介して中継局（図示せず）に伝送するとともに、アンテナ７を介して中継局から伝送されてきた信号を受信して復調し、音声ＣＯＤＥＣ５に出力する通信部４と、後述する音色データメモリ（波形メモリ）を含み、該音色データメモリから目的の楽音波形データを読み出し、各種処理を施してデジタル楽音信号を生成し、図示しないＤＡＣ（Digital-to-Analog Converter）によりアナログ楽音信号に変換して出力する波形テーブル音源６とが接続されている。
【００１５】
音声ＣＯＤＥＣ５には、該音声ＣＯＤＥＣ５から出力されたアナログ音声信号を音響に変換するためのスピーカ８と、音声をアナログ音声信号に変換するマイク９とが接続されている。
【００１６】
波形テーブル音源６には、該波形テーブル音源６から出力されたアナログ楽音信号を音響に変換するためのスピーカ１０が接続されている。
【００１７】
本発明の特徴は、波形テーブル音源６、特にその楽音信号生成処理にあり、さらに、その楽音信号生成処理を行うべき前提として、サンプリング周波数より低い録音サンプリング周波数で楽音をサンプリングして、楽音波形データを生成し、この楽音波形データを音色データメモリに登録していなければならない。以下、このサンプリングから音色データメモリへの登録までの処理、すなわち音色データメモリ作成処理を説明する。
【００１８】
図２は、音色データメモリ作成処理の手順を示すフローチャートである。なお、本音色データメモリ作成処理は、たとえばパーソナルコンピュータ上で実行される。
【００１９】
同図において、まず、楽音波形サンプルを採取、つまりサンプリングする（ステップＳ１）。
【００２０】
図３は、ステップＳ１の楽音波形サンプルの採取処理を説明するための図であり、パーソナルコンピュータ１００によってシンバル音の楽音波形サンプルを採取する方法を示している。
【００２１】
同図に示すように、まず、スティックでシンバルを叩くことにより、シンバル音を発生させ、このシンバル音をマイク１０１でアナログ楽音信号に変換する。
【００２２】
次に、録音サンプリング周波数Ｗｆｓの半分の周波数（＝Ｗｆｓ／２）以下の周波数成分のみ通過させるＬＰＦ（ロウパスフィルタ）１０２により、このアナログ楽音信号に含まれる、Ｗｆｓ／２以上の周波数成分をカットする。このように、Ｗｆｓ／２以上の周波数成分をカットしたのは、前述のように、録音サンプリング周波数Ｗｆｓの半分以上の周波数成分の楽音は再現できないので、Ｗｆｓ／２以上の周波数成分は必要ないからである。
【００２３】
次に、ＬＰＦ１０２からの出力信号を、録音サンプリング周波数ＷｆｓのＡ／Ｄ変換器１０３によってデジタル楽音信号に変換し、このデジタル楽音信号をメモリ（たとえばＲＡＭ）１０４に記憶する。
【００２４】
以上の処理を所定時間、たとえば１秒間繰り返すと、Ｗｆｓ個の楽音波形サンプルがメモリ１０４に記憶される。この複数の楽音波形サンプルの集合が、楽音波形データである。
【００２５】
なお、音色データメモリには、複数の音色の楽音波形データが登録されるので、シンバル音以外の楽器音についても、以上説明した方法と同様の方法によって、その楽音波形サンプルを採取すればよい。
【００２６】
図２に戻り、ステップＳ１で採取された楽音波形データに対して、加工・編集処理を施す（ステップＳ２）。加工・編集処理としては、たとえば、ゼロレベル（または低レベル）波形サンプルの削除処理や、楽音波形データの振幅調整処理等を挙げることができる。
【００２７】
そして、ステップＳ２で加工・編集された楽音波形データを音色データメモリに登録する（ステップＳ３）。
【００２８】
図４は、音色データメモリのメモリマップの一例を示す図であり、本実施の形態では、１音色分の音色データは、基本音色データと楽音波形データとによって構成されている。そして、音色データメモリには、複数の音色データが登録されるため、音色データメモリの先頭アドレスには、音色番号（Ｎｏ）（たとえば、ＧＭ（General MIDI）システムフォーマットでの音色番号）を、その音色番号に対応する基本音色データが記憶されている領域の先頭アドレスに変換する変換テーブルが記憶されている。
【００２９】
１音色分の基本音色データは、その音色名、当該基本音色データのデータ長、録音サンプリング周波数Ｗｆｓ、その楽音波形データの先頭アドレスを示す波形スタートアドレス、その楽音波形データのうち、ループ読みされる領域の先頭アドレスを示す波形ループスタートアドレス、ループ読みされる領域の末尾アドレスを示す波形ループエンドアドレス、その楽音波形データの末尾アドレスを示す波形エンドアドレス、その楽音波形データのエンベロープを決定するエンベロープデータおよびその他データによって構成されている。
【００３０】
なお、本実施の形態では、基本音色データと楽音波形データは、それぞれ別の領域に記憶するようにしているため、基本音色データ中に、当該音色の楽音波形データを記憶している領域がどこからどこまでであるかを示すデータ、すなわち波形スタートアドレスおよび波形エンドアドレスを含むようにしている。しかし、基本音色データに続いて、対応する楽音波形データを記憶するように構成した場合には、基本音色データ内のデータ長から、楽音波形データの先頭アドレスは算出でき、さらに、楽音波形データの末尾アドレスは、次の音色データの基本音色データの先頭アドレス（このアドレスは、音色番号→先頭アドレス変換テーブルによって検索できる）の一つ前のアドレスであるので、波形スタートアドレスおよび波形エンドアドレスを記憶しないようにしてもよい。
【００３１】
前記ステップＳ３の音色データ登録処理では、上記図４の音色データメモリのフォーマットに適合するように、メモリ１０４に記憶された楽音波形データを登録する。具体的には、この楽音波形データを波形データ格納領域に記憶するとともに、その基本音色データを作成して基本音色データ格納領域に記憶し、さらに、その基本音色データの先頭アドレスを、音色番号→先頭アドレス変換テーブルの、対応する位置に記憶する。
【００３２】
なお、この音色データ登録処理では、パーソナルコンピュータ１００のメモリ（前記メモリ１０４と同じであってもよい（ただし、この場合には領域は異なる必要がある）し、異なる記憶媒体であってもよい）上に、図４の音色データメモリと同容量の領域を生成し、この領域上に、メモリ１０４に記憶された楽音波形データを登録する。
【００３３】
続くステップＳ４では、波形採取すべき、他の音色の楽音があるか否かを判別し、あるときには、ステップＳ１に戻って、波形採取処理から繰り返す一方、ないときには、ステップＳ５に進む。
【００３４】
ステップＳ５では、上記メモリの所定領域内に登録された音色データと同じメモリマップのものを、たとえばＲＯＭからなる音色データメモリ上に生成する、すなわち音色データメモリ化する。
【００３５】
以上のように構成された携帯電話機が実行する制御処理を、まずその概要を説明し、次に図５および図６を参照して詳細に説明する。
【００３６】
本実施の形態の携帯電話機は、音色データメモリの記憶容量を低減するために、サンプリング周波数より低い録音サンプリング周波数で楽音波形サンプルを採取して、音色データメモリに記憶し、楽音を生成するときには、音色データメモリから目的の楽音波形サンプルを読み出し、各種信号処理を施して楽音信号を生成するようにしている。そして、本発明の特徴は、楽音波形サンプルを採取したときに失われた、録音サンプリング周波数の半分以上の周波数成分を、採取された楽音波形サンプルに基づいて近似的に回復させることにより、より自然な楽音を生成しようとするものである。
【００３７】
具体的には、読み出した楽音波形サンプルに録音サンプリング周波数Ｗｆｓの半分（＝Ｗｆｓ／２）の周波数のサイン（正弦）波を乗算して、当該楽音波形サンプルの０〜Ｗｆｓ／２の周波数スペクトルをＷｆｓ／２〜Ｗｆｓにシフトし、このシフト後のＷｆｓ／２〜Ｗｆｓの周波数スペクトルのみを取り出して、そのレベルを調整したものを、サンプリングによって失われた、Ｗｆｓ／２〜Ｗｆｓの周波数スペクトルの代わりとして用いる。失われたＷｆｓ／２〜Ｗｆｓの周波数スペクトルと、失われていない０〜Ｗｆｓ／２の周波数スペクトルとの間には、何らかの相関関係があるので、失われていない０〜Ｗｆｓ／２の周波数スペクトルに基づいてＷｆｓ／２〜Ｗｆｓの周波数スペクトルを生成すれば、このＷｆｓ／２〜Ｗｆｓの周波数スペクトルは、失われたＷｆｓ／２〜Ｗｆｓの周波数スペクトルをよく近似する。
【００３８】
そして、このようにして生成されたＷｆｓ／２〜Ｗｆｓの周波数スペクトルを、読み出された楽音波形サンプルに加算し、加算後の楽音波形サンプルに対して、通常の信号処理（エンベロープの付与等）を施し、楽音信号を生成すれば、Ｗｆｓ／２〜Ｗｆｓの周波数成分（周波数スペクトル）が近似的に回復した、より自然な楽音を生成することができる。
【００３９】
次に、この制御処理を詳細に説明する。なお、本発明の特徴は、上述のように、専ら楽音信号生成処理、つまり前記波形テーブル音源６での楽音信号生成処理にあるため、以下、波形テーブル音源６でなされる制御処理（楽音信号生成処理）について説明する。
【００４０】
図５は、波形テーブル音源６でなされる楽音信号生成処理の手順を示すブロック図である。なお、波形テーブル音源６は、通常ＤＳＰ（digital signal processor）によって構成されるため、その制御処理の大半は、ソフトウェアによってなされている。もちろん、波形テーブル音源６をすべてハードウェアによって構成するようにしてもよい。
【００４１】
図５において、パラメータ生成部２１には、生成すべき楽音を示すＭＩＤＩデータが入力されるとともに、音色データメモリ２５の記憶内容を読み出すメモリ読み出し部２４が接続されている。
【００４２】
パラメータ生成部２１は、ＭＩＤＩデータが入力されると、まず、そのＭＩＤＩデータを解析して、音色番号やキーコード等の情報、すなわち楽音生成用パラメータを生成するのに必要な情報を抽出する。次に、パラメータ生成部２１は、メモリ読み出し部２４を介して、音色データメモリ２５の先頭アドレスにアクセスし、その位置に記憶されている、前記音色番号→先頭アドレス変換テーブルを用いて、上記抽出した音色番号に対応する基本音色データの先頭アドレスを検索し、その位置に記憶されている、１音色分の基本音色データを読み出し、この基本音色データに基づいて楽音生成用パラメータを生成する。
【００４３】
このとき生成されるパラメータは、具体的には、波形スタートアドレス、波形エンドアドレス、波形ループアドレス（波形ループスタートアドレスおよび波形ループエンドアドレス）、エンベロープデータ、サイン波の周波数ｆ、カットオフ周波数ｃ、振幅調整のための乗算係数ｇおよびセレクト値ｓである。これらパラメータのうち、波形スタートアドレスからエンベロープデータまでは、当該基本音色データに含まれるデータそのものであり、サイン波の周波数ｆからセレクト値ｓまでは、前記抽出した音色番号およびキーコードと当該基本音色データに含まれるデータとに基づいて生成したものである。
【００４４】
サイン波の周波数ｆは、本実施の形態では、録音サンプリング周波数の半分の周波数であり、当該基本音色データに含まれる録音サンプリング周波数Ｗｆｓから算出される。なお、サイン波の周波数ｆは、正確に、録音サンプリング周波数の半分の周波数でなくてもよく、その近傍の周波数であればよい。
【００４５】
カットオフ周波数ｃも、録音サンプリング周波数の半分の周波数であり、当該基本音色データに含まれる録音サンプリング周波数Ｗｆｓから算出される。
【００４６】
振幅調整のための乗算係数ｇは、録音サンプリング周波数と前記抽出した音色番号およびキーコードとに基づいて算出され、セレクト値ｓは、前記抽出した音色番号およびキーコードに基づいて算出される。
【００４７】
なお、本実施の形態では、サイン波の周波数ｆからセレクト値ｓまでのパラメータを算出して生成するようにしたが、波形スタートアドレスからエンベロープデータまでのパラメータと同様に、基本音色データとして、音色データメモリ２５に記憶しておき、それを読み出して生成するようにしてもよい。
【００４８】
さらに、パラメータ生成部２１は、抽出した音色番号およびキーコードと、録音サンプリング周波数と、サンプリング周波数とに基づいて、１楽音波形サンプルあたりのアドレスの進み量を表すパラメータであるＦナンバ（ＦＮ）と、オクターブを示すパラメータであるＯＣＴパラメータとを生成する。
【００４９】
各種クロック生成部２２は、供給された基本クロックを、たとえば分周することにより、複数の周波数のクロックを生成して出力する。このクロックの主なものは、波形テーブル音源６本来のサンプリング周波数Ｓｆｓのクロックであり、サンプリング周波数Ｓｆｓのクロックによって、波形テーブル音源６の各ブロック２３〜３３の動作が進行する。
【００５０】
アドレス生成部２３には、パラメータ生成部２１によって生成された、Ｆナンバ、ＯＣＴパラメータ、波形スタートアドレス、波形エンドアドレスおよび波形ループアドレスが入力され、アドレス生成部２３は、これらのパラメータに基づいて、音色データメモリ２５から読み出すべき楽音波形サンプルのアドレスを生成する。
【００５１】
なお、本発明では、録音サンプリング周波数はサンプリング周波数より低いので、アドレス生成部２３によって生成されるアドレスは、通常、小数部を含む実数値となる。すなわち、アドレス生成部２３では、音色データメモリ２５に記憶された楽音波形サンプル間の楽音波形サンプルの位置を示すアドレスが生成される。したがって、この位置の楽音波形サンプルは、後述するように、音色データメモリ２５に記憶されている楽音波形サンプルから補間して求めるようにしている。
【００５２】
アドレス生成部２３によって生成された、実数値からなるアドレスのうち、整数部は、メモリ読み出し部２４に供給され、小数部は、補間部２６に供給される。
【００５３】
メモリ読み出し部２４は、供給されたアドレスの整数部に対応する楽音波形サンプルと、この楽音波形サンプルに隣接する、所定個の楽音波形サンプルとを音色データメモリ２５から読み出して、補間部２６に出力する。ここで、所定個は、補間部２６で採用されている補間方法に応じて決まり、その補間方法が、たとえば２点による直線補間であれば、所定個とは１個であり、この場合、メモリ読み出し部２４は、供給されたアドレスの整数部に対応する楽音波形サンプルと、その次のアドレスに位置する楽音波形サンプルとを読み出して、補間部２６に出力する。
【００５４】
補間部２６は、予め設定されている補間方法により、供給されたアドレスの小数部に基づいて、音色データメモリ２５から読み出された、複数の楽音波形サンプル間を補間し、目的の楽音波形サンプルを生成する。
【００５５】
補間部２６から出力された楽音波形サンプルは、乗算部２７に供給される。乗算部２７には、他に、サイン波形生成部２８から出力された、周波数ｆ（＝Ｗｆｓ／２）のサイン波、より詳しくは、当該楽音波形サンプルに対応する、周波数ｆのサイン波の一波形サンプルが供給され、乗算部２７は、補間部２６からの楽音波形サンプルと、この楽音波形サンプルに対応する、サイン波の波形サンプルとを乗算し、その乗算結果をＨＰＦ（ハイパスフィルタ）２９に出力する。
【００５６】
ＨＰＦ２９には、前記カットオフ周波数ｃ（＝Ｗｆｓ／２）も供給され、ＨＰＦ２９は、乗算部２７からの楽音波形サンプルに含まれる０〜Ｗｆｓ／２の周波数成分をカットして、乗算部３０に出力する。
【００５７】
乗算部３０には、前記振幅調整のための乗算係数ｇも供給され、乗算部３０は、この乗算係数ｇとＨＰＦ２９からの楽音波形サンプルとを乗算し、その乗算結果を加算部３１に出力する。これにより、当該楽音波形サンプルの振幅は、目的の振幅に調整される。
【００５８】
加算部３１には、補間部２６からの楽音波形サンプルも供給され、加算部３１は、この補間部２６からの楽音波形サンプルと、乗算部３０からの楽音波形サンプルとを加算して、セレクタ３２の一方の入力端に出力する。
【００５９】
セレクタ３２の他方の入力端には、補間部２６からの楽音波形サンプルが入力され、さらに、セレクタ３２のセレクト端には、前記セレクト値ｓが供給されている。セレクタ３２は、セレクト値ｓによって選択された入力端の楽音波形サンプルをエンベロープ発生／付与部３３に出力する。
【００６０】
エンベロープ発生／付与部３３には、前記エンベロープデータが供給され、エンベロープ発生／付与部３３は、このエンベロープデータに基づいてエンベロープを発生させ、セレクタ３２からの楽音波形サンプルに付与した後、前記ＤＡＣに出力する。
【００６１】
図６は、波形テーブル音源６の所定ブロックでの信号処理結果を示す図であり、（ａ）は、ある楽音を１６ＫＨｚの録音サンプリング周波数でサンプリングして生成した楽音波形データの周波数スペクトルを示し、（ｂ）は、（ａ）の楽音波形データに対して、乗算部２７により、８ＫＨｚのサイン波を乗算した結果の周波数スペクトルを示し、（ｃ）は、（ｂ）の乗算結果に対して、ＨＰＦ２９により、８ＫＨｚ以下の周波数成分（周波数スペクトル）をカットしたときの周波数スペクトルを示し、（ｄ）は、加算部３１からの加算結果、すなわち目的の楽音信号の周波数スペクトルを示している。なお、サンプリング周波数は、３２ＫＨｚとしている。したがって、このサンプリング周波数で楽音をサンプリングしたとすると、１６ＫＨｚまでの周波数成分の楽音を生成することができる。
【００６２】
同図（ａ）の斜線部は、１６ＫＨｚの録音サンプリング周波数でサンプリングしたときに失われた周波数成分（周波数スペクトル）を示している。この失われた周波数成分を回復するために、まず、（ｂ）に示すように、原楽音波形データに対して８ＫＨｚのサイン波を乗算し、原楽音波形データのすべての周波数スペクトルを８ＫＨｚだけ正方向にシフトする。信号理論によれば、２信号の時間領域での乗算は、周波数領域では加減算となり、２信号のうち一方の信号であるサイン波の周波数スペクトルは、当該周波数、つまり図示例では８ＫＨｚに１本存在するのみであるので、乗算結果は、その全体が８ＫＨｚだけ正方向にシフトした成分と、その成分を８ＫＨｚを基準に折り返した成分となる。
【００６３】
次に、（ｃ）に示すように、（ｂ）の周波数スペクトルから、必要のない周波数スペクトル、すなわち８ＫＨｚ以下の周波数スペクトルを削除する。この処理は、上述のように、ＨＰＦ２９によってなされる。そして、（ｃ）の周波数スペクトルの振幅（レベル）を調整し、これに、原楽音波形データを加算すると、（ｄ）に示すように、原楽音波形データの周波数スペクトルと、（ｃ）の周波数スペクトルとがうまくつながり、（ａ）の失われた周波数スペクトルが近似的に回復する。
【００６４】
一般的に、自然音を周波数軸上で見た場合、８ＫＨｚ付近よりも下の周波数のスペクトルは、その音そのものを認識する情報、つまり、ピアノやバイオリンの音、人声など、その音が何であるかを知るための情報を含んでいる。一方、およそ８ＫＨｚ以上から１６ＫＨｚ（可聴上限）のスペクトルは、その音の自然さを醸し出す情報を含むことが多い。仮に、この領域のスペクトルが完全に失われたとしても、その音が何であるかを認識できるものの、自然さは大いに欠けてしまう。本実施の形態では、上述のようにして、自然さを醸し出す情報、つまり８ＫＨｚから１６ＫＨｚまでの周波数スペクトルを近似的に回復するようにしたので、より自然な楽音を生成することができる。
【００６５】
なお、本実施の形態では、周波数スペクトルのシフト処理は、原楽音波形データに所定周波数のサイン波を乗算することによって行ったが、原楽音波形データの周波数スペクトル全体が所定周波数だけシフトできれば、サイン波の乗算以外の処理方法を用いてもよい。
【００６６】
また、本実施の形態では、本発明の楽音生成装置を携帯電話機、特にその音源装置に適用したが、これは、電子鍵盤楽器等に設けられる通常の音源装置では、サンプリング周波数より低い録音サンプリング周波数で楽音をサンプリングして、再現される楽音を劣化させてまで、音色データメモリ（波形メモリ）の記憶容量を低減する必要はないからである。したがって、逆に言えば、サンプリング周波数より低い録音サンプリング周波数で楽音をサンプリングする必要のある装置であれば、携帯電話機に限らない。
【００６７】
さらに、本実施の形態では、失われていない周波数成分をすべて用いて、失われた周波数成分を回復するようにしたが、低周波数領域にレベルの高い周波数スペクトルが集中している音、たとえばパーカッション系の楽器の音では、失われていない周波数成分をすべて用いると、回復した周波数成分のうち、低い周波数成分にレベルの高い周波数スペクトルが集中して出現することになり、原音の周波数スペクトルと異なったものとなって、違和感のある楽音が再現されてしまう。
【００６８】
図７は、失われていない周波数成分の一部（２ＫＨｚ〜８ＫＨｚ）を用いて、失われた周波数成分を回復するようにした信号処理結果を示す図であり、（ａ）〜（ｄ）は、それぞれ前記図６の（ａ）〜（ｄ）の周波数スペクトルに対応する。
【００６９】
図７（ａ）に示すように、１６ＫＨｚの録音サンプリング周波数でサンプリングすると、８ＫＨｚ以上の周波数成分は失われる。この失われた周波数成分を回復するために、まず、（ｂ）に示すように、（ａ）の楽音波形データに対して、６ＫＨｚのサイン波を乗算し、原楽音波形データのすべての周波数スペクトルを６ＫＨｚだけ正方向にシフトする。次に、（ｃ）に示すように、（ｂ）の周波数スペクトルから、８ＫＨｚ以下の必要のない周波数スペクトルを削除する。そして、（ｃ）の周波数スペクトルの振幅（レベル）を調整し、これに、原楽音波形データを加算すると、（ｄ）に示すように、原楽音波形データの周波数スペクトルと、（ｃ）の周波数スペクトルとがうまくつながり、（ａ）の失われた周波数スペクトルが回復する。
【００７０】
この図７の信号処理は、図５のブロック図において、サイン波形生成部２８に供給するサイン波の周波数ｆを６ＫＨｚに変更するのみで、他の処理については何の変更もなく、実現することができる。
【００７１】
このように、本実施の形態では、サンプリング周波数より低い録音サンプリング周波数でサンプリングして、楽音波形データを生成したときに失われた周波数成分、すなわち録音サンプリング周波数の半分以上の周波数成分を、失われていない周波数成分に基づいて近似的に回復するようにしたので、生成された楽音波形データから、より自然な楽音を生成することができる。
【００７２】
なお、本発明では、楽音波形データとして、その周波数スペクトルが線状のもの、つまり線状のスペクトルが離散的に出現するようなものを用いた場合には、この楽音波形データに基づいて擬似的に回復した周波数スペクトルは、失われた周波数スペクトルと近似しないことが多いため、このときには、より自然な楽音を生成できない。したがって、本発明では、楽音波形データとして、その周波数スペクトルが非線状のものを用いた方が好ましい。
【００７３】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７４】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７５】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７６】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７７】
【発明の効果】
以上説明したように、請求項１または４に記載の発明によれば、録音サンプリング周波数の半分以下の所定周波数だけ、波形メモリから読み出された楽音波形データに含まれるすべての周波数成分が正方向にシフトされ、該シフト後の周波数成分のうち、前記録音サンプリング周波数の半分以下の周波数成分がカットされ、該周波数成分のカットされた楽音波形データの振幅が調整され、該振幅調整された楽音波形データと前記読み出された楽音波形データとが加算される、すなわち、楽器の音を録音サンプリング周波数でサンプリングしたときに失われたサンプリング周波数の半分以上の周波数成分が、失われていないサンプリング周波数の半分以下の周波数成分から近似的に回復されるので、より自然な楽音を生成することができる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態に係る楽音生成装置を適用した携帯電話機の概略構成を示すブロック図である。
【図２】 音色データメモリ作成処理の手順を示すフローチャートである。
【図３】 図２の楽音波形サンプルの採取処理を説明するための図である。
【図４】 音色データメモリのメモリマップの一例を示す図である。
【図５】 図１の波形テーブル音源でなされる楽音信号生成処理の手順を示すブロック図である。
【図６】 図５の波形テーブル音源の所定ブロックでの信号処理結果を示す図である。
【図７】 失われていない周波数成分の一部を用いて、失われた周波数成分を回復するようにした信号処理結果を示す図である。
【符号の説明】
２５ 音色データメモリ（波形メモリ）、 ２７ 乗算部（シフト手段、乗算手段）、 ２８ サイン波形生成部（シフト手段、生成手段）、 ２９ ＨＰＦ（カット手段）、 ３０ 乗算部（振幅調整手段）、 ３１ 加算部（加算手段）

Claims (4)

1. 当該楽音生成装置本来のサンプリング周波数より低い録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを波形メモリに記憶し、該波形メモリから楽音波形データを読み出して楽音を生成する楽音生成装置において、
   前記録音サンプリング周波数の半分以下の所定周波数だけ、前記読み出された楽音波形データに含まれるすべての周波数成分を正方向にシフトするシフト手段と、
   該シフト後の周波数成分のうち、前記録音サンプリング周波数の半分以下の周波数成分をカットするカット手段と、
   該周波数成分のカットされた楽音波形データの振幅を調整する振幅調整手段と、
   該振幅調整された楽音波形データと前記読み出された楽音波形データとを加算する加算手段と
   を有することを特徴とする楽音生成装置。
2. 前記シフト手段は、
   前記録音サンプリング周波数の半分以下の所定周波数の正弦波信号を生成する生成手段と、
   該生成された正弦波信号と前記読み出された楽音波形データとを乗算する乗算手段と
   からなることを特徴とする請求項１に記載の楽音生成装置。
3. 前記サンプリング対象の楽器の音は、その周波数スペクトルが非線状のものであることを特徴とする請求項１または２のいずれかに記載の楽音生成装置。
4. 楽音を生成するサンプリング周波数より低い録音サンプリング周波数で、楽器の音をサンプリングして採取した楽音波形データを波形メモリに記憶し、該波形メモリから楽音波形データを読み出して楽音を生成する楽音生成方法において、
   前記録音サンプリング周波数の半分以下の所定周波数だけ、前記読み出された楽音波形データに含まれるすべての周波数成分を正方向にシフトし、
   該シフト後の周波数成分のうち、前記録音サンプリング周波数の半分以下の周波数成分をカットし、
   該周波数成分のカットされた楽音波形データの振幅を調整し、
   該振幅調整された楽音波形データと前記読み出された楽音波形データとを加算する
   ことを特徴とする楽音生成方法。

Images