JP6094117B2

JP6094117B2 - 音波形信号生成装置およびプログラム

Info

Publication number: JP6094117B2
Application number: JP2012211801A
Authority: JP
Inventors: 高康近藤; 清人黒岩
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2012-09-26
Filing date: 2012-09-26
Publication date: 2017-03-15
Anticipated expiration: 2032-09-26
Also published as: JP2014066846A

Description

本発明は、膜打楽器の音を示す音波形信号を生成する技術に関する。

楽器が生成する音波形信号を楽器の演奏者にとってより望ましい音波形信号に加工する技術が数多く提案されている。例えば特許文献１においては、振動体に取り付けられたセンサから出力される衝撃波信号の中から共振周波数の信号を取り出して出力する装置が提案されている。

また、例えば特許文献２においては、電気ギター等から入力される楽音信号のピッチおよびエンベロープを検出し、検出したピッチに基づき制御された周波数特性に基づきフィルターにより制御した楽音信号に、検出したエンベロープに基づき制御された係数を乗じたものを、電気ギター等から入力される楽音信号と合成し、合成して得られる楽音信号をさらに先のフィルターにより制御する装置が提案されている。

特許第３２６２６２５号明細書特許第３５８５６４７号明細書

楽器の練習には騒音対策が求められることが多い。膜打楽器（振動体としての膜を備え、その膜に対する打撃に応じて膜の振動により音を発するタムタム（Tom-Tom）等の楽器を本願において「膜打楽器」という）の騒音対策としては、膜に孔を開ける方法や、スポンジ等の振動吸収体を膜に押し付ける方法が一般的に採用されている。図１４は、これらの弱音化された膜打楽器（以下、「弱音膜打楽器」という）の音波形を、弱音化されていない通常の同種の膜打楽器（以下、「通常膜打楽器」という）の音波形と対比して示した図である。図１４に示されるように、弱音膜打楽器の音波形は、アタック音部分に関しては通常膜打楽器の音波形と大きな差が無いが、それに続く減衰音部分に関しては通常膜打楽器の音波形と比べ減衰が速く、その時間長が短い、という特徴を持っている。従って、例えば弱音膜打楽器を用いて通常の音量で練習をしたいと思うユーザが、弱音膜打楽器の音をマイクで集音しアンプで増幅してヘッドフォンで聞いたとしても、ヘッドフォンから聞こえる音は通常膜打楽器の音とかなり異なる音となる。そこで、弱音膜打楽器の音を用いて、通常膜打楽器が発する音の減衰音部分に類似する音を生成する技術に対するニーズがある。

打楽器の他の騒音対策として、電子ドラムシステムを用いる方法がある。電子ドラムシステムにおいては、ユーザがパッドを叩いた際にパッドに取り付けられたセンサから出力される音波形信号に基づき、音源装置においてアタックの検出が行われる。音源装置は予め打楽器の音波形信号を記憶しており、アタックの検出をトリガとして記憶している打楽器の音波形信号を再生する。音源装置の記憶リソースの有効活用の観点から、音源装置に記憶される音波形信号のサイズは小さい方が望ましい。図１４に示されるように、一般的に通常膜打楽器の音波形信号はアタック音部分の時間が短く減衰音部分の時間が長い。従って、アタック音部分の音波形信号から、減衰音部分の音波形信号に類似する音波形信号を生成することができれば、音源装置にはアタック音部分の音波形信号のみを記憶すればよいため望ましい。

本発明は上記の事情に鑑み、弱音膜打楽器の音波形信号から、通常膜打楽器の音波形信号と類似の音波形信号を生成する手段を提供することを目的とする。

上述した課題を解決するため、本発明は、膜打楽器の音のアタックレベルの各々に関しアタックのタイミングからの時間経過に伴い下降する当該音のピッチの変化を特定するためのデータであるパラメータデータを取得するパラメータデータ取得手段と、膜打楽器の音波形を示す音波形信号を取得する音波形信号取得手段と、前記音波形信号取得手段により取得された音波形信号が示す音のアタックレベルを特定するアタックレベル特定手段と、前記音波形信号取得手段により取得された音波形信号を用いて、前記アタックレベル特定手段により特定されたアタックレベルに関する前記パラメータデータにより特定されるピッチの時間経過に伴う変化を示す音波形信号を生成する音波形信号生成手段とを備える音波形信号生成装置を提案する。

上記の音波形信号生成装置において、前記音波形信号生成手段は、各々入力された音波形信号を用いて指定されたピッチの音を示す音波形信号を生成し出力する複数の共鳴器と、前記複数の共鳴器の各々から出力される音波形信号を加算して出力する加算器とを有し、前記複数の共鳴器の各々は、前記パラメータデータにより特定されるピッチの時間経過に伴う変化を示す音波形信号を生成する、という構成が採用されてもよい。

また、上記の音波形信号生成装置において、前記複数の共鳴器の各々は、入力された音波形信号の読み出し速度を遅らせることにより出力される音波形信号の周期を長くする遅延器を有する櫛形フィルタを含む、という構成が採用されてもよい。

また、上記の音波形信号生成装置において、前記音波形信号取得手段により取得された音波形信号が示す音の所定のタイミングにおけるピッチを特定するピッチ特定手段を備え、前記音波形信号生成手段は前記ピッチ特定手段により特定されたピッチに基づき、生成する音波形信号が示す音信号の開始タイミングにおけるピッチを特定する、という構成が採用されてもよい。

また、上記の音波形信号生成装置において、前記パラメータデータは、膜打楽器の音のアタックレベルの各々に関し当該音のピッチが安定化した後のピッチを示すデータを含み、前記音波形信号生成手段は、前記アタックレベル特定手段により特定されたアタックレベルに関する前記パラメータデータにより示される安定化した後のピッチに近付くように時間経過に伴いピッチが変化する音波形信号を生成する、という構成が採用されてもよい。

また、本発明は、コンピュータに、膜打楽器の音のアタックレベルの各々に関しアタックのタイミングからの時間経過に伴い下降する当該音のピッチの変化を特定するためのデータであるパラメータデータを取得する処理と、膜打楽器の音波形を示す音波形信号を取得する処理と、前記取得した音波形信号が示す音のアタックレベルを特定する処理と、前記取得した音波形信号を用いて、前記特定したアタックレベルに関する前記パラメータデータにより特定されるピッチの時間経過に伴う変化を示す音波形信号を生成する処理とを実行させるプログラムを提供する。

本発明によれば、弱音膜打楽器の音波形信号から特定されるアタックレベルに応じたパラメータデータに従い、時間経過に伴いピッチが下降する音波形信号が生成される。その結果、アタックレベルに応じてピッチの変化カーブが異なる、という特性を持つ通常膜打楽器の音波形信号に類似の音波形信号が、弱音膜打楽器の音波形信号から生成される。

本発明の一実施形態にかかる音波形信号生成システムの構成の概要を示した図である。本発明の一実施形態にかかる音波形信号生成装置に記憶されている周波数倍率および減衰時間の具体例を示した図である。打撃後１秒程が経過したタイミングにおける通常膜打楽器の音波形信号の周波数スペクトルの例を示した図である。本発明の一実施形態にかかる音波形信号生成装置が備える基本ピッチ特定部の構成の概要を示した図である。本発明の一実施形態にかかる音波形信号生成装置が備える共鳴器の構成を示した図である。本発明の一実施形態にかかる音波形信号生成装置が備える遅延器が行う遅延処理を示した図である。本発明の一実施形態にかかる音波形信号生成装置が備える遅延器が行うサンプルの補間処理を示した図である。弱音化されていない膜打楽器を異なる強さで叩いた場合の各々の基本ピッチの時間的変化を示した図である。弱音化されている膜打楽器を異なる強さで叩いた場合の各々の基本ピッチの時間的変化を示した図である。通常の膜打楽器のアタックレベルとピッチの変動幅との関係を模式的に示した図である。通常の膜打楽器を叩いた場合における、アタックレベルに応じたピッチ変化率を示した図である。本発明の一実施形態にかかる音波形信号生成装置が備えるディレイタイム算出部がアタックレベルからピッチ変化率を算出するために用いる一次関数を示したグラフである。本発明の一実施形態にかかる音波形信号生成装置が行う処理の流れを示した図である。弱音化されている膜打楽器の音波形と弱音化されていない膜打楽器の音波形とを対比して示した図である。

［実施形態］
以下に、図面を参照しながら本発明の実施形態について説明する。図１は、本実施形態にかかる音波形信号生成システム１の構成の概要を示した図である。音波形信号生成システム１は、外部から入力される弱音膜打楽器の音波形信号を用いて、通常膜打楽器の音波形信号に類似した音波形信号を生成し出力する音波形信号生成装置１１と、弱音膜打楽器１２と、弱音膜打楽器１２の発する音を示す音波形信号を生成するピックアップ１３と、音波形信号生成装置１１から出力される音波形信号に従い放音を行う放音器１４とを備えている。

なお、本願において、通常膜打楽器の音波形信号に類似した音波形信号とは、弱音膜打楽器の音波形信号と比較し、通常膜打楽器の音波形信号との間で、少なくとも基本周波数および共振周波数の時間的変化および減衰時間の相関性が高い音波形信号のことをいう。

弱音膜打楽器１２は、例えば膜に孔が設けられた、もしくは膜にスポンジ等の振動吸収体が押し付けられたタムタム等の膜打楽器である。ただし、弱音膜打楽器１２における弱音化の方法および膜打楽器の種別はこれらに限られない。ピックアップ１３は、例えば膜に取り付けられたピエゾ式の振動センサ、もしくは膜付近に取り付けられたマイクである。ただし、ピックアップ１３の方式はこれらに限られない。放音器１４は、例えばアンプ内蔵スピーカである。

音波形信号生成装置１１のハードウェアは、例えば一般的なコンピュータであり、そのハードウェア構成部として、まず、ＢＩＯＳ（Basic Input/Output System）やＯＳ（Operating System）およびアプリケーションプログラム等に従い各種演算を行うとともに他の構成部を制御するＣＰＵ（Central Processing Unit）１０１、ＢＩＯＳやＯＳ、アプリケーションプログラムやそれらのプログラムが扱う各種データ等を記憶するＲＯＭ（Read Only Memory）１０２、主としてＣＰＵ１０１が一時的にデータを記憶するワーキングエリアとして利用するＲＡＭ（Random Access Memory）１０３を備えている。

また、音波形信号生成装置１１は、ピックアップ１３から音波形信号の入力を受ける音波形信号入力Ｉ／Ｆ（Interface）１０４（音波形信号取得部）、音波形信号入力Ｉ／Ｆ１０４が受け取った音波形信号を用いた各種信号処理を行い新たな音波形信号を生成するＤＳＰ（Digital Signal Processor）１０５、ＤＳＰ１０５により生成された音波形信号を放音器１４に対し出力する音波形信号出力Ｉ／Ｆ１０６（音波形信号出力部）を備えている。

また、音波形信号入力Ｉ／Ｆ１０４がピックアップ１３から受け取る音波形信号がアナログ信号である場合、音波形信号生成装置１１は音波形信号をデジタル信号に変換した後にＣＰＵ１０１やＤＳＰ１０５に引き渡すＡＤ（Analog to Digital）コンバータ（図示略）を備え、放音器１４がアナログ信号に従い放音を行なう場合、音波形信号生成装置１１はＤＳＰ１０５により生成される音波形信号をデジタル信号からアナログ信号に変換した後に音波形信号出力Ｉ／Ｆ１０６を介して放音器１４に出力するＤＡ（Digital to Analog）コンバータ（図示略）を備える。

ＣＰＵ１０１とＤＳＰ１０５は、ＲＯＭ１０２に記憶されている本実施形態にかかるアプリケーションプログラムに従った処理を行うことにより、以下に述べる機能構成部を備える装置として機能する。

まず、ＣＰＵ１０１は、後述する複数の共鳴器１１４６の各々のパラメータを示すパラメータデータを取得するパラメータデータ取得部１１１を備えている。パラメータデータ取得部１１１は、予めＲＯＭ１０２に記憶されているパラメータデータをＲＡＭ１０３に読み込んでおき、後述の音波形信号の処理において適宜、ＲＡＭ１０３からパラメータデータを読み出すことにより、パラメータデータを取得する。

パラメータデータ取得部１１１が取得するパラメータデータには、以下のデータが含まれる。
（１）複数の共鳴器１１４６（後述）の各々に応じて予め設定されている周波数倍率ＲＡ_mおよび減衰時間ＲＴ_m（秒）（ただし、ｍは共鳴器１１４６の番号を示す自然数）
（２）サンプリング周波数Ｆｓ（Ｈｚ）
（３）弱音膜打楽器１２と同種の通常膜打楽器のアタックのタイミングからピッチが安定するタイミングまでの時間であるピッチ変化時間ＰＴ（秒）

図２は、周波数倍率ＲＡ_mおよび減衰時間ＲＴ_mの具体例を示した図である。これらの周波数倍率ＲＡ_mおよび減衰時間ＲＴ_mは、弱音膜打楽器１２と同種の通常膜打楽器の音波形信号から計測した値（例えば、所定数回の計測の結果の平均値）である。図３は、打撃後１秒程が経過したタイミングにおける通常膜打楽器の音波形信号の周波数スペクトルを示した図である。図３の括弧内の数値は基本ピッチである１７５Ｈｚに対する高次の共振周波数の倍率を示している。これらの数値が示すように、膜打楽器の高次の共振周波数は必ずしも基本ピッチの整数倍ではない。ＤＳＰ１０５はこれらの共振周波数の各々に応じた共鳴器１１４６を構築する。周波数倍率ＲＡ_mおよび減衰時間ＲＴ_mはそれら複数の共鳴器１１４６の各々のパラメータ決定に用いられる。

減衰時間ＲＴ_mは、通常膜打楽器の音波形信号のうち基本ピッチもしくは基本ピッチに周波数倍率ＲＡ_mを乗じた周波数（高次の共振周波数）の成分のレベルが、アタック時から所定デシベル（例えば６０ｄＢ）低下するまでの時間（秒）を計測した値である。なお、図２に例示のように、一般的に周波数倍率ＲＡ_mが高くなる程、減衰時間ＲＴ_mは短くなる。

サンプリング周波数Ｆｓは、ＤＳＰ１０５が処理する音波形信号のサンプリング周波数であり、例えば４８，０００Ｈｚである。ピッチ変化時間ＰＴは、通常膜打楽器の音の計測値に基づき定められた値であり、例えば０．５秒である。

これらの定数（ＲＡ_m、ＲＴ_m、ＦｓおよびＰＴ）は、後述するアタックレベル特定部１１２により特定されるアタックレベルＡＬ、後述するピッチ特定部１１３により特定されるアタック時の基本ピッチに応じたディレイタイムＤＳと共に、時間経過に応じて変化する共鳴器１１４６のパラメータ（ディレイタイムＤＣ_m(t)およびゲインＧ_m(t)、ただし、ｔはアタックのタイミングからの経過時間を示す数値））を算出するために用いられる。

図１に戻り、音波形信号生成装置１１の構成の説明を続ける。ＣＰＵ１０１およびＤＳＰ１０５は、ピックアップ１３から入力される弱音膜打楽器１２の音波形信号が示す音のアタックを検出するとともにそのアタックのレベルの特定を行うアタックレベル特定部１１２として機能する。アタックレベル特定部１１２は、入力される音波形信号からアタックを検出するアタック検出部１１２１と、アタック検出部１１２１により検出されたアタックにおける音波形信号の振幅の最大値をアタックレベルとして特定するレベル特定部１１２２の機能を備えている。

アタック検出部１１２１は、入力される音波形信号から、例えば遮断周波数７５０Ｈｚのハイパスフィルタにより高周波数帯の成分を取り出し、エンベロープ検出部により高周波数帯の成分の音波形の包絡線を特定し、アタック判定部によりその包絡線が示すレベルの絶対値および変化率が共に所定の閾値を超えた場合、アタックが検出されたことを示すアタック検出信号を出力する。アタック検出信号は、アタックの検出タイミングに応じた音波形信号の時間軸方向における位置（例えば、音波形信号を構成するサンプルデータの番号）を示す信号である。

レベル特定部１１２２は、入力される音波形信号のうち、アタック検出部１１２１から出力されるアタック検出信号が示すタイミングを開始タイミングとする所定期間内（例えば、５０ミリ秒間）の振幅（絶対値）の最大値をアタックレベルＡＬとして特定する。

また、ＣＰＵ１０１およびＤＳＰ１０５は、ピックアップ１３から入力される弱音膜打楽器１２の音波形信号が示す音の基本ピッチを特定するピッチ特定部１１３として機能する。図４は、ピッチ特定部１１３の構成の概要を示した図である。ピッチ特定部１１３は、入力される音波形信号の高次の共振周波数の成分をカットするためのフィルタ１１３１、フィルタ１１３１から出力される高周波数帯成分のカットされた音波形信号を一時的に記憶するリングメモリ１１３２、リングメモリ１１３２に記憶されている音波形信号を読み出してその音波形信号の周期を測定する周期測定部１１３３を備えている。

フィルタ１１３１は、周波数に応じて位相ずれが生じることの少ない直線位相フィルタが望ましく、例えばＦＩＲ（Finite impulse response）フィルタである。周期測定部１１３３は、アタック検出部１１２１から出力されるアタック検出信号に示されるタイミングを計測開始タイミングとし、計測開始タイミング以降の期間に応じた音波形信号をリングメモリ１１３２から読み出し、その先頭から順に所定数（例えば、３周期分の時間を計測するための７個）のゼロクロスポイントの検出を行う。周期測定部１１３３はそのように検出したゼロクロスポイント間の時間を周期数で除することにより、アタック時における基本ピッチ成分の１周期分の時間であるディレイタイムＤＳを特定する。

また、ＣＰＵ１０１およびＤＳＰ１０５は、ピックアップ１３から出力される弱音膜打楽器の音波形信号を用いて通常膜打楽器の音波形信号に類似の音波形信号を生成する音波形信号生成部１１４として機能する。音波形信号生成部１１４は、音波形信号の処理の内容を示すパラメータを決定するコントロール部１１４ａと、コントロール部１１４ａにより決定されたパラメータに従い音波形信号の処理を行なう信号処理部１１４ｂを備える。

信号処理部１１４ｂは、基本ピッチおよびその非整数倍の共振周波数の各々に応じて設けられた複数の共鳴器１１４６、複数の共鳴器１１４６の各々から出力される音波形信号を加算する加算器１１４７、アタックが検出された際に共鳴器１１４６に対し入力されている音波形信号のゲインをいったん落として共鳴器１１４６への音波形信号の入力をフェードアウトするための増減幅器１１４５、アタック検出から基本ピッチの特定等の処理を完了するまでの時間である入力遅延時間だけ共鳴器１１４６に対する音波形信号の入力を遅延させる遅延器１１４４を備える。

コントロール部１１４ａは、増減幅器１１４５に対しゲインを設定するリセット部１１４１、共鳴器１１４６の各々に対し時間経過に伴い変化するディレイタイムＤＣ_m(t)を順次設定するディレイタイム算出部１１４２、共鳴器１１４６の各々に対し時間経過に伴い変化するゲインＧ_m(t)を順次設定するゲイン算出部１１４３を備えている。

複数の共鳴器１１４６は各々、コントロール部１１４ａから設定されるパラメータが異なる点を除き、同じ構成を備えている。以下、複数の共鳴器１１４６を互いに区別する場合、「共鳴器１１４６−ｍ」（ただし、ｍは共鳴器１１４６の番号を示す自然数）のように枝番号を付してそれらを区別し、複数の共鳴器１１４６間の区別を要しない場合は単に「共鳴器１１４６」という。

図５は共鳴器１１４６の構成を示した図である。共鳴器１１４６はその基本的な構成として櫛形フィルタを含んでいる。櫛形フィルタは入力される音波形信号に対し、所定のディレイタイムに従った遅延を伴う同じ音波形信号を加算することにより、ディレイタイムを周期とする基本ピッチおよびその整数倍の共振周波数の音の成分を取り出して出力する。また、櫛形フィルタは遅延を伴う音波形信号を入力される音波形信号に加算してフィードバックする前に減幅器によりフィードバックする音波形信号の振幅を所定の比率で減ずることにより、自然楽器の音の減衰に類似した減衰を伴う音波形信号を出力する。

共鳴器１１４６の具体的な構成は以下のとおりである。すなわち、共鳴器１１４６は遅延器１１４４および増減幅器１１４５を介して音波形信号入力Ｉ／Ｆ１０４から入力される弱音膜打楽器１２の音波形信号と減幅器４６４からフィードバックされる音波形信号とを加算して出力する加算器４６１、加算器４６１から入力される音波形信号をディレイメモリに一時的に記憶した後にディレイタイム算出部１１４２により設定されたディレイタイムＤＣ_m(t)に応じた速度で読み出して出力する遅延器４６２、遅延器４６２から入力される音波形信号の高次の共振周波数の成分をカットするためのフィルタ４６３、ゲイン算出部１１４３により設定されたゲインＧ_m(t)をフィルタ４６３から出力された音波形信号に乗じることで加算器４６１にフィードバックされる音波形信号の振幅を時間経過に伴い徐々に減じる減幅器４６４を備える。なお、遅延器４６２からの出力信号は、フィルタ４６３に出力されるとともに加算器１１４７に対しても出力される。

上述のように、共鳴器１１４６は通常の櫛形フィルタに加え、フィルタ４６３を備えている。フィルタ４６３により、不要な高次共振周波数の成分がカットされ、共鳴器１１４６の各々からは概ね対応する共振周波数の成分のみを含む音波形信号が出力されるようになる。それらの音波形信号を加算器４６１にて加算することにより、膜打楽器の減衰音部分において必要となる所定数倍（整数倍もしくは非整数倍）の高次共振周波数の成分を含んだ音波形信号が生成されることになる。

また、共鳴器１１４６が備える遅延器４６２は、ディレイメモリに一時的に記憶した音波形信号を単に遅延させて出力するのではなく、ディレイタイムＤＣ_m(t)に応じた速度で読み出して出力する点で通常の櫛形フィルタが備える遅延器と異なっている。図６は、通常の櫛形フィルタが備える遅延器と共鳴器１１４６が備える遅延器４６２の各々においてディレイタイムを１．５倍に変更した場合の変更の前後における、ディレイメモリから読み出される音波形信号を対比した図である。通常の櫛形フィルタが備える遅延器は、図６（ａ）に示されるようにディレイメモリからの音波形信号の読み出し速度がディレイタイムの変更の前後で一定であるため、音波形の周期が変更されない。従って、フィードバックされる音波形信号のピッチが変化せず、この櫛形フィルタはディレイタイムＤＣ_m(t)に応じたピッチの波形を出力することができない。一方、共鳴器１１４６が備える遅延器４６２は図６（ｂ）に示されるようにディレイメモリからの音波形信号の読み出し速度がディレイタイムの変更に応じて変化するため、フィードバックされる音波形信号のピッチが変化し、共鳴器１１４６はディレイタイムＤＣ_m(t)に応じたピッチの波形を出力することができる。

共鳴器１１４６が備える遅延器４６２によりディレイメモリから読み出される音波形信号は、図６（ｂ）に示されるように時間軸方向に伸縮された音波形信号となる。従って、伸縮された後の音波形信号を所定のサンプリング周波数Ｆｓに従ったサンプルで示すように、遅延器４６２によるサンプルの補間処理が行われる。図７は、遅延器４６２によりサンプルの補間が行われる様子を示した図である。ディレイメモリ内に記憶されている図７（ａ）に示される音波形信号のサンプルが図７（ｂ）に示される速度で読み出された場合、例えばサンプルＳ１およびサンプルＳ２は所定のサンプリング周波数Ｆｓにより定まる正しいサンプルのタイミングに一致しない。従って、遅延器４６２は、図７（ｃ）に示されるように、Ｓ１およびＳ２から正しいタイミングに応じたサンプルＳ１’を補間処理により生成する。なお、遅延器４６２が行う補間処理の方法としては、直線補間、ラグランジェ補間、スプライン補間、Ｓｙｎｃ関数を利用した補間など、いずれの方法が採用されてもよい。

続いて、上記のような構成を備える共鳴器１１４６の各々に対し時間経過に伴い順次設定されるディレイタイムＤＣ_m(t)およびゲインＧ_m(t)の算出方法を以下に説明する。図８は弱音化されていない通常のタムタムを１〜１０の異なる強度（数値が大きい程、強い）で叩いた場合の各々の基本ピッチの時間的変化を示した図である。また、図９は弱音化されたタムタムを同様に１〜１０の異なる強度で叩いた場合の各々の基本ピッチの時間的変化を示した図である。図８および図９に示されるように、一般的に膜打楽器の音は以下の性質を持っている。
（１）叩いた直後から時間経過に伴い基本ピッチが徐々に低下し、数十ミリ秒〜数百ミリ秒で基本ピッチが安定する。
（２）基本ピッチの変動幅は強く叩く程大きく、弱く叩く程小さい。
（３）上記の（１）および（２）の性質は弱音化されていない膜打楽器と弱音化されている膜打楽器に共通している。
（４）弱音化されている膜打楽器の基本ピッチの変化の速度は、弱音化されていない膜打楽器の基本ピッチの変化の速度と比べ速い。

従って、減衰音部分に関し、弱音膜打楽器１２の音波形信号を用いて通常膜打楽器の音波形信号に類似の音波形信号を生成するためには、基本ピッチの低下の速度を遅くした音波形信号を生成すればよい。そのためには、通常膜打楽器の音の基本ピッチが、アタックレベルに応じて時間経過に伴いどのようなカーブを描いて変化するかを特定する必要がある。

図１０は、上記（２）の性質を模式的に示した図である。図１０においてピッチ変化時間ＰＴはアタックからピッチが安定するまでの時間であり、一般的に膜の口径が大きい程、ピッチ変化時間ＰＴは長くなるが、膜打楽器の各々においては変動しない。また、ピッチ変化率ＰＲは安定後のピッチに対する叩いた直後のピッチの比である。

図１１は、通常膜打楽器を叩いた場合、アタックレベルＡＬをデシベルに変換したアタックレベルＡＧ（ｄＢ）とそのアタックレベルで叩いた音の基本ピッチのピッチ変化率ＰＲの実測値をプロットした図である。図１２は、図１１に示したアタックレベルＡＧとピッチ変化率ＰＲの関係を一次関数で近似した場合の近似式のグラフを示した図である。本実施形態においては、図１２にグラフで示される近似式に従い、与えられたアタックレベルＡＧに応じたピッチ変化率ＰＲが算出される。

より具体的には、レベル特定部１１２２により特定されるアタックレベルＡＬに応じたピッチ変化率ＰＲは以下の式に従い算出される。

ただし、ＰＭＸＲはピッチ最大変化率（定数）、ＰＬＧはピッチ変化最低ゲイン（定数）である。

続いて、ピッチ特定部１１３により特定されたアタック時の基本ピッチに応じたディレイタイムＤＳに基づき、以下の式に従いピッチ安定後の基本ピッチに応じたディレイタイムＤＥが算出される。

続いて、減衰係数ＤＹを以下のように定義する。

ただし、Ｆｓはサンプリング周波数（定数）、ＰＴはピッチ変化時間（秒）（定数）である。減衰係数ＤＹは、ピッチ変化時間ＰＴ（秒）の間に、ディレイタイムがディレイタイムＤＥとディレイタイムＤＳの差分の−４０ｄＢ（＝０．０１）だけ減衰する際の減衰係数である。

そして、アタックからの経過時間ｔ（秒）における基本ピッチに応じた共鳴器１１４６、すなわち共鳴器１１４６−１の遅延器４６２に設定されるべきディレイタイムＤＣ_1(t)は以下の式により算出される。

ディレイタイム算出部１１４２は、上記の一連の算出式に従い、レベル特定部１１２２により特定されたアタックレベルＡＬと、ピッチ特定部１１３により特定されたディレイタイムＤＳに基づき、アタックからの経過時間ｔにおけるディレイタイムＤＣ_1(t)を算出する。

さらに、ディレイタイム算出部１１４２は以下の式により、共鳴器１１４６−２〜ｎの各々の遅延器４６２に設定されるべきディレイタイムＤＣ_m(t)を算出する。

ただし、ＲＡ_mは図２に示した共鳴器１１４６の各々に応じて予め定められた周波数倍率である。このように、アタックからの経過時間ｔにおける共鳴器１１４６の各々の遅延器４６２に設定されるディレイタイムＤＣ_m(t)の比率は、予め定められた周波数倍率ＲＡ_mの比率に従い変化しない。そのため、基本ピッチおよび高次共振周波数の周波数は時間経過に伴い常に連動して変化することになる。

ゲイン算出部１１４３は、ディレイタイム算出部１１４２により算出されたディレイタイムＤＣ_m(t)に基づき、以下の式により、共鳴器１１４６−１〜ｎの各々の減幅器４６４に設定されるべきゲインＧ_m(t)を算出する。

ただし、ＲＴ_mは図２に示した共鳴器１１４６の各々に応じて予め定められた減衰時間である。

ディレイタイム算出部１１４２によりアタックからの経過時間ｔに応じて順次算出されるディレイタイムＤＣ_m(t)が共鳴器１１４６−ｍの遅延器４６２に順次設定されることにより、それらの共鳴器１１４６の各々から加算器１１４７に出力される音波形信号のピッチが時間の経過に伴い所定のカーブを描いて連動して下降することになる。また、ゲイン算出部１１４３によりアタックからの経過時間ｔに応じて順次算出されるゲインＧ_m(t)が共鳴器１１４６−ｍの減幅器４６４に順次設定されることにより、それらの共鳴器１１４６の各々から加算器１１４７に出力される音波形信号のゲインが時間の経過に伴い所定のカーブを描いて減衰することになる。その結果、加算器１１４７から音波形信号出力Ｉ／Ｆ１０６を介し放音器１４に出力される音波形信号は、通常膜打楽器の減衰音部分の音波形信号に類似した音波形信号を含むものになる。

図１３は、ユーザにより弱音膜打楽器１２に対する打撃が行われた際に音波形信号生成装置１１において行われる処理の流れを説明するための図である。まず、ユーザにより弱音膜打楽器１２が打撃されると、アタック検出部１１２１はピックアップ１３から音波形信号入力Ｉ／Ｆ１０４を介して入力される音波形信号のアタックを検出し（Ｓ１０１）、アタック検出信号をピッチ特定部１１３およびコントロール部１１４ａに出力する。

コントロール部１１４ａのリセット部１１４１は、アタック検出部１１２１からアタック検出信号の入力を受けると、増減幅器１１４５に設定するゲインを短時間で０まで落とすことで信号処理部１１４ｂに対する音波形信号の入力をフェードアウトする（Ｓ１０２）。

続いて、レベル特定部１１２２は音波形信号入力Ｉ／Ｆ１０４から入力される音波形信号のアタックレベルＡＬを特定する（Ｓ１０３）。また、ピッチ特定部１１３は音波形信号入力Ｉ／Ｆ１０４から入力される音波形信号のアタック時における基本ピッチに応じたディレイタイムＤＳを特定する（Ｓ１０４）。

続いて、リセット部１１４１は共鳴器１１４６の各々の遅延器４６２のディレイメモリをクリアするとともに、フィルタ４６３の初期化を行う（Ｓ１０５）。続いて、ディレイタイム算出部１１４２およびゲイン算出部１１４３はアタックレベルＡＬおよびディレイタイムＤＳに基づき、ディレイタイムＤＣ_m(0)およびゲインＧ_m(0)を算出し、遅延器４６２および減幅器４６４にそれらを設定する（Ｓ１０６）。

続いて、リセット部１１４１は増減幅器１１４５に設定するゲインを短時間で所定値まで上げることで信号処理部１１４ｂに対する音波形信号の入力をフェードインする（Ｓ１０７）。同時に、リセット部１１４１はステップＳ１０１〜Ｓ１０７に要した遅延時間を遅延器１１４４に対しディレイタイムとして設定する（Ｓ１０８）。これにより、遅延器１１４４から共鳴器１１４６に対する音波形信号の入力が開始される。その後、ステップＳ１０７およびＳ１０８のタイミングをアタックのタイミング、すなわち経過時間ｔ＝０として、ディレイタイム算出部１１４２およびゲイン算出部１１４３によるディレイタイムＤＣ_m(t)およびゲインＧ_m(t)の算出と、それらの遅延器４６２および減幅器４６４に対する設定が継続的に行われる（Ｓ１０９）。その結果、加算器１１４７から音波形信号出力Ｉ／Ｆ１０６を介し放音器１４に対し、通常膜打楽器の音波形信号に類似した音波形信号が出力される（Ｓ１１０）。

以上説明したように、音波形信号生成装置１１によれば、ユーザは弱音膜打楽器１２を演奏することにより、通常膜打楽器の音波形信号と類似した音波形信号の音を得ることができる。

［変形例］
上述した実施形態は本発明の一実施形態であり、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。

上述した実施形態においては、ピッチ特定部１１３によりアタック時における音波形信号の基本ピッチに応じたディレイタイムＤＳの特定が行われる構成が採用されている。これに代えて、ピッチ特定部１１３によりアタック時ではなく、ピッチが安定化した後（例えば、アタックから１秒経過した時点）の基本ピッチに応じたディレイタイムＤＥの特定が行われ、そのように特定されたディレイタイムＤＥおよびレベル特定部１１２２により特定されたアタックレベルＡＬに基づき推定されるディレイタイムＤＳを用いる構成が採用されてもよい。

そのような変形例において、仮にディレイタイムＤＥの特定が完了した後に遅延器１１４４から共鳴器１１４６への音波形信号の出力を開始したのでは多くの場合、その遅延が許容されない。従って、例えば過去の打撃に伴いピッチ特定部１１３が特定したディレイタイムＤＥをパラメータデータとして記憶しておき、新たな打撃に伴いアタックの検出が行われた際、記憶している過去のディレイタイムＤＥと、新たな打撃に伴いレベル特定部１１２２により特定されたアタックレベルＡＬに基づきディレイタイムＤＳの推定を行うように音波形信号生成装置を構成することが望ましい。その際、ディレイタイムＤＳの推定に用いるディレイタイムＤＥは直近の１つのディレイタイムＤＥであってもよいし、例えば直近の複数個のディレイタイムＤＥの平均値等であってもよい。

また、ピッチ特定部１１３がアタック時の基本ピッチに応じたディレイタイムＤＳと、ピッチ安定化後の基本ピッチに応じたディレイタイムＤＥの両方を特定する構成が採用されてもよい。その場合、例えばユーザにより、ピッチ特定部１１３により特定された現在のディレイタイムＤＳをそのまま用いるか、ピッチ特定部１１３により特定された過去のディレイタイムＤＥから現在のディレイタイムＤＳを推定するかを選択可能としてもよいし、現在のディレイタイムＤＳの特定に成功した場合にはそれを用い、失敗した場合には過去のディレイタイムＤＥから現在のディレイタイムＤＳの推定を行うなど、所定の条件に従いそれらを切り替えるなどの構成が採用されてもよい。

また、上述した実施形態においては、アタックレベルＡＬおよびアタック時の基本ピッチに応じたディレイタイムＤＳに基づき、ピッチ安定化後の基本ピッチに応じたディレイタイムＤＥが推定されて、そのディレイタイムＤＥの推定値を目指してピッチの減衰（ディレイタイムの増加）が行われる構成が採用されている。このように、現在のアタックレベルＡＬおよびディレイタイムＤＳに基づき推定されたディレイタイムＤＥを用いる代わりに、ピッチ特定部１１３がピッチ安定化後の基本ピッチに応じたディレイタイムＤＥを特定可能とし、ピッチ特定部１１３により過去に特定されたディレイタイムＤＥを用いる構成が採用されてもよい。

また、ディレイタイムＤＥは、アタックレベルＡＬおよびアタック時の基本ピッチに応じたディレイタイムＤＳに基づき推定されたものを用いる場合（上述した実施形態の場合）であっても、過去に特定したものを用いる場合（上記の変形例の場合）であっても、実際に弱音膜打楽器１２の打撃に伴い入力されてくる音波形信号の安定化後の基本ピッチに応じたディレイタイムＤＥとの間に多少の誤差を生じる。一方、弱音膜打楽器１２の音波形信号における基本ピッチの安定化に要する時間は通常１００ミリ秒程度であり、通常膜打楽器の音波形信号における基本ピッチの安定化に要する時間（ピッチ変化時間ＰＴ、通常５００ミリ秒程度）よりも短い。従って、弱音膜打楽器１２の音波形信号における基本ピッチが概ね安定したタイミング（例えば、アタック後１００ミリ秒のタイミング）でピッチ特定部１１３が基本ピッチに応じたディレイタイムＤＥの特定を行い、その後はディレイタイム算出部１１４２が推定したディレイタイムＤＥもしくは過去のディレイタイムＤＥに代えて、新たに特定されたディレイタイムＤＥを用いてディレイタイムＤＣ_m(t)を特定する構成が採用されてもよい。

具体的には、例えば以下の処理によりディレイタイムＤＥの切り替えを行えばよい。すなわち、ディレイタイムＤＥを新たに特定されたディレイタイムＤＥで置き換える。そして、ディレイタイムＤＳをその時点のディレイタイムＤＣ_1(t)で置き換える。また、ピッチ変化時間ＰＴをアタックからの経過時間ｔだけ減じた後、減衰係数ＤＹを再計算する。その後、以下の式に従い、新たなディレイタイムＤＣ_m(t)を順次算出する。

なお、上記のディレイタイムＤＥの補正の回数は１回に限られず、一度のアタックに伴う音波形信号の処理に関し複数回行われる構成が採用されてもよい。

また、上述した実施形態においては、音波形信号入力Ｉ／Ｆ１０４（音波形信号取得部）が取得する音波形信号は弱音膜打楽器１２が実際にユーザにより打撃された際に発する音を示す音波形信号である。これに代えて、例えば過去にサンプリングされて外部機器やＲＯＭ１０２等に記憶されている音波形信号が音波形信号取得部により取得され、通常膜打楽器の音波形信号に類似の音波形信号の生成に用いられてもよい。その場合、音波形信号取得部が取得する音波形信号は、例えば通常膜打楽器のアタック音部分の音波形信号であってもよいし、弱音膜打楽器の音波形信号であってもよい。

また、上述した実施形態において、パラメータデータ取得部１１１が取得するパラメータデータ（周波数倍率ＲＡ_m、減衰時間ＲＴ_m、サンプリング周波数Ｆｓ、ピッチ変化時間ＰＴ）は音波形信号の生成中、変化しない。これに代えて、音波形信号の生成中、時間経過に伴い周波数倍率ＲＡ_mや減衰時間ＲＴ_mが変化する構成が採用されてもよい。時間経過に伴い変化する周波数倍率ＲＡ_mを用いる構成の音波形信号生成装置は、基本ピッチに対する高次の共振周波数の比率がアタックからリリースまでの間に変化する音波形信号を生成することができる。また、時間経過に伴い変化する減衰時間ＲＴ_mを用いる構成の音波形信号生成装置は、上述した実施形態にかかる音波形信号生成装置１１と比較し、音の減衰カーブの形状をより自由に調整することができる。

また、パラメータデータ取得部１１１が取得し音波形信号の生成に用いられるパラメータデータの種類は上述した実施形態において用いられるものに限られない。例えば、上述した実施形態においては、基本ピッチおよび高次の共振周波数の成分のピッチは減衰係数ＤＹに従い決定されるカーブに従い時間経過に伴い低下する。これに代えて、基本ピッチに関し、時間経過に伴い変化するピッチを示すパラメータデータをパラメータデータ取得部１１１が取得し、この時間経過に伴い変化するピッチを示すパラメータデータに従い基本ピッチを変化させ、高次の共振周波数は基本ピッチに連動して変化させる構成が採用されてもよい。また、基本ピッチおよび高次の共振周波数の各々に関し、時間経過に伴い変化するピッチを示すパラメータデータをパラメータデータ取得部１１１が取得し、この時間経過に伴い変化するピッチを示すパラメータデータに従い基本ピッチおよび高次の共振周波数の各々を変化させる構成が採用されてもよい。

また、上述した実施形態においては、ピッチ特定部１１３が特定するピッチは基本ピッチであり、高次の共振周波数は予めパラメータデータとしてＲＯＭ１０２に記憶されている周波数倍率ＲＡ_mにより算出される構成が採用されている。これに代えて、ピッチ特定部１１３が弱音膜打楽器１２の音波形信号の基本ピッチおよび高次の共振周波数の各々を特定し、周波数倍率ＲＡ_mに代えて、ピッチ特定部１１３が特定した周波数から算出される周波数倍率が用いられる構成が採用されてもよい。その場合、算出される周波数倍率に応じた減衰時間は、例えば周波数倍率と減衰時間との関係式に従い、周波数倍率から算出する構成や、予め、様々な周波数倍率に応じた減衰時間を対応表として記憶しておき、当該対応表に従い特定する構成などが採用され得る。

また、上述した実施形態においては、一般的なコンピュータがアプリケーションプログラムに従った処理を行うことにより音波形信号生成装置１１が実現される構成が採用されている。これに対し、例えば図１に示される機能構成部の各々の処理を行うハードウェアにより構成されたいわゆる専用機として音波形信号生成装置１１が実現されてもよい。

なお、上述した実施形態において示した算出式、データ例、処理の動作順序等はあくまで一例であって、本発明の技術的思想の範囲内においてそれらは様々に変更可能である。

１…音波形信号生成システム、１１…音波形信号生成装置、１２…弱音膜打楽器、１３…ピックアップ、１４…放音器、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…音波形信号入力Ｉ／Ｆ、１０５…ＤＳＰ、１０６…音波形信号出力Ｉ／Ｆ、１１１…パラメータデータ取得部、１１２…アタックレベル特定部、１１３…ピッチ特定部、１１４…音波形信号生成部、４６１…加算器、４６２…遅延器、４６３…フィルタ、４６４…減幅器、１１２１…アタック検出部、１１２２…レベル特定部、１１３１…フィルタ、１１３２…リングメモリ、１１３３…周期測定部、１１４１…リセット部、１１４２…ディレイタイム算出部、１１４３…ゲイン算出部、１１４４…遅延器、１１４５…増減幅器、１１４６…共鳴器、１１４７…加算器

Claims

膜打楽器の音のアタックレベルの各々に関しアタックのタイミングからの時間経過に伴い下降する当該音のピッチの変化を特定するためのデータであるパラメータデータを取得するパラメータデータ取得手段と、
膜打楽器の音波形を示す音波形信号を取得する音波形信号取得手段と、
前記音波形信号取得手段により取得された音波形信号が示す音のアタックレベルを特定するアタックレベル特定手段と、
前記音波形信号取得手段により取得された音波形信号を用いて、前記アタックレベル特定手段により特定されたアタックレベルに関する前記パラメータデータにより特定されるピッチの時間経過に伴う変化を示す音波形信号を生成する音波形信号生成手段と
を備える音波形信号生成装置。
前記音波形信号生成手段は、各々入力された音波形信号を用いて指定されたピッチの音を示す音波形信号を生成し出力する複数の共鳴器と、前記複数の共鳴器の各々から出力される音波形信号を加算して出力する加算器とを有し、
前記複数の共鳴器の各々は、前記パラメータデータにより特定されるピッチの時間経過に伴う変化を示す音波形信号を生成する
請求項１に記載の音波形信号生成装置。
前記複数の共鳴器の各々は、入力された音波形信号の読み出し速度を遅らせることにより出力される音波形信号の周期を長くする遅延器を有する櫛形フィルタを含む
請求項２に記載の音波形信号生成装置。
前記音波形信号取得手段により取得された音波形信号が示す音の所定のタイミングにおけるピッチを特定するピッチ特定手段を備え、
前記音波形信号生成手段は前記ピッチ特定手段により特定されたピッチに基づき、生成する音波形信号が示す音信号の開始タイミングにおけるピッチを特定する
請求項１乃至３のいずれか１項に記載の音波形信号生成装置。
前記パラメータデータは、膜打楽器の音のアタックレベルの各々に関し当該音のピッチが安定化した後のピッチを示すデータを含み、
前記音波形信号生成手段は、前記アタックレベル特定手段により特定されたアタックレベルに関する前記パラメータデータにより示される安定化した後のピッチに近付くように時間経過に伴いピッチが変化する音波形信号を生成する
請求項１乃至４のいずれか１項に記載の音波形信号生成装置。
コンピュータに、
膜打楽器の音のアタックレベルの各々に関しアタックのタイミングからの時間経過に伴い下降する当該音のピッチの変化を特定するためのデータであるパラメータデータを取得する処理と、
膜打楽器の音波形を示す音波形信号を取得する処理と、
前記取得した音波形信号が示す音のアタックレベルを特定する処理と、
前記取得した音波形信号を用いて、前記特定したアタックレベルに関する前記パラメータデータにより特定されるピッチの時間経過に伴う変化を示す音波形信号を生成する処理と
を実行させるプログラム。