JPWO2020075225A1 - 効果音発生方法、及び情報処理装置 - Google Patents

Abstract

効果音発生方法は、インパルス応答の実測値に基づいて生成した係数を有する全極型フィルタを用いて前記音声に対する効果音を生成し、前記効果音を出力することを含む。

Description

本発明は、効果音発生方法、及び情報処理装置に関する。

電子楽器や音声再生装置から出力される音声に、ホールなどの残響音や、楽器の共鳴音などの効果音を付加する効果音付加装置がある。一般に、ディジタルの音声データにフィルタ処理を施して、残響音や共鳴音などの効果音を出力する。

効果音を付加するためのフィルタ処理には、例えば、ＦＩＲ（Finite Impulse Response：有限インパルス応答）フィルタを用いたインパルス応答の畳み込み（コンボリューション・リバーブと呼ばれる）がある（例えば、特許文献１）。或いは、ＦＦＴ（高速フーリエ変換）を利用して周波数領域でインパルス応答の畳み込みを行う方式がある。また、シュレーダー方式と呼ばれる、ＡＰＦ（All Pass Filter）の多段構成により、インパルス応答を擬似的に生成する方法がある。また、コムフィルタを用いて共鳴音や残響音を発生させる回路がある（例えば、特許文献２）。

特開２００８−２９９００５号公報 特許第２９９８４８２号公報

ＦＩＲフィルタを用いたインパルス応答の畳み込みを行う方式（第１の方式と呼ぶ）では、リアルタイム性（楽音の出力への追従性）、及び、音の自然さを示す度合い（自然度（クオリティ））は好適である。但し、演算量が膨大となる欠点がある。ＦＦＴを用いてインパルス応答の畳み込みを行う方式（第２の方式）の長所及び欠点は、クオリティは好適であるが、リアルタイム性が第１の方式に比べて低くなる。また、シュレーダー方式（第３の方式）では、リアルタイム性及び演算量は好適であるが、クオリティが、第１及び第２の方式と比べて大幅に低下する。

本発明は、演算量の低減を図りつつ、品質のよい効果音を生成することのできる効果音発生方法、及び情報処理装置を提供することを目的とする。

本発明の一側面は、インパルス応答の測定値に基づいて生成した係数を有する全極型フィルタを用いて前記音声に帯する効果音を生成し、
前記効果音を出力する
ことを含む効果音発生方法である。

効果音発生方法において、前記全極型フィルタの次数の指定に応じて、次数を変更するようにしてもよい。また、前記全極型フィルタに設定する係数の数が指定された場合に、係数の絶対値が大きい順に前記指定された数の係数が選択され、残りの係数の値を零に設定するようにしてもよい。

また、効果音発生方法において、前記効果音から特定の帯域成分を抽出する抽出部と、抽出された前記特定の帯域成分を所定の減衰率で減衰させる減衰部との組を１以上有する少なくとも１つのコムフィルタモジュールを有するコムフィルタを用いて、前記インパルス応答の測定場所における残響特性を有する効果音を生成するようにしてもよい。

効果音発生方法において、前記特定の帯域成分と前記所定の減衰率は、例えば、前記インパルス応答の実測値に基づいて生成されたものである。また、前記インパルス応答は、相互に異なる複数のインパルス応答の測定場所にて測定された複数のインパルス応答の中から選択されたものとしてよい。測定場所は、測定場所（建物等）が異なる場合と、同一の測定場所で、位置が異なる場合とを含む。また、効果音発生方法において、前記複数のインパルス応答に対応する前記全極型フィルタ及び前記コムフィルタの少なくとも一方に関する複数のパラメータセットを記憶し、前記複数のパラメータセットの中から選択されたパラメータセットを、対応する前記全極型フィルタ及び前記コムフィルタの少なくとも一方に設定する構成を採用してもよい。

本発明の他の側面は、インパルス応答の実測値に基づいて生成した係数を有する全極型フィルタを用いて前記音声に対する効果音を生成する生成部と、前記効果音を出力する出力部と、を含む、情報処理装置である。

また、本発明の他の側面は、複数の測定場所で取得された複数のインパルス応答の中から選択された測定場所のインパルス応答の実測値に基づいて形成され、入力音声信号に前記選択された測定場所の残響音が付加された音声信号を生成して出力するフィルタを含む電子楽器である。

実施形態に係る効果音発生装置の構成例を示す図である。 ＤＳＰによって実現されるディジタルフィルタの構成例を示す。 ＤＳＰ（全極型フィルタ及びコムフィルタ）に対するデータ設定の説明図である。 インパルス応答（ＩＲ）の一例を示す。 全極型フィルタ（ＩＩＲフィルタ）の例を示すブロック図である。 係数が疎となった全極型フィルタを示す。 図７Ａ、図７Ｂ、図７Ｃは、相互に異なる場所Ａ、Ｂ、Ｃで、同一の音声について取得したインパルス応答の周波数特性を示す。 コムフィルタの構成例を示す。 図９Ａは、ＦＩＲフィルタを用いた残響音の周波数特性を示し、図９Ｂは、全極型フィルタを用いた残響音の周波数特性を示し、図９Ｃは、全極型フィルタ及びコムフィルタを用いた残響音の周波数特性を示す。 パラメータセット生成処理の一例を示すフローチャートである。 効果音付加処理の一例を示すフローチャートである。 パラメータセットの指定画面の例を示す。 パラメータセットの指定処理の例を示すフローチャートである。

以下、図面を参照して、実施形態に係る効果音発生方法及び効果音発生装置について説明する。実施形態の構成は一例であり、その構成に限定されない。本実施形態では、効果音の一例として、電子楽器や音声再生装置（オーディオ機器）から出力される楽音に付加する残響音や共鳴音を生成（発生）する方法及び装置について説明する。

＜効果音発生装置の構成例＞
図１は、実施形態に係る効果音発生装置の構成例を示す図である。効果音発生装置１０は、入力された音声（楽音）信号のディジタル信号処理により効果音の信号を生成し、楽音信号とともに出力することで、楽音に効果音（音響効果）の付加を行う装置である。

図１において、効果音発生装置１０は、入力端子２０と、入力端子２０と接続された音声アナログ／ディジタル（Ａ／Ｄ）コンバータ３０と、Ａ／Ｄコンバータ３０に接続されたＤＳＰ（Digital Signal Processor）２００と、ＤＳＰ２００に接続されたディジタル／アナログ（Ｄ／Ａ）コンバータ４０と、出力端子５０（出力部の一例）とを含む。

入力端子２０は、音声信号（楽音信号）を入力する端子である。入力端子２０には、電子楽器から出力された音声信号や、オーディオ機器から出力された音声信号が入力される。Ａ／Ｄコンバータ３０は、入力された音声信号をディジタル信号に変換し、ＤＳＰ２００に入力する。ＤＳＰ２００は、音声信号に対するディジタル信号処理を行って、音声信号に効果音が付加された信号を生成し、Ｄ／Ａコンバータ４０に出力する。Ｄ／Ａコンバータ４０の出力信号（アナログ信号）は、出力端子５０から出力される。出力端子５０には、増幅器（アンプ）が接続されており、アンプにはスピーカが接続されている。出力端子５０から出力された音声信号はアンプで増幅された後、スピーカから音声として出力される。

なお、主記憶装置１０２や補助記憶装置１０３に、音声ファイルを記憶しておき、ＣＰＵ１０１が、音声ファイルをディジタル信号に変換してＤＳＰ２００に入力するようにしてもよい。音声ファイルのフォーマットは、ＭＰ３やＷＡＶＥ形式などである、但し、フォーマット形式は、ＭＰ３やＷＡＶＥ形式以外でもよい。

また、図１に示す例では、１チャンネル分の構成を示すが、音声のチャンネル数に合わせて、音声信号の処理系列が２以上設けられてもよい。また、効果音発生装置１０は、ＬＡＮ（Local Area Network）カードなどの有線又は無線の通信インタフェース（通信Ｉ／Ｆ）１０５を備えていてもよい。

ＤＳＰ２００は、ＣＰＵ（Central Processing Unit：演算処理装置）１０１、主記憶装置１０２、補助記憶装置１０３、ユーザインタフェース（ＵＩ）１０４と、バス３を介して相互に接続されている。ＤＳＰ２００は、ディジタル信号処理に特化したプロセッサである。本実施形態では、ＤＳＰ２００は、ＣＰＵ１０１の制御下で、音声信号の処理に特化した処理を行う。

主記憶装置１０２は、ＲＯＭ（Read Only Memory）及びＲＡＭ(Random Access Memory）を含む。ＲＯＭは、ＣＰＵ１０１によって実行されるプログラムや、プログラムの実行に際して使用されるデータを記憶する。ＲＡＭは、プログラムの展開領域、データ記憶領域、ＣＰＵ１０１の作業領域、通信データのバッファ領域などとして使用される。

補助記憶装置１０３は、データやプログラムの記憶領域として使用される。補助記憶装置１０３は、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリなどである。

ＲＯＭや補助記憶装置１０３に記憶されたプログラムがＲＡＭにロードされ、ＣＰＵ１０１によって実行されることで、様々な処理が行われる。ＣＰＵ１０１が行う処理の一部又は全部は、複数のＣＰＵ（プロセッサ）によって行われても、マルチコア構成のＣＰＵによって行われてもよい。また、ＣＰＵが行う処理の一部又は全部は、ＣＰＵ以外のプロセッサ（ＤＳＰやＧＰＵなど）、プロセッサ以外の集積回路（ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）など）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ（Micro Processing Unit）、ＳｏＣ（System-on-a-Chip）など）によって実行されてもよい。

ＵＩ１０４は、入力装置と出力装置とを含む。入力装置は、効果音発生装置１０にデータや情報を入力するために使用される。入力装置は、キー、ボタン、ポインティングデバイス、タッチパネル、調整ツマミなどを含む。出力装置は、ディスプレイなどである。ＵＩ１０４は、マイクやスピーカのような、音声入力装置及び音声出力装置を含んでもよい。通信Ｉ／Ｆ１０５は、通信処理を司る。通信規格は問わず、ＬＡＮやＵＳＢなどの有線の通信でも、無線ＬＡＮやBluetooth（登録商標）のような無線通信でもよい。

上述したように、効果音発生装置１０は、いわゆるエフェクタ装置として、電子楽器やオーディオ機器に接続される単独の装置であってもよく、電子楽器やオーディオ機器の一部としてこれらに組み込まれていてもよい。

＜ＤＳＰにおける処理＞
次に、ＤＳＰ２００における処理について説明する。ＤＳＰ２００は、ＤＳＰ２００に入力される音声信号に対するディジタルフィルタ処理を行うことで、効果音を生成する。効果音は、音声の出力場所（ホール、スタジオなど）における残響音や、楽器の共鳴音であるが、これら以外の音声を含み得る。本実施形態では、効果音の一例として、音声の出力場所における残響音を生成する場合について説明する。

ＤＳＰ２００は、プログラムの実行によって、音声信号から効果音信号を生成するディジタルフィルタとして動作する。図２は、ＤＳＰ２００によって実現されるディジタルフィルタ２００Ａの構成例を示す。

図２において、ＤＳＰ２００によって実現されるディジタルフィルタ２００Ａは、全極型フィルタ２１０と、全極型フィルタ２１０に接続されたコムフィルタ（櫛型フィルタ）２２０と、乗算器２３０と、乗算器２４０とを含む。ディジタルフィルタ２００Ａには、入力信号として、Ａ／Ｄコンバータ３０から出力された音声信号が入力される。入力信号は全極型フィルタ２１０に入力される。全極型フィルタ２１０の出力信号（出力１）は、コムフィルタ２２０と乗算器２４０に入力される。コムフィルタ２２０の出力信号（出力２）は、乗算器２３０に入力される。乗算器２３０は、コムフィルタ２２０からの出力信号（出力２）に所定の係数を乗算する。また、乗算器２４０は、全極型フィルタ２１０の出力信号（出力１）に所定の係数を乗算する。一例として、乗算器２３０又は乗算器２４０の一方で乗じる係数を１（オン）に設定し、他方で乗じる係数を１〜０の間で調整することが考えられる。

なお、乗算器２３０で乗じる係数が１で、乗算器２４０で乗じる係数が０のとき、コムフィルタ２２０の出力信号がディジタルフィルタ２００Ａの出力となる。これに対し、乗算器２３０で乗じる係数が０で、乗算器２４０で乗じる係数が１のとき、全極型フィルタ２１０の出力信号がディジタルフィルタ２００Ａの出力となる。ディジタルフィルタ２００Ａからは、元の音声信号に効果音としての残響音が付加された音声信号が出力される。ディジタルフィルタ２００Ａから出力される音声信号は、例えば、Ｄ／Ａコンバータ４０に入力されて、アナログ信号に変換され、出力端子５０から出力される。或いは、音声信号のディジタルデータを主記憶装置１０２や補助記憶装置１０３にて記憶（保存）することもできる。

図３は、全極型フィルタ２１０及びコムフィルタ２２０に対するデータ設定の説明図である。プログラムの実行によって、ＣＰＵ１０１は制御部１１０として動作する。主記憶装置１０２及び補助記憶装置１０３の少なくとも一方は、記憶部１２０として動作する。ＤＳＰ２００は、効果音の生成部として動作する。すなわち、ＤＳＰ２００は、上記した全極型フィルタ２１０及びコムフィルタ２２０として動作することができる。

記憶部１２０には、全極型フィルタ２１０に設定するパラメータセットのデータと、コムフィルタ２２０に設定するパラメータセットのデータとを記憶している。制御部１１０は、全極型フィルタ２１０用のパラメータセットを記憶部１２０から読み出してＤＳＰ２００に設定することで、ＤＳＰ２００を全極型フィルタ２１０として動作させる。また、制御部１１０は、コムフィルタ２２０用のパラメータセットを記憶部１２０から読み出してＤＳＰ２００に設定することで、ＤＳＰ２００をコムフィルタ２２０として動作させる。各パラメータセットの詳細は後述する。

本実施形態において、全極型フィルタ２１０、コムフィルタ２２０のパラメータセットは、一例として、パーソナルコンピュータ（ＰＣ）１５０によって生成される。但し、パラメータセットの生成は、効果音発生装置１０や、効果音発生装置１０及びＰＣ１５０以外の装置が行うようにしてもよい。効果音発生装置１０及びＰＣ１５０のそれぞれは「情報処理装置」の一例である。ＰＣ１５０が備えるプロセッサ１５１は、「制御部」として動作する。

ＰＣ１５０は、バスを介して相互に接続された、プロセッサ１５１、メモリ１５２、通信インタフェース（通信Ｉ／Ｆ）１５３、入力装置１５４、ディスプレイ１５５を備える。以下、全極型フィルタ２１０のパラメータセットの生成に関して説明する。入力装置１５４は、ＰＣ１５０へのインパルス応答データ（ＩＲデータ）の入力に使用される。インパルス応答は、インパルスと呼ばれる、時間的に非常に短い信号を入力したときのシステムの出力を示す（図４参照）。メモリ１５２には、有限インパルス応答（ＦＩＲ）のデータが記憶される。

プロセッサ１５１は、ＦＩＲを所定数以上の次数を有する（高次の）無限インパルス応答（ＩＩＲ）に変換する変換処理を行う。次数は、例えば、ＤＳＰ２００の性能乃至処理能力を鑑みて決定される。プロセッサ１５１は、ＦＩＲフィルタのデータを、所定の次数を有するＩＩＲフィルタ（全極型フィルタ）に変換する。これにより、フィルタのデータ量が圧縮されるとともに、演算量が少なくなる。次数は適宜設定可能である。

ＦＩＲフィルタの全極化の方法の一例を以下に示す。全極化には、例えば、線形予測符号（Linear Predictive Coding：ＬＰＣ）を用いる。ＬＰＣの予測モデルは、例えば以下の式（１）で表現される。式（１）における右辺(ｙ^[n])は、予測信号値、ｙ[ｎ−ｉ]は事前に観測された値、α[i]は予測係数である。ｋは次数である。

式（１）において、元の信号（ｙ[ｔ]）との２乗誤差は、以下の式（２）で表される。この２乗誤差の和が最小となる予測係数α[i]を求める。式（２）を式（３）に変形し、α[０]＝１として、誤差関数Ｅの式（４）が得られる。

誤差関数Ｅを偏微分すると式（５）となる。ここで、ｊ＝１，…，ｋである。式（５）を変形すると、式（６）となり、ｎ’＝ｎ−ｊとおくと、式（７）のように表現できる。

式（７）は、ｋ個の連立方程式であり、相互相関関数（autocorrelation function）が導入されている。相互相関関数は、以下の式（８）に示すような要素を含み、式（９）のような、ユール・ウォーカー方程式で表すことができる。式（８）における左側の行列はテプリッツ行列であり、このテプリッツ行列の特性を用いて、レビンソン・ダービン再帰法（Levinson-Durbin Recursion）と呼ばれるアルゴリズムにより、その解であるＬＰＣ係数（予測係数）及びＬＰＣ次数を高速に求めることができる。プロセッサ１５１は、プログラムの実行によって、入力された（メモリ１５２に格納された）ＩＲデータと、例えば予め設定された次数ｋとを用いて、上記したユール・ウォーカー方程式を求め、レビンソン・ダービン再帰法によってＬＰＣ係数を求める。このようなプロセッサ１５１によるＬＰＣ係数の算出は、プログラム実行によって自動的に行われる。

ＦＩＲデータに基づく信号、すなわちＩＲの信号は、ＬＰＣ係数及びＬＰＣ次数を用いて予測することができる。ここで、ＬＰＣ次数（ｋの数）は、例えばＦＩＲにおける畳み込み演算の乗算回数（演算数）が例えば５００００回であるとする場合に、全極化（ＩＩＲフィルタへの変換）によって演算数が例えば１００００回に減少するように定めることができる。ＬＰＣ係数及びＬＰＣ次数は全極型フィルタ２１０のパラメータセットとして、メモリ１５２に記憶される。この全極型フィルタ２１０のパラメータセットでは、その次数（ＬＰＣ次数）を、ＦＩＲの次数より少ない数に設定することで、記憶すべきデータ量、及び演算量を減少させることができる。全極型フィルタ２１０用のパラメータセットは、例えば、メモリ１５２から読み出され、通信Ｉ／Ｆ１５３から通信Ｉ／Ｆ１０５へ送信され、記憶部１２０に格納される。制御部１１０は、全極型フィルタ２１０のパラメータセット（係数及び次数）をＤＳＰ２００に設定し、全極型フィルタ２１０をアクティベート状態にする。

また、全極型フィルタ２１０の係数（重み）が疎（スパース：多くの係数値が零）となるように、例えば、ＰＣ１５０のユーザ（効果音発生装置１０のユーザ）は、入力装置１５４を用いて、全極型フィルタ２１０の係数の数を指定することができる。係数の数が指定された場合に、プロセッサ１５１は、所定の選択方法、例えば係数の絶対値が大きい順に上記指定された数の係数を選択し、残りの係数の値を零に設定する。係数が疎になることで、演算量が削減される。例えば、全極型フィルタ２１０における乗算数（演算数）が１００００回である場合に、係数を疎にすることで、演算数を所望の数、例えば５０００回にすることができる。

＜＜全極型フィルタ＞＞
図５は、全極型フィルタ（ＩＩＲフィルタ）２１０の例を示すブロック図である。図５において、全極型フィルタ２１０は、入力信号（入力）が入力される乗算器２１１と、出力信号（出力１）を出力するフィードバック系（ＦＢ系）２１４とを含む。入力信号は、音声信号である。

乗算器２１１は、入力信号ｘ［ｔ］に所定の係数（ゲイン）を乗算する。乗算器２１１の出力信号は、ＦＢ系２１４の加算器２１８に入力される。

ＦＢ系２１４は、加算器２１８と、ｋ個のタップ２１５からなる。タップ２１５は、１サンプル分の遅延ブロック２１６と、乗算器２１７とを含み、乗算器２１７の出力は加算器２１８にて加算される。

タップ２１５の数は、次数ｋによって決まる。ユーザの設定（係数（次数）の数の指定）に応じて、係数を疎にすることができる。例えば、ユーザは、ＰＣ１５０の入力装置１５４を用いて次数（タップ２１５の数）を指定することができる。ユーザが次数を例えば５０００に指定した場合に、プロセッサ１５１は、乗算器２１７の係数の絶対値が大きい順に５０００個のタップ２１５を選択し、残りのタップ２１５の係数を零に設定する。これによって、係数を疎にすることができ、演算量を減らすことができる。図６は係数が疎となった全極型フィルタ２１０を示す。なお、タップ２１５の選択方法は、上記に制限されない。但し、上述した、次数を変更する処理、係数を疎にする処理を、効果音発生装置１０の制御部１１０で行う場合もあり得る。また、所定の選択方法の例示として、係数の絶対値の大きい順に係数を選択する例を示した。但し、例示の選択方法以外の方法、例えば、係数の絶対値の小さい順での選択や、ランダムな選択が採用される場合もあり得る。

ＦＩＲフィルタの代わりに、ＦＩＲフィルタを変換した高次のＩＩＲフィルタ（全極型フィルタ２１０）を用いることで、演算量を削減しつつ、インパルス応答の特徴をもった出力信号ｙ[ｔ]を生成及び出力することができる。

＜＜コムフィルタ＞＞
ＦＩＲにおいて、残響時間が短い場合には、全極型フィルタ２１０の採用だけで、残響音を生成することができる。しかし、残響時間が長い場合には、全極型フィルタ２１０のデータ（演算量）を増やす必要がある。コムフィルタ２２０は、全極型フィルタ２１０における演算量を抑制しつつ、所望の残響時間を有する残響音を生成するために使用される。

また、インパルス応答の測定場所における、空間の広さや音声を反射する物体の存在、壁の材料や形状など、様々な要因によいって、同じ音声であっても、その残響音の特性（すなわちインパルス応答）は異なる。

図７Ａ、図７Ｂ、図７Ｃは、相互に異なる場所Ａ、Ｂ、Ｃで、同一の音声について取得したインパルス応答の周波数特性を示す。図７Ａ、図７Ｂ、図７Ｃの夫々の縦軸は周波数で、横軸は時間を示す。図７Ａ、図７Ｂ、図７Ｃに示すように、インパルス応答の測定場所の相違で、帯域毎の減衰の仕方が異なる。このような各帯域の減衰状況を再現したい、との要望もある。

図８は、コムフィルタ２２０の構成例を示す。図８に示す例では、コムフィルタ２２０は、全極型フィルタ２１０の出力信号（出力１）が並列に入力される複数の遅延ブロック２２０ａと、遅延ブロック２２０ａのそれぞれに接続されたコムフィルタモジュール２２０Ａとを含む。コムフィルタ２２０は、さらに、各コムフィルタモジュール２２０Ａに接続された遅延ブロック２２４と、各遅延ブロック２２４に接続された乗算器２２４ａと、乗算器２２４ａの出力を加算する加算器２２７とを含む。加算器２２７の出力がコムフィルタ２２０の出力信号（出力２）として出力される。

図８に示す例では、遅延ブロック２２０ａから乗算器２２４ａまでの系列が、２以上並列に設けられている例を示しているが、コムフィルタ２２０は、上記系列を１つだけ有するものであってもよい。もっとも、複数の系列が具備されることにより、残響音の密度が高まる。

遅延ブロック２２０ａのＮ１，Ｎ２，Ｎ３，・・・は、各遅延ブロック２２０ａが異なる遅延の度合いを有することを示す。コムフィルタモジュール２２０Ａは、加算器２２１と、フィルタ２２２及び乗算器２２３の組と、遅延ブロック２２５と、乗算器２２６とを含む。フィルタ２２２及び乗算器２２３の組は、１以上の適宜の数、具備され、それぞれの出力は、遅延ブロック２２４及び２２５に接続される。

フィルタ２２２は、ＨＰＦ、ＢＰＦ、ＬＰＦ、又はこれらの任意の組み合わせであり、フィルタ２２２に入力される信号中の所定の帯域（周波数の範囲）の成分を通過させる。乗算器２２３は、フィルタ２２２を通過した（抽出された）信号を、所定の減衰率（係数）で減衰させる。このように、フィルタ２２２は所定の帯域（特定の帯域成分）を抽出する抽出部として動作し、乗算器２２３は所定の帯域を所定の減衰率で減衰させる減衰部として動作する。フィルタ２２２の通過帯域（特定の帯域成分）は、フィルタ２２２間で異なる。また、乗算器２２３の係数（減衰率）も、乗算器２２３間で異なる。

フィルタ２２２の通過帯域及び乗算器２２３の係数は、コムフィルタ２２０のパラメータセットに含まれるデータである。コムフィルタ２２０のパラメータセットは、ＰＣ１５０によって生成される。図７Ａ、図７Ｂ、図７Ｃに示したように、ＩＲの測定場所の残響音特性を示すデータがＰＣ１５０に入力される。すると、プロセッサ１５１が、各コムフィルタモジュール２２０Ａのフィルタ２２２及び乗算器２２３の組に設定すべき、通過帯域及び係数を、所定のアルゴリズムに従って生成する。通過帯域及び係数は、マニュアル設定により生成してもよい。また、各コムフィルタモジュール２２０Ａに具備される組の数が設定される場合もある。また、コムフィルタモジュール２２０Ａの数や遅延度合いは、残響音特性に応じて適宜設定可能である。

コムフィルタ２２０のパラメータセットは、全極型フィルタ２１０のパラメータセットと同様に、メモリ１５２から読み出され、通信Ｉ／Ｆ１５３から効果音発生装置１０の通信Ｉ／Ｆ１０５へ送信されて記憶部１２０に格納される。制御部１１０（図２）は、各コムフィルタモジュール２２０Ａにおけるフィルタ２２２及び乗算器２２３の各組に、通過帯域及び係数を設定することで、コムフィルタ２２０をアクティベート状態にする。

遅延ブロック２２５は、複数のフィルタ２２２及び乗算器２２３の組の出力に対して所定の遅延を与え、乗算器２２６は、遅延ブロック２２５の出力に所定の係数を乗じる。乗算器２２６の出力は、加算器２２１に入力される。乗算器２２６は、コムフィルタモジュール２２０Ａのループゲインを規定するものであり、乗算器２２６の係数が大きくなるほど残留時間が長くなる。

遅延ブロック２２４は、異なる遅延の度合い（Ｌ１，Ｌ２，Ｌ３，・・・）を有し、コムフィルタモジュール２２０Ａからの出力信号に所定の遅延を与える。なお、遅延ブロック２２０ａと、遅延ブロック２２４との一方は省略されてもよい。但し、遅延ブロック２２０ａと遅延ブロック２２４との双方が設けられており、遅延ブロック２２０ａで与える単位遅延と遅延ブロック２２４で与える単位遅延とが異ならせて、遅延の度合いを細分化してもよい。

ＰＣ１５０では、図７Ａ、図７Ｂ、図７Ｃに示したような、異なる音声の出力場所（すなわち、インパルス応答（ＩＲ）の測定場所）についてのインパルス応答のデータ（残響音特性のデータ）から、複数の測定場所に応じた複数の全極型フィルタ２１０及びコムフィルタ２２０用のパラメータセットが生成される。複数のパラメータセットは、例えば通信によって効果音発生装置１０へ送られ、記憶部１２０に記憶される。

すなわち、図３に示す記憶部１２０には、図７Ａ、図７Ｂ、図７Ｃに示したような、異なる音声の出力場所（すなわち、インパルス応答（ＩＲ）の測定場所）についてのインパルス応答の特性に応じた、複数のパラメータセットを格納している。ＤＳＰ２００をパラメータセットの設定によって全極型フィルタ２１０及びコムフィルタ２２０として動作させる場合に、制御部１１０は、ＵＩ１０４を用いたユーザの指示等に応じて、全極型フィルタ２１０に係る係数や次数、コムフィルタ２２０に係る通過帯域や係数、残響時間等を、調整可能としてもよい。

図９Ａは、ＦＩＲフィルタを用いた残響音の周波数特性を示し、図９Ｂは、全極型フィルタ２１０を用いた残響音の周波数特性を示し、図９Ｃは、全極型フィルタ２１０及びコムフィルタ２２０を用いた残響音の周波数特性を示す。全極型フィルタ２１０及びコムフィルタ２２０を用いると、その波形をＦＩＲフィルタの波形に近づけることができ、残響音の特性を、演算量を減らしつつ、ＦＩＲフィルタを用いた場合に近づけることができる。

＜効果音の記録、再生＞
コムフィルタ２２０（ＤＳＰ２００）の出力信号は、音声信号に残響音の信号が付加された信号であり、このような信号がＤ／Ａコンバータ４０でアナログ信号に変換され、アンプで増幅され、スピーカから出力される。

全極型フィルタ２１０用のパラメータセット、及びコムフィルタ２２０用のパラメータセットは、制御部１１０によって、記憶部１２０に記憶してもよい。その後、制御部１１０が必要に応じてパラメータセットを読み出し、ＤＳＰ２００に設定することで、全極型フィルタ２１０及びコムフィルタ２２０を再現することができる。

上述したように、複数のインパルス応答の測定場所について、全極型フィルタ２１０、或いは全極型フィルタ２１０及びコムフィルタ２２０の組み合わせについて、複数のパラメータセットのデータを記憶部１２０に記憶しておき、ユーザがＵＩ１０４を用いて測定場所（ユーザの所望する音声の聴取場所（建物など））を指定できるようにしてもよい。また、各測定場所に関して、複数の測定位置（例えば、座席位置、舞台上、など）のパラメータセットをさらに記憶し、ユーザが指定できるようにしてもよい。

＜ＰＣ及び効果音発生装置における処理＞
以下、ＰＣ１５０及び効果音発生装置１０における処理について説明する。
＜＜パラメータセット生成処理＞＞
図１０は、ＰＣ１５０によるパラメータセット生成処理の一例を示すフローチャートである。図１０の処理は、ＩＲの測定場所又は測定位置毎に実行される。図１０において、ＰＣ１５０のメモリ１５２にＦＩＲデータが記憶されると（Ｓ０１）、プロセッサ１５１は、プログラムの実行によって、以下のような処理を行う。すなわち、プロセッサ１５１は、ディスプレイ１５５に、次数及び係数の数の指定入力を促す画面を表示し、入力装置１５４から入力される次数及び係数の数を受け付ける（Ｓ０２）。次に、プロセッサ１５１は、指定された次数及び係数の数を用いて、ＦＩＲデータの全極化（ＩＩＲへの変換）処理を行う（Ｓ０３）。全極化の手法は上述した通りである。

Ｓ０３の処理によって、プロセッサ１５１は、次数を変更し、係数が疎の全極型フィルタ２１０を生成する。Ｓ０４では、プロセッサ１５１は、コムフィルタ２２０を生成するかを判定する。コムフィルタ２２０を生成すると判定する場合には、処理がＳ０５に進み、そうでない場合には、処理Ｓ０７に進む。コムフィルタ２２０を生成しない場合、図２の乗算器２３０の係数が零に設定され、コムフィルタ２２０からの出力が零の状態にされる。

Ｓ０５では、プロセッサ１５１は、入力装置１５４から入力される、測定場所の残響音特性データを受け付ける。Ｓ０６では、プロセッサ１５１は、上述した手法を用いて、コムフィルタ２２０のパラメータセットを生成する。

Ｓ０７では、プロセッサ１５１は、全極型フィルタ２１０のパラメータセット、コムフィルタ２２０のパラメータセット（生成した場合）を、メモリ１５２に記憶（保存）する。Ｓ０８では、プロセッサ１５１は、パラメータセットの出力を行う。例えば、プロセッサ１５１は、通信Ｉ／Ｆ１５３を用いて、全極型フィルタ２１０のパラメータセット、コムフィルタ２２０のパラメータセット（生成した場合）を、効果音発生装置１０などの他の装置へ送信する。このときのパラメータセットの出力先は、ＰＣ１５０に接続された外部記憶装置（例えばＵＳＢメモリ）であってもよい。なお、各パラメータセットを効果音発生装置１０のファームウェアのコンパイル時に結合してもよい。

＜＜効果音付加処理＞＞
図１１は、効果音発生装置における効果音付加処理の一例を示すフローチャートである。図１１に示す処理は、ＤＳＰ２００によって行われる。Ｓ１１において、ＤＳＰ２００には、プログラムの実行によって制御部１１０として動作するＣＰＵ１０１によって、全極型フィルタ２１０及びコムフィルタ２２０のパラメータセットに基づく設定が行われる。

Ｓ１２において、ＤＳＰ２００に対する音声信号の入力が開始されると、ＤＳＰ２００は、全極型フィルタ２１０及びコムフィルタ２２０として動作し、入力音声信号に対して効果音（測定場所の残響音）が付加された音声信号を生成し（Ｓ１３）、出力する（Ｓ１４）。ＤＳＰ２００から出力された音声信号に基づく音声は、スピーカから出力される。また、制御部１１０は、記憶部１２０にて、音声信号に基づく音声ファイル（音声データ）を記憶する処理を行う（Ｓ１５）。

＜測定場所・測定位置の選択＞
図１２は、ＵＩ１０４に含まれるディスプレイ装置（タッチパネル）に表示される、パラメータセットの指定画面の例を示す。図１２の例では、複数の測定場所と、各測定場所における複数の測定位置とが表示され、測定場所及び測定位置（インパルス応答の測定場所及び測定位置）を指定可能となっている。但し、インパルス応答の測定場所及び位置の数は適宜選択できる。すなわち、測定場所（会場）の指定のみ可能となっていてもよく、また１つの測定場所における複数の位置の一つを選択可能となっていてもよい。この場合、複数の測定位置のそれぞれは、「測定場所」に該当する。

図１３は、パラメータセットの指定処理の例を示すフローチャートである。ユーザは、ＵＩ１０４を操作して、パラメータセットの指定画面の呼び出し指示を入力する。すると、制御部１１０が、指定画面をＵＩ１０４に含まれるディスプレイ装置上に表示する（Ｓ００１）。ユーザが、指定画面を参照し、測定場所と測定位置とをタッチにより指定する（Ｓ００２）。指定入力はＵＩ１０４から制御部１１０に与えられ、制御部１１０は、指定した測定場所及び測定位置に対応するパラメータセットを記憶部１２０から読み出し（Ｓ００３）、ＤＳＰ２００（全極型フィルタ２１０、又は全極型フィルタ２１０及びコムフィルタ２２０）に設定する（Ｓ００４）。その後、ユーザが、ＵＩ１０４を操作して、ＤＳＰ２００に対する音声信号の入力を開始する（Ｓ００５）。すると、設定されたパラメータセットに基づく効果音が付加された音声が出力される状態となる。なお、Ｓ００２において、測定場所と測定位置との一方のみを指定可能な仕様とする場合もある。

これによって、電子楽器の演奏者や、再生音声の鑑賞者などのユーザは、所望の測定場所及び測定位置での残響音が反映された音声を聴取することができる。例えば、演奏者は、或る演奏場所（コンサートホールなど）では、座席の違いによって、どのように音声（楽音）が聞こえるのかを知ることが可能となる。また、再生音声の鑑賞者は、自身が行ったことのない、或いは行くことができない音声の出力場所での、残響音が反映された音声を聴取することができる。

なお、コムフィルタ２２０（ＤＳＰ２００）から出力される、残響音が付加された音声信号のディジタル信号を、制御部１１０（ＣＰＵ１０１）が取得し、このディジタル信号を所定の音声ファイル形式のデータに変換し、記憶部１２０に記憶してもよい。その後、制御部１１０が、ＵＩ１０４から入力される指示に応じた音声信号の再生出力を行うようにしてもよい。すなわち、複数の相互に異なるＩＲデータに関して、複数の残響音付加済みの音声信号を生成し、そのディジタルデータを記憶部１２０にて保存し、ユーザからの指示に応じて再生出力するようにしてもよい。

＜実施形態の効果＞
実施形態に係る効果音発生装置（効果音付加装置）によれば、インパルス応答の実測値に基づいて生成した係数を有する全極型フィルタ２１０の採用によって、演算量を削減することができる。また、品質のよい効果音を生成できる。また、全極型フィルタ２１０の次数の指定に応じて、次数を変更する構成を採用する。これによって、演算量を削減できる。

また、実施形態では、プロセッサ１５１は、全極型フィルタ２１０に設定する係数の数が指定された場合に、所定の選択方法（係数の絶対値の大きい順）に従って、指定された数の係数が選択され、残りの係数の値を零に設定する。これによって、演算量を減らすことができる。

また、実施形態では、効果音から特定の帯域成分を抽出するフィルタ（抽出部）２２２と、抽出された特定の帯域成分を所定の減衰率で減衰させる乗算器（減衰部）２２３との組を２以上有する少なくとも１つのコムフィルタモジュール２２０Ａを有するコムフィルタ２２０を用いて、インパルス応答の測定位置における残響特性を有する効果音を生成する。このようなコムフィルタ２２０の採用によって、演算量が抑制された状態で、インパルス応答の測定場所での帯域毎の減衰具合を再現した残響音を生成することができる。よって、演算量を削減しつつ、品質のよい残響音（効果音）を得ることができる。

また、本実施形態では、インパルス応答が、相互に異なる複数のインパルス応答の測定場所にて測定された複数のインパルス応答の中から選択される構成を採用している。すなわち、本実施形態では、複数の異なる出力場所、各出力場所における複数の位置について全極型フィルタ２１０及びコムフィルタ２２０のパラメータセットが記憶され、パラメータセットを選択することで、異なるインパルス応答の測定場所や異なる測定位置での残響音を聴取することができる。実施形態にて示した構成は、目的を逸脱しない範囲で適宜組み合わせることができる。

１０・・・効果音発生装置
１０１・・・ＣＰＵ
１０２・・・主記憶装置
１０３・・・補助記憶装置
１１０・・・制御部
１２０・・・記憶部
１５１・・・プロセッサ
１５２・・・メモリ
２００・・・ＤＳＰ
２１０・・・全極型フィルタ
２２０・・・コムフィルタ
２２０Ａ・・・コムフィルタモジュール
２２２・・・フィルタ
２２３・・・乗算器

Claims (15)

1. インパルス応答の実測値に基づいて生成した係数を有する全極型フィルタを用いて音声に対する効果音を生成し、
   前記効果音を出力する
   ことを含む、効果音発生方法。
2. 前記全極型フィルタの次数の指定に応じて、次数を変更する
   請求項１に記載の効果音発生方法。
3. 前記全極型フィルタに設定する係数の数が指定された場合に、所定の選択方法に従って前記指定された数の係数が選択され、残りの係数の値を零に設定する
   請求項１又は２に記載の効果音発生方法。
4. 前記効果音から特定の帯域成分を抽出する抽出部と、抽出された前記特定の帯域成分を所定の減衰率で減衰させる減衰部との組を１以上有する少なくとも１つのコムフィルタモジュールを有するコムフィルタを用いて、前記インパルス応答の測定場所における残響特性を有する効果音を生成する
   請求項１から３のいずれか１項に記載の効果音発生方法。
5. 前記特定の帯域成分と前記所定の減衰率は、前記インパルス応答の実測値に基づいて生成されたものである
   請求項４に記載の効果音発生方法。
6. 前記インパルス応答は、相互に異なる複数のインパルス応答の測定場所にて測定された複数のインパルス応答の中から選択されたものである
   請求項１から５のいずれか１項に記載の効果音発生方法。
7. 前記複数のインパルス応答に対応する前記全極型フィルタ及び前記コムフィルタの少なくとも一方に関する複数のパラメータセットを記憶し、
   前記複数のパラメータセットの中から選択されたパラメータセットを、対応する前記全極型フィルタ及び前記コムフィルタの少なくとも一方に設定する
   請求項６に記載の効果音発生方法。
8. インパルス応答の実測値に基づいて生成した係数を有する全極型フィルタを用いて音声に対する効果音を生成する生成部と、
   前記効果音を出力する出力部と、
   を含む、情報処理装置。
9. 前記全極型フィルタの次数の指定に応じて、次数を変更する制御部
   をさらに含む
   請求項８に記載の情報処理装置。
10. 前記制御部は、前記全極型フィルタに設定する係数の数が指定された場合に、所定の選択方法に従って前記指定された数の係数を選択し、残りの係数の値を零に設定する
    請求項８又は９に記載の情報処理装置。
11. 前記効果音から特定の帯域成分を抽出する抽出部と、抽出された前記特定の帯域成分を所定の減衰率で減衰させる減衰部との組を１以上有し、前記インパルス応答の測定位置における残響特性を有する前記効果音を生成する少なくとも一つのコムフィルタモジュールを有するコムフィルタを含む
    請求項８から１０のいずれか１項に記載の情報処理装置。
12. 前記特定の帯域成分と前記所定の減衰率は、前記インパルス応答の実測値に基づいて生成されたものである
    請求項１１に記載の情報処理装置。
13. 前記インパルス応答は、相互に異なる複数のインパルス応答の測定場所にて測定された複数のインパルス応答の中から選択されたものである
    請求項８から１２のいずれか１項に記載の情報処理装置。
14. 前記制御部は、前記複数のインパルス応答に対応する前記全極型フィルタ及び前記少なくとも一つのコムフィルタの少なくとも一方に関して記憶された複数のパラメータセットの中から選択されたパラメータセットを、対応する前記全極型フィルタ及び前記少なくとも一つのコムフィルタの少なくとも一方に設定する
    請求項１３に記載の情報処理装置。
15. 複数の測定場所で取得された複数のインパルス応答の中から選択された測定場所のインパルス応答の実測値に基づいて形成され、入力音声信号に前記選択された測定場所の残響音が付加された音声信号を出力するフィルタ
    を含む電子楽器。

Images