JP3975577B2 - Impulse response collection method, sound effect adding device, and recording medium - Google Patents

Impulse response collection method, sound effect adding device, and recording medium Download PDF

Info

Publication number
JP3975577B2
JP3975577B2 JP26991798A JP26991798A JP3975577B2 JP 3975577 B2 JP3975577 B2 JP 3975577B2 JP 26991798 A JP26991798 A JP 26991798A JP 26991798 A JP26991798 A JP 26991798A JP 3975577 B2 JP3975577 B2 JP 3975577B2
Authority
JP
Japan
Prior art keywords
impulse response
input
acoustic signal
sound
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26991798A
Other languages
Japanese (ja)
Other versions
JP2000097762A (en
Inventor
樹高 長谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP26991798A priority Critical patent/JP3975577B2/en
Priority to AU50093/99A priority patent/AU5009399A/en
Priority to EP99307562A priority patent/EP0989540A1/en
Publication of JP2000097762A publication Critical patent/JP2000097762A/en
Priority to US11/131,791 priority patent/US7257230B2/en
Application granted granted Critical
Publication of JP3975577B2 publication Critical patent/JP3975577B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、実在する機器または空間のインパルス応答に基づき残響音を付加する際の、インパルス応答の収集方法および効果音付加装置ならびに記録媒体に関する。
【0002】
【従来の技術】
オーディオ信号に対して効果音を付加するための装置の一つに、残響付加装置(リバーブレータ)がある。この残響付加装置は、例えば録音スタジオでオーディオ信号に残響音を付加し、音に広がりや深みを出すために多く用いられている。スタジオなどで録音された音に残響音を付加することで、実際にホールで演奏されているような効果や、さらに特殊な効果を与えることができる。
【0003】
古くには、残響音の付加は、実際に、ホールなどの残響音を得られるような場所で録音を行うか、あるいは、鉄板などの振動を利用して残響音的な効果を得るようにした、鉄板エコーなどの装置を用いて行われていた。近年の残響付加装置では、これらの効果が電気的に実現されている。さらに、近年では、ディジタル信号処理技術の発達に伴い、ディジタル的に残響音を合成するような装置が普及してきている。
【0004】
ディジタル処理によって残響音を付加する際には、例えば巡回型のディジタルフィルタが用いられる。入力されたディジタルオーディオ信号が減衰されながら巡回され、残響音が発生される。これを、元のディジタルオーディオ信号に混合する。実際には、直接音に対して所定期間遅延された位置に初期反射音が加えられ、さらに所定期間後に残響音が加えられる。直接音に対する残響音の遅延時間は、プリディレイと称される。残響時間や副残響音の付加、細かなレベル調整などを行うことが可能で、幅広い音作りができる。
【0005】
ところで、実際のホールなどでの残響音は、ホールの形状や音源の位置などにより、音が様々に反射や干渉などを起こし、より複雑な波形となっている。しかしながら、上述のように、元のディジタルオーディオ信号をフィルタ処理する方法では、単純に減衰した波形が得られるだけなので、どうしても人工的な印象を免れなかった。また、元の信号をフィルタ処理により巡回させる方法では、入力が無くなった後の最終的な残響音のピッチが、巡回型フィルタ内部のフィードバックループのピッチとなってしまい、高品位で自然な残響音を得ることができなかった。
【0006】
【発明が解決しようとする課題】
実際にホールなどで録音を行うと、より自然な残響音を得ることができる。しかしながら、実際のホールでは、残響時間などの、残響音に関するパラメータを変更できない、瞬時にマイクロホンの位置や銘柄(特性)を変えることができない、膨大な機材が必要、空調機器などの騒音がありS/Nが悪いといった、様々な問題点があった。
【0007】
同様に、鉄板エコーやスプリングエコーなどの、機械式の残響付加装置を用いることも考えられる。しかしながら、これらの機械式の装置は、経年変化がありメンテナンスが大変であるという問題点があった。これは、特に絶版となってしまった機器について、顕著である。また、機械式なので、振動や外来のノイズに弱いという問題点があった。さらに、残響時間の調整がある範囲内でしか行えないうえ、再現性にも乏しいという問題点があった。さらにまた、装置自身が重厚長大である、S/Nが悪いという問題点があった。
【0008】
一方、実際にホールや鉄板エコーなどで残響音を発生させて、発生された残響音に基づきインパルス応答を収集し、収集されたインパルス応答をフィルタ処理により入力データと共にたたみ込むという方法が既に提案されている。これにより、実際の空間や装置のインパルス応答に基づいた、より自然な残響音を得ることができる。
【0009】
図20は、FIR(Finite Impulse Response) フィルタを用いて、時間軸方向にインパルス応答をたたみ込む構成の一例を示す。インパルス応答の係数は、入力されるディジタルオーディオ信号のサンプルに対応して必要である。したがって、219ポイント(524,288ポイント:端数を省略して、512kポイントと記述する)のインパルス応答データがあれば、例えばディジタルオーディオ信号のサンプリング周波数が48kHzで、10sec程度の残響時間が得られる。
【0010】
図20において、端子310から量子化ビット数が例えば24ビットで、サンプリング周波数が48kHzのディジタルオーディオ信号が供給される。入力信号は、512k個が直列に接続された、1サンプル分の遅延を有する遅延回路311に入力される。各遅延回路311の出力は、それぞれ係数乗算器312に供給される。係数乗算器312のそれぞれには、第1ポイントから第512kポイントまでのインパルス応答データが、24ビットの量子化ビット数で以て供給される。係数乗算器312のそれぞれにおいて、遅延回路311の出力とインパルス応答データとの乗算が行われ、乗算結果が加算器313で加算される。加算結果は、入力データに対する残響データとして、端子314に導出される。
【0011】
このように、時間軸方向にインパルス応答をたたみ込む方法では、膨大な数の遅延回路311と係数乗算器312とが必要となるという問題点があった。
【0012】
また、これを解決するために、図21に示されるように、入力ディジタルオーディオ信号およびインパルス応答データをそれぞれフーリエ変換することにより周波数要素データに変換する方法が提案されている。
【0013】
端子320から入力ディジタルオーディオ信号が供給され、必要な残響時間に対応するサンプル数分、すなわち、512kポイントのデータがメモリ321に格納される。そして、メモリ321に格納されたデータを、FFT回路322で高速フーリエ変換することで、例えば0.1Hz毎の周波数要素データに変換する。一方、インパルス応答データについても同様に、端子323から供給されたデータをメモリ324に格納し、FFT回路325で高速フーリエ変換して周波数要素データに変換する。なお、インパルス応答データは、予め知られているため、この部分はROM326として構成してもよい。
【0014】
FFT回路322および325の出力は、乗算器327に供給され、互いに周波数成分が一致するデータ同士で乗算が行われる。乗算結果は、IFFT回路328で逆高速フーリエ変換され、時間軸上のデータとされ、端子329に導出される。
【0015】
この方法では、上述の時間軸上でのたたみ込みの方法に比べて、ハードウェアの規模が小さくて済むという利点がある。しかしながら、必要な残響時間に対応する分の入力データを、一旦メモリ321に格納する必要があるため、入出力に関して大きな遅延が生じてしまうという問題点があった。
【0016】
さらに、インパルス応答のたたみ込みに関する、上述の問題を解決するために、インパルス応答データを時間軸上で分割し、分割されたそれぞれのインパルス応答によって入力データのたたみ込みを行う方法が提案されている(特表平8−501667号公報)。しかしながら、この方法を用いるにしても、高品位にインパルス応答を収集するのは容易ではないという問題点があった。この文献にも、インパルス応答をどのように収集するかについては、記載されていない。
【0017】
すなわち、音が止まってから音圧レベルが60dB減衰するまでが残響時間と定められており、残響音を収録する際には、このレベルの全域をカバーしなければならない。したがって、残響音の収集は、極めて小レベルの信号まで行う必要があるため、雑音が混入しやすい。また、ユーザがホールなどで残響音の収録を行うことは、非常に困難であるという問題点があった。
【0018】
したがって、この発明の目的は、高品位な残響音を、小規模なハードウェアで得られるようにしたインパルス応答の収集方法および効果音付加装置ならびに記録媒体を提供することにある。
【0019】
【課題を解決するための手段】
第1の発明は、上述した課題を解決するために、インパルス応答のたたみ込みを行うことによって効果音を生成する際に用いられるインパルス応答の収集方法において、測定用音響信号を発生する測定用音響信号発生のステップと、測定用音響信号発生のステップで発生された測定用音響信号に対応する音響信号が入力される入力のステップと、入力のステップで入力された音響信号を、測定用音響信号の逆特性の信号で割ることでインパルス応答に変換する変換のステップとを有し、測定用音響信号発生のステップで発生された測定用音響信号を、機械的振動子を用いて残響音を発生させる残響音発生装置に対して供給したときに残響音発生装置から出力される音響信号を入力のステップで入力することで、残響音発生装置によるインパルス応答を収集するようにしたことを特徴とするインパルス応答の収集方法である。
【0021】
また、第3の発明は、コンピュータによって読み取り可能で着脱可能な記録媒体であって、機械的振動子を用いて残響音を発生させる残響音発生装置に対して供給した測定用音響信号に応じて残響音発生装置から出力された音響信号を、測定用音響信号の逆特性の信号で割ることでインパルス応答に変換して得られた、残響音発生装置によるインパルス応答データが記録されたことを特徴とするコンピュータによって読み取り可能な記録媒体である。
【0023】
また、第4の発明は、測定用信号を機械的振動子に与えたときに発生する機械的振動子の振動を測定し、測定された振動をインパルス応答に変換して得られたインパルス応答データを、入力されたディジタルオーディオ信号に対してたたみ込むことによって効果音を付加する効果音付加装置において、インパルス応答データが記録された記録媒体からインパルス応答データを再生する再生手段と、ディジタルオーディオ信号を入力する入力手段と、入力手段で入力されたディジタルオーディオ信号を、時間軸上で後から前に向けて順次、1/2に分割し、分割されたそれぞれをさらに1/2に分割する分割手段と、分割手段で順次、1/2に分割されたディジタルオーディオ信号のそれぞれについて、さらに1/2に分割されたディジタルオーディオ信号の一方と他方とを、再生手段で再生されたインパルス応答データの対応するデータに基づきフィルタ処理を施してたたみ込む、複数のたたみ込み手段とを有することを特徴とする効果音付加装置である。
【0024】
上述したように、第1および第2の発明は、測定用信号を機械的振動子に与えたときに発生する、機械的振動子の振動を測定し、測定された振動をインパルス応答に変換しているため、機械的振動子のインパルス応答を得ることができる。
【0026】
また、第3の発明は、測定用信号を機械的振動子に与えたときに発生する、機械的振動子の振動の測定結果をインパルス応答に変換して得られたインパルス応答データが記録された、コンピュータによって読み取り可能な記録媒体であるため、インパルス応答データを保存することができる。
【0028】
また、第4の発明は、インパルス応答データが記録された記録媒体からインパルス応答データを再生し、再生されたインパルス応答データによって入力ディジタルオーディオ信号をたたみ込んで効果音を付加しているため、様々なインパルス応答データに基づく効果音を得ることができる。
【0029】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。この一実施形態における効果音付加装置は、入力されたディジタルオーディオ信号からなる原音に対して残響音を付加する残響付加装置であって、実際のホールなどの残響を収集することで得られたインパルス応答データにより入力ディジタルオーディオ信号をたたみ込み、付加する残響音を得る。
【0030】
図1は、この一実施形態による残響音を従来の巡回型フィルタによる残響音と比較して示す。図1Aに示される従来技術による残響音は、直接音に対して所定時間遅延されて初期反射音が発生され、さらに所定時間遅延されてフィルタにより生成された残響音が付加されている。付加される残響音は、単純な減衰曲線で残響音が減衰する。これに対して、この一実施形態では、実際に収録されたデータに基づくインパルス応答によって残響音を生成しているため、図1Bに示されるように、実際のホールなどでの音響特性を反映した、単純な減衰曲線ではない残響音が得られる。これにより、より自然で高品位な残響音を得ることができる。
【0031】
この発明は、このような自然な残響音を得るための、インパルス応答の収集方法を与えるものである。図2は、この発明によるインパルス応答収集装置97の構成の一例を示す。この例では、鉄板エコー装置92のインパルス応答を測定する。インパルス応答収集装置97は、例えばパーソナルコンピュータにより構成できる。この装置97では、インパルス応答測定用の信号を発生し、測定対象に対して出力すると共に、測定結果を収集し、測定結果をインパルス応答データに変換する。インパルス応答データは、例えばファイルとして保存される。
【0032】
測定用信号発生部90で、インパルス応答を測定するためのTSP(タイムストレッチパルス)信号が発生される。TSP信号は、スイープ信号の一種であり、逆特性の信号で割ることによって、インパルス信号が得られる。インパルス応答を測定するためには、直接的にインパルス信号を発生させるのがより好ましいが、測定が困難であるため、このような方法を用いる。測定用信号発生部90で発生されたTSP信号は、D/A変換器91を介してアナログ信号に変換され、鉄板エコー装置92に入力される。
【0033】
鉄板エコー装置92では、入力されたTSP信号により、残響音を発生する。この残響音は、L(左)およびR(右)チャンネルのアナログオーディオ信号として出力される。これらの出力は、A/D変換器93でLおよびRチャンネルそれぞれのディジタルオーディオ信号とされる。A/D変換器93では、例えばサンプリング周波数が48kHzあるいは96kHz、量子化ビット数が24ビットでサンプリングが行われる。A/D変換器93の出力は、LおよびRチャンネルのそれぞれがインパルス応答収集装置97に入力される。入力された信号は、例えば図示されないハードディスク装置やメモリなどに記憶される。
【0034】
なお、残響時間は、音が止まってから音圧レベルが60dB減衰するまでの時間と定められている。この例では、量子化ビット数の24ビットにおいて、1ビットに対して6dBが割り当てられる。
【0035】
測定用信号発生部90によるTSP信号の発生は、N回行われる。N回分の出力信号は、同期加算部94で同期加算される。同期加算は、例えばTS信号の発生タイミングに基づき出力信号を揃えるようにしてなされる。N回分の信号を同期加算することにより、再現性のある信号のみが加算され、ランダムに発生されるノイズ成分は加算されないため、S/N比を向上させることができる。S/N比は、(10logN)dB向上される。例えば、S/N比は、N=16で12dB向上される。
【0036】
同期加算された信号は、LおよびRチャンネルのそれぞれがインパルス応答変換部95に供給される。インパルス応答変換部95では、供給された信号を、TSP信号の逆特性を有する信号で割る。これにより、TSP信号がインパルス信号に変換され、測定結果が、インパルス信号により発生された残響音に基づくインパルス応答に変換される。インパルス応答データは、サンプリング周波数に対応した間隔で得られる波高値である。A/D変換器93により24ビットの量子化ビット数でサンプリングされた信号は、変換後は、量子化ビット数が32ビットとされる。
【0037】
インパルス応答変換部から出力された、Lチャンネルのインパルス応答データ96LおよびRチャンネルのインパルス応答データ96Rは、CD−ROMやMOといった、所定の記録媒体に記録される。インパルス応答収集装置97にイーサネットなどのインターフェイスを設け、ネットワークを介して外部へ供給するようにしてもよい。
【0038】
図3は、ホールでインパルス応答を収集する場合の例を示す。ホール101は、ステージ部101Aおよび客席部101Bを有する。ステージ部101Aの所定位置に、音源102が据えられる。音源102は、例えば球面上の互いに異なる12方向にスピーカが設けられた12面体スピーカである。客席部101Bには、LおよびRチャンネルにそれぞれ対応したマイクロフォン103Lおよび103Rが所定位置に据えられる。
【0039】
インパルス応答収集装置97から出力されたTSP信号がD/A変換器91でアナログ信号に変換され、アンプ100で増幅され、音源102で音声として再生される。この再生音を、マイクロフォン103Lおよび103Rで収録する。マイクロフォン103Lおよび103Rの出力は、それぞれA/D変換器93で所定のサンプリング周波数および量子化ビット数でサンプリングされ、LおよびRチャンネルのディジタルオーディオ信号とされ、インパルス応答収集装置97に供給される。インパルス応答収集装置97での処理は、上述の鉄板エコー装置92での処理と、全く同一である。
【0040】
この場合、音源102の位置を様々に変えて、インパルス応答の収集が行われる。また、音源102として用いられるスピーカも、その銘柄などを様々に変えて収集が行われる。同様に、マイクロフォン103Lおよび103Rも、その位置および銘柄を様々に変えて収録が行われる。こうして、1つのホール101において、複数のデータが収集される。これらは、例えば残響音付加の際に、残響音のバリエーションとして選択可能とすることができる。
【0041】
一方、インパルス応答変換部95で得られたインパルス応答データ96Lおよび96Rは、加工することができる。図4は、インパルス応答データの加工の際の処理の流れを、概略的に示す。インパルス応答データ110は、加工処理111を施される。図5は、加工処理111の例を示す。図5Aに一例が示されるように、データには、音の伝搬によるシステムディレイが存在する(図中の「A」の部分)。加工処理111で、このシステムディレイ部Aの値が〔0〕に固定され、この部分のノイズが除去される。
【0042】
また、データの後半は、データの終端を〔0〕に収束させるために、フェードアウト処理が施される。このフェードアウト処理により、後半の微小レベルの信号部分のノイズ除去もなされる。図5Bおよび図5Cは、このフェードアウト処理の例を示す。
【0043】
図5Bは、減衰の指数関数に基づきフェードアウト処理を行う例である。例えば、元のインパルス応答をh(n)として、フェードアウト関数をF0 (n)とする。nは、インパルス応答データのポイントを表す。なお、インパルス応答データのポイントと、ディジタルオーディオ信号のサンプリング点のポイントとは、互いに対応する。このとき、F0 (n)において、n≦0であれば、F0 (n)=1である。一方、n>0であれば、F0 (n)は、図5Bのような減衰の指数関数とされる。
【0044】
出力データx(n)は、次式(1)に示されるように、
x(n)=h(n)・F0 (n−a) ・・・(1)
となる。値aは、元のインパルス応答における直接音の位置を、サンプル数で表したものである。このように、フェードアウトは、直接音の位置よりも後ろで行われる。これは、直接音と同じ位置、すなわちn=0の時点でフェードアウトを開始すると、直接音自体のレベルも低下してしまうからである。
【0045】
なお、フェードアウト関数は、減衰の指数関数に限られない。例えば、図5Cに示されるように、直線的な減衰特性としてもよい。
【0046】
また、フェードアウトによって、このデータを用いて実際にオーディオ信号に残響音を付加する残響付加装置の処理能力に適合するように、インパルス応答データのポイント数を調整することができる。すなわち、インパルス応答データのポイント数を所定値、例えば256kポイント(262,144ポイント:端数を省略して、256kポイントと記述する。2n の値の表現については、以下同様とする)に制限するときには、例えば図4Aに示されるように、128kポイントの時点でフェードアウトを開始し、256kポイントの時点でデータが〔0〕になるようにする。
【0047】
加工処理111としては、上述の他に、レベル調整なども行われる。加工されたインパルス応答データは、FIRフィルタによるたたみ込みの際の、FIRフィルタ係数112として、例えばCD−ROM45に記録される。
【0048】
図6は、このようにして作成されたインパルス応答データを用いてたたみ込みを行う、残響付加装置の構成の一例を、概略的に示す。残響音を付加したいディジタルオーディオ信号が入力端120から入力される。入力データは、乗算器126に供給されると共に、プリディレイ121によって遅延され、プリディレイを与えられる。プリディレイ121の出力は、たたみ込み処理部122に供給される。
【0049】
たたみ込み処理部122は、LおよびRチャンネルそれぞれのFIRフィルタ(フィルタ122Lおよびフィルタ122R)からなる。上述のインパルス応答収集装置97で作成された、インパルス応答データ96Lおよび97Rが対応するチャンネルのFIRフィルタ係数として、端子123Lおよび123Rから供給される。これらインパルス応答データ96Lおよび96Rは、例えばCD−ROMから読み出されて得られる(図示しない)。
【0050】
フィルタ122Lおよび122Rでは、インパルス応答データ96Lおよび97Rによって、入力されたディジタルオーディオ信号のたたみ込みが行われる。このたたみ込みの結果、インパルス応答データ96Lおよび96Rに基づく残響音が生成される。フィルタ122Lおよび122Rの出力は、それぞれ乗算器124Lおよび124Rに供給される。
【0051】
乗算器124L,124Rおよび上述の乗算器126と、加算器128Lおよび128Rとで、原音(ドライ成分)と残響音(ウェット成分)との混合器が構成される。端子127および125にそれぞれ供給された原音および残響音の比率に応じて、乗算器126および乗算器124L,124Rで入力ディジタルオーディオ信号およびたたみ込み処理部122の出力が調整され、加算器128Lおよび128Rで、これらの信号が加算され、Lチャンネルの出力が出力端129Lに、Rチャンネルの出力が出力端129Rに、それぞれ導出される。
【0052】
図7は、この残響付加装置の構成の一例を、より具体的に示す。この残響付加装置1は、2チャンネル(1ch/2ch)分のディジタルオーディオ信号が、AES/EBU(Audio Engineering Society/European Broadcasting Union) の規格に基づくディジタルオーディオ入力端子10から入力される。入力端子10から供給されたディジタルオーディオ信号は、ディジタル入力部11を介してインプットスイッチャ12に供給される。
【0053】
入力されるディジタルオーディオ信号は、例えばサンプリング周波数が48kHz、量子化ビット数が24ビットである。なお、後述するオプションボード50をこの装置1に装着することで、扱うことができるサンプリング周波数を2倍の96kHzとすることが可能とされる。また、これらの例に限らず、例えばサンプリング周波数44.1kHzのディジタルオーディオ信号にも対応可能とすることができる。この場合には、オプションボード50装着時には、サンプリング周波数が88.2kHzの信号を扱うことが可能とされる。
【0054】
残響付加装置1に対してアナログオーディオ信号を入力する場合には、アナログオーディオ入力端子13L,13Rが用いられる。L(左)およびR(右)チャンネルのオーディオ信号のそれぞれは、入力端子13Lおよび13Rの対応する側から入力され、A/D変換器14で例えば48kHzのサンプリング周波数で量子化ビット数が24ビットでサンプリングされ、ディジタルオーディオ信号に変換される。A/D変換器14の出力は、インプットスイッチャ12に供給される。
【0055】
インプットスイッチャ12は、後述するコントローラ40の制御あるいは手動の切り替えスイッチにより、入力オーディオ信号の系統を切り替える。インプットスイッチャ12の出力は、経路31を通って、DSP(Digital Signal Processor)30に供給される。
【0056】
DSP30は、DRAM(Dynamic Random Access Memory)を有し、後述するコントローラ40から供給されるプログラムに基づき、入出力されるディジタルオーディオ信号の様々な制御を行う。DSP30は、所定のプログラムに基づき、供給されたディジタルオーディオ信号を、インパルス応答のたたみ込み演算を行うためのDSP32A〜32Kに供給する。また、DSP30では、入力信号に基づき初期反射音を生成する。さらに、DSP30には、後述するDSP34から、インパルス応答のたたみ込み演算結果が供給される。
【0057】
DSP32A〜32Kは、DSP30から供給されたディジタルオーディオ信号を、それぞれ所定のサイズのブロックに切り出し、予め供給されたインパルス応答データによるたたみ込み演算を行う。DSP32A〜32Kは、それぞれ処理するサンプル数に応じた容量のDRAMを有する。この例では、DSP32A〜32Hはそれぞれ1個ずつ、DSP32Iは2個、DSP32J,32Kは4個ずつ、容量が16MビットのDRAMを有する。
【0058】
DSP32A〜32Kにより行われた、ブロック毎でのインパルス応答のたたみ込み演算結果は、加算器33で加算され、DSP34を介してDSP30に供給される。DSP34では、加算結果のオーバーフローが検出され、例えばオーバーフローを起こしたデータが所定値に固定される。
【0059】
DSP30では、入力ディジタルオーディオ信号と、上述の初期反射音と、DSP34を介して供給されたインパルス応答のたたみ込み演算結果とを混合することで、入力ディジタルオーディオ信号に対して残響音を付加して出力する。DSP30の出力35は、アウトプットスイッチャ18に供給される。
【0060】
なお、形成された残響音および処理されていない入力ディジタルオーディオ信号は、それぞれ「ウェット成分」および「ドライ成分」とも称される。DSP30では、これらウェット成分およびドライ成分の混合比を、LおよびRチャンネルのそれぞれについて、自在に変更することができる。それと共に、DSP30では、出力信号のレベル調整なども行われる。
【0061】
また、DSP30に対して、取り扱うディジタルオーディオ信号のサンプリング周波数に対応した周波数のクロックFSあるいは2FSが供給される。DSP30での信号処理は、このクロックに基づきなされる。
【0062】
アウトプットスイッチャ18は、後述するコントローラ40の制御あるいは手動の切り替えスイッチにより、出力信号の系統を切り替える。出力は、ディジタルおよびアナログのオーディオ信号として出力できる。アウトプットスイッチャ18からディジタル出力部19を介して、AES/EBU規格による出力端子20に対して、2チャンネル分のディジタルオーディオ信号が導出される。また、アウトプットスイッチャ18から出力されたディジタルオーディオ信号は、D/A変換器21でLおよびRチャンネルのアナログオーディオ信号に変換される。LおよびRチャンネルのアナログオーディオ信号は、それぞれアナログ出力端子22Lおよび22Rに導出される。
【0063】
なお、この例では、入力端子10、入力端子13Lおよび13R、出力端子20、出力端子22Lおよび22Rのそれぞれには、ホット、コールドおよび独立したアースラインの3本の信号線を有する、キャノン型が用いられている。
【0064】
また、アウトプットスイッチャ18により、入力されたオーディオ信号に対する装置1内部での残響音付加処理をバイパスするように選択することもできる。バイパスが選択されると、入力されたディジタルオーディオ信号は、インプットスイッチャ12からバイパス経路17を通ってアウトプットスイッチャ18に直接的に供給される。
【0065】
一方、この残響付加装置1の全体は、コントローラ40によって制御される。コントローラ40は、例えばCPU(Central Processing Unit) やRAM(Random Access Memory)、ROM(Read Only Memory)、所定の入出力インターフェイスなどからなる。ROMは、例えばシステムを起動するための初期プログラムや、シリアル番号が予め記憶される。RAMは、CPUが動作するためのワークメモリであると共に、例えば外部からプログラムがロードされる。
【0066】
コントローラ40は、例えば8ビットパラレルでバス41に接続される。バス41は、上述のDSP30、32A〜32H、34にそれぞれ接続される。バス41を介して、コントローラ40と各DSP30、32A〜32H、34との間で通信が行われる。この通信により、コントローラ40から各DSP30、32A〜32H、34のそれぞれに対してプログラムが供給されると共に、コントローラ40と各DSP30、32A〜32H、34との間で、データやコマンドのやり取りが行われる。
【0067】
また、上述したように、インプットスイッチャ12およびアウトプットスイッチャ18は、例えばバス41と接続され(図示しない)、コントローラ40によって制御される。
【0068】
コントローラ40に対して、例えばフルドットのLCD(Liquid Crystal Display)からなる表示装置42が接続される。コントローラ40で生成された表示データに基づいて、表示装置42に対して所定の表示が行われる。
【0069】
入力部43は、図示しないが、複数の入力手段、例えば回転角に対応してデータを入力するようにされたロータリエンコーダと、複数のプッシュスイッチを有する。これらの入力手段を操作することで、対応する制御信号が入力部43からコントローラ40に供給される。この制御信号に基づき、コントローラ40から各DSP30、32A〜32H、34に対して、所定のプログラムやパラメータなどが供給される。
【0070】
この残響付加装置1には、CD−ROM(Compact Disc-ROM)ドライブ44が設けられる。CD−ROMドライブ44に対してCD−ROM45が挿入され、CD−ROM45からデータやプログラムが読み出される。読み出されたデータやプログラムは、CD−ROMドライブ44からコントローラ40に供給される。
【0071】
例えば、CD−ROM45には、インパルス応答データが記録されている。CD−ROM45からこのインパルス応答データが読み出され、コントローラ40に供給される。そして、コントローラ40からDSP32A〜32Kのそれぞれに対して、このデータが供給される。DSP32A〜32Kでは、供給されたインパルス応答データに基づき、インパルス応答のたたみ込み演算を行う。
【0072】
なお、CD−ROM45に、様々な環境で収集されたインパルス応答データを多数、記録しておくことで、使用するインパルス応答に対応する環境と同様の残響効果を得ることができる。また、複数のインパルス応答データを組み合わせて用いることもできる。実際には存在しない空間をつくり出すことが可能である。さらに、インパルス応答データを、この残響付加装置1で加工することができる。例えば、読み出されたインパルス応答データを加工し、フェードアウト処理を行うことで、残響時間の調整を行う。
【0073】
また、他の例として、CD−ROM45に、インパルス応答データをフーリエ変換により周波数要素データに変換したデータを記録するようにしてもよい。残響付加装置1における処理を軽減することができる。
【0074】
さらに、CD−ROM45には、上述した表示部42に対する表示の際に用いられる表示データも格納される。
【0075】
この残響付加装置1は、外部インターフェイスとしてMIDI(Musical Instrument Digital Interface)を備える。MIDI入力端子46から供給されたMIDI信号は、コントローラ40に供給される。供給されたMIDI信号に基づき、この装置1の所定の機能を制御することができる。また、コントローラ40において、MIDI信号を生成して出力することができる。MIDI入力端子46から供給されたMIDI信号を加工して出力するようにもできる。コントローラ40から出力されたMIDI信号は、MIDI出力端子47から外部の機器へと供給される。また、MIDIスルー端子48は、MIDI入力端子46から供給されたMIDI信号を、そのまま出力する。
【0076】
この残響付加装置1は、オプションボード50を装着することで、機能を拡張することができる。機能拡張の一例として、サンプリング周波数が48kHzのディジタルオーディオ信号を、さらに2系統、扱うことができるようになる。2チャンネル分(3ch/4ch)のディジタルオーディオ信号がオプションボード50を介して、端子15から入力される。このディジタルオーディオ信号は、ディジタル入力部16を介してインプットスイッチャ12に供給される。また、アウトプットスイッチャ18から出力された、オプションボード50での処理に対応した2チャンネル分のディジタルオーディオ信号がディジタル出力部23を介して端子24に導出される。このディジタルオーディオ信号は、端子24からオプションボード50を介して外部に出力される。
【0077】
機能拡張の他の例として、2チャンネル(1ch/2ch)分のディジタルオーディオ信号を扱う際に、サンプリング周波数が2倍の96kHzである信号を扱うことができるようになる。
【0078】
オプションボード50とこの装置1とは、端子51〜56および端子15,24で互いに接続される。図8は、オプションボード50の構成の一例を示す。このオプションボード50は、上述のDSP32A〜32Kおよび加算器33による、インパルス応答のたたみ込み演算を拡張して実行できるようにしたものである。したがって、このオプションボード50には、上述のDSP32A〜32Kと同様のDSP32L、32M、およびDSP60A〜Lが設けられると共に、加算器61ならびに上述のDSP34に対応するDSP62とが設けられる。
【0079】
ボード50上のバス41’は、端子56を介して装置1のバス41と接続される。ボード50上の各DSP32L、32M、およびDSP60A〜Lは、バス41’を介して、コントローラ40との間で通信を行うことができる。
【0080】
DSP32Lおよび32Mは、16MビットのDRAMを8個有し、上述のDSP32A〜Kと共にたたみ込み演算を行う。入力ディジタルオーディオ信号がDSP30から出力され、端子53を介してDSP32Lおよび32Mに対してそれぞれ供給される。DSP32Lおよび32Mによるたたみ込み演算結果は、それぞれ端子54および55を介して加算器33に供給され、他のDSP32A〜32Kの演算結果と共に加算される。
【0081】
一方、DSP60A〜60Mは、例えば上述のDSP32A〜32Mと並列的に処理を行う。入力ディジタルオーディオ信号がDSP30から出力され、端子51を介してDSP60A〜60Mに配分される。
【0082】
例えば、オプションボード50の装着によって、1ch〜4chまでの4チャンネル分の処理を行う場合には、DSP32A〜32Mによって1chおよび2chのたたみ込み演算が行われ、DSP60A〜60Mによって3chおよび4chのたたみ込み演算が行われる。また、サンプリング周波数が96kHzのディジタルオーディオ信号を扱う場合には、例えば同一のサンプル数からなるブロックが供給されるDSP同士、すなわち、DSP32Aおよび60A、DSP32Bおよび60B、・・・、DSP32Mおよび60Mがそれぞれ並列的にたたみ込み演算を行うことで、2倍速での処理に対応することができる。
【0083】
DSP60A〜60Mでのたたみ込み演算結果は、それぞれ加算器61に供給され加算される。加算結果は、DSP62に供給され、上述のDSP34と同様にオーバーフロー処理をされ、端子52を介してDSP30に供給される。そして、DSP30において、必要に応じてドライ成分およびウェット成分の比率の調整や、他のチャンネルの信号との混合比の調整をされ、アウトプットスイッチャ18に供給される。
【0084】
なお、オプションボード50には、AES/EBUの規格に基づくディジタルオーディオ信号の入力端子63および出力端子64とが設けられる。入力端子63には、2チャンネル(3ch/4ch)分の信号が入力され、入力された信号は、端子15を介してインプットスイッチャ12に供給される。同様に、アウトプットスイッチャ18から出力された2チャンネル(3ch/4ch)分の出力信号は、端子24を介してこのボード50に供給され、出力端子64に導出される。なお、この例では、端子63および64は、キャノン型が用いられている。
【0085】
図9は、この残響付加装置1のフロントパネル200の一例を示す。フロントパネル200の四隅には、この装置1をラックにマウントすることが可能なように、取り付け穴が設けられている。パネル200の左側に、電源スイッチ201が設けられ、その下方にCD−ROMドライブ44に対してCD−ROM45を装着するための、CD−ROM挿入部202が設けられる。スイッチ205を操作することで、CD−ROM挿入部202へのCD−ROM45の挿入および挿入部202からのCD−ROM45の取り出しを行うことができる。
【0086】
パネル200の略中央部には、表示部203が設けられる。表示部203は、上述したLCD42に対応するものである。表示部203の右側に、ロータリエンコーダ204が設けられる。また、表示部203の下部に、ファンクションキー206,207,208および209が設けられる。これらロータリエンコーダ204およびファンクションキー206〜209によって、この装置1の機能の選択やデータの入力などを行うことができる。
【0087】
表示部203は、選択されている機能などにより様々な表示を行う。この例では、所定の残響音のタイプが選択された場合の、パラメータ表示が行われ、表示部203内の表示領域210には、選択された残響音に対して指定されたパラメータが感覚的に表示されると共に、表示領域211には、パラメータ名とパラメータ値が表示されている。
【0088】
表示領域211の表示は、表示部203の下部に配置されたファンクションスイッチ206〜209のそれぞれに対応している。例えば、ファンクションキー206〜209のうちの何れかを押すことで、押されたキーの直上に表示されているパラメータが選択される。そして、ロータリエンコーダ204を回転させると、そのパラメータが変更される。また例えば、所定の操作によって、表示部203に、別のページを表示させることも可能である。別のページでは、別のパラメータ値を変更することができる。
【0089】
一方、この一実施形態においては、表示領域210に対して、現在設定されているパラメータ値に対応した波紋が表示され、そのパラメータ値による残響音の効果(音の広がり)が感覚的に把握できるようにされている。図10および図11は、この表示領域210の表示の例を示す。残響時間を短い値から長い値へと変更していくのに伴い、図10A〜図10H、さらに、図11A〜図11Hというように、波紋の波数が増加される。
【0090】
この例では、波紋は、残響時間の最小値から最大値までの値に段階的に対応した、16段階の表示を有する。この16段階の表示は、残響時間に対して相対的である。波紋表示のための表示データは、CD−ROM45に格納されている。そして、例えばこの装置1の起動時に予めCD−ROM45から読み出され、コントローラ40が有するRAMに格納される。これに限らず、コントローラ40が有するROMに予め格納しておくようにしてもよい。残響時間のパラメータを決定すると、波紋の表示は、そのときの表示が保持される。
【0091】
このような表示を行うことにより、ユーザに対して、視覚的に印象を与えることができる。ユーザは、残響の効果を、感覚的に把握することができるようになる。すなわち、ユーザは、波紋により、残響音の広がりを視覚的に把握することができる。
【0092】
なお、波紋の表示は、この例では表示領域210の左下から右上に向かって広がっていくように表示されているが、これはこの例に限定されない。図12は、表示領域210に対する波紋の表示の、他の例を示す。波紋の中心点および波紋が広がる方向は、任意に設定することができ、例えば、左端を波紋の中心とすることができる(図12A)。また、表示領域210の中心を波紋の中心とすることもできる(図12B)。さらにまた、波紋の断面を表示するようにしてもよい(図12C)。また、選択された残響音のタイプに応じて波紋の形状を変化させることもできる。さらに、この例では、波紋の表示は固定的に行われているが、1段階のパラメータに対して複数枚の表示データを用意し、これらを連続的に切り替えて表示することで、アニメーション表示とすることもできる。
【0093】
次に、DSP32A〜32M、DSP60A〜60Mで行われる、インパルス応答のたたみ込み演算について説明する。なお、ここでは、繁雑さを避けるため、オプションボード50を用いずに、DSP32A〜32Kのみで行う演算について説明する。
【0094】
図13は、DSP32A〜32Kの各々における処理を概略的に示す。インパルス応答データは、コントローラ40の制御によって、例えばCD−ROM45から読み出され、予めDSP32A〜32Kに対して供給され、DSP32A〜32Kがそれぞれ備えるDRAMに格納される。そして、各DSP32A〜32Kにおいて、それぞれに対して定められている処理ブロックサイズに対応し、インパルス応答データが時間軸上の所定の間隔で区切られる。
【0095】
ここで、各DSP32A〜32KをDSP32として代表し、DSP32に処理されるインパルス応答の単位をNとする。例えば、この例では、DSP32Aは、128ポイントのインパルス応答データのたたみ込み演算を行うようにされているため、N=128である。また、以下の説明において、1ワードは、ディジタルオーディオ信号の1サンプリングデータに対応する。したがって、1ワードは、時間軸上では(1/サンプリング周波数)の時間間隔を有し、ディジタルデータとしては、量子化ビット数(24ビット)のものである。
【0096】
DSP32に供給された入力データは、Nワードからなるブロックデータに切り出される。したがって、最初のNワード分の時間は、データの入力に費やされる。入力されたNワード分のデータは、DSP32が有するDRAMに格納される。そして、次のNワード分の時間で、格納されたNワード分の入力データに対するインパルス応答のたたみ込み演算が行われる。演算が全て終了すると、Nワード分の演算結果が出力される。したがって、Nワードの演算において、データの入出力に対して2Nワード分の遅延が生じることになる。
【0097】
図14は、DSP32における処理を、さらに詳細に示す。DSP32では、周知の技術である、巡回たたみ込みにおけるオーバーラップセーブメソッドを用いて、インパルス応答のたたみ込み演算を行っている。
【0098】
すなわち、図14に示されるように、時間軸に従いNワード毎に供給される、第n番目のブロック80Bと、一つ前の第(n−1)番目のブロック80Aとに対してDFT(Discrete Fourier Transform)を行い、時間軸上のデータを、(N+1)ワードの実数部81Aと(N−1)ワードの虚数部81Bとからなる周波数要素データ81に変換する。
【0099】
一方、インパルス応答データ82は、それぞれNワードの、実データ82Aとゼロデータ82Bについて予めDFTされ、(N+1)ワードの実数部83Aと(N−1)ワードの虚数部83Bとからなる周波数要素データ83に変換されている。
【0100】
入力データによる周波数要素データ81と、インパルス応答による周波数要素データ83の、互いに対応する周波数要素同士が乗算され、乗算結果について、等しい周波数成分同士を足し合わせるフィルタ処理(たたみ込み)が行われる。この演算の結果、(N+1)ワードの実数部84Aと(N−1)ワードの虚数部84Bとからなる周波数要素データ84が得られる。この周波数要素データ84に対して、DFTの逆の処理であるIDFTして、2Nワードからなる時間軸上のデータ86が得られる。
【0101】
IDFTの結果は、図14のデータ85,86,87に示されるように、Nワード間隔で2Nワードずつ得られる。データ85,86,87のそれぞれにおいて、前半のNワードのデータ85A,86A,87Aが捨てられ、第(n−1)番目のブロック,第n番目のブロック,第(n+1)番目のブロックというように、出力データが得られる。第n番目の出力データは、対応する第n番目の入力データに対して2ブロック分、遅延している。
【0102】
ブロックサイズを大きくとり、1回の処理でより多くのインパルス応答データのたたみ込み演算を行うことで、長い残響時間を得ることができる。しかしながら、上述したように、入力されたブロックが出力されるまでには、2ブロック分の遅延があるため、1ブロックを大きくすると、残響処理の成分が出力されるまでの遅延時間が長くなり、実用的ではない。そこで、この一実施形態では、所望の残響時間を得るための処理を、それぞれ所定のポイント数(ワード数)に分割された複数のブロック毎に並列的に行う。
【0103】
図15および図16は、この一実施形態による、複数のブロックに分割してのたたみ込み演算処理について示す。例えば218ワード(256kワード)のたたみ込み演算を行う場合を考える。この場合、ディジタルオーディオ信号が256kワード(256kポイント)のインパルス応答データによってたたみ込まれる。サンプリング周波数が48kHzの場合で略5.3sec、サンプリング周波数が44.1kHzの場合で略5.9secの残響時間が得られる。
【0104】
図15に一例が示されるように、全体256kワードが2分割され、2分割されたうち時間軸上で前に位置する側がさらに2分割される。このように、時間軸上で前に位置する側が順次2分割される。そして、2分割されたうち、時間軸上で後ろに位置する側のそれぞれは、さらに2分割され同一サイズの2ブロックが形成される。
【0105】
図16は、図15における先頭の8kワードの部分Aを拡大して示す。この部分Aも、同様にして2分割されていくが、先頭の256ワードに関しては、128ワードのブロックが2ブロック形成され、この2ブロックについてインパルス応答のたたみ込みが行われる。したがって、残響成分は、先頭の256ワード分遅延されて出力される。しかしながら、例えばサンプリング周波数が48kHzの場合、これは僅か5msecの遅延であり、残響音付加の面から考えると、問題がない。
【0106】
このように、全体が218ワード(256kワード)のこの例では、27 ワード(128ワード),28 ワード(256ワード),29 ワード(512ワード),210ワード(1kワード),211ワード(2kワード),212ワード(4kワード),213ワード(8kワード),214ワード(16kワード),215ワード(32kワード)および216ワード(64kワード)の、2n ワードのサイズを有するブロックがそれぞれ2ブロックずつ形成される。
【0107】
DSP32A〜32Kでは、それぞれ同一ブロックサイズの組について処理が行われる。すなわち、図15および図16に示されるように、DSP32A〜32Kに対して供給された入力データは、DSP32A〜32Kのそれぞれにおいて、DSP32Aで128ワード、DSP32Bで256ワード、DSP32Cで512ワード、DSP32Dで1kワード、DSP32Eで2kワード、DSP32Fで4kワード、DSP32Gで8kワードDSP32Hで16kワード、DSP32Iで32kワード、DSP32J,32Kで64kワードに、それぞれ切り出される。
【0108】
128ワードから32kワードまでの処理のそれぞれは、同一のブロックサイズの2つのブロックについてのたたみ込みの処理を、一つのDSPによって時分割的に行うようにしている。
【0109】
すなわち、DSP32A〜32Kのそれぞれにおいて、切り出されたブロックデータに対して対応するインパルス応答データによるたたみ込み演算が行われる。同一ブロックサイズの組の、後半のブロックについては、処理後、1ブロック分遅延されて出力される。これにより、DSP32A〜32Kのそれぞれにおいて、同一サイズの2ブロックが連続して出力される。DSP32A〜32Kの出力を加算器33で加算することで、残響データ88が生成される。
【0110】
なお、DSP32A〜32Kのそれぞれに対して連続的に供給されるデータに対して、DSP32A〜32Kのそれぞれの周期で以て処理を行い、その結果を加算することで、連続的に供給されるデータに対して残響音を付加することができることは、周知である。
【0111】
図17は、各DSP32A〜32Kにおける、たたみ込み演算をするためのたたみ込みフィルタ70の構成の一例を示す。たたみ込みフィルタ70は、例えば、コントローラ40からDSP32A〜32Kに対して供給される所定のプログラムに基づいて実現される。端子71からディジタルオーディオ信号が入力され、DFT回路72に供給される。ディジタルオーディオ信号は、DFT回路72で時間軸上のデータから周波数要素データに変換される。DFT回路72の出力は、乗算器74に供給されると共に、遅延回路73に供給される。
【0112】
遅延回路73は、Nワード分の遅延を有する。すなわち、DSP32A〜32Kは、それぞれN=128,256,512,1k,2k,4k,8k,16k,32kおよび64kであって、対応する遅延量を有する。遅延回路73で遅延されたデータは、乗算器76に供給される。
【0113】
乗算器74では、端子75から、DFTされたインパルス応答データであるフィルタ係数Aが供給される。乗算器74で、DFT回路72の出力およびフィルタ係数Aの対応する周波数要素同士の乗算がなされる。一方、乗算器76でも同様な処理が行われる。すなわち、端子77から、DFTされたインパルス応答データであるフィルタ係数Bが供給され、遅延回路73からの出力およびフィルタ係数Bの対応する周波数要素同士の乗算がなされる。
【0114】
乗算器74および76それぞれの乗算結果は、加算器78で加算される。加算結果は、IDFT回路79に供給され、周波数要素データが時間軸上のデータに変換され、端子80から出力される。
【0115】
このように、たたみ込みフィルタ70では、入力データと、Nワード、すなわち1ブロック分遅延された入力データとの、2ブロック分のデータを用いてたたみ込み演算が行われ、2ワード分のデータが出力される。図14を用いて既に説明したように、出力された2ワード分のデータのうち、前半の1ワードは、捨てられる。
【0116】
図18は、上述の図17の構成に基づく、たたみ込みフィルタ70の処理を、時間軸に対応して示す。図18の左端側には入力データが示され、右端側には、出力データが示される。また、図18は、全体的に、上側から下側へ向けて、時間の経過が示される。すなわち、複数のフィルタ70が存在するように示されているが、これらは、一つのフィルタの異なるタイミングでの処理を示す。このように、1つ前のタイミングでDFTした結果が遅延回路73によって遅延されて、次のタイミングのフィルタ処理に用いられる。そのため、入力データに対して、2ブロック分遅延された出力データが連続的に出力される。
【0117】
図19は、DSP32A〜32Kの並列処理の概略を示す機能ブロック図である。入力データがDSP32A〜32Kのそれぞれに対して並列的に供給される。DSP32A〜32Kは、それぞれN=128,N=256,N=512,N=1k,N=2k,N=4k,N=8k,N=16k,N=32kおよびN=64kのポイントのたたみ込みを行う。そして、演算結果は、DSP32A〜32Kのそれぞれから、2Nワード分遅延されて、加算器22に供給される。
【0118】
例えば、DSP32Aに供給された入力データは、N=128ワードからなるブロックに切り出され、切り出されたブロックに対してたたみ込み処理を行い、入力タイミングに対して2Nワード遅延されて演算結果が出力される。そして、次のNワードのブロックが取り込まれ、同様な処理が繰り返される。DSP32B〜32Kのそれぞれにおいて、同様の処理が行われる。
【0119】
なお、上述では、インパルス応答収集装置97と、残響付加装置1とが別個の装置であるように記述したが、これはこの例に限定されない。すなわち、残響付加装置1に対して、TSP信号を発生する測定用信号発生部90や、同期加算部94ならびにインパルス応答変換部95を持たせる。これらは、CPUと若干の周辺部品によって構成することが可能であることは言うまでもない。残響付加装置1が元々有するDSP30やDSP34などを利用することも可能である。このように、残響付加装置1に対してインパルス応答を収集する機能を持たせることで、ユーザ独自の効果音を得ることができる。
【0120】
また、上述では、インパルス応答のたたみ込み処理を、DSP32A〜32Kといった、ハードウェアで行っているが、これはこの例に限定されず、ソフトウェア処理で行うことも可能である。同様に、DSP30および34の処理も、ソフトウェアで行うことが可能である。
【0121】
【発明の効果】
以上説明したように、この発明によれば、実際に実空間や鉄板エコー装置などでの計測により得られたインパルス応答を、丸ごとたたみ込んで残響音を生成しているため、自然で高品位な処理結果が得られるという効果がある。
【0122】
すなわち、この発明によれば、残響音のピッチが入力した音のピッチと等しくなるという効果がある。
【0123】
また、この発明によれば、インパルス応答を、TSP信号による測定を複数回行い、得られた複数回分の結果を同期加算することで得ているため、実際の例えば鉄板エコー装置や、実際の空間によって得られる残響音よりも、高いS/N比を実現することができる効果がある。
【0124】
さらに、この発明によれば、鉄板エコー装置や実空間から得られたインパルス応答データを加工することで、残響時間の調整を行うことができるという効果がある。
【0125】
さらにまた、この発明によれば、互いに異なる鉄板エコー装置や実空間により得られたインパルス応答データを合成することで、実際には存在しない機器や空間をつくり出すことができる効果がある。
【0126】
また、この発明によれば、最良の状態でインパルス応答の計測を行ってしまえば、実際の鉄板エコー装置やホールなどの実空間のようなメンテナンスの必要性が一切無いという効果がある。
【0127】
さらに、この一実施形態によれば、実際に実空間や鉄板エコー装置などでの計測により得られたインパルス応答を用いて残響音を付加しているため、瞬時に別の空間や装置による残響音と入れ替えることができるという効果がある。
【0128】
同様に、瞬時に、別のマイクロフォンにより収録された残響に入れ替えることができるという効果がある。
【0129】
さらにまた、この一実施形態によれば、実際の鉄板エコー装置や実際のホールなどと比べ、より軽量でコンパクトであるうえに、容易に高品位な残響音を得ることができるという効果がある。
【0130】
また、この発明によれば、入手困難な機器や、解体されてしまうような空間のインパルス応答を計測し、記録媒体に記録しておけば、後に再現することが可能であるという効果がある。
【0131】
さらに、この一実施形態によれば、インパルス応答を収集する機能を残響付加装置に内蔵させることで、ユーザ独自の効果音を得ることができるという効果がある。
【図面の簡単な説明】
【図1】一実施形態による残響音を従来の巡回型フィルタによる残響音と比較して示す略線図である。
【図2】この発明によるインパルス応答収集装置の構成の一例を示すブロック図である。
【図3】ホールでインパルス応答を収集する場合の例を示す略線図である。
【図4】インパルス応答の加工処理の一例を示す略線図である。
【図5】インパルス応答の加工処理の一例を示す略線図である。
【図6】インパルス応答データを用いてたたみ込みを行う残響付加装置の構成の一例を概略的に示すブロック図である。
【図7】残響付加装置の構成の一例をより具体的に示すブロック図である。
【図8】残響付加装置のオプションボードの構成の一例を示すブロック図である。
【図9】残響付加装置のフロントパネルの一例を示す略線図である。
【図10】表示領域に表示される波紋の例を示す略線図である。
【図11】表示領域に表示される波紋の例を示す略線図である。
【図12】表示領域に表示される波紋の他の例を示す略線図である。
【図13】たたみ込み演算を行う各DSPにおける処理を概略的に示す略線図である。
【図14】各DSPにおける処理を、さらに詳細に示す略線図である。
【図15】複数のブロックに分割してのたたみ込み演算処理について示す略線図である。
【図16】複数のブロックに分割してのたたみ込み演算処理について示す略線図である。
【図17】各DSPにおけるたたみ込みフィルタの構成の一例を示すブロック図である。
【図18】たたみ込みフィルタの処理を時間軸に対応して示す略線図である。
【図19】異なるNワードの処理を並列的に行う例を示す略線図である。
【図20】FIRフィルタを用いて時間軸方向にインパルス応答をたたみ込む構成の一例を示すブロック図である。
【図21】入力信号とインパルス応答データとをそれぞれフーリエ変換して周波数要素データに変換する構成の一例を示すブロック図である。
【符号の説明】
1・・・残響付加装置、30・・・DSP、32A〜32M・・・DSP、33・・・加算器、34・・・DSP、40・・・コントローラ、42・・・LCDによる表示部、43・・・入力部、44・・・CD−ROMドライブ、45・・・CD−ROM、50・・・オプションボード、60A〜60M・・・DSP、61・・・加算器、62・・・DSP、90・・・測定用信号発生部、94・・・同期加算部、95・・・インパルス応答変換部95、96L,96R・・・インパルス応答データ、97・・・インパルス応答収集装置、122・・・たたみ込みフィルタ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an impulse response collecting method, a sound effect adding device, and a recording medium when a reverberation sound is added based on an impulse response of an existing device or space.
[0002]
[Prior art]
One of devices for adding sound effects to an audio signal is a reverberation adding device (reverbulator). This reverberation adding device is often used to add reverberant sound to an audio signal in a recording studio, for example, and to expand and deepen the sound. By adding reverberation to the sound recorded in a studio, you can add effects that are actually played in the hall, and even more special effects.
[0003]
In the old days, reverberation was added by recording in a place where reverberation was actually obtained, such as in a hall, or using a vibration such as a steel plate to obtain a reverberation effect. It was done using a device such as an iron plate echo. In recent reverberation adding apparatuses, these effects are electrically realized. Furthermore, in recent years, with the development of digital signal processing technology, devices that synthesize reverberant sound digitally have become widespread.
[0004]
When adding reverberation sound by digital processing, for example, a cyclic digital filter is used. The input digital audio signal is circulated while being attenuated to generate reverberant sound. This is mixed with the original digital audio signal. Actually, an initial reflected sound is added at a position delayed for a predetermined period with respect to the direct sound, and a reverberant sound is further added after a predetermined period. The delay time of the reverberant sound with respect to the direct sound is referred to as pre-delay. With the addition of reverberation time and sub-reverberation sound, fine level adjustments can be performed, creating a wide range of sounds.
[0005]
By the way, the reverberant sound in an actual hall or the like has a more complicated waveform due to various reflections and interferences of the sound depending on the shape of the hall and the position of the sound source. However, as described above, in the method of filtering the original digital audio signal, an attenuated waveform is simply obtained, and thus an artificial impression cannot be avoided. Also, in the method of circulating the original signal by filtering, the final reverberation pitch after the input is lost becomes the pitch of the feedback loop inside the recursive filter, resulting in high-quality and natural reverberation. Could not get.
[0006]
[Problems to be solved by the invention]
If you actually record in a hall, you can get a more natural reverberation. However, in actual halls, parameters related to reverberant sounds such as reverberation time cannot be changed, microphone positions and brands (characteristics) cannot be changed instantaneously, a huge amount of equipment is required, and there is noise from air conditioning equipment. There were various problems such as bad / N.
[0007]
Similarly, it is conceivable to use a mechanical reverberation adding device such as an iron plate echo or a spring echo. However, these mechanical devices have a problem that they are secular and difficult to maintain. This is particularly noticeable for devices that are out of print. In addition, since it is mechanical, there is a problem that it is vulnerable to vibration and external noise. Furthermore, the reverberation time can only be adjusted within a certain range, and the reproducibility is poor. Furthermore, there is a problem that the apparatus itself is heavy and large and the S / N is bad.
[0008]
On the other hand, a method has already been proposed in which reverberation sound is actually generated by a hall or a steel plate echo, impulse responses are collected based on the generated reverberation sound, and the collected impulse responses are convolved with input data by filtering. ing. Thereby, a more natural reverberation sound based on the actual space or the impulse response of the apparatus can be obtained.
[0009]
FIG. 20 shows an example of a configuration that uses an FIR (Finite Impulse Response) filter to convolve an impulse response in the time axis direction. The coefficient of the impulse response is necessary corresponding to the sample of the input digital audio signal. Therefore, 2 19 If there is impulse response data of points (524 points and 288 points: fractions are omitted and described as 512 k points), for example, the sampling frequency of a digital audio signal is 48 kHz, and a reverberation time of about 10 seconds is obtained.
[0010]
In FIG. 20, a digital audio signal having a quantization bit number of 24 bits and a sampling frequency of 48 kHz is supplied from a terminal 310, for example. The input signal is input to a delay circuit 311 having a delay of one sample in which 512k pieces are connected in series. The output of each delay circuit 311 is supplied to a coefficient multiplier 312. Each of the coefficient multipliers 312 is supplied with impulse response data from the first point to the 512k point with the number of quantization bits of 24 bits. In each of the coefficient multipliers 312, the output of the delay circuit 311 and the impulse response data are multiplied, and the multiplication results are added by the adder 313. The addition result is derived to terminal 314 as reverberation data for the input data.
[0011]
As described above, the method of convolving the impulse response in the time axis direction has a problem that a large number of delay circuits 311 and coefficient multipliers 312 are required.
[0012]
In order to solve this problem, as shown in FIG. 21, a method has been proposed in which an input digital audio signal and impulse response data are converted into frequency element data by Fourier transform.
[0013]
An input digital audio signal is supplied from the terminal 320, and data corresponding to the number of samples corresponding to the required reverberation time, that is, data of 512k points is stored in the memory 321. Then, the data stored in the memory 321 is fast Fourier transformed by the FFT circuit 322 to be converted into frequency element data for every 0.1 Hz, for example. On the other hand, for the impulse response data, similarly, the data supplied from the terminal 323 is stored in the memory 324, and is subjected to fast Fourier transform by the FFT circuit 325 to be converted into frequency element data. Since the impulse response data is known in advance, this portion may be configured as the ROM 326.
[0014]
Outputs of the FFT circuits 322 and 325 are supplied to a multiplier 327, and multiplication is performed on data whose frequency components match each other. The multiplication result is subjected to inverse fast Fourier transform by the IFFT circuit 328, converted to data on the time axis, and derived to the terminal 329.
[0015]
This method has an advantage that the hardware scale can be reduced as compared with the above-described convolution method on the time axis. However, since it is necessary to temporarily store the input data corresponding to the required reverberation time in the memory 321, there is a problem that a large delay occurs regarding input / output.
[0016]
Furthermore, in order to solve the above-mentioned problem related to the convolution of the impulse response, a method has been proposed in which the impulse response data is divided on the time axis, and the input data is convolved with each divided impulse response. (Japanese National Publication No. 8-501667). However, even if this method is used, there is a problem that it is not easy to collect impulse responses with high quality. This document also does not describe how to collect impulse responses.
[0017]
That is, the reverberation time is determined from when the sound stops until the sound pressure level is attenuated by 60 dB. When recording a reverberant sound, the entire region of this level must be covered. Therefore, since reverberant sound needs to be collected up to a very low level signal, noise is likely to be mixed. In addition, there is a problem that it is very difficult for a user to record reverberation sound in a hall or the like.
[0018]
Accordingly, an object of the present invention is to provide an impulse response collecting method, a sound effect adding device, and a recording medium, in which high-quality reverberant sound can be obtained with small-scale hardware.
[0019]
[Means for Solving the Problems]
First In order to solve the above-described problem, the invention provides a method for collecting impulse responses used for generating sound effects by convolving impulse responses. acoustic Signal Generated acoustic signal for measurement And the steps An input step in which an acoustic signal corresponding to the measurement acoustic signal generated in the measurement acoustic signal generation step is input, and an acoustic signal input in the input step is a signal having a reverse characteristic of the measurement acoustic signal. By dividing Conversion step to convert to impulse response When the measurement acoustic signal generated in the measurement acoustic signal generation step is supplied to the reverberation sound generation device that generates the reverberation sound using the mechanical vibrator, it is output from the reverberation sound generation device. The impulse response by the reverberation generator was collected by inputting the acoustic signal in the input step. This is a method for collecting impulse responses.
[0021]
Also, Third The invention of A recording medium readable and removable by a computer, Mechanical vibrator By dividing the acoustic signal output from the reverberation sound generator according to the measurement acoustic signal supplied to the reverberation sound generator that generates the reverberation sound using the signal with the inverse characteristic of the measurement acoustic signal. Convert to impulse response Obtained by the reverberation generator A computer-readable recording medium in which impulse response data is recorded.
[0023]
In addition, the fourth invention is Impulse response data obtained by measuring the vibration of the mechanical vibrator that occurs when a measurement signal is applied to the mechanical vibrator and converting the measured vibration into an impulse response. For the input digital audio signal Was In a sound effect adding device for adding sound effects by convolution, reproduction means for reproducing impulse response data from a recording medium on which impulse response data is recorded, input means for inputting a digital audio signal, and input by the input means The divided digital audio signal is sequentially divided into ½ on the time axis from the rear to the front, and the dividing means for dividing each divided further into ½, and the dividing means sequentially ½ For each of the divided digital audio signals, one and the other of the divided digital audio signals are subjected to filter processing based on the corresponding data of the impulse response data reproduced by the reproducing means. A sound effect adding device comprising a plurality of convolution means.
[0024]
As mentioned above, First and second According to the invention, the vibration of the mechanical vibrator generated when the measurement signal is applied to the mechanical vibrator is measured, and the measured vibration is converted into an impulse response. You can get a response.
[0026]
Also, Third According to the invention, the impulse response data obtained by converting the measurement result of the vibration of the mechanical vibrator to the impulse response generated when the measurement signal is given to the mechanical vibrator is recorded by the computer. Since it is a possible recording medium, impulse response data can be stored.
[0028]
Also, 4th According to the present invention, the impulse response data is reproduced from the recording medium on which the impulse response data is recorded, and the input digital audio signal is convolved with the reproduced impulse response data to add the sound effect. Sound effects can be obtained.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described. The sound effect adding device in this embodiment is a reverberation adding device that adds a reverberation sound to an original sound composed of an input digital audio signal, and is an impulse obtained by collecting reverberation of an actual hall or the like. The input digital audio signal is convolved with the response data to obtain a reverberation sound to be added.
[0030]
FIG. 1 shows a reverberant sound according to this embodiment in comparison with a reverberant sound of a conventional recursive filter. The reverberant sound according to the prior art shown in FIG. 1A is delayed for a predetermined time with respect to the direct sound to generate an initial reflected sound, and further delayed for a predetermined time and a reverberant sound generated by a filter is added. The reverberant sound is attenuated by a simple attenuation curve. On the other hand, in this embodiment, since the reverberation sound is generated by the impulse response based on the actually recorded data, as shown in FIG. 1B, the acoustic characteristics in the actual hall or the like are reflected. A reverberant sound that is not a simple decay curve is obtained. Thereby, a more natural and high-quality reverberation sound can be obtained.
[0031]
The present invention provides an impulse response collection method for obtaining such a natural reverberation sound. FIG. 2 shows an example of the configuration of the impulse response collection device 97 according to the present invention. In this example, the impulse response of the iron plate echo device 92 is measured. The impulse response collection device 97 can be configured by a personal computer, for example. In this apparatus 97, a signal for impulse response measurement is generated and output to a measurement object, the measurement result is collected, and the measurement result is converted into impulse response data. The impulse response data is stored as a file, for example.
[0032]
The measurement signal generator 90 generates a TSP (time stretch pulse) signal for measuring the impulse response. The TSP signal is a kind of sweep signal, and an impulse signal can be obtained by dividing by a signal having an inverse characteristic. In order to measure the impulse response, it is more preferable to directly generate the impulse signal, but such a method is used because measurement is difficult. The TSP signal generated by the measurement signal generator 90 is converted into an analog signal via the D / A converter 91 and input to the iron plate echo device 92.
[0033]
The iron plate echo device 92 generates a reverberation sound by the input TSP signal. The reverberant sound is output as analog audio signals of L (left) and R (right) channels. These outputs are converted into digital audio signals for the L and R channels by the A / D converter 93, respectively. In the A / D converter 93, for example, sampling is performed at a sampling frequency of 48 kHz or 96 kHz and a quantization bit number of 24 bits. As for the output of the A / D converter 93, each of the L and R channels is input to the impulse response collection device 97. The input signal is stored in, for example, a hard disk device or a memory (not shown).
[0034]
The reverberation time is determined as the time from when the sound stops until the sound pressure level is attenuated by 60 dB. In this example, in the quantization bit number of 24 bits, 6 dB is allocated to 1 bit.
[0035]
The generation of the TSP signal by the measurement signal generator 90 is performed N times. The output signals for N times are synchronously added by the synchronous adder 94. For example, the synchronous addition is performed by aligning the output signals based on the generation timing of the TS signal. By synchronously adding N signals, only reproducible signals are added, and randomly generated noise components are not added, so that the S / N ratio can be improved. The S / N ratio is improved by (10 log N) dB. For example, the S / N ratio is improved by 12 dB when N = 16.
[0036]
The L and R channels of the synchronously added signal are supplied to the impulse response converter 95. The impulse response conversion unit 95 divides the supplied signal by a signal having the inverse characteristic of the TSP signal. As a result, the TSP signal is converted into an impulse signal, and the measurement result is converted into an impulse response based on the reverberant sound generated by the impulse signal. The impulse response data is a peak value obtained at intervals corresponding to the sampling frequency. The signal sampled by the A / D converter 93 with a quantization bit number of 24 bits has a quantization bit number of 32 bits after conversion.
[0037]
The L channel impulse response data 96L and the R channel impulse response data 96R output from the impulse response converter are recorded on a predetermined recording medium such as a CD-ROM or MO. The impulse response collection device 97 may be provided with an interface such as Ethernet and supplied to the outside via a network.
[0038]
FIG. 3 shows an example of collecting impulse responses in the hall. The hall 101 has a stage portion 101A and a passenger seat portion 101B. The sound source 102 is placed at a predetermined position of the stage unit 101A. The sound source 102 is, for example, a dodecahedron speaker in which speakers are provided in 12 different directions on a spherical surface. In the passenger seat 101B, microphones 103L and 103R corresponding to the L and R channels, respectively, are placed at predetermined positions.
[0039]
The TSP signal output from the impulse response collection device 97 is converted into an analog signal by the D / A converter 91, amplified by the amplifier 100, and reproduced as sound by the sound source 102. This reproduced sound is recorded by the microphones 103L and 103R. The outputs of the microphones 103L and 103R are sampled by the A / D converter 93 at a predetermined sampling frequency and the number of quantization bits, respectively, and converted into L and R channel digital audio signals and supplied to the impulse response collecting device 97. The processing in the impulse response collection device 97 is exactly the same as the processing in the iron plate echo device 92 described above.
[0040]
In this case, impulse responses are collected by changing the position of the sound source 102 in various ways. The speakers used as the sound source 102 are also collected by changing the brands and the like. Similarly, the microphones 103L and 103R are recorded with various positions and brands. Thus, a plurality of data is collected in one hole 101. These can be selected as variations of reverberation sound, for example, when reverberation sound is added.
[0041]
On the other hand, the impulse response data 96L and 96R obtained by the impulse response converter 95 can be processed. FIG. 4 schematically shows the flow of processing when processing the impulse response data. The impulse response data 110 is processed 111. FIG. 5 shows an example of the processing process 111. As shown in FIG. 5A as an example, the data includes a system delay due to sound propagation (portion “A” in the figure). In the processing 111, the value of the system delay portion A is fixed at [0], and the noise in this portion is removed.
[0042]
In the second half of the data, fade-out processing is performed to converge the end of the data to [0]. By this fade-out processing, noise in the signal portion of the minute level in the latter half is also removed. 5B and 5C show an example of this fade-out process.
[0043]
FIG. 5B is an example in which fade-out processing is performed based on an exponential function of attenuation. For example, the original impulse response is h (n) and the fade-out function is F 0 (N). n represents a point of impulse response data. The point of the impulse response data and the point of the sampling point of the digital audio signal correspond to each other. At this time, F 0 In (n), if n ≦ 0, F 0 (N) = 1. On the other hand, if n> 0, F 0 (N) is an exponential function of attenuation as shown in FIG. 5B.
[0044]
The output data x (n) is expressed by the following equation (1):
x (n) = h (n) · F 0 (Na) (1)
It becomes. The value a represents the position of the direct sound in the original impulse response by the number of samples. In this way, the fade-out is performed behind the direct sound position. This is because when the fade-out is started at the same position as the direct sound, that is, when n = 0, the level of the direct sound itself also decreases.
[0045]
The fade-out function is not limited to the exponential function of attenuation. For example, as shown in FIG. 5C, a linear attenuation characteristic may be used.
[0046]
Further, the number of points of the impulse response data can be adjusted by fading out so as to match the processing capability of the reverberation adding apparatus that actually adds the reverberation sound to the audio signal using this data. That is, the number of points of the impulse response data is described as a predetermined value, for example, 256 k points (262, 144 points: 256 k points with fractions omitted). n (For example, as shown in FIG. 4A, the fade-out starts at the point of 128k points and the data becomes [0] at the point of 256k points.) To do.
[0047]
As the processing process 111, in addition to the above, level adjustment and the like are also performed. The processed impulse response data is recorded, for example, on the CD-ROM 45 as the FIR filter coefficient 112 when convolved with the FIR filter.
[0048]
FIG. 6 schematically shows an example of the configuration of a reverberation adding apparatus that performs convolution using the impulse response data created in this way. A digital audio signal to which reverberant sound is to be added is input from the input terminal 120. The input data is supplied to the multiplier 126 and also delayed by the pre-delay 121 and given a pre-delay. The output of the pre-delay 121 is supplied to the convolution processing unit 122.
[0049]
The convolution processing unit 122 includes FIR filters (filter 122L and filter 122R) for the L and R channels, respectively. Impulse response data 96L and 97R created by the impulse response collection device 97 described above are supplied from terminals 123L and 123R as FIR filter coefficients of the corresponding channel. These impulse response data 96L and 96R are obtained by being read from, for example, a CD-ROM (not shown).
[0050]
The filters 122L and 122R convolve the input digital audio signal with the impulse response data 96L and 97R. As a result of this convolution, reverberant sound based on the impulse response data 96L and 96R is generated. Outputs of the filters 122L and 122R are supplied to multipliers 124L and 124R, respectively.
[0051]
The multipliers 124L and 124R, the above-described multiplier 126, and the adders 128L and 128R constitute a mixer of the original sound (dry component) and the reverberant sound (wet component). The multiplier 126 and the multipliers 124L and 124R adjust the input digital audio signal and the output of the convolution processing unit 122 according to the ratio between the original sound and the reverberation sound supplied to the terminals 127 and 125, respectively, and adders 128L and 128R. Thus, these signals are added, and the output of the L channel is derived to the output terminal 129L, and the output of the R channel is derived to the output terminal 129R.
[0052]
FIG. 7 shows an example of the configuration of this reverberation adding apparatus more specifically. In the reverberation adding apparatus 1, digital audio signals for two channels (1ch / 2ch) are input from a digital audio input terminal 10 based on the AES / EBU (Audio Engineering Society / European Broadcasting Union) standard. The digital audio signal supplied from the input terminal 10 is supplied to the input switcher 12 via the digital input unit 11.
[0053]
The input digital audio signal has, for example, a sampling frequency of 48 kHz and a quantization bit number of 24 bits. In addition, by mounting the option board 50 described later on the apparatus 1, the sampling frequency that can be handled can be doubled to 96 kHz. Further, the present invention is not limited to these examples, and for example, a digital audio signal having a sampling frequency of 44.1 kHz can be supported. In this case, when the option board 50 is mounted, a signal with a sampling frequency of 88.2 kHz can be handled.
[0054]
When an analog audio signal is input to the reverberation adding device 1, analog audio input terminals 13L and 13R are used. Each of the audio signals of the L (left) and R (right) channels is input from the corresponding side of the input terminals 13L and 13R, and the A / D converter 14 has a quantization frequency of 24 bits at a sampling frequency of 48 kHz, for example. Is sampled and converted to a digital audio signal. The output of the A / D converter 14 is supplied to the input switcher 12.
[0055]
The input switcher 12 switches the system of the input audio signal by the control of the controller 40 described later or a manual changeover switch. The output of the input switcher 12 is supplied to a DSP (Digital Signal Processor) 30 through a path 31.
[0056]
The DSP 30 includes a DRAM (Dynamic Random Access Memory), and performs various controls of input / output digital audio signals based on a program supplied from a controller 40 described later. The DSP 30 supplies the supplied digital audio signal to the DSPs 32 </ b> A to 32 </ b> K for performing impulse response convolution based on a predetermined program. Further, the DSP 30 generates an initial reflected sound based on the input signal. Further, the impulse response convolution calculation result is supplied to the DSP 30 from the DSP 34 described later.
[0057]
The DSPs 32 </ b> A to 32 </ b> K cut out the digital audio signals supplied from the DSP 30 into blocks of a predetermined size, and perform a convolution operation based on impulse response data supplied in advance. The DSPs 32A to 32K each have a DRAM having a capacity corresponding to the number of samples to be processed. In this example, each of the DSPs 32A to 32H has two DRAMs, two DSPs 32I, four DSPs 32J and 32K, and a DRAM having a capacity of 16 Mbits.
[0058]
The result of convolution calculation of the impulse response for each block performed by the DSPs 32 </ b> A to 32 </ b> K is added by the adder 33 and supplied to the DSP 30 via the DSP 34. In the DSP 34, an overflow of the addition result is detected, and for example, the data causing the overflow is fixed to a predetermined value.
[0059]
The DSP 30 adds reverberant sound to the input digital audio signal by mixing the input digital audio signal, the above-mentioned initial reflected sound, and the result of convolution calculation of the impulse response supplied via the DSP 34. Output. The output 35 of the DSP 30 is supplied to the output switcher 18.
[0060]
The formed reverberant sound and the unprocessed input digital audio signal are also referred to as “wet component” and “dry component”, respectively. In the DSP 30, the mixing ratio of these wet components and dry components can be freely changed for each of the L and R channels. At the same time, the DSP 30 also adjusts the level of the output signal.
[0061]
The DSP 30 is supplied with a clock FS or 2FS having a frequency corresponding to the sampling frequency of the digital audio signal to be handled. Signal processing in the DSP 30 is performed based on this clock.
[0062]
The output switcher 18 switches the output signal system by the control of the controller 40 described later or a manual changeover switch. The output can be output as digital and analog audio signals. A digital audio signal for two channels is derived from the output switcher 18 through the digital output unit 19 to the output terminal 20 according to the AES / EBU standard. The digital audio signal output from the output switcher 18 is converted into analog audio signals of L and R channels by the D / A converter 21. The L and R channel analog audio signals are led to analog output terminals 22L and 22R, respectively.
[0063]
In this example, each of the input terminal 10, the input terminals 13L and 13R, the output terminal 20, and the output terminals 22L and 22R has a cannon type having three signal lines of hot, cold, and independent earth lines. It is used.
[0064]
The output switcher 18 can also be selected so as to bypass reverberation adding processing in the apparatus 1 for the input audio signal. When the bypass is selected, the input digital audio signal is directly supplied from the input switcher 12 through the bypass path 17 to the output switcher 18.
[0065]
On the other hand, the entire reverberation adding apparatus 1 is controlled by the controller 40. The controller 40 includes, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), a predetermined input / output interface, and the like. In the ROM, for example, an initial program for starting the system and a serial number are stored in advance. The RAM is a work memory for the CPU to operate, and a program is loaded from the outside, for example.
[0066]
The controller 40 is connected to the bus 41 by, for example, 8-bit parallel. The bus 41 is connected to the above-described DSPs 30, 32A to 32H, 34, respectively. Communication is performed between the controller 40 and the DSPs 30, 32 </ b> A to 32 </ b> H, 34 via the bus 41. Through this communication, a program is supplied from the controller 40 to each of the DSPs 30, 32A to 32H, 34, and data and commands are exchanged between the controller 40 and the DSPs 30, 32A to 32H, 34. Is called.
[0067]
Further, as described above, the input switcher 12 and the output switcher 18 are connected to, for example, the bus 41 (not shown) and are controlled by the controller 40.
[0068]
For example, a display device 42 composed of a full-dot LCD (Liquid Crystal Display) is connected to the controller 40. Based on the display data generated by the controller 40, a predetermined display is performed on the display device 42.
[0069]
Although not shown, the input unit 43 includes a plurality of input means, for example, a rotary encoder configured to input data corresponding to a rotation angle, and a plurality of push switches. By operating these input means, corresponding control signals are supplied from the input unit 43 to the controller 40. Based on this control signal, a predetermined program, parameters, and the like are supplied from the controller 40 to the DSPs 30, 32A to 32H, 34.
[0070]
The reverberation adding apparatus 1 is provided with a CD-ROM (Compact Disc-ROM) drive 44. A CD-ROM 45 is inserted into the CD-ROM drive 44, and data and programs are read from the CD-ROM 45. The read data and program are supplied from the CD-ROM drive 44 to the controller 40.
[0071]
For example, impulse response data is recorded on the CD-ROM 45. The impulse response data is read from the CD-ROM 45 and supplied to the controller 40. Then, this data is supplied from the controller 40 to each of the DSPs 32A to 32K. The DSPs 32 </ b> A to 32 </ b> K perform a convolution operation of the impulse response based on the supplied impulse response data.
[0072]
By recording a large number of impulse response data collected in various environments on the CD-ROM 45, a reverberation effect similar to the environment corresponding to the impulse response to be used can be obtained. Also, a plurality of impulse response data can be used in combination. It is possible to create a space that does not actually exist. Further, the impulse response data can be processed by the reverberation adding device 1. For example, reverberation time is adjusted by processing the read impulse response data and performing fade-out processing.
[0073]
As another example, data obtained by converting impulse response data into frequency element data by Fourier transform may be recorded in the CD-ROM 45. The processing in the reverberation adding apparatus 1 can be reduced.
[0074]
Further, the CD-ROM 45 also stores display data used for display on the display unit 42 described above.
[0075]
The reverberation adding apparatus 1 includes MIDI (Musical Instrument Digital Interface) as an external interface. The MIDI signal supplied from the MIDI input terminal 46 is supplied to the controller 40. Based on the supplied MIDI signal, predetermined functions of the apparatus 1 can be controlled. The controller 40 can generate and output a MIDI signal. The MIDI signal supplied from the MIDI input terminal 46 can be processed and output. The MIDI signal output from the controller 40 is supplied from the MIDI output terminal 47 to an external device. The MIDI through terminal 48 outputs the MIDI signal supplied from the MIDI input terminal 46 as it is.
[0076]
The reverberation adding apparatus 1 can be expanded in function by installing the option board 50. As an example of the function expansion, it becomes possible to handle two more systems of digital audio signals with a sampling frequency of 48 kHz. Digital audio signals for two channels (3ch / 4ch) are input from the terminal 15 via the option board 50. This digital audio signal is supplied to the input switcher 12 via the digital input unit 16. Further, the digital audio signals for two channels corresponding to the processing in the option board 50 output from the output switcher 18 are led to the terminal 24 via the digital output unit 23. This digital audio signal is output from the terminal 24 to the outside via the option board 50.
[0077]
As another example of the function expansion, when a digital audio signal for two channels (1ch / 2ch) is handled, a signal whose sampling frequency is 96 kHz, which is twice as high, can be handled.
[0078]
The option board 50 and the device 1 are connected to each other through terminals 51 to 56 and terminals 15 and 24. FIG. 8 shows an example of the configuration of the option board 50. The option board 50 is configured to extend and execute the impulse response convolution operation by the DSPs 32A to 32K and the adder 33 described above. Therefore, the option board 50 is provided with DSPs 32L, 32M, and DSPs 60A-L similar to the above-described DSPs 32A-32K, and an adder 61 and a DSP 62 corresponding to the DSP 34 described above.
[0079]
The bus 41 ′ on the board 50 is connected to the bus 41 of the device 1 through the terminal 56. The DSPs 32L, 32M and DSPs 60A to 60L on the board 50 can communicate with the controller 40 via the bus 41 ′.
[0080]
The DSPs 32L and 32M have eight 16M-bit DRAMs, and perform a convolution operation together with the DSPs 32A to K described above. An input digital audio signal is output from the DSP 30 and supplied to the DSPs 32L and 32M via the terminal 53, respectively. The convolution calculation results by the DSPs 32L and 32M are supplied to the adder 33 via the terminals 54 and 55, respectively, and added together with the calculation results of the other DSPs 32A to 32K.
[0081]
On the other hand, the DSPs 60A to 60M perform processing in parallel with, for example, the above-described DSPs 32A to 32M. An input digital audio signal is output from the DSP 30 and distributed to the DSPs 60 </ b> A to 60 </ b> M via the terminal 51.
[0082]
For example, when the processing for 4 channels from 1ch to 4ch is performed by mounting the option board 50, the 1ch and 2ch convolution operations are performed by the DSPs 32A to 32M, and the 3ch and 4ch convolutions are performed by the DSPs 60A to 60M. An operation is performed. When handling a digital audio signal with a sampling frequency of 96 kHz, for example, DSPs supplied with blocks having the same number of samples, that is, DSPs 32A and 60A, DSPs 32B and 60B,..., DSPs 32M and 60M, respectively. By performing the convolution operation in parallel, processing at double speed can be handled.
[0083]
The convolution calculation results in the DSPs 60A to 60M are respectively supplied to the adder 61 and added. The addition result is supplied to the DSP 62, subjected to overflow processing in the same manner as the DSP 34 described above, and supplied to the DSP 30 via the terminal 52. In the DSP 30, the ratio of the dry component and the wet component is adjusted as necessary, and the mixing ratio with the signals of other channels is adjusted and supplied to the output switcher 18.
[0084]
The option board 50 is provided with an input terminal 63 and an output terminal 64 for digital audio signals based on the AES / EBU standard. Signals for two channels (3ch / 4ch) are input to the input terminal 63, and the input signals are supplied to the input switcher 12 via the terminal 15. Similarly, output signals for two channels (3ch / 4ch) output from the output switcher 18 are supplied to the board 50 via the terminal 24 and led to the output terminal 64. In this example, the terminals 63 and 64 are Canon type.
[0085]
FIG. 9 shows an example of the front panel 200 of the reverberation adding apparatus 1. Mounting holes are provided at the four corners of the front panel 200 so that the device 1 can be mounted on a rack. A power switch 201 is provided on the left side of the panel 200, and a CD-ROM insertion part 202 for attaching the CD-ROM 45 to the CD-ROM drive 44 is provided below the power switch 201. By operating the switch 205, it is possible to insert the CD-ROM 45 into the CD-ROM insertion section 202 and to remove the CD-ROM 45 from the insertion section 202.
[0086]
A display unit 203 is provided at a substantially central portion of the panel 200. The display unit 203 corresponds to the LCD 42 described above. A rotary encoder 204 is provided on the right side of the display unit 203. In addition, function keys 206, 207, 208, and 209 are provided below the display unit 203. The rotary encoder 204 and function keys 206 to 209 can be used to select functions of the apparatus 1 and input data.
[0087]
The display unit 203 performs various displays according to the selected function. In this example, parameter display is performed when a predetermined reverberation type is selected, and the parameters specified for the selected reverberation sound are sensed in the display area 210 in the display unit 203. In addition to the display, the display area 211 displays parameter names and parameter values.
[0088]
The display in the display area 211 corresponds to each of the function switches 206 to 209 arranged at the lower part of the display unit 203. For example, by pressing any one of the function keys 206 to 209, the parameter displayed immediately above the pressed key is selected. When the rotary encoder 204 is rotated, the parameter is changed. In addition, for example, another page can be displayed on the display unit 203 by a predetermined operation. On different pages, different parameter values can be changed.
[0089]
On the other hand, in this embodiment, a ripple corresponding to the currently set parameter value is displayed in the display area 210, and the effect (sound spread) of the reverberant sound by the parameter value can be grasped sensuously. Has been. 10 and 11 show examples of display in the display area 210. FIG. As the reverberation time is changed from a short value to a long value, the wave number of the ripple is increased as shown in FIGS. 10A to 10H and FIGS. 11A to 11H.
[0090]
In this example, the ripple has a 16-step display corresponding stepwise to values from the minimum value to the maximum value of the reverberation time. This 16-step display is relative to the reverberation time. Display data for displaying ripples is stored in the CD-ROM 45. For example, when the apparatus 1 is activated, it is read from the CD-ROM 45 in advance and stored in the RAM of the controller 40. Not limited to this, it may be stored in advance in the ROM of the controller 40. When the parameters of the reverberation time are determined, the display of the ripples is retained at that time.
[0091]
By performing such display, a visual impression can be given to the user. The user can grasp the effect of reverberation sensuously. That is, the user can visually grasp the spread of the reverberant sound by the ripples.
[0092]
In this example, the ripples are displayed so as to spread from the lower left to the upper right of the display area 210, but this is not limited to this example. FIG. 12 shows another example of ripple display on the display area 210. The center point of the ripple and the direction in which the ripple spreads can be arbitrarily set. For example, the left end can be the center of the ripple (FIG. 12A). Further, the center of the display area 210 may be the center of the ripples (FIG. 12B). Furthermore, a ripple cross section may be displayed (FIG. 12C). Further, the shape of the ripples can be changed according to the type of the selected reverberation sound. Furthermore, in this example, the ripples are displayed in a fixed manner, but a plurality of pieces of display data are prepared for one stage parameter, and these are continuously switched to display an animation display. You can also
[0093]
Next, the impulse response convolution calculation performed by the DSPs 32A to 32M and the DSPs 60A to 60M will be described. Here, in order to avoid complication, the calculation performed only by the DSPs 32A to 32K without using the option board 50 will be described.
[0094]
FIG. 13 schematically shows processing in each of the DSPs 32A to 32K. The impulse response data is read from, for example, the CD-ROM 45 under the control of the controller 40, supplied in advance to the DSPs 32A to 32K, and stored in DRAMs provided in the DSPs 32A to 32K, respectively. In each of the DSPs 32A to 32K, the impulse response data is divided at predetermined intervals on the time axis corresponding to the processing block size determined for each.
[0095]
Here, the DSPs 32 </ b> A to 32 </ b> K are represented as the DSP 32, and the unit of the impulse response processed by the DSP 32 is N. For example, in this example, N = 128 because the DSP 32A is designed to perform a convolution operation of impulse response data of 128 points. In the following description, one word corresponds to one sampling data of a digital audio signal. Therefore, one word has a time interval of (1 / sampling frequency) on the time axis, and the digital data has a quantization bit number (24 bits).
[0096]
The input data supplied to the DSP 32 is cut into block data consisting of N words. Therefore, the time for the first N words is spent inputting data. The input N word data is stored in the DRAM of the DSP 32. Then, the impulse response convolution operation is performed on the stored input data for N words in the time corresponding to the next N words. When all the calculations are completed, the calculation results for N words are output. Therefore, in the calculation of N words, a delay of 2N words occurs with respect to data input / output.
[0097]
FIG. 14 shows the process in the DSP 32 in more detail. In the DSP 32, a convolution calculation of an impulse response is performed using an overlap save method in a cyclic convolution which is a well-known technique.
[0098]
That is, as shown in FIG. 14, DFT (Discrete) is applied to the nth block 80B and the previous (n−1) th block 80A supplied every N words according to the time axis. (Fourier Transform) is performed to convert the data on the time axis into frequency element data 81 composed of a real part 81A of (N + 1) words and an imaginary part 81B of (N-1) words.
[0099]
On the other hand, the impulse response data 82 is DFT in advance with respect to N words of real data 82A and zero data 82B, respectively, and frequency element data comprising a real part 83A of (N + 1) words and an imaginary part 83B of (N-1) words. 83.
[0100]
The frequency elements corresponding to each other of the frequency element data 81 based on the input data and the frequency element data 83 based on the impulse response are multiplied, and a filtering process (convolution) is performed for adding the same frequency components to the multiplication result. As a result of this calculation, frequency element data 84 including a real part 84A of (N + 1) words and an imaginary part 84B of (N-1) words is obtained. The frequency element data 84 is subjected to IDFT, which is the inverse process of DFT, to obtain data 86 on the time axis composed of 2N words.
[0101]
The result of IDFT is obtained 2N words at intervals of N words, as shown in data 85, 86, 87 in FIG. In each of the data 85, 86, and 87, the first half N words of data 85A, 86A, and 87A are discarded, and the (n-1) th block, the nth block, the (n + 1) th block, and so on. In this way, output data is obtained. The nth output data is delayed by 2 blocks with respect to the corresponding nth input data.
[0102]
A long reverberation time can be obtained by increasing the block size and performing a convolution calculation of more impulse response data in a single process. However, as described above, there is a delay of two blocks until the input block is output. Therefore, if one block is increased, the delay time until the reverberation processing component is output becomes longer. Not practical. Therefore, in this embodiment, processing for obtaining a desired reverberation time is performed in parallel for each of a plurality of blocks divided into a predetermined number of points (number of words).
[0103]
FIG. 15 and FIG. 16 show the convolution operation processing divided into a plurality of blocks according to this embodiment. For example 2 18 Consider a case where a word (256k word) convolution operation is performed. In this case, the digital audio signal is convolved with impulse response data of 256k words (256k points). A reverberation time of approximately 5.3 sec is obtained when the sampling frequency is 48 kHz, and a reverberation time of approximately 5.9 sec is obtained when the sampling frequency is 44.1 kHz.
[0104]
As shown in an example in FIG. 15, the entire 256k word is divided into two, and the side that is positioned on the time axis among the two divided is further divided into two. In this way, the side positioned in front on the time axis is sequentially divided into two. Of the two divided parts, each of the rear side positions on the time axis is further divided into two parts to form two blocks of the same size.
[0105]
FIG. 16 shows an enlarged portion A of the first 8k words in FIG. This portion A is also divided into two in the same manner, but for the first 256 words, two 128-word blocks are formed, and impulse response convolution is performed for these two blocks. Therefore, the reverberation component is output after being delayed by the first 256 words. However, for example, when the sampling frequency is 48 kHz, this is a delay of only 5 msec, and there is no problem in terms of reverberation.
[0106]
Thus, the whole is 2 18 In this example of words (256k words), 2 7 Word (128 words), 2 8 Word (256 words), 2 9 Word (512 words), 2 Ten Word (1k word), 2 11 Word (2k words), 2 12 Word (4k words), 2 13 Word (8k words), 2 14 Word (16k words), 2 15 Word (32k words) and 2 16 2 words (64k words) n Two blocks each having a word size are formed.
[0107]
In the DSPs 32 </ b> A to 32 </ b> K, processing is performed for each group having the same block size. That is, as shown in FIGS. 15 and 16, the input data supplied to the DSPs 32A to 32K is 128 words for the DSP 32A, 256 words for the DSP 32B, 512 words for the DSP 32C, and 512 words for the DSP 32D. 1k word, 2k word with DSP32E, 4k word with DSP32F, 8k word with DSP32G, 16k word with DSP32H, 32k word with DSP32I, and 64k word with DSP32J and 32K.
[0108]
In each of the processes from 128 words to 32k words, the convolution process for two blocks having the same block size is performed in a time division manner by one DSP.
[0109]
That is, in each of the DSPs 32 </ b> A to 32 </ b> K, a convolution operation is performed on the extracted block data using the corresponding impulse response data. The latter half blocks of the set having the same block size are output after being delayed by one block after processing. As a result, in each of the DSPs 32A to 32K, two blocks of the same size are continuously output. By adding the outputs of the DSPs 32A to 32K by the adder 33, reverberation data 88 is generated.
[0110]
The data continuously supplied to each of the DSPs 32A to 32K is processed in the respective cycles of the DSPs 32A to 32K, and the results are added to thereby continuously supply the data. It is well known that reverberant sound can be added to.
[0111]
FIG. 17 shows an example of the configuration of a convolution filter 70 for performing a convolution operation in each of the DSPs 32A to 32K. The convolution filter 70 is realized based on a predetermined program supplied from the controller 40 to the DSPs 32A to 32K, for example. A digital audio signal is input from the terminal 71 and supplied to the DFT circuit 72. The digital audio signal is converted from data on the time axis into frequency element data by the DFT circuit 72. The output of the DFT circuit 72 is supplied to the multiplier 74 and also to the delay circuit 73.
[0112]
The delay circuit 73 has a delay of N words. That is, the DSPs 32A to 32K have N = 128, 256, 512, 1k, 2k, 4k, 8k, 16k, 32k, and 64k, respectively, and have corresponding delay amounts. The data delayed by the delay circuit 73 is supplied to the multiplier 76.
[0113]
The multiplier 74 is supplied with a filter coefficient A, which is DFT-impulse response data, from a terminal 75. The multiplier 74 multiplies the output of the DFT circuit 72 and the corresponding frequency element of the filter coefficient A. On the other hand, the multiplier 76 performs the same processing. That is, the filter coefficient B which is the DFT impulse response data is supplied from the terminal 77, and the output from the delay circuit 73 and the corresponding frequency element of the filter coefficient B are multiplied.
[0114]
The multiplication results of the multipliers 74 and 76 are added by an adder 78. The addition result is supplied to the IDFT circuit 79, and the frequency element data is converted into data on the time axis and output from the terminal 80.
[0115]
As described above, the convolution filter 70 performs a convolution operation using two blocks of data, that is, input data and N words, that is, input data delayed by one block, so that two words of data are obtained. Is output. As already described with reference to FIG. 14, the first half of the output data of two words is discarded.
[0116]
FIG. 18 shows processing of the convolution filter 70 based on the configuration of FIG. 17 described above corresponding to the time axis. Input data is shown on the left end side of FIG. 18, and output data is shown on the right end side. Moreover, FIG. 18 generally shows the passage of time from the upper side to the lower side. That is, although it has been shown that there are a plurality of filters 70, these indicate processing at different timings of one filter. In this manner, the result of DFT at the previous timing is delayed by the delay circuit 73 and used for the filter processing at the next timing. Therefore, output data delayed by two blocks with respect to input data is continuously output.
[0117]
FIG. 19 is a functional block diagram illustrating an outline of parallel processing of the DSPs 32A to 32K. Input data is supplied in parallel to each of the DSPs 32A to 32K. DSPs 32A-32K convolve points of N = 128, N = 256, N = 512, N = 1k, N = 2k, N = 4k, N = 8k, N = 16k, N = 32k and N = 64k, respectively. I do. The calculation result is delayed by 2N words from each of the DSPs 32 </ b> A to 32 </ b> K and supplied to the adder 22.
[0118]
For example, the input data supplied to the DSP 32A is cut out into blocks each consisting of N = 128 words, convolved with the cut out blocks, delayed by 2N words with respect to the input timing, and the operation result is output. The Then, the next block of N words is fetched and the same processing is repeated. The same processing is performed in each of the DSPs 32B to 32K.
[0119]
In the above description, the impulse response collection device 97 and the reverberation adding device 1 are described as separate devices, but this is not limited to this example. That is, the reverberation adding apparatus 1 is provided with a measurement signal generation unit 90 that generates a TSP signal, a synchronous addition unit 94, and an impulse response conversion unit 95. Needless to say, these can be constituted by a CPU and some peripheral components. It is also possible to use the DSP 30 or the DSP 34 that the reverberation adding apparatus 1 originally has. In this way, by providing the reverberation adding apparatus 1 with a function of collecting impulse responses, it is possible to obtain user-specific sound effects.
[0120]
In the above description, the impulse response convolution process is performed by hardware such as DSPs 32 </ b> A to 32 </ b> K. However, this is not limited to this example, and may be performed by software processing. Similarly, the processing of the DSPs 30 and 34 can be performed by software.
[0121]
【The invention's effect】
As described above, according to the present invention, since the impulse response actually obtained by measurement in a real space or a steel plate echo device or the like is convolved to generate a reverberation sound, it is natural and high-quality. There is an effect that a processing result can be obtained.
[0122]
That is, according to the present invention, there is an effect that the pitch of the reverberant sound becomes equal to the pitch of the input sound.
[0123]
In addition, according to the present invention, the impulse response is obtained by performing the measurement by the TSP signal a plurality of times and synchronously adding the obtained results for a plurality of times. Thus, there is an effect that a higher S / N ratio can be realized than the reverberation sound obtained by the above.
[0124]
Furthermore, according to the present invention, the reverberation time can be adjusted by processing the impulse response data obtained from the iron plate echo device or the real space.
[0125]
Furthermore, according to the present invention, there is an effect that a device or space that does not actually exist can be created by synthesizing impulse response data obtained from different iron plate echo devices or real spaces.
[0126]
Further, according to the present invention, if the impulse response is measured in the best condition, there is an effect that there is no need for maintenance as in the actual space such as an actual iron plate echo device or a hall.
[0127]
Furthermore, according to this embodiment, since the reverberation sound is added using the impulse response actually obtained by the measurement in the real space or the iron plate echo device or the like, the reverberation sound in another space or device is instantaneously provided. There is an effect that can be replaced.
[0128]
Similarly, there is an effect that the reverberation recorded by another microphone can be instantaneously replaced.
[0129]
Furthermore, according to this embodiment, compared with an actual iron plate echo device, an actual hall, etc., there is an effect that it is lighter and more compact and can easily obtain a high-quality reverberation sound.
[0130]
In addition, according to the present invention, there is an effect that if an impulse response of a device that is difficult to obtain or a space that is disassembled is measured and recorded on a recording medium, it can be reproduced later.
[0131]
Furthermore, according to this embodiment, there is an effect that a sound effect unique to the user can be obtained by incorporating the function of collecting impulse responses in the reverberation adding device.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a reverberant sound according to an embodiment compared with a reverberant sound of a conventional recursive filter.
FIG. 2 is a block diagram showing an example of the configuration of an impulse response collection device according to the present invention.
FIG. 3 is a schematic diagram illustrating an example of collecting impulse responses at holes.
FIG. 4 is a schematic diagram illustrating an example of impulse response processing.
FIG. 5 is a schematic diagram illustrating an example of impulse response processing.
FIG. 6 is a block diagram schematically showing an example of the configuration of a reverberation adding apparatus that performs convolution using impulse response data.
FIG. 7 is a block diagram showing more specifically an example of the configuration of a reverberation adding apparatus.
FIG. 8 is a block diagram illustrating an example of a configuration of an option board of the reverberation adding device.
FIG. 9 is a schematic diagram illustrating an example of a front panel of a reverberation adding device.
FIG. 10 is a schematic diagram illustrating an example of ripples displayed in a display area.
FIG. 11 is a schematic diagram illustrating an example of ripples displayed in a display area.
FIG. 12 is a schematic diagram illustrating another example of ripples displayed in the display area.
FIG. 13 is a schematic diagram schematically illustrating processing in each DSP that performs a convolution operation;
FIG. 14 is a schematic diagram showing the process in each DSP in more detail.
FIG. 15 is a schematic diagram illustrating a convolution operation process divided into a plurality of blocks.
FIG. 16 is a schematic diagram illustrating a convolution operation process divided into a plurality of blocks.
FIG. 17 is a block diagram illustrating an example of a configuration of a convolution filter in each DSP.
FIG. 18 is a schematic diagram illustrating convolution filter processing corresponding to a time axis;
FIG. 19 is a schematic diagram illustrating an example in which different N words are processed in parallel.
FIG. 20 is a block diagram showing an example of a configuration that convolves an impulse response in the time axis direction using an FIR filter.
FIG. 21 is a block diagram illustrating an example of a configuration in which an input signal and impulse response data are each subjected to Fourier transform to be converted into frequency element data.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Reverberation addition apparatus, 30 ... DSP, 32A-32M ... DSP, 33 ... Adder, 34 ... DSP, 40 ... Controller, 42 ... Display part by LCD, 43 ... Input unit, 44 ... CD-ROM drive, 45 ... CD-ROM, 50 ... Option board, 60A-60M ... DSP, 61 ... Adder, 62 ... DSP: 90... Measurement signal generator, 94... Synchronous adder, 95... Impulse response converter 95, 96 L, 96 R... Impulse response data, 97. ... Convolution filters

Claims (6)

インパルス応答のたたみ込みを行うことによって効果音を生成する際に用いられるインパルス応答の収集方法において、
測定用音響信号を発生する測定用音響信号発生のステップと、
上記測定用音響信号発生のステップで発生された上記測定用音響信号に対応する音響信号が入力される入力のステップと、
上記入力のステップで入力された上記音響信号を、上記測定用音響信号の逆特性の信号で割ることでインパルス応答に変換する変換のステップと
を有し、
上記測定用音響信号発生のステップで発生された上記測定用音響信号を、機械的振動子を用いて残響音を発生させる残響音発生装置に対して供給したときに該残響音発生装置から出力される音響信号を上記入力のステップで入力することで、該残響音発生装置によるインパルス応答を収集するようにした
ことを特徴とするインパルス応答の収集方法。
In the impulse response collection method used when generating sound effects by convolving the impulse response,
Generating an acoustic signal for measurement to generate an acoustic signal for measurement;
An input step in which an acoustic signal corresponding to the measurement acoustic signal generated in the measurement acoustic signal generation step is input;
A step of converting the acoustic signal input in the input step into an impulse response by dividing the acoustic signal by a signal having an inverse characteristic of the measurement acoustic signal;
When the measurement acoustic signal generated in the measurement acoustic signal generation step is supplied to a reverberation sound generation device that generates a reverberation sound using a mechanical vibrator, it is output from the reverberation sound generation device. An impulse response collecting method characterized in that an impulse response by the reverberant sound generating device is collected by inputting an acoustic signal to be input in the input step.
請求項1に記載のインパルス応答の収集方法において、
上記測定用音響信号発生のステップは、上記測定用音響信号を複数回、発生し、
上記複数回、発生された上記測定用音響信号による測定結果を同期加算する同期加算のステップをさらに有し、
上記変換のステップでは、上記インパルス応答への変換を、上記同期加算のステップでの加算結果に基づいて行う
ことを特徴とするインパルス応答の収集方法。
The impulse response collection method according to claim 1,
The measurement acoustic signal generation step generates the measurement acoustic signal a plurality of times,
The method further includes a step of synchronous addition for synchronously adding the measurement results by the measurement acoustic signal generated a plurality of times.
In the conversion step, the conversion to the impulse response is performed based on the addition result in the synchronous addition step.
請求項1に記載のインパルス応答の収集方法において、
上記変換のステップで変換されたインパルス応答を加工する加工のステップをさらに有することを特徴とするインパルス応答の収集方法。
The impulse response collection method according to claim 1,
The impulse response collection method further comprising a machining step of machining the impulse response converted in the conversion step.
コンピュータによって読み取り可能で着脱可能な記録媒体であって、
機械的振動子を用いて残響音を発生させる残響音発生装置に対して供給した測定用音響信号に応じて該残響音発生装置から出力された音響信号を、上記測定用音響信号の逆特性の信号で割ることでインパルス応答に変換して得られた、該残響音発生装置によるインパルス応答データが記録された
ことを特徴とするコンピュータによって読み取り可能な記録媒体。
A recording medium readable and removable by a computer,
The acoustic signal output from the reverberation sound generator according to the measurement acoustic signal supplied to the reverberation sound generator that generates the reverberation sound using a mechanical vibrator is converted into the inverse characteristic of the measurement acoustic signal. A computer-readable recording medium on which impulse response data by the reverberation sound generator obtained by dividing the signal into an impulse response is recorded.
請求項4に記載の記録媒体において、
複数回発生された上記測定用音響信号により得られた測定結果を同期加算した加算結果を用いて、上記インパルス応答への変換が行われている
ことを特徴とするコンピュータによって読み取り可能な記録媒体。
The recording medium according to claim 4,
A computer-readable recording medium, wherein conversion to the impulse response is performed using an addition result obtained by synchronously adding measurement results obtained from the measurement acoustic signal generated a plurality of times.
測定用信号を機械的振動子に与えたときに発生する機械的振動子の振動を測定し、測定された振動をインパルス応答に変換して得られたインパルス応答データを、入力されたディジタルオーディオ信号に対してたたみ込むことによって効果音を付加する効果音付加装置において、
インパルス応答データが記録された記録媒体から上記インパルス応答データを再生する再生手段と、
ディジタルオーディオ信号を入力する入力手段と、
上記入力手段で入力された上記ディジタルオーディオ信号を、時間軸上で後から前に向けて順次、1/2に分割し、分割されたそれぞれをさらに1/2に分割する分割手段と、
上記分割手段で上記順次、1/2に分割された上記ディジタルオーディオ信号のそれぞれについて、上記さらに1/2に分割された上記ディジタルオーディオ信号の一方と他方とを、上記再生手段で再生された上記インパルス応答データの対応するデータに基づきフィルタ処理を施してたたみ込む、複数のたたみ込み手段と
を有する
ことを特徴とする効果音付加装置。
The vibration of the mechanical vibrator generated when the measurement signal is applied to the mechanical vibrator is measured, and the impulse response data obtained by converting the measured vibration into the impulse response is used as the input digital audio signal. in the sound effect adding apparatus for adding a sound effect by writing Tami had to,
Reproducing means for reproducing the impulse response data from a recording medium on which the impulse response data is recorded;
An input means for inputting a digital audio signal;
Dividing means for sequentially dividing the digital audio signal input by the input means into ½ on the time axis from the rear to the front, and further dividing each divided into ½;
For each of the digital audio signals sequentially divided by half by the dividing means, one and the other of the digital audio signals further divided by half are reproduced by the reproducing means. A sound effect adding device comprising: a plurality of convolution means for convolving by performing a filtering process based on data corresponding to impulse response data.
JP26991798A 1998-09-24 1998-09-24 Impulse response collection method, sound effect adding device, and recording medium Expired - Fee Related JP3975577B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP26991798A JP3975577B2 (en) 1998-09-24 1998-09-24 Impulse response collection method, sound effect adding device, and recording medium
AU50093/99A AU5009399A (en) 1998-09-24 1999-09-23 Impulse response collecting method, sound effect adding apparatus, and recording medium
EP99307562A EP0989540A1 (en) 1998-09-24 1999-09-24 Impulse response collecting method, sound effect adding apparatus, and recording medium
US11/131,791 US7257230B2 (en) 1998-09-24 2005-05-18 Impulse response collecting method, sound effect adding apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26991798A JP3975577B2 (en) 1998-09-24 1998-09-24 Impulse response collection method, sound effect adding device, and recording medium

Publications (2)

Publication Number Publication Date
JP2000097762A JP2000097762A (en) 2000-04-07
JP3975577B2 true JP3975577B2 (en) 2007-09-12

Family

ID=17479024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26991798A Expired - Fee Related JP3975577B2 (en) 1998-09-24 1998-09-24 Impulse response collection method, sound effect adding device, and recording medium

Country Status (1)

Country Link
JP (1) JP3975577B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4770440B2 (en) 2005-12-13 2011-09-14 ソニー株式会社 Signal processing apparatus and signal processing method
US8150069B2 (en) 2006-03-31 2012-04-03 Sony Corporation Signal processing apparatus, signal processing method, and sound field correction system
JP4285531B2 (en) 2006-11-29 2009-06-24 ソニー株式会社 Signal processing apparatus, signal processing method, and program
JP4466658B2 (en) 2007-02-05 2010-05-26 ソニー株式会社 Signal processing apparatus, signal processing method, and program
EP3621318B1 (en) 2016-02-01 2021-12-22 Sony Group Corporation Sound output device and sound output method

Also Published As

Publication number Publication date
JP2000097762A (en) 2000-04-07

Similar Documents

Publication Publication Date Title
US7257230B2 (en) Impulse response collecting method, sound effect adding apparatus, and recording medium
US6664460B1 (en) System for customizing musical effects using digital signal processing techniques
EP0989543B1 (en) Sound effect adding apparatus
US20060147050A1 (en) System for simulating sound engineering effects
US7095860B1 (en) Audio dynamic control effects synthesizer with or without analyzer
JP3855490B2 (en) Impulse response collecting method, sound effect adding device, and recording medium
US5317104A (en) Multi-timbral percussion instrument having spatial convolution
JP3975577B2 (en) Impulse response collection method, sound effect adding device, and recording medium
JP3482685B2 (en) Sound generator for electronic musical instruments
EP0917707B1 (en) Audio effects synthesizer with or without analyser
JP2000099066A (en) Display method and effect sound adding device
AU2004203538B2 (en) Sound effect adding apparatus
JP3266974B2 (en) Digital acoustic waveform creating apparatus, digital acoustic waveform creating method, digital acoustic waveform uniforming method in musical tone waveform generating device, and musical tone waveform generating device
JPH08234759A (en) Musical sound signal generating device
JP2000099067A (en) Control method
JP3538908B2 (en) Electronic musical instrument
JP2000099062A (en) Digital signal processor and effect sound adding device
JP2000099060A (en) Digital signal processor
JP3197077B2 (en) Localized sound image generator
US5541357A (en) Electronic instrument for synthesizing sound based on waveforms of different frequencies
JPH0863154A (en) Electronic musical instrument having localized movement feeling reproducing function
JP2754613B2 (en) Digital audio signal generator
JP2890530B2 (en) Audio speed converter
JP2679175B2 (en) Audio signal generator
JP2004053932A (en) Waveform reproducing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees