JP3584800B2 - 音場再現方法およびその装置 - Google Patents

音場再現方法およびその装置 Download PDF

Info

Publication number
JP3584800B2
JP3584800B2 JP26596699A JP26596699A JP3584800B2 JP 3584800 B2 JP3584800 B2 JP 3584800B2 JP 26596699 A JP26596699 A JP 26596699A JP 26596699 A JP26596699 A JP 26596699A JP 3584800 B2 JP3584800 B2 JP 3584800B2
Authority
JP
Japan
Prior art keywords
sound
sound source
actual
sound receiving
receiving element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26596699A
Other languages
English (en)
Other versions
JP2001125578A (ja
Inventor
秀生 宮崎
寧 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP26596699A priority Critical patent/JP3584800B2/ja
Priority to US09/640,348 priority patent/US6608903B1/en
Publication of JP2001125578A publication Critical patent/JP2001125578A/ja
Application granted granted Critical
Publication of JP3584800B2 publication Critical patent/JP3584800B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Description

【0001】
【発明の属する技術分野】
この発明は、ホール等の任意の音場を別の空間で再現する音場再現方法および該方法を実施するための装置に関し、楽器等音源の指向特性や演奏者の向き等の演奏状況等による音の違いを再現可能にして、より臨場感のある音場再現を可能にしたものである。
【0002】
【従来の技術】
ホール等の任意の音場をリスニングルームや実験室等で再現する従来の手法を説明する。図2に示すように、再現対象のホール等の音場10内のステージ12上等に音源Sを設定し、客席14等に受音点Rを設定する。受音点Rの周囲の空間を、図3に示すように、該受音点Rを中心とした適宜の立体角の受音要素領域R1,R2,……,Rj,……,Rmに分割する。図3の例では水平面内を8分割、斜め上方を4分割の合計12分割(m=12)にした例を示す。図4に示すように(図4、図6の受音要素領域R1〜Rmは、図3の分割形態を模式的に図示している。)、音源Sとして無指向性音源を用い、該音源Sから放射されて音場10内を通って受音点Rに到達する音を指向性マイクロホンにより方向別に測定または計算し、該測定または計算結果に基づき、音源Sから放射された音が音場10内を通って各受音要素領域R1〜Rmから入って受音点Rに到達する際のインパルス応答を、各受音要素領域R1〜Rmごとに求める。
【0003】
求められた各受音要素領域R1〜Rmごとのインパルス応答h1 〜hm に基づき任意の実際の空間で音場10を再現する場合のシステム構成を図5に示す。リスニングルームや実験室等の任意の実際の空間16内で、リスナーや被験者が受聴を行う実際の受音点Rr(通常は空間16の平面内中央部)の周りに、前記各受音要素領域R1〜Rm(図3)に対応する方向にスピーカSP1〜SPmを配置する(図5ではスピーカSP1〜SPmの配置位置を図4の受音要素領域R1〜Rmの表示形態に合わせて模式的に図示している。)。DAT(ディジタル・オーディオ・テープレコーダ)やCD(コンパクト・ディスク)プレーヤ等の音源装置18から再生される左右2チャンネル音響信号は1チャンネルに合成され、ヘッドアンプ19を介してFIRフィルタ20−1乃至20−m(畳み込み演算器)に入力される。FIRフィルタ20−1乃至20−mには、前記求められたインパルス応答h1 〜hm が畳み込み演算のパラメータとして設定されている。1チャンネル音響信号はFIRフィルタ20−1乃至20−mでそれぞれ畳み込み演算されて、各受音要素領域R1〜Rmに対応した方向ごとの音響信号(反射音信号)が生成される。該生成された各音響信号は、アンプ22−1乃至22−mで増幅されて、各対応するスピーカSP1〜SPmからそれぞれ再生される。また、音源装置18から左右2チャンネルで再生される音響信号は、直接音として別途受音点Rrの前方左右位置からそのまま再生される。このようにして、受音点Rrにいる受聴者は、あたかも図2の音場10の客席14にいる雰囲気で音楽を鑑賞することができる。
【0004】
以上は図2のステージ12上で演奏している音楽を客席14で聴く状態を再現したものであるが、ステージ12上で演奏している音楽をステージ12上で実時間で聴く状態を再現すれば、演奏者が音場10にいる雰囲気でリハーサル等を行うことができる。その再現手法を説明する。図2の音場10において、ステージ12上の音源Sを同時に受音点Rとする。受音点R(=音源S)の周囲の空間を前記図3と同様に、該受音点Rを中心とした適宜の立体角の受音要素領域R1〜Rmに分割する。図6に示すように、音源Sとして無指向性音源を用い、該音源Sから放射されて音場10内を通って受音点R(=音源S)に到達する音を指向性マイクロホンにより方向別に測定または計算し、該測定または計算結果に基づき、音源Sから放射された音が音場10内を通って各受音要素領域R1〜Rmから入って受音点Rに到達する際のインパルス応答を、各受音要素領域R1〜Rmごとに求める。
【0005】
求められた各受音要素領域R1〜Rmごとのインパルス応答h1 〜hm に基づき任意の実際の空間で音場10を再現する場合のシステム構成を図7に示す。リスニングルームや実験室等の任意の実際の空間16内で、演奏者が演奏を行う位置(実際の音源Srおよび実際の受音点Rr。通常は空間16の平面内中央部)の上方等にマイクロホン24を配置し、該演奏位置の周りに、前記各受音要素領域R1〜Rm(図3)に対応する方向にスピーカSP1〜SPmを配置する(図7ではスピーカSP1〜SPmの配置位置を図6の受音要素領域R1〜Rmの表示形態に合わせて模式的に図示している。)。マイクロホン24で収音された1チャンネルの音響信号(演奏信号)はヘッドアンプ19を介してFIRフィルタ20−1乃至20−m(畳み込み演算器)に入力される。FIRフィルタ20−1乃至20−mには、前記求められたインパルス応答h1 〜hm が畳み込み演算のパラメータとして設定されている。1チャンネル音響信号はFIRフィルタ20−1乃至20−mでそれぞれ畳み込み演算されて、各方向ごとの音響信号(反射音信号)が生成される。該生成された各音響信号は、アンプ22−1乃至22−mで増幅されて、各対応するスピーカSP1〜SPmからそれぞれ再生される。このようにして、音源Srおよび受音点Rrにいる演奏者は、あたかも図2の音場10のステージ12上にいる雰囲気でリハーサルを行うことができる。
【0006】
【発明が解決しようとする課題】
前記従来の音場再現方法によれば、音源Sを無指向性として求めた各受音要素領域R1〜Rmごとのインパルス応答h1 〜hm を用いている。しかし、実際の音場10内におけるインパルス応答は音源Sの指向特性の影響を受ける。例えば、トランペットのような指向性の強い楽器は、ステージ12上で客席14に対し正面を向いて演奏した場合と、横を向いて演奏した場合と、後ろを向いて演奏した場合では、客席14で聴いている人にとっても演奏者にとっても聴感が大きく変化する。ところが、前記従来の音場再現方法では、例えば図7のシステム構成において、マイクロホン24の真下にいる演奏者がトランペットを演奏しながら水平面内で向きを変えても、スピーカSP1〜SPmから再生される音は変化しない。つまり、楽器の指向特性や演奏者の向きによる音の違いを再現することができなかった。
【0007】
この発明は、前記従来の技術における問題点を解決して、楽器等音源の指向特性や演奏者の向き等の演奏状況等による音の違いを再現可能にして、より臨場感のある音場再現を可能にした音場再現方法およびその装置を提供しようとするものである。
【0008】
【課題を解決するための手段】
この発明の音場再現方法は、再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を前記各音源要素領域と前記各受音要素領域の組み合わせごとに計算または実測で求め、任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置にマイクロホンを配置し、任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置にスピーカを配置し、該実際の音源から放射される音を前記各マイクロホンで収音し、該各収音信号をそれぞれ対応する方向の音源要素領域について求めたインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号をそれぞれ対応する方向の受音要素領域に対応して配置されたスピーカからそれぞれ再生するものである。
【0009】
これによれば、再現しようとする音場の音源の周囲の空間を分割した音源要素領域と受音点の周囲の空間を分割した受音要素領域の組み合わせごとにインパルス応答を求め、演奏等を行う実際の空間で音源要素領域に対応する方向ごとにマイクロホンを配置して該演奏等を収音し、再生を行う実際の空間で受音要素領域に対応する方向ごとにスピーカを配置し、マイクロホンで収音した信号を対応する音源要素領域のインパルス応答で畳み込み演算して、対応する受音要素領域のスピーカで再生するようにしたので、指向性を有する楽器を演奏すれば、その向きに応じて異なる音が再生される。例えば、演奏を行う実際の空間内で、再現しようとする音場のステージ上で客席に対し正面に相当する方向を向いて演奏すれば、客席を向いて演奏しているように聞こえ、客席に対し後ろ向きに相当する方向を向いて演奏すれば、客席に対し後ろを向いて演奏しているように聞こえる。このようにして、楽器等音源の指向特性や演奏者の向き等の演奏状況等による音の違いが再生され、より臨場感のある音場再現が可能になる。
【0010】
この発明の音場再現方法では、マイクロホンによる収音、インパルス応答との畳み込み演算、スピーカによる再生の一連の動作を例えば実時間で行うことができる。また、マイクロホンで収音した信号を一旦録音し、その後該信号を再生して、インパルス応答との畳み込み演算をしてスピーカで再生することもできる。また、再現対象の音場内で、音源と受音点を例えば同一位置に設定してインパルス応答を求めることができる。また、再現対象の音場内で、音源と受音点を別々の位置に設定してインパルス応答を求めることもできる。また、演奏等を行う実際の音源と受聴を行う実際の受音点を、例えば同一空間内の同一位置に設定することができる。また、演奏等を行う実際の音源と受聴を行う実際の受音点を別々の空間内に設定することもできる。また、音源要素領域と受音要素領域の分割形態(分割数、分割パターン)は同一にまたは異ならせて設定することができる。演奏等を行う実際の音源と受聴を行う実際の受音点を同一空間の同一位置に設定し、かつ音源要素領域と前記受音要素領域の分割形態を等しく設定する場合には、前記マイクロホンと前記スピーカを該分割形態に合わせてそれぞれ対にして配置することができる。
【0011】
この発明の音場再現方法によれば、例えば再現対象の音場(ホール等)内で音源と受音点をステージ上の同一位置に設定して各インパルス応答を求め、演奏を行う実際の空間(スタジオ、実験室等)内で実際の音源と実際の受音点を同一位置に設定してマイクロホンとスピーカを配置し、マイクロホンによる収音、インパルス応答との畳み込み演算、スピーカによる再生の一連の動作を実時間で行えば、演奏者はステージ上にいる雰囲気でリハーサルを行うことができる。また、再現対象の音場内で音源をステージ上に設定し受音点を客席に設定して各インパルス応答を求め、演奏を行う実際の空間内で実際の音源の周りにマイクロホンを配置して演奏を収音して録音し、録音後これを再生して各対応するインパルス応答と畳み込み演算して実際の受音点の周りのスピーカから再生すれば、演奏者自身が自分の演奏が客席でどのように聞こえるかを確かめることができる。また、再現対象の音場内で音源をステージ上に設定し受音点を客席に設定して各インパルス応答を求め、演奏を行う実際の空間内で実際の音源の周りにマイクロホンを配置して演奏を収音して録音し、実時間で各対応するインパルス応答と畳み込み演算して別の実際の空間で実際の受音点の周りのスピーカから再生すれば、遠隔地間でライブコンサート等を行うことができる。
【0012】
この発明の音場再現装置は、再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を畳み込み演算のパラメータとして前記各音源要素領域と前記各受音要素領域の組み合わせごとに設定した畳み込み演算器と、該各畳み込み演算器の出力信号を各対応する受音要素領域ごとに加算合成する加算器と、任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置に配置されたマイクロホンと、任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置に配置されたスピーカとを具備し、前記実際の音源から放射される音を前記各マイクロホンで収音し、該各収音信号を前記畳み込み演算器にてそれぞれ対応する方向の音源要素領域に関するインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号を前記加算器でそれぞれ対応する方向の受音要素領域ごとに加算合成し、該各受音要素領域に対応して配置されたスピーカからそれぞれ再生するものである。この音場再現装置によれば、この発明の音場再現方法を実施することができる。この場合、前記再現対象の音場内で前記音源と前記受音点が同一位置に設定され、前記実際の音源と前記実際の受音点が同一空間内の同一位置に設定され、前記マイクロホンによる収音、前記畳み込み演算および加算合成、前記スピーカによる再生の一連の動作を実時間で行うようにすれば、演奏者は例えばステージ上にいる雰囲気でリハーサルを行うことができる。
【0013】
また、この発明の音場再現装置は、再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内の別の位置に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を畳み込み演算のパラメータとして前記各音源要素領域と前記各受音要素領域の組み合わせごとに設定した畳み込み演算器と、該各畳み込み演算器の出力信号を各対応する受音要素領域ごとに加算合成する加算器と、任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置に配置されたマイクロホンと、該マイクロホンで収音した信号を録音し再生する録音再生装置と、任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置に配置されたスピーカとを具備し、前記実際の音源から放射される音を前記各マイクロホンで収音して前記録音再生装置で録音し、該録音後これを再生して、該再生されたマイクロホンごとの収音信号を前記畳み込み演算器にてそれぞれ対応する方向の音源要素領域に関するインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号を前記加算器でそれぞれ対応する方向の受音要素領域ごとに加算合成し、該各受音要素領域に対応して配置されたスピーカからそれぞれ再生するものである。この音場再現装置によれば、演奏者自身が自分の演奏が例えば客席でどのように聞こえるかを確かめることができる。なお、実際の空間で実際の音源の周りの各音源要素領域に対応する方向の適宜の距離の位置に配置されたマイクロホンで収音して録音した信号が予め用意されている場合には、録音再生装置に代えて再生専用装置で音場再現を行うこともできる。
【0014】
【発明の実施の形態】
この発明の実施の形態を説明する。ここでは、前記図2の音場10を再現するものとする。
(実施の形態1)
ステージ12上の音源Sで演奏して客席14内の受音点Rで受聴する状態を再現する場合(客席モードという。)を説明する。音源Sの周囲の空間(床上のほぼ半球空間)を図8に示すように、該音源Sを中心とした適宜の立体角の音源要素領域S1,S2,……,Si,……,Snに分割する。図8の例では水平面内を8分割、斜め上方を4分割の合計12分割(n=12)にした例を示す。また、受音点Rの周囲の空間(床上のほぼ半球空間)を図9に示すように、該受音点Rを中心とした適宜の立体角の受音要素領域R1,R2,……,Rj,……,Rmに分割する。図9の例では図8の音源要素領域と同一の形態に12分割した例(n,m=12)を示す。図10に示すように(図10の音源要素領域S1〜Sn、受音要素領域R1〜Rmは、図8、図9の分割形態を模式的に図示している。)、音源Sから放射された音が音源要素領域S1〜Snの1つから出て音場10内を直接または反射して通って受音要素領域R1〜Rmの1つから入って受音点Rに到達する際のインパルス応答を、すべての音源要素領域S1〜Snとすべての受音要素領域R1〜Rmの組み合わせについて計算または実測で求める。これにより、表1に示すn×m通りのインパルス応答hi,j (i=1,2,…,n、j=1,2,…,m)が得られる。
【0015】
Figure 0003584800
Figure 0003584800
【0016】
求められたインパルス応答hi,j に基づき任意の実際の空間で音場を再現する場合のシステム構成例を図1に示す。演奏者が演奏を行う実際の空間26の音響特性を、床面は所定の吸音率を持った反射性、床面以外は吸音性のデッドな特性(半無響室、スタジオ等の特性)にする。該空間26内で実際の音源Sr(演奏位置)の周りに、前記各音源要素領域S1〜Sn(図8)に対応する方向に指向性マイクロホンMC1〜MCnを該音源Srに向けて配置する(図1ではマイクロホンMC1〜MCnの配置位置を図10の音源要素領域S1〜Snの表示形態に合わせて模式的に図示している。)。受聴者が演奏音の受聴を行う実際の空間32内の音響特性を望ましくはデッドな特性にする。該空間32内で実際の受音点Rr(受聴位置)の周りに、前記各受音要素領域R1〜Rm(図9)に対応する方向にスピーカSP1〜SPmを該受音点Rrに向けて配置する(図1ではスピーカSP1〜SPmの配置位置を図10の受音要素領域R1〜Rmの表示形態に合わせて模式的に図示している。)。
【0017】
演奏者は演奏を行う空間26内の音源Srの位置で演奏する。その演奏音はマイクロホンMC1〜MCnでそれぞれ収音され、ヘッドアンプ38を介してDAT40でマルチチャンネル録音される。演奏が終了したら録音した演奏を再生する。DAT40から再生される各マイクロホンMC1〜MCnの収音信号は、FIRマトリクス回路42に入力される。FIRマトリクス回路42は各インパルス応答hi,j がパラメータとして設定されたn×m個のFIRフィルタ(畳み込み演算器)と、各FIRフィルタの出力信号を受音要素領域が共通するものどうしを加算合成する加算器をマトリクス状に構成したものである。
【0018】
FIRマトリクス回路42の構成例を図11に示す。FIRマトリクス回路42は、各マイクロホンMC1〜MCnの収音信号をそれぞれ入力するn本の入力ライン44−1乃至44−nと、各スピーカSP1〜SPmへ供給する信号を出力するm本の出力ライン46−1乃至46−mを有し、これら入出力ラインのn×m個の交点にイコライザ48、FIRフィルタ51(畳み込み演算器)、アッテネータ52の直列接続回路がそれぞれ配置されて、入出力ライン間をそれぞれ接続している。FIRフィルタ51には各対応する音源要素領域と受音要素領域の組み合わせについて求められたインパルス応答のパラメータが設定されている。イコライザ48はスピーカの特性を補正するためものであり、アッテネータ52は個別にレベル調整するものであり、通常は両者とも一度設定してしまえば同じシステム構成を使う限り変更する必要はない。入力ライン44−1乃至44−nから入力された各マイクロホンMC1〜MCnの収音信号は、各対応する音源要素領域に関するインパルス応答で畳み込み演算されて音響信号(直接音、反射音、残響音)が生成され、各対応する受音要素領域の音響信号どうしが加算合成されて、各対応する出力ライン46−1乃至46−mから出力される。
【0019】
図1において、FIRマトリクス回路42の各出力ライン46−1乃至46−mから出力される音響信号はアンプ47−1乃至47−mで増幅されて、空間32内の各対応するスピーカSP1〜SPmに供給されて、再生される。収音に使用するマイクロホンと畳み込み演算に使用するインパルス応答と再生に使用するスピーカの組み合わせを表2に示す。
【0020】
Figure 0003584800
【0021】
以上により、受聴者のいる空間32内全体では、
【数1】
Figure 0003584800
但し、Si :マイクロホンMCi(i=1,2,……,n)による収音信号
ri :スピーカSPi(i=1,2,……,m)による再生信号
なる再生信号rが再生される。これにより、図2の音場10においてステージ12上で演奏している音楽を客席14で聴いている状態が楽器の指向特性や演奏者の向きを含めて再現される。つまり、トランペットとバイオリン、フルートとピアノなど指向特性が異なる楽器の差が再生音場に現れる。また、演奏者が壁を向いたときはそちらからの返りが強く、壁に背を向けた時は返りが弱くなるといったように、演奏条件の違いを表現できる。
【0022】
図1のシステム構成を用いれば、例えば演奏者が空間26において演奏し、それをDAT40に録音し、録音後これを空間32内で再生して演奏者が聴くことにより、演奏者自身が自分の演奏が客席14でどのように聞こえるかを確かめることができる。なお、演奏を行う空間26と受聴を行う空間32とは必ずしも別々である必要はなく、共通の空間を用いてマイクロホンMC1〜MCnとスピーカSP1〜SPmを併せて配置することもできる。この場合、n=mとすれば各マイクロホンMC1〜MCnと各スピーカSP1〜SPmをそれぞれ対にして配置することができる。また、図1では1台のDAT40を録音および再生に用いたが、空間26,32で録音装置と再生装置を別々に用意して、空間26において録音装置で録音した記録媒体を空間32が存在する場所まで運んで再生装置で再生して音場再現することもできる。また、図1のシステム構成において、空間26,32を別々の空間とし、DAT40をなくして収音、畳み込み演算、再生を実時間で行い、空間26での演奏を空間32で聴取するように構成すれば、遠隔地の空間26,32間において通信回線を利用して図2の音場10にいる雰囲気でライブコンサートを行うことができる。
【0023】
(実施の形態2)
演奏者自身が図2の音場10内のステージ12上にいる雰囲気で演奏する状態を再現する場合(ステージモードという。)を説明する。この場合ステージ12上の音源Sが受音点Rともなる。音源Sの周囲の空間を図8に示すように、該音源Sを中心とした適宜の立体角の音源要素領域S1,S2,……,Si,……,Snに分割する。図8の例では水平面内を8分割、斜め上方を4分割の合計12分割(n=12)した例を示す。また、受音点Rの周囲の空間(ここでは音源Sの周囲の空間と共通である。)を図9に示すように、該受音点Rを中心とした適宜の立体角の受音要素領域R1,R2,……,Rj,……,Rmに分割する。図9の例では図8の音源要素領域と同一の形態に12分割した例(n,m=12)を示す。図12に示すように(図12の音源要素領域S1〜Sn、受音要素領域R1〜Rmは、図8、図9の分割形態を模式的に図示している。)、音源Sから放射された音が音源要素領域S1〜Snの1つから出て音場10内を直接または反射して通って受音要素領域R1〜Rmの1つから入って受音点Rに到達する際のインパルス応答を、すべての音源要素領域S1〜Snとすべての受音要素領域R1〜Rmの組み合わせについて計算または実測で求める。これにより、前記表1に示すn×m通りのインパルス応答hi,j (i=1,2,…,n、j=1,2,…,m)が得られる。
【0024】
ところで、実際のホールでは客席内であれステージ上であれ、受音点Rに到達した音はさらに床等で反射して再び受音点Rに到達したりするような反射を繰り返す。客席モードではマイクロホンによる収音とスピーカによる再生を同時に行わない(あるいは別空間で行う)から、この受音点Rに到達した音の反射の繰り返しを含めてインパルス応答を作成すればよい。ところが、ステージモードではマイクロホンによる収音とスピーカによる再生が同時に行われるから、スピーカで再生された音がマイクロホンで収音されて帰還ループを形成する。この場合、受音点Rに到達した音の反射の繰り返しを含めてインパルス応答を作成すると、帰還ループによる反射音の増大分が加重されて、実際のステージ上で聞くよりも多くの反射音が生成されてしまう。そこで、ステージモードでは、帰還ループを無くすことはできないからそれに代えて、受音点Rに到達した音の反射の繰り返しのないインパルス応答を使用するのが望ましい。つまり、ステージモードでインパルス応答を計算で求める場合は、受音点Rに一旦到達した音線はそこで消滅させ、それ以上反射を繰り返さないものとする。
【0025】
求められたインパルス応答hi,j に基づき任意の実際の空間で音場を再現する場合のシステム構成を図13に示す。演奏者が演奏を行いかつ実時間で受聴を行う実際の空間50の音響特性を、床面は所定の吸音率を持った反射性、床面以外は吸音性のデッドな特性(半無響室、スタジオ等の特性)にする。空間50内で実際の音源Sr(演奏位置)の周りに、前記各音源要素領域S1〜Sn(図8)に対応する方向に指向性マイクロホンMC1〜MCnを該音源Srに向けて配置する(図13ではマイクロホンMC1〜MCnの配置位置を図12の音源要素領域S1〜Snの表示形態に合わせて模式的に図示している。)。該空間50内で実際の受音点Rr(受聴位置)の周りに、前記各受音要素領域R1〜Rm(図9)に対応する方向にスピーカSP1〜SPmを該受音点Rrに向けて配置する(図13ではスピーカSP1〜SPmの配置位置を図12の受音要素領域R1〜Rmの表示形態に合わせて模式的に図示している。)。n=mとすれば各マイクロホンMC1〜MCnと各スピーカSP1〜SPmをそれぞれ対にして配置することができる。
【0026】
演奏者は空間50内の音源Srの位置で演奏する。その演奏音はマイクロホンMC1〜MCnでそれぞれ収音され、ヘッドアンプ38を介してFIRマトリクス回路42に入力される。FIRマトリクス回路42は各インパルス応答hi,j がパラメータとして設定されたn×m個のFIRフィルタ(畳み込み演算器)と、各FIRフィルタの出力信号を受音要素領域が共通するものどうしを加算合成する加算器をマトリクス状に構成したもので、例えば前記図11のように構成される。入力ライン44−1乃至44−nから入力された各マイクロホンMC1〜MCnの収音信号は、各対応する音源要素領域に関するインパルス応答で畳み込み演算されて音響信号(直接音、反射音、残響音)が生成され、各対応する受音要素領域の音響信号どうしが加算合成されて、各対応する出力ライン46−1乃至46−mから出力される。
【0027】
図13において、FIRマトリクス回路42の各出力ライン46−1乃至46−mから出力される音響信号はアンプ47−1乃至47−mで増幅されて、空間32内の各対応するスピーカSP1〜SPmに供給されて、再生される。収音に使用するマイクロホンと畳み込み演算に使用するインパルス応答と再生に使用するスピーカの組み合わせは前記表2で示したものと同じである。なお、ハウリングを防止するため、エコーキャンセラ54を配置し、各マイクロホンMC1〜MCnの収音信号からそれぞれ対にして配置されるスピーカSP1〜SPmの出力信号分を差し引いた信号をFIRマトリクス回路42に入力する。
【0028】
以上により、空間50内全体では、前記式(1)で表される再生信号rが再生される。これにより、演奏者自身が図2の音場10内のステージ12上にいる雰囲気で演奏する状態が再現される。したがって、図13のシステム構成を用いれば、演奏者はステージ12上にいる雰囲気でリハーサルを行うことができる。
【0029】
なお、前記各実施の形態では、各音源要素領域、各受音要素領域を、隣接する要素領域と相互に重ならないように分割したが、隣接する要素領域と部分的に重なり合うように分割することもできる。このようにすれば、隣接するスピーカの中間に位置すべき音を該両スピーカで同時に再生することにより再現することができる。
【図面の簡単な説明】
【図1】この発明の音場再現装置の実施の形態1を示す図で、図10の手法により生成されるインパルス応答を用いた客席モードでの音場再現装置のシステム構成を示すブロック図である。
【図2】再現しようとする音場の一例を示す縦断面側面図である。
【図3】従来の音場再現手法における受音要素領域の分割形態の一例を示す斜視図である。
【図4】従来の音場再現手法における客席モードでのインパルス応答の生成手法を説明する図である。
【図5】図4の手法により生成されるインパルス応答を用いた従来の客席モードでの音場再現装置のシステム構成を示すブロック図である。
【図6】従来の音場再現手法におけるステージモードのインパルス応答の生成手法を説明する図である。
【図7】図6の手法により生成されるインパルス応答を用いた従来のステージモードでの音場再現装置のシステム構成を示すブロック図である。
【図8】この発明の音場再現手法における音源要素領域の分割形態の一例を示す斜視図である。
【図9】この発明の音場再現手法における受音要素領域の分割形態の一例を示す斜視図である。
【図10】この発明の音場再現手法における客席モードでのインパルス応答の生成手法を説明する図である。
【図11】図1および図13におけるFIRマトリクス回路42の構成例を示す回路図である。
【図12】この発明の音場再現手法におけるステージモードでのインパルス応答の生成手法を説明する図である。
【図13】この発明の音場再現装置の実施の形態2を示す図で、図12の手法により生成されるインパルス応答を用いたステージモードでの音場再生装置のシステム構成を示すブロック図である。
【符号の説明】
10…再現対象の音場、26,32,50…任意の実際の空間、40…DAT(録音再生装置)、42…FIRマトリクス回路(畳み込み演算器および加算器)、S…音源、S1〜Sn…音源要素領域、R…受音点、R1〜Rm…受音要素領域、Sr…実際の音源、Rr…実際の受音点、MC1〜MCn…マイクロホン、SP1〜SPm…スピーカ。

Claims (13)

  1. 再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を前記各音源要素領域と前記各受音要素領域の組み合わせごとに計算または実測で求め、任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置にマイクロホンを配置し、任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置にスピーカを配置し、該実際の音源から放射される音を前記各マイクロホンで収音し、該各収音信号をそれぞれ対応する方向の音源要素領域について求めたインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号をそれぞれ対応する方向の受音要素領域に対応して配置されたスピーカからそれぞれ再生する音場再現方法。
  2. 前記マイクロホンによる収音、前記インパルス応答との畳み込み演算、前記スピーカによる再生の一連の動作を実時間で行う請求項1記載の音場再現方法。
  3. 前記マイクロホンで収音した信号を一旦録音し、その後該信号を再生して、前記インパルス応答との畳み込み演算をして前記スピーカで再生する請求項1記載の音場再現方法。
  4. 前記再現対象の音場内で、前記音源と前記受音点を同一位置に設定してなる請求項1から3のいずれかに記載の音場再現方法。
  5. 前記再現対象の音場内で、前記音源と前記受音点を別々の位置に設定してなる請求項1から3のいずれかに記載の音場再現方法。
  6. 前記実際の音源と前記実際の受音点を、同一空間内の同一位置に設定してなる請求項1から5のいずれかに記載の音場再現方法。
  7. 前記実際の音源と前記実際の受音点を、別々の空間内に設定してなる請求項1から5のいずれかに記載の音場再現方法。
  8. 前記音源要素領域と前記受音要素領域の分割形態が等しく設定されている請求項1から7のいずれかに記載の音場再現方法。
  9. 前記音源要素領域と前記受音要素領域の分割形態が等しく設定され、前記マイクロホンと前記スピーカが該分割形態に合わせてそれぞれ対にして配置されている請求項6記載の音場再現方法。
  10. 再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を畳み込み演算のパラメータとして前記各音源要素領域と前記各受音要素領域の組み合わせごとに設定した畳み込み演算器と、
    該各畳み込み演算器の出力信号を各対応する受音要素領域ごとに加算合成する加算器と、
    任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置に配置されたマイクロホンと、
    任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置に配置されたスピーカとを具備し、
    前記実際の音源から放射される音を前記各マイクロホンで収音し、該各収音信号を前記畳み込み演算器にてそれぞれ対応する方向の音源要素領域に関するインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号を前記加算器でそれぞれ対応する方向の受音要素領域ごとに加算合成し、該各受音要素領域に対応して配置されたスピーカからそれぞれ再生する音場再現装置。
  11. 前記再現対象の音場内で前記音源と前記受音点が同一位置に設定され、前記実際の音源と前記実際の受音点が同一空間内の同一位置に設定され、前記マイクロホンによる収音、前記畳み込み演算および加算合成、前記スピーカによる再生の一連の動作を実時間で行う請求項10記載の音場再現装置。
  12. 再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内の別の位置に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を畳み込み演算のパラメータとして前記各音源要素領域と前記各受音要素領域の組み合わせごとに設定した畳み込み演算器と、
    該各畳み込み演算器の出力信号を各対応する受音要素領域ごとに加算合成する加算器と、
    任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置に配置されたマイクロホンと、
    該マイクロホンで収音した信号を録音し再生する録音再生装置と、
    任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置に配置されたスピーカとを具備し、
    前記実際の音源から放射される音を前記各マイクロホンで収音して前記録音再生装置で録音し、該録音後これを再生して、該再生されたマイクロホンごとの収音信号を前記畳み込み演算器にてそれぞれ対応する方向の音源要素領域に関するインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号を前記加算器でそれぞれ対応する方向の受音要素領域ごとに加算合成し、該各受音要素領域に対応して配置されたスピーカからそれぞれ再生する音場再現装置。
  13. 再現対象の音場内に設定された音源の周囲の空間を該音源を中心とした適宜の立体角の音源要素領域に分割し、該音場内の別の位置に設定された受音点の周囲の空間を該受音点を中心とした適宜の立体角の受音要素領域に分割し、前記音源から放射された音が前記各音源要素領域から出射されて前記音場内を通って前記各受音要素領域に入射されて前記受音点に到達する際のインパルス応答を畳み込み演算のパラメータとして前記各音源要素領域と前記各受音要素領域の組み合わせごとに設定した畳み込み演算器と、
    該各畳み込み演算器の出力信号を各対応する受音要素領域ごとに加算合成する加算器と、
    任意の実際の空間で実際の音源の周りの前記各音源要素領域に対応する方向の適宜の距離の位置に配置されたマイクロホンで収音して録音した信号を再生する再生装置と、
    任意の実際の空間で実際の受音点の周りの前記各受音要素領域に対応する方向の適宜の距離の位置に配置されたスピーカとを具備し、
    前記再生装置で再生されるマイクロホンごとの収音信号を前記畳み込み演算器にてそれぞれ対応する方向の音源要素領域に関するインパルス応答でそれぞれ畳み込み演算し、該演算により生成された各音響信号を前記加算器でそれぞれ対応する方向の受音要素領域ごとに加算合成し、該各受音要素領域に対応して配置されたスピーカからそれぞれ再生する音場再現装置。
JP26596699A 1999-08-17 1999-09-20 音場再現方法およびその装置 Expired - Fee Related JP3584800B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26596699A JP3584800B2 (ja) 1999-08-17 1999-09-20 音場再現方法およびその装置
US09/640,348 US6608903B1 (en) 1999-08-17 2000-08-16 Sound field reproducing method and apparatus for the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-230437 1999-08-17
JP23043799 1999-08-17
JP26596699A JP3584800B2 (ja) 1999-08-17 1999-09-20 音場再現方法およびその装置

Publications (2)

Publication Number Publication Date
JP2001125578A JP2001125578A (ja) 2001-05-11
JP3584800B2 true JP3584800B2 (ja) 2004-11-04

Family

ID=26529345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26596699A Expired - Fee Related JP3584800B2 (ja) 1999-08-17 1999-09-20 音場再現方法およびその装置

Country Status (2)

Country Link
US (1) US6608903B1 (ja)
JP (1) JP3584800B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085387B1 (en) * 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
US6239348B1 (en) * 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
JP4062959B2 (ja) 2002-04-26 2008-03-19 ヤマハ株式会社 残響付与装置、残響付与方法、インパルス応答生成装置、インパルス応答生成方法、残響付与プログラム、インパルス応答生成プログラムおよび記録媒体
FR2839565B1 (fr) * 2002-05-07 2004-11-19 Remy Henri Denis Bruno Procede et systeme de representation d'un champ acoustique
CA2499754A1 (en) * 2002-09-30 2004-04-15 Electro Products, Inc. System and method for integral transference of acoustical events
US20070009120A1 (en) * 2002-10-18 2007-01-11 Algazi V R Dynamic binaural sound capture and reproduction in focused or frontal applications
US7706544B2 (en) * 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
JP4464064B2 (ja) 2003-04-02 2010-05-19 ヤマハ株式会社 残響付与装置および残響付与プログラム
FR2858403B1 (fr) * 2003-07-31 2005-11-18 Remy Henri Denis Bruno Systeme et procede de determination d'une representation d'un champ acoustique
WO2006050353A2 (en) * 2004-10-28 2006-05-11 Verax Technologies Inc. A system and method for generating sound events
US8634572B2 (en) 2005-01-13 2014-01-21 Louis Fisher Davis, Jr. Method and apparatus for ambient sound therapy user interface and control system
EP1851656A4 (en) * 2005-02-22 2009-09-23 Verax Technologies Inc SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA
JP4725234B2 (ja) * 2005-08-05 2011-07-13 ソニー株式会社 音場再現方法、音声信号処理方法、音声信号処理装置
US20070047743A1 (en) 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and apparatus for improving noise discrimination using enhanced phase difference value
JP5024792B2 (ja) * 2007-10-18 2012-09-12 独立行政法人情報通信研究機構 全方位周波数指向性音響装置
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
US8401685B2 (en) * 2009-04-01 2013-03-19 Azat Fuatovich Zakirov Method for reproducing an audio recording with the simulation of the acoustic characteristics of the recording condition
JP5175239B2 (ja) * 2009-04-03 2013-04-03 日本放送協会 収音装置
JP5369852B2 (ja) * 2009-04-16 2013-12-18 ソニー株式会社 映像音声入出力システム
CA2811346A1 (en) * 2009-09-15 2011-04-21 O. Andy Nemeth 3-channel circular sound method
JP5168373B2 (ja) * 2011-02-15 2013-03-21 ソニー株式会社 音声信号処理方法、音場再現システム
US8873762B2 (en) * 2011-08-15 2014-10-28 Stmicroelectronics Asia Pacific Pte Ltd System and method for efficient sound production using directional enhancement
WO2013079781A1 (en) * 2011-11-30 2013-06-06 Nokia Corporation Apparatus and method for audio reactive ui information and display
US9368101B1 (en) * 2012-10-19 2016-06-14 Meyer Sound Laboratories, Incorporated Dynamic acoustic control system and method for hospitality spaces
US10175931B2 (en) 2012-11-02 2019-01-08 Sony Corporation Signal processing device and signal processing method
JP6281493B2 (ja) 2012-11-02 2018-02-21 ソニー株式会社 信号処理装置、信号処理方法、測定方法、測定装置
CN103945303B (zh) * 2014-04-14 2017-07-07 杨璐馨 一种耳效3d录音环
CN110226200A (zh) 2017-01-31 2019-09-10 索尼公司 信号处理装置、信号处理方法和计算机程序

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2778874A (en) * 1953-04-06 1957-01-22 Warner Bros Stereophonic sound system
US4096353A (en) * 1976-11-02 1978-06-20 Cbs Inc. Microphone system for producing signals for quadraphonic reproduction
JPH0444499A (ja) 1990-06-11 1992-02-14 Nippon Telegr & Teleph Corp <Ntt> 収音装置及び音響再生装置
JPH06101875B2 (ja) 1990-06-19 1994-12-12 ヤマハ株式会社 音響空間再生方法及び音響記録装置並びに音響記録体
JPH04158000A (ja) 1990-10-22 1992-05-29 Matsushita Electric Ind Co Ltd 音場再生システム
JP3232608B2 (ja) 1991-11-25 2001-11-26 ソニー株式会社 収音装置、再生装置、収音方法および再生方法、および、音信号処理装置
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
JP3031046B2 (ja) 1992-03-30 2000-04-10 ヤマハ株式会社 記録再生装置
CA2158451A1 (en) * 1993-03-18 1994-09-29 Alastair Sibbald Plural-channel sound processing
JP3552244B2 (ja) 1993-05-21 2004-08-11 ソニー株式会社 音場再生装置
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
JPH07154893A (ja) 1993-12-01 1995-06-16 Nippon Hoso Kyokai <Nhk> スピーカシステム
US5638343A (en) * 1995-07-13 1997-06-10 Sony Corporation Method and apparatus for re-recording multi-track sound recordings for dual-channel playbacK
IT1283803B1 (it) * 1996-08-13 1998-04-30 Luca Gubert Finsterle Sistema di registrazione dei suoni a due canali e sistema di riproduzione dei suoni tramite almeno quattro diffusori con

Also Published As

Publication number Publication date
US6608903B1 (en) 2003-08-19
JP2001125578A (ja) 2001-05-11

Similar Documents

Publication Publication Date Title
JP3584800B2 (ja) 音場再現方法およびその装置
JP4059478B2 (ja) 音場制御方法及び音場制御システム
EP1635612B1 (en) Audio reproduction apparatus and audio reproduction system
US6850621B2 (en) Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
US20040136538A1 (en) Method and system for simulating a 3d sound environment
JP3578783B2 (ja) 電子楽器の音像定位装置
JP2003255955A5 (ja)
JPH02503721A (ja) 電気音響システム
JP5611970B2 (ja) オーディオ信号を変換するためのコンバータ及び方法
JPH09219898A (ja) 電子音響装置
Bartlett Stereo microphone techniques
US20050047619A1 (en) Apparatus, method, and program for creating all-around acoustic field
US6925426B1 (en) Process for high fidelity sound recording and reproduction of musical sound
JP3374425B2 (ja) 音響装置
Grazioli et al. Preliminary evaluation of a sound system employing a cancelling auralizer for producing virtual rooms in a modern recording studio
JP2008282042A (ja) 再生装置
Tronchin et al. The enhancement of the Arlecchino listening room: adding stereo dipole to ambisonics
JP2692817B2 (ja) 音像解像力の測定方法
JP7447533B2 (ja) 音信号処理方法および音信号処理装置
JP3671756B2 (ja) 音場再生装置
JPH1070798A (ja) 3次元音響再生装置
Glasgal The Ambiophone Derivation of a Recording Methodology Optimized for Ambiophonic Reproduction
Benson Enhanced stereo
Gulsrud Loudspeaker simulation of a string quartet for in situ listening evaluation,”
JPH0486197A (ja) 記録方式

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070813

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080813

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090813

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110813

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120813

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees