JPH10174198A - 音像定位装置 - Google Patents
音像定位装置Info
- Publication number
- JPH10174198A JPH10174198A JP8330640A JP33064096A JPH10174198A JP H10174198 A JPH10174198 A JP H10174198A JP 8330640 A JP8330640 A JP 8330640A JP 33064096 A JP33064096 A JP 33064096A JP H10174198 A JPH10174198 A JP H10174198A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- delay
- processing means
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
(57)【要約】
【課題】 ドップラー効果や反射、更には多音化に適し
た音像定位装置を提供する。 【解決手段】 音源Ｓ１，Ｓ２から発する音のデータが
リングバッファ２３のライトアドレスＷＡ１，ＷＡ２に
それぞれ書き込まれ、リスナ４に到達した音のデータが
リングバッファ２３のリードアドレスＲＡから読み出さ
れる。その間の遅延時間が各音源Ｓ１，Ｓ２とリスナ４
との間の距離ｒ１，ｒ２に対応する遅延時間となる。各
データの書込時には、例えば書込回路により、ライトア
ドレスＷＡ１，ＷＡ２に記憶されたデータを一旦読み出
したのち、そのデータに新たなデータを加算して再度書
き込む。これにより、複数の音源からのデータをリング
バッファ２３上で合成することができる。
た音像定位装置を提供する。 【解決手段】 音源Ｓ１，Ｓ２から発する音のデータが
リングバッファ２３のライトアドレスＷＡ１，ＷＡ２に
それぞれ書き込まれ、リスナ４に到達した音のデータが
リングバッファ２３のリードアドレスＲＡから読み出さ
れる。その間の遅延時間が各音源Ｓ１，Ｓ２とリスナ４
との間の距離ｒ１，ｒ２に対応する遅延時間となる。各
データの書込時には、例えば書込回路により、ライトア
ドレスＷＡ１，ＷＡ２に記憶されたデータを一旦読み出
したのち、そのデータに新たなデータを加算して再度書
き込む。これにより、複数の音源からのデータをリング
バッファ２３上で合成することができる。
Description
【０００１】
【発明の属する技術分野】この発明は、仮想的な音場空
間内に音像を定位させる音像定位装置に関し、特に簡単
な構成でドップラー効果や反射音の付加並びに複数の音
源の定位に適した音像定位装置に関する。
間内に音像を定位させる音像定位装置に関し、特に簡単
な構成でドップラー効果や反射音の付加並びに複数の音
源の定位に適した音像定位装置に関する。
【０００２】
【従来の技術】従来より、音響再生システム、電子楽
器、ゲーム等において、音場空間内の任意の位置に仮想
音源を定位させて立体音場を生成する音像定位装置が知
られている。また、３次元バーチャルリアリティシステ
ムでも、仮想体験における臨場感を向上させる手段とし
て、この種の音像定位装置が使用されている。この種の
音像定位装置は、モノラル音源からバイノーラル手法に
基づいて、時間差、振幅差及び周波数特性差を持つ複数
チャネルの信号を発生させることにより、聴感上、方向
感及び距離感を与えるようにして立体音場を生成し、あ
たかも３次元仮想空間上の各部から音が発しているよう
に音響信号を生成する。
器、ゲーム等において、音場空間内の任意の位置に仮想
音源を定位させて立体音場を生成する音像定位装置が知
られている。また、３次元バーチャルリアリティシステ
ムでも、仮想体験における臨場感を向上させる手段とし
て、この種の音像定位装置が使用されている。この種の
音像定位装置は、モノラル音源からバイノーラル手法に
基づいて、時間差、振幅差及び周波数特性差を持つ複数
チャネルの信号を発生させることにより、聴感上、方向
感及び距離感を与えるようにして立体音場を生成し、あ
たかも３次元仮想空間上の各部から音が発しているよう
に音響信号を生成する。
【０００３】図１０は、従来の音像定位装置の概略構成
を示す図である。音源から供給されたオーディオ信号Ｓ
ｉは、遅延回路６１で時間差を付与されて左右のオーデ
ィオ信号ＳＬ，ＳＲとなる。遅延回路６１は、音源位置
からの絶対的な遅延時間をシミュレートするのではな
く、左右の耳に音が到達する相対的な時間差をシミュレ
ートすることにより、最大遅延量を抑えて回路規模を小
さくしている。左右のオーディオ信号ＳＬ，ＳＲは、音
源位置に応じて左右の音の振幅値を調整するためのアン
プ６２Ｌ，６２Ｒ及びアンプ６３Ｌ，６３Ｒを介して、
ＦＩＲ（有限インパルス応答）フィルタ６４Ｌ，６４Ｒ
に供給される。ＦＩＲフィルタ６４Ｌ，６４Ｒは、仮想
音場空間におけるリスナの前後左右からの伝達経路上の
伝達関数を記憶し、音源位置に応じて前段のアンプ６３
Ｌ，６３Ｒで振幅調整された左右のオーディオ信号に対
しフィルタリングを施して音場特性を付与する。そし
て、各方向成分の信号が加算器６５Ｌ，６５Ｒで加算さ
れ、スピーカ６６Ｌ，６６Ｒを介して音像位置が制御さ
れたステレオオーディオ出力を得ることができる。
を示す図である。音源から供給されたオーディオ信号Ｓ
ｉは、遅延回路６１で時間差を付与されて左右のオーデ
ィオ信号ＳＬ，ＳＲとなる。遅延回路６１は、音源位置
からの絶対的な遅延時間をシミュレートするのではな
く、左右の耳に音が到達する相対的な時間差をシミュレ
ートすることにより、最大遅延量を抑えて回路規模を小
さくしている。左右のオーディオ信号ＳＬ，ＳＲは、音
源位置に応じて左右の音の振幅値を調整するためのアン
プ６２Ｌ，６２Ｒ及びアンプ６３Ｌ，６３Ｒを介して、
ＦＩＲ（有限インパルス応答）フィルタ６４Ｌ，６４Ｒ
に供給される。ＦＩＲフィルタ６４Ｌ，６４Ｒは、仮想
音場空間におけるリスナの前後左右からの伝達経路上の
伝達関数を記憶し、音源位置に応じて前段のアンプ６３
Ｌ，６３Ｒで振幅調整された左右のオーディオ信号に対
しフィルタリングを施して音場特性を付与する。そし
て、各方向成分の信号が加算器６５Ｌ，６５Ｒで加算さ
れ、スピーカ６６Ｌ，６６Ｒを介して音像位置が制御さ
れたステレオオーディオ出力を得ることができる。
【０００４】
【発明が解決しようとする課題】ところで、実際の音場
空間に更に近い仮想音場空間をシミュレートしようとす
ると、音源とリスナとが相対的に移動していることによ
り生じるドップラー効果や各種の反射音、更には複数の
音をシミュレートする多音化等、更に複雑なシミュレー
トが必要になってくる。ドップラー効果を生じさせる従
来例としては、原音に対して移動量に基づくピッチチェ
ンジを行う方法が提案されている（特開平６−３２７１
００号）。この方式では、音源の移動速度からピッチシ
フト量を計算する必要があることに加え、ピッチシフタ
が必要となる。また、この方式で多音化を図ろうとする
と、１つの音源毎に１つのピッチシフタが必要になり、
回路規模が大きくなってしまう。
空間に更に近い仮想音場空間をシミュレートしようとす
ると、音源とリスナとが相対的に移動していることによ
り生じるドップラー効果や各種の反射音、更には複数の
音をシミュレートする多音化等、更に複雑なシミュレー
トが必要になってくる。ドップラー効果を生じさせる従
来例としては、原音に対して移動量に基づくピッチチェ
ンジを行う方法が提案されている（特開平６−３２７１
００号）。この方式では、音源の移動速度からピッチシ
フト量を計算する必要があることに加え、ピッチシフタ
が必要となる。また、この方式で多音化を図ろうとする
と、１つの音源毎に１つのピッチシフタが必要になり、
回路規模が大きくなってしまう。
【０００５】この発明は、このような問題点に鑑みなさ
れたもので、ドップラー効果や反射、更には多音化に適
した音像定位装置を提供することを目的とする。
れたもので、ドップラー効果や反射、更には多音化に適
した音像定位装置を提供することを目的とする。
【０００６】
【課題委を解決するための手段】この発明は、仮想的な
音場空間及びこの音場空間における予め指定された仮想
的な音源位置によって決定される制御パラメータに基づ
いて、音源から供給されるオーディオ情報に対して音響
処理を施すことにより前記音源位置に前記オーディオ情
報の音像を定位させる音像定位装置において、前記音源
位置によって決定される制御パラメータに基づいて前記
オーディオ情報を音響処理する第１の音響処理手段と、
前記音場空間によって決定される制御パラメータに基づ
いて前記オーディオ情報を音響処理する第２の音響処理
手段と、前記第１の音響処理手段と前記第２の音響処理
手段との間に設けられ前記第１の音響処理手段によって
音響処理されたオーディオ情報を前記音源位置からリス
ナまでの距離に相当する量だけ遅延させる遅延手段と、
前記音源位置と前記リスナとの間の相対位置の変化に対
応して前記遅延量を変化させる遅延制御手段とを備えた
ことを特徴とする。
音場空間及びこの音場空間における予め指定された仮想
的な音源位置によって決定される制御パラメータに基づ
いて、音源から供給されるオーディオ情報に対して音響
処理を施すことにより前記音源位置に前記オーディオ情
報の音像を定位させる音像定位装置において、前記音源
位置によって決定される制御パラメータに基づいて前記
オーディオ情報を音響処理する第１の音響処理手段と、
前記音場空間によって決定される制御パラメータに基づ
いて前記オーディオ情報を音響処理する第２の音響処理
手段と、前記第１の音響処理手段と前記第２の音響処理
手段との間に設けられ前記第１の音響処理手段によって
音響処理されたオーディオ情報を前記音源位置からリス
ナまでの距離に相当する量だけ遅延させる遅延手段と、
前記音源位置と前記リスナとの間の相対位置の変化に対
応して前記遅延量を変化させる遅延制御手段とを備えた
ことを特徴とする。
【０００７】この発明は、更に前記第１の音響処理手段
が、複数の音源にそれぞれ対応するように複数設けら
れ、前記遅延手段が、前記各第１の音響処理手段から供
給されるオーディオ情報をそれぞれの遅延量に応じた位
置に重ねて記憶するものであることを特徴とする。な
お、より具体的には、前記遅延手段が、ランダムアクセ
スが可能なリングバッファであり、前記遅延制御手段
が、前記リングバッファの書込アドレスと読出アドレス
とが前記遅延量に相当する間隔を保つように歩進制御す
るものである。
が、複数の音源にそれぞれ対応するように複数設けら
れ、前記遅延手段が、前記各第１の音響処理手段から供
給されるオーディオ情報をそれぞれの遅延量に応じた位
置に重ねて記憶するものであることを特徴とする。な
お、より具体的には、前記遅延手段が、ランダムアクセ
スが可能なリングバッファであり、前記遅延制御手段
が、前記リングバッファの書込アドレスと読出アドレス
とが前記遅延量に相当する間隔を保つように歩進制御す
るものである。
【０００８】この発明によれば、音源位置によって決定
される制御パラメータに基づいて音響処理されたオーデ
ィオ信号を、遅延手段で音源位置からリスナの距離に相
当する量だけ遅延させ、更に音源位置とリスナとの間の
相対位置の変化に応じて遅延制御手段が前記遅延量を変
化させるようにしているので、音源の位置が移動した場
合でも、音源の位置からリスナまでの音の伝達状態、即
ち周波数の変化を正確にシミュレートすることができ
る。そして、この場合、ピッチ量の算出やピッチシフタ
は不要となる。
される制御パラメータに基づいて音響処理されたオーデ
ィオ信号を、遅延手段で音源位置からリスナの距離に相
当する量だけ遅延させ、更に音源位置とリスナとの間の
相対位置の変化に応じて遅延制御手段が前記遅延量を変
化させるようにしているので、音源の位置が移動した場
合でも、音源の位置からリスナまでの音の伝達状態、即
ち周波数の変化を正確にシミュレートすることができ
る。そして、この場合、ピッチ量の算出やピッチシフタ
は不要となる。
【０００９】また、この発明では、音源位置に関係する
第１の音響処理手段を前段に、音源位置には関係しない
第２の音響処理手段を後段に配置し、その間に前記遅延
手段を配置しているので、多音化のために複数の音源と
それぞれ対応させて第１の音響処理手段を複数設けた場
合でも、遅延手段は共用することができる。これは、遅
延手段が各音源の絶対的な位置をシミュレートするから
であり、複数の音源からのオーディオ情報を、遅延手段
の各音源位置からの遅延量に相当する位置に重ねて書き
込めばよいのである。従って、この場合には、多音化に
よっても遅延手段の共用によって回路規模が必要以上に
大きくなるのを防止することができる。特に、壁や床か
らの反射音をシミュレートしようとすると、１つの音源
に対して反射経路からの複数の音源を想定する必要があ
るが、この発明によれば、このようなシミュレートが容
易になる。
第１の音響処理手段を前段に、音源位置には関係しない
第２の音響処理手段を後段に配置し、その間に前記遅延
手段を配置しているので、多音化のために複数の音源と
それぞれ対応させて第１の音響処理手段を複数設けた場
合でも、遅延手段は共用することができる。これは、遅
延手段が各音源の絶対的な位置をシミュレートするから
であり、複数の音源からのオーディオ情報を、遅延手段
の各音源位置からの遅延量に相当する位置に重ねて書き
込めばよいのである。従って、この場合には、多音化に
よっても遅延手段の共用によって回路規模が必要以上に
大きくなるのを防止することができる。特に、壁や床か
らの反射音をシミュレートしようとすると、１つの音源
に対して反射経路からの複数の音源を想定する必要があ
るが、この発明によれば、このようなシミュレートが容
易になる。
【００１０】
【発明の実施の形態】以下、図面を参照して、この発明
の好ましい実施の形態について説明する。図１は、この
発明の一実施例に係る音像定位装置のブロック図であ
る。この装置は、複数の音源に対応するように複数設け
られた第１の音響処理手段である上下感・時間差付与回
路１1 ，１2 ，…，１n と、これら上下感・時間差付与
回路１1 ，１2 ，…，１n から供給されるステレオオー
ディオ信号をそれぞれの音源位置に応じて遅延させる多
音遅延回路２と、この多音遅延回路２で遅延されたステ
レオオーディオ信号をフィルタリングして音場空間に応
じた周波数特性を付与する第２の音響処理手段であるＦ
ＩＲフィルタ３とにより構成されている。
の好ましい実施の形態について説明する。図１は、この
発明の一実施例に係る音像定位装置のブロック図であ
る。この装置は、複数の音源に対応するように複数設け
られた第１の音響処理手段である上下感・時間差付与回
路１1 ，１2 ，…，１n と、これら上下感・時間差付与
回路１1 ，１2 ，…，１n から供給されるステレオオー
ディオ信号をそれぞれの音源位置に応じて遅延させる多
音遅延回路２と、この多音遅延回路２で遅延されたステ
レオオーディオ信号をフィルタリングして音場空間に応
じた周波数特性を付与する第２の音響処理手段であるＦ
ＩＲフィルタ３とにより構成されている。
【００１１】各上下感・時間差付与回路１1 ，１2 ，
…，１n は、この例では音源からのオーディオ入力信号
Ｓｉ（ｉ＝１，２，…，ｎ）及び音源位置情報ｒｉ，θ
ｉ，φｉ（ｉ＝１，２，…，ｎ）をそれぞれ入力する。
音源位置情報ｒ，θ，φは、例えば図２に示すように、
リスナ４の頭が基準方向（正面方向）を向いているとし
た場合の仮想音源Ｓの位置までの距離、水平方向の角度
（アジマス）及び垂直方向の角度（エレベーション）を
それぞれ意味している。
…，１n は、この例では音源からのオーディオ入力信号
Ｓｉ（ｉ＝１，２，…，ｎ）及び音源位置情報ｒｉ，θ
ｉ，φｉ（ｉ＝１，２，…，ｎ）をそれぞれ入力する。
音源位置情報ｒ，θ，φは、例えば図２に示すように、
リスナ４の頭が基準方向（正面方向）を向いているとし
た場合の仮想音源Ｓの位置までの距離、水平方向の角度
（アジマス）及び垂直方向の角度（エレベーション）を
それぞれ意味している。
【００１２】図３は、上下感・時間差付与回路１ｉ（ｉ
＝１，２，…，ｎ）の具体的な構成を示すブロック図で
ある。音源からのモノラルのオーディオ信号Ｓｉは、ア
ンプ１１を介してノッチフィルタ１２に供給される。ノ
ッチフィルタ１２は、人間の聴感特性や人間の耳介形状
に基づいてオーディオ信号Ｓｉの特定の周波数成分を減
衰させてオーディオ信号Ｓｉに上下方向感を付与する。
ノッチフィルタ１２の出力は、仮想音源位置から両耳へ
の音の伝搬時間差Ｔを付与する遅延回路１３で遅延制御
され、時間差を持つ２チャンネルの信号に変換される。
これらの信号は、それぞれアンプ１４1，１４2 によっ
て仮想音源の方向に基づく左右の振幅バランスを調整さ
れる。振幅バランスを調整されたステレオオーディオ信
号は、アンプ１５1 ，１５2 ，１５3 ，１５4 及びアン
プ１５5 ，１５6 ，１５7 ，１５8 にそれぞれ供給され
る。これらのアンプ１５1 〜１５8 は、ステレオオーデ
ィオ信号をその音源位置に基づいてリスナの前後左右
（この例では、左前、右前、左後、右後の４方向）から
の信号成分として振幅調整するもので、後段のＦＩＲフ
ィルタ３のフィルタ出力の合成比を決定するものであ
る。
＝１，２，…，ｎ）の具体的な構成を示すブロック図で
ある。音源からのモノラルのオーディオ信号Ｓｉは、ア
ンプ１１を介してノッチフィルタ１２に供給される。ノ
ッチフィルタ１２は、人間の聴感特性や人間の耳介形状
に基づいてオーディオ信号Ｓｉの特定の周波数成分を減
衰させてオーディオ信号Ｓｉに上下方向感を付与する。
ノッチフィルタ１２の出力は、仮想音源位置から両耳へ
の音の伝搬時間差Ｔを付与する遅延回路１３で遅延制御
され、時間差を持つ２チャンネルの信号に変換される。
これらの信号は、それぞれアンプ１４1，１４2 によっ
て仮想音源の方向に基づく左右の振幅バランスを調整さ
れる。振幅バランスを調整されたステレオオーディオ信
号は、アンプ１５1 ，１５2 ，１５3 ，１５4 及びアン
プ１５5 ，１５6 ，１５7 ，１５8 にそれぞれ供給され
る。これらのアンプ１５1 〜１５8 は、ステレオオーデ
ィオ信号をその音源位置に基づいてリスナの前後左右
（この例では、左前、右前、左後、右後の４方向）から
の信号成分として振幅調整するもので、後段のＦＩＲフ
ィルタ３のフィルタ出力の合成比を決定するものであ
る。
【００１３】一方、パラメータ決定部１６は、音源位置
情報ｒｉ，θｉ，φｉに基づいて、ノッチフィルタ１２
の減衰周波数Ｎｔ、遅延回路１３の伝搬時間差Ｔ、左右
の振幅バランスＶＲ，ＶＬ及び前後左右からの信号成分
ＶＦＬ，ＶＦＲ，ＶＲＬ，ＶＲＲ等の制御パラメータを
各部に供給する。また、パラメータ決定部１６は、音源
位置からリスナまでの距離ｒｉの変化に基づいて多音遅
延回路２に対するライトアドレスＷＡｉの歩進タイミン
グ信号ｆｓｉ′も生成する。
情報ｒｉ，θｉ，φｉに基づいて、ノッチフィルタ１２
の減衰周波数Ｎｔ、遅延回路１３の伝搬時間差Ｔ、左右
の振幅バランスＶＲ，ＶＬ及び前後左右からの信号成分
ＶＦＬ，ＶＦＲ，ＶＲＬ，ＶＲＲ等の制御パラメータを
各部に供給する。また、パラメータ決定部１６は、音源
位置からリスナまでの距離ｒｉの変化に基づいて多音遅
延回路２に対するライトアドレスＷＡｉの歩進タイミン
グ信号ｆｓｉ′も生成する。
【００１４】図４は、多音遅延回路２とＦＩＲフィルタ
３の具体的な構成を示すブロック図である。ＦＩＲフィ
ルタ３は、前後左右の各方向から音が到来する場合につ
いて、予めダミーヘッド等を用いてインパルス応答信号
を測定し、この測定結果から求めたＦＩＲ係数を記憶し
たフィルタであり、左右のステレオオーディオ信号のそ
れぞれについて４方向からのフィルタリングを行うた
め、計８つのフィルタ３１1 ，３１2 ，３１3 ，３
１4 ，３１5 ，３１6 ，３１7 ，３１8 と、これらのフ
ィルタ３１1 〜３１8 の出力を左右のステレオオーディ
オ信号についてそれぞれ加算合成する加算器３２1 ，３
２2 とにより構成されている。多音遅延回路２は、これ
らのフィルタ３１1 〜３１8 の前段にそれぞれ設けられ
る８つの遅延回路２１1 ，２１2 ，２１3 ，２１4 ，２
１5 ，２１6 ，２１7 ，２１8 と、これら遅延回路２１
1 〜２１8 にデータを書き込むための書込回路２２1 ，
２２2 ，２２3，２２4 ，２２5 ，２２6 ，２２7 ，２
２8 とから構成される。
３の具体的な構成を示すブロック図である。ＦＩＲフィ
ルタ３は、前後左右の各方向から音が到来する場合につ
いて、予めダミーヘッド等を用いてインパルス応答信号
を測定し、この測定結果から求めたＦＩＲ係数を記憶し
たフィルタであり、左右のステレオオーディオ信号のそ
れぞれについて４方向からのフィルタリングを行うた
め、計８つのフィルタ３１1 ，３１2 ，３１3 ，３
１4 ，３１5 ，３１6 ，３１7 ，３１8 と、これらのフ
ィルタ３１1 〜３１8 の出力を左右のステレオオーディ
オ信号についてそれぞれ加算合成する加算器３２1 ，３
２2 とにより構成されている。多音遅延回路２は、これ
らのフィルタ３１1 〜３１8 の前段にそれぞれ設けられ
る８つの遅延回路２１1 ，２１2 ，２１3 ，２１4 ，２
１5 ，２１6 ，２１7 ，２１8 と、これら遅延回路２１
1 〜２１8 にデータを書き込むための書込回路２２1 ，
２２2 ，２２3，２２4 ，２２5 ，２２6 ，２２7 ，２
２8 とから構成される。
【００１５】各遅延回路２１1 〜２１8 は、具体的には
ＲＡＭ等を用いたリングバッファとして構成することが
できる。図５は、このリングバッファの機能を説明する
ための図である。ここでは、２つの音源Ｓ１，Ｓ２のう
ち、音源Ｓ１が速度ｖ１でリスナ４の方向に移動してい
る例を示している。音源Ｓ１，Ｓ２から発する音のデー
タがリングバッファ２３のライトアドレスＷＡ１，ＷＡ
２にそれぞれ書き込まれ、リスナ４に到達した音のデー
タがリングバッファ２３のリードアドレスＲＡから読み
出される。その間の遅延時間が各音源Ｓ１，Ｓ２とリス
ナ４との間の距離ｒ１，ｒ２に対応する遅延時間とな
る。各データの書込時には、後述する書込回路２２1〜
２２8 により、ライトアドレスＷＡ１，ＷＡ２に記憶さ
れたデータを一旦読み出したのち、そのデータに新たな
データを加算して再度書き込む。これにより、複数の音
源からのデータをリングバッファ２３上で合成すること
ができる。
ＲＡＭ等を用いたリングバッファとして構成することが
できる。図５は、このリングバッファの機能を説明する
ための図である。ここでは、２つの音源Ｓ１，Ｓ２のう
ち、音源Ｓ１が速度ｖ１でリスナ４の方向に移動してい
る例を示している。音源Ｓ１，Ｓ２から発する音のデー
タがリングバッファ２３のライトアドレスＷＡ１，ＷＡ
２にそれぞれ書き込まれ、リスナ４に到達した音のデー
タがリングバッファ２３のリードアドレスＲＡから読み
出される。その間の遅延時間が各音源Ｓ１，Ｓ２とリス
ナ４との間の距離ｒ１，ｒ２に対応する遅延時間とな
る。各データの書込時には、後述する書込回路２２1〜
２２8 により、ライトアドレスＷＡ１，ＷＡ２に記憶さ
れたデータを一旦読み出したのち、そのデータに新たな
データを加算して再度書き込む。これにより、複数の音
源からのデータをリングバッファ２３上で合成すること
ができる。
【００１６】ライトアドレスＷＡ１，ＷＡ２の歩進速度
は、各音源Ｓ１，Ｓ２の移動によって変化するが、リー
ドアドレスＲＡの歩進速度は一定となる。音源Ｓ２とリ
スナ４との距離ｒ２は固定であるから、リングバッファ
２３のライトアドレスＷＡ２とリードアドレスＲＡと
は、同一の速度で歩進される。両アドレスの差は常に一
定となり、これが音源Ｓ２からリスナ４までの距離ｒ２
に相当する。一方、音源Ｓ１とリスナ４との間の距離ｒ
１は、図５（ａ）〜（ｂ）に示すように、音源Ｓ１がリ
スナ４の頭上に位置するまでは徐々に短くなるので、ラ
イトアドレスＷＡ１の歩進速度をリードアドレスＲＡよ
りも遅くする。これにより、音源Ｓ１からリスナ４まで
の遅延量が徐々に短くなるように変化するので、リード
アドレスＲＡで読み出される音源Ｓ１のオーディオデー
タの周波数が高くなる。また、図５（ｂ）〜（ｃ）に示
すように、音源Ｓ１がリスナ４の頭上を通過した後は、
距離ｒ１は徐々に長くなるので、ライトアドレスＷＡ１
の歩進速度をリードアドレスＲＡよりも速くする。これ
により、音源Ｓ１からリスナ４までの遅延量が徐々に長
くなるように変化するので、リードアドレスＲＡで読み
出される音源Ｓ１のオーディオデータの周波数が低くな
る。
は、各音源Ｓ１，Ｓ２の移動によって変化するが、リー
ドアドレスＲＡの歩進速度は一定となる。音源Ｓ２とリ
スナ４との距離ｒ２は固定であるから、リングバッファ
２３のライトアドレスＷＡ２とリードアドレスＲＡと
は、同一の速度で歩進される。両アドレスの差は常に一
定となり、これが音源Ｓ２からリスナ４までの距離ｒ２
に相当する。一方、音源Ｓ１とリスナ４との間の距離ｒ
１は、図５（ａ）〜（ｂ）に示すように、音源Ｓ１がリ
スナ４の頭上に位置するまでは徐々に短くなるので、ラ
イトアドレスＷＡ１の歩進速度をリードアドレスＲＡよ
りも遅くする。これにより、音源Ｓ１からリスナ４まで
の遅延量が徐々に短くなるように変化するので、リード
アドレスＲＡで読み出される音源Ｓ１のオーディオデー
タの周波数が高くなる。また、図５（ｂ）〜（ｃ）に示
すように、音源Ｓ１がリスナ４の頭上を通過した後は、
距離ｒ１は徐々に長くなるので、ライトアドレスＷＡ１
の歩進速度をリードアドレスＲＡよりも速くする。これ
により、音源Ｓ１からリスナ４までの遅延量が徐々に長
くなるように変化するので、リードアドレスＲＡで読み
出される音源Ｓ１のオーディオデータの周波数が低くな
る。
【００１７】図６は、遅延回路２１1 〜２１8 に書き込
まれるデータを説明するための図である。即ち、音源か
らのオーディオデータＳｉは、図６（ａ）に示すよう
に、一定のサンプリング周波数ｆｓで入力されるが、同
図（ｂ）に示すように、音が近づいている場合には、ラ
イトアドレスＷＡｉの歩進速度を遅くする必要があるた
め、オーディオデータのサンプリング周波数もｆｓｉ′
に変更する必要がある。このため、サンプリング周波数
ｆｓｉ′に基づくオーディオデータＳｉ′をもとのオー
ディオデータＳｉから補間によって求める。同図（ｃ）
のように、音が遠ざかっている場合にも、同様に変更さ
れたサンプリング周波数ｆｓｉ′に合わせて新たなオー
ディオデータＳｉ′を補間動作により求める。
まれるデータを説明するための図である。即ち、音源か
らのオーディオデータＳｉは、図６（ａ）に示すよう
に、一定のサンプリング周波数ｆｓで入力されるが、同
図（ｂ）に示すように、音が近づいている場合には、ラ
イトアドレスＷＡｉの歩進速度を遅くする必要があるた
め、オーディオデータのサンプリング周波数もｆｓｉ′
に変更する必要がある。このため、サンプリング周波数
ｆｓｉ′に基づくオーディオデータＳｉ′をもとのオー
ディオデータＳｉから補間によって求める。同図（ｃ）
のように、音が遠ざかっている場合にも、同様に変更さ
れたサンプリング周波数ｆｓｉ′に合わせて新たなオー
ディオデータＳｉ′を補間動作により求める。
【００１８】このような処理を実行する書込回路２２1
〜２２8 の構成例を図７に示す。上下感・時間差付与回
路１ｉから供給されたオーディオデータＳｉ2と、これ
を遅延回路４１で１サンプリング時間遅延させたオーデ
ィオデータＳｉ1とは演算回路４２に供給されている。
カウンタ４３は、サンプリング信号ｆｓの入力からクロ
ック信号ＣＫをカウントし、パラメータ決定部１６から
供給されるタイミング信号ｆｓｉ′の入力タイミングま
での時間Δｔを測定して演算回路４２に供給する。演算
回路４２は、データＳｉ1，Ｓｉ2、１／ｆｓ，Δｔを用
いて直線補間演算を行い、データＳｉ′を算出する。こ
のデータＳｉ′が読出データと加算器４４で加算されて
書込データとして遅延回路２１ｉに書き込まれる。
〜２２8 の構成例を図７に示す。上下感・時間差付与回
路１ｉから供給されたオーディオデータＳｉ2と、これ
を遅延回路４１で１サンプリング時間遅延させたオーデ
ィオデータＳｉ1とは演算回路４２に供給されている。
カウンタ４３は、サンプリング信号ｆｓの入力からクロ
ック信号ＣＫをカウントし、パラメータ決定部１６から
供給されるタイミング信号ｆｓｉ′の入力タイミングま
での時間Δｔを測定して演算回路４２に供給する。演算
回路４２は、データＳｉ1，Ｓｉ2、１／ｆｓ，Δｔを用
いて直線補間演算を行い、データＳｉ′を算出する。こ
のデータＳｉ′が読出データと加算器４４で加算されて
書込データとして遅延回路２１ｉに書き込まれる。
【００１９】このように、音源Ｓ１からのオーディオデ
ータのライトアドレスＷＡ１とリードアドレスＲＡの相
対的な歩進速度を変化させることにより、音源Ｓ１が移
動している場合のドップラー効果を簡単に付加すること
ができ、音源Ｓ１の移動感をリスナ４に与えることがで
きる。また、各音源からのオーディオデータをリングバ
ッファ２３へ加算書込することによって、容易に多音化
を図ることができる。しかも、このように複数の音源に
ついてリングバッファ２３を共用することで、処理する
音源の数に拘わらず、遅延回路２１は８つしか必要とし
ないので、回路規模を簡素化することができる。
ータのライトアドレスＷＡ１とリードアドレスＲＡの相
対的な歩進速度を変化させることにより、音源Ｓ１が移
動している場合のドップラー効果を簡単に付加すること
ができ、音源Ｓ１の移動感をリスナ４に与えることがで
きる。また、各音源からのオーディオデータをリングバ
ッファ２３へ加算書込することによって、容易に多音化
を図ることができる。しかも、このように複数の音源に
ついてリングバッファ２３を共用することで、処理する
音源の数に拘わらず、遅延回路２１は８つしか必要とし
ないので、回路規模を簡素化することができる。
【００２０】なお、ライトアドレスＷＡ１，ＷＡ２は、
リードアドレスＲＡを追い抜かないように、最大アドレ
ス差（最大遅延量）となったときに、リードアドレスＲ
Ａと同一速度で歩進されるように制御される必要があ
る。このため、図７に示すように、書込回路２２ｉに、
ライトアドレスＷＡｉとリードアドレスＲＡとを比較し
て最大遅延量を検出する最大遅延量検出回路４５を設
け、最大遅延量を検出した場合には、ライトアドレスカ
ウンタ４６の歩進動作をリードアドレスカウンタ４７の
歩進動作に合わせるようにアドレスを制御すればよい。
いま、この最大遅延時間に相当する距離を例えば１００
ｍと設定すると、音速を３４０ｍ／ｓ、サンプリング周
波数をｆＨｚとして、ＲＡＭの容量は１００ｆ／３４０
程度であればよい。
リードアドレスＲＡを追い抜かないように、最大アドレ
ス差（最大遅延量）となったときに、リードアドレスＲ
Ａと同一速度で歩進されるように制御される必要があ
る。このため、図７に示すように、書込回路２２ｉに、
ライトアドレスＷＡｉとリードアドレスＲＡとを比較し
て最大遅延量を検出する最大遅延量検出回路４５を設
け、最大遅延量を検出した場合には、ライトアドレスカ
ウンタ４６の歩進動作をリードアドレスカウンタ４７の
歩進動作に合わせるようにアドレスを制御すればよい。
いま、この最大遅延時間に相当する距離を例えば１００
ｍと設定すると、音速を３４０ｍ／ｓ、サンプリング周
波数をｆＨｚとして、ＲＡＭの容量は１００ｆ／３４０
程度であればよい。
【００２１】このように、多音化が容易な構成であるこ
とを利用して、反射音についても容易に移動変化を付け
て定位させることができる。図８は、反射音をシミュレ
ートする場合の実施例を示す図である。即ち、反射音を
シミュレートする場合には、もとの音源Ｓｉの他に、空
間情報に基づいて反射音Ｓｉ′を反射シミュレーション
部５１で生成し、得られた反射音Ｓｉ′を追加音源とし
て図１の回路に入力し、上記と同様の処理を行えばよ
い。図９は、反射シミュレーション部５１でのシミュレ
ーションを説明するための図である。音源Ｓからリスナ
４に直接伝達される音と、音源Ｓから床面ＡＡ′を反射
してリスナ４に伝達される反射音とが存在する場合、音
源Ｓの床面ＡＡ′に対する線対称位置に反射音の音源
Ｓ′が存在すると仮定すればよい。この場合、音源Ｓ′
のリスナ４までの距離ｒ′とエレベーションφ′は、下
記数１のように表すことができる。
とを利用して、反射音についても容易に移動変化を付け
て定位させることができる。図８は、反射音をシミュレ
ートする場合の実施例を示す図である。即ち、反射音を
シミュレートする場合には、もとの音源Ｓｉの他に、空
間情報に基づいて反射音Ｓｉ′を反射シミュレーション
部５１で生成し、得られた反射音Ｓｉ′を追加音源とし
て図１の回路に入力し、上記と同様の処理を行えばよ
い。図９は、反射シミュレーション部５１でのシミュレ
ーションを説明するための図である。音源Ｓからリスナ
４に直接伝達される音と、音源Ｓから床面ＡＡ′を反射
してリスナ４に伝達される反射音とが存在する場合、音
源Ｓの床面ＡＡ′に対する線対称位置に反射音の音源
Ｓ′が存在すると仮定すればよい。この場合、音源Ｓ′
のリスナ４までの距離ｒ′とエレベーションφ′は、下
記数１のように表すことができる。
【００２２】
【数１】
【００２３】反射シミュレーション部５１は、入力され
た位置情報ｒｉ，θｉ，φｉから、上述した演算によ
り、反射音源の位置情報ｒｉ′，θｉ′（＝θｉ），φ
ｉ′を求め、もとの音源Ｓｉから反射による減衰も考慮
して反射音源Ｓｉ′を求める。音源Ｓｉが移動する場合
には、反射音源Ｓｉ′も同一速度で移動するようにして
前述した処理を実現すればよい。
た位置情報ｒｉ，θｉ，φｉから、上述した演算によ
り、反射音源の位置情報ｒｉ′，θｉ′（＝θｉ），φ
ｉ′を求め、もとの音源Ｓｉから反射による減衰も考慮
して反射音源Ｓｉ′を求める。音源Ｓｉが移動する場合
には、反射音源Ｓｉ′も同一速度で移動するようにして
前述した処理を実現すればよい。
【００２４】なお、以上の説明では、リングバッファの
ライトアドレスの歩進速度を可変、リードアドレスの歩
進速度を一定としたが、より簡易な方法として、ライト
アドレスの歩進速度を一定、リードアドレスの歩進速度
を可変とすることもできる。この場合、図７に示した補
間回路は必要とせず、固定音源の多音化及び単一音源の
移動に簡単に対処することができる。
ライトアドレスの歩進速度を可変、リードアドレスの歩
進速度を一定としたが、より簡易な方法として、ライト
アドレスの歩進速度を一定、リードアドレスの歩進速度
を可変とすることもできる。この場合、図７に示した補
間回路は必要とせず、固定音源の多音化及び単一音源の
移動に簡単に対処することができる。
【００２５】
【発明の効果】以上述べたように、この発明によれば、
音源位置によって決定される制御パラメータに基づいて
音響処理されたオーディオ信号を、遅延手段で音源位置
からリスナの距離に相当する量だけ遅延させ、更に音源
位置とリスナとの間の相対位置の変化に応じて遅延制御
手段が前記遅延量を変化させるようにしているので、音
源の位置が移動した場合のドップラー効果を付与するこ
とができ、より現実感ある音像定位が可能になる。
音源位置によって決定される制御パラメータに基づいて
音響処理されたオーディオ信号を、遅延手段で音源位置
からリスナの距離に相当する量だけ遅延させ、更に音源
位置とリスナとの間の相対位置の変化に応じて遅延制御
手段が前記遅延量を変化させるようにしているので、音
源の位置が移動した場合のドップラー効果を付与するこ
とができ、より現実感ある音像定位が可能になる。
【００２６】また、この発明では、音源位置に関係する
第１の音響処理手段を前段に、音源位置には関係しない
第２の音響処理手段を後段に配置し、その間に前記遅延
手段を配置しているので、多音化のために複数の音源と
それぞれ対応させて第１の音響処理手段を複数設けた場
合でも、遅延手段は共用することができ、回路の簡素化
を図ることができる。
第１の音響処理手段を前段に、音源位置には関係しない
第２の音響処理手段を後段に配置し、その間に前記遅延
手段を配置しているので、多音化のために複数の音源と
それぞれ対応させて第１の音響処理手段を複数設けた場
合でも、遅延手段は共用することができ、回路の簡素化
を図ることができる。
【図１】 この発明の一実施例に係る音像定位装置のブ
ロック図である。
ロック図である。
【図２】 同実施例における音源位置情報を説明するた
めの図である。
めの図である。
【図３】 同実施例における上下感・時間差付与回路の
具体的な構成を示すブロック図である。
具体的な構成を示すブロック図である。
【図４】 同実施例における多音遅延回路とＦＩＲフィ
ルタの具体的な構成を示すブロック図である。
ルタの具体的な構成を示すブロック図である。
【図５】 同実施例におけるリングバッファの機能を説
明するための図である。
明するための図である。
【図６】 同実施例における遅延回路に書き込まれるデ
ータを説明するための図である。
ータを説明するための図である。
【図７】 同実施例における書込回路の構成例を示すブ
ロック図である。
ロック図である。
【図８】 反射音をシミュレートする場合の実施例を示
す図である。
す図である。
【図９】 同実施例における反射シミュレーション部で
のシミュレーションを説明するための図である。
のシミュレーションを説明するための図である。
【図１０】 従来の音像定位装置のブロック図である。
１1〜１n…上下感・時間差付与回路、２…多音遅延回
路、３，６４Ｌ，６４Ｒ…ＦＩＲフィルタ、４…リス
ナ、１１，１４1，１４2，１５1〜１５8，６２Ｌ，６２
Ｒ，６３Ｌ，６３Ｒ…アンプ、１６…パラメータ決定
部、２１1〜２１8，４１，６１…遅延回路、２２1〜２
２8…書込回路、２３…リングバッファ、３１1〜３１8
…フィルタ、３２1，３２2，４４，６５Ｌ，６５Ｒ…加
算器、４２…演算回路、４３…カウンタ、４５…最大遅
延量検出回路、４６…ライトアドレスカウンタ、４７…
リードアドレスカウンタ、５１…反射シミュレーション
部、６６Ｌ，６６Ｒ…スピーカ。
路、３，６４Ｌ，６４Ｒ…ＦＩＲフィルタ、４…リス
ナ、１１，１４1，１４2，１５1〜１５8，６２Ｌ，６２
Ｒ，６３Ｌ，６３Ｒ…アンプ、１６…パラメータ決定
部、２１1〜２１8，４１，６１…遅延回路、２２1〜２
２8…書込回路、２３…リングバッファ、３１1〜３１8
…フィルタ、３２1，３２2，４４，６５Ｌ，６５Ｒ…加
算器、４２…演算回路、４３…カウンタ、４５…最大遅
延量検出回路、４６…ライトアドレスカウンタ、４７…
リードアドレスカウンタ、５１…反射シミュレーション
部、６６Ｌ，６６Ｒ…スピーカ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｓ 7/00 Ｇ１０Ｋ 15/00 Ｍ
Claims (3)
- 【請求項１】 仮想的な音場空間及びこの音場空間にお
ける予め指定された仮想的な音源位置によって決定され
る制御パラメータに基づいて、音源から供給されるオー
ディオ情報に対して音響処理を施すことにより前記音源
位置に前記オーディオ情報の音像を定位させる音像定位
装置において、 前記音源位置によって決定される制御パラメータに基づ
いて前記オーディオ情報を音響処理する第１の音響処理
手段と、 前記音場空間によって決定される制御パラメータに基づ
いて前記オーディオ情報を音響処理する第２の音響処理
手段と、 前記第１の音響処理手段と前記第２の音響処理手段との
間に設けられ前記第１の音響処理手段によって音響処理
されたオーディオ情報を前記音源位置からリスナまでの
距離に相当する量だけ遅延させる遅延手段と、 前記音源位置と前記リスナとの間の相対位置の変化に対
応して前記遅延量を変化させる遅延制御手段とを備えた
ことを特徴とする音像定位装置。 - 【請求項２】 前記第１の音響処理手段は、複数の音源
にそれぞれ対応するように複数設けられ、 前記遅延手段は、前記各第１の音響処理手段から供給さ
れるオーディオ情報をそれぞれの遅延量に応じた位置に
重ねて記憶するものであることを特徴とする請求項１記
載の音像定位装置。 - 【請求項３】 前記遅延手段は、ランダムアクセスが可
能なリングバッファであり、 前記遅延制御手段は、前記リングバッファの書込アドレ
スと読出アドレスとが前記遅延量に相当する間隔を保つ
ように歩進制御するものであることを特徴とする請求項
１又は２記載の音像定位装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33064096A JP3596202B2 (ja) | 1996-12-11 | 1996-12-11 | 音像定位装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33064096A JP3596202B2 (ja) | 1996-12-11 | 1996-12-11 | 音像定位装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10174198A true JPH10174198A (ja) | 1998-06-26 |
| JP3596202B2 JP3596202B2 (ja) | 2004-12-02 |
Family
ID=18234938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33064096A Expired - Lifetime JP3596202B2 (ja) | 1996-12-11 | 1996-12-11 | 音像定位装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3596202B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006222801A (ja) * | 2005-02-10 | 2006-08-24 | Nec Tokin Corp | 移動音像提示装置 |
| JP2013504229A (ja) * | 2009-09-03 | 2013-02-04 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 会議オーディオシステム用の遅延ユニット、オーディオ入力信号を遅延する方法、コンピュータプログラムおよび会議オーディオシステム |
| JP2015076797A (ja) * | 2013-10-10 | 2015-04-20 | 富士通株式会社 | 空間情報提示装置、空間情報提示方法及び空間情報提示用コンピュータプログラム |
-
1996
- 1996-12-11 JP JP33064096A patent/JP3596202B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006222801A (ja) * | 2005-02-10 | 2006-08-24 | Nec Tokin Corp | 移動音像提示装置 |
| JP2013504229A (ja) * | 2009-09-03 | 2013-02-04 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 会議オーディオシステム用の遅延ユニット、オーディオ入力信号を遅延する方法、コンピュータプログラムおよび会議オーディオシステム |
| US9271096B2 (en) | 2009-09-03 | 2016-02-23 | Robert Bosch Gmbh | Delay unit for a conference audio system, method for delaying audio input signals, computer program and conference audio system |
| JP2015076797A (ja) * | 2013-10-10 | 2015-04-20 | 富士通株式会社 | 空間情報提示装置、空間情報提示方法及び空間情報提示用コンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3596202B2 (ja) | 2004-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112567767B (zh) | 用于交互式音频环境的空间音频 | |
| US5440639A (en) | Sound localization control apparatus | |
| US5371799A (en) | Stereo headphone sound source localization system | |
| US5386082A (en) | Method of detecting localization of acoustic image and acoustic image localizing system | |
| US6078669A (en) | Audio spatial localization apparatus and methods | |
| US6611603B1 (en) | Steering of monaural sources of sound using head related transfer functions | |
| JP3266020B2 (ja) | 音像定位方法及び装置 | |
| JP4597275B2 (ja) | 音源をスピーカへ投射する方法及び装置 | |
| JP2007266967A (ja) | 音像定位装置およびマルチチャンネルオーディオ再生装置 | |
| JP3258816B2 (ja) | ３次元音場空間再生装置 | |
| JP2012004668A (ja) | 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置 | |
| WO1999033325A3 (en) | Surround signal processing apparatus and method | |
| JP2001511995A (ja) | オーディオ信号処理方法 | |
| US6111962A (en) | Reverberation system | |
| JPH0562752B2 (ja) | ||
| CN105050024A (zh) | 音频处理设备和音频处理方法 | |
| US5604809A (en) | Sound field control system | |
| US6178245B1 (en) | Audio signal generator to emulate three-dimensional audio signals | |
| US7572970B2 (en) | Digital piano apparatus, method for synthesis of sound fields for digital piano, and computer-readable storage medium | |
| JP2671329B2 (ja) | オーディオ再生装置 | |
| Yadav et al. | A system for simulating room acoustical environments for one’s own voice | |
| JP3596202B2 (ja) | 音像定位装置 | |
| WO1997004620A1 (fr) | Casque audio | |
| JPH0795696A (ja) | 音像定位装置 | |
| JP2900985B2 (ja) | ヘッドホン再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070917 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |