JP3950510B2 - 残響信号自動生成装置および方法 - Google Patents

残響信号自動生成装置および方法 Download PDF

Info

Publication number
JP3950510B2
JP3950510B2 JP05874097A JP5874097A JP3950510B2 JP 3950510 B2 JP3950510 B2 JP 3950510B2 JP 05874097 A JP05874097 A JP 05874097A JP 5874097 A JP5874097 A JP 5874097A JP 3950510 B2 JP3950510 B2 JP 3950510B2
Authority
JP
Japan
Prior art keywords
signal
acoustic
sound
reverberation
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05874097A
Other languages
English (en)
Other versions
JPH10254469A (ja
Inventor
隆司 西
洋幸 大久保
浩一 北村
達 福西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
NHK Engineering Services Inc
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHK Engineering Services Inc, Japan Broadcasting Corp filed Critical NHK Engineering Services Inc
Priority to JP05874097A priority Critical patent/JP3950510B2/ja
Publication of JPH10254469A publication Critical patent/JPH10254469A/ja
Application granted granted Critical
Publication of JP3950510B2 publication Critical patent/JP3950510B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、確率的な反射音密度の分布等の部屋の音響性能を予め求めておくことにより、部屋の残響信号を自動生成する残響信号自動生成装置および方法に関する。
【0002】
【従来の技術】
従来の音場シミュレーションでは、音源から発した多数の音線が部屋の壁で反射して客席までの反射音を1本1本追跡する方法(以下、音線追跡法と称す)と音源の壁に対する虚像を求め、この虚像と客席とを結ぶ線分と壁との交点をもとに反射音を求める方法(以下、虚像法)が考えられており、現在でもよく使用されている。虚像法では部屋を構成する壁の数や反射次数が増加するにつれて幾何級数的に計算時間が増加する。このため、コンサートホールなどの長い残響時間を有する部屋の反射音計算には音線追跡法が主に使用されている。
【0003】
【発明が解決しようとする課題】
また、残響信号を自動生成することについては三本浩介:“残響付加法の有効性の検討”日本音響学会、平成5年度春季研究発表会、pp663−664の報告があるが、この報告で提案されている残響信号自動生成法では発生する反射音の時間構造が現実と離れていたり、初期反射音、後部残響音のスムーズな接続ができないという点において改善すべき余地がある。
【0004】
そこで、本発明の目的は、上述の点に鑑みて、室内の残響信号を高質でかつ、短時間で自動生成することの可能な残響信号自動生成装置および方法を提供することにある。
【0005】
【課題を解決するための手段】
このような目的を達成するために、請求項1の発明は、室内の音響環境条件に基づき、残響音を再生するための残響信号を生成するにあたって、前記残響音を初期反射音と後部残響音との2つに分け、さらに、前記後部残響音を第1の音響信号と第2の音響信号とに分ける残響信号自動生成装置において、前記残響音を幾何音響に則った音線追跡法あるいは虚像法で求める100〜150msの第1の音響特性を持つ前記初期反射音を生成する第1の信号処理手段と、音線数の時間変化率が一定時間範囲内で時間の2乗にしたがって増加する特性を持つ第2の音響特性ならびに前記音響環境条件に基づき、前記第1の音響信号を生成する第2の信号処理手段と、前記第1の音響信号と前記第2の音響信号との接続時点から音線数の時間変化率が直線的に減少する特性を持つ第3の音響特性ならびに前記音響環境条件に基づき、前記第2の音響信号を生成する第3の信号処理手段と、前記初期反射音、前記第1の音響信号および第2の音響信号を接続合成する第4の信号処理手段とを備えたことを特徴とする。
【0006】
請求項2の発明は、請求項1に記載の残響信号自動生成装置において、音響環境条件として残響時間周波数特性が与えられ、前記第2の信号処理手段および前記第3の信号処理手段は、前記第2の音響特性に基づき中心周波数1kHzの周波数で代表して総反射音線数、時間範囲を取得し、前記第3の音響特性の経過時間に対する係数を取得し、時間刻み内で発生させた一様乱数から、前記後部残響音個々の反射音の遅延時間を取得し、振幅が前記残響時間周波数特性を満足するような後部残響音の減衰曲線を取得し、前記第4の信号処理手段は前記初期反射音および前記後部残響音のエネルギ成長曲線を取得し、前記第1の音響信号および前記第2の音響信号の接続時点の接線の傾きが一致するように接続レベルを求めることを特徴とする。
【0007】
請求項3の発明は、請求項2に記載の残響信号自動生成装置において、前記初期反射音、前記第1の音響信号および前記第2の音響信号を、それぞれ、周波数帯毎に生成することにより前記残響信号を広帯域化することを特徴とする。
【0008】
請求項4の発明は、室内の音響環境条件に基づき、残響音を初期反射音と後部残響音との2つに分け、さらに、前記後部残響音を第1の音響信号と第2の音響信号とに分けて残響信号を生成する残響信号自動生成方法であって、前記残響音を幾何音響に則った音線追跡法または虚像法によって求める100〜150msの第1の音響特性を持つ前記初期反射音を生成する第1のステップと、音線数の時間変化率が一定時間範囲内で時間の2乗にしたがって増加する特性を持つ第2の音響特性および前記音響環境条件に基づき、前記第1の音響信号を生成し、ならびに前記第1の音響信号と前記第2の音響信号との接続時点から音線数の時間変化率が直線的に減少する特性を持つ第3の音響特性および前記音響環境条件に基づき、前記第2の音響信号を生成する第2のステップと、前記初期反射音、前記第1の音響信号ならびに前記第2の音響信号を接続合成する第3のステップとを備えることを特徴とする。
【0009】
請求項5の発明は、請求項4に記載の残響信号自動生成方法において、音響環境条件として残響時間周波数特性が与えられ、前記第2のステップは、前記第2の音響特性および前記第3の音響特性に基づき総反射音線数、時間範囲を取得するステップと、前記第3の音響特性の経過時間に対する係数を取得するステップと、時間刻み内で発生させた一様乱数から、前記後部残響音個々の反射音の遅延時間を取得するステップと、振幅が前記残響時間周波数特性を満足するような後部残響音の減衰曲線を取得するステップとを含み、前記第3のステップは、前記初期反射音および前記後部残響音のエネルギ成長曲線を取得するステップと、前記第1の音響信号および前記第2の音響信号の接続時点の接線の傾きが一致するように接続レベルを求めるステップとを含むことを特徴とする。
【0010】
請求項6の発明は、請求項5に記載の残響信号自動生成方法において、前記初期反射音、前記第1の音響信号および前記第2の音響信号を、それぞれ、周波数帯毎に生成することにより前記残響信号を広帯域化することを特徴とする。
【0015】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【0016】
図1は本発明を適用したバーチャルリアリティシステムのシステム構成を示す。図1において、残響信号自動生成装置1にはマイクロコンピュータ、パーソナルコンピュータ等の演算処理処理装置が使用され、後述の残響信号自動生成方法(図6)にしたがって、たとえば、コンサートホール等の音響情報データに基づき残響信号(デジタル形態)を自動生成する。生成された残響信号は、周知の畳み込み装置2に転送される。畳み込み装置2は響きのない音源信号と上記残響信号とを畳み込み合成する。合成された音響信号はスピーカ4から再生出力される。これにより一般家庭の部屋でも本格的なコンサートホールの音を楽しむことができる。
【0017】
残響音を付加する場合、時間軸上でどのような処理を施せば、すべての反射音を従来法でトレースしたもの(以下、レファレンス)と聴感上、弁別できないものが得られるかが問題となる。音響的にはラウドネス(定常状態エネルギ)、響き(残響時間)および音響のひろがり(両耳間相互相関関係)に関して、残響付加した音をレファレンスに近づける必要がある。
【0018】
反射音密度および室の幾何学的、音響的パラメータと反射音の時間構造との関係を調べるため、音線追跡法を使用して受音点における反射音を分析し、統計的な性質を調べたので、その調査結果について述べる。この調査では、反射音の統計的な性質を知るための物理量として、総反射音線数Nおよび反射音線数の微少時間内における変化率dN/dtを採用し、それらの時間的な推移を調べた。
【0019】
このシミュレーションの結果を内挿し、総反射音数、反射音総数の時間変化率が時間経過の2乗に比例する時間の範囲(以下、時間範囲と称する)を求めた。総反射音数Nと経過時間tとの関係については、従来から下記の数1式が成立するとされてきた。
【0020】
【数1】
Figure 0003950510
【0021】
ここで、cは音速、Vは部屋の容量を表す。
【0022】
この数1式の時間微分を求めることにより、反射音線数の時間変化率dN/dtが経過時間の2乗に比例することも分かる。しかし、数1式は反射によるエネルギーの損失がないと仮定して得られるものであり、実際には、壁で反射する際に、エネルギの一部が吸音、透過で失われるため、数1式を適用できる範囲が存在すると考えられる。
【0023】
総音線数、時間範囲の両者について、平均吸音率、残響半径rhで正規化した音源受音点間の(以下、距離)をパラメータとして、表した結果をそれぞれ図2、図3に示す。この予備実験の結果、以下のことが分かった。
【0024】
(1)総音線数は、距離によって、変化し、距離が大きくなるほど一様に音線数も増加する傾向にある。これは時間の3乗に比例して総音線数が増加するという拡散音場を仮定した上記数1の理論式からだけでは説明できない点と考えられる。
【0025】
(2)総音線数は残響時間ではなく、平均吸音率に依存する。
【0026】
(3)時間範囲は距離、平均吸音率、室容積に依存する。
【0027】
以上の予備実験で得た、反射音の時間構造の性質を考慮し、付加する反射音は、100〜150msの間で任意に設定した接続時刻t2までの初期反射音を従来の音線追跡法等によって求め、これ以後音線数の時間変化がt1までの時間範囲内で図4のように時間の2乗にしたがって、増加し、これ以後、残響時間RTまで、直線的に減少するとしてモデル化した。これらは、室の幾何学的条件(室容積、距離)および中心周波数1kHzにおける音響条件(平均吸音率、残響半径)から、図2、図3に示す特性を使用して推定できる。統計量を求める際の微少時間間隔を10msに設定し、この時間幅内で一様乱数を発生してランダムな遅延時間を得た。
【0028】
上記の時間構造を持つ付加反射音の振幅は1/1オクターブの帯域内で、Eyringの残響式で予測した残響時間を持つとして、減衰のエンベロープを求めた。図5に示すように初期反射音部分と後部残響音のエネルギ成長曲線の接線の傾きが接続時刻においてほぼ等しくなるように計算機(残響信号自動生成装置1)内で自動的に接続レベルを決めた。以上、説明したように反射音の密度、振幅および残響時間周波数特性を考慮して、後部残響音を生成することにより高質の残響音、すなわち、現実を反映した、反射音の音の大きさ(ラウドネス)と、実際に近い響きを得ることができ、また、その自動生成時間も短くてすむ。
【0029】
次に本発明に係る残響信号自動生成方法を図6を参照して説明する。図6に示す処理手順は、実際にはCPU等により読み取り実行可能なプログラムの形態で残響信号自動生成装置1内の記憶装置、たとえば、ROMやハードディスク記憶装置に保存され、読み出された後、実行される。説明の便宜上、図6の処理手順は、従来技術として確立している処理に分割して機能的に表現しているので、当業者であれば、容易にプログラム化することができよう。また、本実施の形態では、残響信号自動生成装置1および畳み込み装置2の機能をパーソナルコンピュータで実現するものとする。
【0030】
シミュレーションのために予め定められている条件は部屋の幾何学的な形、内装材料、音源、客席の位置および残響時間周波数とする。この条件をキーボード等の入力装置から受け付け、残響信号自動生成装置1内のメモリ,たとえば、RAMに記憶しておく。次に、マルチタスク処理あるいはシーケンシャルの処理により図6のステップS11の初期反射音の算出処理およびステップS21〜S24の処理を実行する。
【0031】
ステップS11の初期反射音算出処理では、音線追跡法で初期反射音を求める。
【0032】
ステップS21では、図2および図3に示す特性を記載したテーブル、あるいは変換式から中心周波数1kHzにおける時間範囲、総反射音線数の順に求める。
【0033】
ステップS22では図4のモデルの示す特性を記載したテーブル、あるいは変換式およびステップS11の初期反射音線数を考慮して、すなわち前記総反射音線数から初期反射音線数を減じて、反射音線時間変化率の経過時間に対する係数を取得する。
【0034】
ステップS23では、時間刻み(たとえば、10ms)内で発生させた一様乱数から、後部残響音個々の反射音の遅延時間を算出する。また、振幅が残響時間周波数特性を満足するような後部残響音の減衰曲線を算出する。
【0035】
ステップS24では初期反射音、後部残響音のエネルギー成長曲線をそれぞれ取得し、図5に示すように接続時刻の前後における接線の傾きが一致するように、後部残響音の接続レベルを決定する。
【0036】
ステップS21〜ステップS22の処理は1kHzの周波数で代表して求めておき、ステップS23〜ステップS24およびステップS11の処理を中心周波数63Hz〜8kHzまでの1/1オクターブ間隔の周波数ごとに繰り返し処理し、初期反射音信号(時間ごとのデジタル値)および後部反射音信号(時間ごとのデジタル値)を接続合成して広域化を図る(ステップS25)。
【0037】
このように作成した残響信号を響きのない音源信号(図1の符号3)と畳み込み処理することにより自然な響きが付加された音響信号が生成される。
【0038】
本発明を用いて残響信号を自動生成して得られた波形の一例を全部の反射音を音線追跡法で求めたレファレンスと比較して図7、図8に示す。この結果からも本発明の有効性が分かる。
【0039】
【発明の効果】
以上、説明したように、請求項1、の発明によれば、残響信号を音響特性が異なる2つの信号、すなわち、初期反射音についての第1の残響信号とその後に続く後部残響音についての第2の残響信号とに分けて、それぞれを別個に生成する。この生成した音響信号を接続合成する。これにより、残響信号の音響特性を複雑な数式を使用することなく、簡素な数式で表すことができ、信号生成時間が短縮化される。また、2つの音響信号を接続合成することによりその合成により得られる残響信号は現実を反映した、反射音の音の大きさ(ラウドネス)と、実際に近い響きを得ることができる。
また、初期反射音の音響特性を、音線数の時間変化率が一定時間範囲内で時間の2乗にしたがって、増加する特性とすることにより、従来の音線追跡法等を用いた音場シミュレーション手法に比べて、信号生成時間を短縮することができる。さらには、後部残響音の音響特性を、前記初期反射音の接続時点から音線数の時間変化率が直線的に減少する特性とすることにより従来の音線追跡法等を用いた音場シミュレーション手法を使用するよりも信号生成時間を短縮することができる
【0040】
請求項2、5の発明では、第1の音響信号の時系列上の後端部と第2の音響信号の始端部のレベルおよび傾きを一致させることができるので、たとえ、第1の音響信号および第2の音響信号を合成しても、その信号の再生音は結合部に違和感を生ぜず、自然なものとなる
【0041】
請求項3、6の発明では、第1の音響信号および第2の音響信号を、帯域ごとに生成して広帯域化するので、再生される残響はさらに自然に近い音となる
【図面の簡単な説明】
【図1】本発明実施の形態のシステム構成を示すブロック図である。
【図2】総音線数と距離の関係の特性を示す説明図である。
【図3】時間範囲と距離の関係の特性を示す説明図である。
【図4】音線数の時間変化率のモデル特性を示す説明図である。
【図5】第1,第2の音響信号の接続処理を示す説明図である。
【図6】残響信号自動生成処理を示すフローチャートである。
【図7】レファレンス波形を示す波形図である。
【図8】残響付加波形を示す波形図である。
【符号の説明】
1 残響信号自動生成装置
2 畳み込み装置
3 無響室録音信号
4 スピーカ

Claims (6)

  1. 室内の音響環境条件に基づき、残響音を再生するための残響信号を生成するにあたって、前記残響音を初期反射音と後部残響音との2つに分け、さらに、前記後部残響音を第1の音響信号と第2の音響信号とに分ける残響信号自動生成装置において、
    前記残響音を幾何音響に則った音線追跡法あるいは虚像法で求める100〜150msの第1の音響特性を持つ前記初期反射音を生成する第1の信号処理手段と、
    音線数の時間変化率が一定時間範囲内で時間の2乗にしたがって増加する特性を持つ第2の音響特性ならびに前記音響環境条件に基づき、前記第1の音響信号を生成する第2の信号処理手段と、
    前記第1の音響信号と前記第2の音響信号との接続時点から音線数の時間変化率が直線的に減少する特性を持つ第3の音響特性ならびに前記音響環境条件に基づき、前記第2の音響信号を生成する第3の信号処理手段と、
    前記初期反射音、前記第1の音響信号および前記第2の音響信号を接続合成する第4の信号処理手段と
    備えたことを特徴とする残響信号自動生成装置。
  2. 請求項1に記載の残響信号自動生成装置において、音響環境条件として残響時間周波数特性が与えられ、前記第2の信号処理手段および前記第3の信号処理手段は、前記第2の音響特性に基づき中心周波数1kHzの周波数で代表して総反射音線数、時間範囲を取得し、前記第3の音響特性の経過時間に対する係数を取得し、時間刻み内で発生させた一様乱数から、前記後部残響音個々の反射音の遅延時間を取得し、振幅が前記残響時間周波数特性を満足するような後部残響音の減衰曲線を取得し、前記第4の信号処理手段は前記初期反射音および前記後部残響音のエネルギ成長曲線を取得し、前記第1の音響信号および前記第2の音響信号の接続時点の接線の傾きが一致するように接続レベルを求めることを特徴とする残響信号自動生成装置
  3. 請求項2に記載の残響信号自動生成装置において、前記初期反射音、前記第1の音響信号および前記第2の音響信号を、それぞれ、周波数帯毎に生成することにより前記残響信号を広帯域化することを特徴とする残響信号自動生成装置。
  4. 室内の音響環境条件に基づき、残響音を初期反射音と後部残響音との2つに分け、さらに、前記後部残響音を第1の音響信号と第2の音響信号とに分けて残響信号を生成する残響信号自動生成方法であって、
    前記残響音を幾何音響に則った音線追跡法または虚像法によって求める100〜150msの第1の音響特性を持つ前記初期反射音を生成する第1のステップと、
    音線数の時間変化率が一定時間範囲内で時間の2乗にしたがって増加する特性を持つ第2の音響特性および前記音響環境条件に基づき、前記第1の音響信号を生成し、ならびに前記第1の音響信号と前記第2の音響信号との接続時点から音線数の時間変化率が直線的に減少する特性を持つ第3の音響特性および前記音響環境条件に基づき、前記第2の音響信号を生成する第2のステップと、
    前記初期反射音、前記第1の音響信号ならびに前記第2の音響信号を接続合成する第3のステップと
    を備えることを特徴とする残響信号自動生成方法
  5. 請求項4に記載の残響信号自動生成方法において、音響環境条件として残響時間周波数特性が与えられ、
    前記第2のステップは、
    前記第2の音響特性および前記第3の音響特性に基づき総反射音線数、時間範囲を取得するステップと、
    前記第3の音響特性の経過時間に対する係数を取得するステップと、
    時間刻み内で発生させた一様乱数から、前記後部残響音個々の反射音の遅延時間を取得するステップと、
    振幅が前記残響時間周波数特性を満足するような後部残響音の減衰曲線を取得するス テップとを含み、
    前記第3のステップは、
    前記初期反射音および前記後部残響音のエネルギ成長曲線を取得するステップと、
    前記第1の音響信号および前記第2の音響信号の接続時点の接線の傾きが一致するように接続レベルを求めるステップとを含む
    ことを特徴とする残響信号自動生成方法
  6. 請求項5に記載の残響信号自動生成方法において、前記初期反射音、前記第1の音響信号および前記第2の音響信号を、それぞれ、周波数帯毎に生成することにより前記残響信号を広帯域化することを特徴とする残響信号自動生成方法
JP05874097A 1997-03-13 1997-03-13 残響信号自動生成装置および方法 Expired - Fee Related JP3950510B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05874097A JP3950510B2 (ja) 1997-03-13 1997-03-13 残響信号自動生成装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05874097A JP3950510B2 (ja) 1997-03-13 1997-03-13 残響信号自動生成装置および方法

Publications (2)

Publication Number Publication Date
JPH10254469A JPH10254469A (ja) 1998-09-25
JP3950510B2 true JP3950510B2 (ja) 2007-08-01

Family

ID=13092929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05874097A Expired - Fee Related JP3950510B2 (ja) 1997-03-13 1997-03-13 残響信号自動生成装置および方法

Country Status (1)

Country Link
JP (1) JP3950510B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977405B1 (ja) * 2006-03-13 2007-09-19 株式会社コナミデジタルエンタテインメント ゲーム音出力装置、ゲーム音制御方法、および、プログラム
KR100899836B1 (ko) * 2007-08-24 2009-05-27 광주과학기술원 실내 충격응답 모델링 방법 및 장치

Also Published As

Publication number Publication date
JPH10254469A (ja) 1998-09-25

Similar Documents

Publication Publication Date Title
JP4059478B2 (ja) 音場制御方法及び音場制御システム
Schroeder Digital simulation of sound transmission in reverberant spaces
EP0593228B1 (en) Sound environment simulator and a method of analyzing a sound space
JP4062959B2 (ja) 残響付与装置、残響付与方法、インパルス応答生成装置、インパルス応答生成方法、残響付与プログラム、インパルス応答生成プログラムおよび記録媒体
EP2232484B1 (en) Modelling wave propagation characteristics in an environment
JP2005229618A (ja) 動的音源とリスナーの位置による音声レンダリング
JP2003255955A5 (ja)
JPH08272380A (ja) 仮想3次元空間音響の再生方法および装置
Rindel Modelling in auditorium acoustics. From ripple tank and scale models to computer simulations
US9100767B2 (en) Converter and method for converting an audio signal
CN108391199B (zh) 基于个性化反射声阈值的虚拟声像合成方法、介质和终端
CN113553022A (zh) 设备调整方法、装置、移动终端及存储介质
US7572970B2 (en) Digital piano apparatus, method for synthesis of sound fields for digital piano, and computer-readable storage medium
JP3950510B2 (ja) 残響信号自動生成装置および方法
US7751574B2 (en) Reverberation apparatus controllable by positional information of sound source
JP3335409B2 (ja) 残響付加装置
WO2023169574A1 (zh) 音频混响方法、装置、电子设备及存储介质
JP2003122378A (ja) オーディオ再生装置
TWI846139B (zh) 後期迴響距離衰減技術
JP2003157090A (ja) 残響音生成方法及び残響音シミュレータ
WO2024089034A2 (en) Audio signal processor and related method and computer program for generating a two-channel audio signal using a specific separation and combination processing
Hopper Reverberation enhancement for small rooms
JPH09244663A (ja) 過渡応答信号生成方法、音響再生方法及び装置
US3670841A (en) Method of adjusting a speaker of an electrical sound producing instrument
Eargle Reverberation and Signal Delay

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees