JP4400485B2 - 適応型音場支援装置 - Google Patents

適応型音場支援装置 Download PDF

Info

Publication number
JP4400485B2
JP4400485B2 JP2005073486A JP2005073486A JP4400485B2 JP 4400485 B2 JP4400485 B2 JP 4400485B2 JP 2005073486 A JP2005073486 A JP 2005073486A JP 2005073486 A JP2005073486 A JP 2005073486A JP 4400485 B2 JP4400485 B2 JP 4400485B2
Authority
JP
Japan
Prior art keywords
sound
signal
reverberation
adaptive
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005073486A
Other languages
English (en)
Other versions
JP2006261808A (ja
Inventor
秀生 宮崎
啓 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005073486A priority Critical patent/JP4400485B2/ja
Publication of JP2006261808A publication Critical patent/JP2006261808A/ja
Application granted granted Critical
Publication of JP4400485B2 publication Critical patent/JP4400485B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

既存の室内音響条件をベースに音響効果を増強する音場支援装置に関し、特に設置条件や音場条件が悪い場合でもハウリングの発生を抑制して音響効果を増強できる音場支援装置に関する。
コンサートホール・多目的ホールなどの音響施設では、ロック・ポップス・クラシックなど様々な音楽が演奏される。このような音響施設は、残響感・音量感・拡がり感といった音響効果が良好になるように設計されている。しかし、音響効果は、音響施設の規模や構造、演奏する音楽の種類によって異なっている。そのため、すべての音楽を最適な音響条件で演奏することができるように、音響施設の音響条件を調整することは困難であった。
そこで、従来、建築音響に関わる室内の主要な音響効果を、電気音響の支援により自然に変化させることができる音場制御装置が開示されている(例えば、特許文献1,2参照。)。
特許第2737595号公報 特許第2956642号公報
特許文献1,2に開示された音場制御装置は、ハウリングを抑制するために、マイクロフォン・スピーカの組み合わせを時間的に変える、またはフィルタを時間的に変化させる(FM変調)などの時変機能を音響帰還系に導入している。しかし、特許文献1,2に開示された音場制御装置は、施工後に具体的なハウリングの発生条件が決まる。そのため、音場制御装置の施工後にハウリングが発生しないようにする調整が不可欠であり、実際に装置から放音される音を測定しながらループゲインの調整やイコライジングしなければならず、調整に多くの手間と時間が必要になるという問題があった。
また、特許文献1,2に開示された音場制御装置は、スピーカから放音された残響音をマイクロフォンで収音してループさせることで残響成分を増幅して、残響感・音量感・拡がり感などの音響効果を増加させる。そのため、上記の音場制御装置では、小空間のようにマイクロフォン・スピーカ間を所定の距離以上確保できない音場条件であると、上記のようにハウリングの抑制機能を備えていても、ハウリングを制御することが難しくなる。また、上記のような小空間においてハウリングの発生を抑制するためには、音場制御装置のループゲインを低下させる必要がある。しかし、音場制御装置のループゲインを低下させると、十分な音響効果が得られないという問題があった。
さらに、特許文献1,2に開示された音場制御装置では、調整時と実際のホール使用時とで音場条件が異なるという問題があった。例えば、調整時はステージ上には何もない状態で行う。しかし、オペラ公演時にはステージ上に大道具を設置した状態となる。また、オーケストラの公演時にはステージ上に複数の演奏者が着席した状態になる。このように、ステージ上の状態が異なると、ホールの音響条件が変化する。さらに、ホール内の温度や湿度が変化しても、ホールの音響条件が変化する。そのため、音場制御装置の調整時にマージンをかなり取る必要がある。しかし、その結果としてシステムの効果を下げることになるという問題があった。
そこで、本発明は、上記の各問題を解決して、小空間や音響条件が変化する室内空間においても、ハウリングの発生を抑制することができ、初期反射音及び後部残響音による音響効果を良好にすることができる音場支援装置を提供することを目的とする。
(1)音響空間に設置され、音源が発した音及び周囲から伝搬する音を収音するマイクロフォンと、
前記音響空間の音響を支援する音を放音するスピーカと、
前記スピーカから前記マイクロフォンへ至る音響帰還路の伝達関数を推定して、前記マイクロフォンの収音信号から、前記スピーカからの帰還音信号を除去する適応フィルタを有するハウリングキャンセル手段と、
前記適応フィルタが推定した伝達関数のインパルス応答から前記音響空間の初期反射音成分と後部残響音成分とを切り出す切り出し手段と、
前記切り出し手段が切り出したインパルス応答の初期反射音成分に、前記収音信号から前記帰還音信号を除去した残差信号を畳み込んだ初期反射音支援信号を生成する初期反射音支援信号生成手段と、
前記切り出し手段が切り出したインパルス応答の後部残響音成分に基づいて、所定の音響条件を決定し、決定した音響条件に基づくインパルス応答に、前記残差信号を畳み込んだ後部残響音支援信号を生成して出力する第1の後部残響音支援信号生成手段と、
前記切り出し手段が切り出したインパルス応答の後部残響音成分を前記後部残響音支援信号に畳み込んだ信号を、前記残差信号に加算する第2の後部残響音支援信号生成手段と、
前記初期反射音支援信号及び前記後部残響音支援信号を増幅して前記スピーカへ出力するアンプと、
を備えたことを特徴とする。
この構成においては、適応型音場支援装置は、スピーカからマイクロフォンへ至る音響帰還路の伝達関数を適応フィルタによって推定して、マイクロフォンの収音信号から、スピーカからマイクロフォンへ至る帰還音信号を除去する。したがって、ハウリングキャンセル手段によって、ハウリングが発生する前の帰還音信号をキャンセルしてハウリングを防止することができるとともに、ハウリングが発生した場合でも、ハウリング音を速やかに減衰させることができる。
また、適応フィルタは、音場の変化によりスピーカからマイクロフォンへ至る帰還音が変化すると、この帰還音を減衰させるように、音響帰還路の伝達関数を更新する。したがって、室内空間の音場の条件が変化しても、その変化に対応してスピーカからマイクロフォンへ至る帰還音信号をマイクロフォンの収音信号から確実に除去してハウリングの発生を抑制できる。
さらに、適応フィルタが推定した伝達関数のインパルス応答は、室の音響条件に応じたものであり、適応型音場支援装置では、適応フィルタが推定した伝達関数のインパルス応答から初期反射音成分と後部残響音成分とを切り出して、これらインパルス応答の各成分に、スピーカからマイクロフォンへ至る帰還音信号を除去したマイクロフォンの収音信号を畳み込んで、室で発生する初期反射音及び後部残響音を模した支援信号を生成する。したがって、初期反射音及び後部残響音の音響効果、すなわち残響感・音量感・拡がり感を室の音響条件及びその変化に応じて増強でき、また、音場の状態やその変化に応じて自然な残響延長を行うことができる。
(2)前記第1の後部残響音支援信号生成手段は、決定した音響条件に基づくフィルタ係数が設定される第1のFIRフィルタを有し、
前記第2の後部残響音支援信号生成手段は、前記適応フィルタが推定した伝達関数に基づくフィルタ係数が設定される第2のFIRフィルタを有し、
前記第1のFIRフィルタの入力端に前記第2のFIRフィルタの出力が加算された後の前記残差信号が入力され、前記第1のFIRフィルタの出力端から後部残響音支援信号が取り出されて、前記第1のFIRフィルタと前記第2のFIRフィルタとは、ループ状に接続されることを特徴とする。
この構成においては、第1のFIRフィルタと第2のFIRフィルタとをループ状に接続することで、音響ループを人工的に創り出す。また、第2のFIRフィルタには、適応フィルタが推定した伝達関数に基づくフィルタ係数が設定され、適応フィルタは室の音場の状態に基づいて伝達関数を推定する。したがって、第2のFIRフィルタには、室の音響条件及びその変化に応じて、フィルタ係数を変化させることができる。したがって、第1のFIRフィルタと第2のFIRフィルタから成る音響ループにより、適応型音場支援装置を設置する室と、この室に仮想的に連設された第2の室と、の間で、音源から発した音が反響して発生する後部残響音を模した後部残響音支援信号を生成できる。また、第1のFIRフィルタ及び第2のFIRフィルタのフィルタ係数は、任意の値を設定可能なので、後部残響音の残響時間の延長及びレベルの増強を行うことができるとともに、室内空間の音響効果を増強できる。
(3)前記ループ状に接続された第1のFIRフィルタ及び第2のFIRフィルタのループゲインを測定し、このループゲイン、及び初期反射音支援信号生成手段のゲインを予め設定した値に調整するループゲイン調整手段を備えたことを特徴とする。
この構成においては、ループゲイン調整手段によって、ループ状に接続された第1のFIRフィルタ及び第2のFIRフィルタのループゲインと、初期反射音支援信号生成手段のゲインと、が予め設定した値に調整される。したがって、初期反射音支援信号生成手段及び後部残響音支援信号生成手段の動作を安定されることができる。また、音響ループのループゲインを測定し、このループゲインを予め設定した値に調整するので、従来の音場支援装置の設置時に必要であったループゲインの測定やイコライジングといった現場での調整作業を大幅に減らすことができる。
(4)前記切り出し手段が切り出した伝達関数のインパルス応答の後部残響音成分からノイズ成分を除去して、前記第1の後部残響音支援信号生成手段及び前記第2の後部残響音支援信号生成手段へ出力するノイズ補正手段を備えたことを特徴とする。
この構成においては、ノイズ補正手段は、伝達関数のインパルス応答の後部残響音成分からノイズ成分を除去して後部残響音生成手段へ出力する。したがって、後部残響音の終端部がノイズに埋もれることなく、後部残響音の残響時間をさらに延長させることができる。
(5)ハウリングキャンセル手段の調整用テスト音声信号を生成するテスト音声生成手段と、
前記テスト音声生成手段の動作時に、前記スピーカ前記調整用テスト音声信号のみを出力する切り替え手段と、
を備えたことを特徴とする。
この構成においては、適応型音場支援装置は、テスト音声生成手段で生成したハウリングキャンセル手段の調整用テスト音声信号のみをスピーカから放音させることができる。したがって、適応型音場支援装置の起動時や、ステージ上の大道具の配置が変更された場合などに、テスト音声生成手段で生成したテスト音声信号によりハウリングキャンセル手段を調整しておくことで、音場に応じた最適な初期反射音及び後部残響音を生成して放音することができる。
この発明によれば、スピーカからマイクロフォンへ帰還する帰還音を除去するために音場の状態や変化を推定した伝達関数を、初期反射音及び後部残響音の調整に用いるので、音場の状態や変化に応じて自然な残響延長を行うことができ、安定な状態で室内空間の音響を支援することができる。
また、適応型音場支援装置を設置する室に第2の室を仮想的に併設した状態を創り出すことができるので、例えば、第2の室を適応型音場支援装置を設置する室と同様の条件に設定することも可能であり、所望の音場を設定して好みの残響を生成することも可能である。
さらに、スピーカからマイクロフォンへ帰還する帰還音信号を取り除くことにより、小空間のようにマイクロフォンやスピーカの設置条件が制限される場合でも、既存の室内音響条件をベースに音響効果を増強して音場を支援することができる。
加えて、適応フィルタは、スピーカからマイクロフォンへ至る帰還音が変化すると、この帰還音を減衰させるように、音響帰還路の伝達関数を更新するので、温度・気温により音場が変化する場合や、オペラ公演などのように舞台の条件が変わる場合でも、その変化に応じてハウリング音の発生を抑制することができる。
また、ハウリングの要因となる初期の強い反射音を取り除くことで、音響帰還路のループゲインを最小限にすることができ、十分な制御範囲を確保することができる。
さらに、FIRフィルタにより音響ループを人工的に創り出すことにより、事前にループゲインを推定することが可能となる。また、音響ループのループゲインを測定し、このループゲインを予め設定した値に調整するので、従来の音場支援装置の設置時に必要であったループゲインの測定やイコライジングといった現場での調整作業を大幅に減らすことができる。
また、伝達関数のインパルス応答の後部残響音成分からノイズ成分を除去して後部残響音生成手段へ出力するので、後部残響音の終端部がノイズに埋もれることなく、後部残響音の残響時間をさらに延長させることができる。
以下の説明では、本発明の適応型音場支援装置を小ホールに設けた場合を一例として説明する。
図1は、適応型音場支援装置の概略の配置図である。音響施設(室)の一例である小ホール71は、ステージ75と客席76を備えている。また、ステージ75の中央部に楽器とその奏者(以下、音源77と称する。)が位置し、客席76の中央部に聴取者78が着席している。なお、同図には、音源77を円形で表示している。
図1には、8組の適応型音場支援装置を小ホール71に設置した場合を示している。すなわち、小ホール71内を伝搬する音を収音できるように、小ホール71の天井面72にマイクロフォン11−1〜11−8を所定の間隔で配置する。また、小ホール71の音響を支援するために、つまり、残響時間の延長やレベル増強などを行った初期反射音及び後部残響音を客席76に対して放音するために、小ホール71の側壁面73にスピーカ53−1〜53−4を、側壁面74に複数のスピーカ53−5〜53−8を、それぞれ所定の間隔で配置する。また、適応型音場支援装置の本体は、図外の舞台裏や調整室などに設置する。なお、マイクロフォン及びスピーカの配置並びに使用する適応型音場支援装置の数量は、音響施設の規模や形状によって異なる例えば、スピーカを側壁面だけでなく天井面に設けたりスピーカの放音面を天井に向けたりしたスピーカから初期反射音や後部残響音を支援する音を放音するように配置する場合もある。
図2は、適応型音場支援装置の概略のブロック図である。図3は、適応型音場支援装置が生成する初期反射音及び後部残響音の状態を示す図である。
適応型音場支援装置1は、収音部2、ハウリングキャンセル部3、初期反射音生成部4、後部残響音生成部5、加算器6、放音部7、反射音調整部8、及びテスト音声生成部9を備えている。
収音部2は、マイクロフォン11、ヘッドアンプ12、及びA/Dコンバータ13を備えている。ハウリングキャンセル部3は、遅延回路21、フィルタ部23及び伝達系推定部24を備えた適応フィルタ22、並びに加算器25を備えている。初期反射音生成部4は、FIRフィルタ31及びイコライザ32を備えている。後部残響音生成部5は、残響音生成フィルタ41、加算器42、FIRフィルタ43、イコライザ44、FIRフィルタ45、イコライザ46、及び残響音再生フィルタ47を備えている。放音部7は、D/Aコンバータ51、パワーアンプ52、及びスピーカ53を備えている。反射音調整部8は、切り出し部61、ノイズ調整部62、残響調整部63、及びループゲイン調整部64を備えている。テスト音声生成部9は、オシレータ66及びスイッチ67を備えている。
収音部2は、小ホール71のような室内空間において伝搬する音を収音して、ディジタル信号に変換して出力する。マイクロフォン11は、周囲から伝搬する音、すなわち音源77から放音された音(直接音)や、この音が小ホール71の壁面・ステージ75上の大道具などで反射して発生する初期反射音及び後部残響音、並びにスピーカ53から放音された音など、周囲から伝搬する音を収音する。そして、マイクロフォン11から出力された収音信号は、ヘッドアンプ12で増幅され、A/Dコンバータ13でディジタル化されて、ハウリングキャンセル部3の加算器25に出力される。
ハウリングキャンセル部3は、スピーカ53からマイクロフォン11へ至る音響帰還路の伝達関数を推定して、前記マイクロフォンの収音信号から、マイクロフォン11が収音したスピーカ53からの帰還音信号を除去する。ここで、適応型音場支援装置1では、ハウリングキャンセル部3を設けていない場合、マイクロフォン11とスピーカ53との間が所定の距離以下であると、スピーカ53から放音された初期反射音をマイクロフォン11が収音して、1以上のゲインで増幅する動作を繰り返すので、ハウリングが発生する。しかし、適応型音場支援装置1では、ハウリングキャンセル部3によって、マイクロフォン11の収音信号から、マイクロフォン11が収音したスピーカ53からの帰還音信号が除去されるので、ハウリングの発生を抑制することができる。
遅延回路21は、スピーカ53からマイクロフォン11へ帰還する帰還音の時間遅延を推定して、加算器6の出力信号に時間遅延を付与する。そして、遅延回路21は、適応フィルタ22のフィルタ部23及び伝達系推定部24に信号を出力する。
適応フィルタ22は、スピーカ53からマイクロフォン11に帰還する音響帰還路における音の伝達関数を模擬するフィルタであり、遅延回路21が遅延した信号をフィルタリングする。そして、適応フィルタ22は、このフィルタリングした信号を模擬信号として加算器25へ出力する。
フィルタ部23は、伝達系推定部24が推定した音響帰還路の伝達関数に基づいて、遅延回路21が出力した信号をフィルタリングし、模擬信号として加算器25へ出力する。
伝達系推定部24は、遅延回路21で遅延された過去の音声信号と、加算器25の出力信号である現在の音声信号と、に基づいて帰還音信号の消去誤差を検出する。そして、伝達系推定部24は、模擬信号を帰還音信号に一致または近似させるべくフィルタ部23の伝達関数を推定して自動更新する。伝達系推定部24は、例えばLMS(Least Mean Square )アルゴリズムのような適応アルゴリズムを用いて、伝達関数の更新を行う。また、伝達系推定部24は、推定した伝達関数を、FIRフィルタ45と、残響調整部63を介してFIRフィルタ43とに出力する。ここで、伝達系推定部24が推定した伝達関数は、適応型音場支援装置1を設置した小ホール71内の音場をシミュレートしたものである。
加算器25は、収音部2が出力した収音信号から適応フィルタ22の出力信号を差し引いて出力する。つまり、加算器25は、マイクロフォン11の収音信号から、スピーカ53からマイクロフォン11へ帰還する帰還音信号を差し引いて出力する。加算器25は、伝達系推定部24、初期反射音生成部4のFIRフィルタ31、及び後部残響音生成部5の残響音生成フィルタ41へ信号を出力する。
初期反射音生成部4は、音源77から放音された音が小ホール71の壁面などで反射して発生する初期反射音を模した初期反射音支援信号を生成する。また、初期反射音生成部4は、既存の室内音響条件をベースに、残響時間の延長やレベル増強を行って、音響効果を増強(改善)する。
FIRフィルタ31は、切り出し部61によって、小ホール71の音響条件に基づくフィルタ係数が設定される。FIRフィルタ31は、切り出し部61が切り出したインパルス応答の初期反射音成分に、スピーカ53からマイクロフォン11への帰還音信号が除去されたマイクロフォン11の収音信号を畳み込み、音源77が発した音に応じて小ホール71で発生する初期反射音を模した初期反射音支援信号を生成する。また、FIRフィルタ31は、既存の室内音響条件、つまり小ホール71の音響条件に基づいて初期反射音のレベル増強や残響時間の延長を行う。したがって、小ホール71内の空間が拡張されたように聞こえる初期反射音がスピーカ53から放音される。
イコライザ32は、適応型音場支援装置1の設置時などに初期反射音の周波数特性やゲイン、各タップの時間間隔などを調整するためのものである。
後部残響音生成部5は、音源77から放音される音の後部残響音を模した後部残響音支援信号を生成する。また、後部残響音生成部5は、既存の室内音響条件をベースに残響時間の延長やレベル増強を行って、音響効果を増強(改善)する。
ここで、以下の説明におけるクリティカルディスタンスとは、音源77から放音される直接音と、その後部残響音と、のエネルギーバランスが等しくなる距離のことである。ステージ75とマイクロフォン11との距離がクリティカルディスタンス以下であると、音源77から放音される直接音の方がその後部残響音よりもエネルギーが大きくなる。このときには、マイクロフォン11で音源77の後部残響音を十分に収音することができない。また、スピーカ53と客席76との距離がクリティカルディスタンス以下であると、スピーカ53から放音される直接音の方がその後部残響音よりもエネルギーが大きくなる。このときには、客席76が設置された空間に対してスピーカ53から残響音を十分に放音することができない。
ここで、FIRフィルタ43、イコライザ44、FIRフィルタ45、イコライザ46、及び加算器42によって構成される音響ループを、残響音生成ループ50と称する。
残響音生成フィルタ41は、小ホール71の音響条件に基づくフィルタ係数が設定されている。すなわち、適応型音場支援装置1を設置する小ホール71の音場をシミュレートしたインパルス応答、または小ホール71において実測したインパルス応答を用いる。
残響音生成フィルタ41は、小ホール71の音響条件に基づくフィルタ係数が設定されている。残響音生成フィルタ41は、スピーカ53からマイクロフォン11へ帰還する帰還音信号が除去されたマイクロフォン11の収音信号を畳み込んで、小ホール71内で発生する後部残響音を模した疑似信号を生成する。例えば、残響音生成フィルタ41は、マイクロフォン11とステージ75上の音源77との距離がクリティカルディスタンス以下となり、マイクロフォン11が収音した収音信号に残響音がほとんど含まれていない場合に、後部残響音の疑似信号を生成して付加する。一方、マイクロフォン11とステージ75との距離がクリティカルディスタンスを超えている場合には、音源77から放音される音の後部残響音の方が直接音よりもエネルギーが大きくなる。この場合には、マイクロフォン11は、音源77から放音される音の後部残響音を収音できるので、残響音生成フィルタ41の機能をオフにしておき、加算器25が出力した信号が残響音生成フィルタ41を通過するように設定する。
加算器42は、残響音生成フィルタ41から出力された信号と、FIRフィルタ45からイコライザ46を介して出力された信号と、を加算して、FIRフィルタ43へ信号を出力する。
FIRフィルタ43は、小ホール71に仮想的に併設した所定の大きさのカップルドルーム(Coupled Room)81の音響条件に基づくフィルタ係数が設定されている。また、FIRフィルタ43は、残響調整部63によってフィルタ係数が設定・変更される。FIRフィルタ43は、イコライザ44を介してFIRフィルタ45及び残響音再生フィルタ47へ信号を出力する。
イコライザ44は、適応型音場支援装置1の設置時などに後部残響音の周波数特性やゲイン、各タップの時間間隔などを調整するためのものである。
FIRフィルタ45は、切り出し部61によって、小ホール71の音響条件に基づくフィルタ係数が設定される。FIRフィルタ45は、切り出し部61が切り出したインパルス応答の後部残響音成分に、スピーカ53からマイクロフォン11への帰還音信号が除去されたマイクロフォン11の収音信号を畳み込み、音源77が発した音に応じて小ホール71で発生する後部残響音を模した後部残響音支援信号を生成する。また、FIRフィルタ45は、既存の室内音響条件、つまり小ホール71の音響条件に基づいて後部残響音のレベル増強や残響時間の延長を行う。FIRフィルタ45は、イコライザ46を介して加算器42へ信号を出力する。
イコライザ46は、適応型音場支援装置1の設置時などに後部残響音の周波数特性やゲイン、各タップの時間間隔などを調整するためのものである。
ここで、本発明では、FIRフィルタ43とFIRフィルタ45をループ状に並列に接続してFIRフィルタ43の入力側から加算器25が出力した信号が入力され、FIRフィルタ43の出力側から信号が取り出されるように構成することで、FIRフィルタ43とFIRフィルタ45との間で後部残響音を模した信号を循環させながら出力させることができる。これにより、図3に示すように、オリジナル空間である小ホール71とカップルドルーム81との間で後部残響音を反響しながら、後部残響音が客席の聴取者に届いている状態をシミュレートしたものとなる。したがって、音源77が発した音が、小ホール71に連設されたカップルドルーム81と小ホール71との間で反響して発生する後部残響音を模した音をスピーカ53から放音させることができる。また、FIRフィルタ45において、後部残響音のレベル増強や残響時間の延長を行うようにフィルタ係数を設定することで、小ホール71内の空間が拡張されたように聞こえる後部残響音をスピーカ53から放音させることができる。また、FIRフィルタ43には任意のフィルタ係数を設定可能なので、フィルタ係数に応じてカップルドルーム81の音場を自由に設定することができ、小ホール71のカップルドルームとして任意の音場を設定できる。
残響音再生フィルタ47は、小ホール71の音響条件に基づくフィルタ係数が設定されている。すなわち、適応型音場支援装置1を設置する小ホール71の音場をシミュレートしたインパルス応答、または小ホール71において実測したインパルス応答を用いる。残響音再生フィルタ47は、スピーカ53と客席76との距離がクリティカルディスタンス以下となり、残響音を客席76に対して十分に放音することができない場合などに、FIRフィルタ43から出力された信号を畳み込んで、小ホール71で発生する後部残響音を模した信号を生成して出力する。一方、スピーカ53と客席76との距離がクリティカルディスタンスを超えている場合には、音源77から放音される音の後部残響音の方が直接音よりもエネルギーが大きくなる。この場合には、音源77から放音される音の後部残響音を模した音をスピーカ53から放音できるので、残響音再生フィルタ47の機能をオフにしておき、後部残響音を模した信号が残響音再生フィルタ47を通過するように設定する。
反射音調整部8は、音源77から放音された音の初期反射音及び後部残響音が自然な響きとなってスピーカ53から放音されるように、適応フィルタ22の伝達系推定部24が推定した伝達関数に基づいて初期反射音生成部4及び残響音生成ループ50の調整を行う。
切り出し部61は、適応フィルタ22の伝達系推定部24が推定した伝達関数のインパルス応答から初期反射音成分と後部残響音成分とを切り出す。そして、切り出し部61は、インパルス応答の初期反射音成分をFIRフィルタ31へ出力し、インパルス応答の後部残響音成分をノイズ調整部62へ出力する。
ノイズ調整部62は、インパルス応答の後部残響音成分からノイズ成分を除去して、残響調整部63へ出力する。
ここで、切り出し部61及びノイズ調整部62の動作の詳細について説明する。図4は、伝達関数の残響減衰カーブを示すグラフである。図4には、伝達関数の残響減衰カーブにおけるRMS(Root Mean Square)波形から求めた回帰直線を示している。一般的に、初期反射音と後部残響音とはエネルギーが異なっており、初期反射音と後部残響音とでは、残響減衰カーブの回帰直線の傾きが大きく異なっている。そのため、この回帰直線を用いて残響時間を計算し、残響減衰カーブの傾きが大きく変化する点を後部残響音の開始点とする。例えば、図4に示すように、回帰直線の傾きは点Aにおいて大きく変化するので、この点を後部残響音の開始点とする。また、初期反射音の強い音場では、残響減衰カーブは初期の部分で落ち込みがあり、そこから後部残響音の減衰が始まるため、この変曲点位置を後部残響音の始まる点とすることもできる。
また、図4に示すように、適応フィルタ22が推定した伝達関数の後部残響音成分は通常、終端部がノイズ成分によって埋もれてしまう。そのため、適応型音場支援装置1では、この問題を解消するために、ノイズ調整部62によって、以下に説明するように後部残響音のノイズレベルの補正を行う。
図4に示すようにノイズレベルはほぼ一定であるため、ノイズ調整部62は、後部残響音の残響減衰カーブにおける変曲点をノイズの開始点とする。そして、後部残響音の残響減衰カーブの延長線と、ノイズレベルと、の差から係数を算出する。さらに、ノイズ調整部62は、この係数をノイズレベルにかけることで、残響減衰カーブがノイズに埋もれることなく引き続き減衰させる。なお、残響減衰カーブは、ほぼ一定であるノイズレベルよりも10dB高い点においても、ノイズの影響を受けている。そのため、ノイズレベルよりも10dB高い点を基点としてそれ以降の値に係数をかけて補正を行う。これにより、ノイズレベルの補正を確実に行うことができる。
次に、残響調整部63は、ノイズ調整部62によってノイズが除去されたたインパルス応答の後部残響音成分に基づいて、カップルドルーム81の音響条件を決定し、この音響条件に基づいてFIRフィルタ43のフィルタ係数を設定・変更する。これにより、小ホール71に仮想的に併設したカップルドルーム81の音場を変化させる。図5は、FIRフィルタによる音響効果の改善の状態を示すグラフである。例えば、図5(A)に示すように、伝達系推定部24が推定した伝達関数に対して、時間軸で指数関数ファクタをかける。これにより、FIRフィルタ43のインパルス応答特性において、残響減衰カーブの傾斜が変化するので、カップルドルームの平均吸音率を変更したように後部残響音の音響効果を変化させることができる。また、図5(B)に示すように、伝達系推定部24が推定した伝達関数に対して、サンプリング周期を変更する。これにより、FIRフィルタ43のインパルス応答特性は、時間軸で伸縮するので、カップルドルームのルームサイズを変更したように後部残響音の音響効果を変化させることができる。
ループゲイン調整部64は、残響音生成ループ50の入力信号レベルと出力信号レベルとに基づいて、残響音生成ループ50のループゲインを測定する。そして、ループゲイン調整部64は、後部残響音生成部5のループゲインが予め設定した値となるように、イコライザ44とイコライザ46を調整する。また、ループゲイン調整部64は、イコライザ44とイコライザ46を調整した際に、後部残響音の模擬信号のレベルと初期反射音の模擬信号のレベルとが所定の比率となるように、初期反射音生成部4のイコライザ32を調整する。
加算器6は、初期反射音生成部4の出力信号である初期反射音支援信号及び後部残響音生成部5の出力信号である後部残響音支援信号を加算する。そして、加算器6は、放音部7及びハウリングキャンセル部3へ両信号を出力する。
加算器6から放音部7へ出力されたディジタル信号は、D/Aコンバータ51でアナログ信号に変換される。そして、パワーアンプ52は、初期反射音を模した初期反射音支援信号及び後部残響音を模した後部残響音支援信号を増幅して、スピーカ53へ両信号を出力する。スピーカ53は、音源77から放音された音の初期反射音及び後部残響音を模した音を放音する。
テスト音声生成部9は、ハウリングキャンセル部3を調整するためのテスト音声信号を生成して、このテスト音声のみを出力させる。
オシレータ66は、ハウリングキャンセル部3の調整用テスト音声信号を生成する。オシレータ66に生成させるテスト音声としては、周波数帯域の広い音が好適である。例えば、ドラムの音やオーケストラが演奏する楽曲などが良い。
スイッチ67は、加算器6の後段に接続され、初期反射音生成部4及び後部残響音生成部5と、テスト音声生成部9と、の接続を切り替える。スイッチ67のC(コモン)端子は遅延回路21及び放音部7のD/Aコンバータ51に接続され、NC(ノーマルクローズ)端子は加算器6に接続され、NO(ノーマルオープン)端子はテスト音声生成部9に接続されている。
スイッチ67をNO端子側に切り替えることで、加算器6が回路から切り離される。このとき、放音部7のスピーカ53からは、初期反射音及び後部残響音を模した音を放音しなくなり、オシレータ66が生成したテスト音声のみが放音される。例えば、適応型音場支援装置の起動時や、ステージ上の大道具の配置が変更された場合などに、テスト音声を放音するようにスイッチ67を切り替えることで、ハウリングキャンセル部3を、小ホール71の音場の状態に応じて調整することができる。したがって、適応型音場支援装置1は、ステージ上の大道具の配置が変更されたりして音場の状態が変化しても、音源77から音が放音されると、ハウリングが発生することなく、直ちに音源77から放音された音の初期反射音及び後部残響音をスピーカ53から放音させることができる。
なお、テスト音声生成部9は、上記の構成に限るものではなく、他の構成であっても良い。例えば、オシレータ66をハウリングキャンセル部3と加算器6との間に直接接続し、スイッチ67をハウリングキャンセル部3と初期反射音生成部4との間に設けると良い。オシレータ66を動作させる場合には、スイッチ67を開放させることで、収音部2で収音した音声信号が初期反射音生成部4及び後部残響音生成部5に出力されないので、放音部7のスピーカ53からは、オシレータ66で生成したテスト音声のみを放音させることができる。
次に、本発明の適応型音場支援装置1を設置時の調整動作について説明する。小ホール71に適応型音場支援装置1を設置した際に、マイクロフォン11とステージ75との距離がクリティカルディスタンス以下となる場合には、前記のように、マイクロフォン11で音源77の後部残響音を十分に収音することができない。この場合には、残響音生成フィルタ41の機能をオンにしておき、マイクロフォン11の収音信号から、音源77から放音された音の後部残響音の模擬信号を生成するように設定する。これにより、小ホール71とカップルドルーム81との間で反響して残響時間が延長され、レベルが増強された後部残響音を生成することができる。
一方、マイクロフォン11とステージ75との距離がクリティカルディスタンスを超えている場合には、音源77から放音される音の後部残響音の方が直接音よりもエネルギーが大きくなる。この場合には、音源77から放音される音の後部残響音をマイクロフォン11で収音できるので、残響音生成フィルタ41をオフにしておき、信号が残響音生成フィルタ41を通過するように設定する。これにより、マイクロフォン11で収音した後部残響音が、さらにカップルドルーム81で反響した状態、及びカップルドルーム81と小ホール71との間で反響した状態を模した後部残響音をスピーカ53から放音させることができる。
また、小ホール71に適応型音場支援装置1を設置した際に、スピーカ53と客席76の聴取者78との距離がクリティカルディスタンス以下となる場合には、前記のように、スピーカ53から後部残響音を十分に放音することができない。この場合には、残響音再生フィルタ47の機能をオンにしておき、ステージ75上の音源77から放音された音の後部残響音の模擬信号を生成して出力するように設定する。これにより、小ホール71及びカップルドルーム81で反響し、最終的に小ホール71で反響して客席76に伝搬する後部残響音を生成してスピーカ53から放音させることができる。
一方、スピーカ53と客席76の聴取者78との距離がクリティカルディスタンスを超えている場合には、音源77から放音される音の後部残響音の方が直接音よりもエネルギーが大きくなる。この場合には、音源77から放音される音の後部残響音をスピーカ53から放音できるので、残響音再生フィルタ47をオフにしておき、音声信号が残響音再生フィルタ47を通過するように設定する。これにより、小ホール71及びカップルドルーム81で反響した後部残響音をスピーカ53から放音させて、この音を最終的に小ホール71で反響させて客席76に伝搬させることができる。
次に、FIRフィルタ31、FIRフィルタ43、及びFIRフィルタ45の周波数特性などの調整は、イコライザ32,イコライザ44、及びイコライザ46のイコライジングにより行う。このとき、音源77から放音された音、及び周囲から伝搬した残響音をマイクロフォン11で収音させて、スピーカ53から放音された初期反射音及び後部残響音を確認しながら、所望の音響効果が得られるように調整を行う。
適応型音場支援装置1は、既存の室内音響条件をベースに音響効果を増強する(音場を支援する)。すなわち、FIRフィルタ31、FIRフィルタ43、及びFIRフィルタ45に設定するインパルス応答特性を変更・調整して、図5(A)に示すようにインパルス応答の各タップにおける残響減衰カーブの傾きを変更することで、室内空間における平均吸音率を変更したような音響効果が得られる。また、図5(B)に示すようにインパルス応答の各タップの間隔を変更することで、ルームサイズを変更したような音響効果が得られる。
例えば、FIRフィルタ43には、カップルドルーム81に相当するインパルス応答を設定するので、FIRフィルタ43に設定するインパルス応答特性を変えることで、音場を変化させることができ、後部残響音の音響特性を変化させることができる。また、FIRフィルタに実測したインパルス応答を用いることで、より自然な音を創り出すことができる。さらに、FIRフィルタ43及びFIRフィルタ45によって音響ループを人工的に創り出すことで、事前にループゲインを推定することが可能となる。したがって、従来の音場支援装置では調整に時間が必要であったループゲインの測定やイコライジングといった現場での調整作業を大幅に減らすことができる。
以上のように適応型音場支援装置1の調整を行うことで、適応型音場支援装置1を設置した小ホール71の音響特性を保ちながら、音響効果に関わる重要な項目、すなわち、残響感・音量感・拡がり感を改善していくことができる。また、小ホール71にカップルドルームを併設した場合と同様に、後部残響音の音響特性を変化させることができる。さらに、適応型音場支援装置1の設置後においても、残響調整部63を操作することで、後部残響音の音響効果を変更することができる。
また、適応型音場支援装置1の起動時や、ステージ上の大道具の配置が変更された場合などには、テスト音声生成部9を動作させて、ハウリングキャンセル部3を調整する。すなわち、スイッチ67をNO端子側に切り替えて、加算器6が回路から切り離し、オシレータ66を放音部7に接続する。そして、オシレータ66を動作させて、オシレータ66からテスト音声を数秒から十数秒間出力させる。そして、スイッチ67をNC端子側に切り替えて、加算器6を回路に接続する。
このようにすることで、ハウリングキャンセル部3を、小ホール71の音場の状態に応じて調整することができ、ステージ75で演奏が開始されると、直ちにハウリングの発生を抑制できる。
次に、適応型音場支援装置1の動作について説明する。適応型音場支援装置1は、ステージ75上の音源77から放音された音、周囲から伝搬した音、及びスピーカ53から放音された音(音源77から放音された音の初期反射音及び後部残響音を模した音)をマイクロフォン11で収音する。ハウリングキャンセル部3は、スピーカ53からマイクロフォン11へ至る音響帰還路の伝達関数を推定して、マイクロフォン11が収音したスピーカ53からの帰還音信号を取り除くための模擬信号を生成する。加算器25は、マイクロフォン11の収音信号から、マイクロフォン11が収音した帰還信号を取り除いて、初期反射音生成部4及び後部残響音生成部5へ音声信号を出力する。
反射音調整部8は、適応フィルタ22の伝達系推定部24が推定した伝達関数のインパルス応答から初期反射音成分を切り出して初期反射音生成部4へ出力する。また、反射音調整部8は、適応フィルタ22の伝達系推定部24が推定した伝達関数のインパルス応答から後部残響音成分を切り出して後部残響音生成部5へ出力する。初期反射音生成部4は、伝達系推定部24から出力された伝達関数のインパルス応答における初期反射音成分に基づき、小ホール71の音場の変化に応じて、音源77の初期反射音の模擬信号を生成して、加算器6へ出力する。また、後部残響音生成部5は、伝達系推定部24から出力された伝達関数に基づき、小ホール71の音場の変化に応じて、音源77の後部残響音の模擬信号を生成して加算器6へ出力する。加算器6は、音源77の初期反射音及び後部残響音を模した音声信号をスピーカ53へ出力する。スピーカ53からは、音源77の初期反射音及び後部残響音を模した音が出力される。
以上のように、本発明の適応型音場支援装置1は、適応フィルタ22の伝達系推定部24が推定した伝達関数に基づいて初期反射音及び後部残響音を模した音を生成するので、室内空間の音場の変化に応じて後部残響音を模した音を変化させることができる。したがって、適応型音場支援装置の設置時に行う調整作業を大幅に削減できる。また、小ホール71の音響条件が変化しても、自動的に後部残響音や初期反射音の音響効果を変更することができるので、装置の調整時にマージンを取る必要がなく、システムの効果を向上させることができる。
また、本発明の適応型音場支援装置1では、適応フィルタ22を用いたハウリングキャンセル部3を備えているので、気温の変化や音場の変化が発生したり、ステージ75上に設置する大道具などの条件が変わったりしても、ハウリングの発生を防止できる。また、本発明の適応型音場支援装置1では、ハウリングキャンセル部3により、スピーカ53からマイクロフォン11への帰還信号を取り除くことができるので、マイクロフォンとスピーカとの距離がクリティカルディスタンス以下となる小空間であっても、ハウリングが発生することなく、既存の室内音響条件をベースに残響音の響きを豊かにすることができる。
なお、室の音響条件は、公演の開演直前や開幕時には確定する。そのため、伝達系推定部24が推定した伝達関数に基づくFIRフィルタ45の調整、及び残響調整部63によるFIRフィルタ43の調整は、公演の開演直前や幕が開いた時に一回だけ実施するように構成すると良い。
また、以上の説明では、本発明の適応型音場支援装置を小ホールに設けた場合を例に挙げて説明したが、本発明はこれに限るものではなく室内空間であれば良い。例えば、本発明の適応型音場支援装置を大ホールや中ホールに設けた場合でも、わずかな調整で、初期反射音及び後部残響音の響きを豊かにすることができる。
また、以上の説明では、初期反射音生成部4及び後部残響音生成部5にFIRフィルタを用いた場合を例に挙げて説明したが、本発明はこれに限るものではなく他のフィルタを用いても良い。例えば、IIRフィルタなどを用いることが可能である。
適応型音場支援装置の概略の配置図である。 適応型音場支援装置の概略構成を示すブロック図である。 適応型音場支援装置が生成する初期反射音及び後部残響音の状態を示す図である。 伝達関数の残響減衰カーブを示すグラフである。 FIRフィルタによる音響効果の改善の状態を示すグラフである。
符号の説明
1−適応型音場支援装置 2−収音部 3−ハウリングキャンセル部
4−初期反射音生成部 5−後部残響音生成部 6−加算器
7−放音部 8−反射音調整部 9−テスト音声生成部
11−マイクロフォン 12−ヘッドアンプ 13−A/Dコンバータ
21−遅延回路 22−適応フィルタ 23−フィルタ部
24−伝達系推定部 25−加算器 31,43,45−FIRフィルタ
32,44,46−イコライザ 41−残響音生成フィルタ 42−加算器
47−残響音再生フィルタ 50−残響音生成ループ
51−D/Aコンバータ 52−パワーアンプ 53−スピーカ
61−切り出し部 62−ノイズ調整部 63−残響調整部
64−ループゲイン調整部 66−オシレータ 67−スイッチ
71−小ホール 75−ステージ 76−客席 77−音源
78−聴取者 81−カップルドルーム

Claims (5)

  1. 音響空間に設置され、音源が発した音及び周囲から伝搬する音を収音するマイクロフォンと、
    前記音響空間の音響を支援する音を放音するスピーカと、
    前記スピーカから前記マイクロフォンへ至る音響帰還路の伝達関数を推定して、前記マイクロフォンの収音信号から、前記スピーカからの帰還音信号を除去する適応フィルタを有するハウリングキャンセル手段と、
    前記適応フィルタが推定した伝達関数のインパルス応答から前記音響空間の初期反射音成分と後部残響音成分とを切り出す切り出し手段と、
    前記切り出し手段が切り出したインパルス応答の初期反射音成分に、前記収音信号から前記帰還音信号を除去した残差信号を畳み込んだ初期反射音支援信号を生成する初期反射音支援信号生成手段と、
    前記切り出し手段が切り出したインパルス応答の後部残響音成分に基づいて、所定の音響条件を決定し、決定した音響条件に基づくインパルス応答に、前記残差信号を畳み込んだ後部残響音支援信号を生成して出力する第1の後部残響音支援信号生成手段と、
    前記切り出し手段が切り出したインパルス応答の後部残響音成分を前記後部残響音支援信号に畳み込んだ信号を、前記残差信号に加算する第2の後部残響音支援信号生成手段と、
    前記初期反射音支援信号及び前記後部残響音支援信号を増幅して前記スピーカへ出力するアンプと、
    を備えたことを特徴とする適応型音場支援装置。
  2. 前記第1の後部残響音支援信号生成手段は、決定した音響条件に基づくフィルタ係数が設定される第1のFIRフィルタを有し、
    前記第2の後部残響音支援信号生成手段は、前記適応フィルタが推定した伝達関数に基づくフィルタ係数が設定される第2のFIRフィルタを有し、
    前記第1のFIRフィルタの入力端に前記第2のFIRフィルタの出力が加算された後の前記残差信号が入力され、前記第1のFIRフィルタの出力端から後部残響音支援信号が取り出されて、前記第1のFIRフィルタと前記第2のFIRフィルタとは、ループ状に接続される請求項1に記載の適応型音場支援装置。
  3. 前記ループ状に接続された第1のFIRフィルタ及び第2のFIRフィルタのループゲインを測定し、このループゲイン、及び初期反射音支援信号生成手段のゲインを予め設定した値に調整するループゲイン調整手段を備えた請求項2に記載の適応型音場支援装置。
  4. 前記切り出し手段が切り出した伝達関数のインパルス応答の後部残響音成分からノイズ成分を除去して、前記第1の後部残響音支援信号生成手段及び前記第2の後部残響音支援信号生成手段へ出力するノイズ補正手段を備えた請求項1乃至3のいずれかに記載の適応型音場支援装置。
  5. ハウリングキャンセル手段の調整用テスト音声信号を生成するテスト音声生成手段と、
    前記テスト音声生成手段の動作時に、前記スピーカ前記調整用テスト音声信号のみを出力する切り替え手段と、
    を備えた請求項1乃至4のいずれかに記載の適応型音場支援装置。
JP2005073486A 2005-03-15 2005-03-15 適応型音場支援装置 Expired - Fee Related JP4400485B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005073486A JP4400485B2 (ja) 2005-03-15 2005-03-15 適応型音場支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005073486A JP4400485B2 (ja) 2005-03-15 2005-03-15 適応型音場支援装置

Publications (2)

Publication Number Publication Date
JP2006261808A JP2006261808A (ja) 2006-09-28
JP4400485B2 true JP4400485B2 (ja) 2010-01-20

Family

ID=37100602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005073486A Expired - Fee Related JP4400485B2 (ja) 2005-03-15 2005-03-15 適応型音場支援装置

Country Status (1)

Country Link
JP (1) JP4400485B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5169533B2 (ja) * 2008-06-25 2013-03-27 ヤマハ株式会社 インパルス応答加工装置、残響付与装置およびプログラム
BR112013029850B1 (pt) * 2011-05-26 2021-02-09 Koninklijke Philips N.V. sistema de áudio e método de operação de um sistema de áudio
JP7532793B2 (ja) * 2020-02-10 2024-08-14 ヤマハ株式会社 音量調整装置および音量調整方法
JP2022144500A (ja) 2021-03-19 2022-10-03 ヤマハ株式会社 音信号処理方法および音信号処理装置
WO2023199746A1 (ja) * 2022-04-14 2023-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響再生方法、コンピュータプログラム及び音響再生装置

Also Published As

Publication number Publication date
JP2006261808A (ja) 2006-09-28

Similar Documents

Publication Publication Date Title
CN106664473B (zh) 信息处理装置、信息处理方法和程序
EP1681900B1 (en) Microphone and sound amplification system
US8116481B2 (en) Audio enhancement system
JP4701944B2 (ja) 音場制御機器
US5142586A (en) Electro-acoustical system
JPH10247089A (ja) 演奏音場制御装置
WO2005125272A1 (ja) ハウリング抑圧装置、プログラム、集積回路、およびハウリング抑圧方法
JP4428257B2 (ja) 適応型音場支援装置
US8116468B2 (en) Stereophonic sound reproduction device
JP4400485B2 (ja) 適応型音場支援装置
JP4835151B2 (ja) オーディオシステム
JP2008213755A (ja) 車両用能動音響制御装置
US8750529B2 (en) Signal processing apparatus
KR100758066B1 (ko) 하울링 캔슬러를 구비한 확성 장치
US6888058B2 (en) Electronic musical instrument
JP6424421B2 (ja) 音響装置
JP4442468B2 (ja) 適応型音場支援装置
JP5101351B2 (ja) 音場空間制御システム
US10812902B1 (en) System and method for augmenting an acoustic space
JP2021131432A (ja) 音信号処理方法および音信号処理装置
JP2001228867A (ja) 演奏音場制御装置
JP2006074409A (ja) 音声出力装置
JP5118517B2 (ja) 音場空間制御システム
JP2018056893A (ja) ハウリング抑制装置及びカラオケ装置
JP4929134B2 (ja) スピーカ装置及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090907

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees