JP4798359B2 - 音響処理装置 - Google Patents

音響処理装置 Download PDF

Info

Publication number
JP4798359B2
JP4798359B2 JP2006101111A JP2006101111A JP4798359B2 JP 4798359 B2 JP4798359 B2 JP 4798359B2 JP 2006101111 A JP2006101111 A JP 2006101111A JP 2006101111 A JP2006101111 A JP 2006101111A JP 4798359 B2 JP4798359 B2 JP 4798359B2
Authority
JP
Japan
Prior art keywords
attenuation
howling
frequency
level
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006101111A
Other languages
English (en)
Other versions
JP2007274640A (ja
Inventor
正尋 柿下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2006101111A priority Critical patent/JP4798359B2/ja
Publication of JP2007274640A publication Critical patent/JP2007274640A/ja
Application granted granted Critical
Publication of JP4798359B2 publication Critical patent/JP4798359B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音響処理装置に関し、特にハウリングを抑止するハウリングキャンセラーとイコライザーとを連動させた音響処理装置に関する。
従来より、ハウリングを自動的に抑止するハウリングキャンセラーの技術が知られている。例えば、特許文献1には、スピーカから放射されたテスト信号や音響信号をマイクで拾い、そのレベル等に基づいてハウリングの検出を行い、検出されたハウリング周波数の信号をノッチフィルタ等のフィルタを用いて減衰させることにより、ハウリングの発生を抑制する技術が開示されている。また、ノッチフィルタの減衰量を、マイクボリュームに連動させて設定することが記載されている(段落0025)。
一方、各種の音響処理装置では、GEQ(グラフィックイコライザ)を備えたものがある。GEQは、音響信号の複数の周波数バンドに対応する複数の操作子(制御フェーダ)を備え、各バンドのレベルを各制御フェーダにより制御可能とするものである。
特開2005-102093
ところで、レベル制御部、GEQ、及びハウリングキャンセラ部が直列に入った音響処理装置があるが、従来は、レベル制御部とハウリングキャンセラ部との連動は行われていたものの、GEQとハウリングキャンセラ部との連動は行われていなかった。GEQでは各バンドのレベルを任意に設定することができ、ハウリングキャンセラ部でノッチフィルタが入っている周波数が、GEQのどのバンドに対応するかが容易にはわからないため、ハウリングキャンセラのキャンセルしたバンドを持ち上げて再びハウリングが発生させてしまう場合があった。
また、ボリュームを下げていって、ノッチの減衰量を減らしていった場合に、0dB以下の減衰量になってしまう可能性があるが、その際どのように制御するかについて、まったく考慮されていなかった。仮に0dBで頭打ちにしたすると、ボリュームが再び上げられたとき、もとのハウリング抑圧の設定に戻すことができない。GEQと組み合わせた場合であれば、減衰量が0のノッチは、他の帯域のハウリング抑圧に回すことがのぞましい。
本発明は、GEQとハウリングキャンセラとを連動させることができ、また、ハウリングキャンセラでハウリングの発生を自動的に抑止した状態を、ユーザのGEQの操作により再びハウリングが起る状態にしてしまうことを防止できる音響処理装置を提供することを目的とする。
上記の目的を達成するため、本発明は、ハウリングキャンセラによりハウリングが判定されたときの、ノッチフィルタ(ハウリング抑圧手段)の設定された周波数のGEQのレベルを保持しておき、GEQの各バンドの操作子が操作されたとき、GEQのその周波数のレベルと保持されているレベルとの差分だけ、ノッチフィルタの抑圧レベル(減衰量)を変化させるようにしたことを特徴とするものである。この処理は、複数の周波数における複数のハウリングを抑止する場合も適用可能である。
GEQのレベルが減少され、ノッチフィルタの抑圧レベルが所定値を下回ったときは、該ノッチフィルタを開放してもよい。再びGEQのレベルが増加されたとき、ノッチフィルタの動作を再現するために、抑圧に関する情報は保持しておくようにしてもよい。なお、抑圧に関する情報は保持しておき、再びレベルが上げられたとき、ノッチフィルタの減衰量が所定の減衰量以上になったら、再びそのノッチでの抑圧を行うようにすることは、グラフィックイコライザとの組み合わせだけでなく、単なるレベル制御との組み合わせであっても効果がある。
本発明によれば、ノッチフィルタが入っているGEQのバンドのフェーダをあげてゲインを増加させても、ハウリングが起こらないようにすることができる。また、GEQで、ノッチフィルタがどこに入っているか気にすることなく周波数調整しても、ハウリングが再発することがない。GEQのレベル操作された帯域および操作量に応じて、各ノッチフィルタの減衰量をそれぞれ独立して自動的に増減させることができる。(ノッチフィルタの減衰は、できるだけ浅くしたほうがよいという前提はある。)また、必要なくなったノッチを開放し、他の周波数で生じているハウリングの抑圧に回すことができ、全体としてノッチの数を減らすことができる。一旦レベルが下げられ、再びレベルが上げられたときでも、必要なハウリング抑圧を再現できる。
以下、図面を用いてこの発明の実施の形態を説明する。
図1は、この発明の一実施形態である音響処理装置の構成を示す。この音響処理装置は、中央処理装置(CPU)101、フラッシュメモリ102、RAM(ランダムアクセスメモリ)103、マウス104、キーボード105、ハードディスク106、ディスプレイ107、その他入出力インターフェース(I/O)108、波形入力部110、信号処理部111、波形出力部112、及びこれら各部を接続するバスライン114を備える。
CPU101は、この音響処理装置の全体の動作を制御する。フラッシュメモリ102は、CPU101や信号処理部111(DSP群)が使用する各種のプログラムやデータを格納した不揮発性メモリである。RAM103は、CPU101が実行するプログラムのロード領域やワーク領域に使用する揮発性メモリである。マウス104やキーボード105は、ユーザが本装置に各種の指示を与えたりデータを入力するための操作子である。ハードディスク106は、プログラムやデータを記憶する外部記憶装置である。ディスプレイ107は、各種の情報を表示するための表示装置である。その他I/O108は、本装置に各種の外部機器を接続するためのインターフェースである。
波形入力部110は、マイクなどの音響信号の発生源109から音響信号を入力するインターフェースであり、例えば、アナログ音響信号を入力しディジタル信号に変換して信号処理部111に渡すA/D(アナログディジタル)変換機能、及びディジタル音響信号を入力して信号処理部111に渡すディジタル信号入力機能を実現する。信号処理部111は、幾つかのDSP(ディジタルシグナルプロセッサ)などからなる。これらのDSPは、CPU101の指示に基づいて各種のマイクロプログラムを実行することにより、ハウリングキャンセラの処理(ハウリング抑圧処理)やイコライザ処理などを行い、処理後の波形信号を波形出力部112に出力する。波形出力部112は、信号処理部111から出力されたディジタル音響信号をアナログの音響信号に変換してサウンドシステム113経由で放音する。
図2は、図1の音響処理装置で実現するハウリングキャンセラとGEQの処理の流れと機能の分担を示す。入力201及び出力203は、図1の波形入力部110による入力及び波形出力部112による出力を示す。202は図1の信号処理部111で行う処理を示し、204は図1のCPU101で行う処理を示す。信号処理部202では、入力信号に対し、その他処理221、波形分析及びノッチ(N)フィルタ群による処理222、バンドパスフィルタ群の処理223、及びその他処理224が行われ、出力203として出力される。CPU204では、判定及びノッチフィルタ制御処理242、各バンドのレベル指定処理243、及びその他処理241が実行される。222と242がハウリングキャンセラを実現する処理であり、223と243がGEQを実現する処理である。
処理222のうち、波形分析は、周波数帯域ごとに低い方(高い方でもよい)から順にスイープし、該周波数帯域にハウリング成分が含まれているか否かを判定する処理である。周波数帯域の分け方は任意であるが、例えば20Hz〜20kHzまでの範囲を対数目盛のスケールの上で等間隔に31の周波数帯域に分ける。各周波数帯域でハウリング成分が含まれているか否かの判定は、入力信号をバンドパスフィルタで前記周波数帯域ごとに分け、各帯域でハウリングの条件を満たすか否かで判定する。ハウリングの条件とは、「レベル値が所定の閾値より高く、かつ、ピッチの揺れが所定の閾値より低い状態が、所定時間継続しているか」という条件である。この条件が満たされているときハウリングを起していると判定する。
処理222のうち、ノッチフィルタ群による処理では、まず、ハウリングを起していると判定された周波数帯域に対応するノッチフィルタを作動させゲインを徐々に下げていく。同時に波形分析によるハウリングの発生の検出を継続し、ノッチフィルタでゲインを落とした周波数帯域においてハウリングの発生が抑止できたとき、当該ノッチフィルタによるゲインの減少を止める。この時点で、どの周波数帯域でどのゲインまで下げればハウリングが抑止できるかが決定する。以後は、当該ノッチフィルタによる信号の減衰処理を継続することで、ハウリングが抑止される。なお、ノッチフィルタは、入力信号に対して直列に接続され、普段は信号をスルーさせている。ハウリングが検出されたら、その周波数帯域にノッチフィルタを割当て、上記処理でハウリングを抑止する。
上記の信号処理部202の処理222は、CPU204の処理242からの指示及び制御に基づいて実行されるものである。
GEQのCPU204の処理243は、GEQの各バンド(周波数帯域)のレベルを設定するための複数のフェーダの操作を検出して、設定されたレベル値を、バンドパスフィルタ群223に送る処理である。バンドパスフィルタ群は、入力信号の当該バンドのゲインを、そのバンドに設定されたレベル値に基づいて制御するバンドパスフィルタからなる。
図3は、ハウリング抑圧指示イベントの処理手順を示す。この処理は、ユーザによりハウリングキャンセラの動作開始が指示されたとき、CPU101と信号処理部111が協働して実行するものであり、図1の処理222,242に含まれる処理である。
ステップ301で、信号処理部202の波形分析処理222による分析結果を受け取る。ステップ302で、上記分析結果に基づいてハウリングが発生しているか判定する。発生していなければ処理を終了する。発生していれば、ステップ303でそのハウリングを抑圧するためのノッチフィルタを割り当てる。ここではi番目のノッチフィルタを割り当てたとする。ステップ304で、ハウリングを起している周波数を、割り当てたi番目のノッチフィルタに設定する。NF(i)を、i番目のノッチフィルタに設定されている周波数とする。ステップ305で、i番目のノッチフィルタの減衰量NL(i)を、ハウリングが検出されなくなるまで徐々に増加させる。ハウリングが抑止されたら、ステップ306で、ハウリング周波数におけるGEQのレベルGLを算出し、ステップ307でハウリングが検出されなくなった時点のi番目のノッチフィルタの減衰量NL(i)をNLo(i)として記憶し、そのときのGEQのレベルGLをGLo(i)に記憶する。
図4は、GEQの周波数帯域bに対応するフェーダ(b)の操作イベントがあったとき実行される処理の流れを示す。この処理は、ユーザにより当該フェーダが操作されたとき、CPU101と信号処理部111が協働して実行するものであり、図1の処理223,243に含まれる処理である。
ステップ401で、フェーダ(b)の設定値に応じてそのバンドbのレベル制御を行う。ステップ402で、|logNF−logBF|が所定値ε以下の稼働中のノッチフィルタを検出する。NFはノッチフィルタに設定されている周波数であり、BFはそのバンドbの中心周波数を示す。従って、|logNF−logBF|が所定値ε以下のノッチフィルタとは、ハウリング抑止のために減衰させている周波数NFが、バンドbの中心周波数から(対数目盛のスケール上で)所定の近傍範囲内にあるようなノッチフィルタを示している。これは周波数NFが、バンドbのレベル制御で影響を受ける範囲にあるということである。
ステップ403でそのようなノッチフィルタがないときは処理を終了する。あるときは、ステップ404で、検出されたノッチフィルタの1つ目をiとする。ステップ405で、当該i番目のノッチフィルタの周波数NF(i)のGEQのレベルGLを算出する。ステップ406で、GL−GLo(i)をΔに代入する。また、NLo(i)+ΔをNL(i)に代入する。要するに、Δは、フェーダが操作されたことによるEQのレベル値の変化量(ハウリングを抑止したときのレベル値GLo(i)を基準とした値)を示す。ノッチフィルタの減衰量NL(i)は、ハウリングを抑止したときの減衰量はNLo(i)として記憶してあり、フェーダが操作されなければこの減衰量NLo(i)だけ減衰させればハウリングは抑止できることになる。しかし、ここではフェーダが操作されてレベルが変化量Δだけ変化したので、ノッチフィルタの減衰量NL(i)を、基準の減衰量NLo(i)に上記変化量Δを加えたものとして、これによりハウリングを抑止するものである。
ステップ406の後、ステップ407で、NL(i)が0より大きいか判定する。大きいときは、ステップ408で、ノッチフィルタ(i)の減衰量をNL(i)に設定する。大きくないときは、要するにGEQのレベルGLが小さく絞られたために、ノッチフィルタを使用しなくてもハウリングが起こらない状態に至ったということである。ノッチフィルタは、入力信号を減衰するものであり、レベルの増幅は行わない。そこで、ステップ409で、ノッチフィルタ(i)をスルーに設定する。ステップ408,409の後、ステップ410で、次のノッチフィルタをiとし、ステップ411で次のノッチフィルタがないときは、処理を終了する。次のノッチフィルタiがあるときは、ステップ405に戻って処理を続ける。
以上の処理により、バンドbがノッチフィルタに影響を与える周波数であるとき、GEQのバンドbでフェーダが操作されて、そのゲインが増加されたときにはその増加分だけ当該ノッチフィルタの減衰量を増加させ、逆に前記ゲインが減少されたときにはその減少分だけノッチフィルタの減衰量を減少させるようにして、ハウリングを抑止している。ただし、ゲインが絞られてノッチフィルタの減衰量が0に至ったら、そのノッチフィルタはスルーにしている。この場合、GLo(i)やNLo(i)の値はそのまま保持されているので、再びフェーダでゲインが上げられたときにはノッチフィルタによるハウリング抑止のための減衰処理は適正に行われる。
なお、図4のステップ420は、ノッチフィルタのスルーの設定(ステップ409)の別の実施例である。スルーに設定する代わりに、ノッチフィルタ(i)を開放し、他に使えるように割り当て可能にすることとしてもよい。
上記実施形態では、信号処理部(DSP)により信号処理を行っているが、DSPの代りに、CPUで信号処理を行ってもよい。また、ハウリング抑圧処理及びイコライザ処理をプログラマブルでない専用のハードウエアで行ってもよい。信号処理部の行う信号処理には、レベル制御処理、コンプレッサ処理、ミキシング処理、残響付与処理などの1ないし複数が含まれていてもよい。
実施形態の音響処理装置の構成図 ハウリングキャンセラとGEQの処理の流れと機能の分担を示す図 ハウリング抑圧指示イベントの処理手順を示すフローチャート フェーダの操作イベントがあったとき実行される処理のフローチャート
符号の説明
101…中央処理装置(CPU)、102…フラッシュメモリ、103…RAM(ランダムアクセスメモリ)、104…マウス、105…キーボード、106…ハードディスク、107…ディスプレイ、108…その他入出力インターフェース(I/O)、109…マイク、110…波形入力部、111…信号処理部、112…波形出力部、113…サウンドシステム、114…バスライン。

Claims (4)

  1. 音響信号を入力する入力手段と、
    前記音響信号を分析してハウリングが発生したか否かを判定するハウリング判定手段と、
    入力した音響信号の周波数データの示す周波数を中心とする周波数成分を、減衰量データの示す減衰量だけ減衰させるノッチフィルタと、
    前記ハウリング判定手段において前記ハウリングの発生が判定されたとき、前記ノッチフィルタに対して、その検出されたハウリングの周波数を示す周波数データと所定の減衰量を示す前記減衰量データとを供給開始するとともに、その供給している減衰量データの示す減衰量を徐々に増加させ、前記ハウリング判定手段が該ハウリングの発生を判定しなくなる時点でその増加を停止させることにより、その検出されたハウリングを抑圧する制御手段と、
    前記音響信号の複数の周波数帯域にそれぞれ対応する複数の操作子と、
    前記複数の操作子に対応する複数のレベル制御手段であって、前記複数の操作子の各々の操作に応じて、前記音響信号の対応する周波数帯域のレベルを制御する複数のレベル制御手段と、
    前記複数の操作子のうちの、前記周波数データの示す周波数を含む周波数帯域の操作子が操作されたのに応じて、対応するレベル制御手段のレベル制御により生じる前記周波数データの示す周波数のレベルの変化量を算出し、該レベルが増加したときには前記制御手段が前記ノッチフィルタに供給している前記減衰量データの示す減衰量をその変化量だけ増加させ、該レベルが減少したときには同減衰量データの示す減衰量をその変化量だけ減少させる連動手段と、
    前記ノッチフィルタと前記複数のレベル制御手段とにより処理された音響信号を出力する出力手段と
    を備えることを特徴とする音響処理装置。
  2. 請求項1に記載の音響処理装置は、複数の直列に接続された前記ノッチフィルタを有しており、
    前記ハウリング判定手段は、複数の異なる周波数における複数のハウリングの発生を順次判定することが可能であり、前記制御手段は、該順次判定された複数のハウリングに対して、それぞれ1つのノッチフィルタを順次割り当て、その割り当てたノッチフィルタに対して、当該ハウリングの周波数を示す周波数データと所定の減衰量を示す前記減衰量データとを供給開始するとともに、その供給している減衰量データの示す減衰量を徐々に増加させ、前記ハウリング判定手段が当該ハウリングの発生を判定しなくなる時点でその増加を停止させることにより、該順次判定された複数のハウリングを順次抑圧し、
    前記連動手段は、前記複数の操作子のいずれかが操作されたとき、前記複数のノッチフィルタの中に、そのノッチフィルタに供給されている周波数データの示す周波数が該操作子に対応する周波数帯域に含まれる1ないし複数のノッチフィルタが存在すれば、該操作子に対応するレベル制御手段のレベル制御により生じる、該1ないし複数のノッチフィルタに供給されている周波数データの示す1ないし複数の周波数の各々におけるレベルの変化量を算出し、該1ないし複数のノッチフィルタに供給されている減衰量データの示す1ないし複数の減衰量を、各々対応する変化量だけ、前記レベルが増加したときには増加させ、前記レベルが減少したときには減少させる
    ことを特徴とする音響処理装置。
  3. 請求項1または2に記載の音響処理装置において、
    前記レベル制御手段により音響信号の所定の周波数帯域のレベルが減少され、それに応じて前記連動手段が前記減衰量データの示す減衰量を減少させたことにより、前記複数のノッチフィルタのいずれかに供給されている前記減衰量データが示す減衰量が所定値を下回ったとき、当該ノッチフィルタの前記ハウリングに対する割り当てを解除し、当該ノッチフィルタを開放する手段を、さらに備えることを特徴とする音響処理装置。
  4. 請求項1または2に記載の音響処理装置において、
    前記レベル制御手段により音響信号のいずれかの周波数帯域のレベルが減少され、それに応じて前記連動手段が前記減衰量データの示す減衰量を減少させたことにより、前記複数のノッチフィルタのいずれかに供給されている前記減衰量データが示す減衰量が所定値を下回ったとしても、その周波数データや減衰量データに関する情報は保持しておき、再び当該周波数帯域のレベルが増加され、それに対応して当該減衰量データの示す前記減衰量が増加して前記所定値以上になったら、再び前記複数のノッチフィルタのいずれかにおいて当該周波数データおよび当該減衰量データによるハウリングの抑圧を再開する手段を、さらに備えることを特徴とする音響処理装置。
JP2006101111A 2006-03-31 2006-03-31 音響処理装置 Expired - Fee Related JP4798359B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006101111A JP4798359B2 (ja) 2006-03-31 2006-03-31 音響処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006101111A JP4798359B2 (ja) 2006-03-31 2006-03-31 音響処理装置

Publications (2)

Publication Number Publication Date
JP2007274640A JP2007274640A (ja) 2007-10-18
JP4798359B2 true JP4798359B2 (ja) 2011-10-19

Family

ID=38676905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006101111A Expired - Fee Related JP4798359B2 (ja) 2006-03-31 2006-03-31 音響処理装置

Country Status (1)

Country Link
JP (1) JP4798359B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225101A (ja) * 2008-03-17 2009-10-01 Yamaha Corp ハウリング抑制装置
JP5927558B2 (ja) * 2011-03-09 2016-06-01 パナソニックIpマネジメント株式会社 ハウリング検出装置、ハウリング抑制装置、およびハウリング検出方法
CN111667847A (zh) * 2019-03-05 2020-09-15 成都鼎桥通信技术有限公司 啸叫抑制方法、装置、设备以及存储介质
CN114640925B (zh) * 2022-03-02 2023-10-03 广州市迪声音响有限公司 一种用于音响的动态增益均衡系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0510406Y2 (ja) * 1987-02-25 1993-03-15
WO2005125273A1 (ja) * 2004-06-16 2005-12-29 Matsushita Electric Industrial Co., Ltd. ハウリング検出装置およびその方法

Also Published As

Publication number Publication date
JP2007274640A (ja) 2007-10-18

Similar Documents

Publication Publication Date Title
EP2920880B1 (en) Audio loudness control system
US9854358B2 (en) System and method for mitigating audio feedback
CN112954115B (zh) 一种音量调节方法、装置、电子设备及存储介质
EP2172930B1 (en) Audio signal processing device and audio signal processing method
US20120201400A1 (en) Audio mixing console
JP4798359B2 (ja) 音響処理装置
US11671065B2 (en) Measuring speech intelligibility of an audio environment
JP2008268257A (ja) 音響特性補正システムおよびこれを備えたカラオケ装置
JP3935290B2 (ja) 音声放送装置
JP5246085B2 (ja) ミキシングコンソール
US9210507B2 (en) Microphone hiss mitigation
JP4596273B2 (ja) ハウリングキャンセラおよびプログラム
JP4798360B2 (ja) 音響処理装置
JP4656010B2 (ja) ハウリングキャンセラおよびプログラム
US7751573B2 (en) Clip state display method, clip state display apparatus, and clip state display program
JPH03237899A (ja) ハウリング抑制装置
EP2600636B1 (en) Distortion reduction for small loudspeakers by band limiting
JP4562573B2 (ja) ハウリング防止装置
JP6673127B2 (ja) ハウリング抑制装置及びカラオケ装置
CN113259814B (zh) 检测音频反馈的方法和音频处理系统及其用途
EP4303874A1 (en) Providing a measure of intelligibility of an audio signal
JP5941009B2 (ja) ノイズ分析装置及び方法
CN111667847A (zh) 啸叫抑制方法、装置、设备以及存储介质
JP2005107264A (ja) ハウリングキャンセラーを備えたカラオケ装置
JP2009109837A (ja) 音響信号処理装置、音響信号処理装置の制御方法および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees