JP4288433B2 - Audio signal processing apparatus and electronic apparatus equipped with the same - Google Patents
Audio signal processing apparatus and electronic apparatus equipped with the same Download PDFInfo
- Publication number
- JP4288433B2 JP4288433B2 JP37070198A JP37070198A JP4288433B2 JP 4288433 B2 JP4288433 B2 JP 4288433B2 JP 37070198 A JP37070198 A JP 37070198A JP 37070198 A JP37070198 A JP 37070198A JP 4288433 B2 JP4288433 B2 JP 4288433B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- gain control
- output
- control characteristic
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明の音声信号処理装置及びこれを具備した電子機器は、例えば補聴器、電話、拡声器、音声通信の分野で用いられる音声信号の音声レベル変換装置、音量調整装置に関し、さらに詳しくは増幅器の利得制御特性を可変して受聴者の聴覚に適合した出力音声信号を得ることのできる音声信号処理装置及びこれを具備した電子機器に関する。
【０００２】
【従来の技術】
音声を伝送、再生する場合で、伝送系、再生系のダイナミックレンジが十分広くないときや、難聴者のように受聴可能なダイナミックレンジが狭い場合に、小レベルの入力音声信号の増幅度を大きくし、大きいレベルの入力音声信号の増幅度を小さくするという非線形な利得制御特性により入力音声信号に対する出力音声信号のレベル変換を行うレベル圧縮増幅処理の手法が知られている。
【０００３】
【発明が解決しようとする課題】
ところで、上述した従来のレベル圧縮増幅処理においては、設定や動作の安定性について次のような問題がある。
所望のレベル変換動作を得るためには、再生系や伝送系からの入力音声信号のレベル範囲や受聴可能な出力音声信号のダイナミックレンジを予想して、受聴者の聴覚に適合するように特定し、この特定された入力音声信号と出力音声信号のダイナミックレンジに合わせて非線型な利得制御特性を設定しなくてはならない。それ故、この特定できる入力音声信号のレベル範囲や可聴音声出力ダイナミックレンジの幅は、設定された利得制御特性により限定されるので狭くなり、入力音声信号のレベルや可聴音声出力ダイナミックレンジが特定したレベル範囲を超えた場合には、期待したレベル変換動作が得ることができなくなる。
【０００４】
本発明はこのような点に鑑みてなされたものであり、予め入力音声信号のレベル範囲や受聴可能な出力音声信号のダイナミックレンジを特定することなく、入力音声信号のレベル範囲や受聴可能なダイナミックレンジの状況に応じて上述の利得制御特性を可変設定し得る音声信号処理装置及びこれを具備した電子機器を提供することを課題とする。
【０００５】
【課題を解決するための手段】
本発明の音声信号処理装置は、
増幅器の利得制御特性に基づいて該増幅器に入力された入力音声信号を増幅または圧縮し、所望の出力音声信号を出力する音声信号処理装置として、
前記入力音声信号の有声音のレベルを検出し検出出力を生成するレベル検出手段と、
前記所望の出力音声信号を得るために、外部の操作機構または外部の情報信号により利得制御特性可変出力を生成する出力可変手段と、
前記検出出力と、前記利得制御特性可変出力の増大または減少を示す信号とに基づいて、前記増幅器の利得制御を行うための利得制御特性曲線を、前記入力音声信号の特定のレベルを境界として所定の関数で規定でき、且つ前記境界で連続であるように可変して前記増幅器の利得制御特性を可変し得る利得制御特性可変手段と、
を備えるものである。
【０００６】
また、本発明の音声信号処理装置及びこれを具備した電子機器の望ましい形態としては下記（１）〜（５）である。
（１）利得制御特性可変手段は、利得制御特性曲線を、出力音声信号が入力音声信号に正帰還し、増幅器の利得制御を不安定にすることのない最大利得制御曲線と、増幅器の利得が零である最小利得制御曲線で囲まれた範囲で、且つ出力音声信号の最大出力を制限する不快閾値ポイントと暗騒音の影響を抑圧するための出力音声信号の最小値である暗騒音抑圧ポイントで囲まれた範囲で可変し得るものである。
【０００７】
（２）利得制御特性可変手段は、出力音声信号の最大出力を制限する不快閾値ポイントと、暗騒音の影響を抑圧するための前記出力音声信号の最小値である暗騒音抑圧ポイントを所望の出力音声信号を得るために可変し得るものである。
【０００９】
（３）利得制御特性可変手段は、入力音声信号の特定のレベル及び特定のレベルに対応する利得の何れかを可変することにより前記利得制御特性曲線を可変し得るものである。
【００１０】
（４）利得制御特性可変手段は、位相の相違する２個の同一周波数を用いて、検出出力及び利得制御特性可変出力を標本化し、検出出力の標本値と、検出出力の標本値の後の時点で標本化された利得制御特性可変出力の標本値を参照して利得制御特性曲線を可変し得るものである。
【００１１】
（５）利得制御特性可変手段は、利得制御特性可変出力が増大を示すときは、入力音声信号の特定のレベルを検出出力の標本値を限界として標本値に近接する方向へ変化させ、しかる後さらに利得制御特性可変出力が増大を示すときは、特定のレベルに対応する利得を出力音声信号が入力音声信号に正帰還し、増幅器の利得制御を不安定にすることのない最大利得制御曲線に接近する方向に変化させ、利得制御特性可変出力が減少を示すときは、入力音声信号の特定のレベルを検出出力の標本値を限界として標本値に近接する方向へ変化させ、しかる後さらに利得制御特性可変出力が減少を示すときは、特定のレベルに対応する利得を増幅器の利得が零である最小利得制御曲線に接近する方向に変化させ、出力音声信号から生成される音声出力を減衰する遮音装置のある場合は、遮音装置の減衰特性に対応して、最小利得制御曲線より下方に設定された利得制御曲線に近接する方向に可変するものである。
【００１２】
以下上述した手段の作用について説明する。
入力音声信号のレベルがレベル検出手段により検出出力として検出され、受聴者が外部の操作機構又は外部装置からの情報信号を介して出力可変手段により利得制御特性可変出力を生成する。これら検出出力と利得制御特性可変出力を参照して利得制御特性可変手段が増幅器の利得を利得制御特性を可変しつつ制御するので、該増幅器に入力された入力音声信号の増幅度が制御され、入力音声信号のレベルや受聴者の聴覚に適合した出力音声信号を得る。
【００１３】
上述の増幅器の利得制御特性は、例えば、入力音声信号の特定のレベルを境界として、この特定のレベルより小さい入力音声信号が増幅器に入力されたときは、利得の変化率が１以下となり、反対に大きい入力音声信号が入力されたときは、利得の変化率が１以上になるというように入力音声信号の特定のレベルを境界として、所定の関数で示され、且つ境界連続な利得制御特性曲線で規定されるものである。また、入力音声信号の特定のレベルとは、例えば予想される受聴環境及び受聴者の聴覚に適合した平均的な入力音声信号のレベルである。従って、入力音声信号の特定のレベルをこえると、出力音声信号が圧縮され、特定のレベル以下のときは伸張され、且つこの特定のレベルが外部の操作機構や情報信号により可変され受聴者に適合した出力音声信号が得られるように利得制御が行われる。
【００１４】
出力可変手段は受聴者及び受聴環境に応じて上述した入力音声信号の特定のレベルを可変し、その結果として増幅器の利得を間接的に可変しようとするものであり、受聴者が外部の操作機構または情報信号により利得制御特性可変出力を生成することで構成される。
【００１５】
【発明の実施の形態】
以下図１〜図１１を参照して本発明の音声信号処理装置及びこれを具備した電子機器の実施の形態例について説明する。
この発明の理解を簡単にするために、まず一般的なレベル圧縮処理の動作について利得制御特性曲線の観点から図１０及び図１１を参照して説明する。また本発明に用いる曲線という用語はリーマン幾何学の意味するところにより直線をも含むものとする。さらに、本発明に用いる音声という用語も、人の声のみを意味するものではなく、いわゆるオーディオ一般、音響を含むものとする。
【００１６】
図１０は、一般的なレベル圧縮増幅処理に用いられる増幅器の入力音声信号のレベル対出力音声信号の利得制御特性曲線を示したものである。図１０（ａ）の点線のように、実線に比べ利得制御特性曲線の傾きが小さく、すなわち利得の変化率が小さいほどレベル圧縮の度合いが大きいことを示し、図１０（ｂ）の点線のように実線に比べ利得制御特性曲線の傾きが同じなら上方にあるほど増幅度が大きいことを意味する。つまり、図１０（ａ）のようにレベル圧縮の度合いが大きい利得制御特性曲線の場合は、入力音声信号のレベルの小さいときのほうが入力音声信号レベルの大きいときに比べて増幅度は大きくなる。
【００１７】
また、入力音声信号のレベル範囲によって非線型な利得制御特性曲線によりレベル変換を行うために、増幅器の利得制御特性曲線に図１１のＡ点のような折れ曲がり点をもたせることもある。通常このＡ点のことを「ニーポイント」と呼ぶ。図１１の場合では、Ａ点より大きい入力音声信号のレベルではダイナミックレンジが圧縮変換された出力音声信号が得られ、Ａ点より小さい入力音声信号のレベルではダイナミックレンジが伸張変換された出力音声信号が得られる。
【００１８】
上述したＡ点の他に、図１１に示すように、増幅器の利得制御特性曲線により変換された出力音声信号の最大出力レベルを制限するためのＢ点を「不快閾値ポイント」と呼び、小さい入力音声信号のレベルでの増幅器の利得制御特性曲線により変換された出力音声信号を決めるためのＣ点を「暗騒音抑圧ポイント」と呼ぶ。Ｃ点の入力音声信号０ｄＢとは、２×１０ー5パスカルを意味し、また、暗騒音とは空調のファンの雑音などの環境雑音を意味する。
【００１９】
なお、ＰＡ(Public Address System) 装置（いわゆる拡声器）や補聴器のように、マイクロホンからの信号が増幅されてスピーカから出力され、再びマイクロホンに入力されるフィードバックループを形成する場合には、通称ハウリングと呼ばれるループによる発振を防止するために図１１の一点鎖線のような増幅利得限界を設け最大利得制御曲線と称し、上述したニーポイントＡ点の移動範囲を制限することがある。
【００２０】
上述のレベル圧縮増幅処理は、瞬時の入力音声信号レベルに対して行なわれることもあるが、出力波形が大きく歪むので、多くの場合、直前の入力音声信号レベルに対して大きなレベルの入力音声信号が入力されたときに増幅度を小さく押さえる動作は瞬時に行い、逆に、直前の入力音声信号レベルよりも小さいレベルの入力音声信号が入力されたときに増幅度を上げる動作については時間遅れをもって行なわせることが多い。このような動作をするレベル圧縮増幅処理に関する発明に関しては本願発明者等がなした特願平１０―１８３８２９号明細書に説明されているが、本発明の音声信号処理装置及びこれを具備した電子機器においても上述のレベル圧縮増幅処理の動作に関しては踏襲しているものである。
【００２１】
図１は本発明の音声信号処理装置の概略構成図を示すブロック図である。入力音声信号は入力端子８に入力され、レベル検出手段１により入力音声信号のレベルが検出される。レベル検出手段１は有声音成分のみを通過させる有声音成分通過フィルタ５と、整流器６と、ローパスフィルタ７とで構成されておりローパスフィルタ７から検出出力を出力する。遅延手段４は大きなレベルの入力音声信号から小さなレベルの入力音声信号に変化したとき、増幅器２の利得制御を遅延させるためのものであり、この遅延の後に入力音声信号の増幅が始まる。また、出力可変手段９は、外部に取り付けられ、受聴者が操作することができる操作機構、例えば音量ボリューム等により（以下では出力可変手段９を音量ボリュームで代表して記す）、利得制御特性可変出力を電気信号として出力する。
【００２２】
利得制御特性可変手段３は、出力可変手段９及びレベル検出手段１の出力を参照して増幅器２の利得制御特性曲線を可変するものである。この際、位相の相違する２個の同一周波数を用いて、レベル検出手段１の検出出力の標本値と、当該標本値の直後の出力可変手段９からの利得制御特性可変出力の標本値が利得制御特性可変手段３により参照される。以下に音量ボリューム（図示は省略）を出力音声信号の大きくなる方向へ操作したときの本発明の音声信号処理装置の利得制御特性可変手段３の動作を図２〜図６を参照して説明する。
【００２３】
図２では、前述したハウリングを起こさない最大利得制御曲線を一点鎖線で示したように入力音声信号が０ｄＢのとき出力音声信号のレベルが３０ｄＢとなるよう設定されているとする。また、利得制御特性可変手段３は初期状態では、Ｂ点すなわち「不快閾値ポイント」がＢ０に設定され、Ｃ点すなわち「暗騒音抑圧ポイント」がＣ０に設定されており、初期の入力音声信号の特定レベルはＡ０であり、Ｂ０とＣ０を結ぶ直線上にあるとする。
【００２４】
ニーポイントは対応する入力音声信号のレベルが、特定の入力音声信号のレベル、すなわち予想される受聴環境での入力音声信号のレベル範囲に入るように特定し、必要とする入力音声信号のレベル範囲が受聴者に適合した出力音声信号レベル範囲に変換されるようにする。例えば、図２では、ニーポイントがＡ点にあり、対応する特定された入力音声信号のレベルは５５ｄＢ付近ということになる。
【００２５】
この状態で音量ボリュームを上げようとした場合の利得制御特性可変手段３の動作を説明する。
（１ａ）音量ボリューム操作時点の実際の入力音声信号のレベルが、Ａ点の入力音声信号、すなわち前述した入力音声信号の特定のレベルより大きいときは、図２に示したように、音量ボリュームの操作を行う直前の増幅器２の利得制御特性曲線による入出力音声信号のレベル変換特性が、Ｃ０点、Ａ点、Ｂ０点を結んだものであったとすると、音量ボリューム操作が行われた時点での入力音声信号のレベルが７０ｄＢ、すなわちＡ点の入力音声信号の予想された特定のレベルである５５ｄＢ以上であるときには、ニーポイントを最大利得制御曲線上のＡ１点の方向へ受聴者が音量ボリュームの操作をやめるまで上昇させる。Ａ１点に達しても音量ボリュームを上げる操作を受聴者が行っているときには、ニーポイントをＡ１点から最大利得制御曲線上を実際の入力音声信号レベル、７０ｄＢを限界として移動をさせる。つまり最終的なニーポイントの位置Ａ'が新たなＡ点となり、新しい利得制御特性曲線は、Ｃ０点、Ａ'点、Ｂ０点を結んだものとなる。
【００２６】
（２ａ）音量ボリューム操作時点の実際の入力音声信号レベルが、Ａ点に対応する入力音声信号の特定のレベルより小さいとき、例えば、４５ｄＢとすると、図３に示すように、音量ボリュームの操作を行う直前の増幅器２の利得制御特性曲線による入出力音声信号のレベル変換特性が、Ｃ０点、Ａ点、Ｂ０点を結んだものであったとして、４５ｄＢに対応するＡ３点を限界としてＡ点をＡ３点の方向へ音量ボリュームの操作をやめるまで移動させる。Ａ３点に到達しても受聴者が音量ボリュームを上げる操作を行っていたら、Ａ３点から最大利得制御曲線上のＡ４点へとＡ３点から垂直方向へ音量ボリュームの操作をやめるまで上昇させる。このようにして得られる最終的なニーポイントの位置Ａ' が新たなＡ点になる。つまり、新しい利得制御特性曲線は、Ｃ０点、Ａ' 点、Ｂ０点を結んだものとなる。
【００２７】
（３ａ）Ａ点が図４に示すように、初めから最大利得制御曲線上に設定されており、音量ボリュームの操作を行う直前の増幅器２の利得制御特性による入出力音声信号のレベル変換特性が、Ｃ０点、Ａ点、Ｂ０点を結んだものであったとすると、受聴者が音量ボリュームを上げるという操作によって、ニーポイントは入力音声信号の特定のレベル、Ａ点から実際の入力音声信号レベルまでを限界として一点鎖線で示された最大利得制御曲線上を移動する。実際の入力音声信号レベルが４５ｄＢならＡ' 点を限界とし、実際の入力音声信号レベルが７０ｄＢであれば、Ａ"点が限界となる。
【００２８】
（４ａ）図５に示すように、ニーポイントＡ点と暗騒音抑圧ポイントＣ０点との範囲が伸張増幅領域になっていて、その傾き、すなわち利得の変化率が大きい場合には、暗騒音のレベル変動が強調されて耳につくことがある。その時にはＣ０をＣ１点の方向へ上昇させてＣ' 点に動かし、利得の変化率を１に近づけることで、小レベルの入力音声信号の聴こえが自然になる。これは暗騒音を伸張増幅の特性で増幅すると、雑音の変化の幅が大きく強調され、ザーという連続雑音がザー、ザーというふうに聴こえるようになり耳障りになるためである。上述のことは請求項３を具現化したものである。
【００２９】
（５ａ）不快閾値ポイントＢ０は、受聴者の不快閾値と聴力の状態が分かっていて、最大出力レベルを大きくしてもよいときには、図６に示すように、音量ボリュームを大きくする操作のときにＢ０点から最大利得制御曲線に対応する不快閾値ポイントであるＢ１点の方向へ移動させＢ' 点とすることで、出力音声信号の出力レベルを大きくしてもよい。上述のことも請求項３を具現化したものである。
【００３０】
次に、外部の操作機構である音量ボリュームを出力音声信号の小さくなる方向へ操作したときの本発明の音声信号処理装置の利得制御特性可変手段３の動作を図７及び図８を参照して説明する。
（１ｂ）音量ボリュームの操作時点の入力音声信号レベルが、Ａ点の入力音声信号の特定のレベルより大きいとき、図７に示すように、音量ボリュームの操作を行う直前の増幅器２の利得特性による入出力音声信号のレベル変換特性が、Ｃ０点、Ａ点、Ｂ０点を結んだものであったとすると、実際の入力音声信号のレベルがＡ点の特定の入力音声信号のレベル、すなわち５５ｄＢより大きくて、例えば、６５ｄＢであれば、Ａ点より限界である６５ｄＢの実際の入力音声信号に対応するＡ５点の方向へ受聴者が音量ボリュームの操作をやめるまで移動させる。Ａ５点に到達しても音量ボリュームを下げる操作を受聴者が行っていたら、Ａ５点から最小利得制御曲線上のＡ６点の方向へ音量ボリュームの操作をやめるまで下降させる。限界は利得がゼロになるＡ６点である。このようにして最終的なニーポイントの位置Ａ'が新たなＡ点になる。つまり、新しい利得制御特性曲線は、Ｃ０点、Ａ'点、Ｂ０点を結んだものとなる。
【００３１】
（２ｂ）音量ボリュームの操作時点の実際の入力音声信号のレベルが、Ａ点に対応する入力音声信号の特定のレベルより小さいとき、図８に示したように、音量ボリュームの操作を行う直前の増幅器２の利得特性による入出力音声信号のレベル変換特性が、Ｃ０点、Ａ点、Ｂ０点を結んだものであったとすると、実際の入力音声信号レベルがＡ点の入力音声信号の特定のレベルである５５ｄＢ以下であれば、ニーポイントを最小利得制御曲線上のＡ７点の方向へ音量ボリュームの操作を受聴者がやめるまで下降させる。Ａ７点に達しても音量ボリュームを下げる操作を受聴者が行っているときには、ニーポイントをＡ７点から最小利得制御曲線上を実際の入力音声信号レベルを限界として移動をさせる。このようにして最終的なニーポイントの位置Ａ' が新たなＡ点となる。つまり、新しい利得制御特性曲線は、Ｃ０点、Ａ'点、Ｂ０点を結んだものとなる。
【００３２】
（３ｂ）また、受聴レシーバーに遮音装置があり、出力音声信号を減衰する機能がある場合には、大きい音を実際よりも小さくする意味で、最小利得制御曲線よりも下方、すなわち利得が零よりも小さい位置までニーポイントを移動させたり、不快閾値ポイントＢや暗騒音抑圧ポイントＣを下げたりすることで、図９に示すように、大きくてうるさい音を抑えて聴きやすくすることも可能である。つまり、Ｃ'点、Ａ' 点、Ｂ'点を結んだ利得制御特性曲線は、出力音声信号を元の入力音声信号よりも小さい音に変換する。これは、例えば大きい音でも小さい音でも、あるレベル範囲にないと聴きにくいという感音難聴者に対して受聴レシーバーに遮音効果を付加して出力音声信号の利得制御特性を調整する場合に用いられる。
【００３３】
以上説明した本発明の音声信号処理装置は、補聴器、電話、拡声器、音声通信機器、オーディオビデオ機器などの電子機器で用いられる音量調整装置に用いるならば、予め入力音声信号のレベル範囲や受聴可能な出力音声信号のダイナミックレンジを予想して特定することなく、受聴環境と受聴者に適応した出力音声を得ることができることは明らかでである。
【００３４】
【発明の効果】
以上説明したように、本発明の音声信号処理装置及びこれを具備した電子機器によれば音声を伝送及び再生し、難聴者が音声を聴くときに充分なダイナミックレンジと音声出力が確保できない場合、前述した利得制御特性曲線を可変して音声出力の増幅及び圧縮を行い、受聴者の受聴可能ダイナミックレンジを予想して予め設定しておく必要がなく、受聴者の主観的な判断による音量ボリューム操作で利得制御特性を変更できるので、受聴者の聴覚に適合した音声出力を得ることができる。本発明の音声信号処理装置を補聴器、電話、拡声器、音声通信機器、オーディオビデオ機器などの電子機器に具備すれば、受聴者にとり設定の容易な音質の優れた電子機器が得られるという効果がある。
【図面の簡単な説明】
【図１】 本発明の音声信号処理装置の概略構成を示すブロック図である。
【図２】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、音量を大きくする操作をするときの利得制御特性を説明するための利得制御特性図である。
【図３】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、音量を大きくする操作をするときの別の利得制御特性を説明するための利得制御特性図である。
【図４】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、音量を大きくする操作をするときのさらに別の利得制御特性を説明するための利得制御特性図である。
【図５】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、暗騒音を抑圧する利得制御特性を説明するための利得制御特性図である。
【図６】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、不快閾値ポイントを増大させるときの利得制御特性を説明するための利得制御特性図である。
【図７】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、音量を小さくする操作をするときの利得制御特性を説明するための利得制御特性図である。
【図８】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、音量を小さくする操作をするときの別の利得制御特性を説明するための利得制御特性図である。
【図９】 本発明の音声信号処理装置の利得制御特性可変手段の動作において、感音難聴者用のための利得制御特性を説明するための利得制御特性図である。
【図１０】 利得制御特性曲線の性質を説明するための利得制御特性図である。
【図１１】 利得制御特性曲線の別の性質を説明するための利得制御特性図である。
【符号の説明】
１…レベル検出手段、２…増幅器、３…利得制御特性可変手段、４…遅延手段、５…有声音成分通過フィルタ、６…整流器、７…ローパスフィルタ、８…入力端子、９…出力可変手段[0001]
BACKGROUND OF THE INVENTION
The audio signal processing apparatus of the present invention and the electronic apparatus equipped with the audio signal processing apparatus relate to, for example, a hearing aid, a telephone, a loudspeaker, an audio signal audio level converting apparatus and a volume adjusting apparatus used in the field of audio communication, and more specifically, an amplifier gain. The present invention relates to an audio signal processing apparatus capable of obtaining an output audio signal adapted to a listener's hearing by varying control characteristics, and an electronic apparatus including the same.
[0002]
[Prior art]
When transmitting and playing audio, if the dynamic range of the transmission system and playback system is not wide enough, or if the dynamic range that can be heard, such as a hard of hearing, is small, the amplification level of the low-level input audio signal is increased. In addition, a level compression amplification method is known in which the level conversion of the output audio signal with respect to the input audio signal is performed by a non-linear gain control characteristic that reduces the amplification degree of the input audio signal of a large level.
[0003]
[Problems to be solved by the invention]
By the way, the above-described conventional level compression amplification processing has the following problems with respect to setting and operational stability.
In order to obtain the desired level conversion operation, the level range of the input audio signal from the playback system and transmission system and the dynamic range of the output audio signal that can be heard are predicted and specified so as to match the hearing of the listener. The nonlinear gain control characteristic must be set in accordance with the dynamic range of the specified input audio signal and output audio signal. Therefore, the range of the input audio signal level that can be specified and the width of the audible audio output dynamic range are limited by the set gain control characteristics, so the input audio signal level and the audible audio output dynamic range are specified. When the level range is exceeded, the expected level conversion operation cannot be obtained.
[0004]
The present invention has been made in view of the above points, and without specifying the input audio signal level range and the audible output audio signal dynamic range in advance, the input audio signal level range and audible dynamics. It is an object of the present invention to provide an audio signal processing device capable of variably setting the above-described gain control characteristic in accordance with a range condition and an electronic apparatus including the same.
[0005]
[Means for Solving the Problems]
The audio signal processing apparatus of the present invention is
As an audio signal processing device by amplifying or compressing an input audio signal input to the amplifier, and outputs the desired output audio signal based on the gain control characteristic of the amplifier,
Level detection means for detecting the level of voiced sound of the input voice signal and generating a detection output;
In order to obtain the desired output audio signal, output variable means for generating a gain control characteristic variable output by an external operation mechanism or an external information signal ;
Said detection output, based on a signal indicating an increase or decrease of the gain control characteristic variable output, given a gain control characteristic curve for performing gain control of the amplifier, the particular level of the input audio signal as a boundary A gain control characteristic variable means that can be defined by a function of and can be varied so as to be continuous at the boundary to vary the gain control characteristic of the amplifier ;
Is provided .
[0006]
Desirable embodiments of the audio signal processing device of the present invention and the electronic apparatus equipped with the same are the following (1) to (5) .
(1) The gain control characteristic variable means has a gain control characteristic curve in which the output audio signal positively feeds back to the input audio signal, and the gain control of the amplifier does not destabilize the gain control of the amplifier. It is a range surrounded by a minimum gain control curve that is zero, an unpleasant threshold point that limits the maximum output of the output audio signal, and a background noise suppression point that is the minimum value of the output audio signal to suppress the influence of background noise. It can be varied within the enclosed range.
[0007]
(2) The gain control characteristic varying means outputs a discomfort threshold point that limits the maximum output of the output sound signal and a background noise suppression point that is a minimum value of the output sound signal for suppressing the influence of background noise as a desired output. It can be varied to obtain an audio signal.
[0009]
(3) The gain control characteristic varying means can vary the gain control characteristic curve by varying either a specific level of the input audio signal or a gain corresponding to the specific level.
[0010]
(4) The gain control characteristic variable means samples the detection output and the gain control characteristic variable output using two identical frequencies having different phases, and samples the detection output and the detection output after the sample value. The gain control characteristic curve can be varied with reference to the sample value of the gain control characteristic variable output sampled at the time.
[0011]
(5) When the gain control characteristic variable output indicates an increase, the gain control characteristic variable means changes the specific level of the input audio signal in the direction closer to the sample value with the sample value of the detection output as a limit, and then Furthermore, when the gain control characteristic variable output shows an increase, the output audio signal positively feeds back the gain corresponding to a specific level to the input audio signal, and the gain control characteristic of the amplifier does not become unstable. When the gain control characteristic variable output shows a decrease, the specified level of the input audio signal is changed in the direction closer to the sample value with the sample value of the detection output as the limit, and then gain control is further performed. When the characteristic variable output shows a decrease, the gain corresponding to a specific level is changed in a direction approaching the minimum gain control curve where the gain of the amplifier is zero, and the audio output generated from the output audio signal is changed. If there is a sound insulation device for attenuating, in response to the attenuation characteristics of the sound insulating device, in which varying in a direction coming close to the minimum gain control curve to a gain control curve that is set downward.
[0012]
The operation of the above means will be described below.
The level of the input audio signal is detected as a detection output by the level detection means, and the listener generates a variable gain control characteristic output by the output variable means via an information signal from an external operating mechanism or external device. Since the gain control characteristic variable means controls the gain of the amplifier while changing the gain control characteristic with reference to the detection output and the gain control characteristic variable output, the amplification degree of the input audio signal input to the amplifier is controlled, An output audio signal suitable for the level of the input audio signal and the hearing of the listener is obtained.
[0013]
The gain control characteristic of the above-described amplifier is, for example, that when the input audio signal smaller than this specific level is input to the amplifier with a specific level of the input audio signal as a boundary, the gain change rate becomes 1 or less, and the opposite When a large input audio signal is input, a gain control characteristic curve that is indicated by a predetermined function with a specific level of the input audio signal as a boundary, such that the rate of change in gain becomes 1 or more, and is a boundary continuous It is stipulated in. The specific level of the input voice signal is, for example, an average level of the input voice signal suitable for the expected listening environment and the listener's hearing. Therefore, if the input audio signal exceeds a specific level, the output audio signal is compressed, and if the input audio signal is below a specific level, it is expanded, and this specific level is varied by an external operation mechanism or information signal to suit the listener. Gain control is performed so that the output audio signal is obtained.
[0014]
The output varying means varies the specific level of the input audio signal described above in accordance with the listener and the listening environment, and as a result, attempts to indirectly vary the gain of the amplifier. Or it is comprised by producing | generating a gain control characteristic variable output with an information signal.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an audio signal processing apparatus and an electronic apparatus having the same according to the present invention will be described below with reference to FIGS.
In order to facilitate understanding of the present invention, a general level compression processing operation will be described with reference to FIGS. 10 and 11 from the viewpoint of a gain control characteristic curve. Further, the term “curve” used in the present invention includes straight lines in the meaning of Riemannian geometry. Furthermore, the term “speech” used in the present invention does not mean only a human voice but also includes so-called audio in general and sound.
[0016]
FIG. 10 shows a gain control characteristic curve of the input audio signal level versus the output audio signal level of an amplifier used in a general level compression amplification process. As shown by the dotted line in FIG. 10 (a), the slope of the gain control characteristic curve is smaller than that of the solid line, that is, the smaller the gain change rate, the greater the level compression, and the dotted line in FIG. 10 (b). If the slope of the gain control characteristic curve is the same as that of the solid line, the higher the value is, the higher the amplification degree is. That is, in the case of a gain control characteristic curve having a large level compression level as shown in FIG. 10A, the degree of amplification is greater when the level of the input audio signal is smaller than when the level of the input audio signal is large.
[0017]
Further, in order to perform level conversion with a non-linear gain control characteristic curve depending on the level range of the input audio signal, the gain control characteristic curve of the amplifier may have a bending point such as point A in FIG. Usually, this point A is called “knee point”. In the case of FIG. 11, an output audio signal whose dynamic range is compressed and converted is obtained at an input audio signal level greater than point A, and an output audio signal whose dynamic range is expanded and converted at an input audio signal level lower than point A. Is obtained.
[0018]
In addition to the above-mentioned point A, as shown in FIG. 11, the point B for limiting the maximum output level of the output audio signal converted by the gain control characteristic curve of the amplifier is called a “discomfort threshold point”, and a small input The point C for determining the output voice signal converted by the gain control characteristic curve of the amplifier at the level of the voice signal is referred to as a “background noise suppression point”. The
[0019]
In the case of forming a feedback loop in which a signal from a microphone is amplified and output from a speaker and input to the microphone again like a PA (Public Address System) device (so-called loudspeaker) or a hearing aid, it is commonly called howling. In order to prevent oscillation due to a loop called “amplification gain limit” as shown by a one-dot chain line in FIG. 11, this may be referred to as a maximum gain control curve, and the movement range of the above-described knee point A may be limited.
[0020]
The level compression amplification process described above may be performed on the instantaneous input audio signal level, but since the output waveform is greatly distorted, in many cases, the input audio signal has a level higher than the previous input audio signal level. When an input audio signal is input, the operation to reduce the amplification level is performed instantaneously, and conversely, the operation to increase the amplification level when an input audio signal level lower than the previous input audio signal level is input has a time delay. Often done. The invention relating to the level compression amplification processing that operates as described above is described in the specification of Japanese Patent Application No. 10-183829 filed by the inventors of the present application. However, the audio signal processing apparatus of the present invention and the electronic device including the same are described. The apparatus follows the operation of the level compression amplification process described above.
[0021]
FIG. 1 is a block diagram showing a schematic configuration of an audio signal processing apparatus according to the present invention. The input audio signal is input to the
[0022]
The gain control characteristic varying means 3 varies the gain control characteristic curve of the amplifier 2 with reference to the outputs of the output variable means 9 and the level detecting means 1. At this time, the sample value of the detection output of the level detection unit 1 and the sample value of the gain control characteristic variable output from the
[0023]
In FIG. 2, it is assumed that the maximum gain control curve that does not cause the above-described howling is set so that the level of the output audio signal is 30 dB when the input audio signal is 0 dB as indicated by the one-dot chain line. Further, in the initial state, the gain control characteristic varying means 3 has the point B, that is, the “discomfort threshold point” set to B0, and the point C, that is, the “background noise suppression point”, is set to C0. The specific level is A0 and is on a straight line connecting B0 and C0.
[0024]
Knee point specifies that the level of the corresponding input audio signal is within the level of the specific input audio signal, that is, the level of the input audio signal in the expected listening environment, and the level range of the input audio signal required Is converted into an output audio signal level range suitable for the listener. For example, in FIG. 2, the knee point is at point A, and the level of the corresponding specified input audio signal is around 55 dB.
[0025]
The operation of the gain control characteristic varying means 3 when attempting to increase the volume in this state will be described.
(1a) When the level of the actual input audio signal at the time of volume volume operation is larger than the input audio signal at point A, that is, the above-mentioned specific level of the input audio signal, as shown in FIG. Assuming that the level conversion characteristic of the input / output audio signal according to the gain control characteristic curve of the amplifier 2 immediately before the operation is connected to the C0 point, the A point, and the B0 point, the volume control operation is performed at the time when the volume control is performed. When the level of the input audio signal is 70 dB, that is, 55 dB or more, which is the expected specific level of the input audio signal at point A, the listener moves the volume level toward the point A1 on the maximum gain control curve. Raise until you stop. When the listener is performing an operation to increase the volume level even when the point A1 is reached, the knee point is moved from the point A1 on the maximum gain control curve with the actual input audio signal level being limited to 70 dB. That is, the final knee point position A ′ becomes a new A point, and the new gain control characteristic curve is obtained by connecting the C0 point, the A ′ point, and the B0 point.
[0026]
(2a) When the actual input audio signal level at the time of volume volume operation is lower than a specific level of the input audio signal corresponding to the point A, for example, 45 dB, as shown in FIG. Assuming that the level conversion characteristic of the input / output audio signal according to the gain control characteristic curve of the amplifier 2 just before performing the connection is the point C0, the point A, and the point B0, the point A3 is limited to the point A3 corresponding to 45 dB. Move in the direction of point A3 until the volume control is stopped. If the listener performs an operation to increase the volume volume even when the point A3 is reached, the volume is increased from the point A3 to the point A4 on the maximum gain control curve until the volume volume operation is stopped from the point A3 in the vertical direction. The final knee point position A ′ thus obtained becomes a new point A. That is, the new gain control characteristic curve is obtained by connecting the C0 point, the A ′ point, and the B0 point.
[0027]
(3a) The point A is set on the maximum gain control curve from the beginning as shown in FIG. 4, and the level conversion characteristic of the input / output audio signal by the gain control characteristic of the amplifier 2 immediately before the volume control is performed is , C0 point, A point, and B0 point are connected, the knee point becomes a specific level of the input audio signal from the point A to the actual input audio signal level by the operation that the listener increases the volume volume. Is moved on the maximum gain control curve indicated by the alternate long and short dash line. If the actual input audio signal level is 45 dB, the A ′ point is the limit, and if the actual input audio signal level is 70 dB, the A ″ point is the limit.
[0028]
(4a) As shown in FIG. 5, when the range between the knee point A and the background noise suppression point C0 is an expansion amplification region, and the slope, that is, the gain change rate is large, the background noise Level fluctuations may be emphasized and heard. At that time, C0 is raised in the direction of the C1 point and moved to the C 'point, and the rate of change of the gain is brought close to 1, so that the low level input audio signal can be heard naturally. This is because when the background noise is amplified by the extension amplification characteristic, the width of the noise change is greatly emphasized, and the continuous noise of “Zer” can be heard as “Zer” and “Zer”, which is annoying. The above is the embodiment of claim 3.
[0029]
(5a) The discomfort threshold point B0 is known when the listener's discomfort threshold and the state of hearing are known, and when the maximum output level may be increased, as shown in FIG. The output level of the output audio signal may be increased by moving from the point B0 toward the point B1 which is the discomfort threshold point corresponding to the maximum gain control curve, and setting it as the point B ′. The above also embodies claim 3.
[0030]
Next, referring to FIG. 7 and FIG. 8, the operation of the gain control characteristic varying means 3 of the audio signal processing apparatus of the present invention when the volume volume as an external operation mechanism is operated in the direction of decreasing the output audio signal. explain.
(1b) When the input audio signal level at the time of volume volume operation is higher than a specific level of the input audio signal at point A, as shown in FIG. 7, it depends on the gain characteristic of the amplifier 2 immediately before the volume volume operation is performed. If the level conversion characteristic of the input / output audio signal is that connecting the C0 point, the A point, and the B0 point, the actual input audio signal level is greater than the level of the specific input audio signal at point A, that is, 55 dB. For example, if it is 65 dB, it is moved in the direction of point A5 corresponding to the actual input audio signal of 65 dB that is the limit from point A until the listener stops operating the volume control. If the listener is performing an operation to decrease the volume even when the point A5 is reached, the volume is lowered from the point A5 toward the point A6 on the minimum gain control curve until the operation of the volume is stopped. The limit is A6 point where the gain is zero. In this way, the final knee point position A ′ becomes a new point A. That is, the new gain control characteristic curve is obtained by connecting the C0 point, the A ′ point, and the B0 point.
[0031]
(2b) When the level of the actual input audio signal at the time of operating the volume volume is lower than the specific level of the input audio signal corresponding to point A, as shown in FIG. If the level conversion characteristic of the input / output audio signal based on the gain characteristic of the amplifier 2 is obtained by connecting the C0 point, the A point, and the B0 point, the actual input audio signal level is a specific level of the input audio signal at the A point. If it is 55 dB or less, the knee point is lowered in the direction of the A7 point on the minimum gain control curve until the listener stops operating the volume control. When the listener performs an operation to decrease the volume even when the A7 point is reached, the knee point is moved from the A7 point on the minimum gain control curve with the actual input audio signal level as a limit. In this way, the final knee point position A ′ becomes a new point A. That is, the new gain control characteristic curve is obtained by connecting the C0 point, the A ′ point, and the B0 point.
[0032]
(3b) Also, if the listening receiver has a sound insulation device and has a function of attenuating the output audio signal, it is lower than the minimum gain control curve, that is, the gain is less than zero, in order to make the loud sound smaller than the actual sound. By moving the knee point to a lower position or lowering the unpleasant threshold point B and the background noise suppression point C, it is possible to suppress a loud and noisy sound and make it easier to listen to as shown in FIG. . That is, the gain control characteristic curve connecting the points C ′, A ′, and B ′ converts the output audio signal into a sound smaller than the original input audio signal. This is used, for example, to adjust the gain control characteristics of the output audio signal by adding a sound insulation effect to the receiver for a sensory hearing-impaired person who is hard to hear if it is within a certain level range, whether it is loud or small. .
[0033]
The audio signal processing apparatus of the present invention described above can be used in advance for a volume control apparatus used in electronic devices such as hearing aids, telephones, loudspeakers, audio communication devices, audio video devices, etc. Obviously, it is possible to obtain an output sound adapted to the listening environment and the listener without predicting and specifying a possible dynamic range of the output sound signal.
[0034]
【The invention's effect】
As described above, according to the audio signal processing device of the present invention and the electronic apparatus equipped with the same, the sound is transmitted and reproduced, and when the hard-of-hearing person cannot hear a sufficient dynamic range and audio output, Volume control based on the listener's subjective judgment without the need to predict and set the listener's audible dynamic range by amplifying and compressing the audio output by varying the gain control characteristic curve described above Since the gain control characteristic can be changed, the sound output suitable for the listener's hearing can be obtained. If the audio signal processing device of the present invention is provided in an electronic device such as a hearing aid, a telephone, a loudspeaker, a voice communication device, an audio video device, etc., an effect is obtained that an electronic device with excellent sound quality that can be easily set for a listener can be obtained. is there.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an audio signal processing apparatus according to the present invention.
FIG. 2 is a gain control characteristic diagram for explaining the gain control characteristic when performing an operation for increasing the volume in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention;
FIG. 3 is a gain control characteristic diagram for explaining another gain control characteristic when an operation for increasing the volume is performed in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention;
FIG. 4 is a gain control characteristic diagram for explaining still another gain control characteristic when an operation for increasing the volume is performed in the operation of the gain control characteristic variable means of the audio signal processing device of the present invention;
FIG. 5 is a gain control characteristic diagram for explaining a gain control characteristic for suppressing background noise in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention;
FIG. 6 is a gain control characteristic diagram for explaining the gain control characteristic when an unpleasant threshold point is increased in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention.
FIG. 7 is a gain control characteristic diagram for explaining the gain control characteristic when performing an operation for reducing the volume in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention;
FIG. 8 is a gain control characteristic diagram for explaining another gain control characteristic when the sound volume is reduced in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention.
FIG. 9 is a gain control characteristic diagram for explaining a gain control characteristic for a hearing-impaired deaf person in the operation of the gain control characteristic variable means of the audio signal processing apparatus of the present invention.
FIG. 10 is a gain control characteristic diagram for explaining the nature of the gain control characteristic curve;
FIG. 11 is a gain control characteristic diagram for explaining another property of the gain control characteristic curve.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Level detection means, 2 ... Amplifier, 3 ... Gain control characteristic variable means, 4 ... Delay means, 5 ... Voiced component passing filter, 6 ... Rectifier, 7 ... Low pass filter, 8 ... Input terminal, 9 ... Output variable means
Claims (7)
前記入力音声信号の有声音のレベルを検出し検出出力を生成するレベル検出手段と、
前記所望の出力音声信号を得るために、外部の操作機構または外部の情報信号により利得制御特性可変出力を生成する出力可変手段と、
前記検出出力と、前記利得制御特性可変出力の増大または減少を示す信号とに基づいて、前記増幅器の利得制御を行うための利得制御特性曲線を、前記入力音声信号の特定のレベルを境界として所定の関数で規定でき、且つ前記境界で連続であるように可変して前記増幅器の利得制御特性を可変し得る利得制御特性可変手段と、
を備える音声信号処理装置。 As an audio signal processing device by amplifying or compressing an input audio signal input to the amplifier, and outputs the desired output audio signal based on the gain control characteristic of the amplifier,
Level detection means for detecting the level of voiced sound of the input voice signal and generating a detection output;
In order to obtain the desired output audio signal, output variable means for generating a gain control characteristic variable output by an external operation mechanism or an external information signal ;
Said detection output, based on a signal indicating an increase or decrease of the gain control characteristic variable output, given a gain control characteristic curve for performing gain control of the amplifier, the particular level of the input audio signal as a boundary A gain control characteristic variable means that can be defined by a function of and can be varied so as to be continuous at the boundary to vary the gain control characteristic of the amplifier ;
An audio signal processing apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37070198A JP4288433B2 (en) | 1998-12-25 | 1998-12-25 | Audio signal processing apparatus and electronic apparatus equipped with the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37070198A JP4288433B2 (en) | 1998-12-25 | 1998-12-25 | Audio signal processing apparatus and electronic apparatus equipped with the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000196388A JP2000196388A (en) | 2000-07-14 |
| JP4288433B2 true JP4288433B2 (en) | 2009-07-01 |
Family
ID=18497449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37070198A Expired - Fee Related JP4288433B2 (en) | 1998-12-25 | 1998-12-25 | Audio signal processing apparatus and electronic apparatus equipped with the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4288433B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008522511A (en) * | 2004-12-04 | 2008-06-26 | ダイナミック ヒアリング ピーティーワイ リミテッド | Method and apparatus for adaptive speech processing parameters |
| JP4916477B2 (en) * | 2008-04-23 | 2012-04-11 | ティーオーエー株式会社 | Audio amplifier |
| US8085941B2 (en) * | 2008-05-02 | 2011-12-27 | Dolby Laboratories Licensing Corporation | System and method for dynamic sound delivery |
-
1998
- 1998-12-25 JP JP37070198A patent/JP4288433B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000196388A (en) | 2000-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100514989C (en) | Microphone gains regulator of communication device | |
| US5907823A (en) | Method and circuit arrangement for adjusting the level or dynamic range of an audio signal | |
| US5966438A (en) | Method and apparatus for adaptive volume control for a radiotelephone | |
| JP2730868B2 (en) | Audio system and method for increasing intelligibility | |
| KR102180662B1 (en) | Voice intelligibility enhancement system | |
| US20080232612A1 (en) | System for Audio Signal Processing | |
| JPS62180700A (en) | Signal processor and hearing aid | |
| JPH09135194A (en) | Telephone device, and method for improving quality and articulation of reproduced sound by the telephone device | |
| JP5151762B2 (en) | Speech enhancement device, portable terminal, speech enhancement method, and speech enhancement program | |
| CN1988737B (en) | System for controlling a transfer function of a hearing aid | |
| CN111885460B (en) | Transparent mode adjusting device and method of wireless earphone and wireless earphone | |
| JP4018207B2 (en) | Method for automatically limiting distortion of audio equipment and circuit arrangement for implementing this method | |
| JP3868422B2 (en) | Hearing aid and audio signal processing method | |
| US20220272464A1 (en) | Mobile phone based hearing loss correction system | |
| US20060014570A1 (en) | Mobile communication terminal | |
| JP4214607B2 (en) | Microphone device | |
| JPH04278796A (en) | External environment adaptive type sound volume adjusting method | |
| JPH0968997A (en) | Method and device for processing voice | |
| JP4288433B2 (en) | Audio signal processing apparatus and electronic apparatus equipped with the same | |
| JP3925572B2 (en) | Audio signal processing circuit | |
| JP2000022469A (en) | Audio processing unit | |
| JPH06121393A (en) | Loudspeaking method and loudspeaker | |
| JP2000134051A (en) | Compressor | |
| JP3731228B2 (en) | Audio signal transmitting / receiving apparatus and reception volume control method | |
| KR20130044640A (en) | Provention apparatas and method for acoustic shock in a mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050901 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090304 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090317 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |