JP3367592B2 - Automatic gain adjustment device - Google Patents
Automatic gain adjustment deviceInfo
- Publication number
- JP3367592B2 JP3367592B2 JP25171096A JP25171096A JP3367592B2 JP 3367592 B2 JP3367592 B2 JP 3367592B2 JP 25171096 A JP25171096 A JP 25171096A JP 25171096 A JP25171096 A JP 25171096A JP 3367592 B2 JP3367592 B2 JP 3367592B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- noise
- stationary noise
- threshold
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Control Of Amplification And Gain Control (AREA)
- Circuits Of Receivers In General (AREA)
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、拡声通話装置や難
聴者が使用する補助受聴装置等の音響機器における自動
利得調整装置に関するものである。
【0002】
【従来の技術】TV会議装置や電話会議装置では複数人
対複数人の会話の必要性から、拡声通話が利用される場
合が多い。この際、収音マイクが机等に置かれ、発言者
の口からの距離が一様でないことも多い。すると、発言
者によってマイクへの入力レベルが一定せず、受聴側で
の聴きづらさの一因となる。また、補聴器を装用してい
れば、一対一の会話にはそれほど不自由しない難聴者の
中でも、会議や講演会等のように、話者との距離が遠く
なると、相手の言っていることがわからなくなると訴え
る人が非常に多い。この理由の一つにも補聴器への入力
レベルの低下が考えられる。
【0003】一般に音源と収音位置の距離が遠くなれば
遠くなるほど、入力音圧レベルは低下する。低下の程度
は音源の指向性や部屋の反響の状態に依存するが、例え
ば自由音場(壁,床,天井等の音を反射する境界が全く
ない仮想空間)で音源を点音源(360度どの方向にも
均等に音を放射する仮想音源)と仮定すると、音圧レベ
ルは、音源と受聴点の距離が2倍になると6dB減衰す
る。実際の部屋では直接音だけでなく境界での反射音が
加算されるため、それほどは減衰しないものの、5mも
離れると1mの位置での音圧レベルから10dB程度は
減衰する。
【0004】入力音圧レベルを一定に保つために、従来
は例えばコンプレッサと呼ばれる装置があった。これは
入力信号のダイナミックレンジを圧縮して相対的に小さ
いレベルの入力に対する利得を増すことができる装置で
ある。しかしこの装置は、入力レベルを数msecから
数10msecという短い時間で測定し、その値によっ
て高速に圧縮率を変更する。そのため急激な過大入力を
抑えることが主な本来の利用目的であり、比較的レベル
幅の大きな距離減衰による音圧低下を補償するために
は、不向きである。
【0005】さらに、通常の音響空間には、目的とする
音以外に空調機等の騒音が存在する場合が多い。目的音
を一定の音圧レベルに保とうとすると、騒音レベルが、
目的音の大小によって変動してしまうため非常に聴きづ
らくなる。
【0006】このような目的音を聴きやすくするために
は、例えば本発明者等が先に提案した「自動利得制御装
置(特願平8−125697号)」のような手段があ
る。この従来手段の概略を図8に示す。入力端101か
ら入力された定常騒音の量を定常雑音識別回路102で
自動的に測定し、定常雑音抑圧回路103でそれを抑圧
した後、利得算出回路105で利得を算出する前に、実
効値平均化回路104で入力音の平均実効値を計算し、
算出した利得を定常雑音が抑制された入力音に乗算回路
106で乗算することにより、入力音を歪ませずに平均
的に一定の音量にして出力端107から出力するもので
ある。
【0007】
【発明が解決しようとする課題】この方法により上述し
た問題点は一応解決するが、定常な騒音以外の非定常な
騒音(例えば紙をめくる音、ドアを閉める音など)も一
定の音量にするべく増幅してしまう問題がある。これら
の非定常音は必ずしも常に「雑音」でありえないが、拡
声通話装置では特殊な利用以外では音声以外の音は不用
な音、即ち雑音であり、また難聴者の場合、特にそのよ
うな非定常な雑音は耳障りになる。
【0008】本発明の目的は、拡声通話装置や難聴者が
使用する補助受聴装置等の音響機器において、定常な暗
騒音を抑圧し、かつ非定常な雑音を増幅せずに目的音声
のみを適切な音量でかつ歪みなく受聴できるようにする
ことである。
【0009】
【課題を解決するための手段】本発明にかかる自動利得
調整装置は、以上述べた問題点を解決し、目的音(この
場合は音声信号)のみを最適な音量で受聴出来るように
したもので、フレーム毎にフレーム信号を線形予測し、
その線形残差信号を取り出し、その自己相関関数を計算
して求めた、その最大値(CM)に基づき、定常雑音を
識別する定常雑音識別手段と、前記フレーム信号を入力
とし、前記定常雑音識別手段により定常雑音とされない
フレームについては、抑圧せずに出力し、定常雑音とさ
れたフレームについては、定常雑音として予め格納され
ている過去のフレーム数分のパワースペクトルの平均に
基づく値を減算要素とすることにより、定数雑音を抑圧
して出力する定常雑音抑圧手段と、前記定常雑音抑圧手
段からの出力信号の実行信号に実効値と、パワースペク
トルS(f)の傾きと前記自己相関関数の最大値(C
M)との関係において、前記実効値が、そのしきい値よ
り小さいとき、抑圧後の定常雑音のフレームと判定し、
実効値が、そのしきい値以上で、前記自己相関関数の最
大値(CM)とパワースペクトルS(f)の傾きのう
ち、いずれかが、各々しきい値より小さいとき、非定常
雑音のフレームと判定し、前記実効値が、そのしきい値
以上で、自己相関関数の最大値(CM)と前記パワース
ペクトルS(f)の傾きのいずれも各々しきい値より大
きいとき、音声のフレームと判定することにより、入力
信号が音声であるかどうかを識別する音声識別手段と、
音声識別フラグ記憶回路内で音声と判定されたフレーム
数が非定常雑音と判定されているフレームの数より多い
音声の受話中の場合、過去の所定数から現在まで音声と
判断されたフレームの平均実効値を求め、前記音識別フ
ラグ記憶回路内で音声と判定されたフレーム数より非定
常雑音と判定されているフレーム数が多い非定常雑音の
場合、定常雑音と判定された過去所定数のフレームの実
効値の平均に基づく実効値のしきい値に1より小さい定
数を掛けた値を平均実効値とし、所定数Kのフレーム以
上連続して、前記抑圧後の定常雑音、又は非定常雑音の
入力が続いた無音声の場合、定常雑音と判定された過去
所定数のフレームの実効値の平均に基づく実効値のしき
い値に1より小さい定数を掛けた値を平均実効値とする
ことにより、音声の平均実効値を計算する音声実効値平
均化手段と、前記平均実効 値が前記実効値にしきい値よ
りも大きい場合、前記実効値にしきい値を前記平均実効
値で除算し、前記平均実効値が前記実効値のしきい値以
下の場合、前記平均実効値を前記実効値のしきい値で除
算して圧縮比を求め平滑化し、目標値を前記実効値のし
きい値で除算して利得を求めることにより、必要な利得
を計算する利得算出手段と、前記利得と前記平滑化圧縮
比を入力信号に乗算する乗算手段とを有するものであ
る。
【0010】
【発明の実施の形態】図1は、本発明の実施の形態の基
本構成を示すブロック図である。定常雑音識別回路10
2で入力信号の自己相関関数を算出し、その最大値(C
M)を算出し、これに基づき、定常雑音を識別し、その
情報を元に定常雑音抑圧回路103で定常雑音を抑圧す
る。実効値算出回路11において、信号の実効値(rm
s)を求める。そして音声識別回路108において、周
波数特性の傾きであるパワースペクトルS(f)の傾き
(ss)([0017]〜[0019]に詳述)を求
め。特徴量である前記CM,rms,ss及びそれらの
しきい値(thd(CM),thd(rms),thd
(ss))を用いて信号種を判定する。音声実行値平均
化回路109において、音声の通話中の場合か、非定常
雑音の場合か、無音声時の場合かの場合におけるそれぞ
れの平均実効値を求める([0024]〜[0028]
に詳述)。利得算出回路105において、平均実効値を
使って圧縮比を計算し、利得を計算する。乗算回路10
6において、利得を雑音抑圧後の音声信号に乗算するこ
とによって、定常な雑音、及び非定常な雑音も抑圧さ
れ、音声のみを一定の音量にすることができる。
【0011】
【実施例】図2は、本発明の一実施例の構成を示すブロ
ック図である。図2において、1は入力端、2は周波数
分析回路、3は線形予測分析回路、4は自己相関分析回
路、5は最大値検出回路、6は定常雑音検出回路で、こ
の出力で後述のスイッチ10A,10Bをオン,オフ制
御する。
【0012】7は平均雑音パワースペクトル算出回路
で、ここで視覚的重み付けが行われる。8は減算回路、
9は逆周波数分析回路で、周波数分析回路2と逆の順序
の動作を行う。10A,10Bはスイッチ、11は実効
値算出回路、12は実効値記憶回路、13はしきい値算
出回路、14は音声識別回路、15は音声識別フラグ記
憶回路、16は利得算出回路、17A,17Bは乗算回
路、18は音声平均実効値算出回路、19は圧縮比算出
回路、20は圧縮比平滑化回路、21は出力端である。
【0013】次に、動作を説明する。入力端1より入力
される信号は、適当な時間で区切られたフレーム毎の信
号である。まず、定常雑音検出回路6でそれが定常雑音
であるかどうかを判定する。そのために、まず、入力信
号を線形予測分析回路3によって線形予測分析し、その
線形予測残差信号(ここではこれを残差信号と呼ぶ)を
取り出す。その自己相関関数を自己相関分析回路4で計
算し、その最大値(CM)を最大値検出回路5で算出す
る。これにより、入力信号の周期性の大小を検出でき
る。一般に空調機騒音などの定常な雑音の性質として周
期性が低いものが多い。よって、定常雑音検出回路6に
おいて、CMがあるしきい値よりも小さい場合に定常雑
音(BN)と判定する。
【0014】入力端1より入力される信号は、並行して
周波数分析回路(FFT)2に送られ周波数領域に変換
される。定常雑音検出回路6で定常雑音と判定されたフ
レームのパワースペクトルS(f)は、平均雑音パワー
スペクトル算出回路7にスイッチ10Aの作用により送
られ、ここに格納される。平均雑音パワースペクトル算
出回路7では、過去適当なフレーム数分のパワースペク
トルS(f)を格納しておき、その平均値を算出する。
さらに特願平8−125697号で先に提案した残量雑
音の「聴こえ」を限りなく小さくするための重み付け関
数W(f)を乗じてそれを雑音平均パワースペクトルS
ns(f)とする(重み付け関数W(f)については、
後に補足説明する)。それを減算回路8によって、S
(f)より差し引く。雑音を差し引いた信号のパワース
ペクトルS′(f)と、原信号の位相P(f)より、逆
周波数分析回路(IFFT)9で時間領域信号に戻す。
ここまでが、定常雑音抑圧処理である。
【0015】音声識別回路14では、入力信号毎に音声
(SP)か、非定常雑音(NSN)か、定常雑音(B
N′)かを判定する。なお、雑音抑圧する前の定常雑音
をBN、雑音抑圧した後の定常雑音(残留雑音)をB
N′とする。
【0016】図3は、音声識別回路14の一実施例の詳
細を示すブロック図である。この図で、14Aはパワー
スペクトル傾斜算出回路、14Bは信号種判定回路、1
4Cはパラメータしきい値記憶部で、thd(CM),
thd(SS)が記憶されている。音声識別回路14で
は前段で算出されている二つの値、即ち実効値算出回路
11で計算された実効値rmsと、線形予測残差の最大
値CMの他に、パワースペクトルS(f)からパワース
ペクトル傾斜算出回路14Aで算出される周波数特性の
傾斜(dB/Oct.)を利用する。その方法例を以下
に説明する。
【0017】まず、パワースペクトルS(f)の3分の
1オクターブ毎の平均を取り、その値のレベル(dB)
を計算する。この値の回帰直線の傾きbは、以下のよう
に計算される。
【0018】
【数1】
ここで、xは3分の1オクターブ毎の分割総数をNとす
れば、x=1,2,・・・〜,Nで、yは3分の1オク
ターブ毎に平均されたN個のパワースペクトルレベルで
ある。Sxyは、x,y各々の残差の積の和、Sxはx
の残差平方和である。bは3分の1オクターブ毎の傾き
であるから、3倍すれば、オクターブ毎の傾き(dB/
Oct.)が得られる。音声の場合、この傾きは通常、
負の値になるので、符号を反転し、その値をSSとす
る。即ち、
【0019】
【数2】
以上の信号の特徴量、rms,CM,SSを信号種判定
回路14Bに入力し、信号種を以下のように判定する。
【0020】1 定常雑音:実効値rmsが、そのしき
い値thd(rms)より小さい時、定常雑音(B
N′)と判定する。
【0021】2 非定常雑音:実効値rmsがしきい値
thd(rms)以上で、CM,SSのいずれかが各々
のしきい値thd(CM),thd(SS)より小さい
時、非定常雑音(NSN)と判定する。
【0022】3 音声:いずれの特徴量も各々のしきい
値を超えた場合、音声(SP)と判定する。
【0023】再び図2において、音声識別回路14で識
別された信号種(SP/NSN/BN′)は、過去Mフ
レーム分連続して音声識別フラグ記憶回路15に格納さ
れる。新しい信号種を格納する場合、最も古い値を消去
する。
【0024】実効値算出回路11で計算された実効値r
msのうち、定常雑音検出回路6で定常雑音と判定され
た過去Lフレームの実効値をしきい値算出回路13に格
納しておく。これは、定常雑音抑圧処理により消し残っ
た残留雑音の実効値と考えられる。新たに(残留)雑音
と判定された実効値NS (N)を格納する場合、最も古
い値NS (N−L)を消去する。そして、それらの平均
値〈NS (N)〉を計算し、それに1以上の定数を乗算
し、しきい値thd(rms)を得る。この作用は、定
常雑音検出回路6で新たに入力信号が雑音と判定された
場合のみスイッチ10Bの切替により行なわれ、thd
(rms)の値が更新される。
【0025】一方、実効値算出回路11で算出された実
効値rmsは、過去Mフレーム分連続して実効値記憶回
路12に格納される。新しい実効値を格納する場合、最
も古い値を消去する。この格納された実効値列(rms
(N−M+1),・・・,rms(N−1),rms
(N))から、音声平均実効値算出回路18において、
平均実効値〈rms(N)〉を以下の手順で得る。これ
を図4を参照して説明する。
【0026】(a)音声の発話中:格納された実効値列
(rms(N−M+1),・・・,rms(N−1),
rms(N))の中から、音声識別フラグ記憶回路15
で音声(SP)と判定されている値を平均し、〈rms
(N)〉とする。
【0027】(b)非定常雑音:ただし、音声と判定さ
れているフレーム数よりも非定常雑音(NSN)と判定
されているフレーム数が多い場合は、しきい値thd
(rms)に1より小さい適当な定数aを掛けた値を
〈rms(N)〉とする。
【0028】(c)無音声時:K(<M)フレーム連続
して音声以外の入力、即ち、しきい値thd(rms)
以下定常雑音か非定常雑音の入力が続いた場合、無音声
時と判定し、しきい値thd(rms)に1より小さい
適当な定数aを掛けた値を〈rms(N)〉とする。
【0029】平均実効値〈rms(N)〉を使って、圧
縮比算出回路19で圧縮比p(N)を(3)式のように
計算する。
【0030】
【数3】【0031】
【数4】
〈p(N−1)〉は一つ前のフレームの平滑化圧縮比
で、C0+C1=1.0であり、C1が大きいほど、な
めらかに変化する。利得算出回路16では、出力される
音声の目標とする平均実効値をd1とすると、(5)式
で利得Gが計算される。
【0032】
【数5】
【0033】図5は、入出力の関係を両対数で示したも
のである。しきい値thd(rms)以上の入力は全て
目標値dlに圧縮,増幅され、しきい値thd(rm
s)以下は伸長,減衰されている。音声平均実効値算出
回路18で、音声以外の入力は全てしきい値以下になる
ように計算されるので、音声以外の非定常雑音も減衰さ
れる。
【0034】ここで、図1と図2の各部の対応を符号を
用いて示すと下記のようになる。
【0035】
101:1
102:3,4,5,6
103:2,7,8,9,10A
105:16,19,20
106:17A,17B
107:21
108:14,15
109:11,12,18
図6は、本発明によって得られる処理結果の一例であ
る。(a)が入力信号で、ある会議室において、男声
(マイク−スピーカ間距離:50cm)と女声(同:3
m)を、男声より約20dB低い空調騒音下で収音し、
その間に数種の非定常雑音を付加したものである。
(b)は従来法(特願平8−125697号)による処
理波形で、定常な空調騒音は抑圧されて、音声はほぼ同
じレベルになっているものの、非定常な雑音も音声同様
に増幅されている。(c)が本発明によって得られる処
理結果の一例で、音声以外の非定常雑音も十分抑圧され
ているのがわかる。
【0036】次に、上述した重み付け関数W(f)につ
いて、補足説明する。
【0037】図7は、重み付け関数W(f)の説明図で
ある。重み付け関数W(f)は、式(6)で表せる。
【0038】
【数6】
図7に示されるように、W(f)は雑音パワースペクト
ルが大きいほど差し引く量を増やしている。こうするこ
とで、雑音パワーの大きな低域における消し残りと、パ
ワーの小さい高域における引き過ぎの低減を図ることが
できる。
【0039】なお、βは平均の重み付け係数、S
ns(f)は雑音平均パワースペクトルを示す。
【0040】なお、上記本発明の実施の形態においてブ
ロック図の各部を「回路」として示してあるが、これは
ソフトウエア等で実現することも可能であるので、一般
的には「手段」として表現されるものである。
【0041】
【発明の効果】以上のように本発明によれば、まず定常
雑音を抑圧し、音声と非定常雑音を識別した後に利得制
御を行なうため、非定常な雑音を増幅することなしに、
目的の音声のみを一定の音圧レベルにすることが可能で
ある。これにより不快な紙めくり音や、ドアの音等を定
常な暗騒音と共に抑圧し、音声のみを常に一定の音量で
受聴できる快適な受聴システムの実現が可能である。Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic gain control device in audio equipment such as a loudspeaker device and an auxiliary listening device used by a hearing-impaired person. 2. Description of the Related Art In a TV conference apparatus and a telephone conference apparatus, a loudspeaking call is often used because of the necessity of a conversation between a plurality of persons. At this time, the sound pickup microphone is placed on a desk or the like, and the distance from the speaker's mouth is often not uniform. Then, the input level to the microphone is not constant depending on the speaker, which contributes to the difficulty of listening on the listening side. Also, if you are wearing hearing aids, even hearing impaired people who do not have much difficulty in one-on-one conversations say that the distance to the speaker is far, such as a conference or lecture, etc. Many people complain that they do not understand. One of the reasons may be a decrease in the input level to the hearing aid. Generally, as the distance between a sound source and a sound pickup position increases, the input sound pressure level decreases. The degree of the drop depends on the directivity of the sound source and the state of the reverberation in the room. For example, in a free sound field (virtual space having no boundaries reflecting sound such as walls, floors, ceilings, etc.), the sound source is point-sourced (360 degrees). Assuming that the sound source emits sound equally in any direction (a virtual sound source), the sound pressure level is attenuated by 6 dB when the distance between the sound source and the listening point is doubled. In an actual room, not only the direct sound but also the reflected sound at the boundary is added, so that it does not attenuate much, but when it is separated by 5 m, the sound pressure level at the position of 1 m is attenuated by about 10 dB. In order to keep the input sound pressure level constant, there has conventionally been a device called a compressor, for example. This is a device that can compress the dynamic range of the input signal to increase the gain for relatively low level inputs. However, this device measures the input level in a short time of several msec to several tens of msec, and changes the compression ratio at a high speed according to the measured value. Therefore, the main purpose of use is to suppress sudden excessive input, and it is not suitable for compensating for a decrease in sound pressure due to distance attenuation having a relatively large level width. [0005] Further, in an ordinary acoustic space, noise from an air conditioner or the like often exists in addition to a target sound. If you try to keep the target sound at a certain sound pressure level,
Because the sound fluctuates depending on the size of the target sound, it becomes very difficult to hear. [0006] In order to make the target sound easier to hear, there is a means such as "automatic gain controller (Japanese Patent Application No. 8-125597)" proposed by the present inventors. FIG. 8 schematically shows this conventional means. After the amount of stationary noise input from the input terminal 101 is automatically measured by the stationary noise discriminating circuit 102 and suppressed by the stationary noise suppressing circuit 103, the effective value is calculated before the gain is calculated by the gain calculating circuit 105. The averaging circuit 104 calculates the average effective value of the input sound,
By multiplying the calculated gain by the input sound in which the stationary noise is suppressed by the multiplication circuit 106, the input sound is output from the output terminal 107 with an average constant volume without distortion. [0007] Although the above-mentioned problem is supposedly solved by this method, non-stationary noises other than the stationary noise (for example, the sound of turning over a paper, the sound of closing a door, etc.) are also constant. There is a problem that it is amplified to make the volume. These unsteady sounds cannot always be "noise", but in a loudspeaker, sounds other than voice are unnecessary sounds, i.e., noise, except for special uses. Noise is harsh. SUMMARY OF THE INVENTION It is an object of the present invention to suppress steady background noise and to amplify only the intended sound without amplifying unsteady noise in audio equipment such as a loudspeaker device or an auxiliary hearing device used by a hearing-impaired person. It is intended to be able to listen at a high volume and without distortion. SUMMARY OF THE INVENTION An automatic gain adjusting device according to the present invention solves the above-mentioned problems, and can receive only a target sound (in this case, an audio signal) at an optimum volume. Linearly predicts the frame signal for each frame,
Extract the linear residual signal and calculate its autocorrelation function
To the obtained based on the maximum value (CM), and stationary noise identification means for identifying a stationary noise, inputting said frame signal
And is not regarded as stationary noise by the stationary noise discriminating means.
Frames are output without suppression to reduce steady noise.
Frames are stored in advance as stationary noise.
To the average of the power spectrum for the past number of frames
Suppresses constant noise by using the value based on it as a subtraction factor
A stationary noise suppression means to and outputs, the stationary noise suppression hand
The effective value of the execution signal of the output signal from the stage and the power spec
And the maximum value of the autocorrelation function (C
M), the effective value is greater than the threshold value.
Is smaller than the normal noise frame after suppression,
When the effective value is equal to or greater than the threshold value, the maximum value of the autocorrelation function is obtained.
The slope of the large value (CM) and the power spectrum S (f)
If any of them are smaller than the threshold,
The frame is determined to be a noise frame, and the effective value is the threshold value.
As described above, the maximum value (CM) of the autocorrelation function and the power
Each of the slopes of the vector S (f) is larger than the threshold.
When the input signal is a voice frame, the voice identification means for determining whether the input signal is a voice,
Frames determined to be audio in the audio identification flag storage circuit
Number is greater than the number of frames determined to be nonstationary noise
When receiving a voice, the voice is
The average effective value of the determined frame is obtained, and the sound identification
Undefined from the number of frames determined to be audio in the lag memory circuit
Non-stationary noise with a large number of frames determined to be ordinary noise
Of the predetermined number of past frames determined to be stationary noise.
The threshold of the effective value based on the average of the effective value is less than 1
The value obtained by multiplying the number of frames is the average effective value.
Continuously, the stationary noise after the suppression or the non-stationary noise.
If there is no audio with continuous input, the past is determined to be stationary noise
RMS threshold based on the average of the RMS of a given number of frames
The value obtained by multiplying the constant value by a constant smaller than 1 is the average effective value
By a voice effective value averaging means for calculating an average effective value of the audio, the average effective value is a threshold to the effective value
Is greater than the average effective threshold value.
Divided by the average effective value is equal to or less than the threshold value of the effective value.
If below, the average RMS is divided by the RMS threshold
Calculate and smooth the compression ratio, and set the target value as the effective value.
Gain calculation means for calculating a required gain by dividing the threshold value to obtain a gain; and the gain and the smoothing compression.
Multiplying means for multiplying the input signal by the ratio . FIG. 1 is a block diagram showing a basic configuration of an embodiment of the present invention . Steady noise identification circuit 10
2 to calculate the autocorrelation function of the input signal and calculate its maximum value (C
M) is calculated, and based on this, the stationary noise is identified, and the stationary noise suppressing circuit 103 suppresses the stationary noise based on the information. In the effective value calculating circuit 11, the effective value of the signal (rm
s). In voice identification circuit 108 And, peripheral
The slope of the power spectrum S (f), which is the slope of the wave number characteristic
(Ss) (detailed in [0017] to [0019])
Me. The CM, rms, and ss, which are feature quantities, and their
Threshold (thd (CM), thd (rms), thd
(Ss)) to determine the signal type. Voice run value average
Circuit 109 is in the middle of a voice call or unsteady
In the case of noise or no sound
The average effective value is calculated ([0024] to [0028]
Detailed). In the gain calculation circuit 105, the average effective value is
Use to calculate the compression ratio and calculate the gain. Multiplication circuit 10
In step 6, by multiplying the noise-suppressed audio signal by the gain , stationary noise and non-stationary noise are also suppressed, and only the voice can be made to have a constant volume. FIG. 2 is a block diagram showing the configuration of an embodiment of the present invention. In FIG. 2, 1 is an input terminal, 2 is a frequency analysis circuit, 3 is a linear prediction analysis circuit, 4 is an autocorrelation analysis circuit, 5 is a maximum value detection circuit, and 6 is a stationary noise detection circuit. 10A and 10B are turned on and off. Reference numeral 7 denotes an average noise power spectrum calculation circuit, which performs visual weighting. 8 is a subtraction circuit,
Reference numeral 9 denotes an inverse frequency analysis circuit that performs an operation in a reverse order to that of the frequency analysis circuit 2. 10A and 10B are switches, 11 is an effective value calculation circuit, 12 is an effective value storage circuit, 13 is a threshold value calculation circuit, 14 is a voice identification circuit, 15 is a voice identification flag storage circuit, 16 is a gain calculation circuit, and 17A and 17A. 17B is a multiplication circuit, 18 is a sound average effective value calculation circuit, 19 is a compression ratio calculation circuit, 20 is a compression ratio smoothing circuit, and 21 is an output terminal. Next, the operation will be described. The signal input from the input terminal 1 is a signal for each frame divided at an appropriate time. First, the stationary noise detection circuit 6 determines whether it is stationary noise. For this purpose, first, the input signal is subjected to linear prediction analysis by the linear prediction analysis circuit 3, and a linear prediction residual signal (herein, referred to as a residual signal) is extracted. The autocorrelation function is calculated by the autocorrelation analysis circuit 4, and the maximum value (CM) is calculated by the maximum value detection circuit 5. Thus, the magnitude of the periodicity of the input signal can be detected. In general, the nature of stationary noise such as air conditioner noise often has low periodicity. Therefore, when the CM is smaller than a certain threshold value, the stationary noise detection circuit 6 determines that the CM is the stationary noise (BN). The signal input from the input terminal 1 is sent to a frequency analysis circuit (FFT) 2 in parallel and converted into a frequency domain. The power spectrum S (f) of the frame determined to be stationary noise by the stationary noise detection circuit 6 is sent to the average noise power spectrum calculation circuit 7 by the operation of the switch 10A and stored therein. The average noise power spectrum calculation circuit 7 stores the power spectra S (f) for the past appropriate number of frames and calculates the average value.
Furthermore, a weighting function W (f) for minimizing the “audibility” of the residual noise previously proposed in Japanese Patent Application No. 8-125597 is multiplied by a noise average power spectrum S
ns (f) (for the weighting function W (f),
This will be explained later). It is subtracted by the subtraction circuit 8 into S
Subtract from (f). From the power spectrum S '(f) of the signal from which noise has been subtracted and the phase P (f) of the original signal, the signal is returned to a time domain signal by an inverse frequency analysis circuit (IFFT) 9.
The processing up to this point is the stationary noise suppression processing. The speech discrimination circuit 14 determines whether speech (SP), non-stationary noise (NSN), or stationary noise (B
N ′). Note that the stationary noise before noise suppression is BN, and the stationary noise (residual noise) after noise suppression is B
N ′. FIG. 3 is a block diagram showing details of one embodiment of the voice identification circuit 14. As shown in FIG. In this figure, 14A is a power spectrum tilt calculation circuit, 14B is a signal type determination circuit, 1
Reference numeral 4C denotes a parameter threshold value storage unit which stores thd (CM),
thd (SS) is stored. In the speech identification circuit 14, in addition to the two values calculated in the previous stage, that is, the effective value rms calculated by the effective value calculation circuit 11 and the maximum value CM of the linear prediction residual, the power is calculated from the power spectrum S (f). The slope (dB / Oct.) Of the frequency characteristic calculated by the spectrum tilt calculation circuit 14A is used. An example of the method will be described below. First, an average of the power spectrum S (f) for each one-third octave is obtained, and the level (dB) of the value is obtained.
Is calculated. The slope b of the regression line of this value is calculated as follows. ## EQU1 ## Here, x is N = 1, 2,..., N where y is the total number of divisions per one-third octave, and y is N powers averaged for one-third octave. The spectrum level. Sxy is the sum of the products of the residuals of x and y, and Sx is x
Is the residual sum of squares. Since b is a slope for each third octave, if it is multiplied by three, the slope for each octave (dB / dB)
Oct. ) Is obtained. For audio, this slope is usually
Since it becomes a negative value, the sign is inverted and the value is set to SS. That is, The characteristic amounts of the above signals, rms, CM, and SS, are input to the signal type determination circuit 14B, and the signal type is determined as follows. 1 Stationary noise: When the effective value rms is smaller than the threshold value thd (rms), the stationary noise (B
N '). 2 Non-stationary noise: When the effective value rms is equal to or larger than the threshold value thd (rms) and one of CM and SS is smaller than each of the threshold values thd (CM) and thd (SS), the non-stationary noise (NSN). 3. Voice: If any of the feature values exceeds the respective threshold value, it is determined that the voice is voice (SP). Referring again to FIG. 2, the signal type (SP / NSN / BN ') identified by the audio identification circuit 14 is stored in the audio identification flag storage circuit 15 continuously for the past M frames. When storing a new signal type, the oldest value is deleted. The effective value r calculated by the effective value calculation circuit 11
Of the ms, the effective value of the past L frame determined as the stationary noise by the stationary noise detection circuit 6 is stored in the threshold value calculation circuit 13. This is considered to be the effective value of the residual noise remaining after the stationary noise suppression processing. When storing an effective value N S (N) newly determined as (residual) noise, the oldest value N S (N−L) is deleted. Then, the average value <N S (N)> is calculated and multiplied by one or more constants to obtain a threshold value thd (rms). This operation is performed by switching the switch 10B only when the stationary noise detection circuit 6 newly determines that the input signal is noise.
The value of (rms) is updated. On the other hand, the effective value rms calculated by the effective value calculation circuit 11 is stored in the effective value storage circuit 12 continuously for the past M frames. When storing a new effective value, the oldest value is deleted. The stored effective value sequence (rms
(N−M + 1),..., Rms (N−1), rms
(N)), in the voice average effective value calculation circuit 18,
An average effective value <rms (N)> is obtained by the following procedure. This will be described with reference to FIG. (A) During utterance of voice: stored effective value sequence (rms (N−M + 1),..., Rms (N−1),
rms (N)), the voice identification flag storage circuit 15
Averages the values determined as voice (SP) in <rms
(N)>. (B) Non-stationary noise: However, if the number of frames determined as non-stationary noise (NSN) is larger than the number of frames determined as speech, the threshold thd
A value obtained by multiplying (rms) by an appropriate constant a smaller than 1 is defined as <rms (N)>. (C) When there is no voice: input other than voice continuously for K (<M) frames, that is, threshold thd (rms)
Hereinafter, when the input of the stationary noise or the non-stationary noise continues, it is determined that there is no voice, and a value obtained by multiplying the threshold value thd (rms) by an appropriate constant a smaller than 1 is set as <rms (N)>. Using the average effective value <rms (N)>, the compression ratio calculation circuit 19 calculates the compression ratio p (N) as shown in equation (3). (Equation 3) [Equation 4] <P (N-1)> is the smoothing compression ratio of the immediately preceding frame, which is C0 + C1 = 1.0. The larger the value of C1, the smoother the change. The gain calculating circuit 16 calculates the gain G by equation (5), where d1 is the target average effective value of the output voice. ## EQU5 ## FIG. 5 shows the relationship between input and output in a double logarithmic manner. All inputs above the threshold thd (rms) are compressed and amplified to the target value dl, and the threshold thd (rm)
s) The following is elongated and attenuated. Since the speech average effective value calculation circuit 18 calculates all inputs other than speech below the threshold value, non-stationary noise other than speech is also attenuated. Here, the correspondence between the parts in FIG. 1 and FIG. 101: 1 102: 3,4,5,6 103: 2,7,8,9,10A 105: 16,19,20 106: 17A, 17B 107: 21 108: 14,15 109: 11 12, 18 FIG. 6 is an example of the processing result obtained by the present invention. (A) is an input signal, and in a certain conference room, a male voice (distance between microphone and speaker: 50 cm) and a female voice (id: 3)
m) is picked up under the air conditioning noise about 20 dB lower than the male voice,
In the meantime, several types of non-stationary noise are added.
(B) is a processing waveform according to the conventional method (Japanese Patent Application No. 8-125597), in which steady air-conditioning noise is suppressed and the sound is almost at the same level, but non-stationary noise is amplified similarly to the sound. ing. (C) is an example of the processing result obtained by the present invention, and it can be seen that non-stationary noise other than speech is sufficiently suppressed. Next, the above-mentioned weighting function W (f) will be supplementarily described. FIG. 7 is an explanatory diagram of the weighting function W (f). The weighting function W (f) can be expressed by equation (6). (Equation 6) As shown in FIG. 7, the larger the noise power spectrum of W (f) is, the larger the amount to be subtracted is. By doing so, it is possible to reduce the residual noise in the low band where the noise power is large and the overdrawing in the high band where the power is small. Β is an average weighting coefficient, S
ns (f) indicates the noise average power spectrum. In the above embodiment of the present invention, each part of the block diagram is shown as a "circuit". However, since this can be realized by software or the like, it is generally used as "means". It is what is expressed. As described above, according to the present invention, first, stationary noise is suppressed, and gain control is performed after discriminating between speech and non-stationary noise. ,
It is possible to set only a target sound to a constant sound pressure level. As a result, it is possible to realize a comfortable listening system in which unpleasant paper-turning sounds, door sounds, and the like are suppressed together with stationary background noise, and only voice can be always heard at a constant volume.
【図面の簡単な説明】
【図1】本発明の基本構成を示すブロック図である。
【図2】本発明の一実施例を示すブロック図である。
【図3】図2の実施例中の音声識別回路の詳細を示すブ
ロック図である。
【図4】図2の実施例中の音声平均実効値算出回路の動
作を説明する図である。
【図5】図2の実施例の入出力関係図である。
【図6】本発明による一処理例を示す波形図である。
【図7】図2の実施例で用いた重み付け関数の説明図で
ある。
【図8】先に提案した自動利得調整装置の概略構成を示
すブロック図である。
【符号の説明】
1 入力端
2 周波数分析回路
3 線形予測分析回路
4 自己相関分析回路
5 最大値検出回路
6 定常雑音検出回路
7 平均雑音パワースペクトル算出回路
8 減算回路
9 逆周波数分析回路
10A,10B スイッチ
11 実効値算出回路
12 実効値記憶回路
13 しきい値算出回路
14 音声識別回路
14A パワースペクトル傾斜算出回路
14B 信号種判定回路
14C パラメータしきい値記憶部
15 音声識別フラグ記憶回路
16 利得算出回路
17 乗算回路
18 音声平均実効値算出回路
19 圧縮比算出回路
20 圧縮比平滑化回路
21 出力端
101 入力端
102 定常雑音識別回路
103 定常雑音抑圧回路
104 実効値平均化回路
105 利得算出回路
106 乗算回路
107 出力端
108 音声識別回路
109 音声実効値平均化回路BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a basic configuration of the present invention. FIG. 2 is a block diagram showing one embodiment of the present invention. FIG. 3 is a block diagram showing details of a voice identification circuit in the embodiment of FIG. 2; FIG. 4 is a diagram for explaining the operation of the voice average effective value calculation circuit in the embodiment of FIG. 2; FIG. 5 is an input / output relationship diagram of the embodiment of FIG. 2; FIG. 6 is a waveform chart showing one processing example according to the present invention. FIG. 7 is an explanatory diagram of a weighting function used in the embodiment of FIG. FIG. 8 is a block diagram showing a schematic configuration of an automatic gain adjustment device proposed earlier. [Description of Signs] 1 Input terminal 2 Frequency analysis circuit 3 Linear prediction analysis circuit 4 Autocorrelation analysis circuit 5 Maximum value detection circuit 6 Stationary noise detection circuit 7 Average noise power spectrum calculation circuit 8 Subtraction circuit 9 Inverse frequency analysis circuits 10A, 10B Switch 11 Effective value calculating circuit 12 Effective value storing circuit 13 Threshold calculating circuit 14 Voice discriminating circuit 14A Power spectrum tilt calculating circuit 14B Signal type determining circuit 14C Parameter threshold storing unit 15 Voice discriminating flag storing circuit 16 Gain calculating circuit 17 Multiplication circuit 18 Voice average effective value calculation circuit 19 Compression ratio calculation circuit 20 Compression ratio smoothing circuit 21 Output terminal 101 Input terminal 102 Stationary noise discrimination circuit 103 Stationary noise suppression circuit 104 Effective value averaging circuit 105 Gain calculation circuit 106 Multiplication circuit 107 Output terminal 108 Audio identification circuit 109 Audio effective value averaging circuit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G10L 9/14 D (58)調査した分野(Int.Cl.7,DB名) H03G 3/32 G10L 11/02 H04B 1/16 H04R 25/00 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 identification code FIG10L 9/14 D (58) Investigated field (Int.Cl. 7 , DB name) H03G 3/32 G10L 11/02 H04B 1 / 16 H04R 25/00
Claims (1)
し、その線形残差信号を取り出し、その自己相関関数を
計算して求めた、その最大値(CM)に基づき、定常雑
音を識別する定常雑音識別手段と、前記フレーム信号を
入力とし、前記定常雑音識別手段により定常雑音とされ
ないフレームについては、抑圧せずに出力し、定常雑音
とされたフレームについては、定常雑音として予め格納
されている過去のフレーム数分のパワースペクトルの平
均に基づく値を減算要素とすることにより、定数雑音を
抑圧して出力する定常雑音抑圧手段と、前記定常雑音抑
圧手段からの出力信号の実行信号に実効値と、パワース
ペクトルS(f)の傾きと前記自己相関関数の最大値
(CM)との関係において、前記実効値が、そのしきい
値より小さいとき、抑圧後の定常雑音のフレームと判定
し、実効値が、そのしきい値以上で、前記自己相関関数
の最大値(CM)とパワースペクトルS(f)の傾きの
うち、いずれかが、各々しきい値より小さいとき、非定
常雑音のフレームと判定し、前記実効値が、そのしきい
値以上で、自己相関関数の最大値(CM)と前記パワー
スペクトルS(f)の傾きのいずれも各々しきい値より
大きいとき、音声のフレームと判定することにより、入
力信号が音声であるかどうかを識別する音声識別手段
と、音声識別フラグ記憶回路内で音声と判定されたフレ
ーム数が非定常雑音と判定されているフレームの数より
多い音声の受話中の場合、過去の所定数から現在まで音
声と判断されたフレームの平均実効値を求め、前記音識
別フラグ記憶回路内で音声と判定されたフレーム数より
非定常雑音と判定されているフレーム数が多い非定常雑
音の場合、定常雑音と判定された過去所定数のフレーム
の実効値の平均に基づく実効値のしきい値に1より小さ
い定数を掛けた値を平均実効値とし、所定数Kのフレー
ム以上連続して、前記抑圧後の定常雑音、又は非定常雑
音の入力が続いた無音声の場合、定常雑音と判定された
過去所定数のフレームの実効値の平均に基づく実効値の
しきい値に1より小さい定数を掛けた値を平均実効値と
することにより、音声の平均実効値を計算する音声実効
値平均化手段と、前記平均実効値が前記実効値のしきい
値よりも大きい場合、前記実効値のしきい値を前記平均
実効値で除算し、前記平均実効値が前記実効値のしきい
値以下の場合、前記平均実効値を前記実効値のしきい値
で除算して圧縮比を 求め平滑化し、目標値を前記実効値
のしきい値で除算して利得を求めることにより、必要な
利得を計算する利得算出手段と、前記利得と前記平滑化
圧縮比を入力信号に乗算する乗算手段とを有することを
特徴とする自動利得調整装置。(57) [Claims] [Claim 1] Linear prediction of a frame signal for each frame
Take out the linear residual signal and calculate its autocorrelation function
A stationary noise identifying means for identifying stationary noise based on the maximum value (CM) obtained by calculation ;
Input, and is regarded as stationary noise by the stationary noise discriminating means.
For frames that do not exist, output without suppression
Is stored in advance as stationary noise
Of the power spectrum for the number of past frames
The constant noise is reduced by using the value based on the average as the subtraction factor.
A stationary noise suppression means that suppresses and outputs, the stationary noise suppression
The effective value and the power value of the execution signal of the output signal from the
The slope of the vector S (f) and the maximum value of the autocorrelation function
(CM), the effective value is the threshold
When the value is smaller than the value, it is determined that the frame is a stationary noise frame after suppression.
And the effective value is equal to or greater than the threshold value, and the autocorrelation function
Between the maximum value (CM) and the slope of the power spectrum S (f)
When one of them is smaller than the threshold value,
It is determined that the frame is a normal noise frame, and the effective value is the threshold value.
The maximum value (CM) of the autocorrelation function and the power
Each of the slopes of the spectrum S (f) exceeds the threshold
When the voice signal is large, a voice identification means for determining whether the input signal is a voice by determining that the input signal is a voice , and a frame determined as a voice in the voice identification flag storage circuit.
The number of frames is determined by the number of frames determined to be non-stationary noise.
When receiving a large number of voices, the sound from the specified number in the past to the present
The average effective value of the frame determined to be voice is determined, and
From the number of frames determined to be audio in the separate flag storage circuit
Unsteady noise with a large number of frames determined to be unsteady noise
In the case of sound, a predetermined number of past frames determined to be stationary noise
RMS threshold based on the average of RMS
The value obtained by multiplying the constant by the constant
Continuous noise or non-stationary noise
If there is no sound with continuous sound input, it is determined to be stationary noise
RMS value based on the average of the RMS values of a predetermined number of past frames
The value obtained by multiplying the threshold by a constant smaller than 1 is the average effective value.
A sound effective value averaging means for calculating an average effective value of the sound, wherein the average effective value is a threshold of the effective value.
If the threshold is greater than the average value,
Divide by RMS, and the average RMS is the threshold of the RMS
If it is less than or equal to the value, the average RMS
Calculates the compression ratio by smoothing, and sets the target value to the effective value.
Gain calculation means for calculating a required gain by dividing by the threshold of
Multiplying means for multiplying an input signal by a compression ratio .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25171096A JP3367592B2 (en) | 1996-09-24 | 1996-09-24 | Automatic gain adjustment device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25171096A JP3367592B2 (en) | 1996-09-24 | 1996-09-24 | Automatic gain adjustment device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1098346A JPH1098346A (en) | 1998-04-14 |
JP3367592B2 true JP3367592B2 (en) | 2003-01-14 |
Family
ID=17226849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25171096A Expired - Lifetime JP3367592B2 (en) | 1996-09-24 | 1996-09-24 | Automatic gain adjustment device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3367592B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008543194A (en) * | 2005-06-02 | 2008-11-27 | ソニー エリクソン モバイル コミュニケーションズ, エービー | Audio signal gain control apparatus and method |
KR100890293B1 (en) * | 2004-08-18 | 2009-03-26 | 로무 가부시키가이샤 | Gain adjustment circuit, signal processing circuit, and electric device |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6240386B1 (en) * | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
JP3489043B2 (en) * | 1999-04-14 | 2004-01-19 | リオン株式会社 | Environmental noise analyzer |
JP4612468B2 (en) * | 2005-05-19 | 2011-01-12 | 日本電信電話株式会社 | Signal extraction device |
JP4413175B2 (en) * | 2005-09-05 | 2010-02-10 | 日本電信電話株式会社 | Non-stationary noise discrimination method, apparatus thereof, program thereof and recording medium thereof |
US8396574B2 (en) * | 2007-07-13 | 2013-03-12 | Dolby Laboratories Licensing Corporation | Audio processing using auditory scene analysis and spectral skewness |
KR101459319B1 (en) * | 2008-01-29 | 2014-11-07 | 삼성전자주식회사 | Method and apparatus for controlling audio volume |
WO2014027419A1 (en) * | 2012-08-17 | 2014-02-20 | Toa株式会社 | Noise elimination device |
DE102015204639B3 (en) * | 2015-03-13 | 2016-07-07 | Sivantos Pte. Ltd. | Method for operating a hearing device and hearing aid |
JP7156084B2 (en) * | 2019-02-25 | 2022-10-19 | 富士通株式会社 | SOUND SIGNAL PROCESSING PROGRAM, SOUND SIGNAL PROCESSING METHOD, AND SOUND SIGNAL PROCESSING DEVICE |
-
1996
- 1996-09-24 JP JP25171096A patent/JP3367592B2/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100890293B1 (en) * | 2004-08-18 | 2009-03-26 | 로무 가부시키가이샤 | Gain adjustment circuit, signal processing circuit, and electric device |
JP2008543194A (en) * | 2005-06-02 | 2008-11-27 | ソニー エリクソン モバイル コミュニケーションズ, エービー | Audio signal gain control apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JPH1098346A (en) | 1998-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9591410B2 (en) | Hearing assistance apparatus | |
KR100860805B1 (en) | Voice enhancement system | |
EP2283484B1 (en) | System and method for dynamic sound delivery | |
JP4307557B2 (en) | Voice activity detector | |
JP5675848B2 (en) | Adaptive noise suppression by level cue | |
US5511128A (en) | Dynamic intensity beamforming system for noise reduction in a binaural hearing aid | |
US5757937A (en) | Acoustic noise suppressor | |
WO2010089976A1 (en) | Hearing aid | |
JP2007522706A (en) | Audio signal processing system | |
JP4249729B2 (en) | Automatic gain control method, automatic gain control device, automatic gain control program, and recording medium recording the same | |
JP3367592B2 (en) | Automatic gain adjustment device | |
JPH09311696A (en) | Automatic gain control device | |
US11195539B2 (en) | Forced gap insertion for pervasive listening | |
US7123732B2 (en) | Process to adapt the signal amplification in a hearing device as well as a hearing device | |
JPH07111527A (en) | Voice processing method and device using the processing method | |
JPH0956000A (en) | Hearing aid | |
US20240339101A1 (en) | Ear-worn device and reproduction method | |
CN115668370A (en) | Voice detector of hearing device | |
CN115240700A (en) | Acoustic equipment and sound processing method thereof | |
JPH0243893A (en) | Voice recognition device | |
EP1018108A1 (en) | Method and apparatus for improving speech intelligibility | |
JPH11212580A (en) | Noise can celler |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071108 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081108 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091108 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101108 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101108 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111108 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111108 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121108 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121108 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131108 Year of fee payment: 11 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |