JP5016581B2 - エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 - Google Patents
エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 Download PDFInfo
- Publication number
- JP5016581B2 JP5016581B2 JP2008275133A JP2008275133A JP5016581B2 JP 5016581 B2 JP5016581 B2 JP 5016581B2 JP 2008275133 A JP2008275133 A JP 2008275133A JP 2008275133 A JP2008275133 A JP 2008275133A JP 5016581 B2 JP5016581 B2 JP 5016581B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- gain coefficient
- value
- echo
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
本発明は、例えば、音響再生系を有する通信会議システムに適用され、ハウリングの原因及び聴覚上の障害となる音響エコーを抑圧するエコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム及びその記録媒体に関する。
ＳＴＳＡ推定に基づく、人間の聴覚特性が位相に鈍感である性質及び、音声とエコーの統計的な性質を利用して周波数領域でエコーを抑圧する装置として、非特許文献１に記載される従来方式のエコー抑圧装置がある。
［エコー抑圧装置１００］
図１は、非特許文献１記載のエコー抑圧装置１００の機能ブロック図を示す。なお、以下の図において、同様の部分については、同一の符号を付す。受話端１１から得られる再生信号x(n)は、エコー抑圧装置１００へ入力されるとともに、Ｄ／Ａ変換部１２へ入力される。nは、所定間隔の離散時間を表し、サンプル点の番号である。サンプリングとは、アナログの音声信号をデジタル信号に変換するために変数のある区間の値を１つの代表する値に置き換えることである。例えば、サンプリング周波数16kHzの場合、1秒間に16000回のサンプリングを行う。
図１は、非特許文献１記載のエコー抑圧装置１００の機能ブロック図を示す。なお、以下の図において、同様の部分については、同一の符号を付す。受話端１１から得られる再生信号x(n)は、エコー抑圧装置１００へ入力されるとともに、Ｄ／Ａ変換部１２へ入力される。nは、所定間隔の離散時間を表し、サンプル点の番号である。サンプリングとは、アナログの音声信号をデジタル信号に変換するために変数のある区間の値を１つの代表する値に置き換えることである。例えば、サンプリング周波数16kHzの場合、1秒間に16000回のサンプリングを行う。
再生信号x(n)は、Ｄ／Ａ変換部１２でアナログ再生信号x(t)（tは、連続時間を表す）に変換され、スピーカ１３から出力される。エコー経路h(t)を伝わりエコーy(t)となる。エコーy(t)は送話信号s(t)とともにマイクロホン２１に入力される。マイクロホン２１へ入力された収音信号z(t)（但し、z(t)=y(t)+s(t)）は、Ａ／Ｄ変換部でデジタル収音信号z(n)に変換され、エコー抑圧装置に入力される。
［再生信号周波数領域変換部１１０］
再生信号周波数領域変換部１１０は、時間領域の再生信号x(n)を周波数領域に変換し、再生信号スペクトルX(ω,k)を求める（ｓ１１０）。但し、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す。なお、周波数領域への変換は、離散フーリエ変換等によって行う。例えば、16kHzでサンプリングした256点の再生信号x(n-255),…,x(n)を1フレームとし、半フレーム（ここでは、128点）ずらしながら周波数変換していき、再生信号x(n)をフレーム単位で、8kHzまで周波数領域をサンプル点数128で表した再生信号スペクトルX(ω,k)（ω=1,…,128）へ変換する。
再生信号周波数領域変換部１１０は、時間領域の再生信号x(n)を周波数領域に変換し、再生信号スペクトルX(ω,k)を求める（ｓ１１０）。但し、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す。なお、周波数領域への変換は、離散フーリエ変換等によって行う。例えば、16kHzでサンプリングした256点の再生信号x(n-255),…,x(n)を1フレームとし、半フレーム（ここでは、128点）ずらしながら周波数変換していき、再生信号x(n)をフレーム単位で、8kHzまで周波数領域をサンプル点数128で表した再生信号スペクトルX(ω,k)（ω=1,…,128）へ変換する。
［収音信号周波数領域変換部１２０］
収音信号周波数領域変換部１２０は、時間領域の収音信号z(n)を周波数領域に変換し、収音信号スペクトルZ(ω,k)を求める（ｓ１２０）。再生信号を収音信号に置き換えて、再生信号周波数領域変換部１１０と同様に変換が行われる。
収音信号周波数領域変換部１２０は、時間領域の収音信号z(n)を周波数領域に変換し、収音信号スペクトルZ(ω,k)を求める（ｓ１２０）。再生信号を収音信号に置き換えて、再生信号周波数領域変換部１１０と同様に変換が行われる。
［ＳＴＳＡ推定に基づくエコー抑圧装置の原理］
ここで、エコー、送話信号のそれぞれのスペクトルをY(ω,k)、S(ω,k)とし、エコー経路の周波数応答をH(ω,k)とすると、以下のように表すことができる。
Y(ω,k)=H(ω,k)・X(ω,k)
Z(ω,k)=S(ω,k)+Y(ω,k)
ＳＴＳＡ(Short Time Spectral Amplitude)推定に基づくエコー抑圧装置は、乗算部１７０において、収音信号のスペクトルの振幅成分|Z(ω,k)|にゲイン係数G(ω,k)を重畳して、エコーを抑圧し、出力信号のスペクトルS^(ω,k)を得る。そのため、エコー抑圧装置１００は、比率計算部１５０でゲイン係数を求める。また、エコー量推定部１４０は、ゲイン係数を求める際に必要となるエコーのパワー推定値を求め、音響結合推定部１３０は、エコーのパワー推定値を求める際に必要となる音響結合量の周波数特性の推定値を求める。以下、詳細を説明する。
ここで、エコー、送話信号のそれぞれのスペクトルをY(ω,k)、S(ω,k)とし、エコー経路の周波数応答をH(ω,k)とすると、以下のように表すことができる。
Y(ω,k)=H(ω,k)・X(ω,k)
Z(ω,k)=S(ω,k)+Y(ω,k)
ＳＴＳＡ(Short Time Spectral Amplitude)推定に基づくエコー抑圧装置は、乗算部１７０において、収音信号のスペクトルの振幅成分|Z(ω,k)|にゲイン係数G(ω,k)を重畳して、エコーを抑圧し、出力信号のスペクトルS^(ω,k)を得る。そのため、エコー抑圧装置１００は、比率計算部１５０でゲイン係数を求める。また、エコー量推定部１４０は、ゲイン係数を求める際に必要となるエコーのパワー推定値を求め、音響結合推定部１３０は、エコーのパワー推定値を求める際に必要となる音響結合量の周波数特性の推定値を求める。以下、詳細を説明する。
［音響結合推定部１３０］
音響結合推定部１３０は、再生信号のパワー|X(ω,k)|2に対する収音信号のパワー|Z(ω,k)|2の比をもとに音響結合量の周波数特性の推定値|H^(ω,k)|2を求める（ｓ１３０）。具体的には、再生信号のパワー|X(ω,k)|2に対する収音信号のパワー|Z(ω,k)|2の比と、１フレーム前の音響結合量の周波数特性の推定値|H^(ω,k-1)|2とを比較し何れか小さいほうを音響結合量の周波数特性の推定値|H^(ω,k)|2として求める。例えば、以下の式により表される。
音響結合推定部１３０は、再生信号のパワー|X(ω,k)|2に対する収音信号のパワー|Z(ω,k)|2の比をもとに音響結合量の周波数特性の推定値|H^(ω,k)|2を求める（ｓ１３０）。具体的には、再生信号のパワー|X(ω,k)|2に対する収音信号のパワー|Z(ω,k)|2の比と、１フレーム前の音響結合量の周波数特性の推定値|H^(ω,k-1)|2とを比較し何れか小さいほうを音響結合量の周波数特性の推定値|H^(ω,k)|2として求める。例えば、以下の式により表される。
但し、min{・}は最小値選択を表す。この手法により、収音信号z(n)にエコーy(n)と送話信号s(n)の存在するダブルトーク状態においても、音響結合量の周波数特性を精度良く推定することができる。
［エコー量推定部１４０］
エコー量推定部１４０は、再生信号のパワー|X(ω,k)|2と推定値|H^(ω,k)|2と１フレーム前のエコーのパワー推定値|Y^(ω,k-1)|2を用いて、エコーのパワー推定値|Y^(ω,k)|2を求める（ｓ１４０）。例えば、以下の式により表される。
|Y^(ω,k)|2=|H^(ω,k)|2・|X(ω,k)|2+β・|Y^(ω,k-1)|2 (2)
エコー量推定部１４０は、再生信号のパワー|X(ω,k)|2と推定値|H^(ω,k)|2と１フレーム前のエコーのパワー推定値|Y^(ω,k-1)|2を用いて、エコーのパワー推定値|Y^(ω,k)|2を求める（ｓ１４０）。例えば、以下の式により表される。
|Y^(ω,k)|2=|H^(ω,k)|2・|X(ω,k)|2+β・|Y^(ω,k-1)|2 (2)
但し、βは忘却定数で残響時間に合わせた値を設定する。この式の右辺第１項は、現在の処理フレーム中にマイクロホン２１へ収音されたエコーパワーに相当した推定値である。しかし、一般的な部屋の残響時間は周波数変換長よりも長いため、第１項だけではエコーの残響成分の後半部分まで対応できない。そこで、忘却定数βを導入し、右辺第２項の再帰加算を行いエコーパワーを推定する。これにより、周波数変換長以上の残響成分を伴うエコーにも対応可能とする。
［比率計算部１５０］
比率計算部１５０は、収音信号のパワー|Z(ω,k)|2とエコーのパワー推定値|Y^(ω,k)|2を用いてゲイン係数G(ω,k)を求める（ｓ１５０）。エコーy(n)と送話信号s(n)が無相関であると仮定し、ウィーナーフィルタ(Wiener Filter)法を用いて、ゲイン係数G(ω,k)は以下のように表される。ここで、E[|S(ω,k)|2]、E[|Y(ω,k)|2]は、それぞれのパワーの期待値を表す。
比率計算部１５０は、収音信号のパワー|Z(ω,k)|2とエコーのパワー推定値|Y^(ω,k)|2を用いてゲイン係数G(ω,k)を求める（ｓ１５０）。エコーy(n)と送話信号s(n)が無相関であると仮定し、ウィーナーフィルタ(Wiener Filter)法を用いて、ゲイン係数G(ω,k)は以下のように表される。ここで、E[|S(ω,k)|2]、E[|Y(ω,k)|2]は、それぞれのパワーの期待値を表す。
ゲイン係数G(ω,k)は0〜1の実数値をとり、収音信号スペクトル中にエコー成分が多い場合には、小さな値をとり、エコー成分以外の成分が多い場合には大きい値をとる。ゲイン係数G(ω,k)を精度良く求めることにより、非線形処理でありながら、遠端話者と近端話者が同時に話すダブルトーク状態においても、エコー重畳比率に応じたエコー抑圧が可能である。
［乗算部１７０］
乗算部１７０は、収音信号スペクトルZ(ω,k)にゲイン係数G (ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める（ｓ１７０）。収音信号Z(ω,k)の位相成分をθとすると、以下の式により表される。
S^(ω,k)=|S^(ω,k)|ejθ
= G(ω,k)・|Z(ω,k)|ejθ (3)
乗算部１７０は、収音信号スペクトルZ(ω,k)にゲイン係数G (ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める（ｓ１７０）。収音信号Z(ω,k)の位相成分をθとすると、以下の式により表される。
S^(ω,k)=|S^(ω,k)|ejθ
= G(ω,k)・|Z(ω,k)|ejθ (3)
［出力信号時間領域変換部１８０］
出力信号時間領域変換部１８０は、周波数領域の出力信号スペクトルS^(ω,k)を時間領域に変換し、出力信号s^(n)を求める（ｓ１８０）。なお、時間領域への変換は、例えば、逆離散フーリエ変換等によって行う。そして、出力信号s^(n)は、送話端２３へ出力される。
阪内澄宇、羽田陽一、片岡章俊、"ＳＴＳＡ推定に基づくエコー抑圧処理のゲイン強調化方式"、信学論（Ａ）、vol.J88-A、no.6、p.695-703、Jun、2005.
出力信号時間領域変換部１８０は、周波数領域の出力信号スペクトルS^(ω,k)を時間領域に変換し、出力信号s^(n)を求める（ｓ１８０）。なお、時間領域への変換は、例えば、逆離散フーリエ変換等によって行う。そして、出力信号s^(n)は、送話端２３へ出力される。
阪内澄宇、羽田陽一、片岡章俊、"ＳＴＳＡ推定に基づくエコー抑圧処理のゲイン強調化方式"、信学論（Ａ）、vol.J88-A、no.6、p.695-703、Jun、2005.
非特許文献１記載の従来方式のエコー抑圧装置１００は、線形エコーを抑圧することはできるが、非線形エコーを抑圧することはできなかった。ここで、線形エコーとは、スピーカ１３からマイクロホン２１に回り込むエコーをいい、非線形エコーとは、小型スピーカの非線形特性やスピーカ１３とマイクロホン２１が固定された筐体などを伝搬する震動によって生じるエコーをいう。残留する非線形エコーは、話の内容が聞き取れる程大きい場合もあり、通話の品質を損ねる原因の一つになっていた。なお、全ての周波数値のゲイン係数を0とすれば、非線形エコーを消去することができるが、通信会議等において、双方向同時通話ができなくなる。本発明の目的は、双方向同時通話を維持しながら、収音信号中の線形エコーだけでなく非線形エコーも抑圧できるエコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、その記録媒体を提供することである。
請求項１記載のエコー抑圧装置は、時間領域の再生信号x(n)（但し、nは所定間隔の離散時間を表す）を周波数領域に変換し、再生信号スペクトルX(ω,k)（但し、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す）を求める再生信号周波数領域変換部と、時間領域の収音信号z(n)を周波数領域に変換し、収音信号スペクトルZ(ω,k)を求める収音信号周波数領域変換部と、再生信号スペクトルX(ω,k)と収音信号スペクトルZ(ω,k)を用いて、収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくような値をゲイン係数G(ω,k)として求めるゲイン計算部と、いずれかの周波数値の再生信号のパワー|X(ω,k)|2が予め定めた閾値より大きい場合であって、かつ、その周波数値のm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める第２ゲイン計算部と、収音信号スペクトルZ(ω,k)に第２ゲイン係数G'(ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める乗算部と、周波数領域の出力信号スペクトルS^(ω,k)を時間領域に変換し、出力信号s^(n)を求める出力信号時間領域変換部と、を有する。
請求項２記載のエコー抑圧方法は、時間領域の再生信号x(n)（但し、nは所定間隔の離散時間を表す）を周波数領域に変換し、再生信号スペクトルX(ω,k)（但し、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す）を求める再生信号周波数領域変換ステップと、時間領域の収音信号z(n)を周波数領域に変換し、収音信号スペクトルZ(ω,k)を求める収音信号周波数領域変換ステップと、再生信号スペクトルX(ω,k)と収音信号スペクトルZ(ω,k)を用いて、収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくような値をゲイン係数G(ω,k)として求めるゲイン計算ステップと、いずれかの周波数値の再生信号のパワー|X(ω,k)|2が予め定めた閾値より大きい場合であって、かつ、その周波数値のm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める第２ゲイン計算ステップと、収音信号スペクトルZ(ω,k)に第２ゲイン係数G'(ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める乗算ステップと、周波数領域の出力信号スペクトルS^(ω,k)を時間領域に変換し、出力信号s^(n)を求める出力信号時間領域変換ステップと、を有する。
本発明のエコー抑圧装置によれば、双方向同時通話を維持しながら、収音信号中の線形エコーだけでなく非線形エコーも抑圧できる。
ここで、本発明の実施例について説明する。
［エコー抑圧装置２００］
図２は、実施例１のエコー抑圧装置２００の機能ブロック図の例を示す。図３は、実施例１のフローチャートの例を示す。エコー抑圧装置２００は、再生信号周波数領域変換部１１０と、収音信号周波数領域変換部１２０と、ゲイン計算部２５５と、第２ゲイン計算部２６０と、乗算部２７０と、出力信号時間領域変換部１８０とを有する。再生信号周波数領域変換部１１０と、収音信号周波数領域変換部１２０と、出力信号時間領域変換部１８０は、背景技術の記載と同様の機能を有する。
図２は、実施例１のエコー抑圧装置２００の機能ブロック図の例を示す。図３は、実施例１のフローチャートの例を示す。エコー抑圧装置２００は、再生信号周波数領域変換部１１０と、収音信号周波数領域変換部１２０と、ゲイン計算部２５５と、第２ゲイン計算部２６０と、乗算部２７０と、出力信号時間領域変換部１８０とを有する。再生信号周波数領域変換部１１０と、収音信号周波数領域変換部１２０と、出力信号時間領域変換部１８０は、背景技術の記載と同様の機能を有する。
［原理］
非特許文献１記載の従来方式のエコー抑圧装置１００は、線形エコーを抑圧することはできるが、非線形エコーを抑圧することはできない。なお、全ての周波数値のゲイン係数を0とすれば、非線形エコーを消去することができるが、通信会議等において、双方向同時通話ができなくなる。非線形エコーは、そのエコー量をスピーカの再生信号から予測することが難しく、推定に莫大な計算量が必要とされる。
非特許文献１記載の従来方式のエコー抑圧装置１００は、線形エコーを抑圧することはできるが、非線形エコーを抑圧することはできない。なお、全ての周波数値のゲイン係数を0とすれば、非線形エコーを消去することができるが、通信会議等において、双方向同時通話ができなくなる。非線形エコーは、そのエコー量をスピーカの再生信号から予測することが難しく、推定に莫大な計算量が必要とされる。
ここで、木浦伸行、“基本講座−超音波−ハーモニックイメージング”、350頁右欄3行目から351頁左欄3行目まで、3-1、Fig.2、Fig.3、[online]、2004年3月、日本放射線技術学会、[2008年10月14日検索]、インターネット〈URL: http://www.nv-med.com/jsrt/pdf/2004/60_3/350.pdf〉（以下、「参考文献１」という）等により、基本波が大きな振幅を有し、波形が歪む場合には、送信した基本波の周波数の整数倍にあたる高調波（基本波の 2 倍の周波数の高調波を 2 次高調波，3倍のものを 3 次高調波と呼ぶ）が発生することが知られている。
同様に、非線形エコーは、振幅の大きな再生信号の周波数値の整数倍の周波数値に出現する。本発明は、この点に着目し、非線形エコーが存在する周波数値を推測し、その非線形エコーを抑圧する。図４（Ａ）は、再生信号のスペクトル例を、図４（Ｂ）は、収音信号のスペクトル例を示す。周波数値f2,f3,f4は、それぞれ振幅の大きな再生信号の周波数値f1の2倍、3倍、4倍の周波数値を表す。収音信号スペクトルにおいて、線形エコーに加えて、周波数値f1の整数倍の周波数値に非線形エコーが発生することを表している。
［ゲイン計算部２５５］
ゲイン計算部２５５は、再生信号スペクトルX(ω,k)と収音信号スペクトルZ(ω,k)を用いて、収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくようなゲイン係数を求める（ｓ２５５）。例えば、ゲイン計算部２５５は、音響結合推定部１３０と、エコー量推定部１４０と、比率計算部１５０とを有する。音響結合推定部１３０と、エコー量推定部１４０と、比率計算部１５０は、背景技術の記載と同様の機能を有する。但し、ゲイン計算部２５５は、この構成に限定するものではなく、収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくようなゲイン係数を求めるものであればよい。例えば、音響結合推定部１３０において、式(1)に代えて、以下の式により音響結合量の周波数特性の推定値を求めてもよい。
ゲイン計算部２５５は、再生信号スペクトルX(ω,k)と収音信号スペクトルZ(ω,k)を用いて、収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくようなゲイン係数を求める（ｓ２５５）。例えば、ゲイン計算部２５５は、音響結合推定部１３０と、エコー量推定部１４０と、比率計算部１５０とを有する。音響結合推定部１３０と、エコー量推定部１４０と、比率計算部１５０は、背景技術の記載と同様の機能を有する。但し、ゲイン計算部２５５は、この構成に限定するものではなく、収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくようなゲイン係数を求めるものであればよい。例えば、音響結合推定部１３０において、式(1)に代えて、以下の式により音響結合量の周波数特性の推定値を求めてもよい。
現在から過去のPフレーム間の再生信号のパワーに対する収音信号のパワーの比の最小値を選択し（例えば、P=100とする）、音響結合量の周波数特性の推定値|H^(ω,k)|2として求める。式(1)により推定を続けていくと音響結合量の周波数特性の推定値|H^(ω,k)|2は小さくなる一方であり、適切な音響結合量の周波数特性の推定ができなくなるが、式(1)'を用いることにより、適切な音響結合量の周波数特性の推定が可能となる。また、周波数変換長が十分に長い場合には、エコー量推定部１４０は、式(2)に代えて、以下の式により、エコーのパワー推定値|Y^(ω,k)|2を求めてもよい。
|Y^(ω,k)|2=|H^(ω,k)|2・|X(ω,k)|2
|Y^(ω,k)|2=|H^(ω,k)|2・|X(ω,k)|2
［第２ゲイン計算部２６０］
第２ゲイン計算部２６０は、いずれかの周波数値fの再生信号のパワー|X(ω,k)|2が予め定めた閾値Tより大きい場合であって、かつ、その周波数値fのm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６０）。
第２ゲイン計算部２６０は、いずれかの周波数値fの再生信号のパワー|X(ω,k)|2が予め定めた閾値Tより大きい場合であって、かつ、その周波数値fのm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６０）。
但し、ω（ω=1,2,…,W）は所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す。各周波数幅の代表値をf(f=f1,f2,…,fW)とする。なお、所定の周波数間隔は、一定とすること等が考えられる。また、バンド幅は必ずしも1Hzから始まる必要はない。但し、各ωに対する周波数幅は一定である必要はない。例えば、周波数の番号がwの場合に、（w-1）2〜w2Hzの周波数幅を持ち、代表値fｗ=w2とすることや、周波数の番号がwの場合に、(p)ｗ−１〜(p)ｗHzの周波数幅を持ち（pは予め定めた実数）、代表値fｗ=(p)ｗとすること等が考えられ、適宜変更可能である。
例えば、以下のような処理が考えられる。まずωの値を初期化する（ｓ２６１）。全てのωに対して、以下の処理を行うためである。例えば、ωに1を代入する。
次に周波数値の番号ωに対応する代表値fが、最大の周波数値の番号Wに対応する代表値fWの半分以下か否かを判定する（ｓ２６２）。非線形エコーは、振幅の大きな再生信号の周波数値の整数倍の周波数値に出現するため、代表値fの値が代表値fWの半分以上になった場合には、以下の処理を行わずに、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６６）。これにより、演算量を削減することができる。但し、この処理を設けず、全てのωに対して以下の処理を行ってもよい。
次に再生信号スペクトルX(ω,k)から再生信号のパワー|X(ω,k)|2を求め、再生信号のパワー|X(ω,k)|2と閾値Tを比較する（ｓ２６３）。非線形エコーは、振幅の大きな再生信号の周波数値の整数倍の周波数値に出現するため、予め定めた閾値T以下の場合には、以下の処理を行わずに、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６６）。再生信号のパワー|X(ω,k)|2のほうが大きい場合、
mf-R≦f'≦mf+R (11)
（但し、m=2,3,…,Mであり、Rは0以上の所定の整数である）の関係を満たす代表値f'を求める。代表値f'を有する周波数値の番号ω’に対応するゲイン係数G(ω',k)に非線形抑圧係数α(ω',k)を乗算し、第２ゲイン係数G'(ω',k)として求める（ｓ２６４）。但し、α(ω,k)は、0〜1の実数値である。つまり、mfを中心に±R内にある代表値f'を求め、代表値f'を有する周波数値の番号ω'に対応するゲイン係数G(ω',k)を0に近づける。振幅の大きな再生信号の周波数値の整数倍の周波数値及びその周辺の周波数に現れるため、Rによって抑圧する周波数値に幅をもたせている。例えば、fを1000、Mを５、Rを100とすると、式(11)より1900以上2100以下，2900以上3100以下，3900以上4100以下，4900以上5100以下の範囲にある代表値f'を求め、代表値を有する周波数値の番号ω’に対応するゲイン係数を0に近づける。α(ω,k)=0.1のとき、周波数値ωの非線形エコーを20dB抑圧する。但し、M、R、閾値T、非線形抑圧係数α(ω,k)は、小型スピーカ１３の非線形特性やスピーカ１３とマイクロホン２１が固定された筐体の特性、及びスピーカボリュームの大きさに基づいて適宜設定可能である。また、閾値Tは、周波数値の番号毎、フレーム毎に異なる値T(ω,k)をとってもよい。
mf-R≦f'≦mf+R (11)
（但し、m=2,3,…,Mであり、Rは0以上の所定の整数である）の関係を満たす代表値f'を求める。代表値f'を有する周波数値の番号ω’に対応するゲイン係数G(ω',k)に非線形抑圧係数α(ω',k)を乗算し、第２ゲイン係数G'(ω',k)として求める（ｓ２６４）。但し、α(ω,k)は、0〜1の実数値である。つまり、mfを中心に±R内にある代表値f'を求め、代表値f'を有する周波数値の番号ω'に対応するゲイン係数G(ω',k)を0に近づける。振幅の大きな再生信号の周波数値の整数倍の周波数値及びその周辺の周波数に現れるため、Rによって抑圧する周波数値に幅をもたせている。例えば、fを1000、Mを５、Rを100とすると、式(11)より1900以上2100以下，2900以上3100以下，3900以上4100以下，4900以上5100以下の範囲にある代表値f'を求め、代表値を有する周波数値の番号ω’に対応するゲイン係数を0に近づける。α(ω,k)=0.1のとき、周波数値ωの非線形エコーを20dB抑圧する。但し、M、R、閾値T、非線形抑圧係数α(ω,k)は、小型スピーカ１３の非線形特性やスピーカ１３とマイクロホン２１が固定された筐体の特性、及びスピーカボリュームの大きさに基づいて適宜設定可能である。また、閾値Tは、周波数値の番号毎、フレーム毎に異なる値T(ω,k)をとってもよい。
式(11)を満たす代表値を有さない場合、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６５）。例えば、以下の式により表すことができる。
このような処理を、全ての周波数領域に対して行う（ｓ２６６、ｓ２６７）。周波数値の番号が、最後の番号Wか否かを判断し（ｓ２６６）、Wの場合には、第２ゲイン係数G'(ω,k)を出力し、乗算部２７０に処理を移す。W以外の場合には、ωの値を更新し（ｓ２６７）、上記処理を繰り返す。このようにして、第２ゲイン係数G'(ω,k)を求めることにより、振幅の大きな再生信号の周波数値を推定し、非線形エコーが存在する整数倍の周波数値を推測し、第２ゲイン係数G'(ω,k)は、その非線形エコーを抑圧するゲイン係数となり、非線形エコーが存在しない周波数値では、第２ゲイン係数G'(ω,k)は、従来通り線形エコーを抑圧するゲイン係数となる。
［乗算部２７０］
乗算部２７０は、収音信号スペクトルZ(ω,k)に第２ゲイン係数G'(ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める（ｓ２７０）。式(3)に代え、以下の式により、出力信号スペクトルを求める。
S^(ω,k)=G'(ω,k)・|Z(ω,k)|ejθ
この式により求められる出力信号スペクトルS^(ω,k)は、上述の第２ゲイン係数を用いているため、線形エコーだけでなく、非線形エコーも抑圧されたものとなる。
乗算部２７０は、収音信号スペクトルZ(ω,k)に第２ゲイン係数G'(ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める（ｓ２７０）。式(3)に代え、以下の式により、出力信号スペクトルを求める。
S^(ω,k)=G'(ω,k)・|Z(ω,k)|ejθ
この式により求められる出力信号スペクトルS^(ω,k)は、上述の第２ゲイン係数を用いているため、線形エコーだけでなく、非線形エコーも抑圧されたものとなる。
よって、本実施例のエコー抑圧装置によれば、双方向同時通話を維持しながら、収音信号中の線形エコーだけでなく非線形エコーも抑圧できる。なお、本実施例のエコー抑圧装置２００に、聴覚のマスキング効果を利用した原音付加方式等を組み合わせて用いてもよい。
［変形例１］
実施例１とは、第２ゲイン計算部２６０’が異なる。
実施例１とは、第２ゲイン計算部２６０’が異なる。
［第２ゲイン計算部２６０’］
第２ゲイン計算部２６０’は、いずれかの周波数値fの再生信号のパワー|X(ω,k)|2が予め定めた閾値Tより大きい場合であって、かつ、その周波数値fのm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６０’）。
第２ゲイン計算部２６０’は、いずれかの周波数値fの再生信号のパワー|X(ω,k)|2が予め定めた閾値Tより大きい場合であって、かつ、その周波数値fのm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６０’）。
但し、変形例1においてω（ω=1,2,…,W）は所定の周波数間隔は、等間隔であり、バンド幅は1Hzから始まる。例えば、バンド幅を1〜8192Hzとし、W=128とすると、ω=1の場合、1〜64Hzの周波数幅を持ち代表値f1=64とし、ω=2の場合、65〜128Hzの周波数幅を持ち代表値f2=128とし、…、ω=128の場合、8129〜8192Hzの周波数幅を持ち代表値f128=8192とすること等が考えられる。
例えば、以下のような処理が考えられる。まずωの値を初期化する（ｓ２６１）。全てのωに対して、以下の処理を行うためである。例えば、ωに１を代入する。次に周波数値の番号ωに対応する代表値fが、最大の周波数値の番号Wに対応する代表値fWの半分以下か否かを判定する（ｓ２６２）。代表値fの値が代表値fWの半分以上になった場合には、以下の処理を行わずに、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６６）。
次に再生信号スペクトルX(ω,k)から再生信号のパワー|X(ω,k)|2を求め、再生信号のパワー|X(ω,k)|2と閾値Tを比較する（ｓ２６３）。予め定めた閾値T以下の場合には、以下の処理を行わずに、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６６）。再生信号のパワー|X(ω,k)|2のほうが大きい場合、
mω-R'≦ω'≦mω+R' (12)
（但し、m=2,3,…,Mであり、Rは0以上の所定の整数である）の関係を満たす周波数値の番号ω'を求める。周波数値の番号ω’に対応するゲイン係数G(ω',k)に非線形抑圧係数α(ω',k)を乗算し、第２ゲイン係数G'(ω',k)として求める（ｓ２６４’）。但し、α(ω,k)は、０〜１の実数値である。つまり、変形例１では、実施例１と異なり、周波数値fを整数倍するのではなく、周波数値の番号ωを整数倍する。mωを中心に±R'内にある周波数値の番号ω'に対応するゲイン係数G(ω',k)を０に近づける。例えば、ωを10、Mを５、R'を2とすると、式(12)よりω'=18,19,20,21,22,28,29,30,31,32,38,39,40,41, 42,48,49,50,51,52に対応するゲイン係数を０に近づける。
mω-R'≦ω'≦mω+R' (12)
（但し、m=2,3,…,Mであり、Rは0以上の所定の整数である）の関係を満たす周波数値の番号ω'を求める。周波数値の番号ω’に対応するゲイン係数G(ω',k)に非線形抑圧係数α(ω',k)を乗算し、第２ゲイン係数G'(ω',k)として求める（ｓ２６４’）。但し、α(ω,k)は、０〜１の実数値である。つまり、変形例１では、実施例１と異なり、周波数値fを整数倍するのではなく、周波数値の番号ωを整数倍する。mωを中心に±R'内にある周波数値の番号ω'に対応するゲイン係数G(ω',k)を０に近づける。例えば、ωを10、Mを５、R'を2とすると、式(12)よりω'=18,19,20,21,22,28,29,30,31,32,38,39,40,41, 42,48,49,50,51,52に対応するゲイン係数を０に近づける。
式(12)を満たす代表値を有さない場合、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める（ｓ２６５’）。例えば、以下の式により表すことができる。
このような処理を、全ての周波数領域に対して行う（ｓ２６６、ｓ２６７）。周波数値の番号が、最後の番号Wか否かを判断し（ｓ２６６）、Wの場合には、第２ゲイン係数G'(ω,k)を出力し、乗算部２７０に処理を移す。W以外の場合には、ωの値を更新し（ｓ２６７）、上記処理を繰り返す。このような構成の場合にも、双方向同時通話を維持しながら、収音信号中の線形エコーだけでなく非線形エコーも抑圧できる。
［エコー抑圧プログラム、その記録媒体］
上述したエコー抑圧装置２００は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（実施例で図に示した機能構成をもつ装置）として機能させるためのプログラム、又はその処理手順（各実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
上述したエコー抑圧装置２００は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置（実施例で図に示した機能構成をもつ装置）として機能させるためのプログラム、又はその処理手順（各実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
１００，２００ エコー抑圧装置 １１０ 再生信号周波数領域変換部
１２０ 収音信号周波数領域変換部 １３０ 音響結合推定部
１４０ エコー量推定部 １５０ 比率計算部
１７０、２７０ 乗算部 １８０ 出力信号時間領域変換部
２５５ ゲイン計算部 ２６０ 第２ゲイン計算部
１２０ 収音信号周波数領域変換部 １３０ 音響結合推定部
１４０ エコー量推定部 １５０ 比率計算部
１７０、２７０ 乗算部 １８０ 出力信号時間領域変換部
２５５ ゲイン計算部 ２６０ 第２ゲイン計算部
Claims (4)
- 時間領域の再生信号x(n)（但し、nは所定間隔の離散時間を表す）を周波数領域に変換し、再生信号スペクトルX(ω,k)（但し、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す）を求める再生信号周波数領域変換部と、
時間領域の収音信号z(n)を周波数領域に変換し、収音信号スペクトルZ(ω,k)を求める収音信号周波数領域変換部と、
前記再生信号スペクトルX(ω,k)と収音信号スペクトルZ(ω,k)を用いて、前記収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくような値をゲイン係数G(ω,k)として求めるゲイン計算部と、
いずれかの周波数値の再生信号のパワー|X(ω,k)|2が予め定めた閾値より大きい場合であって、かつ、その周波数値のm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める第２ゲイン計算部と、
前記収音信号スペクトルZ(ω,k)に前記第２ゲイン係数G'(ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める乗算部と、
周波数領域の出力信号スペクトルS^(ω,k)を時間領域に変換し、出力信号s^(n)を求める出力信号時間領域変換部と、
を有するエコー抑圧装置。 - 時間領域の再生信号x(n)（但し、nは所定間隔の離散時間を表す）を周波数領域に変換し、再生信号スペクトルX(ω,k)（但し、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号を、kはフレーム番号を表す）を求める再生信号周波数領域変換ステップと、
時間領域の収音信号z(n)を周波数領域に変換し、収音信号スペクトルZ(ω,k)を求める収音信号周波数領域変換ステップと、
前記再生信号スペクトルX(ω,k)と収音信号スペクトルZ(ω,k)を用いて、前記収音信号スペクトルZ(ω,k)中に、エコー成分が多いときには0に近づき、エコー成分以外の成分が多いときには1に近づくような値をゲイン係数G(ω,k)として求めるゲイン計算ステップと、
いずれかの周波数値の再生信号のパワー|X(ω,k)|2が予め定めた閾値より大きい場合であって、かつ、その周波数値のm(m=2,3,…,M)倍の周波数値またはm倍の周波数値の周辺の周波数値の場合には、m倍の周波数値及びその周辺の周波数値に対応するゲイン係数G(ω,k)を0に近づけた値を第２ゲイン係数G'(ω,k)として求め、それ以外の場合には、ゲイン係数G(ω,k)を第２ゲイン係数G'(ω,k)として求める第２ゲイン計算ステップと、
前記収音信号スペクトルZ(ω,k)に前記第２ゲイン係数G'(ω,k)を乗算して、出力信号スペクトルS^(ω,k)を求める乗算ステップと、
周波数領域の出力信号スペクトルS^(ω,k)を時間領域に変換し、出力信号s^(n)を求める出力信号時間領域変換ステップと、
を有するエコー抑圧方法。 - 請求項１記載のエコー抑圧装置としてコンピュータを機能させるためのエコー抑圧プログラム。
- 請求項３記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008275133A JP5016581B2 (ja) | 2008-10-27 | 2008-10-27 | エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008275133A JP5016581B2 (ja) | 2008-10-27 | 2008-10-27 | エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010103875A JP2010103875A (ja) | 2010-05-06 |
| JP5016581B2 true JP5016581B2 (ja) | 2012-09-05 |
Family
ID=42294079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008275133A Expired - Fee Related JP5016581B2 (ja) | 2008-10-27 | 2008-10-27 | エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5016581B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5769672B2 (ja) * | 2012-07-10 | 2015-08-26 | 日本電信電話株式会社 | エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム |
| JP5769671B2 (ja) * | 2012-07-10 | 2015-08-26 | 日本電信電話株式会社 | エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム |
| JP5769670B2 (ja) * | 2012-07-10 | 2015-08-26 | 日本電信電話株式会社 | エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム |
| JP6537997B2 (ja) * | 2016-04-12 | 2019-07-03 | 日本電信電話株式会社 | エコー抑圧装置、その方法、プログラム、及び記録媒体 |
| JP2021184587A (ja) | 2019-11-12 | 2021-12-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム |
| CN111933166B (zh) * | 2020-07-31 | 2024-01-26 | 广州视源电子科技股份有限公司 | 回声抑制方法、装置、存储介质和电子设备 |
| EP4290778A1 (en) | 2021-03-16 | 2023-12-13 | Panasonic Intellectual Property Corporation of America | Echo suppressing device, echo suppressing method, and echo suppressing program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3457896B2 (ja) * | 1998-10-30 | 2003-10-20 | 沖電気工業株式会社 | 反響消去装置 |
| CN1533665A (zh) * | 2001-07-20 | 2004-09-29 | 皇家菲利浦电子有限公司 | 含有用于谐波计算的非线性回波抑制器的回波消除器 |
-
2008
- 2008-10-27 JP JP2008275133A patent/JP5016581B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010103875A (ja) | 2010-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4567655B2 (ja) | 音声信号中の暗騒音を抑制する方法及び装置、並びに反響消去を伴う対応する装置 | |
| JP5016581B2 (ja) | エコー抑圧装置、エコー抑圧方法、エコー抑圧プログラム、記録媒体 | |
| RU2495506C2 (ru) | Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки | |
| US9653091B2 (en) | Echo suppression device and echo suppression method | |
| JP5036874B2 (ja) | エコー消去装置 | |
| US9386373B2 (en) | System and method for estimating a reverberation time | |
| JP5140162B2 (ja) | 雑音抑圧方法及び装置 | |
| KR20040030817A (ko) | 통신 시스템, 에코 제거 수단 및 에코 제거 방법 | |
| JP2004349806A (ja) | 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体 | |
| JP2007206691A (ja) | スピーチ信号のスペクトル帯域幅を拡張する方法およびそのシステム | |
| CN106941006B (zh) | 用于音频信号的分离和低音增强的方法、装置和系统 | |
| JP4413205B2 (ja) | エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体 | |
| JP4568193B2 (ja) | 収音装置とその方法とそのプログラムとその記録媒体 | |
| JP5524316B2 (ja) | パラメータ推定装置、エコー消去装置、パラメータ推定方法、及びプログラム | |
| JP2004228621A (ja) | エコー抑圧装置 | |
| CN115278465A (zh) | 啸叫抑制方法、装置、音响及扩音系统 | |
| JP4559989B2 (ja) | エコー抑圧方法、エコー抑圧プログラム、記録媒体 | |
| KR100848789B1 (ko) | 크로스토크를 제거하기 위한 후처리 방법 | |
| JP2002223182A (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
| JP5774062B2 (ja) | エコー消去装置、エコー消去方法、及びそのプログラム | |
| JP2017191992A (ja) | エコー抑圧装置、その方法、プログラム、及び記録媒体 | |
| JP2005062096A (ja) | 話者位置検出方法、装置、プログラム、および記録媒体 | |
| JP3917116B2 (ja) | 反響消去装置、方法、及び反響消去プログラム、そのプログラムを記録した記録媒体 | |
| JP5925149B2 (ja) | 音響結合量推定装置、エコー消去装置、その方法及びプログラム | |
| JP4209348B2 (ja) | エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110106 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120608 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |