JPWO2011111091A1 - 雑音抑圧装置 - Google Patents

雑音抑圧装置 Download PDF

Info

Publication number
JPWO2011111091A1
JPWO2011111091A1 JP2012504136A JP2012504136A JPWO2011111091A1 JP WO2011111091 A1 JPWO2011111091 A1 JP WO2011111091A1 JP 2012504136 A JP2012504136 A JP 2012504136A JP 2012504136 A JP2012504136 A JP 2012504136A JP WO2011111091 A1 JPWO2011111091 A1 JP WO2011111091A1
Authority
JP
Japan
Prior art keywords
power spectrum
noise suppression
spectrum
representative
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012504136A
Other languages
English (en)
Other versions
JP5528538B2 (ja
Inventor
訓 古田
訓 古田
田崎 裕久
裕久 田崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2011111091A1 publication Critical patent/JPWO2011111091A1/ja
Application granted granted Critical
Publication of JP5528538B2 publication Critical patent/JP5528538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163Only one microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Noise Elimination (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

帯域分離部5が、時間・周波数変換部2の変換した複数のパワースペクトルを帯域分割してサブバンドにまとめ、帯域代表成分生成部6が、サブバンド内の複数のパワースペクトルのうち最大値を持つパワースペクトルを代表パワースペクトルにする。雑音抑圧量生成部7が代表パワースペクトルと雑音スペクトルとを用いてサブバンドの雑音抑圧量を算出し、雑音抑圧部9が雑音抑圧量に応じてパワースペクトルの振幅を抑圧する。

Description

この発明は、音声信号に重畳した雑音を抑圧する雑音抑圧装置に関する。
雑音抑圧装置は、主として、音声信号に雑音が重畳した時間領域の信号を入力信号として入力し、この入力信号を周波数領域の信号であるパワースペクトルに変換した後、入力信号のパワースペクトルから雑音の平均的なパワースペクトルを推定し、推定した雑音のパワースペクトルを入力信号のパワースペクトルから減算して雑音抑圧した入力信号のパワースペクトルを得て、それを元の時間領域の信号に戻すことにより雑音抑圧処理を行う。
このような従来の雑音抑圧装置として、例えば特許文献1が開示されている。特許文献1に開示されている雑音抑圧装置は、非特許文献1に開示されている技術を基本とし、雑音スペクトル推定と抑圧量の算出時に入力信号の複数のパワースペクトル成分の平均値を求め、得られた1つの平均値から雑音スペクトル推定と抑圧量算出を行い、それらを複数のパワースペクトル成分に共通して適用していた。
特許4172530号公報(第8頁〜12頁、図2)
Y.Ephraim,D.Malah,"Speech Enhancement Using a Minimum Mean−Square Error Short−Time Spectral Amplitude Estimator",IEEE Trans.ASSP,Vol.32,No.6,pp.1109−1121,Dec.1984
従来の雑音抑圧装置は以上のように構成されているので、以下に述べる課題があった。
従来の雑音抑圧装置では、雑音抑圧のための抑圧量算出において、入力信号のパワースペクトル成分毎にベッセル関数など複雑な計算を行う必要があり、非常に処理量が掛かる。そのため特許文献1に開示された従来の雑音抑圧装置では、複数のスペクトル成分をまとめて平均化し、平均化したスペクトル成分を各スペクトル成分の代表スペクトル成分として計算を行うことで処理量の削減を行っている。しかしながら、この方法ではスペクトル成分に振幅が大きい成分(即ち、音声成分と考えられる)が存在しても、平均化することで音声成分が過小に取り扱われることとなり、その結果、音声信号が抑圧されて音声の隠滅感が増大し、音質劣化する課題がある。
この発明は、かかる課題を解決するためになされたもので、少ない処理量で高品質な雑音抑圧を行うことが可能な雑音抑圧装置を提供することを目的とする。
この発明の雑音抑圧装置は、時間・周波数変換部が変換した複数のパワースペクトルを1グループにまとめ、当該グループ内の複数のパワースペクトルのうち、値が大きいものを優先して選択して代表パワースペクトルにする代表成分生成部を備え、雑音抑圧量生成部が代表パワースペクトルを用いて雑音抑圧量を算出するようにしたものである。
この発明によれば、代表パワースペクトルを用いて雑音抑圧量を算出するので処理量が少なくてすみ、かつ、この代表パワースペクトルにはグループ内の値の大きいパワースペクトルを用いるので雑音抑圧量算出時に入力信号の音声成分が過小評価されることがなくなり、その結果、音声信号を抑圧せず、高品質な雑音抑圧を行うことができる。
この発明の実施の形態1に係る雑音抑圧装置の構成を示すブロック図である。 帯域分離部によるパワースペクトルの帯域分割の一例を示すグラフである。 帯域代表成分生成部の処理効果を模式的に表し、図3(a)は入力信号のパワースペクトルのグラフ、図3(b)はサブバンド内のパワースペクトルの平均値を代表にする場合(従来法)、図3(c)はサブバンド内のパワースペクトルの最大値を代表にする場合(本発明)である。 雑音抑圧量生成部の詳細な構成を示すブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1に示す雑音抑圧装置は、入力端子1と、時間・周波数変換部2と、音声らしさ推定部3と、雑音スペクトル推定部4と、帯域分離部5と、帯域代表成分生成部(代表成分生成部)6と、雑音抑圧量生成部7と、帯域多重化部8と、雑音抑圧部9と、周波数・時間変換部10と、出力端子11とを備える。
この雑音抑圧装置の入力としては、マイクロホン(図示せず)等を通じて取り込まれた音声及び音楽等がA/D(アナログ・デジタル)変換された後、所定のサンプリング周波数(例えば、8kHz)でサンプリングされると共にフレーム単位(例えば、10ms)に分割された信号を用いる。
以下、図1に基づいて、実施の形態1に係る雑音抑圧装置の動作原理を説明する。
入力端子1は、上述のような信号を受け付けて、入力信号y(t)として時間・周波数変換部2へ出力する。
時間・周波数変換部2は、フレーム単位に分割された入力信号y(t)に対して窓掛け処理を行い、その窓掛け後の信号y(n,t)に対して、例えば256点のFFT(Fast Fourier Transform:高速フーリエ変換)を用いて時間軸上の信号を周波数上の信号(スペクトル)に変換し、入力信号のパワースペクトルY(n,k)と位相スペクトルP(n,k)を算出する。ここで、nはフレーム番号、kはスペクトル番号、tは離散時間番号を表す。以降、特に示す必要が無い限り、現フレームの入力信号を指すものとし、その信号がスペクトルを表す場合にはフレーム番号を省略する。
得られたパワースペクトルは、音声らしさ推定部3、雑音スペクトル推定部4、帯域分離部5及び雑音抑圧部9にそれぞれ出力される。また、得られた位相スペクトルは周波数・時間変換部10に出力される。なお、窓掛け処理としては、例えばハニング窓、台形窓等の公知の手法を用いることができる。また、時間・周波数変換部2は窓掛け処理を行う際に、必要に応じてゼロ詰め処理も実施する。FFTは周知の手法であるので説明を省略する。
音声らしさ推定部3は、時間・周波数変換部2から入力した入力信号のパワースペクトルを用いて、現フレームの入力信号の態様が“音声らしいかどうか”の度合いとして、例えば音声の可能性が高い場合には大きな値を取り、音声の可能性が低い場合には小さな値を取るような、音声らしさ評価値を算出する。
音声らしさ評価値の算出方法として、例えば入力信号のパワースペクトルをフーリエ変換することで得られる自己相関係数の最大値、パワースペクトルの総和から得られる入力信号エネルギ、入力信号の全帯域SN比(信号対雑音比)、及びパワースペクトルのばらつき具合を表すスペクトルエントロピ等の公知の手法を、それぞれ単独又は組み合わせて用いることが可能である。ここでは、説明の簡略化のため、現フレームの入力信号のパワースペクトルより計算できる、自己相関係数の最大値を単独で用いた場合について示す。自己相関係数c(τ)は、下式(1)のように求めることができる。
Figure 2011111091
ここで、τはラグ(遅延時間)、F[]はフーリエ変換を表す。このフーリエ変換には時間・周波数変換部2で用いたのと同様に、例えば256点のFFTを用いることができる。上式(1)による自己相関係数の算出方法については周知の手法であるので、説明を省略する。
音声らしさ推定部3は続いて、得られた自己相関係数c(τ)をc(0)で除算することで0〜1の範囲に正規化を行って、例えば音声の基本周波数が存在する可能性が高い16<τ<120の範囲で自己相関係数の最大値を探索し、得られた最大値を音声らしさ評価値VADとして雑音スペクトル推定部4へ出力する。
雑音スペクトル推定部4は、入力信号のパワースペクトルY(k)と音声らしさ評価値VADとを用いて、入力信号中に含まれる平均的な雑音スペクトルを推定する。具体的には、雑音スペクトル推定部4が、音声らしさ推定部3の出力である音声らしさ評価値VADを参照し、現フレームの入力信号の態様が雑音の可能性が高い場合(即ち音声の可能性が低い場合)、現フレームの入力信号のパワースペクトルY(n,k)を用いて、雑音スペクトル推定部4が記憶している1フレーム前の雑音スペクトルN(n−1,k)を更新し、更新した雑音スペクトルを雑音抑圧量生成部7へ出力する。
雑音スペクトルの更新は、雑音スペクトル推定部4が例えば下式(2)に従って、音声らしさ評価値VADが所定の閾値(例えば0.2)以下の場合に、入力信号のパワースペクトルを雑音スペクトルに反映することで実施する。音声らしさ評価値VADが閾値0.2を越える場合には、現フレームの入力信号は音声の可能性が高いと考えられるので、雑音スペクトルの更新はせず、1フレーム前の雑音スペクトルをそのまま現フレームの雑音スペクトルとして用いる。
Figure 2011111091

Figure 2011111091

ここで、nはフレーム番号、kはスペクトル番号、KはFFTポイント数の半分の値、N(n−1,k)は更新前の雑音スペクトル、Y(n,k)は雑音の可能性が高いと判断された現フレームの雑音スペクトル、N~(n,k)は更新後の雑音スペクトルである。ここでは電子出願の関係上、上式(2)中の“〜”(チルダ記号)を“~”と表記するが、以降の説明では更新後の雑音スペクトルのチルダ記号を省略する。また、α(k)は0〜1の値を取る所定の更新速度係数であり、比較的0に近い値に設定すると良い。ただし、周波数が高くなるに従って更新速度係数を大きくした方が良い場合もあるので、雑音の種類等に応じて更新速度係数を適宜調整することも可能である。
さらに、雑音スペクトル推定部4は、現フレームの雑音スペクトルN(n,k)を、次の更新処理で用いるために記憶しておく。記憶手段としては、例えば半導体メモリ、ハードディスク等に代表されるような、電気的又は磁気的な随時読み出し及び書き込み可能な記憶手段を用いる。
帯域分離部5は、入力信号のパワースペクトルY(k)を、非均一な周波数帯域に分割し、サブバンド毎にグループ分けする。図2に、入力信号のパワースペクトルY(k)の帯域分割の一例を示す。図2の例では、入力信号のパワースペクトルY(k)の低域から高域までを19個の非均一な周波数帯域に分割し、それぞれのグループをサブバンドにしている。具体的には、サブバンド番号z=10の場合、そのサブバンドにはk=35〜40番目のスペクトル成分が属することとなる。なお、図2のサブバンドは臨界帯域と呼ばれ、人間の聴覚特性と整合性が高い。この臨界帯域のサブバンド番号の単位はBark(バーク)である。臨界帯域の詳細に関しては、E.ツヴィガー著「心理音響学」(西村書店、1992年8月)を参照することができる。
なお、図2の例では臨界帯域で帯域分割する例を示したが、これに限定されるものではなく、例えば低域になるに従って2のべき乗で帯域が狭くなるオクターブバンド分割でも良いし、全ての帯域を例えば4つのスペクトル成分で構成するサブバンドに分割するような均等分割でも良い。また、特定の周波数帯域(低域、音声の重要部分である基本周波数帯域、又はフォルマント成分が分布する可能性が高い帯域)の精度を向上させるために、より細かい単位で分割しても良く、細かい単位で分割することによって後述する雑音抑圧特性の劣化を抑制することができる。帯域分離部5は、以上のように分割処理を実施の後、グループ分けしたサブバンド番号z毎のパワースペクトルY(z,k)を、帯域代表成分生成部6へ出力する。
帯域代表成分生成部6は、帯域分離部5から入力したサブバンド毎のパワースペクトルY(z,k)を用いて、各サブバンドを代表する代表パワースペクトルYd(z)を生成して雑音抑圧量生成部7へ出力する。代表パワースペクトルYd(z)の生成方法として、例えば下式(3)のように、各サブバンド内でパワースペクトルY(k)の大きさを順次比較して、最も値が大きなパワースペクトルY(k)を代表パワースペクトルYd(z)とする。ただし、音声らしさ推定部3が出力する音声らしさ評価値VADが所定の閾値(例えば、0.2)以下の場合には、代表パワースペクトルYd(z)として最も値が大きなパワースペクトルY(k)を選択する方法ではなく、例えば特許文献1のような、サブバンド内の全パワースペクトルY(k)の平均値を算出して代表パワースペクトルYd(z)にする方法に切り替える。
Figure 2011111091
ただし、z=0,・・・,18
図3は、本実施の形態1の帯域代表成分生成部6の処理効果を模式的に表した図である。図3(a)は、雑音が混入した入力信号の、ある時点でのパワースペクトルをプロットしたグラフであり、縦軸にパワースペクトルの大きさ(振幅)、横軸に周波数を示す。また、実線は入力信号のパワースペクトル成分、破線は雑音スペクトルの包絡線、一点鎖線はサブバンドの境界をそれぞれ表している。さらに、図を簡単にするために、サブバンドは周波数帯域を均等分割した例を示す。
図3(b)は、図3(a)に示す入力信号から、従来の方法により各サブバンド内のパワースペクトルの平均値を求め、代表パワースペクトルにした場合の結果を示す。この方法では、音声成分と推測されるパワースペクトルの大きさが小さくなるため、後述する雑音抑圧量生成部7において音声成分が過小評価されることとなり、その結果、音声信号が抑圧されて音声の隠滅感が増大し、音声劣化してしまう。
一方、図3(c)は、図3(a)に示す入力信号から、帯域代表成分生成部6が代表パワースペクトルを算出した場合の結果を示す。図3の例では入力信号に音声信号が存在しているので、音声らしさ評価値VADは閾値0.2より十分大きい。このため、帯域代表成分生成部6は上式(3)により代表パワースペクトルを求める。図3(c)より、図3(b)の従来の方法に比べて、音声成分と推測されるパワースペクトルは保存され、後段の雑音抑圧量生成部7で音声成分が過小評価されることがなく、音声信号が抑圧されることもない。よって、高品質な雑音抑圧が可能となる。
なお、図3ではサブバンドを均等分割した場合について例示したが、例えば図2の表のように臨界帯域幅で非均等分割した場合も同様の効果を奏することはいうまでもない。
図3では、音声らしさ評価値VADが大きく、かつ、入力信号に音声信号が存在する場合について例示したが、この他、例えば音声らしさ評価値VADが小さく、現フレームの入力信号が雑音の可能性が高いと考えられる場合には、大きな値を持つパワースペクトルが存在してもそれは雑音の可能性が高いので、従来の平均値による算出方法に切り替えて代表パワースペクトルを生成するようにしてもよい。サブバンド内のパワースペクトルの平均値を求めるようにすることで、雑音の可能性が高い大きな値のパワースペクトルの振幅が小さくなるので、誤った代表パワースペクトルの生成を抑制することができる。
なお、入力信号に重畳する雑音が小さい場合等、雑音の影響が少ない場合には、帯域代表成分生成部6が音声らしさ評価値VADに応じた代表パワースペクトル算出方法の切り替えを行わず、常に最大値をもつパワースペクトルを代表パワースペクトルにする方法を採ってもよい。
雑音抑圧量生成部7は、帯域代表成分生成部6から入力した代表パワースペクトルYd(z)と、雑音スペクトル推定部4から入力した雑音スペクトルN(n,k)とを用いて、予め用意された所定の演算式に従ってサブバンド毎の雑音抑圧量G(z)を生成し、帯域多重化部8へ出力する。この雑音抑圧量G(z)の演算式の導出方法は後述する。
帯域多重化部8は、雑音抑圧量生成部7が求めたサブバンド毎の雑音抑圧量G(z)を、各サブバンドに属するスペクトル毎に多重化し、スペクトル毎の雑音抑圧量G(k)に展開する。具体的には、同一のサブバンド番号zに属するスペクトル番号kの雑音抑圧量G(k)の値に、そのサブバンド番号zの雑音抑圧量G(z)の値をコピーすることで行う。雑音抑圧量生成部7は、得られたスペクトル毎の雑音抑圧量G(k)を雑音抑圧部9へ出力する。
雑音抑圧部9は、時間・周波数変換部2から入力した入力信号のパワースペクトルY(k)と、雑音抑圧量生成部7から入力したスペクトル毎の雑音抑圧量G(k)とを用いて、下式(4)により、雑音抑圧された入力信号のパワースペクトルY^(k)を生成し、周波数・時間変換部10へ出力する。電子出願の関係上、上式(4)中の“^”(ハット記号)を“^”と表記し、これ以降に示す式の説明でも“^”と表記する。
Figure 2011111091
ただし、k=0,・・・,K
ここで、KはFFTポイント数の半分の値である。
周波数・時間変換部10は、雑音抑圧部9から入力した雑音抑圧された入力信号のパワースペクトルY^(k)と、時間・周波数変換部2から入力した位相スペクトルP(k)とを用いて、逆高速フーリエ変換(逆FFT)により周波数領域のスペクトルから時間領域の信号に変換し、周波数・時間変換部10の内部に記憶している前フレームの信号とオーバーラップ処理した後、雑音抑圧された入力信号y^(t)として、出力端子11に出力する。出力端子11はこの雑音抑圧された入力信号y^(t)を出力する。
続いて、雑音抑圧量生成部7の演算方法を、図4を用いて説明する。図4に示す雑音抑圧量生成部7は、事後SNR(信号対雑音比)推定部71、事前SNR推定部72、雑音抑圧量計算部73、及び遅延部74を備える。以下、T.Lotter,P.Vary,“Speech Enhancement by MAP Spectral Amplitude Estimation Using a Super−Gaussian Speech Model”(EURASIP Journal on Applied Signal Processing,Vol.2005,No.7,pp.1110−1126,July 2005)に記載されている演算方法(最大事後確率法:Maximum A Posteriori;MAP法)に基づいて、雑音抑圧量の演算方法を説明する。
事後SNR推定部71は、帯域代表成分生成部6から入力した代表パワースペクトルYd(z)と、雑音スペクトル推定部4から入力した雑音スペクトルN(k)とを用いて、下式(5)によりサブバンド毎の事後SNR(a posteriori SNR)γ^(n,z)を推定する。ただし、雑音スペクトルN(z)は、サブバンドに対応付けるために、例えば下式(6)に従って求めたサブバンド毎の平均値とする。
Figure 2011111091
ただし、z=0,・・・,18
Figure 2011111091
ただし、z=0,・・・,18
事前SNR推定部72は、事後SNR推定部71から入力したサブバンド毎の事後SNRγ^(n,z)と、後述する遅延部74を通じて得られる前フレームの雑音抑圧量G(n−1,z)とを用いて、下式(7)により事前SNR(a priori SNR)ξ^(n,k)を再帰的に推定する。なお、事前SNR推定部72は、内部メモリ等の記憶手段に前フレームの事後SNRγ^(n−1,z)を記憶しておき、現フレームでの計算に使用する。
Figure 2011111091

Figure 2011111091

ここで、αは0<α<1の値を持つ所定の忘却係数であり、α=0.98が好適な値として選択可能であるが、入力される音声及び雑音の態様に応じて適宜調整してもよい。
雑音抑圧量計算部73は、事前SNR推定部72から入力した事前SNRξ^(n,z)と、事後SNR推定部71から入力した事後SNRγ^(n,z)を用いて、下式(8)によりサブバンド毎の雑音抑圧量G(z,n)を計算し、帯域多重化部8へ出力すると共に、遅延部74へも出力する。
Figure 2011111091

Figure 2011111091

ここで、v及びμは所定の係数であり、上述した最大事後確率法に関する文献ではv=0.126、μ=1.74が好適な値として例示がある。もちろん、この値以外であってもよく、入力信号及び雑音の態様に応じて適宜調整することができる。
遅延部74は、後述の雑音抑圧量計算部73が出力する、前フレームのサブバンド毎の雑音抑圧量G(n−1,z)を内部に保持しておき、上式(7)の現フレームの計算に適用するように事前SNR推定部72に送出する。
以上より、この実施の形態1によれば、雑音抑圧装置は、入力端子1から入力した時間領域の入力信号を、周波数領域の信号であるパワースペクトルと位相スペクトルに変換する時間・周波数変換部2と、入力信号に重畳した雑音スペクトルを推定する雑音スペクトル推定部4と、時間・周波数変換部2が変換した複数のパワースペクトルをサブバンドにまとめる帯域分離部5と、サブバンド内の複数のパワースペクトルのうち最大値を持つパワースペクトルを代表パワースペクトルにする帯域代表成分生成部6と、代表パワースペクトルと雑音スペクトルとを用いてサブバンドの雑音抑圧量を算出する雑音抑圧量生成部7と、サブバンド毎の雑音抑圧量をスペクトル毎に変換する帯域多重化部8と、スペクトル毎に、雑音抑圧量に応じてパワースペクトルの振幅を抑圧する雑音抑圧部9と、位相スペクトルと雑音抑圧部9で振幅抑圧されたパワースペクトルとを時間領域の信号に変換して出力端子11から出力する周波数・時間変換部10とを備える構成にした。このため、代表パワースペクトルを用いて雑音抑圧量を算出するので処理量を低減することができる。また、この代表パワースペクトルにはグループ内の値の大きいパワースペクトルを用いるので、雑音抑圧量算出時に入力信号の音声成分が過小評価されることがなくなり、その結果、音声信号を抑圧せず、高品質な雑音抑圧を行うことができる。
また、この実施の形態1によれば、雑音抑圧装置は、入力信号が音声らしいかどうかの度合いを示す音声らしさ評価値を算出する音声らしさ推定部3を備え、帯域代表成分生成部6は、音声らしさ評価値に基づいて、入力信号の音声らしさの度合いが高い場合にはサブバンド内の最大値をもつパワースペクトルを代表パワースペクトルにし、当該入力信号の音声らしさの度合いが低い場合にはサブバンド内の複数のパワースペクトルの平均値を求めて代表パワースペクトルを生成するように構成した。このため、誤った代表パワースペクトルの生成を抑制することができ、高品質な雑音抑圧が可能となる。
なお、上記実施の形態1では、事後SNR推定部71において、雑音スペクトルをサブバンド毎に対応付けるために式(6)により平均値を求める構成にしたが、これに限定されるものではなく、例えば、代表パワースペクトルYd(z)を生成する際に選択した、最も値の大きいパワースペクトルY(k)のスペクトル番号kに対応する雑音スペクトルN(k)を対応付ける構成にしてもよい。この構成の場合、特に帯域分割幅が狭い場合に事後SNRの推定精度が向上し、更に高品質な雑音抑圧を行うことができる。
また、上記実施の形態1では、帯域多重化部8において、サブバンド毎の雑音抑圧量G(z)を、同一のサブバンドに属するスペクトル毎の雑音抑圧量G(k)にコピーすることにより展開する構成にしたが、これに限定されるものではなく、例えば、隣接するサブバンドの雑音抑圧量G(z−1),G(z+1)を用いて、下式(9)のように重み付き平均を求めても良い。
Figure 2011111091
この式(9)により求まる左辺の値は、サブバンド番号zに属するスペクトル毎の雑音抑圧量G(k)を意味し、スペクトル番号kが図2の表中のf1(z)からf2(z)まで変化することを示す。また、右辺は、サブバンド番号zの成分に0.5の重み付けを行い、隣接するサブバンド番号z−1,z+1の成分にそれぞれ0.25の重み付けを行うことを意味し、さらに、スペクトル番号kのf1(z)からf2(z)までの変化に対応して重みが連続的に変化することを表す。Lは、サブバンド番号zに属するスペクトル番号kの個数を表す。このように重み付き平均をとることにより、特に、帯域分割幅が広い場合に雑音抑圧量G(k)の周波数方向の変化が安定し、更に高品質な雑音抑圧を行うことができる。
また、上記実施の形態1では、帯域代表成分生成部6が代表パワースペクトルを生成する際に値が最も大きいパワースペクトルを選択しているが、これに限定されるものではなく、例えば、サブバンドの境界付近に値が最も大きいパワースペクトルが存在していたとして、サブバンドの中央付近の周波数に属し、かつ、2番目に値が大きいパワースペクトルを優先して選択したり、あるいは、上式(3)を用いたパワースペクトル探索の際に所定の閾値を越えたパワースペクトルを検出した時点で探索を終了して代表パワースペクトルにしたりすることも可能である。
サブバンド中央付近の周波数に属するパワースペクトルを優先して選択することにより、帯域分割幅が広い場合に事後SNRの推定精度が向上する効果がある。また、所定の閾値を越えたパワースペクトルが検出できた時点で探索を終了することで、代表パワースペクトル探索に要する処理量を削減できる効果がある。
また、本実施の形態1の音声らしさ推定部3では、音声らしさ評価値として入力信号の自己相関係数の最大値を用いる構成としたが、これに限定されるものではなく、例えば、上述したスペクトルエントロピ等の公知の手法の他、時間領域の入力信号を分析した結果である、線形予測残差パワー等を組み合わせて用いる構成にしてもよい。
実施の形態2.
上記実施の形態1では、帯域代表成分生成部6において、同一サブバンド内で最も値が大きいパワースペクトルを代表パワースペクトルに選択していたが、例えば、同一サブバンド内でパワースペクトルを値が大きい順に並び替えて、値が大きなパワースペクトルから大きな重みを付けて重み付き平均を求め、その値を代表パワースペクトルにしてもよい。
また、例えば、メジアン等の統計的手法を用いて、中央値を代表パワースペクトルにしてもよい。
以上より、この実施の形態2によれば、帯域代表成分生成部6が、サブバンド内の複数のパワースペクトルのうち、値の大きいパワースペクトルから順に大きい重みを付けて求めた重み付き平均を、代表パワースペクトルにする構成にした。このため、高騒音時において音声らしさ評価値の分析精度が低下したり、音声成分と雑音成分の見分けが困難な時に、安定して代表パワースペクトルの生成を行うことができるようになり、高品質な雑音抑圧を行うことができる。
また、重み付き平均に代えて、メジアン等の統計的手法を用いても同様な効果を得られる。
実施の形態3.
上記実施の形態1では、帯域代表成分生成部6において、音声らしさ評価値が閾値を越えると同一サブバンド内の最大値を持つパワースペクトルを代表パワースペクトルに選択し、一方、閾値未満なら同一サブバンド内の各パワースペクトルから平均値を求めて、この平均値をもつ代表パワースペクトルを生成するように切り替え制御を行う構成にしたが、例えば、下式(10)のように、音声らしさ評価値VADを重み付け係数にして、最大値と平均値の重み付き和を代表パワースペクトルにすることも可能である。
Figure 2011111091

Figure 2011111091

この式(10)は、音声らしさ評価値VADに応じて、連続的に最大値と平均値を切り替えることが可能である。入力信号が音声の可能性が高い場合には、音声らしさ評価値VADが大きくなるので、代表パワースペクトルは最大値の場合の重みが大きくなる。一方、雑音の可能性が高い場合には、音声らしさ評価値VADが小さくなるので、平均値の場合の重みが大きくなる。
以上のように、この実施の形態3によれば、帯域代表成分生成部6は、音声らしさ評価値を重み付け係数に用いて、サブバンド内の複数のパワースペクトルの最大値と平均値の重み付き和を算出し、代表パワースペクトルにする構成とした。このため、音声成分と雑音成分の見分けが困難な時でも安定して代表パワースペクトルの生成を行うことができるようになり、高品質な雑音抑圧を行うことができる。
実施の形態4.
上記実施の形態1では、帯域代表成分生成部6において、音声らしさ評価値に基づいて全サブバンドの代表パワースペクトル生成の切り替え制御を行っていたが、サブバンド毎に切り替え制御を行っても良い。例えば、帯域代表成分生成部6がサブバンド内のパワースペクトルの分散を計算し、分散が所定の閾値を越える場合には、そのサブバンドは音声成分を含むと判断して、代表パワースペクトルとして最大値を選択する方法に切り替える。一方、分散が所定の閾値を下回る場合には、代表パワースペクトルとして平均値を計算する方法に切り替える。
なお、分散は、サブバンド内のパワースペクトルの値のばらつき具合を検出するための1方法であって、分散以外にもばらつき具合を検出できる方法であれば別の分析方法を用いても良い。
以上より、この実施の形態4によれば、帯域代表成分生成部6が、サブバンド毎に代表パワースペクトルの生成方法を切り替えるように構成したので、代表パワースペクトルの生成精度を更に向上することができるようになり、更に高品質な雑音抑圧を行うことができる。
以上の全ての実施の形態1〜4では、雑音抑圧量生成部7による雑音抑圧の方法として最大事後確率法(MAP法)を用いたが、この方法に限定されるものではなく、その他の方法を雑音抑圧量生成部7に適用することができる。例えば、非特許文献1に詳述されている最小平均2乗誤差短時間スペクトル振幅法、又はS.F.Boll,“Suppression of Acoustic Noise in Speech Using Spectral Subtraction”(IEEE Trans.on ASSP,Vol.27,No.2,pp.113−120,Apr.1979)に詳述されているスペクトル減算法等がある。
また、以上の実施の形態1〜4では、図2に示すように、帯域分離部5による帯域分割の例として狭帯域電話(0〜4000Hz)の場合について説明しているが、雑音抑圧装置の雑音抑圧対象は狭帯域電話音声に限定されるものではなく、例えば0〜8000Hz等の広帯域電話音声又は音響信号でもよい。
また、上記実施の形態1〜4において、雑音抑圧された入力信号y^(t)は、デジタルデータ形式で音声符号化装置、音声認識装置、音声蓄積装置、ハンズフリー通話装置等の各種音声音響処理装置へ送出されるが、実施の形態1〜4の雑音抑圧装置は、単独又は上述の他の装置と共にDSP(デジタル信号処理プロセッサ)によって実現したり、ソフトウエアプログラムとして実行したりすることでも実現可能である。プログラムはソフトウエアプログラムを実行するコンピュータの記憶装置に記憶していても良いし、CD−ROM等の記憶媒体にて配布される形式でも良い。また、ネットワークを通じてプログラムを提供することも可能である。また、雑音抑圧された入力信号y^(t)を出力端子11の後段でD/A(デジタル・アナログ)変換し、増幅装置にて増幅し、スピーカ等から直接音声信号として出力することも可能である。
以上のように、この発明に係る雑音抑圧装置は、少ない処理量で高品質な雑音抑圧を行うようにしたので、音声通信・音声蓄積・音声認識システムが導入された、カーナビゲーション・携帯電話・インターフォン等の音声通信システム・ハンズフリー通話システム・TV会議システム・監視システム等の音質改善、及び、音声認識システムの認識率の向上のために供するのに適している。

Claims (7)

  1. 時間領域の入力信号を周波数領域の信号であるパワースペクトルと位相スペクトルに変換する時間・周波数変換部と、
    前記入力信号に重畳した雑音スペクトルを推定する雑音スペクトル推定部と、
    前記パワースペクトルと前記雑音スペクトルとを用いて、雑音抑圧量を算出する雑音抑圧量生成部と、
    前記雑音抑圧量に応じて前記パワースペクトルの振幅を抑圧する雑音抑圧部と、
    前記位相スペクトルと前記雑音抑圧部で振幅抑圧された前記パワースペクトルとを時間領域の信号に変換する周波数・時間変換部とを備える雑音抑圧装置において、
    前記時間・周波数変換部が変換した複数のパワースペクトルを1グループにまとめ、当該グループ内の前記複数のパワースペクトルのうち、値が大きいものを優先して選択して代表パワースペクトルにする代表成分生成部を備え、
    前記雑音抑圧量生成部は、前記代表パワースペクトルを用いて雑音抑圧量を算出することを特徴とする雑音抑圧装置。
  2. 入力信号が音声らしいかどうかの度合いを示す音声らしさ評価値を算出する音声らしさ推定部を備え、
    代表成分生成部は、前記音声らしさ評価値に基づいた代表パワースペクトルを生成することを特徴とする請求項1記載の雑音抑圧装置。
  3. 代表成分生成部は、音声らしさ評価値に基づいて、入力信号の音声らしさの度合いが高い場合にはグループ内の値の大きいパワースペクトルを優先して選択して代表パワースペクトルを生成し、当該入力信号の音声らしさの度合いが低い場合には当該グループ内の複数のパワースペクトルの平均値を求めて代表パワースペクトルを生成することを特徴とする請求項2記載の雑音抑圧装置。
  4. 代表パワースペクトルは、グループ内の複数のパワースペクトルのうち、最大値をもつものであることを特徴とする請求項1記載の雑音抑圧装置。
  5. 代表パワースペクトルは、グループ内の複数のパワースペクトルのうち、値の大きいパワースペクトルから順に大きい重みを付けて求めた重み付け平均であることを特徴とする請求項1記載の雑音抑圧装置。
  6. 代表パワースペクトルは、音声らしさ評価値を重み付け係数に用いた、グループ内の複数のパワースペクトルの最大値と平均値の重み付き和であることを特徴とする請求項2記載の雑音抑圧装置。
  7. 代表成分生成部は、グループ毎に、代表パワースペクトルの生成方法を切り替えることを特徴とする請求項1記載の雑音抑圧装置。
JP2012504136A 2010-03-09 2010-03-09 雑音抑圧装置 Active JP5528538B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/001649 WO2011111091A1 (ja) 2010-03-09 2010-03-09 雑音抑圧装置

Publications (2)

Publication Number Publication Date
JPWO2011111091A1 true JPWO2011111091A1 (ja) 2013-06-27
JP5528538B2 JP5528538B2 (ja) 2014-06-25

Family

ID=44562942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012504136A Active JP5528538B2 (ja) 2010-03-09 2010-03-09 雑音抑圧装置

Country Status (5)

Country Link
US (1) US8989403B2 (ja)
EP (1) EP2546831B1 (ja)
JP (1) JP5528538B2 (ja)
CN (1) CN102792373B (ja)
WO (1) WO2011111091A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8762139B2 (en) 2010-09-21 2014-06-24 Mitsubishi Electric Corporation Noise suppression device
CN103718241B (zh) * 2011-11-02 2016-05-04 三菱电机株式会社 噪音抑制装置
JP2013137361A (ja) * 2011-12-28 2013-07-11 Pioneer Electronic Corp ノイズレベル推定装置、ノイズ低減装置及びノイズレベル推定方法
JP2013148724A (ja) * 2012-01-19 2013-08-01 Sony Corp 雑音抑圧装置、雑音抑圧方法およびプログラム
JP6361156B2 (ja) * 2014-02-10 2018-07-25 沖電気工業株式会社 雑音推定装置、方法及びプログラム
WO2015130283A1 (en) * 2014-02-27 2015-09-03 Nuance Communications, Inc. Methods and apparatus for adaptive gain control in a communication system
US10149047B2 (en) * 2014-06-18 2018-12-04 Cirrus Logic Inc. Multi-aural MMSE analysis techniques for clarifying audio signals
JP6180680B2 (ja) * 2015-03-24 2017-08-16 三菱電機株式会社 能動振動騒音制御装置
JP6501259B2 (ja) * 2015-08-04 2019-04-17 本田技研工業株式会社 音声処理装置及び音声処理方法
CN106571146B (zh) * 2015-10-13 2019-10-15 阿里巴巴集团控股有限公司 噪音信号确定方法、语音去噪方法及装置
KR20170051856A (ko) * 2015-11-02 2017-05-12 주식회사 아이티매직 사운드 신호에서 진단 신호를 추출하는 방법 및 진단 장치
CN106899869A (zh) * 2015-12-25 2017-06-27 小米科技有限责任公司 调整电子设备音量的方法、装置及系统
CN105812995B (zh) * 2016-03-09 2018-11-09 西安航空学院 一种噪音滤除方法和装置
JP6186040B2 (ja) * 2016-04-28 2017-08-23 パイオニア株式会社 ノイズレベル推定装置、ノイズ低減装置及びノイズレベル推定方法
CN106332266B (zh) * 2016-08-23 2019-11-19 哈尔滨海能达科技有限公司 一种数据处理的方法及相关设备
CN106356072A (zh) * 2016-09-26 2017-01-25 郑州云海信息技术有限公司 一种电子降噪方法及其系统
EP3324406A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
EP3324407A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic
JP6892598B2 (ja) * 2017-06-16 2021-06-23 アイコム株式会社 ノイズ抑圧回路、ノイズ抑圧方法、および、プログラム
CN107393533B (zh) * 2017-07-28 2019-12-10 侨伟运动器材(南京)有限公司 一种通过语音控制跑步机的装置
GB2580057A (en) * 2018-12-20 2020-07-15 Nokia Technologies Oy Apparatus, methods and computer programs for controlling noise reduction
JP7398895B2 (ja) * 2019-07-31 2023-12-15 株式会社デンソーテン ノイズ低減装置
CN114746939A (zh) * 2019-12-13 2022-07-12 三菱电机株式会社 信息处理装置、检测方法和检测程序
CN112309418B (zh) * 2020-10-30 2023-06-27 出门问问(苏州)信息科技有限公司 一种抑制风噪声的方法及装置
CN115881146A (zh) * 2021-08-05 2023-03-31 哈曼国际工业有限公司 用于动态语音增强的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140100A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 騒音抑圧装置
JP2006178333A (ja) * 2004-12-24 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
JP2007183306A (ja) * 2005-12-29 2007-07-19 Fujitsu Ltd 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
WO2009038136A1 (ja) * 2007-09-19 2009-03-26 Nec Corporation 雑音抑圧装置、その方法及びプログラム
JP2010055024A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 信号補正装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04172530A (ja) 1990-11-06 1992-06-19 Kobe Nippon Denki Software Kk 画面データ入力方式
US5479560A (en) * 1992-10-30 1995-12-26 Technology Research Association Of Medical And Welfare Apparatus Formant detecting device and speech processing apparatus
US6618701B2 (en) * 1999-04-19 2003-09-09 Motorola, Inc. Method and system for noise suppression using external voice activity detection
US6766292B1 (en) * 2000-03-28 2004-07-20 Tellabs Operations, Inc. Relative noise ratio weighting techniques for adaptive noise cancellation
EP1376539B8 (en) 2001-03-28 2010-12-15 Mitsubishi Denki Kabushiki Kaisha Noise suppressor
EP1253581B1 (en) * 2001-04-27 2004-06-30 CSEM Centre Suisse d'Electronique et de Microtechnique S.A. - Recherche et Développement Method and system for speech enhancement in a noisy environment
JP4127511B2 (ja) * 2003-03-12 2008-07-30 クラリオン株式会社 音源選択方法及び音源選択装置
WO2006123721A1 (ja) * 2005-05-17 2006-11-23 Yamaha Corporation 雑音抑圧方法およびその装置
EP2555190B1 (en) 2005-09-02 2014-07-02 NEC Corporation Method, apparatus and computer program for suppressing noise
CN100543842C (zh) * 2006-05-23 2009-09-23 中兴通讯股份有限公司 基于多统计模型和最小均方误差实现背景噪声抑制的方法
JP5018193B2 (ja) * 2007-04-06 2012-09-05 ヤマハ株式会社 雑音抑圧装置およびプログラム
US8737641B2 (en) * 2008-11-04 2014-05-27 Mitsubishi Electric Corporation Noise suppressor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140100A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 騒音抑圧装置
JP2006178333A (ja) * 2004-12-24 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
JP2007183306A (ja) * 2005-12-29 2007-07-19 Fujitsu Ltd 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
WO2009038136A1 (ja) * 2007-09-19 2009-03-26 Nec Corporation 雑音抑圧装置、その方法及びプログラム
JP2010055024A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 信号補正装置

Also Published As

Publication number Publication date
EP2546831A4 (en) 2014-04-30
EP2546831A1 (en) 2013-01-16
CN102792373A (zh) 2012-11-21
EP2546831B1 (en) 2020-01-15
CN102792373B (zh) 2014-05-07
US8989403B2 (en) 2015-03-24
JP5528538B2 (ja) 2014-06-25
US20130003987A1 (en) 2013-01-03
WO2011111091A1 (ja) 2011-09-15

Similar Documents

Publication Publication Date Title
JP5528538B2 (ja) 雑音抑圧装置
JP5127754B2 (ja) 信号処理装置
JP4520732B2 (ja) 雑音低減装置、および低減方法
CA2732723C (en) Apparatus and method for processing an audio signal for speech enhancement using a feature extraction
JP5646077B2 (ja) 雑音抑圧装置
JP5183828B2 (ja) 雑音抑圧装置
JP2004502977A (ja) サブバンド指数平滑雑音消去システム
JP5649488B2 (ja) 音声判別装置、音声判別方法および音声判別プログラム
JP2017506767A (ja) 話者辞書に基づく発話モデル化のためのシステムおよび方法
JPWO2010113220A1 (ja) 雑音抑圧装置
JPWO2018163328A1 (ja) 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置
JP2018017865A (ja) 雑音抑圧装置、雑音抑圧方法及び雑音抑圧用コンピュータプログラム
JP4448464B2 (ja) 雑音低減方法、装置、プログラム及び記録媒体
JP2018506078A (ja) 発話の復元のためのシステムおよび方法
JP5443547B2 (ja) 信号処理装置
JP5840087B2 (ja) 音声信号復元装置および音声信号復元方法
JP2005284163A (ja) 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置
JP5466581B2 (ja) 反響消去方法、反響消去装置及び反響消去プログラム
JP4533126B2 (ja) 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
JP7144078B2 (ja) 信号処理装置、音声通話端末、信号処理方法および信号処理プログラム
JP5316127B2 (ja) 音処理装置およびプログラム
JP2017009657A (ja) 音声強調装置、および音声強調方法
JP2013250380A (ja) 音響処理装置
JP2019078844A (ja) 音声処理用コンピュータプログラム、音声処理装置及び音声処理方法
Yang et al. Environment-Aware Reconfigurable Noise Suppression

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140415

R150 Certificate of patent or registration of utility model

Ref document number: 5528538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250