JP5609157B2 - 係数設定装置および雑音抑圧装置 - Google Patents

係数設定装置および雑音抑圧装置 Download PDF

Info

Publication number
JP5609157B2
JP5609157B2 JP2010041950A JP2010041950A JP5609157B2 JP 5609157 B2 JP5609157 B2 JP 5609157B2 JP 2010041950 A JP2010041950 A JP 2010041950A JP 2010041950 A JP2010041950 A JP 2010041950A JP 5609157 B2 JP5609157 B2 JP 5609157B2
Authority
JP
Japan
Prior art keywords
suppression
power
coefficient
noise
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010041950A
Other languages
English (en)
Other versions
JP2011180219A (ja
Inventor
井上 貴之
貴之 井上
祐 高橋
祐 高橋
洋 猿渡
洋 猿渡
近藤 多伸
多伸 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2010041950A priority Critical patent/JP5609157B2/ja
Priority to US12/932,473 priority patent/US20110211711A1/en
Publication of JP2011180219A publication Critical patent/JP2011180219A/ja
Application granted granted Critical
Publication of JP5609157B2 publication Critical patent/JP5609157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001Adaptation of signal processing in PA systems in dependence of presence of noise

Description

本発明は、音響信号から雑音成分を抑圧する技術に関する。
目的音成分と雑音成分との混合音を収音した音響信号から雑音成分を抑圧する技術が従来から提案されている。例えば非特許文献1や非特許文献2には、以下の数式(A)で表現されるように、音響信号の周波数毎の振幅|X(f)|のK乗から減算係数aに応じた度合で雑音成分の周波数毎の振幅|N(f)|のK乗を減算することで、雑音成分の抑圧後の音響信号の振幅|Y(f)|のK乗を算定する技術が開示されている。
|Y(f)|K=|X(f)|K−a|N(f)|K ……(A)
JAE S. LIM and ALAN V. OPPENHEIM, "Enhancement and Bandwidth Compression of Noisy Speech", Proceedings of the IEEE, Vol. 67, No. 12, 1979 Junfeng Li, et. al., "Psychoacoustically-motivated Adaptive β-order Generalized Spectral Subtraction Based on Data-driven Optimization", ISCA, Interspeech 2008, p.171-174, 2008
しかし、非特許文献1や非特許文献2の技術では、冪指数Kとは無関係に減算係数aが設定されるから、冪指数Kの設定値によっては雑音成分の抑圧の不足や過多が発生する可能性がある。以上の事情を考慮して、本発明は、雑音成分の抑圧の度合を示す係数を適切に設定することを目的とする。
以上の課題を解決するために、本発明の第1態様に係る係数設定装置は、雑音成分の各周波数の振幅のK乗(冪指数Kは正数)を音響信号の各周波数の振幅のK乗から抑圧する度合を示す抑圧係数を設定する係数設定装置であって、冪指数Kを設定する指数設定手段と、指数設定手段が設定した冪指数Kに応じて抑圧係数を可変に設定する係数設定手段とを具備する。以上の構成においては、指数設定手段が設定した冪指数Kに応じて抑圧係数が可変に設定されるから、抑圧係数が冪指数に依存しない構成(例えば抑圧係数を所定値に固定した構成や冪指数Kとは無関係に抑圧係数を変化させる構成)と比較して、雑音成分の適切な抑圧が可能な抑圧係数を設定できるという利点がある。
なお、雑音抑圧の冪指数Kが小さいほど、所定の雑音抑圧率を達成するための抑圧係数は小さい数値になるという傾向がある。以上の傾向を考慮すると、係数設定部が設定した冪指数Kが小さいほど係数設定部が抑圧係数を小さい数値(雑音成分の抑圧の度合を減少させる数値)に設定する構成が好適である。
また、所定の雑音抑圧率を達成するための抑圧係数は、音響信号の強度分布や雑音抑圧率の目標値にも依存する。したがって、抑圧係数を更に適切に設定するという観点からは、雑音抑圧率の目標値を設定する抑圧率設定手段を追加し、指数設定手段が設定した冪指数Kと抑圧率設定手段が設定した雑音抑圧率の目標値とに応じて係数設定手段が抑圧係数を可変に設定する構成や、音響信号の強度分布を近似する確率分布の形状母数を音響信号から算定する母数設定手段を追加し、指数設定手段が設定した冪指数Kと母数設定手段が算定した形状母数とに応じて係数設定手段が抑圧係数を可変に設定する構成が格別に好適である。
本発明は、以上の各形態に係る係数設定装置を利用した雑音抑圧装置としても実現される。すなわち、本発明の雑音抑圧装置は、冪指数K(正数)を設定する指数設定手段と、冪指数Kに応じて抑圧係数を可変に設定する係数設定手段と、係数設定手段が設定した抑圧係数に応じた度合で雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で雑音成分の抑圧後の音響信号を生成する雑音抑圧手段とを具備する。以上の構成においては、冪指数Kに応じて抑圧係数が可変に設定されるから、抑圧係数が冪指数Kに依存しない構成と比較して、雑音成分を適切に抑圧できる(抑圧の不足や過多を抑制できる)という利点がある。
ところで、従来から提案されている通常の雑音抑圧技術では、雑音抑圧に適用される冪指数Kを1(振幅ドメイン)または2(パワードメイン)に設定する場合が殆どである。しかし、雑音抑圧の冪指数Kを変化させながら、所定の雑音抑圧率を達成できるように抑圧係数を設定して雑音抑圧を実行すると、冪指数Kが小さいほど、雑音抑圧に起因したミュージカルノイズやケプストラム歪が低減されるという知見が得られる。以上の知見を考慮すると、雑音抑圧装置の演算性能等の制約の範囲内(例えば所定の浮動小数点数のもとで有意な結果が得られる限度内)で冪指数Kを小さい正数(ゼロを上回る数値)に設定した構成が好適である。例えば冪指数Kを0.5未満に設定した構成(0<K<0.5)が採用され、更に好適には冪指数Kが0.1未満に設定される(0<K<0.1)。雑音抑圧装置の演算性能等の制約の範囲内であれば、例えば冪指数Kを0.01以下に設定した構成も好適である。
なお、雑音抑圧の不足や過多を防止し得る抑圧係数を設定するという課題を解決する観点からは、抑圧係数を冪指数Kに連動させるという第1態様が好適であるが、雑音抑圧に起因した音質の低下(ミュージカルノイズやケプストラム歪)を低減するという課題の解決に着目すると、冪指数Kを小さい数値に設定するという構成が重要であり、抑圧係数を冪指数Kに連動させる第1態様の構成は省略され得る。すなわち、雑音抑圧に起因した音質の低下を低減するという課題の解決を目的とする第2態様の雑音抑圧装置は、雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で雑音成分の抑圧後の音響信号を生成する雑音抑圧手段を具備し、冪指数Kは0.1未満の正数に設定される。なお、冪指数Kを小さい数値(例えば0.1未満の正数)に設定するという要件を第1態様の係数設定装置や雑音抑圧装置に追加することも可能である。
以上の各態様に係る雑音抑圧装置は、音響信号の処理に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明の第1態様の雑音抑圧装置に対応するプログラムは、冪指数K(正数)を設定する指数設定処理と、冪指数Kに応じて抑圧係数を可変に設定する係数設定処理と、係数設定処理で設定した抑圧係数に応じた度合で雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で雑音成分の抑圧後の音響信号を生成する雑音抑圧処理とをコンピュータに実行させる。また、第2態様の雑音抑圧装置に対応するプログラムは、雑音成分の各周波数の振幅のK乗(冪指数Kは0.1未満の正数)を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で雑音成分の抑圧後の音響信号を生成する雑音抑圧処理をコンピュータに実行させる。以上のプログラムによれば、本発明の各態様に係る雑音抑圧装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
第1実施形態に係る雑音抑圧装置のブロック図である。 雑音抑圧の内容を示す模式図である。 係数設定部のブロック図である。 雑音抑圧の冪指数Kと抑圧係数との関係を示すグラフである。 雑音抑圧の冪指数Kと尖度比との関係を示すグラフである。 雑音抑圧の冪指数Kとケプストラム歪との関係を示すグラフである。 第2実施形態における雑音抑圧部のブロック図である。
<A:第1実施形態>
図1は、本発明の第1実施形態に係る雑音抑圧装置100のブロック図である。雑音抑圧装置100には信号供給装置12と放音装置14と入力装置16とが接続される。信号供給装置12は、音響信号x(t)を雑音抑圧装置100に供給する。音響信号x(t)は、以下の数式(1)で示すように、目的音成分(例えば音声や楽音等の音響)s(t)と雑音成分n(t)との混合音の波形を示す時間領域の信号である。
Figure 0005609157

周囲の音響を収音して音響信号x(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号x(t)を取得して雑音抑圧装置100に出力する再生装置や、通信網から音響信号x(t)を受信して雑音抑圧装置100に出力する通信装置が信号供給装置12として採用され得る。
雑音抑圧装置100は、信号供給装置12が供給する音響信号x(t)から音響信号y(t)を生成する信号処理装置である。音響信号y(t)は、音響信号x(t)から雑音成分n(t)を抑圧した音響(目的音成分s(t)を強調した音響)の波形を表す時間領域の信号である。放音装置14(例えばスピーカやヘッドホン)は、雑音抑圧装置100が生成した音響信号y(t)に応じた音波を再生する。なお、音響信号y(t)をデジタルからアナログに変換するD/A変換器の図示は便宜的に省略されている。入力装置16は、利用者が指示の入力に使用する機器(例えばマウスやキーボード)であり、例えば利用者が操作する複数の操作子を含んで構成される。
図1に示すように、雑音抑圧装置100は、演算処理装置22と記憶装置24とを具備するコンピュータシステムで実現される。記憶装置24は、演算処理装置22が実行するプログラムPGや演算処理装置22が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置24として任意に採用され得る。音響信号x(t)を記憶装置24に記憶した構成(したがって信号供給装置12は省略される)も好適である。
演算処理装置22は、記憶装置24に格納されたプログラムPGを実行することで、音響信号x(t)から音響信号y(t)を生成するための複数の機能(周波数分析部32,雑音推定部34,雑音抑圧部42,変数制御部44,波形合成部46)を実現する。なお、演算処理装置22の各機能を複数の集積回路に分散した構成や、専用の電子回路(DSP)が各機能を実現する構成も採用され得る。
図1の周波数分析部32は、音響信号x(t)のスペクトル(複素スペクトル)X(f,τ)を時間軸上のフレーム毎に順次に生成する。スペクトルX(f,τ)の生成には、短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。記号τはフレームを指定する変数であり、記号fは周波数を指定する変数である。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクも周波数分析部32として採用され得る。
雑音推定部34は、音響信号x(t)に含まれる雑音成分n(t)のスペクトル(複素スペクトル)N(f,τ)を時間軸上のフレーム毎に順次に生成する。雑音成分のスペクトルN(f,τ)の推定には公知の技術が任意に採用され得る。例えば、雑音推定部34は、目的音成分s(t)が存在する目的音区間と目的音成分s(t)が存在しない雑音区間とに音響信号x(t)を区分し、雑音区間内の各フレームのスペクトルX(f,τ)を雑音成分n(t)のスペクトルN(f,τ)として特定する。目的音区間と雑音区間との区分には公知の音声検出技術が任意に採用される。
雑音抑圧部42は、周波数領域にて音響信号x(t)から雑音成分n(t)を抑圧(スペクトル減算)することで音響信号y(t)のスペクトル(複素スペクトル)Y(f,τ)を生成する。スペクトルY(f,τ)は、以下の数式(2)で定義される。
Figure 0005609157

数式(2)の記号jは虚数単位を意味し、記号θx(f,τ)は音響信号x(t)の位相角(位相スペクトル)を意味する。音響信号y(t)の振幅(振幅スペクトル)|Y(f,τ)|は、以下の数式(3A)および数式(3B)で定義されるように、音響信号x(t)(振幅|X(f,τ)|)から雑音成分n(t)(振幅|N(f,τ)|)を抑圧することで算定される。
Figure 0005609157
数式(3A)の記号Eτ[ ]は、複数のフレームにわたる時間平均(期待値)を意味する。数式(3A)の記号βは、雑音成分n(t)の抑圧の度合を決定する変数(以下「抑圧係数」という)である。数式(3A)に示すように、雑音抑圧後の音響信号y(t)の振幅|Y(f,τ)|は、雑音成分n(t)の振幅|N(f,τ)|のK乗の時間平均と抑圧係数βとの乗算値を音響信号x(t)の振幅値|X(f,τ)|のK乗から減算した数値のK乗根として定義される。ただし、減算後の数値が負数となる場合には、数式(3B)に示すように音響信号y(t)の振幅|Y(f,τ)|はゼロに設定される(フロアリング処理)。雑音抑圧部42が以上の演算を実行することで、音響信号y(t)のスペクトルY(f,τ)が音響信号x(t)のフレーム毎に順次に生成される。
図1の変数制御部44は、雑音抑圧部42による数式(3A)の演算に適用される抑圧係数βと冪指数(指数)Kとを可変に設定する。冪指数Kは正数の範囲内で設定され、抑圧係数βは冪指数Kに応じて可変に設定される。抑圧係数βや冪指数Kの設定については後述する。
波形合成部46は、雑音抑圧部42がフレーム毎に生成するスペクトルY(f,τ)から時間領域の音響信号y(t)を生成する。具体的には、波形合成部46は、各フレームのスペクトルY(f,τ)を逆フーリエ変換で時間領域の信号に変換するとともに前後のフレームを相互に連結することで音響信号y(t)を生成する。波形合成部46が生成した音響信号y(t)が放音装置14に供給されて音波として再生される。
次に、数式(3A)および数式(3B)で定義される雑音抑圧の作用を解析する。雑音抑圧前の音響信号x(t)の各周波数fのパワーxi(xi=|X(f,τ)|2,i=1,2,……)に着目する。なお、雑音区間内での雑音抑圧の作用を検討するため、音響信号x(t)のうち雑音区間内の複数のフレームにわたる音響信号x(t)のパワーxiを考慮する。
複数のパワーxiの度数分布は、図2の部分(A)に示すように、音響信号x(t)の各周波数fのパワーxを確率変数とする確率分布D1で近似される。本実施形態の確率分布D1は、以下の数式(4)の確率密度関数(分布関数)P(x)で定義されるガンマ分布である。
Figure 0005609157
数式(4)の記号αは、以下の数式(5A)および数式(5B)で表現される形状母数を意味し、数式(4)の記号θは、以下の数式(6)で表現される尺度母数を意味する。形状母数αは、雑音成分n(t)の特性(種類)に応じて変化する。例えば、雑音成分n(t)のガウス性が高いほど(例えば白色雑音)、形状母数αは大きい数値となる。数式(5B)や数式(6)の記号λは、パワーxiの総数である。また、数式(4)の記号Γ(α)は、以下の数式(7)で定義されるガンマ関数を意味する。
Figure 0005609157

Figure 0005609157

Figure 0005609157
以上に説明した確率密度関数P(x)を利用して数式(3A)の作用を検討する。数式(3A)は、音響信号x(t)の振幅|X(f,τ)|の累乗処理(K乗)と、雑音成分n(t)の振幅|N(f,τ)|のK乗の減算処理と、減算後の累乗根処理(K乗根)とを含んで構成される。確率密度関数P(x)が各処理で変化する様子に以下では着目する。
(A)累乗処理
抑圧処理前の確率密度関数P(x)の確率分布D1は、数式(3A)の累乗処理(K乗)で図2の部分(B)の確率分布D2に変化する。確率変数xに対する写像gを想定すると、変化後の確率分布D2を表す確率密度関数P(y)(y=g(x))は、以下の数式(8)で表現される。
Figure 0005609157

数式(8)の記号|J|は、以下の数式(9)で定義されるヤコビアンを意味する。
Figure 0005609157
以上の演算を音響信号x(t)の確率密度関数P(x)に適用する。いま、数式(3A)の冪指数Kを変数2nに置換し(K=2n)、確率変数xがパワー(|X(f,τ)|2)を表すことを考慮すると、前述の写像gによる変換後の確率変数yは、変換前の確率変数xのn乗に相当する(y=xn)。したがって、ヤコビアン|J|は、以下の数式(10)で表現される。
Figure 0005609157
したがって、数式(3A)の累乗処理(K乗)後の確率密度関数P(y)(図2の部分(B)の確率分布D2)は以下の数式(11)で表現される。
Figure 0005609157
次に、数式(3A)における雑音成分n(t)の振幅|N(f,τ)|の累乗処理(K乗)後の期待値E[y](Eτ[|N(f,τ)|K])を検討する。期待値E[y]は、前述の数式(11)を適用した以下の数式(12)で表現される。
Figure 0005609157
数式(12)の変数y1/n/θを変数uとして置換積分を実行すると(dy=nθ(θu)n-1du)、以下の数式(13)が導出される。そして、数式(13)に数式(7)を適用すると、数式(14)が導出される。
Figure 0005609157

Figure 0005609157
(B)減算処理
累乗処理後の確率密度関数P(y)の確率分布D2は、数式(3A)および数式(3B)の減算処理で図2の部分(C)の確率分布D3に変化する。確率分布D3は、図2の部分(C)に矢印で示すように、雑音成分n(t)の期待値E[y]と抑圧係数βとの乗算値に応じた度合で確率分布D2を確率変数yの負側に平行移動し(数式(3A))、移動後に負数となる確率変数yの確率(度数)の総和を確率変数yのゼロの確率に累算した(数式(3B))形状となる。したがって、確率分布D3の確率密度関数Pss(y)は、以下の数式(15A)および数式(15B)で表現される。
Figure 0005609157
数式(15A)および数式(15B)の記号cは、数式(14)の期待値E[y]を意味する(c=E[y]=θnΓ(α+n)/Γ(α))。数式(15A)は、数式(11)の確率変数yを変数(y+βc)に置換した数式(すなわち、数式(11)の確率分布D2を確率変数yの負側に移動量βcだけ平行移動した確率分布D2'の確率密度関数)に相当する。他方、数式(15B)は、数式(3A)の減算処理で負数となった確率変数yの確率(すなわち、図2の部分(C)における斜線部分の確率の合計)を、平行移動後の確率分布D2'において確率変数yがゼロとなる確率に累算する処理(数式(3B)のフロアリング処理)に相当する。
(C)累乗根処理
数式(15A)および数式(15B)の確率密度関数Pss(y)は、数式(3A)の累乗根処理で、パワーに相当する確率変数で定義される確率密度関数Pss(x)に変換される。累乗根処理後の確率密度関数Pss(x)は、数式(15)および数式(15B)の変数yを累乗処理と同様の方法で変数x(x=|y(f,τ)|2)に置換した以下の数式(16A)および数式(16B)で表現される。
Figure 0005609157
数式(16A)の確率密度関数Pss(x)の原点回りのm次モーメントμmは、数式(16A)の変数(x+βc)1/n/θを変数vとして置換積分した以下の数式(17)で表現される。
Figure 0005609157
数式(17)の変数(vn−B)m/nを多項式展開するために変数m/nが自然数であるという条件を設定し、数式(17)を展開すると、m次モーメントを表現する以下の数式(18)が解析的に導出される。
Figure 0005609157

数式(18)の記号Γ(α,w)は、以下の数式(19)で定義される第2種不完全ガンマ関数を意味する。
Figure 0005609157
ところで、雑音抑圧部42が数式(3A)の雑音抑圧(スペクトル減算)で生成するスペクトルY(f,τ)には、高強度の成分(孤立点)が時間軸上および周波数軸上に点在し、人工的で耳障りなミュージカルノイズの原因となり得る。非ガウス性を増加させる雑音抑圧の性質に着目し、信号強度の度数分布(確率密度関数)の尖度(Kurtosis)を、雑音抑圧に起因したミュージカルノイズの発生量の定量的な指標として利用する。すなわち、雑音抑圧の前後にわたる尖度の変化が大きいほどミュージカルノイズが顕在化すると評価できる。以下の説明では、雑音抑圧前の尖度kAと雑音抑圧後の尖度kBとの相対比(以下「尖度比」という)κをミュージカルノイズの発生量の指標として利用する(κ=kB/kA)。なお、尖度とミュージカルノイズとの相関については、上村益永ほか4名/「スペクトル減算法におけるミュージカルノイズ発生量と対数カートシス比の関連」/電子情報通信学会技術研究報告 応用音響/社団法人電子情報通信学会/108(143) p.43−48/2008年7月11日に詳述されている。
数式(18)のm次モーメントを利用すると、雑音抑圧後の尖度kBを定義する以下の数式(20)が導出される。
Figure 0005609157

数式(20)の関数M(α,β,m/n)は以下の数式(21)で定義される。
Figure 0005609157
数式(20)において抑圧係数βをゼロに設定したときの尖度kBが雑音抑圧前の尖度kAとして特定される。そして、尖度kAに対する尖度kBの相対比が尖度比κ(κ=kB/kA)として定式化される。なお、抑圧係数βがゼロである場合の変数Bはゼロとなるが、変数M(α,β,m/n)を定義する数式(21)の総和の範囲(0〜m/n)にゼロ((−B)0)が含まれるから、ゼロのゼロ乗((−B)0=00)を1と定義すれば、抑圧係数βをゼロに設定することで算定される尖度kAは有意な数値(ゼロ以外の数値)となる。
次に、雑音抑圧部42による雑音抑圧の性能の指標となる雑音抑圧率NRR(noise reduction rate)を検討する。雑音抑圧率NRRは、雑音抑圧後のSN(signal-to noise)比と雑音抑圧前のSN比との差分として以下の数式(22)で定義される。
Figure 0005609157

数式(22)の記号sは信号成分(強調の目的となる音声成分)を意味し、記号nは雑音成分を意味する。また、添字inは雑音抑圧前を意味し、添字outは雑音抑圧後を意味する。すなわち、数式(22)の分母が雑音抑圧前のSN比に相当し、数式(22)の分子が雑音抑圧後のSN比に相当する。
いま、雑音抑圧による雑音成分の減算量が音声成分の減算量と比較して充分に大きいと仮定すると、雑音抑圧の前後の信号成分は相等しい(Σsout 2≒Σsin 2)と見做せるから、数式(22)は以下の数式(23)に近似される。
Figure 0005609157
数式(23)の変数Σnin 2/Σnout 2は、雑音抑圧の前後にわたる雑音成分の期待値の相対比として表現される。数式(18)の変数mを1とした1次モーメントμ1の定義式において、変数βをゼロに設定することで雑音抑圧前の雑音成分の期待値が導出され、変数βをゼロ以外の任意の数値と仮定することで雑音抑圧後の雑音成分の期待値が導出される。そして、各期待値の相対比を整理すると、形状母数αと抑圧係数βと冪指数n(n=K/2)とに応じて雑音抑圧率NRRを定義する以下の数式(24)が導出される。なお、数式(24)の導出には、抑圧変数βをゼロに設定したときに数式(18)の第2種不完全ガンマ関数Γ(α,w)がガンマ関数に一致するという関係や、形状母数αを1としたガンマ関数Γ(1)が1であるという関係を利用した。
Figure 0005609157
図1の変数制御部44は、数式(24)の関係を利用して抑圧係数βを可変に設定する。図3は、変数制御部44のブロック図である。図3に示すように、変数制御部44は、抑圧率設定部52と指数設定部54と母数設定部56と係数設定部58とを含んで構成される。抑圧率設定部52は、雑音抑圧率NRRの目標値N0を設定する。例えば、抑圧率設定部52は、入力装置16に対する利用者からの指示に応じて目標値N0を可変に設定する。利用者は、例えば雑音抑圧装置100に想定される用途のもとで必要となる雑音抑圧の性能に応じて目標値N0を指示する。
図3の指数設定部54は、雑音抑圧に適用される冪指数K(K=2n)を可変に設定する。例えば、指数設定部54は、入力装置16に対する利用者からの指示に応じて冪指数Kを可変に設定する。利用者は、任意の正数を冪指数Kとして指示することが可能である。なお、冪指数Kの具体的な数値については後述する。
母数設定部56は、雑音抑圧前の音響信号x(t)のパワーxiの度数分布を近似する確率分布D1(確率密度関数P(x))の形状母数αを設定する。具体的には、母数設定部56は、雑音区間内の複数のフレームの各々について周波数f毎に音響信号x(t)(スペクトルX(f,τ))から特定される複数のパワーxiを数式(5A)および数式(5B)に適用することで形状母数αを算定する。
図3の係数設定部58は、抑圧率設定部52が設定した雑音抑圧率NRR(目標値N0)と指数設定部54が設定した冪指数Kと母数設定部56が算定した形状母数αとに応じて抑圧係数βを可変に設定する。抑圧係数βの算定には、数式(24)を利用した繰返し法が好適に採用される。すなわち、係数設定部58は、指数設定部54が設定した冪指数Kと母数設定部56が算定した形状母数αとを適用した数式(24)の演算を、抑圧係数βの数値(候補値)を所定の範囲内で逐次的に変化させながら順次に実行することで、相異なる抑圧係数βに対応する複数の雑音抑圧率NRRを算定し、抑圧率設定部52が設定した目標値N0に充分に近い雑音抑圧率NRRが算定された時点の抑圧係数βを確定値(実際に雑音抑圧に適用される数値)として選択する。係数設定部58が設定した抑圧係数βと指数設定部54が設定した冪指数Kとが雑音抑圧部42での雑音抑圧(数式(3A))に適用される。
図4は、雑音抑圧率NRRと冪指数K(K=2n)と形状母数αと抑圧係数βとの関係を示すグラフである。冪指数K(K=0.002,0.01,0.5,1,2)および形状母数αの各数値を変化させた各場合について、雑音抑圧率NRRが目標値(NRR=4,8,12[dB])となるように数式(24)の演算で算定した抑圧係数βが図4の縦軸に図示されている。図4の横軸は冪指数K(K=0.002,0.01,0.5,1,2)である。雑音成分n(t)の形状母数αが大きい場合(ガウス性が高い白色雑音である場合)の冪指数Kと抑圧係数βとの関係が実線で図示され、雑音成分n(t)の形状母数αが小さい場合(ガウス性が低い発話音である場合)の冪指数Kと抑圧係数βとの関係が破線で図示されている。
図4から理解されるように、係数設定部58は、第1に、抑圧率設定部52が設定する雑音抑圧率NRRの目標値N0が大きい(必要な雑音抑圧の性能が高い)ほど抑圧係数βを大きい数値に設定する。第2に、係数設定部58は、指数設定部54が設定する冪指数Kが小さいほど抑圧係数βを小さい数値に設定する。第3に、母数設定部56が算定する形状母数αが大きい(雑音成分n(t)のガウス性が高い)ほど抑圧係数βを小さい数値に設定する。
以上の形態では、雑音抑圧の冪指数Kに応じて抑圧係数βが可変に設定されるから、抑圧係数βが冪指数Kに依存しない構成(例えば抑圧係数βが所定値に固定された構成や冪指数Kとは無関係に抑圧係数βが変化する構成)と比較して、雑音成分n(t)を適切に抑圧できる(抑圧の不足や過多が抑制される)という利点がある。
次に、冪指数Kの好適な数値について検討する。図5は、冪指数Kと尖度比κとの関係を示すグラフである。前述の数式(20)から算定される尖度比κ(κ=kB/kA)の対数値(logκ)が図5の縦軸に図示されている。尖度比κが小さい(図5の下方)ほど、雑音抑圧に起因したミュージカルノイズが小さいことを意味する。また、図6は、冪指数Kとケプストラム歪との関係を示すグラフである。ケプストラム歪は、雑音抑圧の前後にわたるケプストラムの変化(目的音成分s(t)と音響信号y(t)との差異)の指標である。ケプストラム歪が小さい(図6の下方)ほど、雑音抑圧に起因したスペクトル包絡の変化が小さい(目的音成分s(t)のスペクトル包絡が忠実に強調される)ことを意味する。図4と同様に、雑音抑圧率NRR(目標値N0)および形状母数αの各数値を変化させた複数の場合の各々の特性が図5および図6では併記されている。
図5から理解されるように、形状母数α(雑音成分n(t)の種類)や雑音抑圧率NRRに関わらず、冪指数Kが小さいほど尖度比κは小さい数値となる。すなわち、冪指数Kが小さいほど雑音抑圧後のミュージカルノイズは低減される。また、雑音抑圧率NRRが高いほど、冪指数Kに対する尖度比κの変化は顕著となる。他方、図6から理解されるように、形状母数αや雑音抑圧率NRRに関わらず、冪指数Kが小さいほどケプストラム歪は小さい数値となる。すなわち、冪指数Kが小さいほど目的音成分s(t)のスペクトル包絡が音響信号y(t)でも正確に維持される。
以上のように、ミュージカルノイズの発生量および目的音成分s(t)の再現性(信号が維持される度合)の何れの観点からも、冪指数Kを小さい数値に設定したほうが音響信号y(t)を適切に生成できることが図5および図6から確認される。したがって、理想的には、演算処理装置22の演算性能の範囲内(例えば、演算処理装置22が演算可能な浮動小数点数のもとでアンダーフローを回避して有意な数値が得られる限度内)で最小の数値に冪指数Kは設定される。すなわち、利用者は、例えば演算処理装置22の演算性能から特定される最小の冪指数Kを入力装置16から指数設定部54に指示する。
具体的には、冪指数Kを0.5以下の数値に設定することで、冪指数Kが2(パワードメイン)や1(振幅ドメイン)に設定された通常の雑音抑圧技術と比較して高音質な音響信号y(t)が生成され、更に冪指数Kを減少させることで音響信号y(t)の音質を改善できる(ミュージカルノイズやケプストラム歪を低減できる)ことが図5や図6から把握できる。例えば、演算処理装置22の演算性能による制約が発生しない範囲内では、冪指数Kは0.1を下回る正数に設定されることが望ましく、更に好適には0.01以下の正数(例えば0.002)に設定される。
<B:第2実施形態>
次に、本発明の第2実施形態について説明する。第1実施形態では、音響信号x(t)(振幅|X(f,τ)|)から雑音成分n(t)(振幅|N(f,τ)|)を減算することで音響信号y(t)の振幅|Y(f,τ)|を算定したが、音響信号y(t)を生成するための演算は減算(スペクトル減算)に限定されない。第2実施形態では、音響信号x(t)の振幅|X(f,τ)|に対する所定の係数(ゲイン)の乗算で音響信号y(t)の振幅|Y(f,τ)|を算定する。なお、以下の各例示において作用や機能が第1実施形態と同等である要素については、以上と同じ参照符号を流用して各々の詳細な説明を適宜に省略する。
第2実施形態では、第1実施形態の雑音抑圧部42が図7の雑音抑圧部42Aに置換される。第2実施形態の雑音抑圧部42Aは、図7に示すように、係数列生成部62と抑圧処理部64とを含んで構成される。係数列生成部62は、雑音抑圧に利用される係数列Gを生成する。係数列Gは、相異なる周波数fに対応する複数の係数値γ(f)の系列(スペクトルゲイン)である。係数値γ(f)は、音響信号x(t)の周波数fの成分に対するゲインを意味し、例えば以下の数式(25)の演算で周波数f毎に算定される。
Figure 0005609157
数式(25)の記号max(a,b)は、数値aおよび数値bのうちの大きい方の数値を意味する。すなわち、数式(25)の分子は数式(3A)および数式(3B)と同様の内容である。数式(25)における振幅|X(f,τ)|での除算は、係数値γ(f)を1以下の数値(0≦γ(f)≦1)に正規化するための演算である。数式(25)の抑圧係数βおよび冪指数Kは、第1実施形態と同様に変数制御部44が可変に設定する。
図7の抑圧処理部64は、以下の数式(26)のように、係数列生成部62が生成した係数列Gの各係数値γ(f)を音響信号x(t)の振幅|X(f,τ)|に乗算することで音響信号y(t)の振幅|Y(f,τ)|を算定する
Figure 0005609157

数式(25)から理解されるように、音響信号x(t)における雑音成分n(t)の振幅|N(f,τ)|が大きい周波数fほど係数値γ(f)は小さい数値に設定される。したがって、音響信号x(t)のうち雑音成分n(t)の振幅|N(f,τ)|が大きい周波数fほど振幅|X(f,τ)|を抑制した音響信号y(t)(第1実施形態と同様に雑音成分n(t)を抑圧した音響信号)が生成される。
以上の形態においても第1実施形態と同様の効果が実現される。第1実施形態や第2実施形態の例示から理解されるように、変数制御部44が設定する抑圧係数βや冪指数Kは、雑音抑圧(第1実施形態の数式(3A))に直接的に適用される係数には限定されず、雑音抑圧に利用される数値(第2実施形態の係数列G)の算定にも適用され得る。
<C:変形例>
以上の各形態多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)変形例1
各変数の設定の方法は適宜に変更される。例えば、以上の各形態では冪指数Kを利用者が指示する構成を例示したが、指数設定部54が自動的に(すなわち利用者からの指示を必要とせずに)冪指数Kを設定する構成も採用され得る。例えば、指数設定部54は、演算処理装置22の演算性能に応じて冪指数K(例えば浮動小数点数等の演算性能の制約の範囲内で最小の冪指数K)を設定する。冪指数Kの設定の方法に関わらず、第1実施形態と同様に、指数設定部54が冪指数Kを0.1未満(更に好適には0.01未満)の正数に設定する構成が好適である。また、以上の各形態では、形状母数αと雑音抑圧率NRRの目標値N0とを可変に設定したが、形状母数αおよび目標値N0の少なくとも一方を所定値に固定した構成も採用され得る。したがって、母数設定部56や抑圧率設定部52は省略され得る。
(2)変形例2
以上の各形態では、係数設定部58が数式(24)の演算を実行することで抑圧係数βを算定したが、冪指数K(さらには形状母数αや雑音抑圧率NRR)に応じた抑圧係数βを特定する方法は適宜に変更される。例えば、冪指数Kと形状母数αと雑音抑圧率NRRの目標値N0との各数値の組合せに対して抑圧係数βを対応させたデータテーブルを記憶装置24に格納し、各変数の指示値(K,α,N0)に対応する抑圧係数βを、記憶装置24のデータテーブルから係数設定部58が検索して雑音抑圧部42に指示する構成も採用され得る。
(3)変形例3
第1実施形態の雑音抑圧(数式(3A))や第2実施形態の係数列Gの算定(数式(25))では、雑音成分n(t)の振幅|N(f,τ)|をK乗してから時間平均したが(Eτ[|N(f,τ)|K])、雑音成分n(t)の振幅|N(f,τ)|を時間平均してからK乗する構成({Eτ[|N(f,τ)|]}K)も採用され得る。すなわち、冪指数Kで累乗される雑音成分n(t)の振幅は、時間平均前の振幅|N(f,τ)|および時間平均後の振幅Eτ[|N(f,τ)|]の何れでもよい。なお、雑音成分n(t)の時間平均を省略した構成(例えば1個のフレームの振幅|N(f,τ)|のK乗を抑圧係数βに応じて振幅|X(f,τ)|から減算する構成)も採用され得る。
(4)変形例4
以上の各形態では、音響信号x(t)から雑音成分n(t)を減算した数値(|X(f,τ)|K−βEτ[|M(f,τ)|K])が負数となる場合に音響信号y(t)の振幅|Y(f,τ)|をゼロに設定(フロアリング処理)したが、フロアリング処理に適用される数値はゼロに限定されない。例えば、音響信号x(t)から雑音成分n(t)を減算した数値が負数となる周波数fの振幅|Y(f,τ)|を、振幅|X(f,τ)|や振幅|N(f,τ)|に応じた数値(例えば数値a1|X(f,τ)|や数値a2|N(f,τ)|(係数a1や係数a2は所定値に設定される))に設定する構成も採用され得る。
(5)変形例5
以上の各形態では、変数制御部44と雑音抑圧部42とを含む雑音抑圧装置100を例示したが、雑音抑圧に適用される抑圧係数βを設定する係数設定装置としても本発明は特定され得る。係数設定装置は、以上の各形態における変数制御部44を含んで構成される。係数設定装置が雑音抑圧部42と一体に構成される(すなわち以上の各形態の雑音抑圧装置100を構成する)か、係数設定装置と雑音抑圧部42(雑音抑圧装置)とが別体に構成されるかは本発明において不問である。
100……雑音抑圧装置、12……信号供給装置、14……放音装置、16……入力装置、22……演算処理装置、24……記憶装置、32……周波数分析部、34……雑音推定部、42……雑音抑圧部、44……変数制御部、46……波形合成部、52……抑圧率設定部、54……指数設定部、56……母数設定部、58……係数設定部、62……係数列生成部、64……抑圧処理部。

Claims (10)

  1. 雑音成分の各周波数の振幅のK乗(冪指数Kは正数)を音響信号の各周波数の振幅のK乗から抑圧する度合を示す抑圧係数を設定する係数設定装置であって、
    冪指数Kを設定する指数設定手段と、
    前記指数設定手段が設定した冪指数Kが小さいほど前記雑音成分の抑圧の度合が減少するように前記冪指数Kに応じて前記抑圧係数を可変に設定する係数設定手段と
    を具備する係数設定装置。
  2. 雑音抑圧率の目標値を設定する抑圧率設定手段と、
    音響信号の強度分布を近似する確率分布の形状母数を前記音響信号から算定する母数設定手段とを具備し、
    前記係数設定手段は、前記指数設定手段が設定した冪指数Kと前記抑圧率設定手段が設定した雑音抑圧率の目標値と前記母数設定手段が算定した形状母数とに応じて前記抑圧係数を設定する
    請求項1の係数設定装置。
  3. 前記係数設定手段は、前記母数設定手段が算定する形状母数が大きいほど前記雑音成分の抑圧の度合が減少するように前記形状母数に応じて前記抑圧係数を可変に設定する
    請求項2の係数設定装置。
  4. 前記指数設定手段は、前記冪指数Kを0.1未満の数値に設定する
    請求項1から請求項3の何れかの係数設定装置。
  5. 冪指数K(正数)を設定する指数設定手段と、
    前記指数設定手段が設定した冪指数Kが小さいほど雑音成分の抑圧の度合が減少するように前記冪指数Kに応じて抑圧係数を可変に設定する係数設定手段と、
    前記係数設定手段が設定した抑圧係数に応じた度合で雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で前記雑音成分の抑圧後の音響信号を生成する雑音抑圧手段と
    を具備する雑音抑圧装置。
  6. 雑音抑圧率の目標値を設定する抑圧率設定手段と、
    音響信号の強度分布を近似する確率分布の形状母数を前記音響信号から算定する母数設定手段とを具備し、
    前記係数設定手段は、前記指数設定手段が設定した冪指数Kと前記抑圧率設定手段が設定した雑音抑圧率の目標値と前記母数設定手段が算定した形状母数とに応じて前記抑圧係数を設定する
    請求項5の雑音抑圧装置。
  7. 雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で前記雑音成分の抑圧後の音響信号を生成する雑音抑圧手段を具備し、
    前記冪指数Kは0.1未満の正数に設定される
    雑音抑圧装置。
  8. 雑音成分の各周波数の振幅のK乗(冪指数Kは正数)を音響信号の各周波数の振幅のK乗から抑圧する度合を示す抑圧係数を設定するためのプログラムであって、
    冪指数Kを設定する指数設定処理と、
    前記指数設定処理で設定した冪指数Kが小さいほど前記雑音成分の抑圧の度合が減少するように前記冪指数Kに応じて前記抑圧係数を可変に設定する係数設定処理と
    をコンピュータに実行させるプログラム。
  9. 冪指数K(正数)を設定する指数設定処理と、
    前記指数設定処理で設定した冪指数Kが小さいほど雑音成分の抑圧の度合が減少するように前記冪指数Kに応じて抑圧係数を可変に設定する係数設定処理と、
    前記係数設定処理で設定した抑圧係数に応じた度合で雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で前記雑音成分の抑圧後の音響信号を生成する雑音抑圧処理と
    をコンピュータに実行させるプログラム。
  10. 雑音成分の各周波数の振幅のK乗を音響信号の各周波数の振幅のK乗から抑圧する処理を含む雑音抑圧で前記雑音成分の抑圧後の音響信号を生成する雑音抑圧処理をコンピュータに実行させるプログラムであって、
    前記冪指数Kは0.1未満の正数に設定される
    プログラム。
JP2010041950A 2010-02-26 2010-02-26 係数設定装置および雑音抑圧装置 Expired - Fee Related JP5609157B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010041950A JP5609157B2 (ja) 2010-02-26 2010-02-26 係数設定装置および雑音抑圧装置
US12/932,473 US20110211711A1 (en) 2010-02-26 2011-02-25 Factor setting device and noise suppression apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010041950A JP5609157B2 (ja) 2010-02-26 2010-02-26 係数設定装置および雑音抑圧装置

Publications (2)

Publication Number Publication Date
JP2011180219A JP2011180219A (ja) 2011-09-15
JP5609157B2 true JP5609157B2 (ja) 2014-10-22

Family

ID=44505267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010041950A Expired - Fee Related JP5609157B2 (ja) 2010-02-26 2010-02-26 係数設定装置および雑音抑圧装置

Country Status (2)

Country Link
US (1) US20110211711A1 (ja)
JP (1) JP5609157B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5633673B2 (ja) * 2010-05-31 2014-12-03 ヤマハ株式会社 雑音抑圧装置およびプログラム
US9318125B2 (en) * 2013-01-15 2016-04-19 Intel Deutschland Gmbh Noise reduction devices and noise reduction methods
JP6169849B2 (ja) * 2013-01-15 2017-07-26 本田技研工業株式会社 音響処理装置
JP6559576B2 (ja) * 2016-01-05 2019-08-14 株式会社東芝 雑音抑圧装置、雑音抑圧方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628529A (en) * 1985-07-01 1986-12-09 Motorola, Inc. Noise suppression system
US4811404A (en) * 1987-10-01 1989-03-07 Motorola, Inc. Noise suppression system
IL84948A0 (en) * 1987-12-25 1988-06-30 D S P Group Israel Ltd Noise reduction system
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法
US5544250A (en) * 1994-07-18 1996-08-06 Motorola Noise suppression system and method therefor
US6122384A (en) * 1997-09-02 2000-09-19 Qualcomm Inc. Noise suppression system and method
US7392181B2 (en) * 2004-03-05 2008-06-24 Siemens Corporate Research, Inc. System and method for nonlinear signal enhancement that bypasses a noisy phase of a signal
WO2007089189A1 (en) * 2006-01-31 2007-08-09 Telefonaktiebolaget Lm Ericsson (Publ). Non-intrusive signal quality assessment
JP5152800B2 (ja) * 2008-07-09 2013-02-27 国立大学法人 奈良先端科学技術大学院大学 雑音抑圧評価装置およびプログラム
JP5152799B2 (ja) * 2008-07-09 2013-02-27 国立大学法人 奈良先端科学技術大学院大学 雑音抑圧装置およびプログラム
JP2010220087A (ja) * 2009-03-18 2010-09-30 Yamaha Corp 音響処理装置およびプログラム

Also Published As

Publication number Publication date
US20110211711A1 (en) 2011-09-01
JP2011180219A (ja) 2011-09-15

Similar Documents

Publication Publication Date Title
JP5641186B2 (ja) 雑音抑圧装置およびプログラム
CA2732723C (en) Apparatus and method for processing an audio signal for speech enhancement using a feature extraction
JP6169849B2 (ja) 音響処理装置
JP2012155339A (ja) 音声状態モデルを使用したマルチセンサ音声高品質化
JP6339896B2 (ja) 雑音抑圧装置および雑音抑圧方法
JP3960834B2 (ja) 音声強調装置及び音声強調方法
US9418677B2 (en) Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program
JP5609157B2 (ja) 係数設定装置および雑音抑圧装置
CN112712816A (zh) 语音处理模型的训练方法和装置以及语音处理方法和装置
JP5152799B2 (ja) 雑音抑圧装置およびプログラム
JP5454330B2 (ja) 音響処理装置
JP5633673B2 (ja) 雑音抑圧装置およびプログラム
JP5942388B2 (ja) 雑音抑圧用係数設定装置、雑音抑圧装置および雑音抑圧用係数設定方法
JP5152800B2 (ja) 雑音抑圧評価装置およびプログラム
US20170323656A1 (en) Signal processor
JP5728903B2 (ja) 音響処理装置およびプログラム
JP4533126B2 (ja) 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
JP5772723B2 (ja) 音響処理装置および分離マスク生成装置
JP2015169901A (ja) 音響処理装置
JP2013250356A (ja) 係数設定装置および雑音抑圧装置
JP2013182161A (ja) 音響処理装置およびプログラム
Fallis et al. Efficiency of Spectral Subtraction Algorithms for an Urban Audio Acquisition System Using IoT Devices
JP2015169900A (ja) 雑音抑圧装置
JP2015004959A (ja) 音響処理装置
JP2014077916A (ja) 音響処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140818

R150 Certificate of patent or registration of utility model

Ref document number: 5609157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees