JPWO2009110574A1 - 信号強調装置、その方法、プログラム及び記録媒体 - Google Patents

信号強調装置、その方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JPWO2009110574A1
JPWO2009110574A1 JP2010501966A JP2010501966A JPWO2009110574A1 JP WO2009110574 A1 JPWO2009110574 A1 JP WO2009110574A1 JP 2010501966 A JP2010501966 A JP 2010501966A JP 2010501966 A JP2010501966 A JP 2010501966A JP WO2009110574 A1 JPWO2009110574 A1 JP WO2009110574A1
Authority
JP
Japan
Prior art keywords
signal
value
parameter
estimated value
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010501966A
Other languages
English (en)
Other versions
JP5124014B2 (ja
Inventor
拓也 吉岡
拓也 吉岡
中谷 智広
智広 中谷
三好 正人
正人 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010501966A priority Critical patent/JP5124014B2/ja
Publication of JPWO2009110574A1 publication Critical patent/JPWO2009110574A1/ja
Application granted granted Critical
Publication of JP5124014B2 publication Critical patent/JP5124014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

観測信号に含まれる残響の推定値を算出する線形畳み込み演算の回帰係数を含む残響パラメータ推定値と、信号源のパワースペクトルを特定する線形予測係数と予測残差パワーとの推定値を含む信号源パラメータの推定値と、雑音のパワースペクトルの推定値を含む雑音パラメータ推定値とを含むパラメータ推定値の初期値を設定する。その後、最尤推定によって、残響パラメータ推定値及び雑音パラメータ推定値の少なくとも一部を更新する処理と、信号源パラメータ推定値を更新する処理とを、所定の終了条件を満たすまで交互に繰り返す。

Description

本発明は、観測信号中の加法性歪みと乗法性歪みとを抑圧して源信号を強調する技術に関する。
源信号に加法性歪みや乗法性歪みが重畳された観測信号に対し、加法性歪み又は乗法性歪みを抑圧する処理を行い、源信号を強調する信号強調技術がある。まず、信号が音声信号である場合での一般的な音声信号強調技術を説明する。この場合、加法性歪みは室内に存在する雑音に、乗法性歪みは残響に対応する。
図1は、信号強調装置の一般的な構成を示すブロック図である。
まず、マイクロホン等のセンサや音声ファイル等から取得され、標本化・量子化された時間領域の観測音声の波形信号が帯域分割部に入力される。これらの時間領域の観測信号は、帯域分割部において、周波数帯域ごとの狭帯域信号に分割される。すなわち、時間領域の観測信号が時間周波数領域の観測信号に変換される。以下では、周波数帯域ごとに分割された観測信号の集合を観測信号の複素スペクトログラムと呼ぶ。なお、帯域分割部は、短時間フーリエ変換やポリフェーズフィルタバンク等の従来技術によってこの処理を実行する。ただし、この帯域分割を実施せずに、時間領域の観測信号を直接用いて源信号の強調処理を行う方法もある。また、明細書では、信号を表現する領域を明記していない場合、時間周波数領域であると解釈する。
次に、パラメータ推定部において、観測信号の複素スペクトログラムから、観測信号を特徴づける何らかのパラメータが推定される。パラメータの例は、源信号あるいは雑音のパワースペクトルを記述する全極モデルのパラメータや、室内伝達系を記述する自己回帰モデルの回帰係数などである。
そして、源信号推定部において、観測信号の複素スペクトログラムと上記パラメータの推定値とを用い、源信号の複素スペクトログラムの推定値が計算される。最後に、帯域合成部において、源信号の複素スペクトログラムの推定値から時間領域の源信号の推定値が合成される。なお、帯域合成部の処理は帯域分割部の処理に対応する。すなわち、帯域分割部が短時間フーリエ変換を実行するのであれば帯域合成部はオーバーラップ加算合成を行い、帯域分割部がポリフェーズフィルタバンク分析を実行するのであれば帯域合成部はポリフェーズフィルタバンク合成を行う。帯域分割部が省略された場合には、帯域合成部も省略される。
従来の音声信号強調技術は、源信号以外に雑音のみが存在する環境を対象とするものと(例えば、非特許文献1参照)、源信号以外に残響のみが存在する環境を対象とするものに大別される(例えば、非特許文献2参照)。前者は、源信号以外に雑音を含む観測信号から雑音を抑圧する。後者は、源信号以外に残響を含む観測信号から残響を抑圧する。以下に非特許文献1,2でそれぞれ提案されている音声信号強調技術について説明する。なお、以下の説明において、テキスト中で使用する記号「^」「」等は、文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。
<非特許文献1の雑音抑圧技術>
非特許文献1には、源信号に雑音が加算された観測信号から雑音を抑圧する雑音抑圧技術が提案されている。以下に非特許文献1に開示された各処理部の処理を説明する。
非特許文献1の帯域分割部は、観測された観測信号を短時間フーリエ変換によって周波数帯域ごとの狭帯域信号に分割する。また、非特許文献1のパラメータ推定部は、観測信号、すなわち源信号に雑音が重畳された信号を特徴づけるパラメータとして、源信号の全極モデルの信号源パラメータsΘ及び雑音モデルの雑音パラメータdΘを推定する。
非特許文献1の例では、まず、源信号が存在しない時間区間の観測信号を用い、雑音パラメータの真値dΘが計算される(ステップS101)。次に、信号源パラメータ推定値の初期値sΘ^(0)が設定される(ステップS102)。また、繰り返し回数を示すインデックスiが0に設定される(ステップS103)。
その後、信号源パラメータの推定値sΘ^(i)と雑音パラメータの真値dΘとを用い、信号源パラメータの推定値sΘ^(i)と雑音パラメータの真値dΘの組合せと観測信号の複素スペクトログラムYが与えられた場合における源信号の複素スペクトログラムSの条件付事後分布p(S|Y,sΘ^(i),dΘ)を算出する(ステップS104)。次に、条件付事後分布p(S|Y,sΘ^(i),dΘ)を用い、信号源パラメータの推定値sΘ^(i)sΘ^(i+1)に更新する(ステップS105)。そして、終了条件を満たすまで(ステップS106)、iを1ずつ増加させながら(ステップS107)、ステップS104とS105との処理を繰り返し、所定の終了条件が満たされた時点における信号源パラメータの推定値sΘ〜(i+1)を信号源パラメータの最終推定値sΘ^として出力する(ステップS108)。
その後、源信号推定部が、パラメータ推定部で計算されたパラメータdΘsΘ^を用い、Wienerフィルタを用いて、源信号の複素スペクトログラムの推定値を求め、帯域合成部が、オーバーラップ加算合成によって、当該複素スペクトログラムの推定値を時間領域の源信号の推定値に変換する。
<非特許文献2の残響抑圧技術>
非特許文献2には、源信号に残響が重畳された観測信号から残響を抑圧する残響抑圧技術が提案されている。以下に非特許文献2に開示された各処理部の処理を説明する。
非特許文献2の残響抑圧技術では、帯域分割処理は実施されない。したがって、非特許文献2のパラメータ推定部及び源信号推定部は、時間領域の観測信号を直接処理する。このパラメータ推定部は、観測信号、すなわち源信号に残響が重畳された信号を特徴づけるパラメータとして、信号源パラメータsΘ及び残響パラメータgΘを推定する。なお、非特許文献2の残響パラメータは、源信号に残響のみが重畳された時間領域の観測信号に適用され、観測信号に重畳された残響を算出する線形フィルタの回帰係数である。
非特許文献2の例では、まず、残響パラメータの推定値の初期値gΘ^(0)を設定する(ステップS111)。また、繰り返し回数を示すインデックスiを0に設定する(ステップS112)。
その後、残響パラメータの推定値gΘ^(i)を用い、信号源パラメータの推定値をsΘ^(i+1)に更新する(ステップS113)。次に、更新された信号源パラメータの推定値sΘ^(i+1)を用い、残響パラメータの推定値をgΘ^(i+1) に更新する(ステップS114)。そして、所定の終了条件を満たすまで(ステップS115)、iを1ずつ増加させながら(ステップS116)、ステップS113とS114との処理を繰り返し、所定の終了条件が満たされた時点における信号源パラメータの推定値sΘ〜(i+1)を信号源パラメータの最終的な推定値sΘ^とし、最終的な残響パラメータ推定値gΘ^(i+1)を最終的な推定値gΘ^として出力する(ステップS117)。
その後、源信号推定部が、パラメータ推定部で計算された残響パラメータの最終的な推定値gΘ^を用いて生成した線形フィルタを観測信号に畳み込み、源信号成分を強調した音声信号を算出して出力する。その後、源信号推定部が、パラメータ推定部で計算された残響パラメータの最終的な推定値gΘ^を用いて生成した線形フィルタを観測信号に畳み込むことで観測信号に含まれる残響を推定し、それを観測信号から減算することで、残響が抑圧された信号を算出して出力する。
Lim, J. S. and Oppenheim, A. V. , "All-pole modeling of degraded speech," IEEE Trans. Acoust. Speech, Signal Process., Vol. 26, No. 3, pp.197-210 (1978). Yoshioka, T., Hikichi, T. and Miyoshi, M., "Dereverberation by Using Time-Variant Nature of Speech Production System, EURASIP J. Advances in Signal Process., Vol. 2007, (2007), Article ID 65698, 15 pages, doi:10.1155/2007/65698.
しかし、雑音と残響がともに存在する環境を対象とした信号強調技術はこれまで存在しなかった。
雑音と残響がともに存在する環境においてM(M≧1)個のセンサ1000−1〜Mで観測された観測信号は、図2に示す系によって生成されたものであるといえる。すなわち、まず、話者などの信号源1010から発せられた、雑音や残響を含まない信号(「源信号」と呼ぶ)に対し、残響重畳系(室内伝達系)によって各室内インパルス応答が畳み込まれることで残響が付加される。さらに、残響が付加された信号(「残響重畳信号」と呼ぶ)に対し、雑音重畳系によって雑音が加算される。これにより、雑音と残響を含む信号(「雑音残響重畳信号」と呼ぶ)が生成され、各センサで観測される。
前述の通り、従来の残響抑圧技術は、残響重畳信号が与えられたときに残響パラメータと信号源パラメータを推定した後、推定された残響パラメータに基づいて源信号を回復する。ゆえに図2の系において残響抑圧処理を行うためには、雑音抑圧処理によって雑音残響重畳信号から予め雑音を抑圧して残響重畳信号を求めておかなければならない。一方図2の系において雑音残響重畳信号から効果的に雑音を抑圧するためには、残響重畳信号の特性が既知であることが望ましい。ところが残響重畳信号の特性は、源信号の特性(すなわち、源信号の信号源パラメータ)と室内伝達系(すなわち、残響パラメータ)によって規定されるから、これは残響抑圧処理によって求められるものである。したがって、図2の系において源信号を効果的に強調するためには、雑音抑圧処理と残響抑圧処理を協調して動作させる必要がある。
また、従来の雑音抑圧技術は、源信号に雑音のみ加算された観測信号から雑音を抑圧するものである。そのため、従来の雑音抑圧技術を、雑音と残響を含む雑音残響重畳信号から雑音を抑圧するという上記の雑音抑圧処理にそのまま適用しても、精度よい雑音抑圧は期待できない。また、雑音抑圧処理と残響抑圧処理を単純に結合させるのではなく協調的に動作させることが必要であると述べたが、これをいかにして行うかは自明でない。
このような問題は、音声信号を対象にする場合だけではなく、その他の音響信号、超音波信号その他の信号を対象とする場合にも共通するものである。すなわち、信号源から発せられた加法性歪みや乗法性歪みを含まない信号に、線形畳み込み系によって乗法性歪みが付加され、それによって生成された信号に対し、さらに加法性歪みが加算されて生成された信号から、加法性歪みや乗法性歪みを抑圧し、元の信号を強調する場合一般に共通する問題である。本明細書では、音声信号を対象にする場合との関係を明確にするため、信号源から発せられた加法性歪みや乗法性歪みを含まない信号を「源信号」、源信号に乗法性歪みが付加されて生成された信号を「残響重畳信号」、残響重畳信号に加法性歪みが付加されて生成された信号を「雑音残響重畳信号」、乗法性歪みを付加する線形畳み込み系を「室内伝達系」、加法性歪みを「雑音」、乗法性歪みを「残響」と呼ぶことにする。
本発明のパラメータ推定部では、まず、観測された時間領域信号から変換された時間周波数領域の観測信号を記録部に格納し、初期化部において、観測信号に含まれる残響の推定値を算出する線形畳み込み演算の回帰係数を含む残響パラメータ推定値と、源信号のパワースペクトルを特定する線形予測係数と予測残差パワーの推定値を含む信号源パラメータ推定値と、雑音のパワースペクトルの推定値を含む雑音パラメータ推定値と、を含むパラメータ推定値の初期値を設定する。
次に、観測信号とパラメータ推定値とを第1更新部に入力し、当該第1更新部において、残響パラメータ推定値および雑音パラメータ推定値の少なくとも一部の更新処理、あるいは信号源パラメータ推定値の更新処理、のいずれか一方を行う。更新処理は、パラメータ推定値に関する対数尤度関数の値が増加するように実行される。
また、第1更新部で得られたパラメータ推定値の更新値の少なくとも一部を第2更新部に入力し、第2更新部において、残響パラメータ推定値および雑音パラメータ推定値の少なくとも一部の更新処理、あるいは信号源パラメータ推定値の更新処理のうち、第1更新部で実行されなかったものを実行する。更新処理は、パラメータ推定値の更新値に関する対数尤度関数の値が増加するように実行される。
そして、終了条件判定部において、終了条件が満たされるか否かを判定し、終了条件が満たされない場合、第1更新部と第2更新部の処理が再び実行される。
以上のように、本発明のパラメータ推定部では、第1更新部におけるパラメータの推定値の更新処理と、第2更新部におけるパラメータの推定値の更新処理を、互いに依存させながら繰り返して実行する。これににより、雑音と残響がともに存在する環境における観測信号から、雑音と残響を精度よく抑圧し、源信号を強調することができる。
図1は、音声信号強調装置の一般的な構成を示すブロック図である 図2は、源信号に雑音や残響が付加される系を説明するための図である。 図3は、第1実施形態の信号強調装置の構成を示すブロック図である。 図4は、源信号推定部の詳細構成を示すブロック図である。 図5は、第1実施形態の信号強調方法を説明するためのフローチャートである。 図6は、第2実施形態の信号強調装置の構成を示すブロック図である。 図7は、源信号推定部の詳細構成を示すブロック図である。 図8は、第1実施形態の信号強調方法を説明するためのフローチャートである。 図9は、第3実施形態の信号強調装置の機能構成例を示すブロック図である。 図10は、第3実施形態の処理を説明するためのフローチャートである 図11は、第4実施形態のパラメータ推定部の機能構成例を示すブロック図である。 図12は、第4実施形態のパラメータ推定処理を説明するためのフローチャートである。
以下、図面を参照して本発明の実施の形態を説明する。
まず、本実施形態のパラメータ推定部について述べる。本実施形態のパラメータは、残響パラメータと、信号源パラメータと、雑音パラメータとを含む。残響パラメータは、少なくとも、室内伝達系を多チャンネル自己回帰系としてモデル化したときの回帰行列を含む。なお、この回帰行列からなる多入力多出力インパルス応答を残響重畳信号に畳み込むと、残響重畳信号に含まれる残響が算出される。信号源パラメータは、少なくとも、源信号の短時間パワースペクトル密度を特徴づける線形予測係数と予測残差パワーとを含む。雑音パラメータは、少なくとも、雑音の短時間パワークロススペクトル行列を含む。本実施形態のパラメータ推定部は、残響パラメータと信号源パラメータと雑音パラメータを、ECMアルゴリズム等のEMアルゴリズムの変種を用いて、最尤推定する。
具体的には、本実施形態のパラメータ推定部は、例えば、以下のように表現される。本実施形態のパラメータは、2つの群に分類される。第1パラメータ群は、少なくとも、残響パラメータを含む。第2パラメータ群は、少なくとも、信号源パラメータを含む。雑音パラメータは、第1パラメータ群、第2パラメータ群のいずれに含まれてもよいが、本実施形態では第1パラメータ群に含まれることとする。
まず、観測信号を記憶部に格納する。
初期化部は、第1パラメータ群のパラメータの推定値と、第2パラメータ群のパラメータの推定値とを初期化する。
次に、観測信号と、第1パラメータ群のパラメータの推定値と、第2パラメータ群のパラメータの推定値とが、第1更新部に入力される。第1更新部は、第1パラメータ群と第2パラメータ群のいずれか一方のパラメータ群のパラメータの推定値を固定し、残る一方のパラメータ群のパラメータのうち、少なくとも一部のパラメータの推定値を更新する。第1更新部は、パラメータの推定値に関する対数尤度関数の値が大きくなるように、パラメータの推定値を更新する。
次に、観測信号と、第1パラメータ群のパラメータの推定値と、第2パラメータ群のパラメータの推定値のうちの少なくとも一部が第2更新部に入力される。第2更新部は、第1更新部で更新されたパラメータ群のパラメータの推定値を固定し、第1更新部で固定されたパラメータ群のパラメータのうち、少なくとも一部のパラメータの推定値を更新する。第2更新部は、パラメータの推定値に関する対数尤度関数の値が大きくなるように、パラメータの推定値を更新する。
終了判定条件部は、所定の終了条件が満たされているか否かを判定する。終了条件が満たされていない場合、第1更新部の処理に戻る。終了条件が満たされている場合、その時点のおけるパラメータの推定値を出力する。
〔第1実施形態〕
<本実施形態のパラメータ推定処理の概要>
まず、本実施形態のパラメータ推定処理の概要を説明する。
[観測信号記憶処理]
まず、観測信号記憶処理によって、観測信号が記憶部に格納される。
[初期化処理]
次に、初期化処理によって、第1パラメータ群のパラメータの推定値と、第2パラメータ群のパラメータの推定値とが初期化される。
[第1更新処理]
本実施形態の第1更新処理では、第1パラメータ群、すなわち残響パラメータの推定値が固定された状態で、第2パラメータ群、すなわち信号源パラメータの推定値が更新される。本実施形態の第1更新処理は、具体的には、雑音抑圧処理と、信号源パラメータの更新処理とを含む。
《雑音抑圧処理》
雑音抑圧処理では、観測信号とパラメータの推定値を用いて、残響重畳信号の条件付事後分布p(残響重畳信号|観測信号,パラメータの推定値)を特徴づける複素正規分布の平均と共分散行列が算出される。
この処理は、観測信号から雑音を含まない残響重畳信号の条件付事後分布を求めるという点において、観測信号に含まれる雑音を抑圧していると解釈できる。この雑音抑圧処理は、残響パラメータの推定値と信号源パラメータの推定値を用いて実行されることに注意されたい。このことは、残響の特性が考慮されながら雑音が抑圧されることを意味する。これによって、残響環境において、雑音抑圧を精度よく実施できる。
《信号源パラメータ推定値の更新処理》
信号源パラメータ推定値の更新処理では、残響パラメータの推定値と残響重畳信号の条件付事後分布の平均と共分散行列を用いて、信号源パラメータの推定値が更新される。信号源パラメータの推定値は、パラメータの推定値に関する補助関数の値が最大になるように、更新される。
補助関数は、観測信号と残響重畳信号を所与とした場合のパラメータの推定値に関する対数尤度関数を、残響重畳信号の条件付事後分布p(残響重畳信号|観測信号,パラメータ推定値)で重み付けした関数を、残響重畳信号について積分して得られる関数である。この重み付け積分により、雑音抑圧処理で算出される残響重畳信号の不確かさを考慮しながら、信号源パラメータの推定値を更新することが可能になっている。
[第2更新処理]
本実施形態の第2更新処理では、第2パラメータ群、すなわち信号源パラメータの推定値が固定された状態で、第1パラメータ群、すなわち残響パラメータの推定値が更新される。残響パラメータの推定値は、パラメータの推定値に関する補助関数の値が最大になるように、更新される。
[終了条件判定処理]
終了条件判定処理では、所定の終了条件が満たされているか否かが判定される。終了条件が満たされていない場合、第1更新処理に戻る。終了条件が満たされている場合、その時点におけるパラメータの推定値を出力する。
以上で述べた処理において、残響重畳信号の条件付事後分布の共分散行列は、雑音の分散に対して単調増加する。すなわち、雑音のレベルが大きいほど、残響重畳信号の条件付事後分布の共分散行列も大きくなる。このことは、本実施形態が、雑音抑圧処理で求められる残響重畳信号の不確かさを妥当な方法で評価していることを示している。
<本実施形態の原理>
次に、本実施形態の原理を説明する。
本実施形態は統計的推定の方法論に基づく。まず、信号源パラメータsΘ、残響パラメータgΘ、及び雑音パラメータdΘが規定される必要がある。また、すべてのパラメータの集合がΘ={sΘ, gΘ, dΘ}と表現される。次に、規定したパラメータΘが、観測信号である雑音残響重畳信号の集合Yに対応づけられなければならない。なお、雑音残響重畳信号の集合Yは、所定の観測区間に属する雑音残響重畳信号の集合である。後述するように、本実施形態の雑音残響重畳信号の集合Yは、雑音残響重畳信号の複素スペクトログラムである。
本実施形態では、パラメータΘが与えられた場合における雑音残響重畳信号の集合Yの確率密度関数p(Y|Θ)が定式化され、この対応づけが行われる。この定式化により、雑音残響重畳信号の集合Yは、未知のパラメータの真値Θ={sΘ, gΘ, dΘ}を前提とした確率密度関数p(Y|Θ)で表される確率分布をとる信号であると捉えることができる。
また、本実施形態では、観測信号である雑音残響重畳信号の集合Yからパラメータの真値Θが最尤推定される。すなわち、雑音残響重畳信号の集合Yが観測されたときの尤度関数p(Y|Θ)を最大化するパラメータの値Θ^={sΘ^, gΘ^, dΘ}が求められ、これがパラメータの真値Θの最終的な推定値とされる。なお、雑音パラメータdΘは、源信号が存在しない区間から独立に推定され、その推定値が雑音パラメータの真値dΘであると仮定される。したがって、最尤推定法によって推定される値は、信号源パラメータの真値sΘ、及び残響パラメータの真値gΘである。
ところが実際には、確率密度関数p(Y|Θ)を最大化するsΘgΘを同時に直接求めることはできない。そこで、本実施形態ではECM(Expectation-Conditional Maximization)アルゴリズムが適用される。すなわち、観測信号である雑音残響重畳信号の集合Yを用い、雑音残響重畳信号の集合Yとパラメータの推定値Θ^との組合せを前提条件とした残響重畳信号の集合Xの条件付事後分布p(X|Y,Θ^)の算出処理(E−step)と、信号源パラメータの推定値sΘ^の更新処理(CM−step1)と、残響パラメータの推定値gΘ^の更新処理(CM−step2)とが代わる代わる繰り返し実行されて各推定値が更新され、所定の終了条件を充足した時点での各推定値が真値の推定値(最終推定値)とされる。なお、残響重畳信号の集合Xは、所定の観測区間に属する残響重畳信号の集合である。後述するように、本実施形態の残響重畳信号の集合Xは、残響重畳信号の複素スペクトログラムである。
[観測信号(雑音残響重畳信号)の統計的モデル]
最初になすべきことは、パラメータΘが与えられた場合における雑音残響重畳信号の集合のYの確率密度関数p(Y|Θ)を定義することである。そのために、観測信号(雑音残響重畳信号)の集合Yの統計的モデルが仮定される。本実施形態では、以下に述べる源信号の全極モデル、室内伝達系の自己回帰モデル及び雑音のモデルが仮定される。
なお、以下では、すべての信号が周波数領域で定義される複素スペクトログラムに変換されているものとする。また、複素スペクトログラムのフレーム数をT(定数)とし、周波数帯域数をN(定数)とする。なお、各説明では短時間フーリエ変換を想定した用語を用いるが、信号の周波数領域への変換には、ポリフェーズフィルタバンク等、帯域幅が一定であるような任意の時間周波数解析方法を用いることができる。
《源信号のモデル》
まず、源信号の全極モデルについて述べる。t(0≦t≦T-1)番目のフレーム、w(0≦w≦N-1)番目の周波数帯域における源信号の離散フーリエ係数(複素数)をSt,wとおく。なお、t(0≦t≦T-1)は各フレームに対応するインデックスであり、w(0≦w≦N-1)は各周波数帯域に対応するインデックスである。
St,wは以下の条件を満たすと仮定される。
1.ω∈{‐π,π}を角周波数として、t番目のフレームにおける源信号のパワースペクトル密度sλt(ω)は、以下のようなP次(P≧1)の全極型スペクトル密度で表される。
Figure 2009110574
なお、{at,1,…,at,P}とsσt 2とは、それぞれ、源信号を線形予測分析した場合における線形予測係数と予測残差パワーである。また、zはz変換における複素変数であり、eはネイピア数である。また、jは虚数単位である。よって、信号源パラメータsΘは、sΘ={at,1 ,..., at,P, sσt 2}0≦t≦T-1と定義される。ただし、{mα}0≦α≦M-1は、m0, m1 ,..., mM-1のM個の要素からなる集合を表す。
2.St,wは、以下のように、平均0、分散sλt(2πw/N)の複素正規分布にしたがう。
Figure 2009110574
ただし、NC{x;μ,Σ}は、次式で定義される平均μ、共分散行列Σの複素正規分布にしたがうζ次元確率変数xの確率密度関数である。なお、αHは、αの複素共役転置(エルミート共役)を意味する。
Figure 2009110574
ただし、|Σ|はΣの行列式を示す。ここで、ζ=1として式(4)を式(3)に代入するとSt,wの確率密度関数は次式で表される。
Figure 2009110574
3.(t,w)≠(t',w')ならば、St,wとSt',w'は統計的に独立である。
《室内伝達系のモデル》
次に、室内伝達系のモデルについて述べる。t(0≦t≦T-1)番目のフレーム、w(0≦w≦N-1)番目の周波数帯域における残響重畳信号の離散フーリエ係数をXt,wとおく。室内伝達系は各周波数帯域において自己回帰系として表現できると仮定される。すなわち、w番目の周波数帯域における自己回帰系の回帰係数をg1,w, ..., gKw,wとおくと、残響重畳信号の離散フーリエ係数Xt,wは次式により生成される。ただし、gk,w *はgk,wの複素共役値である。
Figure 2009110574
gΘ={{gk.w}1≦k≦Kw}0≦w≦N-1が残響パラメータgΘと定義される。この残響パラメータgΘは、次式に示すように、源信号に残響のみが付加された残響重畳信号に適用されて残響重畳信号に含まれる残響を算出する用途に供される。
Figure 2009110574
《雑音のモデル》
次に、雑音のモデルについて述べる。本実施形態では、t(0≦t≦T-1)番目のフレーム、w(0≦w≦N-1)番目の周波数帯域における、雑音と雑音残響重畳信号との離散フーリエ係数がそれぞれDt,w,Yt,wとされる。Yt,wは残響重畳信号Xt,wに雑音Dt,wを加算したものである。
Yt,w = Xt,w + Dt,w (7)
また、Dt,wが次に述べる条件を満たすと仮定される。
1.雑音は定常であり、そのパワースペクトル密度をdλ(ω)として(定常であるためフレーム番号tには依存しない)、Dt,wは平均0、分散dλ(2πw/N)の複素正規分布に従う。
Figure 2009110574
ただし、雑音パラメータdΘは、dΘ={dλ(2πw/N)}0≦w≦N-1と定義される雑音を特徴づけるパラメータである。
2.(t, w)≠(t', w')ならば、Dt,wとDt',w'とは統計的に独立である。
3.任意の(t, w, t', w')について、St,wとDt',w'とは統計的に独立である。
《雑音残響重畳信号の確率密度関数》
以上の仮定に基づき、雑音残響重畳信号の確率密度関数が定式化される。
本実施形態では、源信号、残響重畳信号及び雑音残響重畳信号の各複素スペクトログラム(源信号、残響重畳信号及び雑音残響重畳信号の各集合に相当)がそれぞれS、X及びYと表現される。すなわち、
S={St,w}0≦t≦T-1, 0≦w≦N-1 (9)
X={Xt,w}0≦t≦T-1, 0≦w≦N-1 (10)
Y={Yt,w}0≦t≦T-1, 0≦w≦N-1 (11)
と表現される。なお、{mα,β}0≦α≦T-1, 0≦β≦N-1は、m0,0 ,..., mT-1,N-1のT・N個の要素からなる集合を表す。
具体的には、雑音残響重畳信号の複素スペクトログラムYの確率密度関数(観測信号の集合Yが与えられたときのパラメータΘに関する尤度関数に相当)は次のように書ける。
Figure 2009110574
ただし、p(Y,X|Θ)は、以上の仮定に基づいて次式のように書ける。
Figure 2009110574
以上で、パラメータΘ={sΘ, gΘ, dΘ} を用いて雑音残響重畳信号の複素スペクトログラムの確率密度関数p(Y|Θ)が定式化された。
[信号源パラメータ及び残響パラメータの最尤推定]
前述のように、本実施形態では、観測された雑音残響重畳信号の複素スペクトログラムYから、未知のパラメータの真値Θが、最尤推定法によって推定される。すなわち、雑音残響重畳信号の集合Yが与えられた場合におけるパラメータΘを変数とした尤度関数p(Y|Θ)を最大化するΘが、真値Θの推定値となる。ただし、本実施形態では、雑音パラメータの真値dΘが源信号の存在しない区間から予め独立に推定され、既知となっている為Θ^={sΘ^, gΘ^, dΘ}であり、sΘ^とgΘ^が求められることになる。
また、尤度関数p(Y|Θ)を最大化するsΘ^とgΘ^を同時に直接求めることはできないから、ECMアルゴリズムを用いてこれらが計算される。ECMアルゴリズムの処理の流れを以下に示す。以下の処理では、E−step、CM−step1、CM−step2の3つの処理が代わる代わる繰り返し実行される。そこで、i回目の繰り返しにおけるパラメータの推定値を上付きの添え字(i)を用いて示す。明確さを期するために述べると、Θ,Θ^,Θ^(i)はそれぞれ次のように定義される。
Figure 2009110574
《ECMアルゴリズム》
1.パラメータの推定値の初期値Θ^(0)が決められる。また、繰り返し回数を示すインデックスiが0にされる。
2.E−step(雑音抑圧処理)
残響重畳信号の条件付事後分布p(X|Y, Θ^(i))が計算される。
3.CM−step1(信号源パラメータ推定値の更新処理)
補助関数Q(Θ|Θ^(i))が次式により定義される。
Figure 2009110574
このとき、次の手続きにより、信号源パラメータの推定値がSΘ^(i)からSΘ^(i+1)に更新される。
Figure 2009110574
すなわち、残響パラメータの推定値gΘ^(i)が固定された条件下で補助関数Q(Θ|Θ^(i))を最大化するSΘ^(i+1)が、更新された信号源パラメータの推定値とされる。
4.CM−step2(残響パラメータ推定値の更新処理)
次の手続きにより、残響パラメータの推定値が更新される。
Figure 2009110574
すなわち、信号源パラメータの推定値sΘ^(i+1)が固定された条件下で補助関数Q(Θ|Θ^(i))を最大化するgΘ^(i+1)が、残響パラメータの更新された推定値とされる。
5.終了条件判定
所定の終了条件を満たしているならばsΘ^=sΘ^(i+1)gΘ^=gΘ^(i+1)として終了。そうでなければ、iを1だけ漸増させて「2.E−step」へ戻る。
《各stepの計算方法》
以下では、E−step、CM−step1及びCM−step2の各計算方法を説明する。
1.E−stepの計算方法
源信号、残響重畳信号、雑音残響重畳信号のw番目の周波数帯域の離散フーリエ係数系列を、それぞれまとめて次のように表す。
Figure 2009110574
源信号の複素スペクトログラムS、残響重畳信号の複素スペクトログラムX及び雑音残響重畳信号の複素スペクトログラムYは、それぞれ、Sw, Xw, Ywの全周波数帯域(0≦w≦N-1)にわたる集合と等価となる。
式(24)の残響重畳信号の条件付事後分布p(X|Y, Θ^(i))は、次式に示すように周波数帯域wごとに独立な複数の複素正規分布によって表現できる。
Figure 2009110574
なお、平均μw(Θ^(i),Y)と共分散行列Σw(Θ^(i))は次式で与えられる。
Figure 2009110574
式(29),(30)に現れる各変数はそれぞれ以下のように定義される。なお、式(31)の空欄部分の各要素は0である。
Figure 2009110574
なお、前述のように、雑音が定常であると仮定されているため、
dλT-1 (2πw/N)= dλT-2 (2πw/N)=...=dλ0 (2πw/N)=dλ(2πw/N)
である。また、diag{α,...,αβ}は、任意のスカラー値α,...,αβを対角要素とする対角行列である。
式(28)で示されるように、この残響重畳信号の条件付事後分布p(X|Y, Θ^ (i))は、信号源パラメータ及び残響パラメータ、及び雑音パラメータに基づいて算出される。さらに、式(30),(34)に示すように、この残響重畳信号の集合Xの条件付事後分布p(X|Y, Θ^ (i))の共分散行列のスケールは、雑音のパワースペクトル(雑音の確率分布を示す複素正規分布の分散)に対して単調増加する値となっている。この場合、雑音のレベルが大きかった場合には残響重畳信号の集合Xの条件付事後分布の共分散行列のスケールも大きくなり、逆に雑音のレベルが小さかった場合には残響重畳信号の集合Xの条件付事後分布の共分散行列のスケールも小さくなる。この振る舞いは極めて自然である。この特徴により、雑音と残響とが存在する環境でのパラメータ推定精度を向上させることができる。
また、後の処理のために、μm,w (i)を平均μw(Θ^(i),Y)のT−m番目の要素とし、μm:n,w (i)(m≧n)を平均μw(Θ^(i),Y)のT−m番目からT−n番目の要素で構成される部分ベクトルとし、Σ(c:m,d:n),w(c≧m, d≧n)を共分散行列Σw(Θ^ (i))の(T-c, T-d)番目の要素から(T-m, T-n)番目の要素(T−d行目からT−n行目かつT−c列目からT−m列目の各要素)で構成される部分行列とする。
2.CM−step1の計算方法
t番目のフレームにおける源信号の線形予測係数とその推定値が、それぞれ次のようなベクトルで表現される。
Figure 2009110574
信号源パラメータsΘとその推定値sΘ^は、それぞれ{at, sσt 2}及び{at^, sσ^t 2}の全フレーム(0≦t≦T-1)にわたる集合と等価である。
式(25)による信号源パラメータの更新は、次式に示すat及びsσt 2の推定値の更新を全フレーム(0≦t≦T-1)にわたって実行することで実現される。
Figure 2009110574
ただし、sRt (i)srt (i)とVt,w (i)とは、それぞれ以下のように定義される。
Figure 2009110574
3.CM−step2の計算方法
w番目の周波数帯域における残響パラメータとその推定値が、それぞれ次のようなベクトルで表現される。
Figure 2009110574
残響パラメータgΘとその推定値gΘ^は、それぞれgw及びgw^の全周波数帯域(0≦w≦N-1)にわたる集合と等価となる。
式(26)による残響パラメータの更新は、次式に示すgwの推定値の更新を全周波数帯域(0≦w≦N-1)にわたって実行することで実現される。
Figure 2009110574
ただし、xRw (i)xrw (i)はそれぞれ以下のように定義される。
Figure 2009110574
以上説明したように、本実施形態のパラメータ推定部では、雑音抑圧処理(E−step)と信号源パラメータ推定値の更新処理(CM−step1)と残響パラメータ推定値の更新処理(CM−step2)とが協調的に繰り返して実行され、信号源パラメータ及び残響パラメータの推定値が更新される。E−stepとCM−step1とは先に述べた第1更新処理に、CM−step2は先に述べた第2更新処理に該当する。これにより、雑音と残響がともに存在する環境における観測信号から、雑音と残響とが精度よく抑圧され、源信号が強調される。
<本実施形態の構成>
次に、本実施形態の信号強調装置の構成を説明する。
図3は、第1実施形態の信号強調装置1の構成を示すブロック図である。また、図4は、源信号推定部27の詳細構成を示すブロック図である。
図3に示すように、本実施形態の信号強調装置1は、観測信号記憶部11、パラメータ記憶部12、一時記憶部13、帯域分割部21、雑音パラメータ推定部22、初期パラメータ設定部23、雑音抑圧処理部24、信号源パラメータ推定値更新部25、残響パラメータ推定値更新部26、源信号推定部27、帯域合成部28及び制御部29を有する。また、源信号推定部27は、残響重畳信号推定部27a及び線形フィルタ適用部27bを有する。なお、雑音パラメータ推定部22及び初期パラメータ設定部23は、前述の初期化部に対応する。また、雑音抑圧処理部24及び信号源パラメータ推定値更新部25は、前述の第1更新部に対応する。また、残響パラメータ推定値更新部26は、前述の第2更新部に対応する。
なお、本実施形態の信号強調装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)等からなる公知のコンピュータに所定のプログラムが読み込まれることにより構成されるものである。具体的には、観測信号記憶部11、パラメータ記憶部12及び一時記憶部13は、例えば、RAM、レジスタ、キャッシュメモリ、若しくは補助記憶装置、又はそれらの少なくとも一部の結合によって構成される記憶部である。また、帯域分割部21、雑音パラメータ推定部22、初期パラメータ設定部23、雑音抑圧処理部24、信号源パラメータ推定値更新部25、残響パラメータ推定値更新部26、源信号推定部27、帯域合成部28及び制御部29は、CPUに所定のプログラムが読み込まれることにより構成される本装置専用の処理部である。また、制御部29は、信号強調装置1の各処理を制御する。
<本実施形態の処理>
図5は、第1実施形態の信号強調方法を説明するためのフローチャートである。以下、このフローチャートに沿って本実施形態の信号強調方法を説明する。
まず、信号強調装置1の帯域分割部21に、雑音と残響とが共に存在する環境で観測され、所定の標本化周波数でサンプリングされ量子化された時間領域の観測信号Yκが入力される。なお、κは離散時刻のインデックスを示す。帯域分割部21は、短時間フーリエ変換等によって各離散信号Yκを周波数帯域ごとの狭帯域信号に分割し、周波数領域の観測信号Yt,wを生成し、観測信号記憶部11に格納する(ステップS1)。なお、式(11)で示したように、Y={Yt,w}0≦t≦T-1, 0≦w≦N-1を観測信号の複素スペクトログラムと呼ぶ。
次に、雑音パラメータ推定部22が、観測信号記憶部11に格納された観測信号Yt,wのうち、源信号が存在しない区間のものを用い、雑音パラメータの真値dΘを推定する。なお、前述のように、本実施形態の雑音パラメータdΘは、雑音のパワースペクトル(雑音の確率分布を示す複素正規分布の分散)である。また、本実施形態の仮定では、雑音が定常であり、その振幅の平均が0である。そのため、雑音パラメータの真値dΘは、源信号が存在しない区間の観測信号Yt,wの振幅の2乗平均によって推定することができる。また、源信号が存在しない区間の特定には、例えば、公知の音声区間検出技術を用いる。あるいは、雑音パラメータ推定用に源信号が存在しない観測信号Yt,wを予め計測しておき、それを用いてもよい。推定された雑音パラメータの最終的な推定値dΘは、パラメータ記憶部12に格納される(ステップS2)。
次に、初期パラメータ設定部23が、信号源パラメータ及び残響パラメータの推定値の初期値sΘ^(0),gΘ^(0)を設定する。例えば、初期パラメータ設定部23は、観測信号記憶部11から観測信号Yt,wを読み込み、それを線形予測して得られた線形予測係数と予測残差パワーとを信号源パラメータの推定値の初期値sΘ^(0)とし、gΘ^(0)={{gk.w^(0)=0}1≦k≦Kw}0≦w≦N-1を残響パラメータの推定値の初期値gΘ^(0)とする。設定された各パラメータの推定値の初期値sΘ^(0),gΘ^(0)は、パラメータ記憶部12に格納される(ステップS3)。
次に、制御部29が、繰り返し回数を示すインデクスiを0に設定し、一時記憶部13に格納する(ステップS4)。
次に、雑音抑圧処理部24に、観測信号記憶部11から読み込まれた観測信号Yt,wと、信号源パラメータの推定値sΘ^(i)と、パラメータ記憶部12から読み込まれた雑音パラメータの最終的な推定値dΘと、残響パラメータの推定値gΘ^(i)とが入力される。雑音抑圧処理部24は、これらを用い、観測信号Yt,wの集合Yとパラメータの推定値Θ^との組合せが与えられた場合における残響重畳信号Xt,wの集合Xの条件付事後分布p(X|Y,Θ^)を特定する複素正規分布の平均μw(Θ^(i),Y)と、共分散行列Σw(Θ^(i))を算出する(ステップS5)。具体的には、前述の式(29)〜(34)を用いて複素正規分布の平均μw(Θ^(i),Y)と、共分散行列Σw(Θ^(i))が算出される。算出された複素正規分布の平均μw(Θ^(i),Y)と、共分散行列Σw(Θ^(i))は、それぞれパラメータ記憶部12に格納される。
次に、信号源パラメータ推定値更新部25に、パラメータ記憶部12から読み込まれた残響パラメータ推定値gΘ^(i)と、複素正規分布の平均μw(Θ^(i),Y)と、共分散行列Σw(Θ^(i))とが入力される。信号源パラメータ推定値更新部25は、これらを用い、残響パラメータgΘをgΘ^(i)として固定した状態で、式(24)に示した補助関数Q(Θ|Θ^(i))の関数値が最大になるように信号源パラメータの推定値sΘ^(i)を更新し、更新された信号源パラメータの推定値sΘ^(i+1)を求める(ステップS6)。具体的には、式(36)〜(42)を用い、更新された信号源パラメータの推定値sΘ^(i+1)を算出する。更新された信号源パラメータの推定値sΘ^(i+1)はパラメータ記憶部12に格納される。
次に、残響パラメータ推定値更新部26に、パラメータ記憶部12から読み込まれた信号源パラメータの推定値sΘ^(i+1)と、複素正規分布の平均μw(Θ^(i),Y)と、共分散行列Σw(Θ^(i))とが入力される。残響パラメータ推定値更新部26は、これらを用い、信号源パラメータsΘをsΘ^(i+1)として固定した状態で、式(24)に示した補助関数Q(Θ|Θ^(i))の関数値が最大になるように残響パラメータの更新された推定値gΘ^(i+1)を求める(ステップS7)。具体的には、式(44)〜(46)を用い、更新された残響パラメータの推定値gΘ^(i+1)を算出する。更新された残響パラメータの推定値gΘ^(i+1)はパラメータ記憶部12に格納される。
次に、所定の終了条件を充足するか否かを制御部29(「終了条件判定部」に対応)が判定する(ステップS8)。ここで、所定の終了条件とは、例えば、各パラメータの推定値の更新量〔更新前のパラメータの推定値と更新後のパラメータの推定値との距離(コサイン距離やユークリッド距離等)〕がそれぞれ所定値以下となったことや、繰り返し回数を示すインデックスiの値が所定値以上になったこと等を例示できる。
ここで、所定の終了条件を充足していなかった場合には、制御部29は、繰り返し回数を示すインデックスiの値を1だけ増やし、新たなインデックスiの値を一時記憶部13に格納する(ステップS9)。そして、ステップS105に戻る。
一方、所定の終了条件を充足していた場合には、制御部29は、その時点における信号源パラメータ及び残響パラメータの推定値sΘ^ (i+1),gΘ^(i+1)を、信号源パラメータ最終推定値sΘ^と雑音パラメータ最終推定値gΘ^とし、それをパラメータ記憶部12に格納する(ステップS10)。
次に、源信号推定部27に、観測信号Yt,wと各パラメータの最終的な推定値sΘ^,gΘ^,dΘとが入力される。源信号推定部27は、これらを用い、源信号の推定値St,w^を生成する(ステップS11)。そして、S^={St,w^}0≦t≦T-1, 0≦w≦N-1が、源信号が強調された信号の複素スペクトログラムとなる。
具体的には、まず、源信号推定部27の残響重畳信号推定部27a(図4)に、観測信号Yt,wと各パラメータの最終的な推定値sΘ^,gΘ^,dΘとが入力される。残響重畳信号推定部27aは、これらを用い、観測信号Yt,wと当該パラメータ推定値Θ^との組合せが与えられた場合における残響重畳信号Xt,wの条件付事後分布p(X|Y,Θ^)の平均μw(Θ^,Y)(0≦w≦N-1)を残響重畳信号の推定値(「残響重畳信号最終推定値」に相当)として算出する。具体的には、前述の式(29)〜(34)でΘ^(i)をΘ^に置き換えることで平均μw(Θ^,Y)を算出する。算出された残響重畳信号の推定値μw(Θ^,Y)は、線形フィルタ適用部27bに送られる。線形フィルタ適用部27bには、算出された残響重畳信号の推定値μw(Θ^,Y)と、残響パラメータの最終的な推定値gΘ^とが入力される。線形フィルタ適用部27bは、入力された残響パラメータの推定値gΘ^を用いて構成される線形フィルタを残響重畳信号の推定値μw(Θ^,Y)に適用し、源信号の推定値St,w^(「源信号最終推定値」に相当)を生成する。具体的には、線形フィルタ適用部27bは、以下に従って、源信号の推定値St,w^を算出する。ただし、μt,wは、残響重畳信号の推定値μw(Θ^,Y)のT-t番目の要素である。
Figure 2009110574
算出された源信号の推定値St,w^はパラメータ記憶部12に格納される。
その後、帯域合成部28に源信号の推定値St,w^が入力され、帯域合成部28は、これを、逆短時間フーリエ変換などによって、時間領域の源信号の推定値Sκ^に変換して出力する(ステップS12)。
<実験結果>
次に、本実施形態の処理を行って得られる効果を確認する実験を行った。まず、ASJ-JNASデー夕ベースから10名(男性5名、女性5名)による発話を抽出した。発話の継続時間はすべて3秒間である。標本化周波数は8kHz、量子化ビット数は16ビットとした。これら源信号に残響時間がおよそ0.5秒の部屋で収録したインパルス応答を畳み込むことで残響重畳信号を合成した。これに、SNR(Signal to Noise Ratio)が10dBとなるように計算機上で合成した定常白色雑音を加算して雑音残響重畳信号とした。
本実施形態の信号強調装置で用いるパラメータは下記の通り設定した。短時間フーリエ変換フレーム長は256サンプル、シフト幅は128サンプル、窓関数はハニング窓、室内伝達系を表す自己回帰の次数はすべての周波数帯域についてK=30、源信号の線形予測次数はP=12とした。また、ECMアルゴリズムの終了条件は、繰り返し回数がi=5回となったこととした。
強調後の源信号の品質は、次式で定義されるSASNR(Segmental Amplitude Signal to Noise Ratio)を用いて評価した。
Figure 2009110574
表1に、話者の性別ごとのSASNRの改善値をまとめる。
Figure 2009110574
表1に示すように、本実施形態の処理により、SASNRを平均で7.72dB改善することができた。雑音抑圧処理のみでは、SASNRの平均改善値は4.26dBに低下した。一方、残響抑圧処理のみでは、SASNRの平均改善値は1.49dBに低下した。本実験結果から、本実施形態の方法を用いて雑音抑圧処理と残響抑圧処理を協調して動作させることによって、効果的な源信号強調を実現できたことが確認された。
〔第2実施形態〕
次に、本発明の第2実施形態を説明する。第1実施形態では、信号を測定するセンサが1個に限定されていたのに対して、本実施形態では、信号を観測するセンサの個数に制限が設けられない。すなわち、センサの個数MはM≧1を満たす任意の整数をとる。よって、残響パラメータに含まれる回帰行列は、M行M列の正方行列である。それ以外の点については、本実施形態におけるパラメータ推定処理の概要は、第1実施形態におけるパラメータ推定処理の概要と同じである。また、M=1であってもよいし、M≧2であってもよく、M=1とした本実施形態は、第1実施形態と等価になる。
<本形態のパラメータ推定処理の概要>
本実施形態では、第1更新部は第2パラメータ群のパラメータの推定値を更新し、第2更新部は第1パラメータ群のパラメータの推定値を更新する。
[観測信号記憶処理]
まず、観測信号記憶処理によって、観測信号が記憶部に格納される。
[初期化処理]
次に、初期化処理によって、第1パラメータ群のパラメータの推定値と、第2パラメータ群のパラメータの推定値とが初期化される。
[第1更新処理]
本実施形態の第1更新処理では、第1パラメータ群、すなわち残響パラメータの推定値が固定された状態で、第2パラメータ群、すなわち信号源パラメータの推定値が更新される。本実施形態の第1更新処理は、具体的には、雑音抑圧処理と、信号源パラメータの更新処理とを含む。
《雑音抑圧処理》
雑音抑圧処理では、観測信号とパラメータの推定値を用いて、残響重畳信号の条件付事後分布p(残響重畳信号|観測信号,パラメータの推定値)を特徴づける複素正規分布の平均と共分散行列が算出される。
この処理は、観測信号から雑音を含まない残響重畳信号の条件付事後分布を求めるという点において、観測信号に含まれる雑音を抑圧していると解釈できる。この雑音抑圧処理は、残響パラメータの推定値と信号源パラメータの推定値を用いて実行されることに注意されたい。このことは、残響の特性が考慮されながら雑音が抑圧されることを意味する。これによって、残響環境において、雑音抑圧を精度よく実施できる。
《信号源パラメータ推定値の更新処理》
信号源パラメータ推定値の更新処理では、残響パラメータの推定値と残響重畳信号の条件付事後分布の平均と共分散行列を用いて、信号源パラメータの推定値が更新される。信号源パラメータの推定値は、パラメータの推定値に関する補助関数の値が最大になるように、更新される。
補助関数は、観測信号と残響重畳信号を所与とした場合のパラメータの推定値に関する対数尤度関数を、残響重畳信号の条件付事後分布p(残響重畳信号|観測信号,パラメータ推定値)で重み付けした関数を、残響重畳信号について積分して得られる関数である。この重み付け積分により、雑音抑圧処理で算出される残響重畳信号の不確かさを考慮しながら、信号源パラメータの推定値を更新することが可能になっている。
[第2更新処理]
本実施形態の第2更新処理では、第2パラメータ群、すなわち信号源パラメータの推定値が固定された状態で、第1パラメータ群、すなわち残響パラメータの推定値が更新される。残響パラメータの推定値は、パラメータの推定値に関する補助関数の値が最大になるように、更新される。
[終了条件判定処理]
終了条件判定処理では、所定の終了条件が満たされているか否かが判定される。終了条件が満たされていない場合、第1更新処理に戻る。終了条件が満たされている場合、その時点におけるパラメータの推定値を出力する。
以上で述べた処理において、残響重畳信号の条件付事後分布の共分散行列のスケールは、雑音の共分散行列のスケールに対して単調増加する。すなわち、雑音のレベルが大きいほど、残響重畳信号の条件付事後分布の共分散行列のスケールも大きくなる。このことは、本実施形態が、雑音抑圧処理で求められる残響重畳信号の不確かさを妥当な方法で評価していることを示している。
<本実施形態の原理>
次に、本実施形態の原理を説明する。以下では、第1実施形態との相違点を中心に説明し、第1実施形態と共通する事項については説明を省略する。なお、本実施形態でも、信号は音声信号などの音響信号に限定されない。
<本実施形態の原理>
次に、本実施形態の原理を説明する。本実施形態でもECMアルゴリズムを適用する。すなわち、観測信号である雑音残響重畳信号の集合yを用い、雑音残響重畳信号の集合yとパラメータの推定値Θ^との組合せを前提条件とした残響重畳信号の集合xの条件付事後分布p(x|y,Θ^)の算出処理(E−step)と、源信号パラメータの推定値sΘ^の算出処理(CM−step1)と、残響パラメータgΘの算出処理(CM−step2)とを代わる代わる繰り返し実行して各推定値を更新し、所定の終了条件を充足した時点での各推定値を真値の推定値(最終推定値)とする。なお、E−stepとCM−step1は先に述べた第1更新処理に、CM−step2は先に述べた第2更新処理に該当する。
なお、本実施形態の残響重畳信号の集合xは、各センサにそれぞれ対応する残響重畳信号の複素スペクトログラムを要素とした集合である。また、本実施形態の雑音残響重畳信号の集合yは、各センサにそれぞれ対応する雑音残響重畳信号の複素スペクトログラムを要素とした集合である。
[観測信号(雑音残響重畳信号)の統計的モデル]
本実施形態でも、まず、パラメータΘが与えられた場合における雑音残響重畳信号集合のyの確率密度関数p(y|Θ)が定義される。そのために、観測信号(雑音残響重畳信号)の集合yの統計的モデルが仮定される。本実施形態では、以下に述べる源信号の全極モデル、室内伝達系の多チャンネル自己回帰モデル及び雑音のモデルが仮定される。
《源信号のモデル》
まず、本実施形態の源信号の全極モデルについて述べる。t(0≦t≦T-1)番目のフレーム、w(0≦w≦N-1)番目の周波数帯域における源信号の離散フーリエ係数(複素数)をSt,wとおく。また、仮に雑音や残響が存在しない場合に、m(1≦m≦M)番目のセンサで観測されるであろう源信号の離散フーリエ係数をSt,w (m)とおく。また、各St,w (m)を要素とする次のようなM次元の源信号ベクトルが定義される。なお、ατはαの非共役転置を示す。
st,w=[St,w (1),...,St,w (M)]τ (49)
ベクトルst,wが以下の条件を満たすと仮定される。
1.ω∈{‐π,π}を角周波数として、t番目のフレームにおける源信号のパワースペクトル密度sλt(ω)は、式(1)(2)に示したような全極型スペクトル密度で表される。よって、信号源パラメータsΘは、sΘ={at,1 ,..., at,P, sσt 2}0≦t≦T-1と定義される。ただし、{mα}0≦α≦M-1は、m0, m1 ,..., mM-1のM個の要素からなる集合を表す。
2.st,wは、以下のような、平均0M、共分散行列sλt(2πw/N)IMのM次元複素正規分布にしたがう。
Figure 2009110574
ただし、NC{x;μ,Σ}は、式(4)で定義される複素正規分布の確率密度関数である。また、0MとIMは、それぞれ、M次元零ベクトルとM次元単位行列を表す。
ここで、ζ=Mとして式(4)を式(50)に代入するとst,wの確率密度関数は次式で表される。
Figure 2009110574
ただし、複素ベクトルαに対する||α||2は、次式により定義される。
||α||2H・α (52)
3.(t,w)≠(t',w')ならば、st,wとst',w'は統計的に独立である。
《室内伝達系のモデル》
次に、本実施形態の室内伝達系のモデルについで述べる。m(1≦m≦M)番目のセンサ、t(0≦t≦T-1)番目のフレーム、w(0≦w≦N-1)番目の周波数帯域における残響重畳信号の離散フーリエ係数をXt,w (m)とおく。また、各Xt,w (m)を要素とする次のようなM次元の残響重畳信号ベクトルが定義される。
xt,w=[Xt,w (1),...,Xt,w (M)]τ (53)
本実施形態では、室内伝達系が各周波数帯域においてMチャネル自己回帰系として表現できると仮定される。すなわち、w番目の周波数帯域における回帰系の回帰行列を
Figure 2009110574
とおくと、残響重畳信号の残響重畳信号ベクトルxt,wは次式により生成される。
Figure 2009110574
なお、回帰行列Gk,wは、回帰系の回帰係数gk,w (1,1),..., gk,w (M,M)を要素に持つ以下のようなM行M列の行列である。なお、KwはMチャネル自己回帰系の次数を示す。
Figure 2009110574
式(55)を用いると式(54)は以下のように表現される。
Figure 2009110574
本実施形態では、gΘ={{Gk.w}1≦k≦Kw}0≦w≦N-1が残響パラメータgΘと定義される。この残響パラメータgΘは、次式に示すように、源信号に残響のみが付加された残響重畳信号に適用されて、各センサ位置での源信号を抽出する用途に供される。
Figure 2009110574
《雑音のモデル》
次に、雑音のモデルについて述べる。本実施形態では、m(1≦m≦M)番目のセンサ、t(0≦t≦T-1)番目のフレーム、w(0≦w≦N-1)番目の周波数帯域における、雑音と雑音残響重畳信号との離散フーリエ係数がそれぞれDt,w (m),Yt,w (m)とされる。また、各Dt,w (m)を要素とする次のようなM次元の雑音ベクトルが定義される。
dt,w=[Dt,w (1),...,Dt,w (M)]τ (58)
同様に、各Yt,w (m)を要素とする次のようなM次元の雑音残響重畳信号(観測信号)ベクトルが定義される。
yt,w=[Yt,w (1),...,Yt,w (M)]τ (59)
雑音残響重畳信号ベクトルyt,wは、残響重畳信号ベクトルxt,wに雑音ベクトルdt,wを加算したものである。
yt,w = xt,w + dt,w (60)
また、dt,wが次に述べる条件を満たすと仮定される。
1.雑音は定常であり、そのパワークロススペクトル密度をdΛ(ω)として(定常であるためフレーム番号tには依存しない)、dt,wは平均0M、共分散行列dΛ(2πw/N)の複素正規分布に従う。なお、共分散行列dΛ(2πw/N)のw番目の対角要素は、w番目のセンサにおける雑音のパワースペクトルdλ(m)(2πw/N)である。
Figure 2009110574
また、本実施形態の雑音パラメータdΘは、dΘ={dΛ(2πw/N)}0≦w≦N-1と定義される雑音を特徴づけるパラメータである。
2.(t, w)≠(t', w')ならば、dt,wとdt',w'とは統計的に独立である。
3.任意の(t, w, t', w')について、st,wとdt,wとは統計的に独立である。
《雑音残響重畳信号の確率密度関数》
以上の仮定に基づき、雑音残響重畳信号の確率密度関数が定式化される。
本実施形態では、各センサにおける源信号の複素スペクトログラムからなる集合(源信号ベクトルの集合に相当)がsと表現される。また、各センサにおける残響重畳信号の複素スペクトログラムからなる集合(残響重畳信号ベクトルの集合に相当)がxと表現される。また、雑音残響重畳信号の複素スペクトログラムからなる集合(雑音残響重畳信号ベクトルの集合に相当)がyと表現される。
すなわち、
s={st,w}0≦t≦T-1, 0≦w≦N-1 (62)
x={xt,w}0≦t≦T-1, 0≦w≦N-1 (63)
y={yt,w}0≦t≦T-1, 0≦w≦N-1 (64)
と表現される。
具体的には、雑音残響重畳信号ベクトルの集合yの確率密度関数(観測信号ベクトルの集合yが与えられたときのパラメータΘに関する尤度関数に相当)は次のように書ける。
Figure 2009110574
ただし、p(y,x|Θ)は、以上の仮定に基づいて次式のように書ける。
Figure 2009110574
以上で、パラメータΘ={sΘ, gΘ, dΘ} を用いて雑音残響重畳信号の集合の確率密度関数p(y|Θ)が定式化された。
[信号源パラメータ及び残響パラメータの最尤推定]
前述のように、本実施形態では、観測された雑音残響重畳信号の集合のyから、未知のパラメータの真値Θが、最尤推定法によって推定される。すなわち、雑音残響重畳信号の集合Yが与えられた場合におけるパラメータΘを変数とした尤度関数p(Y|Θ)を最大化するΘが、真値Θの推定値となる。ただし、本実施形態では、雑音パラメータの真値dΘが源信号の存在しない区間から予め独立に推定され、既知となっている為Θ^={sΘ^, gΘ^, dΘ}であり、sΘ^とgΘ^が求められることになる。
また、尤度関数p(Y|Θ)を最大化するsΘ^とgΘ^を同時に直接求めることはできないから、ECMアルゴリズムを用いてこれらが計算される。ECMアルゴリズムの処理の流れを以下に示す。以下の処理では、E−step、CM−step1、CM−step2の3つの処理が代わる代わる繰り返し実行される。そこで、i回目の繰り返しにおけるパラメータの推定値を上付きの添え字(i)を用いて示す。明確さを期するために述べると、Θ,Θ^,Θ^(i)はそれぞれ次のように定義される。
Figure 2009110574
《ECMアルゴリズム》
1.パラメータの推定値の初期値Θ^(0)が決められる。また、繰り返し回数を示すインデックスiが0にされる。
2.E−step(雑音抑圧処理)
残響重畳信号の条件付事後分布p(x|y, Θ^(i))が計算される。
3.CM−step1(信号源パラメータ推定値の更新処理)
補助関数Q(Θ|Θ^(i))が次式により定義される。
Figure 2009110574
このとき、次の手続きにより、信号源パラメータの推定値がSΘ^(i)からSΘ^(i+1)に更新される。
Figure 2009110574
すなわち、残響パラメータの推定値gΘ^(i)が固定された条件下で補助関数Q(Θ|Θ^(i))を最大化するSΘ^(i+1)が、更新された信号源パラメータの推定値とされる。
4.CM−step2(残響パラメータ推定値の更新処理)
次の手続きにより、残響パラメータの推定値が更新される。
Figure 2009110574
すなわち、信号源パラメータの推定値sΘ^(i+1)が固定された条件下で補助関数Q(Θ|Θ^(i))を最大化するgΘ^(i+1)が、更新された残響パラメータの推定値とされる。
5.終了条件判定
所定の終了条件を満たしているならばsΘ^=sΘ^(i+1)gΘ^=gΘ^(i+1)として終了。そうでなければ、iを1だけ漸増させて「2.E−step」へ戻る。
《各stepの計算方法》
以下では、E−step、CM−step1及びCM−step2の各計算方法を説明する。
1.E−stepの計算方法
すべてのセンサにおける、源信号、残響重畳信号、雑音残響重畳信号のw番目の周波数帯域の離散フーリエ係数系列を、それぞれまとめて次のように表す。
Figure 2009110574
源信号ベクトルの集合s、残響重畳信号ベクトルの集合x及び雑音残響重畳信号ベクトルの集合yは、それぞれ、sw, xw, ywの全周波数帯域(0≦w≦N-1)にわたる集合と等価となる。
式(77)の残響重畳信号の条件付事後分布p(x|y, Θ^(i))は、次式に示すように周波数帯域wごとに独立な複数の複素正規分布によって表現できる。
Figure 2009110574
なお、平均μw(Θ^(i),y)と共分散行列Σw(Θ^(i))は次式で与えられる。また、平均μw(Θ^(i),y)はM次元ベクトルである。
Figure 2009110574
式(82),(83)に現れる各変数はそれぞれ以下のように定義される。なお、式(84)の空欄部分の各要素は0である。
Figure 2009110574
なお、bdiag{Ω,...,Ωα}は、任意の正方行列Ω,...,Ωαに対する次のブロック対角行列を示す。
Figure 2009110574
また、前述のように、雑音が定常であると仮定されているため、
dΛT-1 (2πw/N)= dΛT-2 (2πw/N)=...=dΛ0 (2πw/N)=dΛ(2πw/N) (89)
である。
また、後の処理のために、μvm,w (i)を平均μw(Θ^(i),y)のM(T-m-1)+1からM(T-m)番目までの要素で構成される部分ベクトルとし、μvm:n,w (i)(m≧n)を平均μw(Θ^(i),y)のM(T-m-1)+1からM(T-m)番目までの要素で構成される部分ベクトルとする。また、ΣV(m1:n1,m2:n2),w (i)を共分散行列Σw(Θ^ (i))の(M(T-m1-1)+1,M(T-m2-1)+1)番目の要素から(M(T-n1),M(T-n2))番目の要素で構成される部分行列とする。
2.CM−step1の計算方法
t番目のフレームにおける源信号の線形予測係数とその推定値が、式(35)のようなベクトルで表現される。
信号源パラメータsΘとその推定値sΘ^は、それぞれ{at, sσt 2}及び{at^, sσ^t 2}の全フレーム(0≦t≦T-1)にわたる集合と等価である。
式(78)による信号源パラメータの更新は、式(36)(37)に示したat及びsσt 2の推定値の更新を全フレーム(0≦t≦T-1)にわたって実行することで実現される。ただし、本実施形態では、式(41)(42)に代えて
Figure 2009110574
で算出されるVt,w (i)を用い、式(36)から(40)の計算によって、at及びsσt 2の推定値が更新される。なお、正方行列Αに対する式(90)のdavg(Α)は、正方行列Αの対角要素の平均値を表す。
3.CM−step2の計算方法
w番目の周波数帯域における残響パラメータとその推定値が、それぞれ次のようなベクトルで表現される。
Figure 2009110574
残響パラメータgΘとその推定値gΘ^は、それぞれGw及びGw^の全周波数帯域(0≦w≦N-1)にわたる集合と等価となる。
式(78)による残響パラメータの更新は、次式に示すGwの推定値の更新を全周波数帯域(0≦w≦N-1)にわたって実行することで実現される。
Figure 2009110574
ただし、xRVw (i)xrvw (i)はそれぞれ以下のように定義される。
Figure 2009110574
以上説明したように、本実施形態では、雑音抑圧処理(E−step)と信号源パラメータ推定値の更新処理(CM−step1)と残響パラメータ推定値の更新処理(CM−step2)とが協調的に繰り返して実行され、信号源パラメータ及び残響パラメータの推定値が更新される。これにより、雑音と残響がともに存在する環境における観測信号から、雑音と残響とが精度よく抑圧され、源信号が強調される。
<本実施形態の構成>
次に、本実施形態の信号強調装置の構成を説明する。
図6は、第2実施形態の信号強調装置100の構成を示すブロック図である。また、図7は、源信号推定部127の詳細構成を示すブロック図である。
図6に示すように、本実施形態の信号強調装置100は、観測信号記憶部111、パラメータ記憶部112、一時記憶部13、帯域分割部121、雑音パラメータ推定部122、初期パラメータ設定部123、雑音抑圧処理部124、信号源パラメータ推定値更新部125、残響パラメータ推定値更新部126、源信号推定部127、帯域合成部28及び制御部29を有する。また、源信号推定部127は、残響重畳信号推定部127a及び線形フィルタ適用部127bを有する。なお、雑音パラメータ推定部122及び初期パラメータ設定部123は、前述の初期化部に対応する。また、雑音抑圧処理部124及び信号源パラメータ推定値更新部125は、前述の第1更新部に対応する。また、残響パラメータ推定値更新部126は、前述の第2更新部に対応する。
なお、本実施形態の信号強調装置100は、CPU、RAM等からなる公知のコンピュータに所定のプログラムが読み込まれることにより構成されるものである。具体的には、観測信号記憶部111、パラメータ記憶部112及び一時記憶部13は、例えば、RAM、レジスタ、キャッシュメモリ、若しくは補助記憶装置、又はそれらの少なくとも一部の結合によって構成される記憶部である。また、帯域分割部121、雑音パラメータ推定部122、初期パラメータ設定部123、雑音抑圧処理部124、信号源パラメータ推定値更新部125、残響パラメータ推定値更新部126、源信号推定部127、帯域合成部28及び制御部29は、CPUに所定のプログラムが読み込まれることにより構成される本装置専用の処理部である。また、制御部29は、信号強調装置100の各処理を制御する。
<本実施形態の処理>
図8は、第2実施形態の信号強調方法を説明するためのフローチャートである。以下、このフローチャートに沿って本実施形態の信号強調方法を説明する。
まず、信号強調装置100の帯域分割部121に、M個のセンサによってそれぞれ観測され、量子化された時間領域の観測信号Yκ (m)(1≦m≦M)を要素とする観測信号ベクトル[Yκ (1),...,Yκ (M)]τが入力される。帯域分割部121は、短時間フーリエ変換等によって観測信号ベクトル[Yκ (1),...,Yκ (M)]τを、時間周波数領域の観測信号ベクトルyt,w= [Yt,w (1),...,Yt,w (M)]τに変換し、観測信号記憶部111に格納する(ステップS101)。
次に、雑音パラメータ推定部122が、観測信号記憶部111に格納された観測信号ベクトルyt,wのうち、源信号が存在しない区間のものを用い、雑音パラメータの真値dΘの推定値を計算する。なお、前述のように、本実施形態の雑音パラメータdΘは、雑音のパワークロススペクトル(雑音の確率分布を示すM次元複素正規分布の共分散行列)である。また、本実施形態では、雑音は定常であり、その振幅の平均は0であると仮定している。そのため、雑音パラメータの真値dΘは、源信号が存在しない区間の観測信号ベクトルyt,wを用いて、次式のように推定することができる。
Figure 2009110574
ただし、ηは源信号が存在しない区間のフレーム番号の集合であり、|η|は源信号が存在しない区間のフレーム数である。また、源信号が存在しない区間の特定には、例えば、公知の音声区間検出技術を用いる。あるいは、雑音パラメータ推定用に源信号が存在しない観測信号Yt,wを予め計測しておき、それを用いてもよい。推定された雑音パラメータの真値dΘは、パラメータ記憶部112に格納される(ステップS102)。
次に、初期パラメータ設定部123が、信号源パラメータ及び残響パラメータの推定値の初期値sΘ^(0),gΘ^(0)を設定する。例えば、初期パラメータ設定部123は、観測信号記憶部111から観測信号ベクトルyt,wを読み込み、その第1要素(すなわち、一番目のセンサで観測された信号)を線形予測分析して得られた線形予測係数と予測残差パワーとを信号源パラメータの推定値の初期値sΘ^(0)とし、gΘ^(0)={{Gk.w^(0)=O M}1≦k≦Kw}0≦w≦N-1を残響パラメータの推定値の初期値gΘ^(0)とする。ただし、OMはM次元零行列である。設定された各パラメータの推定値の初期値sΘ^(0),gΘ^(0)は、パラメータ記憶部112に格納される(ステップS103)。
次に、制御部29が、繰り返し回数を示すインデクスiを0に設定し、一時記憶部13に格納する(ステップS104)。
次に、雑音抑圧処理部124に、観測信号記憶部111から読み込まれた観測信号ベクトルyt,wと、信号源パラメータの推定値sΘ^(i)と、パラメータ記憶部112から読み込まれた雑音パラメータの真値dΘと、残響パラメータの推定値gΘ^(i)とが入力される。雑音抑圧処理部124は、これらを用い、観測信号ベクトルyt,wの集合yとパラメータの推定値Θ^との組合せが与えられた場合における残響重畳信号ベクトルxt,wの集合xの条件付事後分布p(x|y,Θ^)を特定する複素正規分布の平均μw(Θ^(i),y)と、共分散行列Σw(Θ^(i))を算出する(ステップS105)。具体的には、前述の式(82)〜(87)を用いて複素正規分布の平均μw(Θ^(i),y)と、共分散行列Σw(Θ^(i))を算出する。算出された複素正規分布の平均μw(Θ^(i),y)と、共分散行列Σw(Θ^(i))は、それぞれパラメータ記憶部112に格納される。
次に、信号源パラメータ推定値更新部125に、パラメータ記憶部112から読み込まれた残響パラメータ推定値gΘ^(i)と、複素正規分布の平均μw(Θ^(i),y)と、共分散行列Σw(Θ^(i))とが入力される。信号源パラメータ推定値更新部125は、これらを用い、残響パラメータgΘをgΘ^(i)として固定した状態で、式(77)に示した補助関数Q(Θ|Θ^(i))の関数値が最大になるように信号源パラメータの推定値sΘ^(i)を更新し、更新された信号源パラメータの推定値sΘ^(i+1)を求める(ステップS106)。具体的には、式(36)〜(40),(90),(91)を用い、更新された信号源パラメータの推定値sΘ^(i+1)を算出する。更新された信号源パラメータの推定値sΘ^(i+1)はパラメータ記憶部112に格納される。
次に、残響パラメータ推定値更新部126に、パラメータ記憶部112から読み込まれた信号源パラメータの推定値sΘ^(i+1)と、複素正規分布の平均μw(Θ^(i),y)と、共分散行列Σw(Θ^(i))とが入力される。残響パラメータ推定値更新部126は、これらを用い、信号源パラメータsΘをsΘ^(i+1)として固定した状態で、式(77)に示した補助関数Q(Θ|Θ^(i))の関数値が最大になるように残響パラメータの更新された推定値gΘ^(i+1)を求める(ステップS107)。具体的には、式(93)〜(95)を用い、残響パラメータの推定値gΘ^(i+1)を算出する。更新された残響パラメータの推定値gΘ^(i+1)はパラメータ記憶部112に格納される。
次に、所定の終了条件を充足するか否かを制御部29(「終了判定部」に対応)が判定する(ステップS108)。ここで、所定の終了条件とは、例えば、各パラメータの推定値の更新量〔更新前のパラメータの推定値と更新後のパラメータの推定値との距離(コサイン距離やユークリッド距離等)〕がそれぞれ所定値以下となったことや、繰り返し回数を示すインデックスiの値が所定値以上になったこと等を例示できる。
ここで、所定の終了条件を充足していなかった場合には、制御部29は、繰り返し回数を示すインデックスiの値を1だけ増やし、新たなインデックスiの値を一時記憶部13に格納する(ステップS109)。そして、ステップS105に戻る。
一方、所定の終了条件を充足していた場合には、制御部29は、その時点における信号源パラメータ及び残響パラメータの推定値sΘ^ (i+1),gΘ^(i+1)を信号源パラメータ最終推定値sΘ^と残響パラメータ最終推定値gΘ^とし、それをパラメータ記憶部112に格納する(ステップS110)。
次に、源信号推定部127に、観測信号Yt,wと各パラメータの最終的な推定値sΘ^,gΘ^,dΘとが入力される。源信号推定部127は、これらを用い、源信号の推定値St,w^を生成する(ステップS111)。そして、S^={St,w^}0≦t≦T-1, 0≦w≦N-1が、源信号が強調された信号の複素スペクトログラムとなる。
具体的には、まず、源信号推定部127の残響重畳信号推定部127a(図7)に、観測信号ベクトルyt,wと各パラメータの最終的な推定値sΘ^,gΘ^,dΘとが入力される。残響重畳信号推定部127aは、これらを用い、観測信号ベクトルyt,wと当該パラメータ推定値Θ^との組合せが与えられた場合における残響重畳信号ベクトルxt,wの条件付事後分布p(x|y,Θ^)の平均μw(Θ^,y)(0≦w≦N-1)を残響重畳信号ベクトルxt,wの推定値(「残響重畳信号最終推定値」に相当)として算出する。具体的には、前述の式(82)〜(87)でΘ^(i)をΘ^に置き換えることで平均μw(Θ^,y)を算出する。算出された残響重畳信号ベクトルxt,wの推定値μw(Θ^,y)は、線形フィルタ適用部127bに送られる。
線形フィルタ適用部127bには、算出された残響重畳信号ベクトルxt,wの推定値μw(Θ^,y)と、残響パラメータの最終的な推定値gΘ^とが入力される。線形フィルタ適用部127bは、入力された残響パラメータの推定値gΘ^を用いて構成される線形フィルタを残響重畳信号ベクトルxt,wの推定値μw(Θ^,y)に適用し、源信号ベクトルの推定値st,w^を生成する。そして、線形フィルタ適用部127bは、例えば、源信号ベクトルの推定値st,w^の要素を平均し、その平均値を源信号の推定値St,w^(「源信号最終推定値」に相当)として出力する。具体的には、線形フィルタ適用部127bは、例えば、以下に従って、源信号の推定値St,w^を算出する。ただし、μvt,wは、残響重畳信号ベクトルxt,wの推定値μw(Θ^,y)のM(T-t-1)+1からM(T-t)番目までの要素で構成される部分ベクトルである。
Figure 2009110574
ただし、任意のベクトルαに対するavg(α)は、ベクトルαの全要素の平均値を表す。なお、本実施形態では、
Figure 2009110574
の要素の平均値を源信号の推定値St,w^としたが、これらの要素の何れかを源信号の推定値St,w^としてもよい。
算出された源信号の推定値St,w^はパラメータ記憶部112に格納される。
その後、帯域合成部28に源信号の推定値St,w^が入力され、帯域合成部28は、これを、逆短時間フーリエ変換などによって、源信号の推定値Sκ^に変換して出力する(ステップS112)。
<実験結果>
次に、本実施形態の処理を行って得られる効果を確認する実験を行った。男女2話者により発話された音声を用意した。各音声の音響信号に対して、残響時間が約0.5秒の部屋で2個のマイクロホンで収録したインパルス応答を畳み込むことで、残響音声信号を合成した。これに、SN比が15dBとなる白色雑音を加算することで、雑音残響音声信号をシミュレートした。
本実施形態を実施するのに必要なパラメータは下記の通り設定した。短時間フーリエ変換のフレーム長は256サンプル、シフト幅は128サンプル、窓関数はハニング窓、室内伝達系の次数は25、音声の線形予測次数は12とした。また、ECMアルゴリズムの終了条件は,繰り返し回数が3回となった時点とした。強調後の音声信号の品質を評価する尺度として、ケプストラム歪みを用いた。
本実施形態による処理を行う前の信号(雑音残響音声信号)のケプストラム歪みの平均値は,6.99dBであった.これに対して,本実施形態による処理を行った後の信号のケプストラム歪みの平均値は5.15dBであり,1.84dB改善された。参考までに、マイクロホンを1個だけ用いた場合、ケプストラム歪みの平均値は5.61dBであった。以上の結果により,本実施形態の効果が確認された。
〔第3実施形態〕
次に、第3実施形態を説明する。
<本実施形態のパラメータ推定処理の概要>
まず、本実施形態のパラメータ推定部における処理の概要を説明する。本実施形態では、第2パラメータ群は、信号源パラメータに加えて、少なくとも、ステアリングベクトルを含む。また、本実施形態では、第1更新部は第2パラメータ群の推定値を更新し、第2更新部は第1パラメータ群のパラメータの推定値を更新する。
[観測信号記憶処理]
まず、観測信号記憶処理によって、観測信号が記憶部に格納される。
[初期化処理]
次に、初期化処理によって、第1パラメータ群のパラメータの推定値と、第2パラメータ群のパラメータの推定値とが初期化される。
[第1更新処理]
本実施形態の第1更新処理では、第1パラメータ群、すなわち残響パラメータの推定値が固定された状態で、第2パラメータ群、すなわち信号源パラメータの推定値が更新される。本実施形態の第1更新処理は、具体的には、源信号推定値更新処理、ステアリングベクトル推定値更新処理、信号源パラメータ推定値更新処理を含む。
《源信号推定値更新処理》
源信号推定値更新処理では、まず、観測信号と残響パラメータの推定値を用いて、雑音重畳信号の推定値を算出する。この処理は、雑音残響重畳信号を入力として雑音重畳信号を出力するという点において、残響抑圧処理に相当すると解釈される。
次に、算出された雑音重畳信号の推定値とパラメータの推定値を用いて、源信号の条件付事後分布p(源信号|雑音重畳信号の推定値,パラメータの推定値)を特徴づける複素正規分布の平均と分散が算出される。この平均と分散は、それぞれ、源信号の推定値と誤差分散に相当する。
《ステアリングベクトル推定値更新処理》
ステアリングベクトル推定値更新処理では、雑音重畳信号推定値と源信号推定値とを用いて、ステアリングベクトルの推定値が更新される。ステアリングベクトルの推定値は、パラメータに関する対数尤度関数が増加するように、更新される。
《信号源パラメータ推定値更新処理》
信号源パラメータ推定値更新処理では、源信号の推定値と誤差分散から、源信号のパワースペクトルの推定値を算出する。このパワースペクトルの推定値に基づいて、信号源パラメータの推定値が更新される。この更新処理は、パラメータに関する対数尤度関数を増加させる。
[第2更新処理]
本実施形態の第2更新処理では、第2パラメータ群、すなわち信号源パラメータ、雑音パラメータ、ステアリングベクトルの各々の推定値が固定された状態で、第1パラメータの群、すなわち残響パラメータの推定値が更新される。本実施形態の第2更新処理は、具体的には、源信号短時間パワースペクトル推定値更新処理、残響パラメータ推定値更新処理、雑音パラメータ推定値更新処理を含む。
《源信号短時間パワースペクトル推定値更新処理》
源信号短時間パワースペクトル推定値更新処では、信号源パラメータ推定値を用いて源信号のパワースペクトルの推定値を更新する。
《雑音パラメータ推定値更新処理》
次に、雑音パラメータ推定値更新処理では、雑音重畳信号の推定値、源信号の推定値、ステアリングベクトルの推定値を用いて、雑音パラメータの推定値を更新する。この更新処理は、パラメータに関する対数尤度関数を増加させる。
《残響パラメータ推定値更新処理》
残響パラメータ推定値更新処理では、観測信号と、更新された源信号のパワースペクトルの推定値と、雑音パラメータの推定値を用いて、残響パラメータの推定値を更新する。残響パラメータの推定値は、信号源パラメータの推定値と雑音パラメータの推定値とステアリングベクトルの推定値とが固定されている条件の下で、パラメータに関する対数尤度関数が最大になるように更新される。
[終了条件判定処理]
終了条件判定処理では、所定の終了条件が満たされているか否かが判定される。終了条件がを満たされていない場合、第1更新処理に戻る。終了条件が満たされている場合、その時点におけるパラメータの推定値を出力する。
〔原理〕
次に、本実施形態の原理を説明する。
本実施形態の信号強調装置の源信号推定部は、観測信号に含まれる残響を線形フィルタ処理で抑圧して雑音重畳信号を推定した後に、Wienerフィルタ等の非線形フィルタ処理により雑音重畳信号から雑音を抑圧する。この手順を実現するために、本実施形態のパラメータ推定部が生成するパラメータが第1,2実施形態のパラメータと異なる。
図2に模式的に示したように、時間領域の観測信号を生成する系は、複数の室内インパルス応答を畳み込む残響重畳系(室内伝達系)と、それぞれの残響重畳系の出力に定常雑音を加算する雑音重畳系とから成る。それらの系によって源信号に残響や雑音が付加され、時間領域の観測信号になる。時間周波数領域の観測信号ベクトルと源信号とを、それぞれyt,w、St,wとすると、両者の関係は式(98)で表せる。
Figure 2009110574
ここで、dt,w=[Dt,w (1),…,Dt,w (M)]τは雑音ベクトル、bはM次元のステアリングベクトル、Gk,wを室内伝達系に関するk次の回帰行列、Hは共役転置、τは非共役転置を表す。式(98)は、室内伝達系がw番目の周波数帯域において、Gk,wをk次の回帰行列にもつK次のMチャネル自己回帰系で表せることを意味している。式(99)は式(100)と式(101)に等価変換出来る。
Figure 2009110574
式(101)に示すように、vt,wは、0番目のタップ重み行列が単位行列でk番目(k≧1)のタップ重み行列が−Gk,wであるM入力M出力線形フィルタに、雑音ベクトルdt,wが入力され得られる出力信号である。すなわち、vt,wは、フィルタ処理された雑音であり、源信号に由来する成分を含まない。本実施形態では、これを単に雑音と呼ぶ。また、式(100)に示すように、φt,wは、源信号St,wとM次元のステアリングベクトルbとの積と、雑音ベクトルvt,wとの和である。以後φt,wを雑音重畳信号ベクトルと呼ぶ。また、式(99)に示すように、観測信号ベクトルyt,wは、k次の回帰行列がGk,wである自己回帰系に雑音重畳信号φt,wが入力されて得られる残響が重畳された信号である。
本実施形態では、残響パラメータgΘは、gΘ={{Gk,w}1≦k≦Kw}0≦w≦N-1と定義される。また、ステアリングベクトルの集合bΘ={bw}0≦w≦N-1も本実施形態におけるパラメータの一部である。さらに、源信号と雑音に関して、第1、2実施形態と同様に、以下の条件を仮定する。
《源信号のモデル》
源信号の短時間パワースペクトル密度はP次の全極型の関数で与えられる。すなわち、第tフレームにおける源信号のパワースペクトル密度は、式(102)で与えられる。
Figure 2009110574
ω∈[−π,π]は角周波数、at,kは線形予測係数、σ は予測残差パワーである。この信号源パラメータを用い、第tフレームの周波数帯域wにおける目的音短時間パワースペクトルλt,wは、式(104)で表せる。
Figure 2009110574
(t,w)≠(t,w)ならばSt1,w2とSt2,w2は統計的に独立である。源信号St,wは、平均0、分散が源信号短時間パワースペクトルλt,wに等しい複素正規分布に従う。すなわち、源信号St,wの確率密度関数は式(105)で与えられる。
Figure 2009110574
ただし、Θは、sΘ={at,1,…,at,P,sσt 2}0≦t≦T-1で定義される信号源パラメータである。また、N{x;μ,Σ}は、式(4)で定義される複素正規分布の確率密度関数である。
《雑音のモデル》
雑音は定常であると仮定すると、雑音の短時間パワースペクトル密度と短時間クロススペクトル密度は時不変である。すなわち、これらはフレーム番号tに依存しない。そこで、これらを式(106)のような行列で表現する。
Figure 2009110574
ここで、λ(m,m)(ω)はm番目のマイクロホンに関する雑音の短時間パワースペクトル密度、λ(m1,m2)(ω)はm番目のマイクロホンに関する雑音とm番目のマイクロホンに関する雑音の間のクロススペクトル密度である。w番目の周波数帯域における雑音短時間パワークロススペクトル行列Λは、式(107)により与えられる。
Figure 2009110574
(t,w)≠(t,w)ならばvt1,w1とvt2,w2も統計的に独立である。また、任意の(t,w,t,w)について、源信号St1,w1と雑音ベクトルvt2,w2は統計的に独立である。
雑音ベクトルvt,wは、平均O =[0,…,0]τ、共分散行列が雑音短時間パワークロススペクトル行列Λに等しいM次元複素正規分布に従う。すなわち、雑音ベクトルvt,wの確率密度関数は式(108)で与えられる。
Figure 2009110574
ただし、Θは、VΘ={vΛw}0≦w≦N−1で定義される雑音パラメータである。
したがって、本実施形態のパラメータΘは式(109)〜式(113)で定義される。
Figure 2009110574
雑音と残響を含む観測信号が入力された時に、本実施形態のパラメータ推定部は、上記パラメータΘを最尤推定する。さらに、式(102)と式(103)と式(104)に従って、信号源パラメータの推定値から源信号パワースペクトルの推定値を計算する。これらの推定値が源信号推定部に供給される。
また、回帰行列の推定値をGk,w^、ステアリングベクトルの推定値をb^、線形予測係数の推定値をat,k^、予測残差パワーの推定値をsσt2、源信号短時間パワースペクトルの推定値をλt,w^、雑音短時間パワークロススペクトル行列の推定値をΛ^とおく。
本実施形態の源信号推定部は、まず、式(114)に従って観測信号ベクトルyt,wから残響を抑圧して雑音重畳信号ベクトルの推定値残響抑圧信号φt,w^を求める。
Figure 2009110574
次に、源信号推定部は、残響抑圧信号φt,w^に対して多チャネルWienerフィルタを用い、式(115)に示すように源信号St,wの最小平均二乗誤差(MMSE)推定値を算出する。
Figure 2009110574
ここでF(・)は多チャネルWienerフィルタのゲインベクトルである。
《パラメータの対数尤度関数》
上記した源信号及び雑音と、観測信号ベクトルの生成モデル式(99)と式(100)とに基づき、パラメータΘの対数尤度関数
L(Θ;y)=log p(y|Θ) (117)
は、式(118)で表せる。
Figure 2009110574
ただし、φΛt,wは雑音重畳信号φt,wの共分散行列を表し、式(119)で与えられる。
Figure 2009110574
式(118)の導出過程を説明する。雑音重畳信号φt,wの共分散行列が式(119)になることは、例えば参考文献「伊藤信貴他“結晶型マイクロホンアレイを用いたポストフィルタ設計に基づく拡散性雑音抑圧”信学技報EA2008-13,pp.43-46,2008」に記載されている。
これと式(99)により、過去の観測信号ベクトルが与えられた下での観測信号ベクトルyt,wの条件付確率密度関数が、式(120)で与えられることが分る。
Figure 2009110574
したがって、すべての観測信号ベクトルの集合yについての確率密度関数は式(121)で表せる。ただし、y={yt,w}0≦t≦T-1,0≦w≦N-1である。
Figure 2009110574
式(121)の両辺の対数を取ることで対数尤度関数、式(118)が導かれる。
<本実施形態の構成及び処理>
図9は、第3実施形態の信号強調装置200の機能構成例を示すブロック図である。図10は、第3実施形態の処理を説明するためのフローチャートである。
本実施形態の信号強調装置200は、帯域分割部220と、パラメータ推定部310と、源信号推定部230と、制御部250と、帯域合成部240と、を有する。源信号推定部230は、線形フィルタ処理部231と非線形フィルタ処理部232とを含む。帯域分割部220と帯域合成部240とは、第1,2実施形態のものと同じである。信号強調装置200は、例えばROM、RAM、CPU等で構成されるコンピュータに所定のプログラムが読み込まれて、CPUがそのプログラムを実行することで実現される専用装置である。
帯域分割部220は、時間領域の観測信号を所定数の周波数帯域毎の観測信号ベクトルyt,w(0≦t≦T−1,0≦w≦N−1)に分割する(ステップS201)。パラメータ推定部310は、入力された観測信号ベクトルyt,wを用いて、残響を推定するための回帰行列Gk,wを含む残響パラメータgΘと、源信号を推定するための雑音短時間パワークロススペクトル行列Λを含む雑音パラメータvΘと、源信号短時間パワースペクトルλt,wを規定する信号源パラメータsΘと、ステアリングベクトルbの集合bΘの各真値をそれぞれ推定する(ステップS202)。
<ステップS202の詳細>
図11は、第3実施形態のパラメータ推定部310の機能構成例を示すブロック図である。また、図12は、第3実施形態のパラメータ推定処理を説明するためのフローチャートである。本実施形態のパラメータ推定部310は、未知のパラメータΘを最尤推定するために残響パラメータΘ、ステアリングベクトルΘ、信号源パラメータΘ、雑音パラメータΘのそれぞれの推定値を繰り返し更新する。
パラメータ推定部310は、観測信号記録部311と、パラメータ推定値初期化部312(「初期化部」に相当)と、源信号推定値更新部313と、信号源パラメータ推定値更新部314と、源信号パワースペクトル推定値更新部315と、残響パラメータ推定値更新部316と、ステアリングベクトル推定値更新部318と、雑音パラメータ推定値更新部319と、収束判定部317とを有する。
源信号推定値更新部313と、ステアリングベクトル推定値更新部318と、信号源パラメータ推定値更新部314とは、前述した第1更新部に含まれる。また、源信号パワースペクトル推定値更新部315と、雑音パラメータ推定値更新部319と、残響パラメータ推定値更新部316とは、前述した第2更新部に含まれる。
観測信号記録部311は、帯域分割部220で所定数の周波数帯域に分割された観測信号を記録する。観測信号記録部311は、観測区間中のすべての雑音残響重畳信号を記録する。そして、観測信号記録部311は、記録した観測信号を源信号推定値更新部313と残響パラメータ推定値更新部316とパラメータ推定値初期化部312とに出力する。
パラメータ推定値初期化部312は、入力された観測信号ベクトルyt,wを用いて、残響パラメータΘ、ステアリングベクトルΘ、信号源パラメータΘ、雑音パラメータΘの各初期値を設定する。また、制御部250が、繰り返し回数を示すインデックスiを0にする。
源信号推定値更新部313は、入力された観測信号ベクトルyt,wと、各パラメータの推定値の初期値Θ(0)^,Θ(0)^,Θ(0)^,Θ(0)^又は更新された各パラメータの推定値Θ(i)^,Θ(i)^,Θ(i)^,Θ(i)^を用いて、源信号の推定値St,w (i)^とその誤差分散と、雑音重畳信号の推定値φt,w (i)^を、それぞれSt,w (i+1)^とその誤差分散とφt,w (i+1)^に更新する(ステップS301)。St,w (i+1)^は式(115)を用い、φt,w (i+1)^は式(114)を用いて計算される。誤差分散は式(122)を用いて計算される。
Figure 2009110574
ステアリングベクトル推定値更新部318には、更新された源信号の推定値St,w (i+1)^と、雑音重畳信号の推定値φt,w (i+1)^とが入力される。ステアリングベクトル推定値更新部318は、これらを用い、式(123)に従って、更新されたステアリングベクトルの推定値を計算する。式(123)は、雑音ベクトルの平均がOであるとの仮定に基づいている。
Figure 2009110574
ここで、*は複素共役を表す。すべての周波数帯域w(0≦w≦N−1)に渡って式(123)が計算されることで、更新されたステアリングベクトルの推定値Θ(i+1)^が得られる(ステップS303)。
信号源パラメータ推定値更新部314は、源信号の推定値St,w (i+1)^のパワーとその誤差分散εt,w (i+1)を式(124)に示すように加算してパワースペクトルγt,w (i+1)を求める。
Figure 2009110574
そして、信号源パラメータ推定値更新部314は、求めたパワースペクトルγt,w (i+1)を用い、Levinson-Durbinアルゴリズムによって、信号源パラメータの推定値を更新する。Levinson-Durbinアルゴリズムは周知の方法であるので詳細な説明は省略するが、式(40)のVt,w (i)をγt,w (i+1)に置換し、式(36)から(40)の演算を行うことで、更新された信号源パラメータ(at,1 (i+1)^,…,at,P (i+1)^,σ 2(i+1)^)が算出される。そして、すべてのフレーム番号t(0≦t≦T−1)に渡ってこれらが計算されることで、更新された信号源パラメータΘ(i+1)^が得られる(ステップS304)。
源信号パワースペクトル推定値更新部315には、更新された信号源パラメータの推定値が入力される。源信号パワースペクトル推定値更新部315は、更新された信号源パラメータを用い、源信号の短時間パワースペクトルの推定値を更新する(ステップS305)。源信号の短時間パワースペクトルの更新された推定値λt,w (i+1)^は、式(102)と式(103)と式(104)を用いて計算される。
雑音パラメータ推定値更新部319には、更新された源信号の推定値St,w (i+1)^と雑音重畳信号の推定値φt,w (i+1)^とステアリングベクトルの更新値Θ(i+1)^とが入力される。雑音パラメータ推定値更新部319は、これらを用い、式(125)に従って、雑音短時間パワークロススペクトル行列の推定値Λ (i+1)を、すべての周波数帯域w(0≦w≦N−1)に渡って計算する。
Figure 2009110574
ここで、T′は十分小さい値であり、t=0からt=T′−1までの区間は、観測信号の冒頭部分である。本実施形態では、冒頭部分のT′フレーム(例えば0.3秒間)は雑音のみを含むものと仮定し、その区間に対する計算結果から雑音短時間パワークロススペクトル行列の推定値Λ (i+1)^を更新する(ステップS306)。
残響パラメータ推定値更新部316は、入力された観測信号ベクトルyt,wと、更新されたステアリングベクトルの推定値Θ(i+1)^と、源信号短時間パワースペクトルの推定値λt,w (i+1)^と、雑音短時間パワークロススペクトル行列の推定値Λ (i+1)^とを用い、残響パラメータの更新された推定値Θ(i+1)^を求める(ステップS307)。残響パラメータ推定値更新部316は、まず、w番目の周波数帯域における回帰行列の各成分を、式(126)と式(127)に示すように単一のベクトルにまとめる。
Figure 2009110574
式(126)と式(127)の右下の添え字は、それぞれの式が示す行列(あるいはベクトル)の大きさを表す。ここで、gk,w (m)は回帰行列Gk,wのm番目の列を表すものとする。以後gを回帰行列の成分ベクトルと呼ぶ。成分ベクトルgの全周波数帯域に渡る集合{g}0≦w≦W−1は残響パラメータΘに一致する。
次に、1フレーム前の観測信号行列MYt−1,wを式(128)のように定義する。
Figure 2009110574
これらを用い、式(130)に従って、回帰行列の成分ベクトルの更新後の推定値g (i+1)^が計算される。
Figure 2009110574
ここで、φΛt,w (i+1)^は式(119)でb=b (i+1)^,λt,wλt,w (i+1)^,ΛΛ (i+1)^として得られる値である。すべての周波数帯域w(0≦w≦N−1)に渡ってこれらが計算されることで残響パラメータの推定値の更新値Θ(i+1)^が得られる。
次に、以上のように更新された残響パラメータの推定値Θ(i+1)^と、ステアリングベクトルの推定値Θ(i+1)^と、信号源パラメータの推定値Θ(i+1)^と、雑音パラメータΘ(i+1)^とが、収束したか否か(終了条件を充足したか否か)を、収束判定部317が判定する(ステップS308)。例えば、収束判定部317は、繰り返し回数iが所定数に到達していれば収束していると判定しても良いし、上述の処理が繰り返されるたびに得られる対数尤度関数(式(118))の値の増分が、所定の閾値よりも小さければ収束していると判定しても良い。これらの値が収束するまでステップS302〜ステップS307の動作が繰り返され、所定の終了条件が満たされた場合、その時点での残響パラメータの推定値Θ^(i+1)と、ステアリングベクトルの推定値Θ(i+1)^、信号源パラメータの推定値Θ(i+1)^、雑音パラメータΘ(i+1)^とが、源信号推定部230に出力される。この際、パラメータ推定値記録部320にこのパラメータの推定値が記録されても良い(ステップS202の詳細の説明終わり)。
線形フィルタ処理部231は、観測信号ベクトルyt,wに回帰行列の推定値Gk,w^を畳み込み演算して残響を求める。そして、線形フィルタ処理部231は、求めた残響を観測信号ベクトルから減算して残響抑圧信号ベクトルφt,w^を生成する(ステップS203)。非線形フィルタ処理部232は、入力された雑音短時間パワークロススペクトル行列の推定値Λ^と源信号短時間パワースペクトルの推定値λt,w^とステアリングベクトルの推定値b^と残響抑圧信号φt,w^とを用いて、残響抑圧信号φt,w^から雑音を抑圧した源信号の推定値st,w^を生成する(ステップS204)。帯域合成部240は、源信号の推定値St,w^を合成して時間領域の源信号の推定値に変換する(ステップS205)。制御部250は、入力される時間領域の観測信号から、残響と雑音が抑圧された時間領域の源信号の推定値が生成されるように、上記各処理部を制御する。
以上のように信号強調装置200では、線形フィルタ処理部231が観測信号ベクトルyt,wに含まれる残響を抑圧して残響抑圧信号ベクトルφt,w^を生成し、その後に非線形フィルタ処理部232が残響抑圧信号から雑音を抑圧する。この時間領域の源信号の推定値は、観測信号ベクトルを線形フィルタ処理した後に非線形フィルタ処理して得られたものである。そのため、この時間領域の源信号の推定値は、雑音と残響とが十分抑圧された高品質な信号である。
なお、上記では、回帰次数(線形フィルタのフィルタ長)Kを一つの固定値として説明した。しかし、回帰次数が、周波数帯域の中心周波数に応じて変化しても良い。周波数帯域によって残響時間が異なることは良く知られている。例えば、室内音響の分野においては、500Hz以下の周波数帯域の残響時間が長いので、その周波数帯域では回帰次数Kを大きくし、それ以外の周波数帯域では回帰次数Kを小さくしてもよい。また、パラメータ推定部310内に回帰次数可変部301を備え、回帰次数可変部301が、周波数帯域に応じて回帰次数、つまり、線形フィルタ処理部231のフィルタ長を変化させてもよい。これにより、残響を効率的に抑圧することが可能になる。つまり、線形フィルタ処理部231の計算量を削減できる。このような変形は、前述の第1,2実施形態でも可能である。
〔実験結果〕
本実施形態の信号強調方法の効果を確認する目的で実験を行った。実験条件を説明する。源信号には、ASJ-JNASデータベースから抽出した10名(男性5名、女性5名)による発話を用いた。これらの音声を残響時間が約0.6秒の部屋でスピーカーから再生し、スピーカーから1.8m離して設置した2個のマイクロホンで録音した。また、同じ部屋、同じマイクロホンで、4箇所に設置したスピーカーから同時に再生したピンクノイズを録音した。その後、録音された残響音声と雑音をSN比が10dBとなるように加算したものを時間領域の観測信号として用いた。なお、録音時の標本化周波数は8kHzとした。
本実施形態の 帯域分割部の処理には、ポリフェーズフィルタバンク分析を用いた。帯域分割数は256、間引き率は128とした。
源信号の線形予測次数はP=12とした。回帰次数Kは、観測信号の周波数が100Hz未満ならばK=5、100Hz〜200HzならばK=10、200Hz〜1000HzならばK=30、1000Hz〜1500HzならばK=20、1500Hz〜2000HzならばK=15、2000Hz〜3000HzならばK=10、3000Hz以上ならばK=5とした。また、収束判定部は、繰り返し回数が3回で収束したと判定する。
以上の条件で、観測信号そのまま、実施形態1による源信号の推定値、本実施形態による源信号の推定値、のそれぞれの源信号からのMFCC距離の平均値を比較した。その結果は、順番に7.39、5.81、5.11であった。このようにこの発明の信号強調方法によるMFCC距離が最も近いという結果が得られた。
なお、本発明は上述の各実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
本発明の利用分野としては、例えば、音声認識システムやテレビ会議システム等での源音声信号の強調処理を例示できる。
その後、残響パラメータの推定値gΘ^(i)を用い、信号源パラメータの推定値をsΘ^(i+1)に更新する(ステップS113)。次に、更新された信号源パラメータの推定値sΘ^(i+1)を用い、残響パラメータの推定値をgΘ^(i+1) に更新する(ステップS114)。そして、所定の終了条件を満たすまで(ステップS115)、iを1ずつ増加させながら(ステップS116)、ステップS113とS114との処理を繰り返し、所定の終了条件が満たされた時点における信号源パラメータの推定値sΘ〜(i+1)を信号源パラメータの最終的な推定値sΘ^とし、残響パラメータ推定値gΘ^(i+1)残響パラメータの最終的な推定値gΘ^として出力する(ステップS117)。
の後、源信号推定部が、パラメータ推定部で計算された残響パラメータの最終的な推定値gΘ^を用いて生成した線形フィルタを観測信号に畳み込むことで観測信号に含まれる残響を推定し、それを観測信号から減算することで、残響が抑圧された信号を算出して出力する。
Lim, J. S. and Oppenheim, A. V. , "All-pole modeling of degraded speech," IEEE Trans. Acoust. Speech, Signal Process., Vol. 26, No. 3, pp.197-210 (1978). Yoshioka, T., Hikichi, T. and Miyoshi, M., "Dereverberation by Using Time-Variant Nature of Speech Production System, EURASIP J. Advances in Signal Process., Vol. 2007, (2007), Article ID 65698, 15 pages, doi:10.1155/2007/65698.
以上のように、本発明のパラメータ推定部では、第1更新部におけるパラメータの推定値の更新処理と、第2更新部におけるパラメータの推定値の更新処理を、互いに依存させながら繰り返して実行する。これにより、雑音と残響がともに存在する環境における観測信号から、雑音と残響を精度よく抑圧し、源信号を強調することができる。
終了判定条件部は、所定の終了条件が満たされているか否かを判定する。終了条件が満たされていない場合、第1更新部の処理に戻る。終了条件が満たされている場合、その時点おけるパラメータの推定値を出力する。
[信号源パラメータ及び残響パラメータの最尤推定]
前述のように、本実施形態では、観測された雑音残響重畳信号の集合のyから、未知のパラメータの真値Θが、最尤推定法によって推定される。すなわち、雑音残響重畳信号の集合yが与えられた場合におけるパラメータΘを変数とした尤度関数p(y|Θ)を最大化するΘが、真値Θの推定値となる。ただし、本実施形態では、雑音パラメータの真値dΘが源信号の存在しない区間から予め独立に推定され、既知となっている為Θ^={sΘ^,gΘ^, dΘ}であり、sΘ^とgΘ^が求められることになる。
また、尤度関数p(y|Θ)を最大化するsΘ^とgΘ^を同時に直接求めることはできないから、ECMアルゴリズムを用いてこれらが計算される。ECMアルゴリズムの処理の流れを以下に示す。以下の処理では、E−step、CM−step1、CM−step2の3つの処理が代わる代わる繰り返し実行される。そこで、i回目の繰り返しにおけるパラメータの推定値を上付きの添え字(i)を用いて示す。明確さを期するために述べると、Θ,Θ^,Θ^(i)はそれぞれ次のように定義される。
Figure 2009110574
《源信号短時間パワースペクトル推定値更新処理》
源信号短時間パワースペクトル推定値更新処では、信号源パラメータ推定値を用いて源信号のパワースペクトルの推定値を更新する。
ここで、dt,w=[Dt,w (1),…,Dt,w (M)]τは雑音ベクトル、bはM次元のステアリングベクトル、Gk,wを室内伝達系に関するk次の回帰行列、Hは共役転置、τは非共役転置を表す。式(98)は、室内伝達系がw番目の周波数帯域において、Gk,wをk次の回帰行列にもつK次のMチャネル自己回帰系で表せることを意味している。式(98)は式(99式(101)に等価変換出来る。
ω∈[−π,π]は角周波数、at,kは線形予測係数、σ は予測残差パワーである。この信号源パラメータを用い、第tフレームの周波数帯域wにおける源信号短時間パワースペクトルλt,wは、式(104)で表せる。
また、回帰行列の推定値をGk,w^、ステアリングベクトルの推定値をb^、線形予測係数の推定値をat,k^、予測残差パワーの推定値をsσt2、源信号短時間パワースペクトルの推定値をλt,w^、雑音短時間パワークロススペクトル行列の推定値をΛ^とおく。
本実施形態の源信号推定部は、まず、式(114)に従って観測信号ベクトルyt,wから残響を抑圧して雑音重畳信号ベクトルの推定値残響抑圧信号φt,w^を求める。
Figure 2009110574
雑音パラメータ推定値更新部319には、更新された源信号の推定値St,w (i+1)^と雑音重畳信号の推定値φt,w (i+1)^とステアリングベクトルの更新値Θ(i+1)^とが入力される。雑音パラメータ推定値更新部319は、これらを用い、式(125)に従って、雑音短時間パワークロススペクトル行列の推定値 Λ (i+1) を、すべての周波数帯域w(0≦w≦N−1)に渡って計算する。
式(126)と式(127)の右下の添え字は、それぞれの式が示す行列(あるいはベクトル)の大きさを表す。ここで、gk,w (m)は回帰行列Gk,wのm番目の列を表すものとする。以後gを回帰行列の成分ベクトルと呼ぶ。成分ベクトルgの全周波数帯域に渡る集合{g } 0≦w≦N−1 は残響パラメータΘに一致する。
次に、1フレーム前の観測信号行列MYt−1,wを式(128)のように定義する。

Claims (17)

  1. 観測された時間領域信号から変換された時間周波数領域の観測信号を格納する記憶部と、
    前記観測信号に含まれる残響の推定値を算出する線形畳み込み演算の回帰係数を含む残響パラメータ推定値と、源信号のパワースペクトルを特定する線形予測係数と予測残差パワーとの推定値を含む信号源パラメータ推定値と、雑音のパワースペクトルの推定値を含む雑音パラメータ推定値と、を含むパラメータ推定値の初期値を設定する初期化部と、
    前記観測信号と前記パラメータ推定値とが入力され、前記残響パラメータ推定値および雑音パラメータ推定値の少なくとも一部の更新処理、あるいは前記信号源パラメータ推定値の更新処理、のいずれか一方を実行するように構成され、当該更新処理が前記パラメータ推定値に関する対数尤度関数の値が増加するように実行される処理である、第1更新部と、
    前記第1更新部で得られたパラメータ推定値の更新値の少なくとも一部が入力され、前記残響パラメータ推定値および雑音パラメータ推定値の少なくとも一部の更新処理、あるいは前記信号源パラメータ推定値の更新処理のうち、前記第1更新部で実行されなかったものを実行するように構成され、当該更新処理が前記パラメータ推定値の更新値に関する対数尤度関数の値が増加するように実行される処理である、第2更新部と、
    終了条件が満たされるか否かを判定する終了条件判定部と、を有し、
    前記終了条件が満たされない場合、前記第1更新部と前記第2更新部の処理が再び実行される、信号強調装置。
  2. 請求項1の信号強調装置であって、
    前記時間領域信号が、M個のセンサで観測された信号であり、
    前記残響パラメータ推定値が、前記回帰係数を要素にもつM行M列の回帰行列推定値を含み、
    前記雑音パラメータ推定値が、前記雑音のパワースペクトルを対角要素とするM行M列の雑音パワークロススペクトル行列推定値を含み、
    前記パラメータ推定値が、前記残響パラメータ推定値と、前記信号源パラメータ推定値と、前記雑音パラメータ推定値と、M次元のステアリングベクトル推定値と、を含み、
    前記第1更新部が、
    源信号推定値更新部と、ステアリングベクトル推定値更新部と、信号源パラメータ推定値更新部と、を含み、
    前記源信号推定値更新部は、前記観測信号と前記パラメータ推定値とが入力され、雑音重畳信号推定値と、源信号推定値と、前記源信号推定値の誤差分散とを算出するように構成され、
    前記ステアリングベクトル推定値更新部は、前記雑音重畳信号推定値と前記源信号推定値とが入力され、ステアリングベクトル推定値の更新値を算出するように構成され、
    前記信号源パラメータ推定値更新部は、前記源信号推定値のパワーと前記誤差分散とを加算してパワースペクトルを算出し、前記パワースペクトルを用いて信号源パラメータ推定値の更新値を算出するように構成され、
    前記第2更新部が、源信号パワースペクトル推定値更新部と、雑音パラメータ推定値更新部と、残響パラメータ推定値更新部と、を含み、
    前記源信号パワースペクトル推定値更新部は、前記信号源パラメータ推定値の更新値が入力され、前記信号源パラメータ推定値の更新値に対応する源信号パワースペクトル推定値の更新値を算出するように構成され、
    前記雑音パラメータ推定値更新部は、前記源信号推定値と、前記雑音重畳信号推定値と、前記ステアリングベクトル推定値の更新値とが入力され、前記雑音パラメータ推定値の更新値を生成するように構成され、
    前記残響パラメータ推定値更新部は、前記観測信号と、前記ステアリングベクトル推定値の更新値と、前記源信号パワースペクトル推定値の更新値と、前記雑音パラメータ推定値の更新値とが入力され、前記回帰行列推定値の更新値を算出するように構成される、
    信号強調装置。
  3. 請求項2の信号強調装置であって、
    前記雑音パワークロススペクトル行列推定値のm行m列(m∈1,...,M)の要素が、m番目のセンサに対応する前記雑音のパワースペクトルであり、前記雑音パワークロススペクトル行列推定値のm1行m2列(m1,m2∈1,...,M)の要素が、m1番目のセンサに対応する前記観測信号の雑音と、m2番目のセンサに対応する前記観測信号の雑音との間のクロススペクトルであり、
    前記雑音重畳信号推定値が、それぞれの要素が各センサに対応する前記観測信号であるM次元ベクトルの非共役転置である観測信号ベクトルから、前記回帰行列推定値と前記観測信号ベクトルとの畳み込み演算結果を減じたM次元ベクトルであり、
    前記源信号推定値が、前記源信号パワースペクトル推定値と前記雑音パワークロススペクトル行列推定値と前記ステアリングベクトル推定値とに対応するWienerフィルタのゲインベクトルと、前記雑音重畳信号推定値と、の積であり、
    前記源信号推定値の誤差分散が、前記ステアリングベクトル推定値の非共役転置と前記雑音パワークロススペクトル行列推定値の逆行列と前記ステアリングベクトル推定値との積と、前記信号源パラメータ推定値に対応する源信号パワースペクトル推定値の逆数と、の加算値の逆数であり、
    前記ステアリングベクトル推定値の更新値が、前記源信号推定値の複素共役値と前記雑音重畳信号推定値との積和を、前記源信号推定値のパワーの積和で割ったベクトルであり、
    前記雑音パワークロススペクトル行列推定値の更新値が、前記雑音重畳信号推定値から前記源信号推定値と前記ステアリングベクトル推定値の更新値との積を減じた雑音ベクトルと、当該雑音ベクトルの共役転置との積和であり、
    前記回帰行列推定値の更新値の要素からなる成分ベクトルが、前記観測信号を要素とする観測信号行列の共役転置と雑音重畳信号の共分散行列の推定値の逆行列と前記観測信号行列との積和の逆行列と、前記観測信号行列の共役転置と雑音重畳信号の共分散行列の推定値の逆行列と前記観測信号ベクトルとの積和と、の積の共役転置であり、
    前記雑音重畳信号の共分散行列の推定値が、前記源信号パワースペクトル推定値の更新値と前記ステアリングベクトル推定値の更新値と前記ステアリングベクトル推定値の更新値の共役転置との積と、前記雑音パワークロススペクトル行列推定値の更新値との和である、信号強調装置。
  4. 請求項2の信号強調装置であって、
    前記残響パラメータ推定値又はその更新値に含まれる回帰行列推定値の回帰次数が、周波数帯域によって異なる、信号強調装置。
  5. 請求項2の信号強調装置であって、
    前記観測信号と残響パラメータ最終推定値とが入力され、前記観測信号ベクトルから、前記残響パラメータ最終推定値と前記観測信号との畳み込み演算結果を減じたM次元ベクトルである雑音重畳信号最終推定値を生成する線形フィルタ処理部と、
    信号源パラメータ最終推定値によって特定される源信号パワースペクトル最終推定値と、雑音パラメータ最終推定値に含まれる雑音パワークロススペクトル行列最終推定値と、ステアリングベクトル最終推定値と、前記雑音重畳信号最終推定値とが入力され、前記源信号パワースペクトル最終推定値と前記雑音パワークロススペクトル行列最終推定値と前記ステアリングベクトル最終推定値とに対応するWienerフィルタのゲインベクトルと、前記雑音重畳信号最終推定値と、の積を源信号最終推定値とする非線形フィルタ処理部と、を有し、
    前記残響パラメータ最終推定値、前記信号源パラメータ最終推定値、前記雑音パラメータ最終推定値、及び前記ステアリングベクトル最終推定値が、前記終了条件を満たした時点における前記回帰行列推定値の更新値、前記信号源パラメータ推定値の更新値、前記雑音パラメータ最終推定値の更新値、及び前記ステアリングベクトル推定値の更新値を含む、信号強調装置。
  6. 請求項1の信号強調装置であって、
    前記観測信号が1個のセンサで観測された信号であり、
    前記残響パラメータ推定値が、前記回帰係数の推定値を含み、
    前記雑音パラメータ推定値が、前記雑音のパワースペクトルの推定値を含み、
    前記パラメータ推定値が、前記信号源パラメータ推定値と、前記残響パラメータ推定値と、前記雑音パラメータ推定値と、を含み、
    前記第1更新部が、
    雑音抑圧処理部と、信号源パラメータ推定値更新部と、を含み、
    前記雑音抑圧処理部は、
    前記観測信号と前記パラメータ推定値とが入力され、所定の観測区間に属する前記観測信号の集合と前記パラメータ推定値との組合せを前提条件とした前記観測区間に属する残響重畳信号の集合の条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)を特定する複素正規分布の平均及び共分散行列を算出するように構成され、
    前記残響重畳信号が、前記観測信号から雑音が取り除かれた信号であり、
    前記信号源パラメータ推定値更新部は、
    前記残響パラメータ推定値と、前記複素正規分布の平均及び共分散行列とが入力され、 信号源パラメータ推定値の更新値を算出するように構成され、
    前記信号源パラメータ推定値の更新値は、残響パラメータが前記残響パラメータ推定値に固定された条件下で、第1補助関数値を最大化する値であり、
    前記第1補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第2パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第2パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値であり、
    前記第2更新部が、
    前記信号源パラメータ推定値の更新値と、前記複素正規分布の平均及び共分散行列とが入力され、残響パラメータ推定値の更新値を算出するように構成された残響パラメータ推定値更新部を含み、
    前記残響パラメータ推定値の更新値は、信号源パラメータが前記信号源パラメータ推定値の更新値に固定された条件下で、第2補助関数値を最大化する値であり、
    前記第2補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値の更新値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第3パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第3パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値である、信号強調装置。
  7. 請求項1の信号強調装置であって、
    前記時間領域信号が、M個のセンサで観測された信号であり、Mが2以上であり、
    前記残響パラメータ推定値が、前記回帰係数を要素にもつM行M列の回帰行列推定値を含み、
    前記雑音パラメータ推定値が、前記雑音のパワースペクトルの推定値を対角要素とする、M行M列の雑音パワークロススペクトル行列推定値を含み、
    前記パラメータ推定値が、前記信号源パラメータ推定値と、前記残響パラメータ推定値と、前記雑音パラメータ推定値と、を含み、
    前記第1更新部が、雑音抑圧処理部と、信号源パラメータ推定値更新部と、を含み、
    前記雑音抑圧処理部は、
    前記観測信号と前記パラメータ推定値とが入力され、所定の観測区間に属する前記観測信号の集合と前記パラメータ推定値との組合せを前提条件とした前記観測区間に属する前記残響重畳信号の集合の条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)を特定する複素正規分布の平均及び共分散行列を算出するように構成され、
    前記残響重畳信号が、前記観測信号から雑音が取り除かれた信号であり、
    前記信号源パラメータ推定値更新部は、
    前記残響パラメータ推定値と、前記複素正規分布の平均及び共分散行列とが入力され、信号源パラメータ推定値の更新値を算出するように構成され、
    前記信号源パラメータ推定値の更新値は、残響パラメータが前記残響パラメータ推定値に固定された条件下で、第1補助関数値を最大化する値であり、
    前記第1補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第2パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第2パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値であり、
    前記第2更新部が、
    前記信号源パラメータ推定値の更新値と、前記複素正規分布の平均及び共分散行列とが入力され、残響パラメータ推定値の更新値を算出するように構成された残響パラメータ推定値更新部を含み、
    前記残響パラメータ推定値の更新値は、信号源パラメータが信号源パラメータ推定値の更新値に固定された条件下で、第2補助関数値を最大化する値であり、
    前記第2補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値の更新値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第3パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第3パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値である、信号強調装置。
  8. 請求項6又は7の信号強調装置であって、
    前記雑音パラメータ推定値は、前記雑音の確率分布を示す複素正規分布の分散である、前記雑音のパワースペクトルの推定値を含み、前記残響重畳信号の集合の条件付事後分布p(残響重畳信号の集合|観測信号,パラメータ推定値)の共分散行列のスケールは、前記雑音の確率分布を示す複素正規分布の分散に対して単調増加する値である、信号強調装置。
  9. 請求項6又は7の信号強調装置であって、
    前記観測信号と、前記終了条件を満たした場合の前記第3パラメータ推定値とが入力され、前記源信号の推定値を生成する源信号推定部を有し、
    前記源信号推定部は、
    前記観測信号と、前記終了条件を満たした場合の前記第3パラメータ推定値とが入力され、前記残響重畳信号の集合の条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の平均を残響重畳信号最終推定値として算出する残響重畳信号推定部と、
    前記残響重畳信号最終推定値と、前記終了条件を満たした場合の前記第3パラメータ推定値が含む前記第2残響パラメータ推定値とが入力され、前記残響重畳信号最終推定値から、前記残響重畳信号最終推定値と当該第2残響パラメータ推定値に含まれる回帰係数又は回帰行列との畳み込み演算結果を減じ、源信号最終推定値を生成する線形フィルタ適用部と、を有する、信号強調装置。
  10. 請求項6又は7の信号強調装置であって、
    前記雑音成分のパワースペクトルの推定値が、前記源信号が存在しないと推定される区間の前記観測信号から推定された値である、信号強調装置。
  11. 請求項6又は7の信号強調装置であって、
    前記残響パラメータ推定値及び前記残響パラメータ推定値の更新値に含まれる回帰行列推定値の回帰次数が、周波数帯域によって異なる、信号強調装置。
  12. (A) 観測された時間領域信号から変換された時間周波数領域の観測信号を記録部に格納するステップと、
    (B) 初期化部において、前記観測信号に含まれる残響の推定値を算出する線形畳み込み演算の回帰係数を含む残響パラメータ推定値と、源信号のパワースペクトルを特定する線形予測係数と予測残差パワーとの推定値を含む信号源パラメータ推定値と、雑音のパワースペクトルの推定値を含む雑音パラメータ推定値と、を含むパラメータ推定値の初期値を設定するステップと、
    (C) 前記観測信号と前記パラメータ推定値とを第1更新部に入力し、当該第1更新部において、前記残響パラメータ推定値および雑音パラメータ推定値の少なくとも一部の更新処理、あるいは前記信号源パラメータ推定値の更新処理、のいずれか一方を、前記パラメータ推定値に関する対数尤度関数の値が増加するように実行するステップと、
    (D) 前記ステップ(C)で得られたパラメータ推定値の更新値の少なくとも一部を第2更新部に入力し、当該第2更新部において、残響パラメータ推定値および雑音パラメータ推定値の少なくとも一部の更新処理、あるいは前記信号源パラメータ推定値の更新処理のうち、前記ステップ(C)で実行されなかったものを、前記パラメータ推定値の更新値に関する対数尤度関数の値が増加するように実行するステップと、
    (E) 終了条件判定部において、終了条件が満たされるか否かを判定するステップと、を有し、
    前記終了条件が満たされない場合、前記第1更新部と前記第2更新部の処理が再び実行される、信号強調方法。
  13. 請求項12の信号強調方法であって、
    前記時間領域信号が、M個のセンサで観測された信号であり、
    前記残響パラメータ推定値が、前記回帰係数を要素にもつM行M列の回帰行列推定値を含み、
    前記雑音パラメータ推定値が、前記雑音のパワースペクトルを対角要素とするM行M列の雑音パワークロススペクトル行列推定値を含み、
    前記パラメータ推定値が、前記残響パラメータ推定値と、前記信号源パラメータ推定値と、前記雑音パラメータ推定値と、M次元のステアリングベクトル推定値と、を含み、
    前記第1更新部が、
    源信号推定値更新部と、ステアリングベクトル推定値更新部と、信号源パラメータ推定値更新部と、を含み、
    前記ステップ(C)が、
    (C-1) 前記源信号推定値更新部において、前記観測信号と前記パラメータ推定値とが入力され、雑音重畳信号推定値と、源信号推定値と、前記源信号推定値の誤差分散とを算出するステップと、
    (C-2) 前記ステアリングベクトル推定値更新部において、前記雑音重畳信号推定値と前記源信号推定値とが入力され、ステアリングベクトル推定値の更新値を算出するステップと、
    (C-3) 前記信号源パラメータ推定値更新部において、前記源信号推定値のパワーと前記誤差分散とを加算してパワースペクトルを算出し、前記パワースペクトルを用いて信号源パラメータ推定値の更新値を算出するステップと、を含み、
    前記第2更新部が、源信号パワースペクトル推定値更新部と、雑音パラメータ推定値更新部と、残響パラメータ推定値更新部とを含み、
    前記ステップ(D)が、
    (D-1) 前記信号源パラメータ推定値の更新値を前記源信号パワースペクトル推定値更新部に入力し、前記源信号パワースペクトル推定値更新部において、前記信号源パラメータ推定値の更新値に対応する源信号パワースペクトル推定値の更新値を算出するステップと、
    (D-2) 前記源信号推定値と、前記雑音重畳信号推定値と、前記ステアリングベクトル推定値の更新値を前記雑音パラメータ推定値更新部に入力し、前記雑音パラメータ推定値更新部において、前記雑音パラメータ推定値の更新値を生成するステップと、
    (D-3)前記観測信号と、前記ステアリングベクトル推定値の更新値と、前記源信号パワースペクトル推定値の更新値と、前記雑音パラメータ推定値の更新値とを前記残響パラメータ推定値更新部に入力し、前記残響パラメータ推定値更新部において、前記回帰行列推定値の更新値を算出するステップと、を含む、信号強調方法。
  14. 請求項12の信号強調方法であって、
    前記時間領域信号が1個のセンサで観測された信号であり、
    前記残響パラメータ推定値が、前記回帰係数の推定値を含み、
    前記雑音パラメータ推定値が、前記雑音のパワースペクトルの推定値を含み、
    前記パラメータ推定値が、前記信号源パラメータ推定値と、前記残響パラメータ推定値と、前記雑音パラメータ推定値と、を含み、
    前記第1更新部が、
    雑音抑圧処理部と、信号源パラメータ推定値更新部と、を含み、
    前記ステップ(C)が、
    (C-1) 前記観測信号と前記パラメータ推定値とを前記雑音抑圧処理部に入力し、前記雑音抑圧処理部において、所定の観測区間に属する前記観測信号の集合と前記パラメータ推定値との組合せを前提条件とした前記観測区間に属する残響重畳信号の集合の条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)を特定する複素正規分布の平均及び共分散行列を算出するステップと、
    (C-2) 前記残響パラメータ推定値と、前記複素正規分布の平均及び共分散行列とを前記信号源パラメータ推定値更新部に入力し、前記信号源パラメータ推定値更新部において、信号源パラメータ推定値の更新値を算出するステップと、を含み、
    前記残響重畳信号が、前記観測信号から雑音が取り除かれた信号であり、
    前記信号源パラメータ推定値の更新値は、残響パラメータが前記残響パラメータ推定値に固定された条件下で、第1補助関数値を最大化する値であり、
    前記第1補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第2パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第2パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値であり、
    前記第2更新部が、残響パラメータ推定値更新部を含み、
    前記ステップ(D)が、
    前記信号源パラメータ推定値の更新値と、前記複素正規分布の平均及び共分散行列とを前記残響パラメータ推定値更新部に入力し、前記残響パラメータ推定値更新部において、前記残響パラメータ推定値の更新値を算出するステップを含み、
    前記残響パラメータ推定値の更新値は、信号源パラメータが前記信号源パラメータ推定値の更新値に固定された条件下で、第2補助関数値を最大化する値であり、
    前記第2補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値の更新値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第3パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第3パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値である、信号強調方法。
  15. 請求項12の信号強調方法であって、
    前記時間領域信号が、M個のセンサで観測された信号であり、Mが2以上であり、
    前記残響パラメータ推定値が、前記回帰係数を要素にもつM行M列の回帰行列推定値を含み、
    前記雑音パラメータ推定値が、前記雑音のパワースペクトルの推定値を対角要素とする、M行M列の雑音パワークロススペクトル行列推定値を含み、
    前記パラメータ推定値が、前記信号源パラメータ推定値と、前記残響パラメータ推定値と、前記雑音パラメータ推定値と、を含み、
    前記第1更新部が、雑音抑圧処理部と、信号源パラメータ推定値更新部と、を含み、
    前記ステップ(C)が、
    (C-1) 前記観測信号と前記パラメータ推定値とを前記雑音抑圧処理部に入力し、前記雑音抑圧処理部において、所定の観測区間に属する前記観測信号の集合と前記パラメータ推定値との組合せを前提条件とした前記観測区間に属する前記残響重畳信号の集合の条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)を特定する複素正規分布の平均及び共分散行列を算出するステップと、
    (C-2) 前記残響パラメータ推定値と、前記複素正規分布の平均及び共分散行列を前記信号源パラメータ推定値更新部に入力し、前記信号源パラメータ推定値更新部ににおいて、信号源パラメータ推定値の更新値を算出するステップと、を含み、
    前記残響重畳信号が、前記観測信号から雑音が取り除かれた信号であり、
    前記信号源パラメータ推定値の更新値は、残響パラメータが前記残響パラメータ推定値に固定された条件下で、第1補助関数値を最大化する値であり、
    前記第1補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第2パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第2パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値であり、
    前記第2更新部が、残響パラメータ推定値更新部を含み、
    前記ステップ(D)が、
    前記信号源パラメータ推定値の更新値と、前記複素正規分布の平均及び共分散行列とを前記残響パラメータ推定値更新部に入力し、前記残響パラメータ推定値更新部において、前記残響パラメータ推定値の更新値を算出するステップを含み、
    前記残響パラメータ推定値の更新値は、信号源パラメータが前記信号源パラメータ推定値の更新値に固定された条件下で、第2補助関数値を最大化する値であり、
    前記第2補助関数値が、前記観測信号の集合と前記残響重畳信号の集合とが与えられたときの、前記残響パラメータの推定値の更新値と、前記信号源パラメータ推定値の更新値と、前記雑音パラメータ推定値とを含む第3パラメータ推定値に関する尤度関数値p(観測信号の集合,残響重畳信号の集合|第3パラメータ推定値)の対数関数と、前記条件付事後分布p(残響重畳信号の集合|観測信号の集合,パラメータ推定値)の積を、当該残響重畳信号の集合について積分した関数の関数値である、信号強調方法。
  16. 請求項12から15の何れかの信号強調方法の各ステップをコンピュータに実行させるためのプログラム。
  17. 請求項16のプログラムを格納したコンピュータ読み取り可能な記録媒体。
JP2010501966A 2008-03-06 2009-03-05 信号強調装置、その方法、プログラム及び記録媒体 Active JP5124014B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010501966A JP5124014B2 (ja) 2008-03-06 2009-03-05 信号強調装置、その方法、プログラム及び記録媒体

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2008056757 2008-03-06
JP2008056757 2008-03-06
JP2008214066 2008-08-22
JP2008214066 2008-08-22
JP2010501966A JP5124014B2 (ja) 2008-03-06 2009-03-05 信号強調装置、その方法、プログラム及び記録媒体
PCT/JP2009/054215 WO2009110574A1 (ja) 2008-03-06 2009-03-05 信号強調装置、その方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2009110574A1 true JPWO2009110574A1 (ja) 2011-07-14
JP5124014B2 JP5124014B2 (ja) 2013-01-23

Family

ID=41056126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010501966A Active JP5124014B2 (ja) 2008-03-06 2009-03-05 信号強調装置、その方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US8848933B2 (ja)
JP (1) JP5124014B2 (ja)
CN (1) CN101965613B (ja)
WO (1) WO2009110574A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4880036B2 (ja) * 2006-05-01 2012-02-22 日本電信電話株式会社 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置
JP5550456B2 (ja) * 2009-06-04 2014-07-16 本田技研工業株式会社 残響抑圧装置、及び残響抑圧方法
JP5129794B2 (ja) * 2009-08-11 2013-01-30 日本電信電話株式会社 目的信号強調装置とその方法と、プログラム
JP5172797B2 (ja) * 2009-08-19 2013-03-27 日本電信電話株式会社 残響抑圧装置とその方法と、プログラムと記録媒体
JP5561195B2 (ja) * 2011-02-07 2014-07-30 株式会社Jvcケンウッド ノイズ除去装置およびノイズ除去方法
JP5699844B2 (ja) * 2011-07-28 2015-04-15 富士通株式会社 残響抑制装置および残響抑制方法並びに残響抑制プログラム
US8706657B2 (en) * 2011-10-13 2014-04-22 National Instruments Corporation Vector smoothing of complex-valued cross spectra to estimate power spectral density of a noise signal
US8943014B2 (en) 2011-10-13 2015-01-27 National Instruments Corporation Determination of statistical error bounds and uncertainty measures for estimates of noise power spectral density
US8712951B2 (en) 2011-10-13 2014-04-29 National Instruments Corporation Determination of statistical upper bound for estimate of noise power spectral density
US9754608B2 (en) * 2012-03-06 2017-09-05 Nippon Telegraph And Telephone Corporation Noise estimation apparatus, noise estimation method, noise estimation program, and recording medium
JP5689844B2 (ja) * 2012-03-16 2015-03-25 日本電信電話株式会社 スペクトル推定装置、その方法及びプログラム
CN102592606B (zh) * 2012-03-23 2013-07-31 福建师范大学福清分校 一种补偿小空间听音声环境的均衡信号处理方法
US9237391B2 (en) * 2012-12-04 2016-01-12 Northwestern Polytechnical University Low noise differential microphone arrays
CN103886867B (zh) * 2012-12-21 2017-06-27 华为技术有限公司 一种噪声抑制装置及其方法
CN105122359B (zh) * 2013-04-10 2019-04-23 杜比实验室特许公司 语音去混响的方法、设备和系统
CN105849804A (zh) * 2013-12-23 2016-08-10 美国亚德诺半导体公司 过滤噪声的计算高效方法
DK2916321T3 (en) * 2014-03-07 2018-01-15 Oticon As Processing a noisy audio signal to estimate target and noise spectral variations
CN104459509B (zh) * 2014-12-04 2017-12-29 北京中科新微特科技开发股份有限公司 测量待测器件的热阻的方法
CN105791722B (zh) * 2014-12-22 2018-12-07 深圳Tcl数字技术有限公司 电视机声音调整方法及电视机
WO2017094862A1 (ja) * 2015-12-02 2017-06-08 日本電信電話株式会社 空間相関行列推定装置、空間相関行列推定方法および空間相関行列推定プログラム
JP6677662B2 (ja) 2017-02-14 2020-04-08 株式会社東芝 音響処理装置、音響処理方法およびプログラム
JP6748304B2 (ja) * 2017-08-04 2020-08-26 日本電信電話株式会社 ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
EP3460795A1 (en) * 2017-09-21 2019-03-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal processor and method for providing a processed audio signal reducing noise and reverberation
US10481831B2 (en) * 2017-10-02 2019-11-19 Nuance Communications, Inc. System and method for combined non-linear and late echo suppression
US10572770B2 (en) * 2018-06-15 2020-02-25 Intel Corporation Tangent convolution for 3D data
CN111489760B (zh) * 2020-04-01 2023-05-16 腾讯科技(深圳)有限公司 语音信号去混响处理方法、装置、计算机设备和存储介质
CN113689869A (zh) * 2021-07-26 2021-11-23 浙江大华技术股份有限公司 语音增强方法、电子设备以及计算机可读存储介质
CN113469388B (zh) * 2021-09-06 2021-11-23 江苏中车数字科技有限公司 轨道交通车辆维保系统及方法
CN113840034B (zh) * 2021-11-29 2022-05-20 荣耀终端有限公司 声音信号处理方法和终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257583A (ja) 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
SE521024C2 (sv) * 1999-03-08 2003-09-23 Ericsson Telefon Ab L M Metod och anordning för att separera en blandning av källsignaler
JP2005249816A (ja) * 2004-03-01 2005-09-15 Internatl Business Mach Corp <Ibm> 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム
JP4586577B2 (ja) * 2005-03-02 2010-11-24 株式会社国際電気通信基礎技術研究所 外乱成分抑圧装置、コンピュータプログラム、及び音声認識システム
JP4690912B2 (ja) * 2005-07-06 2011-06-01 日本電信電話株式会社 目的信号区間推定装置、目的信号区間推定方法、プログラム及び記録媒体
JP2007235646A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 音源分離装置、方法及びプログラム
JP4774100B2 (ja) * 2006-03-03 2011-09-14 日本電信電話株式会社 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
JP4880036B2 (ja) * 2006-05-01 2012-02-22 日本電信電話株式会社 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置

Also Published As

Publication number Publication date
WO2009110574A1 (ja) 2009-09-11
CN101965613A (zh) 2011-02-02
CN101965613B (zh) 2013-01-02
JP5124014B2 (ja) 2013-01-23
US8848933B2 (en) 2014-09-30
US20110044462A1 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
Wang et al. Complex spectral mapping for single-and multi-channel speech enhancement and robust ASR
EP1993320B1 (en) Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium
Kinoshita et al. Suppression of late reverberation effect on speech signal using long-term multiple-step linear prediction
Tan et al. Real-time speech enhancement using an efficient convolutional recurrent network for dual-microphone mobile phones in close-talk scenarios
CN108172231B (zh) 一种基于卡尔曼滤波的去混响方法及系统
JP5227393B2 (ja) 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体
Yoshioka et al. Integrated speech enhancement method using noise suppression and dereverberation
US20080294432A1 (en) Signal enhancement and speech recognition
Xiao et al. The NTU-ADSC systems for reverberation challenge 2014
EP3685378B1 (en) Signal processor and method for providing a processed audio signal reducing noise and reverberation
JP2010282193A (ja) 残響抑圧装置、及び残響抑圧方法
Lv et al. A permutation algorithm based on dynamic time warping in speech frequency-domain blind source separation
CN111312275B (zh) 一种基于子带分解的在线声源分离增强系统
Zhao et al. Robust speech recognition using beamforming with adaptive microphone gains and multichannel noise reduction
JP6348427B2 (ja) 雑音除去装置及び雑音除去プログラム
Song et al. An integrated multi-channel approach for joint noise reduction and dereverberation
JP4348393B2 (ja) 信号歪み除去装置、方法、プログラム及びそのプログラムを記録した記録媒体
Chen et al. A dual-stream deep attractor network with multi-domain learning for speech dereverberation and separation
Yoshioka et al. Dereverberation by using time-variant nature of speech production system
CN113160842B (zh) 一种基于mclp的语音去混响方法及系统
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction
Gomez et al. Robustness to speaker position in distant-talking automatic speech recognition
US20230306980A1 (en) Method and System for Audio Signal Enhancement with Reduced Latency
Prasad et al. Two microphone technique to improve the speech intelligibility under noisy environment

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5124014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350