JP4462063B2 - 音声処理装置 - Google Patents

Description

本発明は、例えば複数のマイクロホン素子で観測した音声や音楽や各種雑音が混合した信号から、目的とする音のみを復元する音源分離技術に属する。

従来より、マイクロホン素子を複数使って、音源の方向を推定する音源定位技術があった。従来の音源定位技術として、死角形成型音源定位技術と、音声のスパース性を利用した音源定位技術の二つが存在する。

死角形成型音源定位技術は、判定対象の方向以外に存在する音源方向に死角を形成し、判定対象の方向の音のみを抽出することで、方向毎の音のパワーを算出する。そして、その方向毎の音のパワーから音源方向を推定する。死角形成型音源定位技術は、音源数がマイク数を下回る場合、高精度に音源方向を推定できることが知られている。（例えば、非特許文献１参照）。

音声のスパース性を利用した音源定位技術とは、同じ時間に複数の音源が同じ周波数成分を保持する確率は低いという前提に立ち、各帯域分割信号を、ある一つの方向に全て割り当てることで、方向毎の音のパワーを算出し、その方向毎の音のパワーから音源方向を推定する手法である（例えば、特許文献１参照）。

特開２００３−２７１１６７号公報

大賀寿郎, 山崎芳男, 金田豊, "音響システムとディジタル処理," 電子情報通信学会,pp.203-209,1995/3/25

従来の死角形成型音源定位技術では、音源数がマイク数より多い場合に音源定位性能が劣化するという課題があった。
また従来の音声のスパース性を利用した音源定位技術は、死角形成型音源定位技術と比べ、音源数がマイク数より多い場合の音源定位性能の劣化は少ないが、原理的に同じ時間に同じ周波数成分を複数の音源が共有する確率が低いという前提が成立しない場合に、性能の劣化が生じる。
音源の中に、音楽などの音声以外の音源が含まれる場合、同じ時間に同じ周波数成分を複数の音源が共有する確率が高くなってしまい、性能の劣化が生じるという課題がある。

帯域分割して得られる帯域分割信号が複数の音源が重複している信号であるか一つの音源だけからなる信号であるかを判定する音源重複判定部を持つ。
具体的には、チャネル毎に複数の周波数帯域に分割されたマイクロホンアレーからの信号から音源方向を推定する音源定位部と、推定された音源方向毎に上記帯域分割信号を強調する音源分離部と、強調された帯域分割信号と上記推定された音源方向の情報を用いて、帯域毎に複数または単数の音源からの信号であるか判定する音源重複判定部とを有し、単数の音源からの帯域分割信号と判断された信号を用いて音源探索を行う音声処理装置。

本発明では、複数の音源が重複しているかどうかを判定し単一の音源が鳴っている帯域分割信号のみを音源定位に用いることで、複数の音源が重複し音源の方向情報が失われた帯域成分を使わない。よって従来技術と比べ、音声や音楽の鳴っている方向を高精度に知ることができる。

本発明の実施の形態について図面を用いて説明する。図１は、本発明の音声処理装置の基本構成図である。マイクロホンアレイ１は複数のマイク構成され音信号を収録する。マイクロホンアレイ１で収録した音信号は帯域分割部２に送られる。帯域分割部２では、マイク毎に音信号を短時間フーリエ変換し、帯域分割信号に変換する。帯域分割部２で帯域分割された音信号は、音源定位部３に送られる。音源定位部３では、帯域ごとに音源方向を推定し、帯域ごとの音源方向を出力する。音源分離部４では、音源定位部３が出力した音源方向の音を帯域毎に強調し抽出し、出力する。音源重複量推定部５では、音源分離部４が出力する帯域毎の強調信号と帯域分割部２が出力する帯域分割信号から、帯域毎に信号が複数の音源が混合した信号であるか単一音源だけからなる信号であるかを判定する指標である音源重複量を計算する。

音源重複判定部６は、音源重複量推定部５が出力する音源重複量尺度から帯域毎に信号が複数の音源が混合した信号であるか単一音源だけからなる信号であるかを判定する。音源方向探索部７では、音源重複判定部６で単一音源だけからなる信号であると判定された帯域分割信号の音源方向だけを用いて、音源方向を探索し、探索した音源方向を出力する。音源方向の探索時に、複数の音源が混合した帯域分割信号を用いると、正しい音源方向を推定することが困難になる。音源方向探索部７は、単一音源だけからなる帯域分割信号のみを用いて、音源方向を探索することができ、高精度に音源方向を推定することが可能となる。尚、図１に示したマイクロホンアレイ以外の各部はコンピュータの制御部にプログラムを読み込むことによって実現される。又は、ハードウェア、ハードとソフトの協調処理によって実現されるものであってもよい。

各処理部ごとに処理の詳細を説明する。マイクロホンアレイ部1は音圧信号x(t)を観測する。
帯域分割部２はx(t)に短時間フーリエ変換を施し、x(f:τ)を得る。τは短時間フーリエ変換のフレームインデックスで、ｆは周波数である。音源方向dのみから音が伝達する場合、x(f:τ)=ad(f)S(f:τ)とできる。ad(f)は音の空間伝達特性と呼ばれ、音が空間を伝わってマイクまで伝播する際の、振幅の減衰と位相の遅延を考慮してモデル化することができる。

はad(f)を振幅の減衰と位相の遅延を考慮してモデル化したものである。ここで、rd,iは音源dからマイクiまでの距離で、τd,iは、音源dから発せられた音がマイクiに到達するまでにかかる時間である。Dは音源数とする。

は、帯域分割信号ごとに音源方向を求める式である。音源定位部3では、数２にしたがい、時間τ、周波数ｆごとに音源方向jτ:fを求める。ここで、Λは音源をサーチする音源方向集合である。

は、音源定位部３が推定した帯域分割信号ごとの音源方向から、その音源方向の信号を抽出する式である。音源分離部４では、数３にしたがい、帯域毎に、音源方向jτ:f方向の音だけ分離し抽出する。

は、音源分離部４が分離出力した帯域分割信号ごとの音源方向と強調処理する前の信号の差を計算することで、抽出した音源以外の音源の重複量を計算する式である。音源重複量推定部５では、数４に従い、τ、ｆごとに音源重複量を推定する。x(f:τ)が単一の音源からなる場合、数４は−∞になる。またx(f:τ)が複数の音源からなる場合、数４は有限の値を取る。複数の音源が重複するほど、数４は大きい値を取る。音源重複判定部６では、τ、ｆごとに、音源重複量推定部５で推定した音源重複量が予め定められた値以下となる場合に、音源重複が無いと判定する。

は、音源重複量が予め定められた値以下となった、帯域分割信号のみ利用した方向毎の音のパワーを計算する式である。ｊ＜Λであり、P(j)は方向ごとの音源パワースペクトルである。Pthは、音源重複量推定部５で用いる音源重複量のいき値である。音源方向探索部７では、音源重複判定部６が重複がないと判定したτ、ｆのx(f:τ)を用いて、数５を使って方向毎の音のパワーを計算し、方向毎の音のパワーから音源方向を推定する。P(j-1)<P(j)<P(j+1)が成立する音源パワースペクトルP(j)だけを取り出し、P(j)を降順に整列させる。その降順に整列させたP(j)のうち大きいものから予め定めた音源数分だけ取り出し、取り出したP(j)のjを音源方向として出力する。

図２は本発明の音声処理装置と妨害音抑圧装置を組み合わせた装置の構成図である。目的音抽出部８では、予め設定しておいた方向、もしくはユーザからの別途入力手段を介した指定方向から到来する音声成分を帯域分割部の出力信号から抽出する。P(j)のjの空間的な音源方向をD(j)とする。予め定める理想的な目的音方向D0とする。目的音抽出部８では、j_0=argmax| D(j)- D0|を推定目的音方向(以後目的音方向)とし、それ以外の音源方向を妨害音方向とする。以後、x(f:τ)=x(f)と短時間フーリエ変換のフレームインデックスを省略する。そして目的音方向に指向性を持つ二つの線形フィルタを入力信号にかける。

ここで,Ωを妨害音集合とし、d0を目的音、S0(f)を目的音成分、N0(f)をd番目の妨害音成分とする。目的音方向に指向性を持つ二つの線形フィルタg,hを入力信号にかけた後の出力信号から、目的音のみを抽出した信号と、妨害音のみを抽出した信号を、

で算出することができる。y(1)(f)は目的音のみを抽出した信号で、y(2)(f)は妨害音のみを抽出した信号である。g,hは、各妨害音について少なくとも１つの線形フィルタが死角を形成する線形フィルタ対であり、かつ２つの線形フィルタの出力パワーの期待値の積が最も小さくなるような線形フィルタ対であるとする。これら二つの線形フィルタg,hの出力信号を用いて、

で、目的音だけを分離し、抽出する。数７は、目的音を強調した信号から、妨害音のみを抽出した信号をパワースペクトル領域で引くことで、目的音のパワーを高精度に復元するための式である。目的音抽出部８は、数７を使い、目的音を強調した信号を抽出する。

波形生成部９では、目的音抽出部８で抽出した音声成分を逆フーリエ変換して波形を生成し、出力する。
この実施例の構成に基づく妨害音抑圧装置は、目的音や妨害音の方向が未知であり、妨害音数がマイク数より多い場合であっても、高精度に妨害音を抑圧することができる。

本発明の基本構成の一実施例を示す図。 本発明と妨害音抑圧手法を組み合わせた一実施例の詳細を表すブロック図。

符号の説明

１・・・マイクロホンアレイ、２・・・帯域分割部、３・・・音源定位部、４・・・音源分離部、５・・・音源重複量推定部、６・・・音源重複判定部、７・・・音源方向探索部、８・・・目的音抽出部、９・・・波形生成部。

Claims (3)

1. 少なくとも２チャネル以上のマイクロホン素子を持つマイクロホンアレーと、
   前記マイクロホンアレーからの信号をチャネル毎に複数の周波数帯域に分割する帯域分割部と、
   下記数１に示される式により、前記帯域分割された帯域分割信号から音源方向を推定する音源定位部と、
   

   

   （τ 時間、ｆ 周波数、ｊτ：ｆ 音源方向、Λ 音源をサーチする音源方向集合）
   上記推定された音源方向毎に上記帯域分割信号を強調する音源分離部と、
   下記数２に示される式により、前記強調された音源帯域信号と前記帯域分割部から出力される音源帯域信号の差を計算し、該差の大きさを音源分離部が出力する信号の大きさで割った値を算出する音源重複量推定部と、
   

   

   前記算出された音源重複量が予め設定された値以上であるかを判断し、該帯域分割信号が複数または単数の音源からの信号であるか判定する音源重複判定部と、
   上記単数の音源からの帯域分割信号と判断された信号を用いて音源探索を行う音源探索部とを有することを特徴とする音声処理装置。
2. 上記音源方向探索部からの出力に基づいて、特定方向からの信号を上記帯域分割部から出力される音源帯域信号から抽出する目的音抽出部と、
   上記抽出された音源帯域信号の波形を生成して出力する波形生成部とを用いることを特徴とする請求項１記載の音声処理装置。
3. 前記推定された音源重複量が、予め定められた値以下となる場合に音源重複が無いと判定することを特徴とする請求項１記載の音声処理装置。

Images