JP6463904B2 - 信号処理装置及び音源分離方法及びプログラム - Google Patents

Description

本発明は、音源分離技術に関するものである。

ビデオカメラや最近ではデジタルカメラにおいても動画撮影ができるようになり、同時に音声が収音（録音）される機会が増えてきている。音声収音時に撮影対象以外の音声が混入してしまうという問題がある。そこで複数の音源からの音声が混合した音響信号から所望の信号だけを抽出する研究、例えばビームフォーマや独立成分分析（ＩＣＡ）などの複数のマイクロフォン信号を使ったアレイ信号処理による音源分離技術の研究が広く行われている。

しかし、従来のアレイ信号処理による音源分離技術にはマイクロフォンの数よりも多くの音源を同時に分離できないという問題（劣決定問題）がある。その問題を解決した手法として多チャネルウィーナーフィルタ（Multi-Channel Wiener Filter）を用いた音源分離方法が知られている（非特許文献１）。

この非特許文献１について簡単に説明する。Ｊ個の音源から発せられる音源信号ｓｊ（ｊ＝１，２,…,Ｊ）をＭ（≧２）個のマイクロフォンで収音する状況を考える。ここでは説明の簡単のためマイクロフォンの数を２とする。２個のマイクロフォンで観測された観測信号Ｘは、次のように書ける。

ここで、[]^Tは行列の転置を表し、ｔは時間を表す。
観測信号を時間周波数変換すると、

となる（ｆは周波数ビンを表し、ｎはフレーム数を表す(ｎ＝１,２,…,Ｎ)）。

音源からマイクロフォンまでの伝達特性をｈｊ（ｆ）、マイクロフォンで観測される音源ごとの信号(以下、ソースイメージと呼ぶ)をｃｊ（ｎ,ｆ）とすると、観測信号は以下のように各音源の信号の重ね合わせとして書ける。

ここで音源位置は収音時間中は移動せず、音源からマイクロフォンまでの伝達特性ｈｊ（ｆ）は時間で変化しないことを仮定している。

さらにソースイメージの相関行列をＲcj（ｎ,ｆ）、音源信号の時間周波数ビンごとの分散をｖｊ（ｎ,ｆ）、また音源ごとの時間によらない空間相関行列をＲj（ｆ）として、以下の関係が成り立つものと仮定する。

ただし、

ここで()Ｈはエルミート転置を表す。

以上の関係を用いて、観測信号が全ての音像の重ね合わせとして観測される確率が与えられ、そこからＥＭアルゴリズムを用いてパラメータ推定が行われる。

上記計算を反復して行う事により、音源分離を行うための多チャネルウィーナーフィルタを生成するためのパラメータＲｃｊ（ｎ,ｆ）（＝ｖｊ（ｎ,ｆ）＊Ｒｊ（ｆ））、Ｒｘ（ｎ,ｆ）を求めることができる。算出されたパラメータを用いて音源ごとの観測信号であるソースイメージｃｊ（ｎ，ｆ）の推定値は以下のように出力される。

N.Q.K.Duong, E.Vincent, R.Gribonval, "Under-Determied Reverberant Audio Source Separation Using a Full-rank Spatial Covariance Model", IEEE transactions on Audio, Speech and Language Processing, vol.18, No.7, pp.1830-1840, September 2010.

上記従来の手法は空間相関行列を安定して求めるために収音時間中は音源位置が移動しないと仮定している。そのため例えば音源と収音装置の相対的な位置が変化する場合（例えば音源自体が移動している場合、あるいはマイクロフォンアレイなどの収音装置が回転や移動する場合）には安定した音源分離ができないという問題がある。

本発明は上述した問題を解決するためになされたものであり、音源と収音装置の相対的な位置が変化する場合においても安定して音源分離を可能ならしめる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の信号処理装置は以下の構成を備える。すなわち、
収音手段により収音を行うことで得られる複数チャネルの音響信号を取得する取得手段と、
特定の音源と前記収音手段との位置関係を検出する検出手段と、
前記検出手段により検出される前記特定の音源と前記収音手段との位置関係に応じた調整量で、前記取得手段により取得される音響信号に対する位相調整を実行する第１位相調整手段と、
前記第１位相調整手段により前記位相調整が実行された音響信号から前記特定の音源に対応する音響信号を分離する音源分離手段と、
前記音源分離手段により分離された前記特定の音源に対応する音響信号に対して、前記第１位相調整手段によって実行された前記位相調整とは逆の位相調整を実行する第２位相調整手段とを有する。

本発明によれば、音源と収音装置の相対的な位置関係が変わった場合でも安定して音源分離ができる。

第１の実施形態における音源分離装置のブロック構成図。 位相調整の説明するための図。 第１の実施形態における処理手順を示すフローチャート。 第２の実施形態における音源分離装置のブロック構成図。 収音部の回転の説明するための図。 第２の実施形態における処理手順を示すフローチャート。 第３の実施形態における音源分離装置のブロック構成図。 第３の実施形態における処理手順を示すフローチャート。

以下、添付の図面を参照して、本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
図１は第１の実施形態に係る音源分離装置１０００のブロック構成図である。この音源分離装置１０００は、収音部１０１０と撮像部１０２０、フレーム分割部１０３０、ＦＦＴ部１０４０、相対位置変化検出部１０５０、位相調整部１０６０を有する。また、この装置１０００は、パラメータ推定部１０７０、分離フィルタ生成部１０８０、音源分離部１０９０、逆位相調整部１１００、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０を備える。

収音部１０１０は、複数のマイクロフォンで構成されるマイクロフォンアレイであり、複数の音源から発される音源信号を収音する。収音した複数チャネルの音響信号をＡ／Ｄ変換してフレーム分割部１０３０へ出力する。

撮像部１０２０は、動画像あるいは静止画像を撮影するカメラであって、撮像した画像信号を相対位置変化検出部１０５０へ出力する。ここでは、撮像部１０２０は例えば３６０度旋回可能なカメラであり、常に音源位置を監視できるものとする。また撮像部１０２０と収音部１０１０は位置関係が固定されているものとする。すなわち、撮像部１０２０の撮像方向の変更（パンチルト値の変更）にともなって収音部１０１０の方向も変更する。

フレーム分割部１０３０は、入力された信号に対して、少しずつ時間区間をずらしながら窓関数をかけ、所定の時間区間ごとに信号を切り出し、フレーム信号としてＦＦＴ部１０４０へ出力する。ＦＦＴ部１０４０は、入力されたフレーム信号ごとにＦＦＴ（Fast Fourier Transform）を行う。つまり入力信号をチャネルごとに時間周波数変換したスペクトログラムが位相調整部１０６０へ出力される。

相対位置変化検出部１０５０は、入力された画像信号から例えば画像認識技術を用いて時間ごとに変化する音源と収音部１０１０との相対的な位置関係を検出する。例えば、撮像部１０２０によって撮像された画像のフレーム内における、顔認識技術により音源となる被写体の顔の位置を検出する。また、例えば、時間ごとに変化する撮像部１０２０の撮像方向の変化量（パン・チルト値の変化量）を取得することにより、音源と収音部１０１０との変化量を検出してもよい。ここで音源位置を検出する頻度はフレーム分割部１０３０における切り出し区間のずらし量と同じであることが望ましい。しかし、音源位置を検出する頻度と切り出し区間のずらし量が異なる場合、例えば音源位置の検出信号を切り出し区間のずらし量と合うように相対的な位置関係を補間あるいはリサンプリングすればよい。検出された収音部１０１０と音源の相対的な位置関係は位相調整部１０６０へ出力される。ここで相対的な位置関係とは例えば収音部１０１０に対する音源の方向（角度）を指す。

位相調整部１０６０は、入力された周波数スペクトルに対して、位相調整を行う。位相調整の一例を図２を用いて説明する。マイクロフォンはＬ₀とＲ₀の２チャネルとし、図２（ａ）に示すように音源Ａと収音部１０１０の相対位置がθ(ｔ)で時間ともに変化するものとする。音源位置がマイクロフォンＬ₀およびＲ₀の間隔に比べて十分に離れているとすると、マイクロフォンＬ₀とマイクロフォンＲ₀に届く信号の位相差Ｐ_diff（ｎ）は、下記のように表すことができる。

ここでfは周波数を表し、ｄはマイクロフォン間の距離、ｃは音速、ｔ_nはｎ番目のフレームに相当する時刻をそれぞれ表す。

位相調整部１０６０ではマイクロフォンＲ₀の信号に対し、Ｌ₀とＲ₀の位相差がなくなるようにＰ_diffをキャンセルする補正を行う。

ここでＸ_RはマイクロフォンＲ₀での観測信号を表し、Ｘ_Rcompは位相を調整された信号を表す。つまりフレームごとに位相調整を施すことで、時間ごとのチャネル間位相差は変化しなくなるため、図２（ｂ）に示すように移動する音源をあたかも正面方向に固定された音源Ａ_FIXとして扱う事ができる。

音源が複数の場合には音源ごとに位相調整が行われる。つまり音源Ａと音源Ｂがあった場合、音源Ａの相対位置変化を補正した信号と音源Ｂの相対位置変化を補正した信号がそれぞれ生成される。位相調整された信号はパラメータ推定部１０７０および音源分離部１０９０へ出力し、また補正した位相調整量を逆位相調整部１１００へ出力する。

パラメータ推定部１０７０は、入力された位相調整された信号に対してＥＭアルゴリズムを用いて、音源ごとに空間相関行列Ｒｊ（ｆ）および分散ｖｊ（ｎ,ｆ）、相関行列Ｒｘｊ（ｎ,ｆ）を推定する。

ここでパラメータ推定について簡単に説明する。収音部１０１０は自由空間におかれた２つのマイクロフォンＬ₀とＲ₀とし、２音源（ＡとＢ）の場合を考える。音源Ａは収音部１０１０に対して時刻ｔ_nにおいてθ(ｔ_n)の位置関係にあるとし、音源ＢはΦ(ｔ_n)の位置関係にあるものとする。位相調整部１０６０から入力された音源ごとに位相調整された信号をそれぞれＸ_A、Ｘ_Bとする。音源Ａおよび音源Ｂはそれぞれ位相調整により正面方向（０度）に音源が固定化されたものとする。

まず、位相調整された信号ＸＡを用いてパラメータ推定を行う。音源Ａは０度方向に固定化されているため空間相関行列Ｒ_Aは以下のように初期化される。

ここで、ｈ_Aは正面方向へのアレイ・マニホールドベクトルを表す。アレイ・マニホールドベクトルは１番目のマイクロフォンを基準点とし、音源方向をΘとすると、

となる。ここで音源Ａは０度方向であるため、ｈ_A=［1 1］^T となる。一方、音源Ｂは以下のように初期化される。

ｈ'_Bは、音源Ａは０度方向に固定化した状態における音源Ｂのアレイ・マニホールドベクトルであり、次のように書ける。

δ（ｆ）は例えば以下のような値を用いる。

また音源Ａの分散ｖ_Aおよび音源Ｂの分散ｖ_Bは例えばｖ_A＞０、ｖ_B＞０となるようなランダムな値で初期化する。

音源Ａに関するパラメータを以下のように推定する。ＥＭアルゴリズムを用いた推定が行われる。

ここでｔｒ（）行列の対角成分の和を表す。

続いて算出した空間相関行列Ｒ_A(ｆ)を固有値分解する。ここで固有値を大きい順にＤ_A1、Ｄ_A2とする。

続いて位相調整された信号Ｘ_Bを用いてパラメータ推定を行う。音源Ｂは０度方向に固定化されているため以下のように初期化される。

ｈ_Bは正面方向へのアレイ・マニホールドベクトルを表し、ｈ_B=［1 1］^T となる。音源Ａは以下のように初期化される。

ここで、音源Ａのアレイ・マニホールドベクトルｈ'_Aは、次のように書ける。

またｈ'_A⊥はｈ'_Aと直交するベクトルを表す。

後は、音源Ａの時と同様にＥＭアルゴリズムを用いてｖ_B（n,f），Ｒ_B(f)を算出する。

このように音源ごとに異なる位相調整を施した信号（Ｘ_A、Ｘ_B）を用いて反復計算することによりパラメータを推定する。ここで反復回数は所定の回数または尤度の変化が十分に小さくなるまで行う。

推定した分散ｖｊ（ｎ,ｆ）および空間相関行列Ｒｊ（ｆ）、相関行列Ｒｘｊ（ｎ,ｆ）は分離フィルタ生成部１０８０へ出力される。ｊは音源番号を表し、本実施形態においてはｊ＝Ａ、Ｂとなる。

分離フィルタ生成部１０８０は、入力されたパラメータを用いて入力信号を分離すための分離フィルタを生成する。例えば音源ごとの空間相関行列Ｒｊ（ｆ）および分散ｖｊ（ｎ,ｆ）、相関行列Ｒｘｊ（ｎ,ｆ）から下記の多チャネルウィーナーフィルタＷＦｊを生成する。

音源分離部１０９０は、分離フィルタ生成部１０８０で生成された分離フィルタをＦＦＴ部１０４０から出力された信号に適応する。

フィルタリングによって得られた信号Ｙｊ（ｎ,ｆ）は逆位相調整部１１００へ出力される。

逆位相調整部１１００は、入力された分離音信号にたいして、位相調整部１０６０で調整した位相をキャンセルするように位相調整を行う。つまり固定化された音源を再度移動しているように信号の位相を調整する。例えば位相調整部１０６０においてＲ₀側の信号の位相がγだけ調整されたとすると、逆位相調整部１１００ではＲ₀側の信号の位相が-γ調整される。位相調整を行った信号は逆ＦＦＴ部１１１０へ出力される。

逆ＦＦＴ部１１１０は、入力された位相調整された周波数スペクトルをＩＦＦＴ（Inverse Fast Fourier Transform）を行い時間波形信号に変換する。変換した時間波形信号はフレーム結合部１１２０へ出力される。フレーム結合部１１２０は、入力されたフレームごとの時間波形信号を重複させながら結合し、出力部１１３０へ出力する。出力部１１３０は、入力された分離音信号を例えば記録装置などに出力する。

次に信号処理のフローを図３を用いて説明する。はじめに収音部１０１０および撮像部１０２０は収音および撮像処理を行う（Ｓ１０１０）。収音部１０１０は収音した音響信号をフレーム分割部１０３０へ出力し、撮像部１０２０は撮像した、収音部１０１０周辺の画像信号を相対位置変化検出部１０５０へ出力する。

続いて、フレーム分割部１０３０は音響信号のフレーム分割処理を行い、フレーム分割された音響信号をＦＦＴ部１０４０へ出力する（Ｓ１０２０）。ＦＦＴ部１０４０は、フレーム分割された信号に対してＦＦＴ処理を行う、ＦＦＴ処理の施された信号を位相調整部１０６０へ出力する（Ｓ１０３０）。

相対位置変化検出部１０５０は、収音部１０１０と音源の時間ごとの相対的な位置関係を検出し、検出された収音部１０１０と音源の時間ごとの相対的な位置関係を示す譲歩ｙを、位相調整部１０６０へ出力する（Ｓ１０４０）。位相調整部１０６０は、信号の位相調整を行う（Ｓ１０５０）。音源ごとに位相調整された信号はパラメータ推定部１０７０および音源分離部１０９０へ出力され、位相調整量は逆位相調整部１１００へ出力される。

パラメータ推定部１０７０は、音源分離フィルタを生成するためのパラメータを推定する(Ｓ１０６０)。Ｓ１０６０のパラメータ推定は、Ｓ１０７０の反復終了判定で反復が終了するまで繰り返し行われ、反復が終了すると、パラメータ推定部１０７０は推定したパラメータを分離フィルタ生成部１０８０へ出力する。分離フィルタ生成部１０８０は、入力したパラメータに従い、分離フィルタを生成し、生成した多チャネルウィーナーフィルタを音源分離部１０９０へ出力する（Ｓ１０８０）。

続いて、音源分離部１０９０は音源分離処理を行う（Ｓ１０９０）。すなわち、音源分離部１０９０は、入力された位相調整された信号に多チャネルウィーナーフィルタをかけ、信号を分離する。分離された信号は逆位相調整部１１００へ出力される。

続いて、逆位相調整部１１００は、入力された分離音信号に対し、位相調整部１０６０において調整した位相を元に戻す逆位相調整処理を行い、逆位相調整された信号を逆ＦＦＴ部１１１０へ出力する（Ｓ１１００）。逆ＦＦＴ部１１１０は、逆ＦＦＴ処理（ＩＦＦＴ処理）を行う、その処理結果をフレーム結合部１１２０へ出力する（Ｓ１１１０）。

フレーム結合部１１２０は、逆ＦＦＴ部１１１０から入力されたフレームごとの時間波形信号を結合するフレーム結合処理を行い、結合された分離音の時間波形信号を出力部１１３０へ出力する（Ｓ１１２０）。出力部１１３０は入力した、分離音の時間波形信号を出力する（Ｓ１１３０）。

以上のようにして、音源と収音部の相対的な位置が変化する場合においても音源と収音部の相対位置を検出し、入力信号の位相を音源ごとに調整することで安定して音源分離することが可能となる。

本実施形態において収音部１０１０は２チャネルとしたが、これは説明を簡便にするためであり、マイクロフォン数は２チャネル以上であればよい。また、本実施形態において撮像部１０２０は全方位を撮影できる全方位カメラとしたが、音源である被写体を常に監視できる状況であればよく、通常のカメラであってもよい。撮影場所が例えば屋内のように壁面などで区切られた空間である場合、撮像部が部屋の隅に設置されればカメラは室内全体を撮影できる画角があればよく、全方位カメラである必要はない。

また本実施形態において収音部と撮像部は固定されているものとしたが、独立に動くようになっていてもよい。その場合はさらに収音部および撮像部の位置関係を検出する手段を備え、検出された位置関係によってその位置関係を補正するようにする。例えば撮像部が回転雲台に設置され収音部は回転雲台の台座部分(回転しない)に固定されているような場合、音源位置を回転雲台の回転量を用いて補正するようにすればよい。

本実施形態において相対位置変化検出部１０５０では人物の発話を音源と仮定し、顔認識技術によって音源と収音部との位置関係を検出した。しかし、音源は例えばスピーカや自動車など人物以外のものでもよく、そのような場合、相対位置変化検出部１０５０は入力された画像に対してオブジェクト認識を行い、音源と収音部との位置関係を検出するようにすればよい。

本実施形態において音響信号は収音部から入力され、撮像部から入力された画像から相対位置変化を検出した。しかし音響信号と信号を収音した収音装置と音源との相対的な位置関係が両方ともハードディスクなどの記録媒体に記録されている場合、記録媒体からデータを読みこむようにしてもよい。つまり本実施形態の収音部の代わりに音響信号入力部を備え、撮像部の代わりに相対位置関係入力部を備え、音響信号と相対位置関係を記憶装置から読み込むような構成であってもよい。

本実施形態において相対位置変化検出部１０５０は撮像部１０２０を備え、撮像部１０２０から取得した画像から収音部１０１０と音源の位置関係を検出した。しかし収音部１０１０と音源の相対的な位置関係を検出できるような手段であれば手段は問わない。例えば音源と収音部それぞれにＧＰＳ（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）を装備し、相対位置変化検出をしてもよい。

本実施形態において位相調整部はＦＦＴ部の後で処理を行ったが、位相調整部はＦＦＴ部の前であってもよく、その場合、位相調整部は信号の遅延を調整するようにすればよい。また逆位相調整部および逆ＦＦＴ部にも同様に順番は逆であってもよい。

本実施形態において位相調整部ではＲ₀側の信号に対してのみ位相調整を施したが、Ｌ₀側の信号に対して位相調整を施してもよいし、両方の信号に対して位相調整を施してもよい。また位相調整部では音源の位置固定化において音源位置を０度方向に固定したが、他の角度に音源位置が固定するように位相調整してもよい。

本実施形態において収音部は自由空間におかれたマイクロフォンを仮定したが、筐体の影響を含む環境におかれていてもよい。その場合、方向ごとの筐体の影響を含む伝達特性をあらかじめ測定し、その伝達特性をアレイ・マニホールドベクトルとして用いて計算をするとよい。その場合、位相調整部や逆位相調整部では位相だけでなく振幅も調整される。

本実施形態においてアレイ・マニホールドベクトルは１番目のマイクロフォンを基準点として作成したが、基準点はどこでもよく、例えば１番目と２番目のマイクロフォンの中間点を基準点としてもよい。

［第２の実施形態］
図４は第２の実施形態に係る音源分離装置２０００のブロック構成図である。本装置２０００は、収音部１０１０、フレーム分割部１０３０、ＦＦＴ部１０４０、位相調整部１０６０、パラメータ推定部１０７０、分離フィルタ生成部１０８０、音源分離部１０９０、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０をゆする。また、この装置２０００は、回転検出部２０５０、パラメータ調整部２１４０を有する。

収音部１０１０、フレーム分割部１０３０、ＦＦＴ部１０４０、音源分離部１０９０、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０は、先に説明した第１の実施形態とほぼ同様のため、それらの説明は省略する。

本第２の実施形態においては、収音時間中に音源は移動しないものとし、収音部１０１０がユーザのハンドリングなどにより回転し、収音部１０１０と音源の相対位置が時間変化する状況を考える。ここで収音部１０１０の回転とは収音部１０１０のパンやチルト、ロール動作によるマイクロフォンアレイの回転を指す。例えば図５（ａ）に示すように収音部であるマイクロフォンアレイが位置固定の音源Ｃ₁に対して（Ｌ₀、Ｒ₀）の状態から（Ｌ₁、Ｒ₁）の状態に回転すると、図５（ｂ）のように、マイクロフォンアレイからは音源がＣ₂からＣ₃へ移動したように見える。

回転検出部２０５０は、例えば加速度センサからなり、収音時間中の収音部１０１０の回転を検出する。回転検出部２０５０は、検出した回転量を例えば角度情報として位相調整部１０６０へ出力する。

位相調整部１０６０は入力された収音部１０１０の回転量とパラメータ推定部１０７０から入力された音源方向から位相調整を行う。音源方向は一番初めのみ音源ごとに任意の方向を初期値として与えるようにする。例えば音源方向がαで収音部１０１０の回転量がβ(ｎ)とすると、チャネル間の位相差は以下のようになる。

位相調整部１０６０は、上記のチャネル間位相差の位相調整を行い、位相調整した信号をパラメータ推定部１０７０に出力し、位相調整量をパラメータ調整部２１４０へ出力する。パラメータ推定部１０７０は位相調整された信号に対してパラメータ推定を行う。

パラメータ推定方法は第１の実施形態とほぼ同様である。ただし、本第２の実施形態ではさらに推定された空間相関行列Ｒｊ（ｆ）の主成分分析を行い、音源方向γ’を推定する。ここで位相調整部１０６０において音源を固定化した方向をγとすると、α＋γ’−γを音源方向として位相調整部１０６０へ出力する。推定した分散ｖｊ（ｆ,ｎ）および空間相関行列Ｒｊ（ｆ）はパラメータ調整部２１４０へ出力される。

パラメータ調整部２１４０は、入力した空間相関行列Ｒｊ（ｆ）および位相調整量を用いて、時間変化する空間相関行列Ｒｊ_new（ｎ，ｆ）を算出する。例えばＲチャネルの位相調整量をη(ｎ,ｆ)とすると、

とすることでフィルタ生成に使用するパラメータを調整する。

パラメータ調整部２１４０は調整した空間相関行列Ｒｊnew（ｎ,ｆ）および分散ｖｊ（ｎ,ｆ）を分離フィルタ生成部１０８０へ出力する。分離フィルタ生成部１０８０は、これを受けて、以下のように分離フィルタを生成する。

そして、分離フィルタ生成部１０８０は、生成したフィルタを音源分離部１０９０へ出力することになる。

続いて本第２の実施形態における信号処理フローを図６を用いて説明する。はじめに、収音部１０１０が収音処理、回転検出部２０５０が収音部１０１０の回転量の検出処理を行う（Ｓ２０１０）。収音部１０１０は、収音された音響信号をフレーム分割部１０３０へ出力する。回転検出部２０５０は、検出した収音部１０１０の回転量を示す情報を位相調整部１０６０へ出力する。続くフレーム分割（Ｓ２０２０）およびＦＦＴ処理（Ｓ２０３０）は第１の実施形態とほぼ同様のため説明を省略する。

位相調整部１０６０は、位相調整処理を行う（Ｓ２０４０）。すなわち、位相調整部１０６０は、入力された信号に対する、パラメータ推定部１０７０から入力された音源位置および収音部１０１０の回転量から位相調整量を算出し、ＦＦＴ部１０４０から入力された信号に対して位相調整処理を行う。そして、位相調整部１０６０は、位相調整後の信号をパラメータ推定部１０７０へ出力する。

続いてパラメータ推定部１０７０は、音源分離パラメータの推定を行う（Ｓ２０５０）。そいて、パラメータ推定部１０７０は、続く反復終了か否かの判断する（Ｓ２０６０）。反復終了しない場合は、パラメータ推定部１０７０は、推定された音源位置は位相調整部１０６０に出力し、位相調整（Ｓ２０４０）とパラメータ推定（Ｓ２０５０）を再度行う。反復終了と判断した場合、位相調整部１０６０は位相調整量をパラメータ調整部２１４０へ出力する。またパラメータ推定部１０７０は推定したパラメータをパラメータ調整部２１４０へ出力する。

続いてパラメータ調整部２１４０はパラメータの調整を行う（Ｓ２０７０）。すなわち、パラメータ調整部２１４０は、入力した位相調整量を用いて推定した音源分離パラメータである空間相関行列Ｒｊ（ｆ）の調整を行う。調整された空間相関行列Ｒｊnew(ｎ,ｆ)および分散ｖｊ（ｎ,ｆ）は分離フィルタ生成部１０８０へ出力される。

後続する音源分離フィルタ生成（Ｓ２０８０）および音源分離処理（Ｓ２０９０）、逆ＦＦＴ処理（Ｓ２１００）、フレーム結合処理（Ｓ２１１０）、出力（Ｓ２１２０）については第１の実施形態とほぼ同様のため説明を省略する。

以上のようにして、音源と収音部の相対的な位置が変化する場合においても音源と収音部の相対位置を検出することで安定して音源分離することが可能となる。つまり、位相を調整した信号からパラメータを推定し、推定したパラメータをさらに調整した位相の量を鑑みて補正することで安定して音源分離フィルタを生成することができる。

本第２の実施形態では回転検出部２０５０を加速度センサとしたが、回転量を検出できる装置であればよく、ジャイロセンサや角速度センサあるいは方位を検出する磁気センサであってもよい。また第１の実施形態と同様に撮像部を備え、画像から回転角を検出するようにしてもよい。また収音部が回転雲台等に固定されている場合、回転雲台の回転角を検出するようになっていてもよい。

［第３の実施形態］
図７は第３の実施形態における音源分離装置３０００のブロック構成図である。この装置３０００は収音部１０１０とフレーム分割部１０３０、ＦＦＴ部１０４０、回転検出部２０５０、パラメータ推定部３０７０、分離フィルタ生成部１０８０、音源分離部１０９０、逆ＦＦＴ部１１１０、フレーム結合部１１２０、出力部１１３０を備える。

パラメータ推定部３０７０以外のブロックは先に説明した第１の実施形態とほぼ同じため説明を省略する。本第３の実施形態においても第２の実施形態と同様に収音時間中に音源は移動しないものとする。

パラメータ推定部３０７０は、回転検出部２０５０からの収音部１０１０の回転量を示す情報、および、ＦＦＴ部１０４０から入力された信号を用いて、パラメータ推定を行う。推定のＥＭアルゴリズムにおいてＥステップおよびＭステップの（３）〜（６）については従来通り算出する。

空間相関行列算出の方法を以下に示す。時間変化する空間相関行列Ｒｊ（ｎ，ｆ）を次式に従って算出する。

算出されたＲｊ（ｎ，ｆ）を固有値分解（主成分分析）することにより、時間ごとの音源方向θｊ（ｎ,f）が算出可能である。音源方向算出の方法は、固有値分解により算出された固有値のうち最も大きい固有値に対応する固有ベクトルの要素間の位相差から音源方向を算出する。続いて算出された音源方向θｊ（ｎ,ｆ）について回転検出部２０５０から入力された収音部１０１０の回転の影響を取り除く。例えば収音部１０１０の回転量をω（ｎ）とすると、相対的な音源位置の変化量は−ω（ｎ）となる。つまり音源位置θｊ_comp（ｎ,ｆ）＝θｊ（ｎ,ｆ）＋ω（ｎ）が回転がなかった場合の音源方向となる。続いて算出したθｊ_comp（ｎ,ｆ）について以下のように時間方向に重み付き平均をとる。

ここでは算出される音源方向θｊ_comp（ｎ,ｆ）は分散ｖｊ（ｎ,ｆ）が小さくなると（信号振幅が小さくなると）誤った方向を算出する可能性が大きくなるため、ｖｊ（ｎ,ｆ）の重み付き平均をとっている。

算出した方向θｊ_ave(f)に対して回転による音源の見かけ上の移動を再度加味し、音源方向：

を以下のように算出する。

続いてＲｊ（ｎ,ｆ）の固有値分解で算出した固有値を大きい順にそれぞれＤ₁（ｎ,ｆ）、Ｄ₂（ｎ,ｆ）とし、その比率ｇj(ｆ)を以下のように算出する。

そして、

及び、ｇj(ｆ)から空間相関行列Ｒｊ（ｎ,ｆ）を以下のように更新する。

ここで

は更新された空間相関行列を表し、

は、

方向に対するアレイ・マニホールドベクトルを表す。

また空間相関行列はエルミート行列であるため固有ベクトル同士は直交する。そのため、

は、

と直交するベクトルであり、以下のような関係にある。

以上のようにパラメータ推定部３０７０は空間相関行列を時間変化するパラメータとして算出する。そして、パラメータ推定部３０７０は、算出された空間相関行列：

および分散ｖｊ（ｎ,ｆ）を分離フィルタ生成部１０８０へ出力する。

続いて本第３の実施形態における信号処理フローを図８に従って説明する。収音および回転量の検出（Ｓ３０１０）からＦＦＴ処理（Ｓ３０３０）および分離フィルタ生成（Ｓ３０６０）から出力（Ｓ３１００）は前記した第２の実施形態とほぼ同様のため説明を省略する。

パラメータ推定部３０７０は、パラメータ推定処理を行い（Ｓ３０４０）、続く反復終了の判定（Ｓ３０５０）において反復が終了したと判定するまで、パラメータ推定処理を反復処理する。反復が終了したと判定された場合、パラメータ推定部３０７０は、その段階で推定されたパラメータを分離フィルタ生成部１０８０へ出力する。

続いて分離フィルタ生成部１０８０は、分離フィルタの生成処理を行い、生成された分離フィルタを音源分離部１０９０へ出力する（Ｓ３０６０）。

以上のようにして、音源と収音部の相対的な位置が変化する場合においても音源と収音部の相対位置を検出し、音源位置まで考慮したパラメータ推定方法を用いることで安定して音源分離することが可能となる。

本第３の実施形態においてパラメータ推定部では空間相関行列：

の推定のために音源方向θｊ（ｎ）を算出した。しかし、音源方向を算出せず、第１主成分について収音部１０１０の回転をキャンセルするように位相調整を施し、その平均値を求めるようにしてもよい。

また収音開始時における音源の位置の算出時に分散ｖｊ（ｎ,ｆ）の重み付き平均を行ったが、単純に平均値をとるようにしてもよい。本実施形態において音源方向:

は周波数について独立に算出した。しかし同じ音源で方向が異なることは考えにくいため、周波数方向について平均などをとることによって周波数依存性のないパラメータ：

としてもよい。

［その他の実施形態］
以上、実施形態例を詳述したが、本発明は例えば、複数チャネルの音響信号を収音する収音手段を有するものであれば、システム、装置、方法、制御プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１０００…音源分離装置、１０１０…収音部、１０２０…撮像部、１０３０…フレーム分割部、１０４０…ＦＦＴ部、１０５０…相対位置変化検出部、１０６０…位相調整部、１０７０…パラメータ推定部、１０８０…分離フィルタ生成部、１０９０…音源分離部、１１００…逆位相調整部、１１１０…逆ＦＦＴ部、１１２０…フレーム結合部、１１３０…出力部

Claims (19)

1. 収音手段により収音を行うことで得られる複数チャネルの音響信号を取得する取得手段と、
   特定の音源と前記収音手段との位置関係を検出する検出手段と、
   前記検出手段により検出される前記特定の音源と前記収音手段との位置関係に応じた調整量で、前記取得手段により取得される音響信号に対する位相調整を実行する第１位相調整手段と、
   前記第１位相調整手段により前記位相調整が実行された音響信号から前記特定の音源に対応する音響信号を分離する音源分離手段と、
   前記音源分離手段により分離された前記特定の音源に対応する音響信号に対して、前記第１位相調整手段によって実行された前記位相調整とは逆の位相調整を実行する第２位相調整手段とを有することを特徴とする信号処理装置。
2. 前記第１位相調整手段は、前記検出手段により検出される前記特定の音源と前記収音手段との位置関係の変化量であって前記収音手段により収音が行われている収音期間における変化量に対応する前記調整量で、前記取得手段により取得される音響信号に対する前記位相調整を実行することを特徴とする請求項１に記載の信号処理装置。
3. 前記第１位相調整手段は、前記複数チャネルの音響信号に含まれる第１チャネルの音響信号と第２チャネルの音響信号との位相の差が一定となるように、前記取得手段により取得される音響信号の位相を調整することを特徴とする請求項１又は２に記載の信号処理装置。
4. 前記取得手段により取得される音響信号を、それぞれ異なる期間に対応する複数のフレームに分割する分割手段を有し、
   前記第１位相調整手段は、前記分割手段により分割される複数のフレームそれぞれについて、各フレームに対応する調整量で位相を調整し、
   前記音源分離手段は、前記分割手段により分割される複数のフレームそれぞれについて、前記特定の音源に対応する音響信号を分離することを特徴とする請求項１乃至３の何れか１項に記載の信号処理装置。
5. 前記第１位相調整手段は、前記取得手段により取得される音響信号の位相を前記特定の音源に対応する第１調整量で調整することで第１の調整済み音響信号を生成し、且つ、当該音響信号の位相を前記特定の音源とは別の音源に対応する第２調整量で調整することで第２の調整済み音響信号を生成し、
   前記音源分離手段は、前記第１位相調整手段により生成される前記第１の調整済み音響信号と前記第２の調整済み音響信号とに基づいて、前記特定の音源に対応する音響信号を分離することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
6. 前記第１位相調整手段により調整された音響信号を用いて音源分離パラメータを決定する決定手段を有し、
   前記音源分離手段は、前記決定手段により決定される音源分離パラメータに基づく分離フィルタを用いて前記特定の音源に対応する音響信号を分離することを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
7. 前記音源分離手段は、前記決定手段により決定された音源分離パラメータである空間相関行列を、前記第１位相調整手段によって調整された位相の調整量に応じて補正することで、前記分離フィルタを生成することを特徴とする請求項６に記載の信号処理装置。
8. 前記第１位相調整手段および前記第２位相調整手段は音響信号の遅延を調整することを特徴とする請求項１乃至７のいずれか１項に記載の信号処理装置。
9. 前記第１位相調整手段は時間周波数変換された音響信号の位相を調整することを特徴とする請求項１乃至７のいずれか１項に記載の信号処理装置。
10. 前記決定手段は、
    前記第１位相調整手段により調整された音響信号を用いて時間周波数ごとの空間相関行列を算出する手段と、
    当該算出した時間周波数ごとの空間相関行列を固有値分解する手段と、
    当該固有値分解により算出した固有値のうち最も大きな固有値に対応する固有ベクトルから音源方向を算出する手段と、
    当該算出した音源方向と前記検出手段により検出した前記位置関係の変化量と前記空間相関行列の固有値とから前記空間相関行列を更新することで、前記音源分離パラメータを決定する手段とを有することを特徴とする請求項６に記載の信号処理装置。
11. 前記分離フィルタは多チャネルウィーナーフィルタであることを特徴とする請求項６又は１０に記載の信号処理装置。
12. 前記決定手段は、分散と空間相関行列とを含む前記音源分離パラメータを、ＥＭアルゴリズムを用いて決定することを特徴とする請求項６又は１０に記載の信号処理装置。
13. 前記検出手段は、前記収音手段の回転、前記収音手段の移動、及び前記特定の音源の移動のうち少なくとも１つの検出結果に基づいて、前記位置関係を検出することを特徴とする請求項１乃至１２のいずれか１項に記載の信号処理装置。
14. 前記検出手段は、前記特定の音源の画像が含まれる撮影画像に基づいて前記位置関係を検出することを特徴とする請求項１乃至１３の何れか１項に記載の信号処理装置。
15. 前記第１位相調整手段は、前記複数チャネルの音響信号に含まれる第１チャネルの音響信号と第２チャネルの音響信号との位相の差が０となるように、前記取得手段により取得される音響信号の位相を調整することを特徴とする請求項１乃至１４のいずれか１項に記載の信号処理装置。
16. 収音手段により収音を行うことで得られる複数チャネルの音響信号を取得する取得工程と、
    特定の音源と前記収音手段との位置関係を検出する検出工程と、
    前記検出工程において検出される前記特定の音源と前記収音手段との位置関係に応じた調整量で、前記取得工程において取得される音響信号に対する位相調整を実行する第１位相調整工程と、
    前記第１位相調整工程において前記位相調整が実行された音響信号から前記特定の音源に対応する音響信号を分離する音源分離工程と、
    前記音源分離工程において分離された前記特定の音源に対応する音響信号に対して、前記第１位相調整工程によって実行された前記位相調整とは逆の位相調整を実行する第２位相調整工程とを有することを特徴とする音源分離方法。
17. 前記第１位相調整工程においては、前記複数チャネルの音響信号に含まれる第１チャネルの音響信号と第２チャネルの音響信号との位相の差が一定となるように、前記取得工程において取得される音響信号の位相が調整されることを特徴とする請求項１６に記載の音源分離方法。
18. 前記取得工程において取得される音響信号を、それぞれ異なる期間に対応する複数のフレームに分割する分割工程を有し、
    前記第１位相調整工程においては、前記分割工程において分割される複数のフレームそれぞれについて、各フレームに対応する調整量で位相が調整され、
    前記音源分離工程においては、前記分割工程において分割される複数のフレームそれぞれについて、前記特定の音源に対応する音響信号が分離されることを特徴とする請求項１６又は１７に記載の音源分離方法。
19. コンピュータを、請求項１乃至１５の何れか１項に記載の信号処理装置の各手段として動作させるためのプログラム。

Images