JP3950667B2

JP3950667B2 - 信号源毎の信号を求める方法及び装置

Info

Publication number: JP3950667B2
Application number: JP2001326827A
Authority: JP
Inventors: 隆義山本; 清利松岡
Original assignee: 隆義山本; 浦田隆之
Priority date: 2001-10-24
Filing date: 2001-10-24
Publication date: 2007-08-01
Anticipated expiration: 2021-10-24
Also published as: JP2003131688A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の信号源から発せられた信号が混在している混在信号を分離し、信号源毎の信号を求める方法及び装置に関する。
【０００２】
【従来の技術】
複数の信号源から発せられた信号が混在している混在信号から、信号源毎の信号を求める技術が知られている。例えば、複数の音声信号が混在する録音データから、発話者毎の音声に分離する技術などである。その具体的な応用として例えば、複合音声データを、音声の入力と同時進行的に発言者毎に分離し特定することで、会議の議事録作成を自動的に行うことのできる、自動議事録作成装置などが考えられる。
【０００３】
ところが、従来の信号分離方法はいずれも、複数のセンサー（音声の場合はマイクなど）に入力された複数の信号間の統計的性質、例えば相関性、又は独立性を利用して分離処理を行っていた。つまり、複数の信号源からの信号を分離するためには、センサーが１つではなく、複数必要であった。
【０００４】
特開２００１−１１７５７９には、多くの前処理を省略でき、照合率の高い、音声データによる本人照合装置や方法、その記憶媒体についての発明が記載されている。この発明では、入力部から入力された登録話者の音声を変換処理部によって多階調画像と見なすことのできるサウンドスペクトルグラムＡに変換し、登録話者情報記憶部に登録する。そして同入力部から照合話者の音声が入力され、同変換処理部によってサウンドスペクトログラムＢに変換されると、配置処理部により前記登録音声画像Ａ内に配置した複数のテンプレートの部分画像と最大の相関係数が算出される、前記照合音声画像Ｂ上の各領域が検出処理部により検出される。すると判定処理部により前記複数のテンプレートの相互位置関係と全規格最大相関検出領域の相互位置関係との相違が比較照合され、その相違度によって、登録音声と照合音声との同一性が判定され、表示部に出力される。
【０００５】
この発明は、登録された音声のスペクトログラムと、照合しようとする話者の音声スペクトログラムとを、比較するものである。これに対し本願発明は、ある１つのセンサーから入力された１つの信号のスペクトログラムを対象として、そこから複数の信号源毎の信号を取り出そうとするものである。従って、この発明は、本願発明とは目的が異なり、その結果解決手段なども全く異なるものであると言える。
【０００６】
また、特開２０００−１８１４９９には、信号処理を短時間化し、リアルタイム処理を可能とする音声信号分離回路、およびそれを用いたマイクロホン装置が記載されている。この発明では、互いに線形独立な複数の音源信号が線形加算された複数の混合信号を、フレーム分割し、フレームごとに、当該分離回路によって分離された複数の信号相互間のラグタイムゼロの相関を最小にする混合行列の逆行列を乗算するように構成している。
【０００７】
この発明は、２系統の入力の音源信号を時間軸方向にフレームとして分割し、この分割されたフレームごとの波形を分離処理し、得られた２つの信号間の相関を最小にするようにした分離回路である。これに対し、本願発明では、１つのセンサーから入力された信号を対象として信号源毎の信号に分離する。従ってこの文献の発明と本願発明とでは目的が異なると言える。また、本発明では、時間軸方向に分割するだけでなく、スペクトル分解し、スペクトログラムを利用することによって、データを周波数方向にも分割して処理を行う。従って、この文献の発明と、解決手段も大幅に異なると言える。
【０００８】
また、特開２０００−２３２３８２には、雑音信号が重畳された信号から、原信号のみを高品質にとりだすことのできる信号分離装置、信号分離方法及び記録媒体が記載されている。この発明の装置は、原信号と雑音が重畳された２系統の信号に対して、短時間フーリエ変換処理もしくはフーリエ変換処理を行うフーリエ変換手段と、フーリエ変換手段からの出力値に対して相互相関演算を行う相互相関演算手段と、フーリエ変換手段からの出力値に対して相互相関演算を行う相互相関演算手段と、自己相関演算手段からの出力値に対して振幅がある一定の基準値異常の値については無視するＮｅｇｌｅｃｔ手段と、相互相関演算手段とＮｅｇｌｅｃｔ手段の出力値から伝送路のパラメータを推定するパラメータ推定手段を有する。
【０００９】
この発明は、原信号から雑音信号を除くために２系統の信号入力を必要としている。これに対して本発明は、１系統の入力信号を対象としているので、この文献に記載された発明と本発明とは目的が異なる。また、本発明は複数の未知信号を分離して別々に取り出すことを目的としているが、この文献の発明では、雑音の除去が可能となるだけで複数の信号の分離を意図したものではない。
【００１０】
【発明が解決しようとする課題】
以上のような従来の技術が有する種々の問題点を解決すべく、本発明は、１つのセンサーにて受信した複数信号源からの混在信号を、信号源毎の信号に分離する処理を正確かつ高速に行うことができる分離方法及び装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の課題を解決するために、主たる方法発明では、次のような混在信号分離方法が提供される。複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める方法であって、前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（１１）〜（１７）のステップを複数回実行することを特徴とし、
（１１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（１２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（１３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（１４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（１５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（１６）前記（１２）のステップで求めた波形スペクトル、及び、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（１７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記（１４）のステップは、原点において連続でありながら、負の領域では原点から遠ざかるに従って急速に減少する関数を利用して、分離行列Ｗを求める処理を含む。
【００１２】
このような主たる方法発明によれば、１つのセンサーにて受信した複数信号源からの混在信号を信号源毎の信号に分離する処理を、正確かつ高速に行うことができる。
【００１３】
また、上記主たる方法発明においては、前記（１２）のステップにおいて、フーリエ変換処理を含むことが好ましい。また、前記（１６）のステップにおいて、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化に基づいて、各信号源の波形スペクトルの振幅比率を求める処理を含むことが好ましい。
【００１４】
また、他の主たる方法発明では、次のような方法が提供される。複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める方法であって、前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（１１）〜（１７）のステップを複数回実行することを特徴とする。
（１１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（１２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（１３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（１４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（１５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（１６）前記（１２）のステップで求めた波形スペクトル、及び、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（１７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記混在信号Ｘ（ｔ）の全時間帯のうち、複数の信号が混合している時間帯を判別するための前処理として、前記各ステップの前に、以下の（２１）〜（２４）のステップを実行する。
（２１）前記混在信号Ｘ（ｔ）をもとに、時間帯毎の波形スペクトルを求める。
（２２）前記時間帯毎の波形スペクトルをもとに、周波数毎のパワーを求める。
（２３）前記周波数毎のパワーをもとに、ある時間帯のパワーと、その次の時間帯のパワーとの相関性を、全時間帯について求める。
（２４）前記相関性に基づいて、複数の信号が混合している時間帯の混在信号Ｘｃ（ｔ）を抽出し、このＸｃ（ｔ）を前記（１１）のステップの混在信号Ｘ（ｔ）に代入する。
【００１５】
このような他の主たる方法発明によれば、各ステップを開始する前に、前処理工程を設けて、あらかじめ分離処理を行うべき複数信号が混在する時間帯を絞り込むので、高速な処理を実現することが出来る。
【００１６】
また、上記他の主たる方法発明において、前記（２１）のステップは、時間帯毎の前記混在信号にフーリエ変換を施すことにより、スペクトル分解して波形スペクトルを求める事とすることが好ましい。また、前記（２３）の相関性を求めるステップにおいて、少なくとも主成分分析処理を含むことが好ましい。さらに、この主成分分析処理は、低次の主成分得点に基づいて相関性を求める処理を含むこと、もしくは複数次の主成分得点の相関性寄与率累積値に基づいて特性の変化を求める処理を含むこととすれば、相関性の判別を精密に行うことができるため、より一層好ましい。
【００１７】
また、主たる装置発明では、次のような混在信号分離装置が提供される。複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める装置であって、前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（３１）〜（３７）のステップを複数回実行することを特徴とし、
（３１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（３２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（３３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（３４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（３５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（３６）前記（３２）のステップで求めた波形スペクトル、及び、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。（３７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記（３４）のステップは、原点において連続でありながら、負の領域では原点から遠ざかるに従って急速に減少する関数を利用して、分離行列Ｗを求める処理を含む。
【００１８】
このような主たる装置発明によれば、１つのセンサーにて受信した複数信号源からの混在信号を信号源毎の信号に分離する処理を、正確かつ高速に行うことができる。
【００１９】
また、上記主たる装置発明においては、前記（３２）のステップにおいて、フーリエ変換処理を含むことが好ましい。また、前記（３６）のステップにおいて、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化に基づいて、各信号源の波形スペクトルの振幅比率を求める処理を含むことが好ましい。
【００２０】
また、他の主たる装置発明では、次のような装置が提供される。複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める装置であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（３１）〜（３７）のステップを複数回実行することを特徴とする。
（３１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（３２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（３３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（３４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（３５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（３６）前記（３２）のステップで求めた波形スペクトル、及び、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（３７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記混在信号Ｘ（ｔ）の全時間帯のうち、複数の信号が混合している時間帯を判別するための前処理として、前記各ステップの前に、以下の（４１）〜（４４）のステップを実行する。
（４１）前記混在信号Ｘ（ｔ）をもとに、時間帯毎の波形スペクトルを求める。
（４２）前記時間帯毎の波形スペクトルをもとに、周波数毎のパワーを求める。
（４３）前記周波数毎のパワーをもとに、ある時間帯のパワーと、その次の時間帯のパワーとの相関性を、全時間帯について求める。
（４４）前記相関性に基づいて、複数の信号が混合している時間帯の混在信号Ｘｃ（ｔ）を抽出し、このＸｃ（ｔ）を前記（３１）のステップの混在信号Ｘ（ｔ）に代入する。
【００２１】
このような他の主たる装置発明によれば、各ステップを開始する前に、前処理工程を設けて、あらかじめ分離処理を行うべき複数信号が混在する時間帯を絞り込むので、高速な処理を実現することが出来る。
【００２２】
また、上記他の主たる装置発明において、前記（４１）のステップは、時間帯毎の前記混在信号にフーリエ変換を施すことにより、スペクトル分解して波形スペクトルを求める事とすることが好ましい。また、前記（４３）の相関性を求めるステップにおいて、少なくとも主成分分析処理を含むことが好ましい。さらに、この主成分分析処理は、低次の主成分得点に基づいて相関性を求める処理を含むこと、もしくは複数次の主成分得点の相関性寄与率累積値に基づいて特性の変化を求める処理を含むこととすれば、相関性の判別を精密に行うことができるため、より一層好ましい。
【００２３】
【発明の実施の形態】
添付の図面を参照しつつ、本発明の実施の形態について詳細に説明する。本発明の混在信号分離処理方法は、大きく２つのステップに分けることができる。前半は、処理効率を高めるための前処理工程であり、後半が本処理工程である。原理的には、後半の本処理工程のみで分離処理を行うことが可能であるが、処理の高速化のためには、前処理を行うことが好ましい。
【００２４】
＝＝＝前処理工程＝＝＝
まず、発明前半の前処理工程について説明する。本実施形態では、３人（Ａさん、Ｂさん、Ｃさんとする）により行われたある会議の発言内容の音声データを１本のマイクで拾う。図１は、信号源から発せられる音声信号とマイクに入力される音声信号の波形Ｘ（ｔ）を示す。図の縦軸は音の強さ、横軸は時間を示している。図の左側に示すような３人の音声信号が混合されて、図の右側のような波形の信号としてマイクに入力される。マイクによる測定の開始時刻をｔ０、終了時刻をｔｅとする。
【００２５】
図１からわかるように、この実施形態では、測定開始時刻においてはＡさんのみが発声しており、少し時間が経過した後にＢさんの発声がＡさんの発声に重ねて入力され、さらに少し時間が経過した時点でＣさんの発声も重ねて入力されている。そしてマイク測定の終了時刻ぎりぎりまで音声の混合は続いたこととする。前処理工程では、１人だけが発言しておりその音声のみがマイクに入力されている時間帯（以下、単一音声の時間帯）と、複数人の発声が混合されて入力されている時間帯（以下、複合音声の時間帯）とを分離する処理を行う。
【００２６】
図２は、前処理工程のフローチャートである。以下、このフローチャートに則して各ステップについて説明する。マイクから入力された（図２のステップｓ１０１）混合信号Ｘ（ｔ）は、そのままでは図１右側のような時間変化する音声パワーとしての２次元データである。次にこの信号にフーリエ変換を施すことにより、スペクトル分解し、スペクトル毎の音声パワーの時間変化を調べる（ｓ１０３）。
【００２７】
このようにスペクトル毎の音声パワーの時間変化、すなわち、スペクトログラムが得られる（ｓ１０５）。このスペクトログラムを描いた図が図３（ａ）である。図３（ａ）のスペクトログラムでは、周波数を横軸、時間を縦軸とし、パワーの強さがグラフの濃淡で示されている。ここで、時間を所定の間隔ごとに分割し、各時間帯のパワーのスペクトル分布を、周波数を横軸として描けば図３（ｂ）のようになる。図３（ｂ）の各グラフの右側には、各時間帯の開始時刻（ｔ０〜ｔ８）を付記している。
【００２８】
また、図３（ａ）では、横軸の周波数を所定の周波数幅ごとに分割し、各周波数帯域の中央値ｆ０、ｆ１、・・・ｆ６（まとめてｆｉと示す）により示している。図４は、図３（ｂ）をこの周波数帯域ごとに分割し、奥行き方向を時間軸として、３次元的に示した図である。この図では信号スペクトル波形の時間変化が、感覚的に把握できる。感覚的に言えば、図４において、スペクトル波形が相似形を保ちながら推移する時間帯は、ある１人の発言者のみが発声している（又は、誰も発言していない）時間帯である。一方、スペクトルの波形そのものが著しく変化する時間帯は、複数の発言者が同時に発声している時間帯である。これは、１人の発言者による単一音声においては、全体的なパワー（音声の強さ）は変化するが、スペクトル分布はほぼ一定であることによる。
【００２９】
本実施形態の例では、図３（ｂ）からわかるように、ｔ０〜ｔ２までの時間帯では、Ａさんのみの音声が入力されており、ｔ３以降の時間帯は、複数の音声が混合されているのであるが、そのことを定量的に判別するために以下の各ステップを行う。
【００３０】
まず、図４の様に複数の時間帯及び周波数帯に分割（ｓ１０７）された音声パワースペクトルの、帯域ごとの平均値を計算し（ｓ１０９）、表にしたものが図５である。ここで、周波数帯ｆｉ（ｉ＝０〜６）、時間帯ｔｊ（ｊ＝０〜８）に属するパワー平均値をｘ_ｉ ^ｊとする（時間帯ｊ＝３以降は省略して示している）。また、表の右端列には、時間帯ごとに、ｘ_ｉ ^ｊ（ｉ＝０〜６）の値をベクトルの成分とすることにより定義されるベクトルｘ^ｊを示している。
【００３１】
次にステップｓ１０９で計算された各帯域の平均パワーを用いて、主成分分析工程の各ステップ（ｓ１１１〜ｓ１２９）に進む。この主成分分析工程は、概略的には、各時間帯のベクトルｘ^ｊとベクトルｘ^ｊ＋１との間の相関性を調べることにより、ベクトルｘ^ｊの形（すなわち各時間帯のスペクトル波形）の推移を調べ、形が相似形で推移しているとみなせる時間帯を単一音声の時間帯、形が著しく変化していると判断される時間帯を複合音声の時間帯と判断する。
【００３２】
具体的には、まず数式１により、時間帯毎のパワースペクトルデータであるベクトルｘ^ｊを平均値μ及び標準偏差σにより標準化し、標準化された時間帯毎のパワースペクトルであるベクトルＸ^ｊを求める（ｓ１１３）。
【数１】

【００３３】
次に、数式２により、ある時間帯ｊと次の時間帯ｊ＋１との相関性を調べるための相関行列Ｃを求める（ｓ１１５）。数式２において、ｎは周波数帯域ｉの数なので本実施形態では７である。また、行列Ｃの計算には、ベクトルｘ^ｊとベクトルｘ^ｊ＋１との内積を用いている。ｊ＝０〜７の全てについて相関行列Ｃを求める。
【数２】

【００３４】
次に、ステップｓ１１５で求めた全ての相関行列Ｃについて、数式３により、その固有値λと固有ベクトルＡを求める（ｓ１１７）。
【数３】

【００３５】
次に、求められた各固有ベクトルＡ、及び上記標準化された時間帯毎のパワースペクトルであるベクトルＸ^ｊを用いて、数式４により、主成分得点ベクトルＺを求める（ｓ１１９）。ここで、ベクトルＺの次元は時間帯ｉの数（０〜８）で決まるのだが、ここでは７である。
【数４】

【００３６】
以上により、各時間帯（と次の時間帯と）の相関性を表す主成分得点（第１次主成分得点Ｚ１から第７次主成分得点Ｚ７）が求められた。次にいよいよこれらの主成分得点を用いて、各時間帯のスペクトル波形が相似形に近い形で推移しているか否かを調べるための各ステップ（ｓ１２１〜ｓ１２９）に移る。
【００３７】
図６は、各ベクトルＸ^ｊとＸ^ｊ＋１とにより求めた主成分得点ベクトルＺの、第１成分（第１主成分得点）を横軸に、第２成分（第２主成分得点）を縦軸にプロットした散布図である。図に示したように▲１▼〜▲８▼の点はそれぞれ、ベクトルｘ^０とｘ^１との相関性〜ベクトルｘ^１とｘ^８との相関性を示している。
【００３８】
図６のグラフから相関性の高さを判別するには様々な方法があるが、基本的には、相関性が高い点の場合は、このＺ１−Ｚ２平面上の原点近傍に集まる傾向がある。そこで本実施形態では、ある相関性の高い点を中心として次の点を通る円を描き、同様にその次の点を中心にもとの点を通る円を描いたとき、３番目の点が両方の円を包含する円（以下、相似ゾーンと呼ぶことにする）の内部に含まれるときに、この３番目の点も相関性が高いと判別する（ｓ１２３）方法をとる。
【００３９】
図６のグラフでは、▲１▼及び▲２▼の点は、相関性が高いと判断される。つまり、図５の表に戻れば、時間帯ｔ０の波形スペクトルベクトルｘ０と時間帯ｔ１のスペクトルベクトルｘ１、及び時間帯ｔ１のスペクトルｘ１と時間帯ｔ２のスペクトルｘ２とはそれぞれ相関性が高いと判断される。従って時間帯ｔ０からｔ２までは単一音声の時間帯と判断される。
【００４０】
▲４▼の点以降は、かなり原点から遠いところにばらついてしまっているため、相関性が低いと判断される。問題は、▲３▼の点は高い相関性を示しているといえるのか否かである。図７は、図６のＺ１−Ｚ２グラフにおいて、▲１▼及び▲２▼を中心とした円を包含する相似ゾーンの円を描き、その周囲に所定幅のグレーゾーンを設定したグラフである。▲３▼の点がこの相似ゾーン内部に位置すれば相関性が高く、▲４▼の点以降同様にグレーゾーンよりも外側に位置すれば相関性が低いと結論付けられる（ｓ１２７）が、本実施形態では、斜線で示すグレーゾーンに位置したとする。
【００４１】
このような場合、第３主成分得点Ｚ３以降の高次の主成分得点を考慮して、より精度よく相関性を調べることとしてもよい。だが本実施形態では、各主成分得点の累積寄与率を調べる（ｓ１２９）ことにより、精度よく相関性の高さを調べる方法をとる。これは、一般に相関性が強いほど低次の主成分の相関性寄与率が高いことを利用した方法であって、図８にその判別方法の具体的な考え方を示す。具体的には累積寄与率８０％を閾値と定め、４次主成分得点まででこの閾値を超えた場合は相関性が高いと判断し、単一音声の時間帯とし、５次以上の主成分得点の累積でようやく閾値を超える場合は、相関性が低いため複合音声の時間帯と判断する。
【００４２】
図８の左側の２つのグラフは、Ｚ１からＺ４までの各主成分得点の相関性寄与率を示す棒グラフである。上のグラフが▲１▼及び▲２▼の点の寄与率、下のグラフが▲３▼の点の寄与率である。図８の右側の２つのグラフは、左側の各寄与率を順次足し合わせて、累積寄与率として折れ線で示したグラフである。▲１▼の点はＺ２（２次主成分得点）までの累積で既に閾値を超えており、▲２▼の点はＺ３において超えている。ところが、▲３▼の点はＺ４までの累積でも閾値を超えていない。従って、▲３▼の点は、相関性が低く、複合音声の時間帯であると判断される。つまり、図５の表に戻れば、時間帯ｔ２の波形スペクトルベクトルｘ２と時間帯ｔ３のスペクトルベクトルｘ３とは相関性が低い、すなわち、時間帯ｔ３のスペクトルからはｔ２までと変わって複合音声となったと判断される。
【００４３】
＝＝＝本処理工程＝＝＝
次に本発明の後半の処理である、本処理工程について説明する。上述の前処理工程によって、マイクに入力された音声データのうち、ｔ０からｔ２までの時間帯は１人の参加者のみが発言している（又は、誰も発言していない）単一音声の時間帯、ｔ３以降が複合音声の時間帯であるということが判別された。図９右側は、複合音声の時間帯である時刻ｔ３からｔｅまでのマイク入力された生の信号波形Ｘｃ（ｔ）を示すグラフである。Ｘｃ（ｔ）は、本実施形態では図９左側に示すＡ〜Ｃさんの３人の音声が混合されているのであるが、一般にはＮ個の未知信号ｕ_１（ｔ）〜ｕ_Ｎ（ｔ）が混合されており、数式５で表される。
【数５】

【００４４】
以下、図１０に示すフローチャートと、図１１（ａ）〜（ｄ）及び図１２（ｅ）〜（ｇ）のグラフを参照しつつ、本処理工程の各ステップ（ｓ２０１〜ｓ２１７）について説明する。まず、図９右側に示すように、まず、Ｘｃ（ｔ）の開始時刻ｔ３からｔｓまでの時間帯を対象として、Ｔ個の時点でＸｃ（ｔ）のデータをサンプリングする（ｓ２０１）。こうして出来たデータを、ｘ（ｔｓ）、ｘ（ｔｓ−１）、・・・、ｘ（ｔｓ−Ｔ＋１）とする。
【００４５】
次に、上記サンプリングにより得られたデータｘ（ｔ）を、離散フーリエ変換により波形スペクトルに分解する（ｓ２０３）。具体的には、数式６の式により、波形スペクトルｘウエイブを求める。ｘウェイブ（ｔ，ｋ）は、周波数ｋ／Ｔの波（ｋ＝０，・・・Ｔ−１）のフーリエ係数である。ｘウェイブのイメージを示すために、その概略的なグラフを図１１（ａ）に示す。
【数６】

【００４６】
次に、数式７により、周波数毎のパワーとなるｘバーを計算する（ｓ２０５）。ここで記号[ ]は中の値を超えない整数を表すガウス記号である。
【数７】

【００４７】
数式７の右辺のｘウェイブに、上記数式５の両辺をフーリエ変換した右辺を代入すると、数式８が得られる。
【数８】

【００４８】
ここで、ｕウェーブにアスタリスク（＊）をつけた項は、ｕウェーブ（ｕ_ｉより求められる波形スペクトル）の共役複素数である。数式８の第２項は、次の２つの仮定▲１▼及び▲２▼により無視できる。仮定▲１▼：ｕ_ｉとｕ_ｉ‘ は異なる人の音声データであるため独立なので打ち消す。仮定▲２▼：異なる信号源は、完全に同時に信号を発生することはない。この結果、ある時刻ｔにおける周波数ｋ／Ｔのパワーは、結局数式９により表される。ｘバーのイメージを示すグラフを図１１（ｂ）に示す。
【数９】

【００４９】
次に、数式９の形で求められたパワー（ｘバー）を、信号源毎のパワー（ｙ_ｉバー）に分離するステップ（ｓ２０７）に移る。計算の工夫のために、まず、１つの仮定▲３▼を行う。仮定▲３▼：ｉ番目の信号源が発する周波数毎のパワー（ｕ_ｉバー）は、時間のみの関数ｓ_ｉ（ｔ）バーに比例する。その周波数ｋ／Ｔの比例係数をａ_ｉ ^（ｋ）として式に示すと数式１０のようになる。
【数１０】

【００５０】
仮定▲３▼はつまり、ある１人の人の音声は時間経過に従って、ほぼ相似形に変化するという事実を表す。数式１０を数式９に代入することにより、数式１１が得られる。
【数１１】

【００５１】
数式１１の左辺であるパワー（ｘバー）を行列及びベクトル形式で表示すると、数式１２及び数式１３となる。
【数１２】

【数１３】

【００５２】
この形は、いわゆる独立成分分離法の形と似ているが、以下の２点において異なるので工夫が必要となる。▲１▼：行列Ａは正方行列ではない。▲２▼：ｘバーはパワーなので正の値であり、関数ｓ_ｉ（ｔ）バー、及び係数ａ_ｉ ^（ｋ）もそれぞれ正の値である。そこで、以下の様な手順で、周波数毎のパワー（ｘバー）から信号源毎のパワー（ｙバー）を計算する（ｓ２０７）。まず、ターゲットである信号源毎のパワー（ｙバー）は、関数ｓ_ｉ（ｔ）バーの推定値であり、数式１４のように、分離行列Ｗを用いて表される。
【数１４】

【００５３】
数式１４における分離行列Ｗを求めるには、数式１５の△Ｗを用いる。
【数１５】

【００５４】
数式１５において、関数ψ（ｙ）は数式１６により定義する。ここでｑ（ｙ）は、信号ｙ（ｔ）の分布型を示す。また、ベクトルｙバーの関数であるψの内容を数式１５の「注」に示している。
【数１６】

【００５５】
ここで、正負の値をとる通常の音声信号の場合と異なり正の値のみのパワーを扱うため、関数ｑ（ｙ）の形は通常のようにスーパーガウス関数などとすることができない。そこで、負の側の値を小さくでき、かつ原点で不連続とならないように式を工夫をしている。ｑ（ｙ）のグラフを図１３に示す。
【００５６】
数式１５の△Ｗを用いて、△Ｗ＝０となるまで数式１７のように繰り返し計算を行い、分離行列Ｗを求める。求められたＷを用いて数式１４により、信号源毎に分離されたパワーを表すベクトルｙバーが求められる。
【数１７】

【００５７】
ここで求められた信号源毎のパワーの概略イメージを、図１１（ｃ）のグラフに示す。ここではｙバーは、周波数の関数でなく時間の関数である点に注意されたい。また、本実施形態では、Ａ〜Ｃさんの３名分の音声が混合されているので、結果として３つの信号源のパワーが求められている。
【００５８】
次に、上記信号源毎のパワー（ｙバー）を、さらに周波数成分毎のパワーにスペクトル分解する（ｓ２０９）。数式１８に示すように、前記数式１４に示した行列Ｗの逆行列を利用する。
【数１８】

【００５９】
ここで、求められたベクトルｘバーハットは、時刻ｔにおいて各信号源からの生の信号ｕ_ｉ（ｔ）に含まれる、周波数成分ｋ／Ｔ毎のパワーを推定した値ということになる。信号源Ａ〜Ｃさんそれぞれの、ベクトルｘバーハット（周波数毎のパワー推定値）のイメージを、図１１（ｄ）のグラフに示す。
【００６０】
次に、各信号源ｉ＝１〜Ｎ（本実施形態ではＮ＝３）全ての、周波数毎の振幅比率（全信号源中の当該信号源の割合）を、上記信号源毎の周波数別パワー（ベクトルｘバーハット）より計算する（ｓ２１１）。振幅の２乗がパワーに比例することを利用して、振幅比率σ_ｉ（ｔ，ｋ）は数式１９のようになる。
【数１９】

振幅比率σ_ｉは、比率なので０から１までの値をとる。各信号源Ａ〜Ｃさんそれぞれの振幅比率のイメージを図１２（ｅ）に示す。
【００６１】
次に、この振幅比率σ_ｉを利用して、各信号源からの信号ｕ_ｉ（ｔ）の、周波数毎のスペクトル推定値を求める（ｓ２１３）。数式２０のように、振幅比率σ_ｉに、数式６において求めた混合信号Ｘｃ（ｔ）の波形スペクトル（Ｘウェイブ）を乗ずることにより計算される。求められた信号源毎の波形スペクトル推定値のイメージを、図１２（ｆ）に示す。
【数２０】

【００６２】
最後に、数式２１の式の様に、Ｘｉウェーブに逆フーリエ変換を施すことにより、信号源毎の推定振幅値ｘ_ｉハットを求める（ｓ２１５）。
【数２１】

【００６３】
第１式から第２式に変形する際に、ｔ＝Ｔ／２を代入した。この結果、時刻ｔｓ−Ｔ／２における振幅推定値（ｘハット）が得られた。この推定値のイメージを、図１２（ｇ）に示す。結局、サンプリングした時間帯ｔ３〜ｔｓにおける代表時刻（ｔｓ−Ｔ／２）における、それぞれの信号源の振幅値が推定された。
【００６４】
次に、サンプリング時間帯を１つずらして同様にステップｓ２０１〜ｓ２１５の処理を繰り返す。入力信号Ｘｃ（ｔ）の終了時刻ｔｅまでこの処理を繰り返したと判断（ｓ２１７）したところで処理を終了する。
【００６５】
＝＝＝変形例など＝＝＝
なお、上記実施形態においては、入力された信号のスペクトル分解を行うためにフーリエ変換を利用したが、ウェーブレット変換などの方法を利用することとしてもよい。
【００６６】
本発明の混在信号分離方法は、分離する対象を人間の音声に限るものではなく、医師の使用する聴診器の音を心音、呼吸音などの発生源ごとに分離したり、ポンプの回転音などを聞き分ける工業的な聴音作業における分離したりする処理に応用することも可能である。
【００６７】
【発明の効果】
本発明の混在信号の分離方法によれば、１つのセンサーに入力された、複数の信号源からの混在信号を、信号源毎の信号に分離することを、正確かつ高速に行うことができる。
【図面の簡単な説明】
【図１】本実施形態の入力音声信号Ｘ（ｔ）の波形を示すグラフである。
【図２】本実施形態の方法の前半ステップを示すフローチャートである。
【図３】（ａ）は入力音声信号のスペクトログラム、（ｂ）は（ａ）のスペクトログラムを時間帯毎に分割し、波形の推移として示したグラフである。
【図４】音声パワーのスペクトル分布の時間変化を示すグラフである。
【図５】図３（ａ）のスペクトログラムから求めた、時間帯、周波数帯毎の平均パワー値を示す表である。
【図６】各時間帯の第１及び第２主成分得点をプロットした散布図である。
【図７】図６のＺ１−Ｚ２グラフにおいて、▲３▼の点の相関性の高さを調べるための判別ゾーンを示している。
【図８】累積寄与率によって▲１▼〜▲３▼の点の相関性を調べる考え方を示すグラフである。
【図９】右側は音声混合部分のみ分離された音声信号Ｘｃ（ｔ）の波形を示すグラフである。左側はＸｃ（ｔ）を構成する３名の発言者の音声信号波形である。
【図１０】本実施形態の方法の後半ステップを示すフローチャートである。
【図１１】後半の各ステップで求められる物理量の概略イメージを示すグラフである。
【図１２】図１１のグラフに続く各ステップの物理量の、概略イメージを示すグラフである。
【図１３】分離行列Ｗを求める際に利用する関数ｑ（ｙ）のグラフである。

Claims

複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める方法であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（１１）〜（１７）のステップを複数回実行することを特徴とする。
（１１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（１２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（１３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（１４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（１５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（１６）前記（１２）のステップで求めた波形スペクトル、及び、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（１７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記（１４）のステップは、原点において連続でありながら、負の領域では原点から遠ざかるに従って急速に減少する関数を利用して、分離行列Ｗを求める処理を含む。
請求項１に記載の方法において、
前記（１２）のステップにおける周波数毎の波形スペクトルを求める方法として、フーリエ変換を行うことを特徴とする方法。
複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める方法であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（１１）〜（１７）のステップを複数回実行することを特徴とする。
（１１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（１２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（１３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（１４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（１５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（１６）前記（１２）のステップで求めた波形スペクトル、及び、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（１７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記（１６）のステップでは、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化に基づいて、各信号源の波形スペクトルの振幅比率を求める処理を含む。
複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める方法であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（１１）〜（１７）のステップを複数回実行することを特徴とする。
（１１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（１２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（１３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（１４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（１５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（１６）前記（１２）のステップで求めた波形スペクトル、及び、前記（１５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（１７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記混在信号Ｘ（ｔ）の全時間帯のうち、複数の信号が混合している時間帯を判別するための前処理として、前記各ステップの前に、以下の（２１）〜（２４）のステップを実行する。
（２１）前記混在信号Ｘ（ｔ）をもとに、時間帯毎の波形スペクトルを求める。
（２２）前記時間帯毎の波形スペクトルをもとに、周波数毎のパワーを求める。
（２３）前記周波数毎のパワーをもとに、ある時間帯のパワーと、その次の時間帯のパワーとの相関性を、全時間帯について求める。
（２４）前記相関性に基づいて、複数の信号が混合している時間帯の混在信号Ｘｃ（ｔ）を抽出し、このＸｃ（ｔ）を前記（１１）のステップの混在信号Ｘ（ｔ）に代入する。
請求項４に記載の方法において、
前記（２１）のステップは、時間帯毎の前記混在信号にフーリエ変換を施すことにより、スペクトル分解して波形スペクトルを求めることを特徴とする方法。
請求項４または５に記載の方法において、
前記（２３）の相関性を求めるステップは、少なくとも主成分分析処理を含むことを特徴とする方法。
請求項６に記載の方法において、
前記主成分分析は、低次の主成分得点に基づいて相関性を求める処理を含むことを特徴とする方法。
請求項６または７に記載の方法において、
前記主成分分析は、複数次の主成分得点の相関性寄与率の累積値に基づいて相関性を求める処理を含むことを特徴とする方法。
複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める装置であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（３１）〜（３７）のステップを複数回実行することを特徴とする。
（３１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（３２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（３３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（３４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（３５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（３６）前記（３２）のステップで求めた波形スペクトル、及び、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（３７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記（３４）のステップは、原点において連続でありながら、負の領域では原点から遠ざかるに従って急速に減少する関数を利用して、分離行列Ｗを求める処理を含む。
請求項９に記載の装置において、
前記（３２）のステップにおける周波数毎の波形スペクトルを求める方法として、フーリエ変換を行うことを特徴とする装置。
複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める装置であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（３１）〜（３７）のステップを複数回実行することを特徴とする。
（３１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（３２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（３３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（３４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（３５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（３６）前記（３２）のステップで求めた波形スペクトル、及び、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（３７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記（３６）のステップでは、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化に基づいて、各信号源の波形スペクトルの振幅比率を求める処理を含む。
複数の信号源から発せられた信号が混在している混在信号Ｘ（ｔ）から、信号源毎の信号を求める装置であって、
前記混在信号Ｘ（ｔ）について、対象とする時間帯を変えて、以下の（３１）〜（３７）のステップを複数回実行することを特徴とする。
（３１）対象とする時間帯において、前記混在信号Ｘ（ｔ）を複数回サンプリングしてサンプリング毎の前記混在信号Ｘ（ｔ）の値をサンプリング信号値として求める。
（３２）前記サンプリング信号値をもとに、周波数毎の波形スペクトルを求める。
（３３）前記波形スペクトルをもとに、周波数毎のパワーを求める。
（３４）前記周波数毎のパワーをもとに、信号源ごとのパワーの時間的変化を求める。
（３５）前記信号源ごとのパワーの時間的変化をもとに、信号源それぞれについて、周波数毎のパワーの時間的変化を求める。
（３６）前記（３２）のステップで求めた波形スペクトル、及び、前記（３５）のステップで求めた信号源それぞれについての周波数毎のパワーの時間的変化、に基づいて、信号源それぞれについて、周波数毎の波形スペクトルを求める。
（３７）前記信号源それぞれについての周波数毎の波形スペクトルをもとに、ある時刻における各信号源の信号値を求める。
さらに、前記混在信号Ｘ（ｔ）の全時間帯のうち、複数の信号が混合している時間帯を判別するための前処理として、前記各ステップの前に、以下の（４１）〜（４４）のステップを実行する。
（４１）前記混在信号Ｘ（ｔ）をもとに、時間帯毎の波形スペクトルを求める。
（４２）前記時間帯毎の波形スペクトルをもとに、周波数毎のパワーを求める。
（４３）前記周波数毎のパワーをもとに、ある時間帯のパワーと、その次の時間帯のパワーとの相関性を、全時間帯について求める。
（４４）前記相関性に基づいて、複数の信号が混合している時間帯の混在信号Ｘｃ（ｔ）を抽出し、このＸｃ（ｔ）を前記（３１）のステップの混在信号Ｘ（ｔ）に代入する。
請求項１２に記載の装置において、
前記（４１）のステップは、時間帯毎の前記混在信号にフーリエ変換を施すことにより、スペクトル分解して波形スペクトルを求めることを特徴とする装置。
請求項１２または１３に記載の装置において、
前記（４３）の相関性を求めるステップは、少なくとも主成分分析処理を含むことを特徴とする装置。
請求項１４に記載の装置において、
前記主成分分析は、低次の主成分得点に基づいて相関性を求める処理を含むことを特徴とする装置。
請求項１４または１５に記載の装置において、
前記主成分分析は、複数次の主成分得点の相関性寄与率の累積値に基づいて相関性を求める処理を含むことを特徴とする装置。