JP6056544B2 - 音声解析装置、信号解析装置、音声解析システムおよびプログラム - Google Patents

Description

本発明は、音声解析装置、信号解析装置、音声解析システム、プログラムに関する。

特許文献１には、複数発言者の音声データが混在している混在音声データを、発言者毎の音声データに分離する音声データ分離方法において、混在音声データを互いに無相関化するための無相関化処理を行うステップと、無相関化処理の行われたデータを独立成分に分離するための独立成分分離処理を行うステップとを有する音声分離方法が開示されている。

特開２００３−５７９０号公報

音声取得手段により取得した音声が、装着者の発話音声と他者の発話音声とが混合したものであった場合でも、装着者の発話音声と他者の発話音声とを識別できることが望ましい。

請求項１に記載の発明は、隣接して配される複数の音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される音声取得手段群にて生成された音声信号を取得する音声信号取得手段と、前記音声取得手段により生成された音声信号が複数の発話者による混合音声信号であったときに、当該混合音声信号を前記組のそれぞれについて発話者毎に分離する分離手段と、前記音声取得手段群と発話者との位置関係を利用して異なる組において発話者毎に分離された音声信号を比較したときの相関関係に基づいて、前記分離手段により分離されたそれぞれの音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する自他識別手段と、を備えることを特徴とする音声解析装置である。

請求項２に記載の発明は、前記自他識別手段は、異なる組において発話者毎に分離された音声信号の波形を予め定められた時間差分ずらしたときの相関関係を求めることを特徴とする請求項１に記載の音声解析装置である。

請求項３に記載の発明は、隣接して配される複数の信号取得手段からなる組を予め定められた距離離間させて複数配置することで構成される信号取得手段群にて取得された信号の情報を取得する信号情報取得手段と、前記信号取得手段により取得された信号の情報が複数の信号源による混合信号情報であったときに、当該混合信号情報を前記組のそれぞれについて何れかの信号源からの信号の情報として分離する分離手段と、前記信号取得手段群と信号源との位置関係を利用して異なる組において信号源毎に分離された信号を比較したときの相関関係に基づいて、前記分離手段により分離されたそれぞれの信号の情報が、前記複数の信号源のうち１つの信号源から取得した信号の情報であるか他の信号源から取得した信号の情報であるかを識別する信号源識別手段と、を備えることを特徴とする信号解析装置である。

請求項４に記載の発明は、隣接して配される複数の音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される音声取得手段群と、前記音声取得手段により生成された音声信号が複数の発話者による混合音声信号であったときに、当該混合音声信号を前記組のそれぞれについて発話者毎に分離する分離手段と、前記音声取得手段群と発話者との位置関係を利用して異なる組において発話者毎に分離された音声信号を比較したときの相関関係に基づいて、前記分離手段により分離されたそれぞれの音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する自他識別手段と、を備えることを特徴とする音声解析システムである。

請求項５に記載の発明は、前記組を構成する音声取得手段は、２個であり、前記音声取得手段群を構成する当該組は２組であることを特徴とする請求項４に記載の音声解析システムである。

請求項６に記載の発明は、コンピュータに、隣接して配される複数の音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される音声取得手段群にて生成された音声信号を取得する機能と、前記音声取得手段により生成された音声信号が複数の発話者による混合音声信号であったときに、当該混合音声信号を前記組のそれぞれについて発話者毎に分離する機能と、前記音声取得手段群と発話者との位置関係を利用して異なる組において発話者毎に分離された音声信号を比較したときの相関関係に基づいて、分離されたそれぞれの音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する機能と、を実現させるプログラムである。

請求項１の発明によれば、音声取得手段により取得した音声が、装着者の発話音声と他者の発話音声とが混合したものであった場合でも、装着者の発話音声と他者の発話音声とを識別できる音声解析装置を提供することができる。また音声取得手段に音声が到達する時間差を利用して装着者の発話音声と他者の発話音声とを識別できる。
請求項２の発明によれば、本構成を採用しない場合に比較して、分離された音声信号の何れが装着者の発話音声による音声信号であるかをより容易に識別することができる。
請求項３の発明によれば、信号取得手段により取得した信号が、複数の信号源による混合信号であった場合でも、複数の信号源のうち１つの信号源から取得した信号であるか他の信号源から取得した信号であるかを識別することができる信号解析装置を提供することができる。
請求項４の発明によれば、複数の装着者の音声取得手段で取得される音声に基づき、装着者のコミュニケーション関係が把握できる音声解析システムを構築できる。
請求項５の発明によれば、装着者と１人の他者が対話している場合に、分離された音声信号が、装着者の発話音声であるか他者の発話音声であるかを識別できる。
請求項６の発明によれば、音声取得手段により取得した音声が、装着者の発話音声と他者の発話音声とが混合したものであった場合でも、装着者の発話音声と他者の発話音声とを識別できる機能をコンピュータにより実現できる。また音声取得手段に音声が到達する時間差を利用して装着者の発話音声と他者の発話音声とを識別できる機能をコンピュータにより実現できる。

第１の実施形態による音声解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 本実施形態における音声解析部の機能構成例を示した図である。 本実施形態において装着者と１人の他者とが対話している場合を示している。 装着者と他者とが同時に発話したときにマイクロフォンで生成された音声信号について説明した図である。 （ａ）〜（ｂ）は、本実施形態において分離音声信号のうちの何れが装着者の発話音声による音声信号であるかを識別する方法について説明した図である。 本実施形態における端末装置の動作を示すフローチャートである。 本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。 図８の会話状況における各端末装置の発話情報の例を示す図である。 第２の実施形態による信号解析装置の構成例を示す図である。 図１０の信号解析装置を信号源とともに使用する形態について説明した図である。 本実施形態における信号解析部の機能構成例を示した図である。 本実施形態における信号解析装置の動作を示すフローチャートである。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
例えば、２人の人がおり、この２人が対話するときは、通常は２人が交互に発話することで対話が行われる。一方、この２人が同時に発話する場合もあり、この場合音声は、混ざり合い混合音声となる。そしてこのとき混合音声をそれぞれの発話者のそれぞれの音声に分離する従来技術が存在する。これは、例えば、独立成分分析（ＩＣＡ：Independent Component Analysis）を用いる手法であり、この手法によれば、混合音声の信号である混合音声信号をそれぞれの発話者の音声信号に分離することができる。
しかしながらこの手法を用いて混合音声信号を分離しても、分離後の音声信号が何れの発話者のものであるかを特定できない問題があった。
そこで本実施形態では、以下の音声解析システム１を用いることでこの問題の解決を図っている。

［第１の実施形態］
まず、第１の実施形態について説明する。
＜システム構成例＞
図１は、第１の実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態の音声解析システム１は、音声解析装置の一例である端末装置１０と、ホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。

端末装置１０は、音声を取得するための音声取得手段として、複数のマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂと、増幅器１３ａ、１３ｂ、１４ａ、１４ｂとを備える。また、端末装置１０は、取得した音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７とを備える。

詳しい配置は図２で後述するが、マイクロフォン１１ａ、１１ｂとマイクロフォン１２ａ、１２ｂとは、装着者の口（発声部位）からの距離が異なる位置に配される。ここでは、マイクロフォン１１ａ、１１ｂは装着者の口（発声部位）から遠い位置（例えば、３５ｃｍ程度）に配置され、マイクロフォン１２ａ、１２ｂは装着者の口（発声部位）に近い位置（例えば、１０ｃｍ程度）に配置されるものとする。またマイクロフォン１１ａとマイクロフォン１１ｂは、それぞれ水平方向に隣接して配され、その距離は例えば、１ｃｍである。またマイクロフォン１２ａとマイクロフォン１２ｂも同様に水平方向に隣接して配される。
本実施形態のマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂとして用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。

増幅器１３ａ、１３ｂ、１４ａ、１４ｂは、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂのそれぞれが取得した音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の増幅器１３ａ、１３ｂ、１４ａ、１４ｂとして用いられる増幅器としては、既存のオペアンプ等を用いて良い。

音声解析部１５は、増幅器１３ａ、１３ｂ、１４ａ、１４ｂから出力された音声信号を解析する。そして、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂで取得した音声が端末装置１０を装着した装着者自身が発話した音声か、装着者以外の他者の発話による音声かを識別する。音声識別のための具体的な処理の内容については後述する。

データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末ＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂによる音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。

電源部１７は、上記のマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂ、増幅器１３ａ、１３ｂ、１４ａ、１４ｂ、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。

ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。

データ受信部２１は、上記の無線回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。
データ蓄積部２２は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。

データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者同士の対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。

出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。

＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。

装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも増幅器１３ａ、１３ｂ、１４ａ、１４ｂ、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。

提げ紐４０には、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂが設けられる。マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂは、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された増幅器１３ａ、１３ｂ、１４ａ、１４ｂにそれぞれ接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。

この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂを収納している。マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂを挙げ紐４０の内部に設けることにより、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂの損傷や汚れを防ぎ、対話者がマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂの存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置されるマイクロフォン１１ａ、１１ｂは、装置本体３０に設けても良い。本実施形態では、マイクロフォン１１ａ、１１ｂが提げ紐４０に設けられる場合を例として説明する。

図２を参照すると、マイクロフォン１１ａ、１１ｂは、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、マイクロフォン１１ａ、１１ｂは、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、マイクロフォン１１ａ、１１ｂが装置本体３０に設けられた場合も、装着者の口（発声部位）からマイクロフォン１１ａ、１１ｂまでの距離は同程度である。

マイクロフォン１２ａ、１２ｂは、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、マイクロフォン１２ａ、１２ｂは、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。

また図示するように、マイクロフォン１１ａとマイクロフォン１１ｂは、提げ紐４０内部のほぼ同じ位置に設けられ、互いに水平方向に隣接している。またマイクロフォン１２ａとマイクロフォン１２ｂについても同様である。

このように配されるマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにより、本実施形態では、隣接して配される複数のマイクロフォン（この場合２個）からなる組（この場合、マイクロフォン１１ａ、１１ｂの組とマイクロフォン１２ａ、１２ｂの組）を装着者の口（発声部位）から異なる距離離間させて複数（この場合２組）配置することで音声取得手段群が構成される。

なお、本実施形態の端末装置１０は、図２に示す構成に限定されるものではない。例えば、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂは、マイクロフォン１１ａ、１１ｂから装着者の口（発声部位）までの音波到達経路の距離がマイクロフォン１２ａ、１２ｂから装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、位置関係が特定されれば良い。したがって、マイクロフォン１１ａ、１１ｂを首の後ろ側の提げ紐４０に設けても良い。また、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂは、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂの各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂの位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。

さらに上述した例ではマイクロフォン１１ａとマイクロフォン１１ｂ、およびマイクロフォン１２ａとマイクロフォン１２ｂは、それぞれ水平方向に隣接して配されていたが、マイクロフォン同士が並ぶ方向は、これに限られるものではない。例えば、上下方向に並んで配してもよく、斜め方向でもよい。

また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂからの音声信号を受け付けて増幅し、解析する機能を実現させても良い。

さらにまた、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂと装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。増幅器１３ａ、１３ｂ、１４ａ、１４ｂ、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。

＜取得音声の発話者（自他）の識別＞
図３は、本実施形態における音声解析部１５の機能構成例を示した図である。
図示するように音声解析部１５は、音声信号取得手段１５１と、分離手段１５２と、自他識別手段１５３とを備える。

音声信号取得手段１５１は、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにて生成され増幅器１３ａ、１３ｂ、１４ａ、１４ｂにより増幅された音声信号を取得する。なお音声信号取得手段１５１は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより、雑音を発話音声から分離し、除去してもよい。

分離手段１５２は、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにより生成された音声信号が複数の発話者による混合音声信号であったときに、混合音声信号をマイクロフォン１１ａ、１１ｂの組とマイクロフォン１２ａ、１２ｂの組毎のそれぞれについて発話者毎に分離する。

図４は、本実施形態において装着者と１人の他者とが対話している場合を示している。
図４では、装着者は端末装置１０を装着しており、このとき装着者の発話音声と他者の発話音声は、ともにマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにより捉えられ、音声信号が生成される。

図５は、装着者と他者とが同時に発話したときにマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂで生成された音声信号について説明した図である。
図中、発話者の元の音声信号を音声信号Ｓ１、他者の元の音声信号を音声信号Ｓ２としている。装着者と他者とが同時に発話したときは、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂでは、それぞれ音声信号Ｓ１と音声信号Ｓ２とが混合した混合音声信号が生成される。
このときマイクロフォン１１ａとマイクロフォン１１ｂとは、ほぼ同じ箇所に隣接して配されるため、両者は、ほぼ同じ混合信号を生成する。図５では、マイクロフォン１１ａ、１１ｂにより生成された混合信号を混合音声信号Ｘ１として図示している。また同様にマイクロフォン１２ａとマイクロフォン１２ｂとは、ほぼ同じ箇所に隣接して配されるため、両者は、ほぼ同じ混合信号を生成する。図５では、マイクロフォン１２ａ、１２ｂにより生成された混合音声信号を混合音声信号Ｘ２として図示している。

分離手段１５２は、この混合音声信号Ｘ１、Ｘ２を発話者毎に分離し、発話者毎の音声信号とする。図５では、マイクロフォン１１ａ、１１ｂにより生成された混合音声信号Ｘ１を分離した場合の分離信号を分離音声信号Ｙ１、Ｙ２で図示している。またマイクロフォン１２ａ、１２ｂにより生成された混合音声信号Ｘ２を分離した場合の分離信号を分離音声信号Ｙ３、Ｙ４で図示している。このように本実施形態では、組となるマイクロフォン１１ａ、１１ｂを使用して混合音声信号Ｘ１を分離音声信号Ｙ１、Ｙ２に分離する。さらに組となるマイクロフォン１２ａ、１２ｂを使用して混合音声信号Ｘ２を分離音声信号Ｙ３、Ｙ４に分離する。本実施形態では、このようにマイクロフォン１１ａ、１１ｂの組およびマイクロフォン１２ａ、１２ｂの組毎に混合音声信号Ｘ１、Ｘ２を分離することで、４つの分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４とする。
なお混合音声信号Ｘ１、Ｘ２を分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４に分離するのは、例えば、上述したＩＣＡを使用することで行うことができる。

この分離音声信号Ｙ１と分離音声信号Ｙ２は、一方が、装着者の発話音声による音声信号であり、他方が他者の発話音声による音声信号である。また同様にして分離音声信号Ｙ３と分離音声信号Ｙ４は、一方が、装着者の発話音声による音声信号であり、他方が他者の発話音声による音声信号である。

自他識別手段１５３は、分離手段１５２により分離された音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別（自他識別）する。本実施形態では、分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４のうちの２つが装着者の発話音声による音声信号であることを識別する。そしてこれにより他の２つが他者の発話音声による音声信号であることを識別できる。

図６（ａ）〜（ｂ）は、本実施形態において分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４のうちの何れが装着者の発話音声による音声信号であるかを識別する方法について説明した図である。
ここではマイクロフォンの組同士が離間する距離の分に対応して音声が予め定められた時間差で到達することを利用する。まず図４に示すように、装着者の口（発声部位）とマイクロフォン１１ａ、１１ｂとの間の距離をＬａ１、装着者の口とマイクロフォン１２ａ、１２ｂとの間の距離をＬａ２とする。また、他者の口（発声部位）とマイクロフォン１１ａ、１１ｂとの間の距離をＬｂ１、他者の口とマイクロフォン１２ａ、１２ｂとの間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＞Ｌａ２
Ｌｂ１≒Ｌｂ２

つまり他者の発話音声は、マイクロフォン１１ａ、１１ｂの組とマイクロフォン１２ａ、１２ｂの組の両者にほぼ同時に到達するが、装着者の発話音声は、マイクロフォン１１ａ、１１ｂの組よりマイクロフォン１２ａ、１２ｂの組の方が、早く到達する。そしてこのときに生じる時間差ｔは、マイクロフォン１１ａ、１１ｂの組とマイクロフォン１２ａ、１２ｂの組の間の距離ｄと音速から求めることができ、ほぼ一定となる。

よって図６（ａ）に示すように分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４のうち装着者の発話音声に基づく分離音声信号を比較した場合は、マイクロフォン１１ａ、１１ｂの組とマイクロフォン１２ａ、１２ｂの組とで、時間差ｔの分ずれてほぼ同様の波形となる。一方、図６（ｂ）に示すように分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４のうち装着者の発話音声と他者の発話音声に基づく分離音声信号を比較した場合は、マイクロフォン１１ａ、１１ｂの組とマイクロフォン１２ａ、１２ｂの組とで、時間差ｔの分ずらしても波形は異なる。さらに分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４のうち他者の発話音声に基づく分離音声信号を比較した場合は、波形を時間差ｔの分ずらすと一致しない波形となる。

そこで本実施形態では、分離手段１５２により発話者毎に分離された音声信号の波形を時間差ｔの分ずらしたときの相関関係を求める。そして異なるマイクロフォンの組において発話者毎に分離された音声信号を比較したときに相関関係に基づいて、音声信号が装着者の発話音声による音声信号であるかを識別する。

本実施形態の場合、分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４について下記の４通りの組み合わせのうち１つが、装着者の発話音声に基づく分離音声信号同士を比較することになる。
（１）分離音声信号Ｙ１と分離音声信号Ｙ３
（２）分離音声信号Ｙ１と分離音声信号Ｙ４
（３）分離音声信号Ｙ２と分離音声信号Ｙ３
（４）分離音声信号Ｙ２と分離音声信号Ｙ４

本実施形態では、上記４通りの組み合わせについて、例えば、分離音声信号Ｙ３、Ｙ４の波形を時間差ｔだけ、時間的に遅らせるようにシフトする。次に分離音声信号の相関関係として相関係数を求める。そして（１）〜（４）の中で最も相関係数が高かったものが、装着者の発話音声に基づく分離音声信号の組み合わせであると判定する。さらに他の２つの分離音声信号は、他者の発話音声に基づく分離音声信号であると判定する。
以上のようにして分離音声信号Ｙ１、Ｙ２、Ｙ３、Ｙ４のそれぞれが、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別することができる。

＜端末装置の動作例＞
図７は、本実施形態における端末装置１０の動作を示すフローチャートである。
図７に示すように、端末装置１０のマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂが音声を取得すると、各マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂから取得音声に応じた電気信号（音声信号）が増幅器１３ａ、１３ｂ、１４ａ、１４ｂへ送られる（ステップ１０１）。増幅器１３ａ、１３ｂ、１４ａ、１４ｂは、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂからの音声信号を取得すると、増幅して音声解析部１５へ送る（ステップ１０２）。

音声解析部１５は、音声信号を取得した後、音声信号取得手段１５１において増幅器１３ａ、１３ｂ、１４ａ、１４ｂで増幅された音声信号に対してフィルタリング処理を行う（ステップ１０３）。これにより音声信号から環境音等の雑音（ノイズ）の成分を除去する。次に、音声信号取得手段１５１は、雑音成分が除かれた音声信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂの取得音声における平均音圧を求める（ステップ１０４）。そして、平均音圧がある閾値以上であるか否か（利得が有るか否か）を判断する（ステップ１０５）。

音声信号取得手段１５１は、ステップ１０５で求めた各マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにおける平均音圧の利得が有る場合（ステップ１０５でＹｅｓ）、発話音声がある（発話が行われた）と判断する。

そして音声解析部１５の分離手段１５２は、図５で説明したようにＩＣＡ等を用いることで、音声信号を発話者毎に分離し、分離音声信号とする（ステップ１０６）。
このときマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂで取得された音声信号が、混合音声信号ではなく、装着者または他者のそれぞれ単独の発話音声に基づく音声信号である場合もある。そしてこの場合、分離手段１５２でＩＣＡ処理を行うと、装着者または他者の単独の音声信号と、無音音声（小さなノイズ音）の信号とに分離される。ただしこの無音音声の信号は、発話音声に基づく音声信号に対し、非常に微弱な信号であるため、区別が容易である。よってこのような信号が分離されたときは、発話音声に基づく音声信号として扱わなければよい。

次に音声解析部１５の自他識別手段１５３は、図６で説明した方法で、分離音声信号が装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別（自他識別）する（ステップ１０７）。
このときマイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂで取得された音声信号が、混合音声信号ではなく、装着者または他者のそれぞれ単独の発話音声に基づく音声信号であったときは、分離音声信号は、無声音声の信号を除くと２つのみ生成される。これは、装着者単独の発話音声に基づく音声信号であるか、他者単独の発話音声に基づく音声信号であるかのどちらかである。そしてこれを識別するのは、図６で説明した方法と同様である。即ち、この２つの分離音声信号の何れかの波形を時間差ｔだけ、時間的にシフトさせ、分離音声信号の相関関係を調べればよい。

なおステップ１０４で求めた各マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにおける平均音圧の利得が無い場合（ステップ１０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ１０８）。

この後、音声解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１０８の処理で得られた情報を解析結果としてホスト装置２０へ送信する（ステップ１０９）。この解析結果としては、例えば、発話の有無、装着者の情報（端末ＩＤ）、マイクロフォン１１、１２により取得された音声が装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別した情報である自他識別情報等である。またこのとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させてもよい。

なお上述した例では、装着者と１人の他者の合計２人の発話音声が混合した場合を説明したが、３人の発話音声が混合した場合は、１つの組を構成し隣接して配されるマイクロフォンは、少なくとも３個必要である。即ち、複数の発話者が同時に発話することでマイクロフォンで取得された音声信号が混合音声信号となった場合、１つの組を構成するマイクロフォンの個数は、その混合音声信号に含まれる発話者の人数分以上必要となる。
また上述した例では、信号取得手群を構成する組の数は、２組であったが、これに限られることはなく、３組以上でもよい。この場合、上述したマイクロフォンの組同士の距離ｄが複数存在することになり、それぞれについて自他識別を行うことで、自他識別の精度が向上しやすくなる。

＜システムの適用例とホスト装置の機能＞
本実施形態のシステムでは、複数の端末装置１０により上記のようにして得られた発話に関する情報（以下、発話情報）がホスト装置２０に集められる。ホスト装置２０は、複数の端末装置１０から得られた情報を用いて、例えば、装着者同士の会話関係を解析する。

図８は、本実施形態の端末装置１０をそれぞれ装着した複数の装着者が会話している状況を示す図である。図９は、図８の会話状況における各端末装置１０Ａ、１０Ｂの発話情報の例を示す図である。
図８に示すように、端末装置１０をそれぞれ装着した二人の装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａの端末装置１０Ａにおいて装着者の発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者の発話として認識される音声は、端末装置１０Ａでは他者の発話として認識される。

端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図９に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。

このように端末装置１０の装着者同士の会話関係を解析することで、装着者のグループ全体におけるコミュニケーションの傾向を分析することができる。具体的には、例えば、会話参加者の数、会話が行われた時間、対話度、活性度などの値と会話の発生頻度との相関関係を調べることで、装着者のグループにおいてどのような態様の会話が行われる傾向があるかが判断される。

＜プログラムの説明＞
なお本実施形態における端末装置１０が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置１０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、端末装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって端末装置１０が行なう処理は、コンピュータに、隣接して配される複数のマイクロフォンからなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される信号取得手段群にて生成された音声信号を取得する機能と、マイクロフォンにより生成された音声信号が複数の発話者による混合音声信号であったときに、混合音声信号をマイクロフォンの組のそれぞれについて発話者毎に分離する機能と、分離された音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する機能と、を実現させるプログラムとして捉えることもできる。

なお上述した例では、自他識別の判断を端末装置１０で行なっていたが、これに限られるものではなく、ホスト装置２０の方で行なってもよい。この形態における音声解析システム１としては、音声解析部１５で行なっていた処理を、例えば、ホスト装置２０のデータ解析部２３で行なう。この音声解析システム１においては、ホスト装置２０は、音声解析装置として機能し、データ解析部２３は、音声信号取得手段、分離手段、および自他識別手段として機能する。

［第２の実施形態］
次に第２の実施形態について説明する。
＜信号解析装置の構成例＞
第１の実施形態では、例えば、端末装置１０が、マイクロフォン１１ａ、１１ｂ、１２ａ、１２ｂにより発話者の音声を取得し、これにより生成された混合音声信号を発話者毎に分離して分離音声信号とした。そして分離音声信号が端末装置１０を装着する装着者の発話音声による音声信号であるか他者の発話音声による音声信号であるかを識別していたが、これに限られるものではない。

図１０は、第２の実施形態による信号解析装置の構成例を示す図である。また図１１は、図１０の信号解析装置を信号源とともに使用する形態について説明した図である。
図１０に示すように、本実施形態の信号解析装置５０は、信号源から送信された信号を取得する信号取得手段として、センサ５１−１、５１−２、…、５１−ｎの組と、センサ５２−１、５２−２、…、５２−ｎの組とを備える。また、信号解析装置５０は、取得した信号を解析する信号解析部５５と、電源部５７とを備える。

また図１１に示すように本実施形態では、信号源はｎ個存在し、それぞれ「信号源１」、「信号源２」、…、「信号源ｎ」として図示している。なお「信号源１」、「信号源２」、…、「信号源ｎ」から出力される信号は、第１の実施形態のように音声でもよいが、これに限られるものではなく、音声以外の音や、光、赤外線、電波等の電磁波や、放射線などであってもよい。

なお本実施形態では、以後、センサ５１−１、５１−２、…、５１−ｎの組を、センサ５１と総称することがある。同様にしてセンサ５２−１、５２−２、…、５２−ｎの組を、センサ５２と総称することがある。また「信号源１」、「信号源２」、…、「信号源ｎ」のそれぞれを区別しない場合には、単に信号源と総称することがある。

センサ５１およびセンサ５２は、信号源のそれぞれから送信された信号を取得し、信号の情報とする機能を有する。ここで信号の情報は、例えば、信号を電気信号としたものであり、第１の実施形態の音声信号に対応する。
またセンサ５１とセンサ５２とは、本実施形態では、信号源１からの距離が異なる位置に配される。ここでは、センサ５１は、信号源１から遠い位置に配置され、センサ５２は、信号源１から近い位置に配置されるものとする。その結果、センサ５１とセンサ５２とは、予め定められた距離ｄだけ離間して配置する。
またセンサ５１−１、５１−２、…、５１−ｎのそれぞれは、隣接して配される。またセンサ５２−１、５２−２、…、５２−ｎのそれぞれも同様に隣接して配される。

信号解析部５５は、センサ５１およびセンサ５２で取得された信号を解析する。そして、センサ５１およびセンサ５２で取得した信号が、信号源１から取得した信号であるか他の信号源から取得した信号であるかを識別する。

電源部５７は、上記のセンサ５１、センサ５２、信号解析部５５に電力を供給する。電源部５７としては、乾電池や充電池などの他に、ＡＣ電源なども含まれる。

このように配されるセンサ５１およびセンサ５２により、本実施形態では、隣接して配される複数のセンサ（この場合ｎ個）からなる組（この場合、センサ５１およびセンサ５２の各組）を予め定められた距離離間させて複数（この場合２組）配置することで構成される信号取得手段群が構成される。

本実施形態の信号解析装置５０は、第１の実施形態で例示した端末装置１０のように移動可能な形態としてもよく、固定式としてもよい。
また本実施形態の信号解析装置５０は、上記形態に限られるものではなく、第１の実施形態で例示したように、増幅器やデータ送信部などを設けてもよい。
さらに本実施形態の信号解析装置５０に第１の実施形態で例示したようなホスト装置２０を接続し、この装置に信号解析装置５０で解析した結果をデータとして送信して、データの蓄積や分析等を行なう信号解析システムとしてもよい。

＜取得信号の識別＞
図１２は、本実施形態における信号解析部５５の機能構成例を示した図である。
図示するように信号解析部５５は、信号情報取得手段５５１と、分離手段５５２と、信号源識別手段５５３とを備える。

信号情報取得手段５５１は、センサ５１およびセンサ５２にて取得された信号の情報を取得する。

分離手段５５２は、センサ５１およびセンサ５２により取得された信号の情報が、複数の信号源による混合信号情報であったときに、混合信号情報をセンサの組毎に信号源毎に分離する。
なお混合信号情報を分離して分離信号情報とするのは、図５で説明したのと同様に例えば、ＩＣＡを使用することで行うことができる。なおここでは、ｎ個の信号源から出力されたｎ個の信号が、混合している場合を考える。この場合、分離手段５５２により、混合信号情報は、ｎ個の分離信号情報に分離される。

信号源識別手段５５３は、分離手段５５２により分離された信号の情報が、複数の信号源のうち１つの信号源（信号源１）から取得した信号の情報であるか他の信号源（信号源２〜信号源ｎ）から取得された信号の情報であるかを識別する。
具体的には、図６で説明したように各分離信号情報の相関関係を導出し、相関関係が最も高いもの２つが、信号源１から取得した信号の情報であると判定する。そして他の分離信号情報については、他の信号源２〜信号源ｎから取得された信号の情報であると判定する。

＜信号解析装置の動作例＞
図１３は、本実施形態における信号解析装置５０の動作を示すフローチャートである。
図１３に示すように、信号解析装置５０のセンサ５１、センサ５２が信号を取得すると（ステップ２０１）、取得された信号は、信号の情報として信号解析部５５へ送られる。

信号解析部５５は、信号の情報を取得した後、信号の情報の強度がある閾値以上であるか否かを判断する（ステップ２０２）。

信号解析部５５の信号情報取得手段５５１は、ステップ２０２で求めた信号の強度が閾値以上有る場合（ステップ２０２でＹｅｓ）、信号が取得されたと判断する。

そして信号解析部５５の分離手段５５２は、図５で説明したようにＩＣＡ等を用いることで、混合信号情報を信号源毎に分離し、分離信号情報とする（ステップ２０３）。

なおステップ２０２で求めたセンサ５１、センサ５２において取得された信号の情報の強度が閾値未満である場合（ステップ２０２でＮｏ）、信号解析部５５は、信号が無いと判断する（ステップ２０４）。

次に信号解析部５５の自他識別手段５５３は、図６で説明した方法で、分離信号情報がｎ個の信号源のうち信号源１から取得した信号の情報であるか他の信号源２〜信号源ｎから取得された信号の情報であるかを識別する（ステップ２０４）。

なお上述した例では、分離信号情報がｎ個の信号源のうち信号源１から取得した信号の情報であるか他の信号源２〜信号源ｎから取得された信号の情報であるかを識別していたが、他の信号源についても同様の手法で識別が可能である。例えば、分離信号情報がｎ個の信号源のうち信号源２から取得した信号の情報であるか他の信号源１および信号源３〜信号源ｎから取得された信号の情報であるかを識別することもできる。

１…音声解析システム、１０…端末装置、１１ａ、１１ｂ、１２ａ、１２ｂ…マイクロフォン、１５…音声解析部、２０…ホスト装置、５０…信号解析装置、５５…信号解析部、１５１…音声信号取得手段、１５２、５５２…分離手段、１５３、５５３…自他識別手段、５５１…信号情報取得手段

Claims (6)

1. 隣接して配される複数の音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される音声取得手段群にて生成された音声信号を取得する音声信号取得手段と、
   前記音声取得手段により生成された音声信号が複数の発話者による混合音声信号であったときに、当該混合音声信号を前記組のそれぞれについて発話者毎に分離する分離手段と、
   前記音声取得手段群と発話者との位置関係を利用して異なる組において発話者毎に分離された音声信号を比較したときの相関関係に基づいて、前記分離手段により分離されたそれぞれの音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する自他識別手段と、
   を備えることを特徴とする音声解析装置。
2. 前記自他識別手段は、異なる組において発話者毎に分離された音声信号の波形を予め定められた時間差分ずらしたときの相関関係を求めることを特徴とする請求項１に記載の音声解析装置。
3. 隣接して配される複数の信号取得手段からなる組を予め定められた距離離間させて複数配置することで構成される信号取得手段群にて取得された信号の情報を取得する信号情報取得手段と、
   前記信号取得手段により取得された信号の情報が複数の信号源による混合信号情報であったときに、当該混合信号情報を前記組のそれぞれについて何れかの信号源からの信号の情報として分離する分離手段と、
   前記信号取得手段群と信号源との位置関係を利用して異なる組において信号源毎に分離された信号を比較したときの相関関係に基づいて、前記分離手段により分離されたそれぞれの信号の情報が、前記複数の信号源のうち１つの信号源から取得した信号の情報であるか他の信号源から取得した信号の情報であるかを識別する信号源識別手段と、
   を備えることを特徴とする信号解析装置。
4. 隣接して配される複数の音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される音声取得手段群と、
   前記音声取得手段により生成された音声信号が複数の発話者による混合音声信号であったときに、当該混合音声信号を前記組のそれぞれについて発話者毎に分離する分離手段と、
   前記音声取得手段群と発話者との位置関係を利用して異なる組において発話者毎に分離された音声信号を比較したときの相関関係に基づいて、前記分離手段により分離されたそれぞれの音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する自他識別手段と、
   を備えることを特徴とする音声解析システム。
5. 前記組を構成する音声取得手段は、２個であり、前記音声取得手段群を構成する当該組は２組であることを特徴とする請求項４に記載の音声解析システム。
6. コンピュータに、
   隣接して配される複数の音声取得手段からなる組を装着者の発声部位から異なる距離離間させて複数配置することで構成される音声取得手段群にて生成された音声信号を取得する機能と、
   前記音声取得手段により生成された音声信号が複数の発話者による混合音声信号であったときに、当該混合音声信号を前記組のそれぞれについて発話者毎に分離する機能と、
   前記音声取得手段群と発話者との位置関係を利用して異なる組において発話者毎に分離された音声信号を比較したときの相関関係に基づいて、分離されたそれぞれの音声信号が、装着者の発話音声による音声信号であるか装着者以外の他者の発話音声による音声信号であるかを識別する機能と、
   を実現させるプログラム。

Images