JP6476938B2 - 音声解析装置、音声解析システムおよびプログラム - Google Patents

Description

本発明は、音声解析装置、音声解析システム、プログラムに関する。

従来、マイクロフォンを利用し、マイクロフォンにより捉えられた音の発生方向を推定する技術が存在する。

特許文献１には、複数の無指向性マイクロホンから成るマイクロホンアレイ、マイクロホンアレイの近傍に位置する障害物に関する情報に基づく補正テーブルを格納する記憶部、マイクロホンアレイによって集音された音の到来方向を、音の到来時間差又は位相差及び記憶部に格納した補正テーブルに基づいて算出する到来方向推定処理部を備える音源位置推定装置が開示されている。

特開２０１０−２１３０９１号公報

例えば、人に発声部位からの距離が異なる２つのマイクロフォンを装着する。そしてそれぞれのマイクロフォンで取得される音声の音圧を基に、音声がマイクロフォンを装着する装着者のものであるか、装着者以外の他者のものであるかを識別（自他識別）することができる。
しかしながらマイクロフォンの周囲に障害物等が存在した場合、障害物の影響により音圧が変化し、自他識別の精度が低下する場合がある。
本発明は、マイクロフォンの周囲に障害物等が存在した場合でも影響を受けにくく、自他識別の精度が低下しにくい音声解析装置等を提供することを目的とする。

請求項１に記載の発明は、装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上の音声取得手段により生成された音声に関する情報を取得する音声情報取得手段と、前記音声取得手段の中から２個を選択し、選択された当該音声取得手段で取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段であって、当該音声取得手段のうち第１の音声取得手段よりも発声部位から遠い第２の音声取得手段の音圧が予め定めた値よりも大きい場合に、当該第１の音声取得手段よりも発声部位から遠く且つ当該第２の音声取得手段よりも近い第３の音声取得手段および当該第１の音声取得手段の２個を選択して発話音声を識別する自他識別手段と、を備えることを特徴とする音声解析装置である。
請求項２に記載の発明は、前記自他識別手段は、前記音声取得手段のうち前記発声部位から最も近い位置に配された音声取得手段と、当該発声部位から最も遠い位置に配された音声取得手段との２個をまず選択することを特徴とする請求項１に記載の音声解析装置である。
請求項３に記載の発明は、前記自他識別手段は、選択された２個の前記音声取得手段について、前記発声部位から最も近い位置に配された音声取得手段が取得した音声の音圧に対して選択された他方の音声取得手段が取得した音声の音圧が大きいときには、他方の音声取得手段の替わりに、前記発声部位から次に遠い位置に配された音声取得手段を選択することを特徴とする請求項１または２に記載の音声解析装置である。
請求項４に記載の発明は、前記自他識別手段は、選択された他方の音声取得手段の音圧を前記発声部位から最も遠い位置に配された音声取得手段に合わせ補正することを特徴とする請求項１乃至３の何れか１項に記載の音声解析装置である。
請求項５に記載の発明は、装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上の音声取得手段と、前記音声取得手段の中から２個を選択し、選択された当該音声取得手段で取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段であって、当該音声取得手段のうち第１の音声取得手段よりも発声部位から遠い第２の音声取得手段の音圧が予め定めた値よりも大きい場合に、当該第１の音声取得手段よりも発声部位から遠く且つ当該第２の音声取得手段よりも近い第３の音声取得手段および当該第１の音声取得手段の２個を選択して発話音声を識別する自他識別手段と、を備えることを特徴とする音声解析システムである。
請求項６に記載の発明は、コンピュータに、装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上の音声取得手段により生成された音声に関する情報を取得する音声情報取得機能と、前記音声取得手段の中から２個を選択し、選択された当該音声取得手段で取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別機能であって、当該音声取得手段のうち第１の音声取得手段よりも発声部位から遠い第２の音声取得手段の音圧が予め定めた値よりも大きい場合に、当該第１の音声取得手段よりも発声部位から遠く且つ当該第２の音声取得手段よりも近い第３の音声取得手段および当該第１の音声取得手段の２個を選択して発話音声を識別する自他識別機能と、を実現させるプログラムである。

請求項１の発明によれば、音声取得手段の周囲に障害物等が存在した場合でも自他識別の精度が低下しにくい音声解析装置を提供できる。
請求項２の発明によれば、自他識別の精度がより向上する。
請求項３の発明によれば、自他識別の精度がより高い音声取得手段を順に選択することができる。
請求項４の発明によれば、音圧の差を補正し、自他識別の精度を向上させることができる。
請求項５の発明によれば、複数の装着者の音声取得手段で取得される音声に基づき、装着者のコミュニケーション関係が把握できるシステムを構築できる。
請求項６の発明によれば、音声取得手段の周囲に障害物等が存在した場合でも自他識別の精度が低下しにくくなる機能をコンピュータにより実現できる。

本実施形態による音声解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の距離と音圧（入力音量）との関係を示す図である。 装着者自身の発話音声と他者の発話音声の識別方法を示す図である。 第２マイクロフォンの近くに障害物が存在したときの音圧比について示した図である。 本実施形態における端末装置の動作を示すフローチャートである。 端末装置の変形例について示した図である。 変形例における端末装置の動作を示すフローチャートである。 変形例における端末装置の動作を示すフローチャートである。 本実施形態の端末装置をそれぞれ装着した二人の装着者が会話している状況を示す図である。 図１０の会話状況における各端末装置の発話情報の例を示す図である。

＜システム構成例＞
図１は、本実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態の音声解析システム１は、音声解析装置の一例である端末装置１０と、ホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、Bluetooth（登録商標）、ZigBee（登録商標）、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。

端末装置１０は、音声を取得し装着者の発話音声と装着者以外の他者の発話音声とを識別するための音声取得手段としての複数のマイクロフォン（第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３）と、増幅器１４とを備える。また、端末装置１０は、取得した音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７とを備える。

第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３は、装着者の口（発声部位）からの距離が異なる位置に配される。ここでは、第１マイクロフォン１１は装着者の口（発声部位）から近い位置（例えば、１０ｃｍ程度）に配置され、第２マイクロフォン１２は装着者の口（発声部位）に遠い位置（例えば、３５ｃｍ程度）に配置されるものとする。さらに第３マイクロフォン１３は、第１マイクロフォン１１と第２マイクロフォン１２の間の位置に配置されるものとする。本実施形態の第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。

増幅器１４は、それぞれ第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３が取得した音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の増幅器１４として用いられる増幅器としては、既存のオペアンプ等を用いて良い。

音声解析部１５は、増幅器１４から出力された音声信号を解析する。そして、第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３で取得した音声が端末装置１０を装着した装着者自身が発話した音声か、他者の発話による音声かを識別（自他識別）する。音声識別のための具体的な処理の内容については後述する。音声解析部１５は、音声情報取得手段および自他識別手段の一例として機能する。

データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末ＩＤを、上記の無線通信回線を介して、あるいは無線通信回線に加えてインターネット等の有線通信回線を経由してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３による音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線通信回線のみで送信しても良い。

電源部１７は、上記の第１マイクロフォン１１、第２マイクロフォン１２、第３マイクロフォン１３、増幅器１４、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。

ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、本実施形態では複数台の端末装置１０が使用された場合には、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。なお、端末装置１０とホスト装置２０の間にデータ転送を中継する中継装置を介しても良く、この中継装置が解析、演算、時刻や中継装置ＩＤ等のデータを加える機能を有してもよい。

データ受信部２１は、各端末装置１０、あるいは中継装置からデータを受信してデータ蓄積部２２へ送る。
データ蓄積部２２は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。

データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。詳しくは後述するが、本実施形態では、データ解析部２３は、装着者と他者との会話関係を判定する。

出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ＷＥＢ表示、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。

＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。

装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも増幅器１４、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。

提げ紐４０には、第１マイクロフォン１１、第２マイクロフォン１２、および第３マイクロフォン１３が設けられる（以下、第１マイクロフォン１１、第２マイクロフォン１２、第３マイクロフォン１３を区別しない場合には、マイクロフォン１１、１２、１３と記載する）。マイクロフォン１１、１２、１３は、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された増幅器１４に接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。

この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１、１２、１３を収納している。マイクロフォン１１、１２、１３を挙げ紐４０の内部に設けることにより、マイクロフォン１１、１２、１３の損傷や汚れを防ぎ、対話者がマイクロフォン１１、１２、１３の存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置される第１マイクロフォン１１は、装置本体３０に設けても良い。本実施形態では、第１マイクロフォン１１が提げ紐４０に設けられる場合を例として説明する。

図２を参照すると、第１マイクロフォン１１は、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第１マイクロフォン１１は、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。

第２マイクロフォン１２は、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第２マイクロフォン１２は、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、第２マイクロフォン１２が装置本体３０に設けられた場合も、装着者の口（発声部位）から第１マイクロフォン１１までの距離は同程度である。

第３マイクロフォン１３は、第１マイクロフォン１１と第２マイクロフォン１２との間（例えば、接続部位から１０ｃｍ〜２０ｃｍ程度の位置）に設けられる。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第３マイクロフォン１３は、装着者の口（発声部位）から約２０ｃｍから３０ｃｍ程度離れた位置に配置される。

なお、本実施形態の端末装置１０は、図２に示す構成に限定されるものではない。例えば、マイクロフォン１１、１２は、第２マイクロフォン１２から装着者の口（発声部位）までの音波到達経路の距離が第１マイクロフォン１１から装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が特定されれば良い。また第３マイクロフォン１３は、第１マイクロフォン１１と第２マイクロフォン１２との間の位置関係となるようにすればよい。したがって、第１マイクロフォン１１を首の後ろ側の提げ紐４０に設けても良い。また、マイクロフォン１１、１２、１３は、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第１マイクロフォン１１と第２マイクロフォン１２と第３マイクロフォン１３の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第１マイクロフォン１１と第２マイクロフォン１２と第３マイクロフォン１３の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。

また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１、１２、１３からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。

さらにまた、マイクロフォン１１、１２、１３と装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。増幅器１４、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。

＜取得音声の非言語情報に基づく発話者（自他）の識別＞
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、原則として端末装置１０に設けられた２つのマイクロフォン１１、１２により取得された音声の情報を用いて、端末装置１０の装着者自身の発話（自己発話）音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音声の発話者に関して自他の別を識別する。また、本実施形態では、取得音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧（マイクロフォン１１、１２への入力音量）等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。

図１および図２を参照して説明したように、本実施形態において、第１マイクロフォン１１は装着者の口（発声部位）に近い位置に配置され、第２マイクロフォン１２は装着者の口（発声部位）から遠い位置に配置される。すなわち、装着者の口（発声部位）を音源とすると、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離が大きく異なる。具体的には、第２マイクロフォン１２と音源との間の距離は、第１マイクロフォン１１と音源との間の距離の１．５〜４倍程度である。ここで、マイクロフォン１１、１２における取得音声の音圧は、マイクロフォン１１、１２と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、装着者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは大きく異なる。

一方、装着者以外の者（他者）の口（発声部位）を音源とした場合を考えると、その他者が装着者から離れているため、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口（発声部位）を音源とした場合のように、第１マイクロフォン１１と音源との間の距離が第２マイクロフォン１２と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。

図３は、装着者および他者の口（発声部位）と、マイクロフォン１１、１２との位置の関係を示す図である。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１との間の距離をＬａ１、音源ａと第２マイクロフォン１２との間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１との間の距離をＬｂ１、音源ｂと第２マイクロフォン１２との間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ２＞Ｌａ１（Ｌａ２≒１．５×Ｌａ１〜４×Ｌａ１）
Ｌｂ１≒Ｌｂ２

図４は、マイクロフォン１１、１２と音源との間の距離と音圧（入力音量）との関係を示す図である。
上述したように、音圧は、マイクロフォン１１、１２と音源との間の距離に応じて距離減衰する。図４において、距離Ｌａ１の場合の音圧Ｇａ１と距離Ｌａ２の場合の音圧Ｇａ２とを比較すると、音圧Ｇａ１は、音圧Ｇａ２の４倍程度となっている。一方、距離Ｌｂ１と距離Ｌｂ２とが近似するため、距離Ｌｂ１の場合の音圧Ｇｂ１と距離Ｌｂ２の場合の音圧Ｇｂ２とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、取得音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図４に示した例では、距離Ｌｂ１、Ｌｂ２を６０ｃｍとしたが、ここでは音圧Ｇｂ１と音圧Ｇｂ２とがほぼ等しくなることに意味があり、距離Ｌｂ１、Ｌｂ２は図示の値に限定されない。

図５は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図４を参照して説明したように、装着者自身の発話音声に関して、第１マイクロフォン１１の音圧Ｇａ１は、第２マイクロフォン１２の音圧Ｇａ２の数倍（例えば４倍程度）である。また、他者の発話音声に関して、第１マイクロフォン１１の音圧Ｇｂ１は、第２マイクロフォン１２の音圧Ｇｂ２とほぼ等しい（１倍程度）。そこで、本実施形態では、第１マイクロフォン１１の音圧と第２マイクロフォン１２の音圧との比に閾値（第１の閾値）を設定する。そして、音圧比が第１の閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が第１の閾値よりも小さい音声は他者の発話音声と判断する。図５に示す例では、第１の閾値を２とし、音圧比Ｇａ１／Ｇａ２は第１の閾値２を超えるので装着者自身の発話音声と判断され、音圧比Ｇｂ１／Ｇｂ２は第１の閾値２よりも小さいので他者の発話音声と判断されている。

ところで、マイクロフォン１１、１２により取得される音声には、発話音声の他に、環境音等のいわゆる雑音（ノイズ）が含まれる。この雑音の音源とマイクロフォン１１、１２との間の距離の関係は、他者の発話音声の場合と類似する。すなわち、図４、図５に示した例によれば、雑音の音源ｃと第１マイクロフォン１１との間の距離をＬｃ１とし、雑音の音源ｃと第２マイクロフォン１２との間の距離をＬｃ２とすると、距離Ｌｃ１と距離Ｌｃ２とは近似する。そして、マイクロフォン１１、１２の取得音声における音圧比Ｇｃ１／Ｇｃ２は、第１の閾値２よりも小さくなる。しかし、このような雑音は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより発話音声から分離され、除去される。

しかしながら第２マイクロフォン１２は、第１マイクロフォン１１に対してより下側に配置されることになる。そのため第２マイクロフォン１２の近くに障害物が存在することが多くなる。即ち、装着者が椅子に座っているときのテーブル、机や、装着者が腕組みをしたときの腕などが、第２マイクロフォン１２の前に遮るように障害物となって存在する場合がある。

このとき障害物と第２マイクロフォン１２との間で発話音声の増幅が生じ、第２マイクロフォン１２で取得される音圧Ｇａ２が本来取得されるものより大きくなる場合がある。

図６は、第２マイクロフォン１２の近くに障害物が存在したときの音圧比Ｇａ１／Ｇａ２について示した図である。
第２マイクロフォン１２の近くに障害物が存在すると、上述したように増幅により音圧Ｇａ２が本来取得されるものより大きくなる。その結果、図示するように音圧比Ｇａ１／Ｇａ２が、１未満となる。この場合、図５で説明したように、第１の閾値を２とすると、本来は装着者自身の発話音声であったものが、他者の発話音声と判断されてしまうことになる。

そこで本実施形態では、１より小さい新たな閾値（第２の閾値）をさらに設け、音圧比Ｇａ１／Ｇａ２がこの第２の閾値未満となった場合には、第２マイクロフォン１２の近くに障害物が存在すると判断する。この第２の閾値は、例えば、０．９などの値が選択される。

そして第２マイクロフォン１２の近くに障害物が存在すると判断した場合、第３マイクロフォン１３の音圧を採用する。ここでは第３マイクロフォン１３の音圧をＧａ３とする。
第３マイクロフォン１３は、第２マイクロフォン１２より第１マイクロフォン１１により近く配置される。そのため第３マイクロフォン１３の近くに障害物が存在する可能性は、第２マイクロフォン１２よりも小さい。よって第２マイクロフォン１２の近くに障害物が存在すると判断した場合、音圧比Ｇａ１／Ｇａ２の替わりに、音圧比Ｇａ１／Ｇａ３により装着者自身の発話音声であるか、他者の発話音声であるかを判断する。

なお障害物がない場合について音圧比Ｇａ１／Ｇａ２と音圧比Ｇａ１／Ｇａ３とを比較した場合、Ｇａ１／Ｇａ２＞Ｇａ１／Ｇａ３となる。つまり音圧比Ｇａ１／Ｇａ２の方が、第１の閾値以上となりやすく、装着者自身の発話音声であるか、他者の発話音声であるかを判断する上では、音圧比Ｇａ１／Ｇａ２を採用した方が好ましい。よって本実施形態では、通常は音圧比Ｇａ１／Ｇａ２により判断を行ない、障害物が存在し、音圧比Ｇａ１／Ｇａ２が第２の閾値未満となったときに、音圧比Ｇａ１／Ｇａ３により判断を行なう。

また音圧比Ｇａ１／Ｇａ３により判断を行なうときは、音圧比Ｇａ１／Ｇａ２になるような補正を行うこともできる。つまり装着者の口である音源ａと第１マイクロフォン１１、第２マイクロフォン１２、第３マイクロフォン１３のそれぞれの間の距離と音圧との間には、図４に示したような関係がある。よって音源ａとの距離に応じて音圧Ｇａ３を音圧Ｇａ２に補正する補正係数を求めることができる。この補正係数は、１より小さい値となる。そして音圧Ｇａ３にこの補正係数を乗算することで補正を行う。ここでは補正後の音圧Ｇａ３を、Ｇａ３’とする。そして音圧比Ｇａ１／Ｇａ３’を使用して、装着者自身の発話音声であるか、他者の発話音声であるかを判断する。

＜端末装置の動作例＞
図７は、本実施形態における端末装置１０の動作を示すフローチャートである。
図７に示すように、端末装置１０のマイクロフォン１１、１２、１３が音声を取得する（ステップ１０１）と、各マイクロフォン１１、１２、１３から取得音声に応じた電気信号（音声信号）が増幅器１４へ送られる。増幅器１４は、マイクロフォン１１、１２、１３からの音声信号を取得すると、音声信号を増幅して音声解析部１５へ送る（ステップ１０２）。

音声解析部１５は、増幅器１４で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音（ノイズ）の成分を除去する（ステップ１０３）。次に、音声解析部１５は、雑音成分が除かれた信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１、１２、１３の取得音声における平均音圧を求める（ステップ１０４）。そして、平均音圧がある閾値以上であるか否か（利得が有るか否か）を判断する（ステップ１０５）。

音声解析部１５は、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が有る場合（ステップ１０５でＹｅｓ）、発話音声が有る（発話が行われた）と判断する。
そして音声解析部１５は、第１マイクロフォン１１と他のマイクロフォンとの平均音圧の比（音圧比）を求める（ステップ１０６）。即ち、第１マイクロフォン１１と第２マイクロフォン１２の音圧比Ｇａ１／Ｇａ２を求める。また第１マイクロフォン１１と第３マイクロフォン１３の音圧比を求める。ただし、このとき第３マイクロフォン１３の平均音圧は、上述した補正係数を用いて補正を行うことが好ましい。よってここでは補正後の第３マイクロフォン１３の平均音圧Ｇａ３’を使用し、音圧比Ｇａ１／Ｇａ３’を求める。

そして、ステップ１０６で求めた音圧比Ｇａ１／Ｇａ２が第１の閾値以上だった場合（ステップ１０７でＹｅｓ）、音声解析部１５は、発話音声は装着者自身の発話による音声であると判断する（ステップ１０８）。また、音圧比Ｇａ１／Ｇａ２が第１の閾値よりも小さい場合（ステップ１０７でＮｏ）、音声解析部１５は、音圧比Ｇａ１／Ｇａ２が第２の閾値以上であるか否かを判定する（ステップ１０９）。

そして音圧比Ｇａ１／Ｇａ２が第２の閾値以上だった場合（ステップ１０９でＹｅｓ）、音声解析部１５は、発話音声は他者の発話による音声であると判断する（ステップ１１０）。

また音圧比Ｇａ１／Ｇａ２が第２の閾値未満だった場合（ステップ１０９でＮｏ）、音声解析部１５は、第２マイクロフォン１２の近くに障害物があると判断し、音圧比Ｇａ１／Ｇａ３’が第１の閾値以上であるか否かを判定する（ステップ１１１）。

そして音圧比Ｇａ１／Ｇａ３’が第１の閾値以上だった場合（ステップ１１１でＹｅｓ）、音声解析部１５は、発話音声は装着者自身の発話による音声であると判断する（ステップ１０８）。また補正後の音圧比Ｇａ１／Ｇａ３’が第１の閾値未満だった場合（ステップ１１１でＮｏ）、音声解析部１５は、発話音声は他者の発話による音声であると判断する（ステップ１１０）。

なおステップ１０４で求めた各マイクロフォン１１、１２、１３における平均音圧の利得が無い場合（ステップ１０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ１１２）。

この後、音声解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１１２の処理で得られた情報（発話の有無、発話者の情報）を解析結果としてホスト装置２０へ送信する（ステップ１１３）。このとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させても良い。

ホスト装置２０のデータ受信部２１では、マイクロフォン１１、１２、１３により取得された音声が装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別した情報である自他識別情報を含む音声に関する情報を受信する。

＜変形例の説明＞
端末装置１０の実施形態については、上述した例に限られるものではない。ここでは、端末装置１０の変形例について説明を行なう。

図８は、端末装置１０の変形例について示した図である。
図示する端末装置１０は、図２に示した端末装置１０に比較して、第３マイクロフォン１３が複数設けられている。ここでは、第３マイクロフォン１３として、第３マイクロフォン１３−１および第３マイクロフォン１３−２を図示している。
本実施形態の第３マイクロフォン１３−１および第３マイクロフォン１３−２は、第１マイクロフォン１１と第２マイクロフォン１２との間に設けられる点では、図２の場合と同様である。一方、図８では、第３マイクロフォン１３−１は、第３マイクロフォン１３−２よりも第２マイクロフォン１２に近い位置に設けられている。即ち、発話者の発声部位からの距離は、第１マイクロフォン１１、第３マイクロフォン１３−２、第３マイクロフォン１３−１、第２マイクロフォン１２の順で大きくなる。

上述した例では、第１マイクロフォン１１と第２マイクロフォン１２との音圧比Ｇａ１／Ｇａ２が第２の閾値未満だった場合、第２マイクロフォン１２の近くに障害物があると判断する。そして第２マイクロフォン１２の替わりに第３マイクロフォン１３を使用し、第１マイクロフォン１１と第３マイクロフォン１３との補正後の音圧比Ｇａ１／Ｇａ３’を基に発話音声が装着者の発話音声であるか他者の発話音声であるかを識別する。しかし第２マイクロフォン１２に加え、第３マイクロフォン１３の近くにも障害物がある場合もある。この場合、音圧比Ｇａ１／Ｇａ３’についても第２の閾値未満となる。

そこで本実施形態では、第１マイクロフォン１１と第２マイクロフォン１２との音圧比Ｇａ１／Ｇａ２が第２の閾値未満だった場合、まず第２マイクロフォン１２の替わりに第３マイクロフォン１３−１を使用し、第３マイクロフォン１３−１の音圧（ここでは、Ｇａ３−１とする）を利用する。つまりＧａ３−１を補正した第３マイクロフォン１３−１の平均音圧Ｇａ３−１’を使用し、音圧比Ｇａ１／Ｇａ３−１’を算出する。そして音圧比Ｇａ１／Ｇａ３−１’が第２の閾値未満だった場合、第３マイクロフォン１３−１の近くにも障害物があると判断する。この場合、第３マイクロフォン１３−１の替わりに第３マイクロフォン１３−２を使用し、第３マイクロフォン１３−２の音圧（ここでは、Ｇａ３−２とする）を利用する。そして音圧比Ｇａ１／Ｇａ３−２’を基に発話音声が装着者の発話音声であるか他者の発話音声であるかを識別する。

このように障害物があった場合、第１マイクロフォン１１の他に、他の１個のマイクロフォンとして装着者の発声部位から遠い順から順次選択を行う。そして発話音声が装着者の発話音声であるか他者の発話音声であるかの識別を行う。
なお図８では、説明を簡単にするため、第３マイクロフォン１３は、第３マイクロフォン１３−１と第３マイクロフォン１３−２の２個であったが、さらに多くの第３マイクロフォン１３を用意してもよい。この場合、第３マイクロフォン１３は、装着者の発声部位から遠い順から順次選択していくようにする。

図９−１、図９−２は、変形例における端末装置１０の動作を示すフローチャートである。
ここでは第３マイクロフォン１３は、ｎ個用意され、それぞれ第３マイクロフォン１３−１、第３マイクロフォン１３−２、 … 、第３マイクロフォン１３−ｎとする。これらは全て第１マイクロフォン１１と第２マイクロフォン１２との間に設けられる。またこの順で第２マイクロフォン１２により近い位置に設けられている。即ち、発話者の発声部位からの距離は、第１マイクロフォン１１、第３マイクロフォン１３−ｎ、 … 、第３マイクロフォン１３−２、第３マイクロフォン１３−１、第２マイクロフォン１２の順で大きくなる。

図９−１、図９−２においてステップ２０１〜ステップ２１０については、図７のステップ１０１〜ステップ１１０と同様である。ただし第３マイクロフォン１３は、第３マイクロフォン１３−１〜１３−ｎのｎ個あるため、それぞれの第３マイクロフォン１３について補正後の音圧比が求められる。ここではこれをＧａ１／Ｇａ３−１’、Ｇａ１／Ｇａ３−２’、 … 、Ｇａ１／Ｇａ３−ｎ’とする。

ステップ２１１以降は、まずカウンタｉを１にセットする（ステップ２１１）。
次に音声解析部１５は、音圧比Ｇａ１／Ｇａ３−ｉ’が第２の閾値以上であるか否かを判定する（ステップ２１２）。つまりまず音圧比Ｇａ１／Ｇａ３−１’が第２の閾値以上であるか否かが判定される。

また音圧比Ｇａ１／Ｇａ３−ｉ’が第２の閾値未満だった場合（ステップ２１２でＮｏ）、音声解析部１５は、第３マイクロフォン１３−ｉの近くに障害物があると判断し、カウンタｉに１を加算する（ステップ２１３）。
そしてカウンタｉがｎより大きくなったか否かを判定する（ステップ２１４）。
さらにカウンタｉがｎより大きくない場合（ステップ２１４でＮｏ）、ステップ２１２に戻る。

また音圧比Ｇａ１／Ｇａ３−ｉ’が第２の閾値以上だった場合（ステップ２１２でＹｅｓ）、およびカウンタｉがｎより大きかった場合（ステップ２１４でＹｅｓ）、音声解析部１５は、音圧比Ｇａ１／Ｇａ３−ｉ’が第１の閾値以上であるか否かを判定する（ステップ２１５）。

そして音圧比Ｇａ１／Ｇａ３−ｉ’が第１の閾値以上だった場合（ステップ２１５でＹｅｓ）、音声解析部１５は、発話音声は装着者自身の発話による音声であると判断する（ステップ２０８）。また補正後の音圧比Ｇａ１／Ｇａ３−ｉ’が第１の閾値未満だった場合（ステップ２１５でＮｏ）、音声解析部１５は、発話音声は他者の発話による音声であると判断する（ステップ２１０）。

なおステップ２０４で求めた各マイクロフォン１１、１２、１３における平均音圧の利得が無い場合（ステップ２０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ２１６）。

ステップ２１７は、図７のステップ１１３と同様である。

このようにすることで、第３マイクロフォン１３は、装着者の発声部位から遠い順から順次選択されていく。

以上詳述したように、本実施形態の端末装置１０では、端末装置１０のマイクロフォン１１、１２、１３のうち発声部位から最も近い位置に配された第１マイクロフォン１１と、発声部位から最も遠い位置に配された第２マイクロフォン１２との２個をまず選択する。
そして選択された２個のマイクロフォンについて、発声部位から最も近い位置に配された第１マイクロフォン１１が取得した音声の音圧に対して選択された他方のマイクロフォンが取得した音声の音圧が予め定めた値よりも大きいときには、他方のマイクロフォンの替わりに、発声部位から次に遠い位置に配されたマイクロフォンを選択する。
さらに選択された他方のマイクロフォンの音圧を発声部位から最も遠い位置に配された第２マイクロフォン１２に合わせ補正する。
そして音圧比を基に発話音声が装着者の発話音声であるか他者の発話音声であるかを識別する。これによりマイクロフォンの周囲に障害物等が存在した場合でも障害物の影響を受けにくく、自他識別の精度が低下しにくい。

＜装着者の会話関係の判定についての説明＞
音声に関する情報を受信した端末装置１０では、データ解析部２３において複数の端末装置１０から送られた音声が解析され、装着者の会話関係が判定される。
以下に本実施形態における装着者の会話関係を判定する具体的な方法について説明を行なう。ここではまず同一の部屋内等の同一のエリアにおいて二人の装着者が会話を行なっている場合に、この二人の装着者が会話をしていることを判定する場合について説明する。

図１０は、本実施形態の端末装置１０をそれぞれ装着した二人の装着者が会話している状況を示す図である。図１１は、図１０の会話状況における各端末装置１０の発話情報の例を示す図である。なお説明の便宜上、ここでは二人のうち一方の装着者を装着者Ａとし、装着者Ａが装着する端末装置１０を端末装置１０Ａとする。また他方の装着者を装着者Ｂとし、装着者Ｂが装着する端末装置１０を端末装置１０Ｂとする。
図１０に示すように、端末装置１０をそれぞれ装着した装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａおよび装着者Ｂは同一エリア内におり、互いの発話音声が届く距離にある。よって装着者Ａ、装着者Ｂの発話音声は、装着者Ａの端末装置１０Ａと装着者Ｂの端末装置１０Ｂの双方に捉えられる。

端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図１１に示すように、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似し、同調性があることがわかる。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較し、同調性を判定することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。

ここで装着者Ａの端末装置１０Ａにおいて装着者Ａの自己発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者Ｂの自己発話として認識される音声は、端末装置１０Ａでは他者の発話として認識される。そのため端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図１０に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識することができる。

このように本実施形態では、上述した自他識別情報を使用して、複数の端末装置１０からマイクロフォン１１、１２にて受信した音声の音声信号の同調性を判別する。
つまり自他識別情報が付与されることで、取得された音声が装着者自身によるものであるのか、装着者以外の他者のものであるのかが予め判別できているため、発話者が切り替わったタイミングなどが明確に把握できる。そしてこのタイミングにおいて発話者が逆転する装着者同士を見つければ、この装着者同士が会話をしていると判断できる。
このように装着者同士の会話関係を判断することで、装着者のコミュニケーション関係が把握できるシステムを構築できる。

なお上述した例では、音声の自他識別を行なうのを端末装置１０の側で行なっていたが、これに限られるものではなく、ホスト装置２０の側で行なってもよい。この形態における音声解析システム１としては、図１のものに対し、音声解析部１５で行なっていた音声の自他識別を、例えば、ホスト装置２０のデータ解析部２３で行なう。この場合、データ解析部２３が音声情報取得手段および自他識別手段として機能する。

また上述した例では、第１マイクロフォン１１、第２マイクロフォン１２、第３マイクロフォン１３は、ほぼ一直線上に配されていたが、これに限られるものではなく、装着者の発声部位から異なる距離にて配されていればよい。

＜プログラムの説明＞
なお図７、図９−１、図９−２で説明を行った本実施形態における端末装置１０が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置１０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、端末装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって図７、図９−１、図９−２で説明を行った端末装置１０が行なう処理は、コンピュータに、装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上のマイクロフォンにより生成された音声に関する情報を取得する音声情報取得機能と、マイクロフォンの中から２個を選択し、選択されたマイクロフォンで取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別機能であって、マイクロフォンのうち第１マイクロフォン１１よりも発声部位から遠い第２マイクロフォン１２の音圧が予め定めた値よりも大きい場合に、第１マイクロフォン１１よりも発声部位から遠く且つ第２マイクロフォン１２よりも近い第３マイクロフォン１３および第１マイクロフォン１１の２個を選択して発話音声を識別する自他識別機能と、を実現させるプログラムとして捉えることもできる。

１…音声解析システム、１０…端末装置、１５…音声解析部、１６…データ送信部、２０…ホスト装置、２１…データ受信部、２３…データ解析部、３０…装置本体

Claims (6)

1. 装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上の音声取得手段により生成された音声に関する情報を取得する音声情報取得手段と、
   前記音声取得手段の中から２個を選択し、選択された当該音声取得手段で取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段であって、当該音声取得手段のうち第１の音声取得手段よりも発声部位から遠い第２の音声取得手段の音圧が予め定めた値よりも大きい場合に、当該第１の音声取得手段よりも発声部位から遠く且つ当該第２の音声取得手段よりも近い第３の音声取得手段および当該第１の音声取得手段の２個を選択して発話音声を識別する自他識別手段と、
   を備えることを特徴とする音声解析装置。
2. 前記自他識別手段は、前記音声取得手段のうち前記発声部位から最も近い位置に配された音声取得手段と、当該発声部位から最も遠い位置に配された音声取得手段との２個をまず選択することを特徴とする請求項１に記載の音声解析装置。
3. 前記自他識別手段は、選択された２個の前記音声取得手段について、前記発声部位から最も近い位置に配された音声取得手段が取得した音声の音圧に対して選択された他方の音声取得手段が取得した音声の音圧が大きいときには、他方の音声取得手段の替わりに、前記発声部位から次に遠い位置に配された音声取得手段を選択することを特徴とする請求項１または２に記載の音声解析装置。
4. 前記自他識別手段は、選択された他方の音声取得手段の音圧を前記発声部位から最も遠い位置に配された音声取得手段に合わせ補正することを特徴とする請求項１乃至３の何れか１項に記載の音声解析装置。
5. 装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上の音声取得手段と、
   前記音声取得手段の中から２個を選択し、選択された当該音声取得手段で取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段であって、当該音声取得手段のうち第１の音声取得手段よりも発声部位から遠い第２の音声取得手段の音圧が予め定めた値よりも大きい場合に、当該第１の音声取得手段よりも発声部位から遠く且つ当該第２の音声取得手段よりも近い第３の音声取得手段および当該第１の音声取得手段の２個を選択して発話音声を識別する自他識別手段と、
   を備えることを特徴とする音声解析システム。
6. コンピュータに、
   装着者の発声部位から異なる距離にて配され話者の音声を取得する３個以上の音声取得手段により生成された音声に関する情報を取得する音声情報取得機能と、
   前記音声取得手段の中から２個を選択し、選択された当該音声取得手段で取得された音声の音圧から、取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別機能であって、当該音声取得手段のうち第１の音声取得手段よりも発声部位から遠い第２の音声取得手段の音圧が予め定めた値よりも大きい場合に、当該第１の音声取得手段よりも発声部位から遠く且つ当該第２の音声取得手段よりも近い第３の音声取得手段および当該第１の音声取得手段の２個を選択して発話音声を識別する自他識別機能と、
   を実現させるプログラム。

Images