JP6051996B2 - 音声解析装置、音声解析システムおよびプログラム - Google Patents

Description

本発明は、音声解析装置、音声解析システム、プログラムに関する。

特許文献１には、入力音声信号の音声を強調する音声強調装置であって、入力音声信号の音声品質を推定し音声品質推定値を出力する音声品質推定部と、音声品質推定部にて出力された音声品質推定値に基づいて、入力音声信号の声道特性の調整と入力音声信号の残差信号の強調との処理を変更する音声強調処理部とをそなえて構成するものが開示されている。

特開２００５−３３１７８３号公報

音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する際に、誤判定が生じにくくすることを目的とする。

請求項１に記載の発明は、装着者の発声部位から異なる距離にて配され話者の音声を取得する複数の音声取得手段により生成された音声に関する情報を取得する音声情報取得手段と、前記音声取得手段により取得された音声について周波数と強度との関係を表わす第１の周波数スペクトルを求めるとともに、当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう処理手段と、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段と、を備え、前記処理手段は、前記第１の周波数スペクトルからケプストラムを求め、当該ケプストラムに予め定められた数値以上の高ケフレンシ部を除外するリフタ処理を行なうことで当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去し、リフタ処理後のケプストラムを逆フーリエ変換して得られた第２の周波数スペクトルを積分して積分値を求め、前記自他識別手段は、前記処理手段により求められた前記積分値を基に、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別することを特徴とする音声解析装置である。

請求項２に記載の発明は、前記処理手段は、前記第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なうことで、人の声道の特性に起因する周波数成分に基づく前記第２の周波数スペクトルを抽出することを特徴とする請求項１に記載の音声解析装置である。

請求項３に記載の発明は、装着者の発声部位から異なる距離にて配され話者の音声を取得する複数の音声取得手段と、前記音声取得手段により取得された音声について周波数と強度との関係を表わす第１の周波数スペクトルを求めるとともに、当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう処理手段と、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段と、を備え、前記処理手段は、前記第１の周波数スペクトルからケプストラムを求め、当該ケプストラムに予め定められた数値以上の高ケフレンシ部を除外するリフタ処理を行なうことで当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去し、リフタ処理後のケプストラムを逆フーリエ変換して得られた第２の周波数スペクトルを積分して積分値を求め、前記自他識別手段は、前記処理手段により求められた前記積分値を基に、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別することを特徴とする音声解析システムである。

請求項４に記載の発明は、コンピュータに、装着者の発声部位から異なる距離にて配され話者の音声を取得する複数の音声取得手段により生成された音声に関する情報を取得する機能と、前記音声取得手段により取得された音声について周波数と強度との関係を表わす第１の周波数スペクトルを求めるとともに、当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう機能と、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する機能と、を実現させ、前記処理を行なう機能は、前記第１の周波数スペクトルからケプストラムを求め、当該ケプストラムに予め定められた数値以上の高ケフレンシ部を除外するリフタ処理を行なうことで当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去し、リフタ処理後のケプストラムを逆フーリエ変換して得られた第２の周波数スペクトルを積分して積分値を求め、前記識別する機能は、前記処理を行なう機能により求められた前記積分値を基に、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別するプログラムである。

請求項１の発明によれば、本構成を採用しない場合に比較して、音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する際に、誤判定が生じにくくなる。また本構成を採用しない場合に比較して、周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理が、より容易になる。さらに周波数スペクトルから共振が生じやすい周波数成分を除去することができる。
請求項２の発明によれば、周波数スペクトルから共振が生じにくい周波数成分を抽出することができる。
請求項３の発明によれば、複数の装着者の音声取得手段で取得される音声に基づき、装着者のコミュニケーション関係が把握できるシステムを構築できる。
請求項４の発明によれば、本構成を採用しない場合に比較して、音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する際に、誤判定が生じにくくなる機能をコンピュータにより実現できる。また本構成を採用しない場合に比較して、周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理が、より容易になる。さらに周波数スペクトルから共振が生じやすい周波数成分を除去することができる。

本実施形態による音声解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の距離と音圧（入力音量）との関係を示す図である。 装着者自身の発話音声と他者の発話音声の識別方法を示す図である。 （ａ−１）〜（ａ−２）、（ｂ−１）〜（ｂ−２）は、共振が生じていない場合と、共振が生じた場合とで、マイクロフォンで取得される発話音声の音圧の変化について説明した図である。 本実施形態における音声解析部の機能構成例を示した図である。 （ａ）は、マイクロフォンで取得した発話音声の音声信号である。（ｂ）は、図８（ａ）の音声信号をフーリエ変換して得られた周波数スペクトルである。 図８（ｂ）の周波数スペクトルをさらにフーリエ変換して得られるケプストラムについて説明した図である。 実施形態で、リフタ処理を行なった後のケプストラムを説明した図である。 図１０で得られたケプストラムから得られる周波数スペクトルについて説明した図である。 本実施形態における端末装置の動作を示すフローチャートである。 本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。 図１３の会話状況における各端末装置の発話情報の例を示す図である。 （ａ）〜（ｂ）は、スペクトル微細構造を除去しなかった場合と、除去した場合で、音圧比の変化を説明した図である。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成例＞
図１は、本実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態の音声解析システム１は、音声解析装置の一例である端末装置１０と、ホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。

端末装置１０は、音声を取得するための音声取得手段として、複数のマイクロフォン（第１マイクロフォン１１および第２マイクロフォン１２）と、増幅器（第１増幅器１３および第２増幅器１４）とを備える。また、端末装置１０は、取得した音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７を備える。

第１マイクロフォン１１と第２マイクロフォン１２は、装着者の口（発声部位）からの距離が異なる位置に配される。ここでは、第１マイクロフォン１１は装着者の口（発声部位）から遠い位置（例えば、３５ｃｍ程度）に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置（例えば、１０ｃｍ程度）に配置されるものとする。本実施形態の第１マイクロフォン１１および第２マイクロフォン１２として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。

第１増幅器１３および第２増幅器１４は、それぞれ第１マイクロフォン１１および第２マイクロフォン１２が取得した音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の第１増幅器１３および第２増幅器１４として用いられる増幅器としては、既存のオペアンプ等を用いて良い。

音声解析部１５は、第１増幅器１３および第２増幅器１４から出力された音声信号を解析する。そして、第１マイクロフォン１１および第２マイクロフォン１２で取得した音声が端末装置１０を装着した装着者自身が発話した音声か、他者の発話による音声かを識別する。音声識別のための具体的な処理の内容については後述する。

データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末ＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１および第２マイクロフォン１２による音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。

電源部１７は、上記の第１マイクロフォン１１、第２マイクロフォン１２、第１増幅器１３、第２増幅器１４、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。

ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。

データ受信部２１は、上記の無線回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。
データ蓄積部２２は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。

データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者同士の対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。

出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。

＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。

装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。

提げ紐４０には、第１マイクロフォン１１および第２マイクロフォン１２が設けられる（以下、第１マイクロフォン１１と第２マイクロフォン１２とを区別しない場合には、マイクロフォン１１、１２と記載）。マイクロフォン１１、１２は、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された第１増幅器１３、第２増幅器１４に接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。

この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１、１２を収納している。マイクロフォン１１、１２を提げ紐４０の内部に設けることにより、マイクロフォン１１、１２の損傷や汚れを防ぎ、対話者がマイクロフォン１１、１２の存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置される第１マイクロフォン１１は、装置本体３０に設けても良い。本実施形態では、第１マイクロフォン１１が提げ紐４０に設けられる場合を例として説明する。

図２を参照すると、第１マイクロフォン１１は、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第１マイクロフォン１１は、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、第１マイクロフォン１１が装置本体３０に設けられた場合も、装着者の口（発声部位）から第１マイクロフォン１１までの距離は同程度である。

第２マイクロフォン１２は、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第２マイクロフォン１２は、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。

なお、本実施形態の端末装置１０は、図２に示す構成に限定されるものではない。例えば、マイクロフォン１１、１２は、第１マイクロフォン１１から装着者の口（発声部位）までの音波到達経路の距離が第２マイクロフォン１２から装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が特定されれば良い。したがって、第１マイクロフォンを首の後ろ側の提げ紐４０に設けても良い。また、マイクロフォン１１、１２は、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第１マイクロフォン１１と第２マイクロフォン１２の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。

また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１、１２からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。

さらにまた、マイクロフォン１１、１２と装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。

＜取得音声の非言語情報に基づく発話者（自他）の識別＞
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置１０に設けられた２つのマイクロフォン１１、１２により取得された音声の情報を用いて、端末装置１０の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音声の発話者に関して自他の別を識別（自他識別）する。また、本実施形態では、取得音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧（マイクロフォン１１、１２への入力音量）等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。

図１および図２を参照して説明したように、本実施形態において、端末装置１０の第１マイクロフォン１１は装着者の口（発声部位）から遠い位置に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置に配置される。すなわち、装着者の口（発声部位）を音源とすると、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離が大きく異なる。具体的には、第１マイクロフォン１１と音源との間の距離は、第２マイクロフォン１２と音源との間の距離の１．５〜４倍程度である。ここで、マイクロフォン１１、１２における取得音声の音圧は、マイクロフォン１１、１２と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、装着者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは大きく異なる。

一方、装着者以外の者（他者）の口（発声部位）を音源とした場合を考えると、その他者が装着者から離れているため、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口（発声部位）を音源とした場合のように、第１マイクロフォン１１と音源との間の距離が第２マイクロフォン１２と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。

図３は、装着者および他者の口（発声部位）と、マイクロフォン１１、１２との位置の関係を示す図である。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１との間の距離をＬａ１、音源ａと第２マイクロフォン１２との間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１との間の距離をＬｂ１、音源ｂと第２マイクロフォン１２との間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＞Ｌａ２（Ｌａ１≒１．５×Ｌａ２〜４×Ｌａ２）
Ｌｂ１≒Ｌｂ２

図４は、マイクロフォン１１、１２と音源との間の距離と音圧（入力音量）との関係を示す図である。
上述したように、音圧は、マイクロフォン１１、１２と音源との間の距離に応じて距離減衰する。図４において、距離Ｌａ１の場合の音圧Ｇａ１と距離Ｌａ２の場合の音圧Ｇａ２とを比較すると、音圧Ｇａ２は、音圧Ｇａ１の４倍程度となっている。一方、距離Ｌｂ１と距離Ｌｂ２とが近似するため、距離Ｌｂ１の場合の音圧Ｇｂ１と距離Ｌｂ２の場合の音圧Ｇｂ２とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、取得音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図４に示した例では、距離Ｌｂ１、Ｌｂ２を６０ｃｍとしたが、ここでは音圧Ｇｂ１と音圧Ｇｂ２とがほぼ等しくなることに意味があり、距離Ｌｂ１、Ｌｂ２は図示の値に限定されない。

図５は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図４を参照して説明したように、装着者自身の発話音声に関して、第２マイクロフォン１２の音圧Ｇａ２は、第１マイクロフォン１１の音圧Ｇａ１の数倍（例えば４倍程度）である。また、他者の発話音声に関して、第２マイクロフォン１２の音圧Ｇｂ２は、第１マイクロフォン１１の音圧Ｇｂ１とほぼ等しい（１倍程度）。そこで、本実施形態では、第２マイクロフォン１２の音圧と第１マイクロフォン１１の音圧との比に閾値を設定する。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図５に示す例では、閾値を２とし、音圧比Ｇａ２／Ｇａ１は閾値２を超えるので装着者自身の発話音声と判断され、音圧比Ｇｂ２／Ｇｂ１は閾値２よりも小さいので他者の発話音声と判断されている。

ところで、マイクロフォン１１、１２により取得される音声には、発話音声の他に、環境音等のいわゆる雑音（ノイズ）が含まれる。この雑音の音源とマイクロフォン１１、１２との間の距離の関係は、他者の発話音声の場合と類似する。すなわち、図４、図５に示した例によれば、雑音の音源ｃと第１マイクロフォン１１との間の距離をＬｃ１とし、雑音の音源ｃと第２マイクロフォン１２との間の距離をＬｃ２とすると、距離Ｌｃ１と距離Ｌｃ２とは近似する。そして、マイクロフォン１１、１２の取得音声における音圧比Ｇｃ２／Ｇｃ１は、閾値２よりも小さくなる。しかし、このような雑音は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより発話音声から分離され、除去される。

しかしながら発話音声の音波がマイクロフォン１１、１２に到達する間に音波が共振し、これによりマイクロフォン１１、１２で捉えられる取得音声の音圧が変化する場合がある。共振が生じる例としては、発話者の発声部位から発した発話音声が、マイクロフォン１１、１２に直接到達する音波と、壁や天井に反射した後の音波とが共振する場合などが挙げられる。

図６（ａ−１）〜（ａ−２）、（ｂ−１）〜（ｂ−２）は、共振が生じていない場合と、共振が生じた場合とで、マイクロフォン１１、１２で取得される発話音声の音圧の変化について説明した図である。図６（ａ−１）〜（ａ−２）、（ｂ−１）〜（ｂ−２）は、マイクロフォン１１、１２で取得された発話音声の音声信号を示している。ここで横軸は、時間を表わし、縦軸は、マイクロフォン１１、１２で捉えられた音圧を電圧として表わしている。またここでは、他者の発話音声をマイクロフォン１１、１２で捉えた場合を示している。

図６（ａ−１）〜（ａ−２）は、他者の発話音声から３６０Ｈｚの音声信号を取り出し、図示したものである。この場合、図６（ａ−１）で示した第１マイクロフォン１１で捉えられた発話音声の音圧と図６（ａ−２）で示した第２マイクロフォン１２で捉えられた発話音声の音圧は、ほぼ同等であり、両者の音圧比は、ほぼ１となる。そして図５で説明したようにこの発話音声は、他者の発話音声であると判断することができる。

一方、図６（ｂ−１）〜（ｂ−２）は、他者の発話音声から４７０Ｈｚの音声信号を取り出し、図示したものである。この場合、第１マイクロフォン１１と第２マイクロフォン１２で捉えられた発話音声の音圧を比較すると、図６（ｂ−２）で示した第２マイクロフォン１２で捉えられた音圧の方が、図６（ｂ−１）で示した第１マイクロフォン１１で捉えられた音圧より大きい。そしてこのとき両者の音圧比が、図５で説明した閾値を超した場合、この発話音声は、端末装置１０を装着する装着者の発話音声と判断される。即ち、他者の発話音声であるにも拘わらず、装着者の発話音声と判断され、自他識別について誤判定が生じることになる。これは、発話音声の４７０Ｈｚの箇所で共振が生じ、音声信号が強くなったことが原因と考えられる。

＜音声解析部の説明＞
そこで本実施形態では、音声解析部１５を以下の構成とすることで、この問題の抑制を図っている。
図７は、本実施形態における音声解析部１５の機能構成例を示した図である。
図示するように音声解析部１５は、音声情報取得手段１５１と、処理手段１５２と、自他識別手段１５３とを備える。

音声情報取得手段１５１は、マイクロフォン１１、１２により生成された音声に関する情報を取得する。本実施形態では音声情報取得手段１５１は、マイクロフォン１１、１２により出力され、第１増幅器１３および第２増幅器１４により増幅された音声信号を音声に関する情報として取得する。なお音声情報取得手段１５１は、上述したフィルタリング処理等の他の処理を行ってもよい。

処理手段１５２は、マイクロフォン１１、１２により取得された音声について周波数と強度との関係を表わす周波数スペクトルを求めるとともに、周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう。
以下、この事項について詳しく説明を行なう。

図８（ａ）は、マイクロフォン１２で取得した発話音声の音声信号である。ここで横軸は、時間を表わし、縦軸は、マイクロフォン１２で捉えられた音圧を電圧として表わしている。また図８（ｂ）は、図８（ａ）の音声信号をフーリエ変換して得られた周波数スペクトルである。ここで横軸は、周波数を表わし、縦軸は、音声の強度を表わしている。
ここで図８（ｂ）における周波数スペクトルに含まれる周波数成分を考える。このとき概略的に見て、周波数スペクトルには、点線で示した周期が長い周波数成分（ゆるやかに変動する低周波の成分）と実線で示した周期が短い周波数成分（細かに変動する高周波の成分）が含まれることがわかる。このうち周期が長い周波数成分は、人の声道の特性を反映したものである。本実施形態では、これを周波数スペクトルにおけるスペクトル包絡と呼ぶ。また周期が短い周波数成分は、声帯振動の特性を反映したもので、声帯の基本周波数（この場合、約１５０Ｈｚ）とその倍音の周波数からなる調波構造を採る。本実施形態では、これを周波数スペクトルにおけるスペクトル微細構造と呼ぶ。

そして特にこのスペクトル微細構造が原因となり、上述した共振が生じやすくなる。つまり基本周波数が共振する条件を満たすと、その倍音は全て共振するため、これらの周波数における音圧が大きくなる。そのためこの影響を受けると自他識別について誤判定が生じやすくなる。このとき基本周波数をローパスフィルタを使用してカットしても、倍音の成分は残るため、この誤判定の問題は、解決しない。
そこで本実施形態では、処理手段１５２において、周波数スペクトルからスペクトル微細構造を除去する処理を行なう。これにより周波数スペクトルの中から共振がより生じにくいスペクトル包絡を残すことができる。

より具体的には、以下の方法により周波数スペクトルからスペクトル微細構造を除去する処理を行なう。
図９は、図８（ｂ）の周波数スペクトルをさらにフーリエ変換して得られるケプストラムについて説明した図である。図９において、横軸は、時間の次元を有するケフレンシを表わし、縦軸は、ケプストラムを表わす。
このときケフレンシが０に近い箇所において破線で囲った領域Ａが、スペクトル包絡を表わす領域である。またケフレンシが０．０１に近い箇所において破線で囲った領域Ｂが、スペクトル微細構造を表わす領域である。即ち、周波数スペクトルからケプストラムを求めることでスペクトル包絡とスペクトル微細構造とを分離することができる。なおケフレンシは、周波数スペクトルにおける周波数の逆数に対応するため、図９では、上述した声帯の基本周波数１５０Ｈｚの逆数である１／１５０＝０．００６７付近に大きなピークが生じている。

そして図９で図示したケプストラムからスペクトル微細構造を除去する。具体的には、リフタ処理を行い予め定められた数値以上の高ケフレンシ部を除外する処理を行う。即ち、ケプストラムに対してローパスフィルタ処理を行ない、スペクトル微細構造を表わす領域を取り除く。
図１０は、本実施形態で、リフタ処理を行なった後のケプストラムを説明した図である。リフタ処理によりスペクトル微細構造を表わす領域が取り除かれ、スペクトル包絡を表わす領域が残ることがわかる。

さらに図１１は、図１０で得られたケプストラムから得られる周波数スペクトルについて説明した図である。
図示した周波数スペクトルは、図１０のケプストラムを逆フーリエ変換することで得ることができる。
図８（ｂ）と図１１の周波数スペクトルを比較すると、周波数スペクトルからスペクトル微細構造が除去され、スペクトル包絡が抽出されていることがわかる。
以上の方法により周波数スペクトルに含まれる周波数成分のうち予め定められた周波数以上のものを除去することができるため、周波数スペクトルからスペクトル微細構造を除去することができる。これにより共振の影響を受けにくい周波数スペクトルが得られたことになる。

自他識別手段１５３は、処理手段１５２により処理された周波数スペクトルを基に、マイクロフォン１１、１２により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する。
より具体的には、図１１で示したスペクトル包絡に基づく周波数スペクトルを積分する。そしてこの積分値は、音圧を表わすとみなせるため、図５で説明した方法で、発話音声が装着者の発話音声であるか他者の発話音声であるかの自他識別を行うのに使用できる。

＜端末装置の動作例＞
図１２は、本実施形態における端末装置１０の動作を示すフローチャートである。
図１２に示すように、端末装置１０のマイクロフォン１１、１２が音声を取得すると、各マイクロフォン１１、１２から取得音声に応じた電気信号（音声信号）が第１増幅器１３および第２増幅器１４へ送られる（ステップ１０１）。第１増幅器１３および第２増幅器１４は、マイクロフォン１１、１２からの音声信号を取得すると、信号を増幅して音声解析部１５へ送る（ステップ１０２）。

音声解析部１５は、音声信号を取得した後、音声情報取得手段１５１において第１増幅器１３および第２増幅器１４で増幅された信号に対してフィルタリング処理を行う（ステップ１０３）。これにより信号から環境音等の雑音（ノイズ）の成分を除去する。次に、音声情報取得手段１５１は、雑音成分が除かれた信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１、１２の取得音声における平均音圧を求める（ステップ１０４）。そして、平均音圧がある閾値以上であるか否か（利得が有るか否か）を判断する（ステップ１０５）。

音声情報取得手段１５１は、ステップ１０５で求めた各マイクロフォン１１、１２における平均音圧の利得が有る場合（ステップ１０５でＹｅｓ）、発話音声がある（発話が行われた）と判断する。

そして音声解析部１５の処理手段１５２は、取得した音声信号を基にして周波数スペクトルを求め（ステップ１０６）、さらに上述した方法で、周波数スペクトルからスペクトル包絡を抽出する（ステップ１０７）。
また音声解析部１５の自他識別手段１５３は、スペクトル包絡に基づく周波数スペクトルを積分し、この積分値を音圧とみなして第１マイクロフォン１１における平均音圧と第２マイクロフォン１２における平均音圧との比（音圧比）を求める（ステップ１０８）。ステップ１０８で求めた音圧比が閾値よりも大きい場合（ステップ１０９でＹｅｓ）、音声解析部１５は、発話音声は装着者自身の発話による音声であると判断する（ステップ１１０）。また、ステップ１０８で求めた音圧比が閾値よりも小さい場合（ステップ１０９でＮｏ）、音声解析部１５は、発話音声は他者の発話による音声であると判断する（ステップ１１１）。一方、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が無い場合（ステップ１０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ１１２）。

この後、音声解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１１２の処理で得られた情報を解析結果としてホスト装置２０へ送信する（ステップ１１３）。この解析結果としては、例えば、発話の有無、装着者の情報（端末ＩＤ）、マイクロフォン１１、１２により取得された音声が装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別した情報である自他識別情報等である。またこのとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させてもよい。

＜システムの適用例とホスト装置の機能＞
本実施形態のシステムでは、複数の端末装置１０により上記のようにして得られた発話に関する情報（以下、発話情報）がホスト装置２０に集められる。ホスト装置２０は、複数の端末装置１０から得られた情報を用いて、例えば、装着者同士の会話関係を解析する。

図１３は、本実施形態の端末装置１０をそれぞれ装着した複数の装着者が会話している状況を示す図である。図１４は、図１３の会話状況における各端末装置１０Ａ、１０Ｂの発話情報の例を示す図である。
図１３に示すように、端末装置１０をそれぞれ装着した二人の装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａの端末装置１０Ａにおいて装着者の発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者の発話として認識される音声は、端末装置１０Ａでは他者の発話として認識される。

端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図１４に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。

このように端末装置１０の装着者同士の会話関係を解析することで、装着者のグループ全体におけるコミュニケーションの傾向を分析することができる。具体的には、例えば、会話参加者の数、会話が行われた時間、対話度、活性度などの値と会話の発生頻度との相関関係を調べることで、装着者のグループにおいてどのような態様の会話が行われる傾向があるかが判断される。

＜プログラムの説明＞
なお本実施形態における端末装置１０が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置１０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、端末装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よってホスト装置２０が行なう処理は、コンピュータに、装着者の発声部位から異なる距離にて配され話者の音声を取得するマイクロフォン１１、１２により生成された音声に関する情報を取得する機能と、マイクロフォン１１、１２により取得された音声について周波数と強度との関係を表わす周波数スペクトルを求めるとともに、周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう機能と、処理された周波数スペクトルを基に、マイクロフォン１１、１２により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する機能と、を実現させるプログラムとして捉えることもできる。

なお上述した例では、自他識別の判断を端末装置１０で行なっていたが、これに限られるものではなく、ホスト装置２０の方で行なってもよい。この形態における音声解析システム１としては、音声解析部１５で行なっていた処理を、例えば、ホスト装置２０のデータ解析部２３で行なう。この音声解析システム１においては、ホスト装置２０は、音声解析装置として機能し、データ解析部２３は、音声情報取得手段、処理手段、および自他識別手段として機能する。

＜実験方法＞
装着者に図２で示したように端末装置１０を装着し、装着者から１ｍ離れた場所に他者を配置した。そして装着者および他者の何れかが音声を発し、図５で説明した方法で、マイクロフォン１１、１２で取得された音声について音圧比を測定した。このとき装着者と他者がそれぞれ３００回発話することで音圧比を測定した。
そしてこの方法により、上述したスペクトル微細構造を除去しなかった場合と、除去した場合とで音圧比の比較を行なった。

＜実験結果＞
実験の結果を図１５（ａ）〜（ｂ）に示す。
図１５（ａ）〜（ｂ）は、スペクトル微細構造を除去しなかった場合と、除去した場合で、音圧比の変化を説明した図である。図１５（ａ）〜（ｂ）において、横軸は、３００回の実験のそれぞれのデータ番号を表わし、縦軸が音圧比を表わす。

このうち図１５（ａ）は、スペクトル微細構造を除去しなかった場合の音圧比の変化である。図示するように発話音声が装着者の場合でも他者の場合でも音圧の変動は大きく、図５で説明した閾値をどの値に設定しても、装着者の発話音声であっても、他者の発話音声と判断される場合や、逆に他者の発話音声であっても、装着者の発話音声と判断される誤判定が多いことがわかる。

一方、図１５（ｂ）は、スペクトル微細構造を除去した場合の音圧比の変化である。図示するように発話音声が装着者の場合でも他者の場合でも音圧の変動は、図１５（ａ）の場合に比べ少なくなっていることがわかる。この例では、図５で説明した閾値を例えば、１．３と設定することで、マイクロフォン１１、１２で取得された音声が、装着者の発話音声であるか他者の発話音声であるかがほぼ識別でき、誤判定が少なくなることがわかる。

１…音声解析システム、１０…端末装置、１１…第１マイクロフォン、１２…第２マイクロフォン、１５…音声解析部、１６…データ送信部、２０…ホスト装置、２１…データ受信部、２３…データ解析部、３０…装置本体、１５１…音声情報取得手段、１５２…処理手段、１５３…自他識別手段

Claims (4)

1. 装着者の発声部位から異なる距離にて配され話者の音声を取得する複数の音声取得手段により生成された音声に関する情報を取得する音声情報取得手段と、
   前記音声取得手段により取得された音声について周波数と強度との関係を表わす第１の周波数スペクトルを求めるとともに、当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう処理手段と、
   前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段と、
   を備え、
   前記処理手段は、前記第１の周波数スペクトルからケプストラムを求め、当該ケプストラムに予め定められた数値以上の高ケフレンシ部を除外するリフタ処理を行なうことで当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去し、リフタ処理後のケプストラムを逆フーリエ変換して得られた第２の周波数スペクトルを積分して積分値を求め、
   前記自他識別手段は、前記処理手段により求められた前記積分値を基に、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別することを特徴とする音声解析装置。
2. 前記処理手段は、前記第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なうことで、人の声道の特性に起因する周波数成分に基づく前記第２の周波数スペクトルを抽出することを特徴とする請求項１に記載の音声解析装置。
3. 装着者の発声部位から異なる距離にて配され話者の音声を取得する複数の音声取得手段と、
   前記音声取得手段により取得された音声について周波数と強度との関係を表わす第１の周波数スペクトルを求めるとともに、当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう処理手段と、
   前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段と、
   を備え、
   前記処理手段は、前記第１の周波数スペクトルからケプストラムを求め、当該ケプストラムに予め定められた数値以上の高ケフレンシ部を除外するリフタ処理を行なうことで当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去し、リフタ処理後のケプストラムを逆フーリエ変換して得られた第２の周波数スペクトルを積分して積分値を求め、
   前記自他識別手段は、前記処理手段により求められた前記積分値を基に、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別することを特徴とする音声解析システム。
4. コンピュータに、
   装着者の発声部位から異なる距離にて配され話者の音声を取得する複数の音声取得手段により生成された音声に関する情報を取得する機能と、
   前記音声取得手段により取得された音声について周波数と強度との関係を表わす第１の周波数スペクトルを求めるとともに、当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去する処理を行なう機能と、
   前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する機能と、
   を実現させ、
   前記処理を行なう機能は、前記第１の周波数スペクトルからケプストラムを求め、当該ケプストラムに予め定められた数値以上の高ケフレンシ部を除外するリフタ処理を行なうことで当該第１の周波数スペクトルに含まれる周波数成分のうち予め定められた範囲のものを除去し、リフタ処理後のケプストラムを逆フーリエ変換して得られた第２の周波数スペクトルを積分して積分値を求め、
   前記識別する機能は、前記処理を行なう機能により求められた前記積分値を基に、前記音声取得手段により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別するプログラム。

Images