JP5862318B2 - 音解析装置、音解析システムおよびプログラム - Google Patents

Description

本発明は、音解析装置、音解析システム、プログラムに関する。

特許文献１には、ＤＳＰは、全方位に均等に配置された複数のマイクロフォンから集音する音声の音圧レベルデータに基づいて、１つのマイクロフォンからの音声信号を選択して出力する際に、各マイクロフォンからの音圧レベルデータに対してピークホールド処理（ＰＨ処理）を行い、ＰＨ処理された音圧レベルデータ（ピーク値）とピーク値を平均化処理（フィルタ処理等）したピーク平均値との差分値に基づいて、発言の開始判定やマイク間の切替え処理を行う音声処理装置が開示されている。
特許文献２には、第１のマイクロフォンを構成する第１の振動膜と、第２のマイクロフォンを構成する第２の振動膜と、第１のマイクロフォンで取得された第１の信号電圧と、第２のマイクロフォンで取得された第２の信号電圧とを受け取って、第１及び第２の電圧信号の差を示す差分信号を生成する差分信号生成回路と、を含む配線基板を有することを特徴とする集積回路装置が開示されている。

特開２００５−２２９４２２号公報 特開２００９−２８４１１１号公報

本発明は、音取得手段で取得される音が音声でないと想定される場合に、取得された音の型から装置装着者の意思の判別を行なうことを目的とする。

請求項１に記載の発明は、装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段と、前記音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する音圧比較部と、前記音圧比較部の比較により装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する判別部と、を備えたことを特徴とする音解析装置である。

請求項２に記載の発明は、前記型は、予め定められた装着者の意思に対応して規定されるものであることを特徴とする請求項１に記載の音解析装置である。
請求項３に記載の発明は、前記判別部による判別結果を装着者の意思の情報として情報集約装置へ送信する送信部を更に備えることを特徴とする請求項１または２に記載の音解析装置である。
請求項４に記載の発明は、前記判別部は、予め定められた時間内に取得された音の回数により前記型に一致するか否かを判別することを特徴とする請求項１乃至３の何れか１項に記載の音解析装置である。

請求項５に記載の発明は、装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段と、当該音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する音圧比較部と、当該音圧比較部の比較により装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する判別部と、当該判別部による判別結果を装着者の意思の情報として送信する送信部と、を備える音解析手段と、前記送信部により出力された前記装着者の意思の情報を受信する受信部を備える情報集約手段と、を備えることを特徴とする音解析システムである。

請求項６に記載の発明は、装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段と、当該音取得手段により取得された音の情報を送信する送信部と、を備える音収集手段と、前記送信部により送信された音の情報を受信する受信部と、前記音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する音圧比較部と、当該音圧比較部の比較により装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する判別部と、を備える情報集約手段と、を備えることを特徴とする音解析システムである。

請求項７に記載の発明は、コンピュータに、装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段から音の情報を取得する機能と、前記音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する機能と、比較の結果、装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する機能と、を実現させるプログラムである。

請求項１の発明によれば、音取得手段で取得される音が音声でないと想定される場合に、取得された音の型が予め定められたものと一致するか否かの判別を行なうことができる音解析装置を提供できる。
請求項２の発明によれば、取得された音の型により、装置装着者の意思を判別することができる。
請求項３の発明によれば、本構成を採用しない場合に比較して、情報集約装置に装置装着者の意思の情報を付加することができる。
請求項４の発明によれば、本構成を採用しない場合に比較して、装置装着者の意思の判別を行なう処理が簡単になる。
請求項５の発明によれば、音解析手段で判別された装置装着者の意思情報を情報集約装置で管理することができる音解析システムを構築できる。
請求項６の発明によれば、音取得手段で取得される音が音声でないと想定される場合に、取得された音の型が予め定められたものと一致するか否かの判別を行なうことができる音解析システムを構築できる。
請求項７の発明によれば、音取得手段で取得される音が音声でないと想定される場合に、取得された音の型が予め定められたものと一致するか否かの判別を行なう機能をコンピュータにより実現できる。

本実施形態による音解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の距離と音圧（入力音量）との関係を示す図である。 装着者自身の発話音声と他者の発話音声の識別方法を示す図である。 本実施形態における音解析部のブロック図である。 本実施形態における端末装置の動作を示すフローチャートである。 （ａ）〜（ｂ）は、実際に使用される端末装置の具体例を示した図である。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成例＞
図１は、本実施形態による音解析システムの構成例を示す図である。
図１に示すように、本実施形態の音解析システム１は、音解析装置（音解析手段、音収集手段）の一例である端末装置１０と、情報収集手段の一例であるホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、詳しくは後述するように、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。

端末装置１０は、音を取得するため音取得手段として、複数のマイクロフォン（第１マイクロフォン１１および第２マイクロフォン１２）と、増幅器（第１増幅器１３および第２増幅器１４）とを備える。また、端末装置１０は、収録した音を解析する音解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７とを備える。

第１マイクロフォン１１と第２マイクロフォン１２は、装着者の口（発声部位）からの距離が異なる位置に配される。ここでは、第１マイクロフォン１１は装着者の口（発声部位）から遠い位置（例えば、３５ｃｍ程度）に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置（例えば、１０ｃｍ程度）に配置されるものとする。本実施形態の第１マイクロフォン１１および第２マイクロフォン１２として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。

第１増幅器１３および第２増幅器１４は、それぞれ第１マイクロフォン１１および第２マイクロフォン１２が取得した音に応じて出力する電気信号（音信号）を増幅する。本実施形態の第１増幅器１３および第２増幅器１４として用いられる増幅器としては、既存のオペアンプ等を用いて良い。

音解析部１５は、第１増幅器１３および第２増幅器１４から出力された音信号を解析する。詳しくは後述するが、音解析部１５は、第１マイクロフォン１１および第２マイクロフォン１２で取得した音が端末装置１０を装着した装着者自身が発話した音声か、他者の発話による音声かを識別する。さらに音解析部１５は、第１マイクロフォン１１および第２マイクロフォン１２で取得された音が予め定められた型（パターン）に一致するか否かを判別する。

データ送信部１６は、音解析部１５による解析結果を含む取得データと端末のＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１および第２マイクロフォン１２による音の取得時刻、取得音の音圧等の情報を含めて良い。また端末装置１０に音解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。詳しくは後述するが本実施形態では、データ送信部１６は、音解析部１５により第１マイクロフォン１１および第２マイクロフォン１２で取得された音が予め定められたパターンに一致したときに、この判別結果を装着者の意思の情報としてホスト装置２０に送信する送信部として機能する。

電源部１７は、上記の第１マイクロフォン１１、第２マイクロフォン１２、第１増幅器１３、第２増幅器１４、音解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。

ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。

データ受信部２１は、上記の無線回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。本実施形態ではデータ受信部２１は、データ送信部１６により出力された装着者の意思の情報を受信する受信部として機能する。データ蓄積部２２は、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。

データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。

出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。

＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。

装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも第１増幅器１３、第２増幅器１４、音解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。

提げ紐４０には、第１マイクロフォン１１および第２マイクロフォン１２が設けられる（以下、第１マイクロフォン１１と第２マイクロフォン１２とを区別しない場合には、マイクロフォン１１、１２と記載）。マイクロフォン１１、１２は、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された第１増幅器１３、第２増幅器１４に接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。

この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１、１２を収納している。マイクロフォン１１、１２を提げ紐４０の内部に設けることにより、マイクロフォン１１、１２の損傷や汚れを防ぎ、対話者がマイクロフォン１１、１２の存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置される第１マイクロフォン１１は、装置本体３０に設けても良い。本実施形態では、第１マイクロフォン１１が提げ紐４０に設けられる場合を例として説明する。

図２を参照すると、第１マイクロフォン１１は、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第１マイクロフォン１１は、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、第１マイクロフォン１１が装置本体３０に設けられた場合も、装着者の口（発声部位）から第１マイクロフォン１１までの距離は同程度である。

第２マイクロフォン１２は、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第２マイクロフォン１２は、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。

なお、本実施形態の端末装置１０は、図２に示す構成に限定されるものではない。例えば、マイクロフォン１１、１２は、第１マイクロフォン１１から装着者の口（発声部位）までの音波到達経路の距離が第２マイクロフォン１２から装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が特定されれば良い。したがって、第１マイクロフォン１１を首の後ろ側の提げ紐４０に設けても良い。また、マイクロフォン１１、１２は、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第１マイクロフォン１１と第２マイクロフォン１２の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。

また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１、１２からの音信号を受け付けて増幅し、解析する機能を実現させても良い。

さらにまた、マイクロフォン１１、１２と装置本体３０（あるいは音解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。第１増幅器１３、第２増幅器１４、音解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。

＜収録音声の非言語情報に基づく発話者（自他）の識別＞
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置１０に設けられた２つのマイクロフォン１１、１２により収録された音の情報を用いて、端末装置１０の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、収録音の発話者に関して自他の別を識別する。また、本実施形態では、収録音の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧（マイクロフォン１１、１２への入力音量）等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音の発話者を識別する。

図１および図２を参照して説明したように、本実施形態において、端末装置１０の第１マイクロフォン１１は装着者の口（発声部位）から遠い位置に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置に配置される。すなわち、装着者の口（発声部位）を音源とすると、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離が大きく異なる。具体的には、第１マイクロフォン１１と音源との間の距離は、第２マイクロフォン１２と音源との間の距離の１．５〜４倍程度である。ここで、マイクロフォン１１、１２における収録音の音圧は、マイクロフォン１１、１２と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、装着者の発話音声に関して、第１マイクロフォン１１における収録音の音圧と第２マイクロフォン１２における収録音の音圧とは大きく異なる。

一方、装着者以外の者（他者）の口（発声部位）を音源とした場合を考えると、その他者が装着者から離れているため、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口（発声部位）を音源とした場合のように、第１マイクロフォン１１と音源との間の距離が第２マイクロフォン１２と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第１マイクロフォン１１における収録音の音圧と第２マイクロフォン１２における収録音の音圧とは、装着者の発話音声の場合のように大きく異なることはない。

図３は、装着者および他者の口（発声部位）と、マイクロフォン１１、１２との位置の関係を示す図である。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１との間の距離をＬａ１、音源ａと第２マイクロフォン１２との間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１との間の距離をＬｂ１、音源ｂと第２マイクロフォン１２との間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＞Ｌａ２（Ｌａ１≒１．５×Ｌａ２〜４×Ｌａ２）
Ｌｂ１≒Ｌｂ２

図４は、マイクロフォン１１、１２と音源との間の距離と音圧（入力音量）との関係を示す図である。
上述したように、音圧は、マイクロフォン１１、１２と音源との間の距離に応じて距離減衰する。図４において、距離Ｌａ１の場合の音圧Ｇ１と距離Ｌａ２の場合の音圧Ｇ２とを比較すると、音圧Ｇ２は、音圧Ｇ１の４倍程度となっている。一方、距離Ｌｂ１と距離Ｌｂ２とが近似するため、距離Ｌｂ１の場合の音圧Ｇ１と距離Ｌｂ２の場合の音圧Ｇ２とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、収録音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図４に示した例では、距離Ｌｂ１、Ｌｂ２を６０ｃｍとしたが、ここでは音圧Ｇ１と音圧Ｇ２とがほぼ等しくなることに意味があり、距離Ｌｂ１、Ｌｂ２は図示の値に限定されない。

図５（ａ）〜（ｂ）は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図４を参照して説明したように、装着者自身の発話音声に関して、第２マイクロフォン１２の音圧Ｇ２は、第１マイクロフォン１１の音圧Ｇ１の数倍（例えば４倍程度）である。また、他者の発話音声に関して、第２マイクロフォン１２の音圧Ｇ２は、第１マイクロフォン１１の音圧Ｇ１とほぼ等しい（１倍程度）。そこで、本実施形態では、第２マイクロフォン１２の音圧Ｇ２と第１マイクロフォン１１の音圧Ｇ１との比に閾値（第１の閾値）を設定する。そして、音圧比Ｇ２／Ｇ１が第１の閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比Ｇ２／Ｇ１が第１の閾値よりも小さい音声は装着者自身の発話音声ではないと判断する。図５（ａ）に示す例では、第１の閾値を２とし、音圧比Ｇ２／Ｇ１が第１の閾値２を超えたときは装着者自身の発話音声と判断され、音圧比Ｇ２／Ｇ１が第１の閾値２よりも小さいときは装着者自身の発話音声ではないと判断されている。

一方、音圧比Ｇ１／Ｇ２の逆数である音圧比Ｇ１／Ｇ２を考えた場合、この値が予め定められた閾値（第２の閾値）より大きくなる場合がある。これは、マイクロフォン１１、１２で取得される音の音圧を比較した場合、第１マイクロフォン１１で取得される音の音圧の方が、第２マイクロフォン１２で取得される音の音圧より大きくなるとともに、第１マイクロフォン１１で取得された音の音圧と第２マイクロフォン１２で取得された音の音圧とが大きく異なる場合である。
この原因としては、第２マイクロフォン１２より第１マイクロフォン１１の近くで発生するノイズが一因として挙げられる。つまりこの場合、音源との距離が第２マイクロフォン１２より第１マイクロフォン１１の方が小さい。そして上述した場合と逆に第２マイクロフォン１２に到達する音の減衰が第１マイクロフォン１１の場合より、より大きくなる。そのため音圧比Ｇ１／Ｇ２が予め定められた閾値より大きくなる。このノイズとしては、例えば、端末装置１０の装置本体３０や提げ紐４０が装着者の衣服等と衝突したり、擦れ合うときに生ずる音が挙げられる。

そこで本実施形態では、例えば、第２の閾値を２とする。そして音圧比Ｇ２／Ｇ１が第１の閾値２よりも小さい場合に、音圧比Ｇ１／Ｇ２を第２の閾値２と比較する。そして図５（ｂ）に示すように音圧比Ｇ１／Ｇ２が第２の閾値２よりも小さい場合、他者の発話音声と判断する。一方、音圧比Ｇ１／Ｇ２が第２の閾値２を超えた場合、他者の発話音声ではないと判断する。

ここで音圧比Ｇ２／Ｇ１が第２の閾値を超えた場合は、ノイズとして扱うことがまず考えられる。しかしながら本実施形態では、音圧比Ｇ２／Ｇ１が第２の閾値よりも大きい場合に、この音が予め定められた型（パターン）に一致した場合に装着者の意思の情報（意思情報）として判断し、これを利用することを行なう。

＜装着者の意思情報の説明＞
本実施形態における装着者の意思の内容については、種々のものが考えられる。
一例を説明すると、会議が行なわれているような場所で、会議の出席者が、端末装置１０を装着し、そして議決を行なうときに出席者の賛否の意思を意思情報として扱うことが考えられる。
この場合、取り決めとして例えば、装置本体３０を１回たたいた場合を「賛成」、２回たたいた場合を「反対」、３回たたいた場合を「棄権」とする。
そして装着者が、装置本体３０を実際にたたくと、その音は、マイクロフォン１１、１２により捉えられる。このとき第１マイクロフォン１１は、第２マイクロフォン１２より装置本体３０に近い箇所に位置するため、第１マイクロフォン１１により取得された音の音圧は、第２マイクロフォン１２により取得された音の音圧より大きくなる。即ち、音圧の関係として、音圧比Ｇ１／Ｇ２が第２の閾値を超える。そしてこのような場合に、マイクロフォン１１、１２により取得された音のパターンとして、装置本体３０をたたいた音が、１回で、２回、または３回であるかにより、装着者の賛否の意思を判断できる。実際には、音圧比Ｇ１／Ｇ２が第２の閾値を超えた場合に、予め定められた時間内に取得された音の回数をカウントして判定が行なわれる。この装着者の意思の情報である賛否の情報は、ホスト装置２０に送信され、ホスト装置２０において集計される。

また他の例を説明すると、スライドを使用したプレゼンテーションが行なわれている場所で、プレゼンテーションを視聴している端末装置１０を装着する装着者が、付箋（タグ）を付与する意思を意思情報として扱うことが考えられる。この場合、例えば、装置本体３０を２回たたいた場合に付箋を付与することにする取り決めを予めしておく。そして例えば、プレゼンテーションにおいて、装着者があるスライドに興味を持ったとする。このとき装着者は、装置本体３０を２回たたく。この場合、上記と同様にマイクロフォン１１、１２により取得された音圧比Ｇ１／Ｇ２は第２の閾値を超える。そして装置本体３０をたたいた音が、２回であると判別されたときは、装置本体３０をたたいた時間において、装着者が付箋を付与する意思があるとして、この意思情報がホスト装置２０に送信される。さらにホスト装置２０では、端末のＩＤとともにこの時間を記録する。これによりプレゼンテーションが行なわれている時間中の特定の時間に付箋を付与するという機能が実現される。そして記録されたこれらの情報は、検索が可能であるようにしておく。そして例えば、端末のＩＤにより検索を行なうことによりこの端末のＩＤを有する端末装置１０を使用した者が、付箋を付与した時間を特定でき、検索利便性が向上する。なおこの場合、装置本体３０をたたく回数により大変興味がある、興味がある等の重み付けの情報を付加することもできる。

またプレゼンテーションを行なっているプレゼンテータが端末装置１０を装着する場合を考えると、プレゼンテータである装着者が次のスライドを表示する意思を意思情報として扱うことも可能である。つまり装着者が次のスライドを表示したい場合には、装置本体３０を２回たたくという取り決めを予めしておく。そして実際に装着者により装置本体３０が２回たたかれた場合は、装着者が次のスライドを表示する意思を送っているものと判別される。そしてこの意思情報は、ホスト装置２０に送信される。ホスト装置２０では、例えば、スライドを表示している制御装置等に次のスライドを表示する旨の信号を送信し、この制御装置は、これに従い次のスライドを表示する。なおこの場合、装置本体３０を３回たたいた場合は、前のスライドに戻るなどの機能をさらに付加してもよい。

このように本実施形態では、マイクロフォン１１、１２により取得された音が予め定められたパターンに一致するか否かを判別し、一致した場合は、そのパターンと対応付けられた予め定められた装着者の意思を表わす情報として扱う。つまりこのパターンは、予め定められた装着者の意思に対応して規定されている。
これにより端末装置１０以外の例えば、センサ、ボタン等を利用しなくても、センサ、ボタン等が有する機能を実現することができる。そのためシステムの設計がより簡単になり、消費電力も低減される。さらに種々のパターンを取り決めておけば、装着者は、より多くの意思を表現することができる。
なお以上説明した例では、音の回数により装着者の意思を表現していたが、これに限られるものではない。例えば、音の長短を組み合わせたモールス信号のようなパターンを採用してもよい。また予め定められたリズムをこのパターンとしてもよい。さらに音の強弱を組み合わせたパターンとしてもよい。また装着者がたたく対象により音が変化することを利用し、この音の変化を使用するパターンとしてもよい。

＜音解析部１５の説明＞
本実施形態において、マイクロフォン１１、１２により取得された音の音圧を比較する機能と、第１マイクロフォン１１および第２マイクロフォン１２で取得された音が予め定められたパターンに一致するか否かを判別する機能は、音解析部１５が行なう。

図６は、本実施形態における音解析部１５のブロック図である。
図６に示した音解析部１５は、第１増幅器１３および第２増幅器１４で増幅された信号から雑音（ノイズ）を除去するフィルタリング部１５１と、マイクロフォン１１、１２のうち装着者の口からの距離がより近い第１マイクロフォン１１により取得された音の音圧と、装着者の口からの距離がより遠い第２マイクロフォン１２により取得された音の音圧とを比較する音圧比較部１５２と、第１マイクロフォン１１および第２マイクロフォン１２で取得された音が予め定められた型（パターン）に一致するか否かを判別する判別部１５３と、判別部１５３での判断の基となる予め定められた音のパターンを記憶する記憶部１５４とを備える。

図７は、本実施形態における端末装置１０の動作を示すフローチャートである。
以下、図１、図６、図７を使用して端末装置１０の動作について説明を行なう。
まず端末装置１０のマイクロフォン１１、１２が音を取得すると、各マイクロフォン１１、１２から取得音に応じた電気信号（音信号）が第１増幅器１３および第２増幅器１４へ送られる（ステップ１０１）。第１増幅器１３および第２増幅器１４は、マイクロフォン１１、１２からの音信号を取得すると、信号を増幅して音解析部１５へ送る（ステップ１０２）。

音解析部１５は、フィルタリング部１５１において第１増幅器１３および第２増幅器１４で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音（ノイズ）の成分を除去する（ステップ１０３）。次に、音解析部１５は、音圧比較部１５２において一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１、１２の収録音における平均音圧を求める（ステップ１０４）。そして、第１マイクロフォン１１における平均音圧と第２マイクロフォン１２における平均音圧との比（音圧比）Ｇ２／Ｇ１、Ｇ１／Ｇ２を算出する（ステップ１０５）。

次に、音解析部１５は、音圧比較部１５２においてステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が有る場合（ステップ１０６でＹｅｓ）、発話音声等が有る（発話等が行われた）と判断する。一方、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が無い場合（ステップ１０６でＮｏ）、音解析部１５は、発話音声等が無い（発話等が行われていない）と判断する（ステップ１０８）。なお、ステップ１０６の判断は、ステップ１０３のフィルタリング処理で除去しきれなかった雑音が信号に残っている場合を考慮し、平均音圧の利得の値が一定値以上の場合に、利得があると判断しても良い。音圧比を求めるステップ１０５と利得の有無を判断するステップ１０６の順序を逆にして、利得がある場合のみ音圧比を求めても良い。

ステップ１０５で求めた音圧比Ｇ２／Ｇ１が第１の閾値よりも大きい場合（ステップ１０７でＹｅｓ）、音圧比較部１５２は、発話音声等は装着者自身の発話による音声であると判断する（ステップ１０９）。また、ステップ１０５で求めた音圧比Ｇ２／Ｇ１が第１の閾値よりも小さい場合（ステップ１０７でＮｏ）、音圧比較部１５２は、ステップ１０５で求めた音圧比Ｇ１／Ｇ２が第２の閾値よりも小さい場合（ステップ１１０でＹｅｓ）、音圧比較部１５２は、発話音声等は他者の発話による音声であると判断する（ステップ１１１）。そして音圧比Ｇ１／Ｇ２が第２の閾値よりも大きい場合（ステップ１１０でＮｏ）、音解析部１５は、判別部１５３において記憶部１５４に記憶されている予め定められたパターンとマイクロフォン１１、１２により取得された音とを比較する（ステップ１１２）。そして一致した場合（ステップ１１２でＹｅｓ）、装着者の意思情報であると判断する（ステップ１１３）。一方、一致しなかった場合（ステップ１１２でＮｏ）、ノイズであると判断する（ステップ１１４）。

この後、音解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１１４の処理で得られた情報（発話の有無、発話者の情報、装着者の意思等）を解析結果としてホスト装置２０へ送信させる（ステップ１１５）。このとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させても良い。

＜端末装置の具体例＞
図８（ａ）〜（ｂ）は、実際に使用される端末装置１０の具体例を示した図である。
このうち図８（ａ）は、図２に示した端末装置１０とほぼ同様の構成をとり、第１マイクロフォン１１、第２マイクロフォン１２の２つのマイクロフォンを配したものである。ただし、第１マイクロフォン１１は、装置本体３０に配置されている。そして第１マイクロフォン１１と第２マイクロフォン１２との距離を３５ｃｍとしている。

また図８（ｂ）は、第１マイクロフォン１１、第２マイクロフォン１２の他に、第３マイクロフォン１８の３つのマイクロフォンを配したものである。そして第１マイクロフォン１１と第２マイクロフォン１２との距離Ｄ、第１マイクロフォン１１と第３マイクロフォン１８の距離Ｄを共に３５ｃｍとしている。そして第２マイクロフォン１２と第３マイクロフォン１８の距離は、１０ｃｍとしている。

図８（ｂ）のようにマイクロフォンが３箇所以上に配された端末装置１０を使用することで、別々のマイクロフォンの組を使用して、上述した自他識別の判断、および装着者の意思の判断を行なうことができる。図８（ｂ）で示した端末装置１０では、第１マイクロフォン１１、第２マイクロフォン１２の組、および第２マイクロフォン１２と第３マイクロフォン１８の組が選択できる。このように複数の組のマイクロフォンを使用することで、音解析部１５での自他識別の判断、装着者の意思の判別、ノイズの判断をより精度良く行なうことができる。またこの場合、装着者の意思を表現するのに、たたくマイクロフォンを変える等により、装着者は、より多くの意思を表現することができる。

また上述した例では、自他識別の判定や装着者の意思の判別を端末装置１０で行なっていたが、これに限られるものではなく、ホスト装置２０の方で行なってもよい。この形態における音解析システム１としては、図１のものに対し、音解析部１５で行なっていた自他識別の判定および装着者の意思の判別を、例えば、ホスト装置２０のデータ解析部２３で行なう。そしてこの場合データ解析部２３は、マイクロフォン１１、１２により取得された音の音圧を比較する音圧比較部として機能するとともに、マイクロフォン１１、１２により取得された音が予め定められた型（パターン）に一致するか否かを判別する判別部として機能することになる。さらにこの場合、端末装置１０のデータ送信部１６は、マイクロフォン１１、１２により取得された音の情報を、音解析部１５を介さずに受け、データ受信部２１に対し送信する。またホスト装置２０のデータ受信部２１は、データ送信部１６により送信された音の情報を受信する。即ちデータ送信部１６は、マイクロフォン１１、１２により取得された音の情報を送信する送信部として機能し、データ受信部２１は、データ送信部１６により送信された音の情報を受信する受信部として機能する。

＜プログラムの説明＞
なお図７で説明を行った本実施形態における端末装置１０が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置１０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、端末装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって図７で説明を行った端末装置１０が行なう処理は、コンピュータに、装着者の口からの距離が異なる位置に配され、音を取得するための複数のマイクロフォンから音の情報を取得する機能と、マイクロフォンのうち装着者の口からの距離がより近いマイクロフォンにより取得された音の音圧と、装着者の口からの距離がより遠いマイクロフォンにより取得された音の音圧とを比較する機能と、装着者の口からの距離がより近いマイクロフォンより装着者の口からの距離がより遠いマイクロフォンにより取得された音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する機能と、を実現させるプログラムとして捉えることもできる。

１…音解析システム、１０…端末装置、１１…第１マイクロフォン、１２…第２マイクロフォン、１５…音解析部、１６…データ送信部、１８…第３マイクロフォン、２０…ホスト装置、２１…データ受信部、２３…データ解析部、３０…装置本体、４０…提げ紐、１５２…音圧比較部、１５３…判別部

Claims (7)

1. 装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段と、
   前記音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する音圧比較部と、
   前記音圧比較部の比較により装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する判別部と、
   を備えたことを特徴とする音解析装置。
2. 前記型は、予め定められた装着者の意思に対応して規定されるものであることを特徴とする請求項１に記載の音解析装置。
3. 前記判別部による判別結果を装着者の意思の情報として情報集約装置へ送信する送信部を更に備えることを特徴とする請求項１または２に記載の音解析装置。
4. 前記判別部は、予め定められた時間内に取得された音の回数により前記型に一致するか否かを判別することを特徴とする請求項１乃至３の何れか１項に記載の音解析装置。
5. 装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段と、当該音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する音圧比較部と、当該音圧比較部の比較により装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する判別部と、当該判別部による判別結果を装着者の意思の情報として送信する送信部と、を備える音解析手段と、
   前記送信部により出力された前記装着者の意思の情報を受信する受信部を備える情報集約手段と、
   を備えることを特徴とする音解析システム。
6. 装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段と、当該音取得手段により取得された音の情報を送信する送信部と、を備える音収集手段と、
   前記送信部により送信された音の情報を受信する受信部と、前記音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する音圧比較部と、当該音圧比較部の比較により装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する判別部と、を備える情報集約手段と、
   を備えることを特徴とする音解析システム。
7. コンピュータに、
   装着者の口からの距離が異なる位置に配され、音を取得するための複数の音取得手段から音の情報を取得する機能と、
   前記音取得手段のうち装着者の口からの距離がより近い音取得手段により取得された音の音圧と、装着者の口からの距離がより遠い音取得手段により取得された音の音圧とを比較する機能と、
   比較の結果、装着者の口からの距離がより近い音取得手段により取得された音の音圧より装着者の口からの距離がより遠い音取得手段により取得された音の音圧が予め定められた値より大きかった場合に、取得された音が予め定められた型に一致するか否かを判別する機能と、
   を実現させるプログラム。

Images