JP6003472B2 - 音声解析装置、音声解析システムおよびプログラム - Google Patents

音声解析装置、音声解析システムおよびプログラム Download PDF

Info

Publication number
JP6003472B2
JP6003472B2 JP2012211177A JP2012211177A JP6003472B2 JP 6003472 B2 JP6003472 B2 JP 6003472B2 JP 2012211177 A JP2012211177 A JP 2012211177A JP 2012211177 A JP2012211177 A JP 2012211177A JP 6003472 B2 JP6003472 B2 JP 6003472B2
Authority
JP
Japan
Prior art keywords
voice
wearer
acquired
acquisition means
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012211177A
Other languages
English (en)
Other versions
JP2014066579A (ja
Inventor
原田 陽雄
陽雄 原田
洋平 西野
洋平 西野
靖 飯田
靖 飯田
啓 下谷
啓 下谷
米山 博人
博人 米山
藤居 徹
徹 藤居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2012211177A priority Critical patent/JP6003472B2/ja
Priority to US13/777,432 priority patent/US9368118B2/en
Publication of JP2014066579A publication Critical patent/JP2014066579A/ja
Application granted granted Critical
Publication of JP6003472B2 publication Critical patent/JP6003472B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音声解析装置、音声解析システム、プログラムに関する。
特許文献1には、互いに離間して配置された複数の無指向性マイクロフォンによってそれぞれ取得された音声信号のうち、任意の周波数帯域成分を出力する音声信号出力部と、音声信号の周波数帯域成分間の位相差に基づいて音声の到来方向を判別する到来方向判別部と、音声の到来方向に応じて音声信号に対する音量の補正量を導出する音声補正量導出部と、導出した補正量を用いて音声信号の音量を補正する音量補正実行部とを備える音声処理装置が開示されている。
特許文献2には、互いに離間して配置された複数のマイクロフォンと、マイクロフォンで収音された音声情報の位相差に基づいて、マイクロフォンへの音声の入射角θを算出する音方向情報算出部と、入射角θに基づいて、音源から発せられた音声の方向性を判別する音方向性判別部と、マイクロフォンで収音された音声情報から、方向性が確定していると判断される音声情報のみを検出する音声検出部と、を備える音声検出装置が開示されている。
特開2011−205324号公報 特開2010−283676号公報
音声取得手段を装着する複数の装着者が対峙する距離を、絶対的な位相や時間の精密な測定をせずに把握することが望まれている。
請求項1に記載の発明は、音声を取得し第1の装着者に装着された第1の音声取得手段および音声を取得し第2の装着者に装着された第2の音声取得手段によりそれぞれ取得された音声について、当該それぞれの音声に関する情報をそれぞれの装着者から取得する音声情報取得手段と、前記第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を前記第2の音声取得手段で取得した場合の音声がれぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、当該第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を当該第2の音声取得手段で取得した場合の音声に含まれる複数の周波数の正弦波間の位相差とに基づき、前記第1の装着者と前記第2の装着者との間の距離を導出する距離導出手段と、を備えたことを特徴とする音声解析装置である。
請求項2に記載の発明は、前記距離導出手段は、音声を第1の音声取得手段が自己の発話音声として取得し、当該第1の音声取得手段で取得した音声と同じ音声を第2の音声取得手段が他者の発話音声として取得した場合に、当該音声についてそれぞれ導出された前記位相差の位相によって、前記第1の装着者と前記第2の装着者との間の距離を導出することを特徴とする請求項1に記載の音声解析装置である。
請求項3に記載の発明は、前記距離導出手段は、複数の前記位相差によって前記第1の装着者と前記第2の装着者との間の仮の距離をそれぞれ導出し、複数の当該仮の距離の平均を前記第1の装着者と前記第2の装着者との間の距離とすることを特徴とする請求項1または2に記載の音声解析装置である。
請求項4に記載の発明は、前記距離導出手段は、複数の前記位相差によって前記第1の装着者と前記第2の装着者との間の仮の距離をそれぞれ導出し、複数の当該仮の距離の中から最も確度の高いものを選択して前記第1の装着者と前記第2の装着者との間の距離とすることを特徴とする請求項1乃至3の何れか1項に記載の音声解析装置である。
請求項5に記載の発明は、音声を取得し装着者に装着された音声取得手段と、前記音声取得手段で取得した音声が装着者の発話音声であるか他者の発話音声であるかを識別する自他識別手段と、前記音声取得手段で取得した音声に含まれる複数の周波数の正弦波間の位相差を導出する位相差導出手段と、前記自他識別手段からの自他識別の情報および前記位相差導出手段により導出された前記位相差の情報を含む音声に関する情報を送出する音声情報送出手段と、を備えたことを特徴とする音声解析装置である。
請求項6に記載の発明は、音声を取得し第1の装着者に装着された第1の音声取得手段と、音声を取得し第2の装着者に装着された第2の音声取得手段と、前記第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を前記第2の音声取得手段で取得した場合の音声がれぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、当該第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を当該第2の音声取得手段で取得した場合の音声に含まれる複数の周波数の正弦波間の位相差とに基づき、前記第1の装着者と前記第2の装着者との間の距離を導出する距離導出手段と、を備えたことを特徴とする音声解析システムである。
請求項7に記載の発明は、コンピュータに、音声を取得し第1の装着者に装着された第1の音声取得手段および音声を取得し第2の装着者に装着された第2の音声取得手段によりそれぞれ取得された音声について、当該それぞれの音声に関する情報をそれぞれの装着者から取得する機能と、前記第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を前記第2の音声取得手段で取得した場合の音声がれぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、当該第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を当該第2の音声取得手段で取得した場合の音声に含まれる複数の周波数の正弦波間の位相差とに基づき、前記第1の装着者と前記第2の装着者との間の距離を導出する機能と、を実現させるプログラムである。
請求項1の発明によれば、音声取得手段を装着する複数の装着者が対峙する距離を、絶対的な位相や時間の精密な測定をせずに把握することができる音声解析装置を提供できる。
請求項2の発明によれば、一方が自発話・他方が他発話とした音声について、複数の周波数の音波間の位相差を位相として用いて、装着者の間の距離を導出することができる。
請求項3の発明によれば、平均化効果が期待できる。
請求項4の発明によれば、本構成を採用しない場合に比較して、精度よく装着者の間の距離を導出することができる。
請求項5の発明によれば、音声取得手段を装着する複数の装着者が対峙する距離を、絶対的な位相や時間の精密な測定をせずに把握するために必要な情報を得られる音声解析装置を提供できる。
請求項6の発明によれば、音声取得手段を装着する複数の装着者が対峙する距離を、絶対的な位相や時間の精密な測定をせずに把握することができる音声解析システムを提供できる。
請求項7の発明によれば、音声取得手段を装着する複数の装着者が対峙する距離を、絶対的な位相や時間の精密な測定をせずに把握することができる機能をコンピュータにより実現できる。
本実施形態による音声解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 装着者および他者の口(発声部位)と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の距離と音圧(入力音量)との関係を示す図である。 装着者自身の発話音声と他者の発話音声の識別方法を示す図である。 音声に含まれる種々の周波数の音波について説明した図である。 2つの周波数の音波を選択し、この2つの周波数における音波の位相差の概念について説明した図である。 本実施形態における端末装置の動作を示すフローチャートである。 二人の装着者が会話を行なっているときに、この二人の装着者の間の距離を導出する方法について説明した図である。 本実施形態におけるホスト装置の動作を示すフローチャートである。 発話音声の中から3つ以上の異なる周波数の音波を選択し、それぞれの周波数の音波を使用して、音波の位相差を複数求める第1の例について説明した図である。 周期解について説明した図である。 発話音声の中から3つ以上の異なる周波数の音波を選択し、それぞれの周波数の音波を使用して、音波の位相差を複数求める第2の例について説明した図である。 (a)は、導出される周期解について説明した図である。(b)は、(a)の一部を拡大した図である。 端末装置間との距離と、実際に導出される距離との関係について説明した図である。 実施例の結果について示した図である。
<システム構成例>
図1は、本実施形態による音声解析システムの構成例を示す図である。
図1に示すように、本実施形態の音声解析システム1は、音声解析装置の一例である端末装置10と、同様に音声解析装置の一例であるホスト装置20とを備えて構成される。端末装置10とホスト装置20とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Wi−Fi(Wireless Fidelity)(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)、UWB(Ultra Wideband)等の既存の方式による回線を用いて良い。また、図示の例では、端末装置10が1台のみ記載されているが、詳しくは後述するように、端末装置10は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置10が用意される。以下、端末装置10を装着した使用者を装着者と呼ぶ。
端末装置10は、音声を取得し装着者に装着された音声取得手段としての複数のマイクロフォン(第1マイクロフォン11および第2マイクロフォン12)と、増幅器(第1増幅器13および第2増幅器14)とを備える。また、端末装置10は、取得した音声を解析する音声解析部15と、解析結果をホスト装置20に送信するためのデータ送信部16とを備え、さらに電源部17とを備える。
第1マイクロフォン11と第2マイクロフォン12(以下、第1マイクロフォン11と第2マイクロフォン12とを区別しない場合には、マイクロフォン11、12と記載することがある)は、装着者の口(発声部位)からの距離が異なる位置に配される。ここでは、第1マイクロフォン11は装着者の口(発声部位)から遠い位置(例えば、35cm程度)に配置され、第2マイクロフォン12は装着者の口(発声部位)に近い位置(例えば、10cm程度)に配置されるものとする。本実施形態のマイクロフォン11、12として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のMEMS(Micro Electro Mechanical Systems)型マイクロフォンが好ましい。
第1増幅器13および第2増幅器14は、それぞれ第1マイクロフォン11および第2マイクロフォン12が取得した音声に応じて出力する電気信号(音声信号)を増幅する。本実施形態の第1増幅器13および第2増幅器14として用いられる増幅器としては、既存のオペアンプ等を用いて良い。
音声解析部15は、第1増幅器13および第2増幅器14から出力された音声信号を解析する。そして、第1マイクロフォン11および第2マイクロフォン12で取得した音声が端末装置10を装着した装着者自身の発話した音声か、他者の発話による音声かを識別する。また音声に含まれる複数の周波数の音波間の位相差を算出する。詳しくは後述するが、音声解析部15は、マイクロフォン11、12が取得した音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する自他識別手段として機能する。さらにマイクロフォン11、12で取得した音声に含まれる複数の周波数の音波間の位相差を導出する位相差導出手段として機能する。
データ送信部16は、音声解析部15による解析結果を含む取得データと端末IDを、上記の無線通信回線を介してホスト装置20へ送信する。ホスト装置20へ送信する情報としては、ホスト装置20において行われる処理の内容に応じて、上記の解析結果の他、例えば、第1マイクロフォン11および第2マイクロフォン12による音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置10に音声解析部15による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。本実施形態ではデータ送信部16は、自他識別手段からの自他識別の情報(自他識別情報)および位相差導出手段により導出された位相差の情報を含む音声に関する情報を送出する音声情報送出手段として機能する。
電源部17は、上記の第1マイクロフォン11、第2マイクロフォン12、第1増幅器13、第2増幅器14、音声解析部15およびデータ送信部16に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部17は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。
ホスト装置20は、端末装置10から送信されたデータを受信するデータ受信部21と、受信したデータを蓄積するデータ蓄積部22と、蓄積したデータを解析するデータ解析部23と、解析結果を出力する出力部24とを備える。このホスト装置20は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置10が使用され、ホスト装置20は、その複数台の端末装置10の各々からデータを受信する。
データ受信部21は、上記の無線回線に対応しており、各端末装置10からデータを受信してデータ蓄積部22へ送る。詳しくは後述するが、本実施形態ではデータ受信部21は、音声を取得し第1の装着者に装着されたマイクロフォン11、12および音声を取得し第2の装着者に装着されたマイクロフォン11、12によりそれぞれ取得された音声について、それぞれの音声に関する情報をそれぞれの装着者から取得する音声情報取得手段として機能する。データ蓄積部22は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部21から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置10から送信される端末IDと、あらかじめホスト装置20に登録されている発話者情報と端末IDの照合により行う。また、端末装置10から端末IDのかわりに装着者の名前などの装着者情報を送信するようにしてもよい。
データ解析部23は、例えばパーソナルコンピュータのプログラム制御されたCPUにより実現され、データ蓄積部22に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置10の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。詳しくは後述するが、本実施の形態では、データ解析部23は、第1の装着者に装着されたマイクロフォン11、12で取得した音声および第1の装着者に装着されたマイクロフォン11、12で取得した音声と同じ音声を第2の装着者に装着されたマイクロフォン11、12で取得した場合の音声が、それぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、音声に含まれる複数の周波数の音波間の位相差とに基づき、第1の装着者と第2の装着者との間の距離を導出する距離導出手段として機能する。
出力部24は、データ解析部23による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。
<端末装置の構成例>
図2は、端末装置10の構成例を示す図である。
上記のように、端末装置10は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置10は、図2に示すように、装置本体30と、装置本体30に接続された提げ紐40とを備えた構成とする。図示の構成において、使用者は、提げ紐40に首を通し、装置本体30を首から提げて装着する。
装置本体30は、金属や樹脂等で形成された薄い直方体のケース31に、少なくとも第1増幅器13、第2増幅器14、音声解析部15、データ送信部16および電源部17を実現する回路と電源部17の電源(電池)とを収納して構成される。ケース31には、装着者の氏名や所属等のID情報を表示したIDカード等を挿入するポケットを設けても良い。また、ケース31自体の表面にそのようなID情報等を印刷したり、ID情報等を記載したシールを貼り付けたりしても良い。
提げ紐40には、マイクロフォン11、12が設けられる。マイクロフォン11、12は、提げ紐40の内部を通るケーブル(電線等)により、装置本体30に収納された第1増幅器13、第2増幅器14に接続される。提げ紐40の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。
この提げ紐40は、筒状の構造を有し、提げ紐40の内部にマイクロフォン11、12を収納している。マイクロフォン11、12を提げ紐40の内部に設けることにより、マイクロフォン11、12の損傷や汚れを防ぎ、対話者がマイクロフォン11、12の存在を意識することが抑制される。なお、装着者の口(発声部位)から遠い位置に配置される第1マイクロフォン11は、装置本体30に設けても良い。本実施形態では、第1マイクロフォン11が提げ紐40に設けられる場合を例として説明する。
図2を参照すると、第1マイクロフォン11は、提げ紐40の装置本体30に接続される端部(例えば、接続部位から10cm以内の位置)に設けられている。これにより、装着者が提げ紐40を首に掛けて装置本体30を下げた状態で、第1マイクロフォン11は、装着者の口(発声部位)から約30cmから40cm程度離れた位置に配置される。なお、第1マイクロフォン11が装置本体30に設けられた場合も、装着者の口(発声部位)から第1マイクロフォン11までの距離は同程度である。
第2マイクロフォン12は、提げ紐40の装置本体30に接続される端部から離れた位置(例えば、接続部位から20cm〜30cm程度の位置)に設けられている。これにより、装着者が提げ紐40を首に掛けて装置本体30を下げた状態で、第2マイクロフォン12は、装着者の首元(例えば鎖骨に当たる位置)に位置し、装着者の口(発声部位)から約10cmから20cm程度離れた位置に配置される。
なお、本実施形態の端末装置10は、図2に示す構成に限定されるものではない。例えば、マイクロフォン11、12は、第1マイクロフォン11から装着者の口(発声部位)までの音波到達経路の距離が第2マイクロフォン12から装着者の口(発声部位)までの音波到達経路の距離の数倍程度となるように、第1マイクロフォン11と第2マイクロフォン12の位置関係が特定されれば良い。したがって、第1マイクロフォン11を首の後ろ側の提げ紐40に設けても良い。また、マイクロフォン11、12は、上記のように提げ紐40に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第1マイクロフォン11と第2マイクロフォン12の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第1マイクロフォン11と第2マイクロフォン12の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。
また、装置本体30は、図2に示したように、提げ紐40に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐40ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話機その他の既存の携帯型電子情報端末に、マイクロフォン11、12からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。
さらにまた、マイクロフォン11、12と装置本体30(あるいは音声解析部15)を有線で接続するのではなく、無線通信により接続しても良い。第1増幅器13、第2増幅器14、音声解析部15、データ送信部16および電源部17は、上記の構成例では単一のケース31に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部17をケース31に収納せず、外部電源に接続して使用する構成としても良い。
<取得音声の非言語情報に基づく発話者(自他)の識別>
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置10に設けられた2つのマイクロフォン11、12により取得された音声の情報を用いて、端末装置10の装着者自身の発話音声(自己の発話音声)と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音声の発話者に関して自他の別を識別する。また、本実施形態では、取得音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧(マイクロフォン11、12への入力音量)等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。
図1および図2を参照して説明したように、本実施形態において、端末装置10の第1マイクロフォン11は装着者の口(発声部位)から遠い位置に配置され、第2マイクロフォン12は装着者の口(発声部位)に近い位置に配置される。すなわち、装着者の口(発声部位)を音源とすると、第1マイクロフォン11と音源との間の距離と、第2マイクロフォン12と音源との間の距離が大きく異なる。具体的には、第1マイクロフォン11と音源との間の距離は、第2マイクロフォン12と音源との間の距離の1.5〜4倍程度である。ここで、マイクロフォン11、12における取得音声の音圧は、マイクロフォン11、12と音源との間の距離が大きくなるにしたがって減衰(距離減衰)する。したがって、装着者の発話音声に関して、第1マイクロフォン11における取得音声の音圧と第2マイクロフォン12における取得音声の音圧とは大きく異なる。
一方、装着者以外の者(他者)の口(発声部位)を音源とした場合を考えると、その他者が装着者から離れているため、第1マイクロフォン11と音源との間の距離と、第2マイクロフォン12と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口(発声部位)を音源とした場合のように、第1マイクロフォン11と音源との間の距離が第2マイクロフォン12と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第1マイクロフォン11における取得音声の音圧と第2マイクロフォン12における取得音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。
図3は、装着者および他者の口(発声部位)と、マイクロフォン11、12との位置の関係を示す図である。
図3に示す関係において、装着者の口(発声部位)である音源aと第1マイクロフォン11との間の距離をLa1、音源aと第2マイクロフォン12との間の距離をLa2とする。また、他者の口(発声部位)である音源bと第1マイクロフォン11との間の距離をLb1、音源bと第2マイクロフォン12との間の距離をLb2とする。この場合、次の関係が成り立つ。
La1>La2(La1≒1.5×La2〜4×La2)
Lb1≒Lb2
図4は、マイクロフォン11、12と音源との間の距離と音圧(入力音量)との関係を示す図である。
上述したように、音圧は、マイクロフォン11、12と音源との間の距離に応じて距離減衰する。図4において、距離La1の場合の音圧Ga1と距離La2の場合の音圧Ga2とを比較すると、音圧Ga2は、音圧Ga1の4倍程度となっている。一方、距離Lb1と距離Lb2とが近似するため、距離Lb1の場合の音圧Gb1と距離Lb2の場合の音圧Gb2とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、取得音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図4に示した例では、距離Lb1、Lb2を60cmとしたが、ここでは音圧Gb1と音圧Gb2とがほぼ等しくなることに意味があり、距離Lb1、Lb2は図示の値に限定されない。
図5は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図4を参照して説明したように、装着者自身の発話音声に関して、第2マイクロフォン12の音圧Ga2は、第1マイクロフォン11の音圧Ga1の数倍(例えば4倍程度)である。また、他者の発話音声に関して、第2マイクロフォン12の音圧Ga2は、第1マイクロフォン11の音圧Ga1とほぼ等しい(1倍程度)。そこで、本実施形態では、第2マイクロフォン12の音圧と第1マイクロフォン11の音圧との比に閾値を設定する。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図5に示す例では、閾値を2とし、音圧比Ga2/Ga1は閾値2を超えるので装着者自身の発話音声と判断され、音圧比Gb2/Gb1は閾値2よりも小さいので他者の発話音声と判断されている。
ところで、マイクロフォン11、12により取得される音声には、発話音声の他に、環境音等のいわゆる雑音(ノイズ)が含まれる。この雑音の音源とマイクロフォン11、12との間の距離の関係は、他者の発話音声の場合と類似する。すなわち、図4、図5に示した例に類似し、雑音の音源cと第1マイクロフォン11との間の距離をLc1とし、雑音の音源cと第2マイクロフォン12との間の距離をLc2とすると、距離Lc1と距離Lc2とは近似する。そして、雑音の音源は他者より装着者から離れている場合が多く、マイクロフォン11、12の取得音声における音圧比Gc2/Gc1は、第2の閾値よりも小さくなる。しかし、このような雑音は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより発話音声から分離され、除去される。
<音声に含まれる複数の周波数の音波間の位相差>
次に、本実施形態において、音声に含まれる複数の周波数の音波間の位相差を算出する方法について説明する。
図6は、音声に含まれる種々の周波数の音波について説明した図である。図6は、音声の一例として、「あ」の音を発声したときのパワースペクトルを示している。ここで図中横軸は、音声をフーリエ変換した後の周波数(Hz)であり、縦軸は、振幅を表わす。
図6に示すパワースペクトルによれば、このとき音声に含まれる音波は、約117Hzである基本周波数の音波の成分と、この基本周波数に対し整数倍の周波数となる倍音の音波の成分が含まれていることがわかる。なお図では、基本周波数となる音波の成分を図中(i)で示し、倍音となる音波の成分を、(ii)、(iii)、(iv)、(v)、(vi)、(vii)、(viii)、(ix)でそれぞれ示している。なおこの場合(i)〜(ix)で示した音波の周波数は、それぞれ約117Hz刻みとなる。
本実施の形態では、音声に含まれる複数の周波数を選択する。そしてそれぞれの周波数における音波間の位相差を算出する。
図7(a)〜(c)は、2つの周波数の音波を選択し、この2つの周波数における音波の位相差の概念について説明した図である。
図7(a)は、図6で示したパワースペクトルである。そして図7(b)は、横軸を時間とし、縦軸を振幅としたときの音波の波形を表わす。このうち「ω1」で示す音波は、図6において(i)で示した基本周波数の音波の波形である。そして「ω2」で示す音波は、図6において(ii)で示した倍音の周波数の音波の波形である。図示するように「ω1」と「ω2」は、ともに正弦波となる。
そして「ω2−ω1」は、「ω1」で示す音波と「ω2」で示す音波の位相差を表わしたものである。つまり「ω1」で示す音波と「ω2」で示す音波とは、周波数が異なるため、その位相差は、時間の経過により一定の割合で変化していく。そしてその結果、図7(c)に示すように位相差は0〜2πの間で周期的に変化し、「ω2−ω1」で示すような仮想的な正弦波として図示できる。即ち、「ω2−ω1」で示した波は、2つの周波数の音波の位相差が時間の経過によりどのように変化するかを示している。
なお上述した例では、図6において(i)で示した周波数の音波と(ii)で示した周波数の音波の組み合わせで、音波の位相差を考えたが、この組み合わせについては、例えば、図6における(i)〜(ix)で示した周波数の音波のうち2つを選択することで行なう。即ち、本実施の形態では、図7において、ピークを形成する周波数のうち2つを選択する。ただしこれに限られるものではなく、ピークを形成しない任意の周波数を選択することもできる。
<端末装置の動作例>
図8は、本実施形態における端末装置10の動作を示すフローチャートである。
図8に示すように、端末装置10のマイクロフォン11、12が音声を取得すると、各マイクロフォン11、12から取得音声に応じた電気信号(音声信号)が第1増幅器13および第2増幅器14へ送られる(ステップ101)。第1増幅器13および第2増幅器14は、マイクロフォン11、12からの音声信号を取得すると、信号を増幅して音声解析部15へ送る(ステップ102)。
音声解析部15は、第1増幅器13および第2増幅器14で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音(ノイズ)の成分を除去する(ステップ103)。次に、音声解析部15は、雑音成分が除かれた信号に対し、一定の時間単位(例えば、数十分の一秒〜数百分の一秒)毎に、各マイクロフォン11、12の取得音声における平均音圧を求める(ステップ104)。そして、平均音圧がある閾値以上であるか否か(利得が有るか否か)を判断する(ステップ105)。
次に、音声解析部15は、ステップ104で求めた各マイクロフォン11、12における平均音圧の利得が有る場合(ステップ105でYes)、発話音声が有る(発話が行われた)と判断する。そして、第1マイクロフォン11における平均音圧と第2マイクロフォン12における平均音圧との比(音圧比)を求める(ステップ106)。ステップ106で求めた音圧比が閾値よりも大きい場合(ステップ107でYes)、音声解析部15は、発話音声は装着者自身の発話による音声であると判断する(ステップ108)。また、ステップ106で求めた音圧比が閾値よりも小さい場合(ステップ107でNo)、音声解析部15は、発話音声は他者の発話による音声であると判断する(ステップ109)。一方、ステップ104で求めた各マイクロフォン11、12における平均音圧の利得が無い場合(ステップ105でNo)、音声解析部15は、発話音声が無い(発話が行われていない)と判断する(ステップ110)。
そして音声解析部15は、発話音声を高速フーリエ変換(FFT:Fast Fourier Transform)し、図6に示したようなパワースペクトルを作成する(ステップ111)。さらに音声解析部15は、パワースペクトルから複数の周波数を選択し(ステップ112)、そして選択したそれぞれの周波数における音波間の位相差を算出する(ステップ113)。
この後、音声解析部15は、データ送信部16を介して、ステップ104〜ステップ113の処理で得られた情報を解析結果としてホスト装置20へ送信する(ステップ114)。この解析結果としては、例えば、発話の有無、装着者の情報(端末ID)、マイクロフォン11、12により取得された音声が装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別した情報である自他識別情報、ステップ112で選択した音声の周波数、ステップ113で算出した音波間の位相差等である。またこのとき、発話者毎(装着者自身または他者)の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置20へ送信させても良い。
なお、本実施形態では、第1マイクロフォン11の音圧と第2マイクロフォン12の音圧とを比較することにより、発話音声が装着者自身の発話による音声か他者の発話による音声かを判断した。本実施形態はこれに限定されるものではないが、発話者の識別は言語情報を解析せずに行えることが好ましい。非言語情報に基づいて発話者を識別する手法としては音圧の比較には限定されず、例えば、第1マイクロフォン11における音声取得時刻(音声信号の出力時刻)と第2マイクロフォン12における音声取得時刻とを比較しても良い。この場合、装着者自身の発話音声は、装着者の口(発声部位)から第1マイクロフォン11までの距離と、装着者の口(発声部位)から第2マイクロフォン12までの距離との差が大きいため、音声取得時刻にある程度の差(時間差)が生じる。一方、他者の発話音声は、装着者の口(発声部位)から第1マイクロフォン11までの距離と、装着者の口(発声部位)から第2マイクロフォン12までの距離との差が小さいため、装着者の発話音声の場合よりも音声取得時刻の時間差が小さい。そこで、音声取得時刻の時間差に対して閾値を設定し、音声取得時刻の時間差が閾値よりも大きい場合には装着者自身の発話と判断し、音声取得時刻の時間差が閾値よりも小さい場合には他者の発話と判断するようにしても良い。
<装着者の間の距離の導出−第1の実施形態>
ホスト装置20のデータ受信部21では、上述した解析結果の情報を含む音声に関する情報を受信する。
音声に関する情報を受信したホスト装置20では、データ解析部23において複数の端末装置10から送られた音声が解析され、装着者の間の距離が導出される。
以下に本実施の形態における装着者の間の距離を導出する具体的な方法について説明を行なう。ここでは二人の装着者が会話を行なっている場合について考える。
図9は、二人の装着者が会話を行なっているときに、この二人の装着者の間の距離を導出する方法について説明した図である。
図では、二人の装着者として、装着者A(第1の装着者)と装着者B(第2の装着者)がおり、そして装着者Aが発声している場合を示している。なお説明の便宜上、ここでは装着者Aが装着する端末装置10を端末装置10Aとする。また装着者Bが装着する端末装置10を端末装置10Bとする。このとき端末装置10Aに備えられるマイクロフォン11、12は第1の音声取得手段として捉えることができ、端末装置10Bに備えられるマイクロフォン11、12は第2の音声取得手段として捉えることができる。
このとき装着者Aの発話音声には、異なる周波数の音波である、「ω1」で示す音波と、「ω2」で示す音波が含まれているとし、これらの音波が、端末装置10Aおよび端末装置10Bに向けて進行する様子を図示している。さらにこの場合、図7で説明したように、「ω1」で示す音波と「ω2」で示す音波から、「ω2−ω1」で示すような仮想的な正弦波が得られる。
この状況において、装着者Aの発話音声は、時間の経過に従い、まず装着者Aの端末装置10Aにより捉えることができる。さらにその後、装着者Bの端末装置10Bより捉えることができる。
そして端末装置10Aおよび端末装置10Bでは、それぞれ「ω1」で示す音波と「ω2」で示す音波の位相差を得ることができる。これは「ω2−ω1」で示す正弦波の位相を得ることができると言い換えることもできる。
この「ω2−ω1」で示す正弦波の位相は、データ受信部21により受信され、データ解析部23に送られる。この「ω2−ω1」で示す正弦波の周波数は、「ω1」で示す音波と「ω2」で示す音波のそれぞれの周波数の差となる。また音速は、装着者Aおよび装着者Bが存在する空間の温度や圧力等から求めることができる。よって「ω2−ω1」で示す正弦波の波長がわかるので、「ω2−ω1」で示す正弦波の位相を基にして、端末装置10Aと端末装置10Bとの距離が導出できることになる。この距離は、装着者Aと装着者Bとの距離とほぼ同じであるため、この距離を装着者の間の距離(第1の装着者と第2の装着者との間の距離)とすることができる。
即ち、ここでは、複数の装着者の中の1人(装着者A)の発話音声を自己の発話音声として取得した場合に導出された位相差の位相と、これと同じ音声を他者の発話音声として取得した場合に導出された位相差の位相とを比較することで、装着者の間の距離を導出している。これは、音声を装着者Aのマイクロフォン11、12が自己の発話音声として取得し、装着者Aのマイクロフォン11、12で取得した音声と同じ音声を装着者Bのマイクロフォン11、12が他者の発話音声として取得した場合に、この音声についてそれぞれ導出された位相差の位相によって、装着者Aと装着者Bとの間の距離を導出すると言い換えることもできる。
<ホスト装置の動作例>
図10は、本実施形態におけるホスト装置20の動作を示すフローチャートである。
以下、図1、図10を使用して本実施形態のホスト装置20の動作を説明する。
まずデータ受信部21が、複数の端末装置10から自他識別情報、図8のステップ112で選択した音声の周波数、ステップ113で算出した音波間の位相差を含む音声に関する情報を受信する(ステップ201)。そしてこの情報は、いったんデータ蓄積部22に蓄積される(ステップ202)。
次にデータ解析部23が、複数の装着者の端末装置10から送られた音声を解析し、装着者の間の距離を導出する。
装着者の会話関係を判定には、まずデータ解析部23は、端末装置10から送信された自他識別情報を基にして、自己発話であると識別したものを検知する(ステップ203)。
次にデータ解析部23は、自己発話であると検知した発話音声に対し、音波間の位相差を取得する(ステップ204)。
またデータ解析部23は、自己発話であると検知した発話音声に対応し、この発話音声を他者の発話であるとしたものを検知する(ステップ205)。ここでは、例えば、ステップ203の自己発話とオン・オフのタイミングがほぼ同期している他者発話のデータを検知すればよい。
さらにデータ解析部23は、他者の発話であると検知したこの発話音声に対し、音波間の位相差を取得する(ステップ206)。
そしてこの位相差を取得したときの音声の周波数と、ステップ204とステップ206で取得した位相差の差と、音速とから装着者の間の距離を導出する(ステップ207)。
以上のようにして端末装置10を装着する装着者の間の距離を導出することができる。そしてこれを基にして、それぞれの装着者におけるコミュニケーションの傾向を分析することができる。
なお単に装着者Aから装着者Bに伝搬する音波の位相を見ることにより、装着者の間の距離を求める従来の方法では、この音波の絶対的な位相を知る必要がある。さらに音波の位相を取得した際の時間を厳密に知る必要がある。つまり予め定められた周波数の音波について、装着者Aの端末装置10Aに捉えられた音声の取得時刻およびこの音波の絶対的な位相と、装着者Bの端末装置10Bに捉えられた音声の取得時刻およびこの音波の絶対的な位相が必要となる。しかしながら、絶対的な位相の取得には精密な測定が必要になる。また取得時刻については、正確に測定することは、一般に困難であることが多い。音声の取得時刻は、例えば、端末装置10Aと端末装置10Bに時計を内蔵させ、この時計により計測することができるが、端末装置10Aと端末装置10Bのそれぞれの時計を厳密に同期させる必要があるためである。
一方、本実施の形態では、自他識別情報の他に、2つの周波数の音波について、装着者Aの端末装置10Aに捉えられた音声の位相差と装着者Bの端末装置10Bに捉えられた音声の位相差を知ることができればよい。そのため音声の取得時刻や絶対的な位相は、知る必要はない。一方、音声の位相差は、引き算というシンプルな計算で取得することができる。
なお上述した例では、音声の自他識別や音波の位相差を求めるのを、端末装置10の側で行なっていたが、これに限られるものではなく、ホスト装置20の側で行なってもよい。この形態における音声解析システム1としては、図1のものに対し、音声解析部15で行なっていた音声の自他識別を、例えば、ホスト装置20のデータ解析部23で行なう。
また上述した例では、音声の自他識別を行なうのに端末装置10を例に挙げたが、これに限られるものではなく、音声の自他識別を行なうことができるものであればよい。例えば、指向性のマイクロフォンを使用し、発話音声が来る方向に対し、指向性のマイクロフォンで取得される音圧が異なることを利用して、発話音声の自他識別を行なうこともできる。この場合、指向性のマイクロフォンが音声取得手段として機能する。
<装着者の間の距離の導出−第2の実施形態>
また上述した例では、説明をわかりやすくするため、発話音声の中から2つの異なる周波数の音波を選択し、この2つの音波の位相差を1つ求めていたが、これに限られるものではない。
図11は、発話音声の中から3つ以上の異なる周波数の音波を選択し、それぞれの周波数の音波を使用して、音波の位相差を複数求める第1の例について説明した図である。
図11では、(i)〜(ix)で示した周波数の音波について、隣接する周波数の音波をそれぞれ選択する場合を示している。即ちこの場合は、(i)と(ii)、(ii)と(iii)、(iii)と(iv)、(iv)と(v)、(v)と(vi)、(vi)と(vii)、(vii)と(viii)、および(viii)と(ix)で示した8組の周波数の音波を選択し、これらの位相差を求める。なおこれらの周波数の差は、図6で説明したように、約117Hzでほぼ一定となる。
そしてこれら8組の組毎に音波の位相差を使用することで、装着者の間の距離を求める。つまり8組の周波数の音波を選択することで、位相差も8通り得られる。さらにこれにより得られる装着者の間の距離も8通り導出できる。本実施の形態では、この導出された8通りの距離を装着者の間の仮の距離とし、そして仮の距離の平均を、最終的な装着者の間の距離とする。
このように平均化を行なうことで、装着者の間の距離をより精度よく求めることができる。
なお単に装着者Aから装着者Bに伝搬する音波の位相を見ることにより、装着者の間の距離を求める従来の方法においても、複数の周波数の音波の位相を見ることで、装着者の間の距離の精度を向上させることは、可能である。しかしながらこの場合、選択できる音波の周波数の帯域は、広くない。つまり、より高い周波数を使用して装着者の間の距離を求める場合、次に説明する周期解の問題が生ずる。より具体的には、周期解のピッチが小さくなりすぎることにより、どれが正解であるかを判断することが困難となる。よって選択できる周波数の数は少なくならざるを得ないので、装着者の間の距離を求める際に、精度を向上させるのには限度がある。
対して、本実施の形態では、異なる周波数の音波の周波数の差を利用するため、より高い周波数のものも組み合わせることができ、多様な組み合わせが可能である。よってこのような問題は生じにくい。
<周期解の説明>
次に周期解について説明を行なう。
図12は、周期解について説明した図である。ここで横軸は、実際の装着者の間の距離である。また縦軸は、本実施の形態の方法により導出された装着者の間の距離である。ここでは例えば、実際の装着者の間の距離が2mであった場合に、本実施の形態の方法により得られた装着者の間の距離は、2mのみならず、−3.8m、−0.9m、4.9m、7.8mの場合もあることになっている。これは、上記2つの異なる周波数の音波の位相差は0〜2πの間を採るが、この位相差は、1周期ずれれば、また元の値に戻る。よって位相差が1周期ずれる毎にそれぞれ解が得られることになる。図12の場合では、この1周期の長さが2.9mであるため、2.9mピッチで周期的な解(周期解)が得られる。
本実施の形態では、この複数得られる解の中から正解を選択することが必要となる。正解を選択の方法の一例としては、装着者同士が会話をするための距離として、近すぎたり遠すぎたりする距離を排除することによって求める方法を採用することができる。そしてこれにより、2mを適切な距離として選択することができる。
<装着者の間の距離の導出−第3の実施形態>
また本実施の形態では、周期解の中から正解を選択する方法として、以下の方法を用いることができる。ここでは、発話音声の音波の中から選択する周波数を、図11の場合とは別の方法とすることで、周期解の中から正解をより選択しやすくする。
図13および図14(a)〜(b)は、周期解の中から正解を選択する方法の一例を説明した図である。
このうち図13は、発話音声の中から3つ以上の異なる周波数の音波を選択し、それぞれの周波数の音波を使用して、音波の位相差を複数求める第2の例について説明した図である。また図14(a)は、これにより導出される周期解について説明した図である。そして図14(b)は、図14(a)の一部を拡大した図である。
図13に示すように、ここでは、3組の周波数の音波を選択している。つまり(i)と(ii)で示した組(組1)、(iii)と(x)で示した組(組2)、および(v)と(xi)で示した組(組3)の周波数の音波を選択する。これらの3組の周波数の差は、それぞれ117Hz、19.5Hz、58.6Hzとなる。そしてこれらの組毎に、装着者の間の距離を求める。
上記3組の周波数を使用して装着者の間の距離を求めた場合、図14(a)に示すように、上記組毎の周波数の差は異なるため、得られる解の周期も異なるものとなる。具体的には、(i)と(ii)の組の場合は、その周期は、2.9mとなる。さらに(iii)と(x)の組の場合は、17.4mとなり、(v)と(xi)の組の場合は、5.8mとなる。
そして本実施の形態では、この3組の周期解がほぼ一致する箇所が正解であるとすることができる。つまり図14(a)において、グループ(I)〜グループ(V)で示した5つのグループのうち、3組の周期解がほぼ一致するグループ(III)が正解であると判断する。
なお図14(b)に正解と判断された箇所において、得られた解と許容誤差を示している。ここで許容範囲は、実際の距離に対し、±50cmとしている。図14(b)によれば、(v)と(xi)の組の場合のみこの許容範囲から外れることがわかる。これは、選択した周波数の差が小さすぎることから生ずると考えられる。また選択した周波数の差が、大きすぎる場合は、周期解のピッチが小さくなりすぎ、どれが正解であるかを判断することが困難となる。よって本実施の形態の場合、選択する周波数の差は、10Hz〜300Hzとすることが好ましく、50Hz〜150Hzとすることがさらに好ましい。
なお(v)と(xi)の組は、導出された距離の誤差が大きいため、この組についての値を「確からしくない値」として使用せずに正解を選択することも考えられる。また他の「確からしくない値」を排除する例としては、次のようなものがある。図14(a)の場合では、グループ(I)、グループ(III)、グループ(V)が(i)と(ii)と(iii)と(x)の組の周期解が一致する。そしてこのうちグループ(I)は、装着者同士が会話をするための距離として遠すぎ、グループ(V)の解は、負の値であり実際にはないものとして排除できる。よってグループ(III)を正解と判断することができる。
このように本実施の形態では、異なる値となる複数の位相差を使用し、「確からしくない値」を排除することで、導出された複数の仮の距離の中から確度の高いものを選択し、装着者の間の距離とする。
<装着者の間の距離の導出−第4の実施形態>
また上述した例では、装着者Aと装着者Bとの距離を端末装置10Aと端末装置10Bとの距離を測定することで求めていたが、厳密には、導出される距離は、端末装置10Aと端末装置10Bとの距離にはならない。
図15は、端末装置10Aと端末装置10Bとの距離と、実際に導出される距離との関係について説明した図である。
装着者Aの口(発声部位)からの発話音声は、距離L1を伝搬し、装着者Aの端末装置10Aのマイクロフォン11に捉えられる。一方、装着者Aの発話音声は、距離L2を伝搬し、装着者Bの端末装置10Bのマイクロフォン11に捉えられる。よって、これらのマイクロフォン11により捉えられる装着者Aの発話音声を基にして、導出される距離は、L2−L1となる。これは、端末装置10Aと端末装置10Bとの距離(マイクロフォン11同士の距離)ΔLとは異なる。ただし、L2−L1とΔLとの差はわずかであるため、L2−L1≒ΔLとしても、問題が生じることは少ない。
ただし、この差を補正したい場合は、次のような方法が考えられる。
まず装着者Aの口(発声部位)と、端末装置10Aのマイクロフォン11と、端末装置10Aのマイクロフォン11とを結ぶことで形成される三角形を考える。そしてこの三角形において、端末装置10Aのマイクロフォン11の箇所の角度をθとする。この場合、θ=90°と近似できるため、下記の(1)式が成り立つ。
ΔL=(L2―L11/2 …(1)
L1の距離は、ほぼ固定であり、予め測定できる。そして導出される距離であるL2−L1にL1を加算すれば、L2も求まる。よってL1およびL2を、上記(1)式に適用することにより、ΔLを求めることができる。
そしてこのような方法により求められたΔLを、補正後の装着者の間の距離とすることができる。
<プログラムの説明>
なお図10で説明を行った本実施形態におけるホスト装置20が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、ホスト装置20に設けられた制御用コンピュータ内部の図示しないCPUが、ホスト装置20の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
よって図10で説明を行ったホスト装置20が行なう処理は、コンピュータに、音声を取得し第1の装着者に装着されたマイクロフォン11、12および音声を取得し第2の装着者に装着されたマイクロフォン11、12によりそれぞれ取得された音声について、それぞれの音声に関する情報をそれぞれの装着者から取得する機能と、第1の装着者に装着されたマイクロフォン11、12で取得した音声および第1の装着者に装着されたマイクロフォン11、12で取得した音声と同じ音声を第2の装着者に装着されたマイクロフォン11、12で取得した場合の音声が、それぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、音声に含まれる複数の周波数の音波間の位相差とに基づき、第1の装着者と第2の装着者との間の距離を導出する機能と、を実現させるプログラムとして捉えることもできる。
以下、本発明を実施例を用いてより詳細に説明するが、本発明は、その要旨を越えない限りこれらの実施例により限定されるものではない。
〔評価方法〕
装着者Aおよび装着者Bに端末装置10Aおよび端末装置10Bをそれぞれ装着させ、装着者Aおよび装着者Bの距離を変更しつつ、装着者の間の距離を導出した。具体的には、図11における(i)と(ii)で示す117Hzと234Hzの周波数の音波用い、この2つの周波数の音波の位相差を使用して、装着者Aと装着者Bの間の距離を導出した。
〔評価結果〕
結果を図16に示す。
図16では、横軸を実際の距離、縦軸を上記の方法により導出された距離として、この2つの間の関係を図示している。これによれば、装着者Aと装着者Bとの距離は、1m〜3mまでについて、ほぼ正確に測定できることがわかる。なおこの導出された装着者Aと装着者Bとの距離の誤差は、18.2cm以内であった。
1…音声解析システム、10…端末装置、15…音声解析部、16…データ送信部、20…ホスト装置、21…データ受信部、23…データ解析部、30…装置本体

Claims (7)

  1. 音声を取得し第1の装着者に装着された第1の音声取得手段および音声を取得し第2の装着者に装着された第2の音声取得手段によりそれぞれ取得された音声について、当該それぞれの音声に関する情報をそれぞれの装着者から取得する音声情報取得手段と、
    前記第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を前記第2の音声取得手段で取得した場合の音声がれぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、当該第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を当該第2の音声取得手段で取得した場合の音声に含まれる複数の周波数の正弦波間の位相差とに基づき、前記第1の装着者と前記第2の装着者との間の距離を導出する距離導出手段と、
    を備えたことを特徴とする音声解析装置。
  2. 前記距離導出手段は、音声を第1の音声取得手段が自己の発話音声として取得し、当該第1の音声取得手段で取得した音声と同じ音声を第2の音声取得手段が他者の発話音声として取得した場合に、当該音声についてそれぞれ導出された前記位相差の位相によって、前記第1の装着者と前記第2の装着者との間の距離を導出することを特徴とする請求項1に記載の音声解析装置。
  3. 前記距離導出手段は、複数の前記位相差によって前記第1の装着者と前記第2の装着者との間の仮の距離をそれぞれ導出し、複数の当該仮の距離の平均を前記第1の装着者と前記第2の装着者との間の距離とすることを特徴とする請求項1または2に記載の音声解析装置。
  4. 前記距離導出手段は、複数の前記位相差によって前記第1の装着者と前記第2の装着者との間の仮の距離をそれぞれ導出し、複数の当該仮の距離の中から最も確度の高いものを選択して前記第1の装着者と前記第2の装着者との間の距離とすることを特徴とする請求項1乃至3の何れか1項に記載の音声解析装置。
  5. 音声を取得し装着者に装着された音声取得手段と、
    前記音声取得手段で取得した音声が装着者の発話音声であるか他者の発話音声であるかを識別する自他識別手段と、
    前記音声取得手段で取得した音声に含まれる複数の周波数の正弦波間の位相差を導出する位相差導出手段と、
    前記自他識別手段からの自他識別の情報および前記位相差導出手段により導出された前記位相差の情報を含む音声に関する情報を送出する音声情報送出手段と、
    を備えたことを特徴とする音声解析装置。
  6. 音声を取得し第1の装着者に装着された第1の音声取得手段と、
    音声を取得し第2の装着者に装着された第2の音声取得手段と、
    前記第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を前記第2の音声取得手段で取得した場合の音声がれぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、当該第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を当該第2の音声取得手段で取得した場合の音声に含まれる複数の周波数の正弦波間の位相差とに基づき、前記第1の装着者と前記第2の装着者との間の距離を導出する距離導出手段と、
    を備えたことを特徴とする音声解析システム。
  7. コンピュータに、
    音声を取得し第1の装着者に装着された第1の音声取得手段および音声を取得し第2の装着者に装着された第2の音声取得手段によりそれぞれ取得された音声について、当該それぞれの音声に関する情報をそれぞれの装着者から取得する機能と、
    前記第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を前記第2の音声取得手段で取得した場合の音声がれぞれの装着者の発話音声であるか他者の発話音声であるかを識別した情報である自他識別の情報と、当該第1の音声取得手段で取得した音声および当該第1の音声取得手段で取得した音声と同じ音声を当該第2の音声取得手段で取得した場合の音声に含まれる複数の周波数の正弦波間の位相差とに基づき、前記第1の装着者と前記第2の装着者との間の距離を導出する機能と、
    を実現させるプログラム。
JP2012211177A 2012-09-25 2012-09-25 音声解析装置、音声解析システムおよびプログラム Expired - Fee Related JP6003472B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012211177A JP6003472B2 (ja) 2012-09-25 2012-09-25 音声解析装置、音声解析システムおよびプログラム
US13/777,432 US9368118B2 (en) 2012-09-25 2013-02-26 Voice analyzer, voice analysis system, and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012211177A JP6003472B2 (ja) 2012-09-25 2012-09-25 音声解析装置、音声解析システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2014066579A JP2014066579A (ja) 2014-04-17
JP6003472B2 true JP6003472B2 (ja) 2016-10-05

Family

ID=50339726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012211177A Expired - Fee Related JP6003472B2 (ja) 2012-09-25 2012-09-25 音声解析装置、音声解析システムおよびプログラム

Country Status (2)

Country Link
US (1) US9368118B2 (ja)
JP (1) JP6003472B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
WO2016078786A1 (de) * 2014-11-19 2016-05-26 Sivantos Pte. Ltd. Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme
JP6515591B2 (ja) * 2015-03-03 2019-05-22 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
US9685156B2 (en) * 2015-03-12 2017-06-20 Sony Mobile Communications Inc. Low-power voice command detector
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10028051B2 (en) * 2015-08-31 2018-07-17 Panasonic Intellectual Property Management Co., Ltd. Sound source localization apparatus
WO2017064929A1 (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置及び情報処理システム
DE102016203987A1 (de) * 2016-03-10 2017-09-14 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
US10074359B2 (en) * 2016-11-01 2018-09-11 Google Llc Dynamic text-to-speech provisioning
US20190065608A1 (en) * 2017-08-29 2019-02-28 Lenovo (Singapore) Pte. Ltd. Query input received at more than one device
US11621738B1 (en) * 2021-09-30 2023-04-04 Shenzhen GOODIX Technology Co., Ltd. Bidirectional phase-based distance estimation with crystal offset

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61209382A (ja) * 1985-03-14 1986-09-17 Nec Corp 距離測定装置
JPH06186328A (ja) 1992-12-21 1994-07-08 Fujitsu Ltd 超音波距離測定装置
JP3572391B2 (ja) * 1999-08-04 2004-09-29 日産自動車株式会社 距離計測装置
JP2006042201A (ja) * 2004-07-29 2006-02-09 Advanced Telecommunication Research Institute International 距離測定システム、距離測定方法ならびに通信装置
US8577048B2 (en) * 2005-09-02 2013-11-05 Harman International Industries, Incorporated Self-calibrating loudspeaker system
JP2007172423A (ja) * 2005-12-23 2007-07-05 Fuji Xerox Co Ltd 発話状態検出装置および方法
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
US7800541B2 (en) * 2008-03-31 2010-09-21 Golba Llc Methods and systems for determining the location of an electronic device
JP5129024B2 (ja) * 2008-05-27 2013-01-23 株式会社船井電機新応用技術研究所 音声入力装置及び音声会議システム
EP2297727B1 (en) * 2008-06-30 2016-05-11 Dolby Laboratories Licensing Corporation Multi-microphone voice activity detector
JP4527204B2 (ja) * 2008-09-26 2010-08-18 パナソニック株式会社 死角車両検出装置及びその方法
US8442833B2 (en) * 2009-02-17 2013-05-14 Sony Computer Entertainment Inc. Speech processing with source location estimation using signals from two or more microphones
JP2010283676A (ja) * 2009-06-05 2010-12-16 Sony Corp 音声検出装置、音声検出方法及び撮像システム
US8560309B2 (en) * 2009-12-29 2013-10-15 Apple Inc. Remote conferencing center
JP2011205324A (ja) 2010-03-25 2011-10-13 Nec Corp 音声処理装置、音声処理方法およびプログラム
US9305553B2 (en) * 2010-04-28 2016-04-05 William S. Meisel Speech recognition accuracy improvement through speaker categories
US9170325B2 (en) * 2012-08-30 2015-10-27 Microsoft Technology Licensing, Llc Distance measurements between computing devices

Also Published As

Publication number Publication date
JP2014066579A (ja) 2014-04-17
US9368118B2 (en) 2016-06-14
US20140088966A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
JP6003472B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP6031761B2 (ja) 音声解析装置および音声解析システム
JP6003510B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP5772447B2 (ja) 音声解析装置
KR102565882B1 (ko) 복수의 마이크들을 포함하는 음향 출력 장치 및 복수의 마이크들을 이용한 음향 신호의 처리 방법
JP2013135325A (ja) 音声解析装置
JP5867066B2 (ja) 音声解析装置
US8983843B2 (en) Motion analyzer having voice acquisition unit, voice acquisition apparatus, motion analysis system having voice acquisition unit, and motion analysis method with voice acquisition
JP6007487B2 (ja) 情報処理装置、情報処理システムおよびプログラム
JP6476938B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP6160042B2 (ja) 位置特定システム
JP5862318B2 (ja) 音解析装置、音解析システムおよびプログラム
JP6031767B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP6515591B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP5929810B2 (ja) 音声解析システム、音声端末装置およびプログラム
JP2013083621A (ja) 位置出力装置、位置出力システムおよびプログラム
JP2013140534A (ja) 音声解析装置、音声解析システムおよびプログラム
JP2013164468A (ja) 音声解析装置、音声解析システムおよびプログラム
JP6056544B2 (ja) 音声解析装置、信号解析装置、音声解析システムおよびプログラム
JP6051996B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP2013072978A (ja) 音声解析装置および音声解析システム
JP6369022B2 (ja) 信号解析装置、信号解析システムおよびプログラム
JP2014050048A (ja) 音声解析装置
JP5948969B2 (ja) 音声解析装置、音声解析システムおよびプログラム
JP2014048618A (ja) 音声解析装置、音声解析システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160822

R150 Certificate of patent or registration of utility model

Ref document number: 6003472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees