JP4475468B2 - 通信聴取システム - Google Patents

Description

本発明は、難聴者など聴覚を支援することが必要な人に、よりよい音環境を提供する通信聴取システムに関する。

従来、会議のような座る位置を異にする複数人との会話や騒音環境下における会話において、難聴者の聴覚を支援する方法としては、第１に片耳に装用する補聴器に複数のマイクロホンを設け、音が到来する方向を特定の方向であると制限し、その方向の音のみを強調する指向性処理方法（例えば、特許文献１参照）、第２にスペクトルサブトラクションという手法により、無音区間の雑音レベルを統計的に推定し、信号全体から雑音成分のみの減算を行う雑音抑圧処理方法（例えば、特許文献２参照）、第３に両耳に装用した補聴器間の通信によって情報の授受を行い、音の到来方向を自動的に特定し、その方向の音のみ強調する両耳指向性処理方法（例えば、特許文献３参照）などが知られている。

特表２００２−５３６９３１号公報 特開２００１−２７３０００号公報 特開２００４−３４３７０６号公報

しかし、片耳に装用する補聴器に複数のマイクロホンを設ける指向性処理方法では、特定の方向以外に所望の音信号が存在する場合には対応できないし、片耳に複数のマイクロホンを配置して方向感を得ることには物理的に限界がある。また、スペクトルサブトラクションという手法では、複数の音声が混在している場合には、所望の音声信号を抽出することは原理的に非常に困難である。更に、両耳に装用した補聴器間の通信による両耳指向性処理方法では、補聴器の指向性を自動的に所望の方向に合わせることが難しい場合も多く、時間と共に変化する音信号の到来方向に追従することは困難である。

また、両耳に装用した２つの補聴器間で通信を行う際に、ワイヤなどの有線よる通信方法では使用者の装用感の低下をもたらし、電波などの無線による通信方法では隣の人と混信してしまう場合があるという問題もあった。

本発明は、従来の技術が有するこのような問題点に鑑みてなされたものであり、その目的とするところは、不明瞭な音の原因となる環境雑音の抑圧や所望の音信号の到来方向を特定し、自然な音の方向感を得ることができる通信聴取システムを提供しようとするものである。

上記課題を解決すべく請求項１に係る発明は、使用者が携行可能な収音装置と、使用者の左右の耳部に装着する第１聴取装置及び第２聴取装置とから構成される通信聴取システムであって、前記収音装置は二つ以上のマイクロホンと、このマイクロホンが捉えた音信号を処理する演算処理部と、この演算処理部で処理された信号を送信する送信部を備え、前記第１聴取装置及び第２聴取装置は夫々前記収音装置から送信された信号を受信する受信部と、音信号を検知するマイクロホンと、このマイクロホン及び前記受信部の出力信号を処理する演算処理部と、この演算処理部で処理された信号を出力するイヤホンを備え、更に前記第１聴取装置及び第２聴取装置は前記収音装置へ信号を送信する送信部を夫々備え、前記収音装置は前記第１聴取装置及び第２聴取装置から送信された信号を受信する受信部を備え、前記収音装置に備えた２つ以上のマイクロホンを用いて求めた音信号の到来方向の推定値と、前記第１聴取装置のマイクロホンと前記第２聴取装置のマイクロホンを用いて求めた音信号の到来方向の推定値を比較する比較部を、前記収音装置、前記第１聴取装置、前記第２聴取装置に夫々備わる前記演算処理部のいずれかに設けたものである。

請求項２に係る発明は、請求項１記載の通信聴取システムにおいて、前記第１聴取装置及び第２聴取装置に夫々備わる送信部と受信部が、互いに信号を送受信する。

請求項３に係る発明は、請求項１又は請求項２に記載の通信聴取システムにおいて、前記収音装置を向けた方向から到来した音信号を強調及び抽出する音信号強調抽出手段、及び／又は前記収音装置を向けた方向から到来した音信号中の雑音を抑圧する雑音抑圧手段を、前記収音装置、前記第１聴取装置、前記第２聴取装置に夫々備わる前記演算処理部の少なくとも一つに備える。

請求項４に係る発明は、請求項１乃至請求項３のいずれかに記載の通信聴取システムにおいて、前記比較部で算出された推定値の差が、予め設定された許容範囲内にある場合には、前記２つの到来方向の推定値を平均して到来方向の推定値とする平均化部を、前記収音装置、前記第１聴取装置、前記第２聴取装置に夫々備わる前記演算処理部のいずれかに設ける。

請求項５に係る発明は、請求項１乃至請求項４のいずれかに記載の通信聴取システムにおいて、ある一定の時間間隔で、前記収音装置と前記第１聴取装置と前記第２聴取装置との間の通信状態を判定する通信判定部を備え、この通信判定部が通信不能と判定した場合には、単独で前記第１聴取装置と前記第２聴取装置が夫々使用可能な状態になるようにした。

請求項６に係る発明は、請求項１乃至請求項５のいずれかに記載の通信聴取システムにおいて、前記収音装置と前記第１聴取装置及び第２聴取装置との間で行われる送受信が、生体通信によるものである。

請求項１に係る発明によれば、収音装置のマイクロホンと、第１聴取装置及び第２聴取装置のマイクロホンとの距離が、指向性を得るには十分であり、より精度の高い指向性処理が可能になる。また、収音装置を使用者任意の方向に向けることができるので、使用者の所望の音（例えば、複数話者の中の特定話者の音声）を、自然な方向感を両耳装用により保ちつつ、選択的に聴取できる。

また、第１聴取装置及び第２聴取装置が、収音装置との信号の授受を行うことができるので、スペースに余裕のある収音装置において、諸々の信号処理を行うことが可能になる。更に、収音装置に備えた２つ以上のマイクロホンを用いて求めた音信号の到来方向の推定値と、第１聴取装置のマイクロホンと第２聴取装置のマイクロホンを用いて求めた音信号の到来方向の推定値との差を求めることができる。

請求項２に係る発明によれば、第１聴取装置と第２聴取装置が互いに信号の送受信を行うので、使用者に合った両耳のバランスをとりながら、自然な音の方向感が得られるような処理をすることができる。

請求項３に係る発明によれば、収音装置を使用者の意思に基づいて向けた方向から到来した音信号を、音信号強調抽出手段及び／又は雑音抑圧手段により処理して不必要な音声や環境雑音を低減し、より自然な音の方向感を得ることができる。

請求項４に係る発明によれば、より正確な音信号の到来方向の推定値を求めることができる。

請求項５に係る発明によれば、収音装置と第１聴取装置と第２聴取装置との間の通信が不能であっても、単独で第１聴取装置と第２聴取装置が夫々使用可能になる。

請求項６に係る発明によれば、生体通信を用いるので、ワイヤなど有線通信による煩わしさや、電波などの無線通信による混信がなくなり、円滑に通信を行うことができる。

以下に本発明の実施の形態を添付図面に基づいて説明する。ここで、図１は本発明に係る通信聴取システムの第１実施の形態のブロック図、図２は同じく使用状態を示す模式図、図３は同じく第２実施の形態のブロック図、図４は同じく第３実施の形態のブロック図である。

本発明に係る通信聴取システムの第１実施の形態は、図１に示すように、使用者が手に持って使用するペン型形状の収音装置１と、使用者の左右の耳部に装着する第１聴取装置２及び第２聴取装置３とから構成される。なお、使用者が難聴者の場合には、第１聴取装置２及び第２聴取装置３の機能を備えた耳穴形や耳かけ形などの補聴器が適用される。

収音装置１は、音信号を収集するマイクロホン１１と、このマイクロホン１１の出力信号をデジタル信号に変換するＡ／Ｄ変換部１２と、このＡ／Ｄ変換部１２でデジタル信号に変換された音信号を処理する演算処理部１３と、この演算処理部１３で処理された信号を第１聴取装置２及び第２聴取装置３に送信する送信部１４を備える。

第１聴取装置２は、収音装置１及び第２聴取装置３から送信される信号を受信する受信部２１と、音信号を収集するマイクロホン２２と、このマイクロホン２２の出力信号をデジタル信号に変換するＡ／Ｄ変換部２３と、このＡ／Ｄ変換部２３でデジタル信号に変換された音信号及び受信部２１の出力信号を処理する演算処理部２４と、この演算処理部２４で処理された信号をアナログ信号に変換するＤ／Ａ変換部２５と、このＤ／Ａ変換部２５でアナログ信号に変換された音信号を出力するイヤホン２６と、演算処理部２４で処理された信号及び通信判定用信号を収音装置１及び第２聴取装置３に送信する送信部２７を備える。

また、第２聴取装置３も、第１聴取装置２と同様に構成され、収音装置１及び第１聴取装置２から送信される信号を受信する受信部３１と、音信号を収集するマイクロホン３２と、このマイクロホン３２の出力信号をデジタル信号に変換するＡ／Ｄ変換部３３と、このＡ／Ｄ変換部３３でデジタル信号に変換された音信号及び受信部３１の出力信号を処理する演算処理部３４と、この演算処理部３４で処理された信号をアナログ信号に変換するＤ／Ａ変換部３５と、このＤ／Ａ変換部３５でアナログ信号に変換された音信号を出力するイヤホン３６と、演算処理部３４で処理された信号を収音装置１及び第１聴取装置２に送信する送信部３７を備える。

更に、ある一定の時間間隔で、収音装置１と第１聴取装置２との間の通信状態を判定する通信判定部２８を第１聴取装置２に備え、ある一定の時間間隔で、収音装置１と第２聴取装置３との間の通信状態を判定する通信判定部３８を第２聴取装置３に備えている。いずれかの通信判定部２８，３８が通信不能と判定した場合には、第１聴取装置２と第２聴取装置３は夫々単独で使用可能な状態になる。また、収音装置１と第１聴取装置２との間の通信、収音装置１と第２聴取装置３との間の通信、第１聴取装置２と第２聴取装置３との間の通信は、無線通信でも生体通信でもよい。

以上のように構成された本発明に係る通信聴取システムの第１実施の形態の作用について説明する。先ず、図２に示すように、使用者がペン型の収音装置１を手に持ち、第１聴取装置２を右耳に装着し、第２聴取装置３を左耳に装着する。すると、収音装置１を所望の音源の方向に向け、始動させると、収音装置１に設けたマイクロホン１１が音信号を収集する。マイクロホン１１が収集した音信号は、Ａ／Ｄ変換部１２、演算処理部１３、送信部１４を経て、第１聴取装置２及び第２聴取装置３に送信される。また、第１聴取装置２に設けたマイクロホン２１と第２聴取装置３に設けたマイクロホン３１も、夫々音信号を収集する。

例えば、会議のように複数の話者がいる場合に、発言している特定の話者の方向に収音装置１のマイクロホン１１を向ける。すると、収音装置１のマイクロホン１１が捉えた音信号と、第１聴取装置２のマイクロホン２２が捉えた音信号を用いて、所謂マイクロホンアレイ技術により音信号の到来方向に対して重み付けの指向性処理等が第１聴取装置２の演算処理部２４で行われる。マイクロホンアレイ技術とは、各マイクロホン１１，２２が捉えた音信号の到来時間差及びレベル差を用いて、その音信号の到来方向を推定すると共に、その方向に指向性を与えるように音信号に係数を乗ずるなどの指向性処理技術をいう。

また、使用の際には収音装置が必然と所望の音源（例えば、特定話者）と近くなるので、収音装置が採取した音に重み付けすることでＳ／Ｎ比が向上する。同様に、収音装置１のマイクロホン１１が捉えた音信号と、第２聴取装置３のマイクロホン３２が捉えた音信号を用いて、マイクロホンアレイ技術により音信号の到来方向に対して重み付けの指向性処理等が第２聴取装置３の演算処理部３４で行われる。

また、両耳に装着した第１聴取装置２と第２聴取装置３のみで、マイクロホン２２，３２が捉えた音信号を用いて指向性処理を行うことも可能である。しかし、第１聴取装置２と第２聴取装置３のみによる指向性処理の音信号の到来方向が、使用者の所望の方向と違っている場合には、収音装置１を用いることによって、所望の音信号の到来方向を得ることができる。

次に、本発明に係る通信聴取システムの第２実施の形態は、図３に示すように、使用者が手に持って使用するペン型形状の収音装置４と、使用者の左右の耳部に装着する第１聴取装置５及び第２聴取装置６とから構成される。なお、第１聴取装置５及び第２聴取装置６は、図１に示す第１聴取装置２及び第２聴取装置３と同様な構成なので、説明を省略する。

収音装置４は、音信号を収集する複数のマイクロホン４１ａ，４１ｂ，…と、これらのマイクロホン４１ａ，４１ｂ，…の出力信号をデジタル信号に変換するＡ／Ｄ変換部４２と、このＡ／Ｄ変換部４２でデジタル信号に変換された音信号を処理する演算処理部４３と、この演算処理部４３で処理された信号を第１聴取装置５及び第２聴取装置６に送信する送信部４４と、第１聴取装置５及び第２聴取装置６から送信される信号を受信する受信部４５と、後述する指向処理手段５０の音源方向走査について自動と固定を切り替える指向性切替スイッチ４６を備える。

また、演算処理部４３は、通常の演算処理手段４７としての機能の他に、収音装置４を向けた方向から到来した音信号を強調及び抽出する音信号強調抽出手段４８としての機能、音信号中の雑音を抑圧する雑音抑圧手段４９としての機能を有する。また、演算処理部４３にマイクロホン４１ａ，４１ｂ，…が捉えた音信号を強調させる指向処理手段５０としての機能を持たせることもできる。

以上のように構成された本発明に係る通信聴取システムの第２実施の形態の作用について説明する。先ず、図２に示すように、使用者がペン型の収音装置４を手に持ち、第１聴取装置５を右耳に装着し、第２聴取装置６を左耳に装着する。すると、収音装置４に設けたマイクロホン４１ａ，４１ｂ，…が音信号を収集する。マイクロホン４１ａ，４１ｂ，…が収集した音信号は、Ａ／Ｄ変換部４２、演算処理部４３、送信部４４を経て、第１聴取装置５及び第２聴取装置６に送信される。また、第１聴取装置５に設けたマイクロホン２１と第２聴取装置６に設けたマイクロホン３１も、夫々音信号を収集する。

例えば、会議のように複数の話者がいる場合であっても、収音装置４が複数のマイクロホン４１ａ，４１ｂ，…を備えているので、演算処理部４３において音信号強調抽出手段４８により、到来した音信号を強調・抽出処理、及び雑音抑圧手段４９により背景雑音の抑圧処理（指向性の演算）が可能になる。これにより、収音装置４のマイクロホン４１ａ，４１ｂ，…を、発言している話者に向けることなく、複数人の会話の音信号のうち、所定の音信号を抽出することができる指向性処理機能を持たせることが可能になる。この指向性処理機能は、マイクロホンアレイ技術に基づく。指向性処理機能で抽出された音が使用者所望の音と異なる場合は、指向性切替スイッチ４６で指向性を固定状態に切り替え、使用者が収音装置４を所望の音源の方向に向けて使用する。その他の作用は、第１実施の形態と同様である。

次に、本発明に係る通信聴取システムの第３実施の形態は、図４に示すように、使用者が手に持って使用するペン型形状の収音装置７と、使用者の左右の耳部に装着する第１聴取装置８及び第２聴取装置９とから構成される。なお、第１聴取装置８及び第２聴取装置９は、図１に示す第１聴取装置２及び第２聴取装置３と同様な構成なので、説明を省略する。

収音装置７は、音信号を収集する複数のマイクロホン７１ａ，７１ｂ，…と、これらのマイクロホン７１ａ，７１ｂ，…の出力信号をデジタル信号に変換するＡ／Ｄ変換部７２と、このＡ／Ｄ変換部７２でデジタル信号に変換された音信号を処理する演算処理部７３と、この演算処理部７３で処理された信号を第１聴取装置８及び第２聴取装置９に送信する送信部７４と、第１聴取装置８及び第２聴取装置９からの信号を受信する受信部７５を備える。また、演算処理部７３は、通常の演算処理手段７６としての機能の他に、到来した音信号を強調及び抽出する音信号強調抽出手段７７としての機能、音信号中の雑音を抑圧する雑音抑圧手段７８としての機能を有する。また、演算処理部７３にマイクロホン７１ａ，７１ｂ，…が捉えた音信号を強調させる指向処理手段７９としての機能を持たせることもできる。

更に、収音装置７には、比較部８０と平均化部８１が設けられている。比較部８０は、収音装置７に備えた２つ以上のマイクロホン７１ａ，７１ｂ，…を用いて求めた音信号の到来方向の推定値と、第１聴取装置８のマイクロホン２２と第２聴取装置９のマイクロホン３２を用いて求めた音信号の到来方向の推定値を比較する機能を有する。平均化部８１は、比較部８０で算出された推定値の差が、予め設定された許容範囲内にある場合には、２つの到来方向の推定値を平均して到来方向の推定値とする機能を有する。

以上のように構成された本発明に係る通信聴取システムの第３実施の形態の作用について説明する。先ず、図２に示すように、使用者がペン型の収音装置７を手に持ち、第１聴取装置８を右耳に装着し、第２聴取装置９を左耳に装着する。すると、収音装置７に設けたマイクロホン７１ａ，７１ｂ，…が音信号を収集する。マイクロホン７１ａ，７１ｂ，…が収集した音信号は、Ａ／Ｄ変換部７２を経て演算処理部４３で処理される。また、第１聴取装置８に設けたマイクロホン２１と第２聴取装置９に設けたマイクロホン３１も、夫々音信号を収集する。

例えば、会議のように複数の話者がいる場合でも、発言している話者の方向に収音装置７のマイクロホン７１ａ，７１ｂ，…を特に向ける必要はない。この場合、収音装置７のマイクロホン７１ａ，７１ｂ，…により捉えた音信号について、演算処理部７３で指向性処理を行う。一方、第１聴取装置８のマイクロホン２１により捉えた音信号と第２聴取装置９のマイクロホン３１により捉えた音信号について、第１聴取装置８の演算処理部２４で指向性処理を行う。これらの指向性処理は、マイクロホンアレイ技術に基づいて行われる。

第１聴取装置８の演算処理部２４で行われた指向性処理の結果（指向性パラメータ）は、送信部２７により収音装置７の受信部７５を経て比較部８０に入力される。比較部８０では、収音装置７に備えた２つ以上のマイクロホン７１ａ，７１ｂ，…を用いて求めた音信号の到来方向の推定値（指向性パラメータ）と、第１聴取装置８のマイクロホン２２と第２聴取装置９のマイクロホン３２を用いて第１聴取装置８の演算処理部２４で求めた音信号の到来方向の推定値（指向性パラメータ）が比較される。

そして、比較部８０で算出された推定値（指向性パラメータ）の差が、予め設定された許容範囲内にある場合には、２つの到来方向の推定値（指向性パラメータ）は平均化部８１に送られる。すると、平均化部８１で、２つの到来方向の推定値（指向性パラメータ）が平均され、その平均化された推定値（指向性パラメータ）が、音信号の到来方向として決定される。その他の作用は、第１実施の形態と同様である。

第３実施の形態では、第１聴取装置８のマイクロホン２１により捉えた音信号と第２聴取装置９のマイクロホン３１により捉えた音信号について、第１聴取装置８の演算処理部２４で指向性処理を行ったが、この指向性処理を第２聴取装置９の演算処理部３４で行うこともできる。また、第１聴取装置８のマイクロホン２１により捉えた音信号と第２聴取装置９のマイクロホン３１により捉えた音信号を夫々収音装置７に送信し、収音装置７の演算処理部７３で指向性処理を行うこともできる。

以上、特許請求の範囲に記載した発明の実施の形態について具体的に説明してきたが、本発明はこれらの実施の形態で説明したものに限定されるものではなく、特許請求の範囲に記載した発明の要旨の範囲内において種種の変更が可能である。例えば、上記では、補聴器を用いた通信聴取システムについて説明したが、これは一例に過ぎず、これ以外にも会議やパーティーなど複数話者がいる中での任意の話者の音声や、電車のホームやイベント会場で種々のアナウンスが交錯する中で所望のアナウンスを、自然な方向感を保ちつつ聞くことが可能な通信聴取システムとしてコミュニケーションツール全般に、本発明を適用することが可能である。

本発明によれば、使用者が任意の方向に向けられる収音装置のマイクロホンと、第１聴取装置及び第２聴取装置のマイクロホンとの距離が、指向性を得るには十分であり、より精度の高い指向性処理が可能になると共に、両耳に相互通信可能な聴取装置を装着することで自然な方向感を実現することができる通信聴取システムを提供することができる。

本発明に係る通信聴取システムの第１実施の形態のブロック図 本発明に係る通信聴取システムの使用状態を示す模式図 本発明に係る通信聴取システムの第２実施の形態のブロック図 本発明に係る通信聴取システムの第３実施の形態のブロック図

符号の説明

１，４，７…収音装置、２，５，８…第１聴取装置、３，６，９…第２聴取装置、１１，２２，３２，４１ａ，４１ｂ，７１ａ，７１ｂ…マイクロホン、１２，２３，３３，４２，７２…Ａ／Ｄ変換部、１３，２４，３４，４３，７３…演算処理部、１４，２７，３７，４４，７４…送信部、２１，３１，４５，７５…受信部、２５，３５…Ｄ／Ａ変換部、２６，３６…イヤホン、２８，３８…通信判定部、４６…指向性切替スイッチ、４７，７６…補聴処理手段、４８，７７…音信号強調抽出手段、４９，７８…雑音抑圧手段、５０，７９…指向処理手段、８０…比較部、８１…平均化部。

Claims (6)

1. 使用者が携行可能な収音装置と、使用者の左右の耳部に装着する第１聴取装置及び第２聴取装置とから構成される通信聴取システムであって、前記収音装置は二つ以上のマイクロホンと、このマイクロホンが捉えた音信号を処理する演算処理部と、この演算処理部で処理された信号を送信する送信部を備え、前記第１聴取装置及び第２聴取装置は夫々前記収音装置から送信された信号を受信する受信部と、音信号を検知するマイクロホンと、このマイクロホン及び前記受信部の出力信号を処理する演算処理部と、この演算処理部で処理された信号を出力するイヤホンを備え、更に前記第１聴取装置及び第２聴取装置は前記収音装置へ信号を送信する送信部を夫々備え、前記収音装置は前記第１聴取装置及び第２聴取装置から送信された信号を受信する受信部を備え、前記収音装置に備えた２つ以上のマイクロホンを用いて求めた音信号の到来方向の推定値と、前記第１聴取装置のマイクロホンと前記第２聴取装置のマイクロホンを用いて求めた音信号の到来方向の推定値を比較する比較部を、前記収音装置、前記第１聴取装置、前記第２聴取装置に夫々備わる前記演算処理部のいずれかに設けることを特徴とする通信聴取システム。
2. 請求項１記載の通信聴取システムにおいて、前記第１聴取装置及び第２聴取装置に夫々備わる送信部と受信部が、互いに信号を送受信することを特徴とする通信聴取システム。
3. 請求項１又は請求項２に記載の通信聴取システムにおいて、前記収音装置を向けた方向から到来した音信号を強調及び抽出する音信号強調抽出手段、及び／又は前記収音装置を向けた方向から到来した音信号中の雑音を抑圧する雑音抑圧手段を、前記収音装置、前記第１聴取装置、前記第２聴取装置に夫々備わる前記演算処理部の少なくとも一つに備えることを特徴とする通信聴取システム。
4. 請求項１乃至請求項３のいずれかに記載の通信聴取システムにおいて、前記比較部で算出された推定値の差が、予め設定された許容範囲内にある場合には、前記２つの到来方向の推定値を平均して到来方向の推定値とする平均化部を、前記収音装置、前記第１聴取装置、前記第２聴取装置に夫々備わる前記演算処理部のいずれかに設けることを特徴とする通信聴取システム。
5. 請求項１乃至請求項４のいずれかに記載の通信聴取システムにおいて、ある一定の時間間隔で、前記収音装置と前記第１聴取装置と前記第２聴取装置との間の通信状態を判定する通信判定部を備え、この通信判定部が通信不能と判定した場合には、単独で前記第１聴取装置と前記第２聴取装置が夫々使用可能な状態になることを特徴とする通信聴取システム。
6. 請求項１乃至請求項５のいずれかに記載の通信聴取システムにおいて、前記収音装置と前記第１聴取装置及び第２聴取装置との間で行われる送受信が、生体通信によることを特徴とする通信聴取システム。