JP6732890B2 - 聴覚補助 - Google Patents

Description

本開示は、他の人の音声がよく聞こえるように人々を支援するためのシステムおよび方法に関する。

イヤホンのユーザがイヤホンを人前で装着しているときには、イヤホンを装着している人が自分自身の世界に関心を向け、外部の世界には関心が向いていないという社会情報が他の人に伝えられる。既存のイヤホンのように見える聴覚補助(hearing assistance)デバイスは、同様の社会的メッセージを伝える可能性があり、それは、意図されるものとは反対のことである。ユーザが、聴覚補助デバイスを装着している(かつそれを聴覚補助モードで動作させている)とき、ユーザは、外部の世界につながりを持つことを望んでいる。これらのデバイスが、ユーザは外部の世界とかかわっており、無関係ではないという社会的メッセージを伝えることが望ましい。

本開示は、一部には、聴覚補助デバイス用として既存のイヤホンのように見えるデバイスを用いることの社会的側面に対処する。聴覚補助デバイスのユーザが、ユーザと対話することを望む人に対して無関心ではないという情報を提供するために、アクティブなインジケータを使用する。インジケータは、多くの形態をとることができる。一形態は、装着者が外部の世界とかかわっている、または無関係であることを(例えば、赤色または緑色の発光ダイオード(LED)により)知らせるアクティブな視覚的インジケータである。しかし、このようなインジケータに伴う問題は、LEDの意味が、装着者と対話している人に明らかではない可能性のあることである。したがって、別の形態では、音声活動検出器が、聴覚補助デバイスのマイクロフォンアレイの出力に動作可能に結合され、またそのデバイス上の視覚的なインジケータは、音声が、アレイ出力において検出されたときに点灯する。マイクロフォンアレイは、指向性のものとすることができるが、そうする必要性はない。デバイスが、聴覚補助モードにあるとき、インジケータはアクティブであり、ユーザ以外の人の音声が検出されたとき、何らかの方法で(例えば、柔らかい緑色の発光)点灯する。インジケータは、他の人(話し手)に視認可能であり、(他の音ではなく)音声に依存しており、したがって、話し手は、自分の音声が検出されたことを知る。インジケータは、狭い視野を有することができ、したがって、限られた視野角に限って視認可能である。狭い視野角の発光ダイオード(LED)を、このために使用することができる。非限定的な一例では、インジケータの発光強度は、話者が話すか、話さないかで調節され得る。インジケータは、したがって、デバイスに話者が聞こえたことを直接その話者にフィードバックする。

一例では、ユーザはまた、例えば、ユーザが外部の世界ではなく、自分自身のコンテンツを聞くことを望むとき、または何らかの理由のため、ユーザがインジケータの概念を好まない場合、インジケータのスイッチを切ることができる。

インジケータは、音を受信することには依存しない。そうではなくて、それは、受信した音信号内で、話が識別されたかどうかを示すことに特に依存している。インジケータの方向的な選択性もまたあり得る。方向的な選択性は、オーディオ信号をユーザに供給する方向的なマイクロフォンアレイの指向性に一致すべきである。音声活動検出器への入力として、ユーザの耳に提示された信号と同じであるマイクロフォンアレイ出力信号を(ビーム形成された後に)使用することにより、インジケータはまた、使用と共に動的に生ずる可能性のあるアレイ指向性の何らかの変化を追跡することになる。代替的には、各個々の耳信号を使用することができる、または1つの耳信号を使用することもできる。あるいは、組み合わされた個々のビームと同じ指向性を有する第2のビームを形成することもできる。各耳信号に対して別個の音声活動検出器が存在することもでき、それらの出力は論理的に論理和がとられて、話が検出され、その検出は、耳の一方に、または両耳に関して示される。あるいは、各耳の組み合わされた指向性に一致した別個の指向性ビームを形成することができ(少なくとも近似的に)、次いで、その出力上で音声を検出することができる。

調節されるインジケータを有することにより、インジケータ(LEDとすることができる)により消費される電力は、ユーザの前面の領域で話が検出されたときに限ってインジケータが駆動されるため、低減され得る。

本開示の利点は、デバイスに人の話すのが聞こえた聴覚補助デバイスのユーザの前面にいる話者に直接フィードバックを与えることである。

以下で述べるすべての例および特徴は、任意の技術的に可能な方法で組み合わせることができる。

一態様では、話が、聴覚補助システムにより受信されたかどうかを判定できる検出器を備える聴覚補助システムにおいて音声の受信を示す方法であって、前記聴覚補助システムは、別の人の音声がよく聞こえるようにユーザを支援すべく構成され、かつ配置されており、前記方法が、聴覚補助システムによる別の人の音声の受信を検出するための検出器を使用するステップと、聴覚補助システムよる別の人の音声の受信を検出したことに応じて、聴覚補助システムによる別の人の音声の受信を視覚的に示すステップとを含む。

実施形態は、以下の特徴のうちの1つ、またはそれらの任意の組合せを含むことができる。音声の受信を視覚的に示すステップは、光源の状態を変化させるステップを含むことができ、それは、例えば、光源を点灯することにより、または光源の輝度を変化させることにより達成することができる。光源の輝度は、別の人の音声が検出されたとき増加させることができる。光源は、発光ダイオードを含むことができる。視覚的に示すステップは、音声が検出された人により見ることのできる視覚的なインジケータを用いて達成され得る。

聴覚補助システムは、出力を備えた指向性のマイクロフォンアレイをさらに備えることができ、また検出器は、マイクロフォンアレイ出力に動作可能に結合された音声活動検出器を備えることができる。聴覚補助システムによる別の人の音声の受信を視覚的に示すステップは、音声が、第1のアクティブな音受信角内で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すステップを含むが、音声が、第1のアクティブな音受信角の外側で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示さないステップを含むことができる。第1のアクティブな音受信角は、180°以下を包含することができ、または120°以下、または別のより小さい所定の角度以下を包含することができる。聴覚補助システムによる別の人の音声の受信を視覚的示すステップはまた、音声が、第1のアクティブな音受信角とは異なる第2のアクティブな音受信角内で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すステップをさらに含むが、音声が、第1または第2のアクティブな音受信角の外側で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すことはない。例えば、各アクティブな音受信角に対して別個の光源があり得る。

別の態様において、聴覚補助システムは、別の人の音声が、聴覚補助システムにより受信されたかどうかを判定できる検出器と、検出器に応じて、聴覚補助システムによる別の人の音声の受信を示す視覚的なインジケータとを含む。

実施形態は、上記の特徴および/または以下の特徴の1つ、またはそれらの任意の組合せを含むことができる。視覚的なインジケータは、光源とすることができる。光源の状態は、聴覚補助システムによる別の人の音声の受信を示すために変化することができる。例えば、光源は、聴覚補助システムによる別の人の音声の受信を示すために、点灯させることができる。あるいは、聴覚補助システムによる別の人の音声の受信を示すために、光源の輝度を増加させることができる。光源は発光ダイオードを含むことができる。視覚的なインジケータは、音声が検出された人によって見ることができる。

聴覚補助システムは、出力を備える指向性マイクロフォンアレイをさらに備えることができ、また検出器は、マイクロフォンアレイ出力に動作可能に結合された音声活動検出器を備えることができる。視覚的なインジケータは、音声が、第1のアクティブな音受信角内で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すことができるが、音声が、第1のアクティブな音受信角の外側で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すことはない。第1のアクティブな音受信角は、180°以下、または120°以下、あるいは別のより小さい所定の角度を包含することができる。視覚的なインジケータはまた、音声が、第1のアクティブな音受信角とは異なる第2のアクティブな音受信角内で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すことができるが、音声が、第1または第2のアクティブな音受信角の外側で受信されたとき、聴覚補助システムによる別の人の音声の受信を視覚的に示すことはない。例えば、各アクティブな音受信角に対して別個の光源とすることもできる。

本明細書で述べる方法を達成するためにも使用できる聴覚補助システムの概略的なブロック図である。 マイクロフォン(黒丸(solid dot)として示されている)が耳の隣に位置し、かつ約17.4mmだけ離間されている会話補助システムに対する例示的な左右の2素子アレイのレイアウトの概略図である。 図2で示されるものなど、両側4素子アレイを用いるシステムに対する簡略化した概略的なブロック信号処理図である。 7素子アレイに対する1つの非限定的なマイクロフォン配置を示す図である。 7素子両耳アレイの左右の耳の極応答を示す図である。 7素子両耳アレイの左右の耳の極応答を示す図である。 小型イヤホンにより担持される、頭部の両側にある素子を備える会話補助システムの図である。 会話補助システムにおいて使用され得るアレイの例の図である。

会話補助デバイスは、会話をより明瞭に、かつ理解するのを容易にしようとするものである。これらのデバイスは、望ましくない背景雑音および反響を低減することを目指している。会話補助デバイスは、頭部搭載型マイクロフォンアレイを用いてビーム形成を達成することができる。ビーム形成は、時間で不変、または時間で変化することができる。それは、線形または非線形であり得る。会話補助にビーム形成を適用することは、一般に知られている。例えば、指向性マイクロフォンアレイを用いて、他人の会話の理解しやすさを向上させることが知られている。

本開示の聴覚補助システムおよび方法で使用され得る会話補助デバイスは、通常、ユーザにより装着される(例えば、ヘッドセットとして)、またはユーザにより運ばれる(例えば、変更されたスマートフォンケースなど)。会話補助デバイスは、1つの、好ましくは複数のマイクロフォンを含む。必ずしもそうではないが、通常、1つまたは複数のマイクロフォンアレイがある。片側マイクロフォンアレイ(すなわち、頭部の一方の側にだけ2つ以上のマイクロフォンのアレイ)、または両側マイクロフォンアレイ(すなわち、頭部のそれぞれの側に少なくとも1つのマイクロフォンを使用するアレイ)が存在することができる。会話補助デバイスマイクロフォンアレイは、指向性であることが好ましい。聴覚補助システムは、会話補助デバイスによる音声の受信の視覚的な指示を含む。マイクロフォンアレイが指向性である場合、この視覚的な指示は、指向性に依存していることが好ましく、したがって、聴覚補助システムのユーザに対して話をしており、かつその音声が検出されている第3者が、視覚的なインジケータを見ることができる。

本開示の利点は、聴覚または会話補助デバイスのユーザの前面にいる、デバイスに話すのが聞こえた話者に、直接のフィードバックを与えることである。

図のいくつかの要素は、ブロック図において別々の要素として示され、かつ述べられる。これらのものは、アナログ回路、またはデジタル回路の1つまたは複数のものとして実施することができる。代替的にまたはさらに、それらは、ソフトウェア命令を実行する1つまたは複数のマイクロプロセッサを用いて実施することができる。ソフトウェア命令は、デジタル信号処理命令を含むことができる。動作は、アナログ回路により実施できるが、あるいはアナログの動作と等価なものを実施する、マイクロプロセッサが実行するソフトウェアにより実施され得る。信号ラインは、別々のアナログもしくはデジタル信号ラインとして、別々の信号を処理できる適切な信号処理を備えた別々のデジタル信号ラインとして、かつ/またはワイヤレス通信システムの要素として実施することができる。

プロセスが、ブロック図で表される、または示唆される場合、ステップは、1つの要素、または複数の要素によって行うことができる。ステップは、一緒に実施できるが、異なる時間に実施することもできる。活動を実施する要素は、物理的に同じ、または互いに近接している、または物理的に分離することができる。1つの要素は、1つのブロックを超えるアクションを実施することができる。オーディオ信号は符号化しても、しなくてもよく、またデジタルまたはアナログ形式のいずれかで送信することができる。従来のオーディオ信号処理機器および動作は、いくつかの場合には図面から削除されている。

図1は、本開示による聴覚補助システム10の非限定的な一例を示す。聴覚補助システム10は、別の人の音声がよく聞こえるようにユーザを支援する。聴覚補助システム10は、左側マイクロフォンアレイ12と、右側マイクロフォンアレイ14とを備える両側マイクロフォンアレイを備える聴覚または会話補助デバイス11を含む。聴覚補助デバイス11は、左側アレイ用にフィルタ13を、また右側アレイ用にフィルタ15をさらに含む。概して、各マイクロフォンアレイ12、14は、少なくとも2つの離間されたマイクロフォンを含む。しかし、本開示は、マイクロフォンの任意の特定の数量、または物理的な構成に限定されない。より具体的には、本開示は、両側アレイを有することに限定されない。単一アレイのマイクロフォンもあり得る。フィルタアレイ13および15の出力は、電気音響的変換によりユーザに再生される左右の耳の出力信号である。会話向上システムの場合、再生システムは、イヤホン/ヘッドホンを備えることができる。ヘッドホンは、耳を覆って、または耳に付けることができる。ヘッドホンはまた、耳の中に存在することができる。他の音再生デバイスは、外耳道の開口部に対して配置された小型イヤホンの形態を有することができる。他のデバイスは、外耳道を封止することができる、または外耳道の中に挿入することができる。いくつかのデバイスは、聴取デバイスまたは補聴器としてより正確に述べることができる。

聴覚補助デバイス11は、当技術分野で一般に知られたタイプのものとすることができる。このような聴覚補助デバイスの非限定的な例は、2015年2月10日に出願された「Conversation Assistance System」と題する米国特許出願第14/618,889号に開示され、その開示全体を、参照により本明細書に組み込む。

聴覚補助デバイス11は、1つ、または複数のアクティブな音受信(水平または方位)角、または角度範囲を画定することができる。音声信号が、アクティブな音受信角内から受信されたとき、音声の受信の視覚的な指示がある。音声が、アクティブな音受信角の外側で受信されたとき、音声の受信の視覚的な指示はない。例えば、聴覚補助デバイス11は、任意の範囲の所定角にわたって音を受け入れるように構成することができる。例えば、±30、±60、または望ましい他の角度である。アクティブな音受信角の範囲は、周波数と共に変化することができる。非限定的な例では、アクティブな音受信角は、例えば、ユーザの前方を向いている方向の+/-30度、または+/-60度、または+/-90度とすることができる。他の場合では、聴覚補助デバイス11は、少なくとも2つの別々のアクティブな音受信角を画定するように構成することができ、その場合、アクティブな音受信角において収集された音声信号は視覚的に示され、またアクティブな音受信角の外側の音声信号は、視覚的に示されない。アクティブな音受信角は、重複しない可能性が最も高いが、重複することもあり得る。例えば、聴覚補助デバイス11は、概して、ユーザの前面、左、および右である方位帯(azimuthal bands)における音を検出するように構成することができ、それは、ユーザが、例えば、会議テーブルに座っている間に他の人に話しているとき有利であり得る。この開示は、何らかの特定の音受信角に、または聴覚補助システムの音受信角の任意の量もしくは構成に限定されない。

本聴覚補助システム10では、聴覚補助デバイス11からの左右の耳の出力信号がそれぞれ、音声活動検出器(VAD)16および18に供給される。音声活動検出器16および18は、別の人の音声が、聴覚補助デバイス11の各マイクロフォンアレイにより受信されたかどうかを判定するように構成される。音声活動検出器および音声活動検出は、当技術分野で一般に知られている。音声活動検出器は、例えば、電話会議、音声認識、および手を使わない電話通信など、様々な会話通信システムの統合された部分とすることができる。VAD16および18の出力は、論理的なORゲート20に提供される。ORゲート20は、VAD16および18のいずれか一方、または両方が、音声信号を検出したかどうかを判定することになる。代替的には、単一のVADを使用することもでき、それは、コスト、処理、および電力を節約することができる。単一のVADは、組み合わされた左右の耳のマイクロフォン出力を用いて入力することができるが、あるいは単一のVADを、各耳の指向性がほぼ同じである周波数範囲の低い部分において単一の耳の出力に対して使用することもできる。

別の人の音声が検出されたとき、話し手の話が、聴覚補助システム10により受信されたことを話し手(および特定の視覚的インジケータを見ることのできる誰か他の人)に知らせるために、視覚的なインジケータが使用される。この場合、視覚的なインジケータは、1つまたは複数の光源22を用いて達成することができる。光源は、LEDもしくは他の発光デバイスとすることができるが、あるいは他の光源とすることもできる。視覚的なインジケータは、ディスプレイの一部とすることもできる。反射ディスプレイ、電子インクディスプレイ、または現在知られた、もしくは後に開発される視覚的インジケータの任意の他のタイプなど、光源以外の視覚的なインジケータを使用することもできる。光源の視認できる角度は、実質的に軸上の話し手だけがインジケータを見ることになるように、光学的な偏向レンズもしくはフィルムを用いて制御することができる。非限定的な一例では、偏向レンズもしくはフィルムの特性は、指向性マイクロフォンアレイの特性に適合するように選択することができる。

光源の状態を、聴覚補助システム10による別の人の音声の受信を示すように変化させることが好ましい。例えば、光源は、聴覚補助システム10による別の人の音声の受信を示すために点灯させることができる。別の例では、聴覚補助システム10による別の人の音声の受信を示すために、光源の輝度を変化させる(例えば、増加させる)。別の例では、聴覚補助システム10による別の人の音声の受信を示すために、光源の色を調節することができ、これは、一例では、多色LEDを用いて達成することができる。

例えば、光源は、ユーザにより装着されたヘッドセットに取り付けられた1つまたは複数のLEDとすることができる。デバイスが聴覚補助モードにあるとき、インジケータはアクティブであり、それは、聴覚補助デバイス11の出力において音声が検出されたとき、何らかの方法で(例えば、柔らかい緑色の発光)点灯する。インジケータは、音ではなく音声に依存しており、したがって、話し手は、自分の音声が検出されたことを知ることになる。これは、例えば、人が話したとき、または話さないとき、発光強度を調節することによって光源の状態を変化させることにより伝えることができる。アクティブな音受信角内で話が検出されたときに光が駆動されるだけなので、光により消費される電力は低減されるため、調節されるインジケータはまた、電池の電力を節約することになる。

ユーザは、例えば、外部の世界よりも自分自身のコンテンツを聞くために、または何らかの他の理由で、ユーザがインジケータを使用することを望まない場合、インジケータのスイッチを切ることができる。オン/オフスイッチ24は、この目的のために含めることができる。

上記で述べたように、聴覚補助システム10は、方向的な音受信選択性を有することができるが、そうする必要性はない。聴覚補助システム10は、適合する視覚的なインジケータの方向的な選択性を有することが好ましいが、必ずしもそうである必要はない。例えば、光源22は、イヤホン上に/その周囲に、または聴覚補助システム10の他の物理的な構造(例えば、ハウジング、またはスマートフォンケース)上に配置された2つ以上のLEDを含むことができ、したがって、それらは、概して、聴覚補助デバイス10の可能なアクティブな音受信角と位置合わせされている。したがって、例えば、光源22は、1つは前方を向いており、1つは左を、1つは右を向いているなど、デバイスのイヤホン上に配置されたいくつかのLEDを備えることができる。話し手の音声が検出されたとき、話し手の方向を向いたLEDが点灯する、またはより明るく発光することになる。このようにして、話し手は、ユーザが外部の世界とかかわっていること、およびユーザに、話し手の音声が聞こえることを知る。音声活動検出器への入力として、ユーザの耳に提示されたものと同じ信号とすることができるが、そうである必要性のない聴覚補助デバイス11の出力を用いることにより、視覚的インジケータはまた、使用と共に動的に生ずる可能性のあるマイクロフォンアレイの指向性における何らかの変化を追跡することができる。

マイクロフォンアレイ、処理、およびアレイの指向性の例示的な、非限定的な例が、図2〜図7で示されている。図2で、ユーザの頭部に位置する4つのマイクロフォンアレイ30を考える。1つのビーム形成手法において、アレイは、個々のマイクロフォン素子が、自由場に位置するとものと仮定して設計される。左耳のアレイは、2つの左のマイクロフォン40および41をビーム形成することにより生成される。右耳のアレイは、2つの右のマイクロフォン42および43をビーム形成することにより生成される。このような単純な2素子アレイに対してよく確立された自由場ビーム形成技法は、例えば、ハイパーカーディオイド自由場受信パターンを生成することができる。このコンテキストでは、ハイパーカーディオイドは一般的なものであり、自由場において、それらは、拡散雑音が存在する中で、軸上の話者のための2素子アレイに対して、最適な話者対雑音比(TNR)の向上を提供する。

特に高い指向性を備えたものであるヘッド搭載型アレイは、大きく、かつ目障りになる可能性がある。頭部搭載型アレイに対する代替形態は、例えば、聞き手の前面のテーブル上に、または聞き手の胴部に配置され得る、頭部外のマイクロフォンアレイであり、その後、指向性信号が、通常、聴覚支援信号処理を使用するインイヤ式デバイスへと送信される。これらのデバイスは目立ちにくいが、それらは、両耳の頭部搭載型アレイに存在し得るいくつかの特性を欠いている。まず、これらのデバイスは、通常、モノラルであり、同じ信号を両方の耳に送信する。これらの信号は、自然な空間キューに欠けており、両耳で聞くことに関連する理解のしやすさの利点がない。第2に、これらのデバイスは、十分な指向性を提供することができない。第3に、これらのデバイスは、ユーザの頭部と共に回転せず、したがって、ユーザの視覚的な焦点方向に音の受信の焦点を合わせない。さらに、アレイ設計は、マイクロフォンが搭載されている構造の音響効果を考慮に入れていない可能性がある。

本明細書で使用される場合、頭部の左側および右側におけるマイクロフォンのアレイの両側ビーム形成は、左耳と右耳のオーディオ信号を共に生成するために、頭部の両側にあるマイクロフォンの少なくとも一方(好ましくは、すべて)を利用することができる。この構成は、「両側アレイ」と呼ぶことができる。必ずしもそうする必要はないが、アレイは、頭部の各側に少なくとも2つのマイクロフォンを備えることが好ましい。必ずしもそうする必要はないが、アレイはまた、頭部の前面および/または後方に少なくとも1つのマイクロフォンを備えることが好ましい。本開示で使用できるアレイの他の非限定的な例が、以下で示され、かつ述べられる。両側アレイは、使用できる素子の数を増加させることにより、かつ他の素子に対する個々の素子の少なくともいくつかの間隔を増加させることにより(頭部の反対側にある素子は、頭部の同じ側にある素子よりも遠くに離間される)、1つの片側アレイと比較して向上させた指向性性能を提供することができる。

各耳に対してオーディオ信号を生成するために、アレイにおけるすべてのマイクロフォンを使用することは、以下で論じられるアレイフィルタの設計プロセスと結合されたとき、設計目的を満たす能力を実質的に高めることができる。1つの可能な設計目的は、指向性を高めることに関するものである。図3は、このような両側アレイに対するフィルタ構成を示す簡略化されたブロック信号処理図50である。図は、当業者には明らかと思われるA/D、D/A、増幅器、ダイナミックレンジ制限器などの非線形信号処理機能、ユーザインターフェース制御、および他の態様などの細部は省略している。図3で示された信号処理を含む会話向上デバイスのための信号処理(ならびに個々のマイクロフォンアレイフィルタ、個々のアレイフィルタの出力を加算する加算器、各耳信号の等化、ダイナミックレンジ制限器などの非線形信号処理、および手動もしくは自動の利得制御などを含む、図から除外された信号処理)のすべては、単一のマイクロプロセッサ、DSP、ASIC、FPGA、もしくはアナログ回路、または上記のいずれかの複数のもの、もしくは組合せによって実施され得ることにも留意されたい。1組のアレイフィルタ52は、左右のオーディオ信号のそれぞれに対して、マイクロフォンごとにフィルタを含む。左耳のオーディオ信号は、フィルタL1、L2、L3、およびL4により、それぞれフィルタされた4つのすべてのマイクロフォンの出力を(加算器54を用いて)加算することにより作成される。右耳のオーディオ信号は、フィルタR1、R2、R3、およびR4により、それぞれフィルタされた4つのすべてのマイクロフォンの出力を(加算器56を用いて)加算することにより作成される。

両側ビーム形成は、任意の数の素子、またはマイクロフォンのアレイに適用され得る。頭部の各側に、かつ概して、各耳の近くに3つの素子と(頭部の左側かつ左耳の近傍にマイクロフォン62、63、および64、また頭部の右側かつ右耳の近傍にマイクロフォン66、67、および68)、頭部の後ろに1つ70とを備えた状態で、図4で示される例示的な非限定的な7素子アレイ60を考える。頭部の各側に2つ以上の素子が存在することができ、またマイクロフォン70は存在しない可能性があり、あるいはマイクロフォン70は、頭部の前面もしくは頭部の上に、または1つの眼鏡のブリッジ上になど、左側および右側アレイから離間されたいずれかに位置できることに留意されたい。これらの素子は、概して、同じ水平面内にすべて存在することができるが、そうである必要性はない。さらにマイクは、互いに対して垂直な上方に位置することもできる。

片側4素子アレイの例では、左耳の近傍の2つの左マイクロフォンは、左耳オーディオ信号を生成するためにビーム形成され、また右耳の近傍の2つの右マイクロフォンは、右耳オーディオ信号を生成するために使用されることに留意されたい。このアレイは、合計で4つのマイクロフォンがあるため、4素子アレイと呼ばれるが、頭部の一方の側にあるマイクロフォンだけをビーム形成して各側に対するアレイを生成する。これは、頭部の両側にあるマイクロフォンのうちの少なくとも1つ(かついくつかの場合はすべて)が共にビーム形成されて、左右の耳のオーディオ信号を共に生成する両側ビーム形成とは異なる。

左側および右側素子の出力を組み合わせるアレイに関して、約1200Hzを超える望ましいアレイ性能のためには、頭部の左側にあるマイクロフォンは、頭部の右側にあるマイクロフォン素子から遠く離れすぎている。高周波数において、文字通り「グレーティングローブ」と呼ばれる極の不規則性を回避するために、両側アレイの一方の側は、約1200Hzの上で実質的に低域通過させることができる。非限定的な一例では、低域フィルタの1200Hzのコーナ周波数以下で、頭部の両側がビーム形成されるが、1200Hzより上では、アレイは、各耳に対する片側ビーム形成器へと移行する。空間キュー(例えば、両耳間のレベルおよび位相(または等価的に、時間)の差)を保存するために、左耳アレイは、1200Hzより上で左側マイクロフォンだけを使用する。同様に、右耳アレイは、1200Hzより上で右側マイクロフォンだけを使用する。各耳信号は、1200Hz未満の周波数に対しては、すべてのアレイ素子から形成される。この帯域制限は、アレイフィルタの設計プロセスを用いて実施できるが、あるいは他の方法でも実施することができる。

会話向上システムにおける両側ビーム形成は、普通であれば、片側アレイを用いて可能なはずのものよりも高い指向性を備えたアレイの設計を可能にする。しかし、頭部の両側にあるアレイ素子が個々の耳信号を形成するために使用される両側アレイはまた、低周波数において、空間キューに悪影響を与えるおそれがある。この影響は、(任意選択の)両耳ビーム形成を導入することにより改善することができる。両耳ビーム形成は、マイクロフォンアレイが単に音声受信の指示に使用されるに過ぎない場合は必要ではなく、音声が受信された方向を人が決定するのを助けることに留意されたい。

両耳間レベル差(ILD)、および両耳間位相差(IPD)などの空間キューは、いくつかの理由で、会話補助システムにおいて維持することが望ましい。まず、聞き手が空間的に自然なものとして自分の可聴環境を知覚する範囲は、空間キューの特性に依存する。第2に両耳で聞くこと、およびその関連する空間キューが、話の理解しやすさを増加させることは、当技術分野でよく知られている。会話補助システムにおいて、有益な空間キューを生成することは、したがって、システムの知覚される空間的自然さを向上させ、かつさらなる理解しやすさの利得を提供することができる。

両耳ビーム形成は、上記の両耳間問題に対処するために適用できる方法であるが、両側ビーム形成アレイの高い指向性、およびTNR利得、ならびに低いWNGをなお維持する。これを達成するために、両耳ビーム形成は、アレイ内のマイクロフォン信号を処理して、ユーザが聞いた特定の極のILDおよびIPDを生成し、さらに例えば、+/-45度の指定された通過角を超えるものから到来するすべての音源を減衰させることができる。ユーザに対して、両耳ビーム形成を使用する会話補助デバイスは、2つの重要な利点を提供することができる。第1に、デバイスは、アレイの通過角内のより現実的なILDおよびIPDを再生することにより、より自然で、理解しやすい聴覚補助体験を生成することができる。第2に、デバイスは、通過角外で到来する音を大幅に減衰させることができる。他の利点も可能である。

これらの仕様が与えられると、左右両方のアレイマイクロフォン出力に対するアレイフィルタが、アレイフィルタ設計プロセスを用いて作成することができる。図5Aおよび図5Bは、それぞれ、同じ3つの周波数(489Hz、982Hz、および3961Hz)において、図4の7素子アレイに対して得られた左耳および右耳の両耳アレイの極応答の例を示している。1つの耳ビーム形成器に対する単一のメインローブを観察する。それは、この1つの耳ビーム形成の指向性にほぼ適合する複数の「サブ」ビームを実際に形成することができる。例えば、2つまたは3つの別々のビームを構成することもでき、その場合、各個々のサブビームは、単一のメインローブよりも狭いが、耳のビームの幅に近い(かつわずかに広い、または狭い)サブビームが共に加えられる。別々のビームが形成されている場合、それらは、両方の耳を考慮する聴覚補助システムの全体的な指向性に適合すべきである。個々のサブビームは、両耳用である必要はなく、それらはモノラルとすることができる。このようなシステムでは、左耳および右耳ビームが存在するはずであるが、その場合、多くのサブビームが形成される。

各サブビーム出力は、VADに供給することができ、視覚的なインジケータは各サブビームに関連付けられる。音声がサブビームにおいて検出されたとき、その関連するインジケータが活動される。このようなシステムは、ユーザの前面にいる可能性のある複数の話し手の中で差別化することができ、したがって、各ユーザには、話し手の話が聴覚補助システムによってユーザに提示されたかどうかに関連するフィードバックが提供される。

メインローブは、前方方向に向けられる必要はない。他の目標角が可能である。メインローブは、ユーザのすぐ隣に座っている話者を聞くために、ユーザのすぐ左側、または右側の方向に向けることもできる。このメインローブは、ユーザの左右における話者に対応する両耳のキューを再現することができ、またさらに他の角度からの音を拒絶することができる。ユーザの前面のテーブル上に置かれたアレイを用いる場合、ユーザの左90度にいる話者は、アレイの左の90度ではない可能性がある(例えば、それは、約-135度であり得る)。したがって、空間的な目標は、純粋な両耳からそらせる必要がある。この例では、-135度にある供給源に対するアレイの目標とする両耳仕様は、ユーザの左の90度にある話者に関連付けられたILDおよびIPDを再現すべきである。

会話補助システムを実施する数多くの可能な方法の1つを示す非限定的な一例は、アレイの左側のマイクロフォン素子を、左側の眼鏡のつる部分に、また右側素子を、右側のつる部分に固定することである。別の可能性が図6で示されており、組立体70は、アレイを小型イヤホン72に追加する。ハウジング80は、小型イヤホンに嵌合するアダプタ84により担持される。空所部86、87、および88は、それぞれ、6素子アレイの3つのマイクロフォン素子のうちの1つを担持する。7素子(含まれる場合)は、例えば、首筋バンド、またはヘッドバンドにより担持することができる。あるいは、それは、眼鏡のブリッジ上に担持することもできる。小型イヤホン上により大きい(例えば、単一のLEDより大きい)ディスプレイをユーザが構成可能であり、ユーザは、カスタム化インターフェース(例えば、スマートフォンのアプリ)を介して、「利用可能である」、および「利用可能ではない」状態を表すためにアイコンを選択することもできる。ユーザはまた、アプリを介して、自分自身のアイコンを作成することもできる。より社会的に望ましい視覚的な効果は、例えば、イヤーチップ(ear tip)を備える半透明のシリコーンを介して、間接的に小型イヤホンを照明することであり得る。これは、より楽しい「背面照明」ディスプレイを提示することになる。光に対するパターンを、選択的に成形した形状もしくは物体により、シリコーン混合物の中に加えることができ、それは、背面照明がアクティブなときに限ってはっきり分かるようになり得る。ユーザは、例えば、アプリを介して、システムの照明方式および応答性を選択することができる。

頭部搭載型マイクロフォンアレイに関して上記で述べた概念は、アレイが、ユーザの頭部に配置されない聴覚補助デバイスで使用されるマイクロフォンアレイに適用することができる。頭部に搭載されず、また本明細書で述べられる両側ビーム形成手法で使用され得る(ただし、そうする必要性はない)アレイの一例が、図7で示されており、マイクロフォンは、小さな円によって示されている。この例は、3つが左側および右側のそれぞれにあり、前方および後方側にそれぞれ1つある状態で、8つのマイクロフォンを含む。「空いたスペース」には、マイクロフォンがないが、他の物体が存在しない必要はなく、実際に、マイクロフォン(例えば、その周辺付近に)、および/または会話補助システムの他の構成要素の1つまたは複数のものを担持する物体(スマートフォンケースなど)を含むことができる。このマイクロフォンがテーブル上に置かれたとすると、通常、後方マイクがユーザに向くことになり、一方、前方マイクは、視覚的に前方方向を向く可能性が最も高い。上記で述べた音声活動シグナリング技法は、頭部外の聴覚補助デバイスに対しても等しく適用される。

各左右の耳信号に対してすべてのマイクロフォンを使用することは、ラインアレイ(line array)と比較して向上させた性能を提供することができる。会話補助システムの両側ビーム形成態様では、マイクロフォンのすべて、またはいくつかを、左耳および右耳信号のそれぞれに対して使用することができ、またマイクロフォンが使用される方法は、周波数依存性のものであり得る。図7の例では(またスペースは、ほぼ典型的なスマートフォンの寸法(約15×7cmなど)であるとすると)、アレイの左側にあるマイクロフォンは、約4kHzを超える望ましい性能に対して、右側マイクロフォンから遠すぎる可能性がある。言い換えると、左側および右側マイクロフォンは、組み合わされたとき、この周波数を超える空間的なエイリアシングを生ずることになる。したがって、左耳信号は、この周波数より上では、左側、前方、および後方マイクロフォンだけを使用することができ、また右耳信号は、この周波数より上では、右側、前方、および後方マイクロフォンだけを使用することができる。最大の望ましいクロスオーバ周波数は、左側マイクロフォンと右側マイクロフォンの間の距離、および左側アレイと右側アレイの間にあり得る何らかの物体の幾何形状に応じたものである。しかし、例えば、より広い極受信パターンが望ましい場合、低いクロスオーバ周波数を選択することができる。携帯電話のケースは、典型的なユーザの両耳間のスペースよりも狭いので、クロスオーバ周波数は、頭部搭載型デバイスに対するものよりも高い。しかし、頭部外に装着されるデバイスは、その物理的寸法に限定されることなく、図7のデバイスで示されたものよりも広い、または狭いマイクロフォン間隔を有することができる。

実施形態および空間目標に応じて、図7で示されたものとは異なるマイクロフォン位置が良好な動作をする可能性がある。しかし、他のマイクロフォン構成を使用することもできる。例えば、図7におけるスペースの4つのコーナのそれぞれに隣接してマイクロフォンの対を配置することは、高周波数においてメインローブの良好なステアリング制御を提供することができる。マイクロフォンの配置は、アレイ処理に対する音響的な自由度を決定する。所与の数のマイクロフォンに対して、指向性性能(例えば、両耳キューの保存など)が、他のものではなく、何らかの方向付けの角度においてより重要である場合、別のものではなく、1つの軸に沿ってより多くのマイクロフォンを配置することは、より望ましい性能を生ずる可能性がある。図7のアレイは、例えば、前向き方向に対してアレイ性能を偏らせる。代替的に、異なるマイクロフォン配置が、複数の軸外角度に対するアレイ性能を偏らせる可能性がある。マイクロフォンの量およびその位置は、変えることができる。さらに、左耳および右耳信号のそれぞれを生成するために使用されるマイクロフォンの数を変えることもできる。「スペース」は、長方形である必要はない。より一般的に、アレイに対する最適なマイクロフォン構成は、アレイを担持するデバイスの物理的な制約が与えられると、すべての可能なマイクロフォン間隔をテストすることによって決定することができる。特に低い周波数におけるWNGを考慮することができる。

会話補助システムの別の非限定的な例は、補聴器としてシステムを使用することを含む。遠隔アレイ(例えば、携帯電話/スマートフォン、または携帯電話/スマートフォンケース、または眼鏡ケースなどの可搬型物体に組み込まれたものなど)を、ユーザの近くに配置することができる。システムによって達成される信号処理は、聴覚障害を補償するためのマイクロフォンアレイ処理と信号処理の両方を達成する。このようなシステムは、異なる規定の処理をユーザに実施できるようにするユーザインターフェース(UI)を含むことができるが、そうする必要性はない。例えば、ユーザは、アレイ処理が変化した場合、またはアレイ処理が何もない場合、異なる規定の処理を使用することを望む可能性がある。ユーザは、環境の特性(例えば、周囲の雑音レベルなど)に基づき、規定の処理を調整できることを望む可能性がある。聴覚補助デバイス制御に対するモバイルデバイスは、「Hearing Assistance device Control」と題する2014年4月14日に出願された米国特許出願第14/258,825号で開示され、その開示の全体を、本明細書に組み込む。

上記で述べたシステムおよび方法の実施形態は、当業者には明らかとなるコンピュータ構成要素およびコンピュータで実施されるステップを含む。例えば、コンピュータで実施されるステップは、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、フラッシュROM、不揮発性ROM、およびRAMなどのコンピュータ可読媒体上に、コンピュータ実行可能命令として記憶できることを当業者であれば理解されたい。さらにコンピュータ実行可能命令は、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどの様々なプロセッサで実行できることを当業者であれば理解されたい。説明を容易にするために、上記で述べられたシステムおよび方法のあらゆるステップまたは要素は、コンピュータシステムの一部として本明細書で述べられていないが、当業者であれば、各ステップまたは要素は、対応するコンピュータシステムまたはソフトウェア構成要素を有することができることを理解されよう。このようなコンピュータシステムおよび/またはソフトウェア構成要素は、したがって、その対応するステップまたは要素(すなわち、その機能性)を記述することによって使用可能であり、かつそれらは本開示の範囲に含まれる。

いくつかの実装形態が述べられてきた。そうではあるが、本明細書で述べられた本発明の概念の範囲から逸脱することなくさらなる修正を行うことができ、したがって、他の実施形態も、添付の特許請求の範囲に含まれることが理解されよう。

10 聴覚補助システム
11 聴覚または会話補助デバイス
12 左側マイクロフォンアレイ
13 フィルタ
14 右側マイクロフォンアレイ
15 フィルタ
16 音声活動検出器
18 音声活動検出器
20 ORゲート
22 光源
24 オン/オフスイッチ
30 マイクロフォンアレイ
40 左のマイクロフォン
41 左のマイクロフォン
42 右のマイクロフォン
43 右のマイクロフォン
50 ブロック信号処理図
52 アレイフィルタ
54 加算器
56 加算器
60 7素子アレイ
62 マイクロフォン
63 マイクロフォン
64 マイクロフォン
66 マイクロフォン
67 マイクロフォン
68 マイクロフォン
70 マイクロフォン、組立体
72 小型イヤホン
80 ハウジング
84 アダプタ
86 空所部
87 空所部
88 空所部

Claims (24)

1. 別の人の音声がよく聞こえるようにユーザを支援すべく構成され、かつ配置された聴覚補助システムにおいて前記音声の受信を示す方法であって、
   前記聴覚補助システムによる別の人の前記音声の前記受信を検出するために、前記聴覚補助システムにより話が受信されたかどうかを判定できる検出器を用いるステップと、
   前記聴覚補助システムによる別の人の前記音声の前記受信の検出に応じて、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示すステップと
   を含み、
   前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示す前記ステップは、
   前記音声が、第1のアクティブな音受信角内で受信されたとき、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示すステップと、
   前記音声が、前記第1のアクティブな音受信角とは異なる第2のアクティブな音受信角内で受信されたとき、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示すステップと、
   をさらに含む方法。
2. 視覚的に示す前記ステップは、光源の状態を変化させるステップを含む、請求項1に記載の方法。
3. 光源の状態を変化させる前記ステップは、前記光源を点灯するステップを含む、請求項2に記載の方法。
4. 前記光源は、発光ダイオードを含む、請求項2に記載の方法。
5. 光源の状態を変化させる前記ステップは、前記光源の輝度を変化させるステップを含む、請求項2に記載の方法。
6. 別の人の前記音声が検出されたとき、前記光源の前記輝度を増加させる、請求項5に記載の方法。
7. 前記聴覚補助システムは、出力を備えた指向性マイクロフォンアレイをさらに備え、また前記検出器は、前記マイクロフォンアレイの出力に動作可能に結合された音声活動検出器を備える、請求項1に記載の方法。
8. 前記第1のアクティブな音受信角は、180度以下を包含する、請求項7に記載の方法。
9. 前記第1のアクティブな音受信角は、120度以下を包含する、請求項8に記載の方法。
10. 前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示す前記ステップは、前記音声が、前記第1または第2のアクティブな音受信角の外側で受信されたとき、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示すことはない、請求項7に記載の方法。
11. 各アクティブな音受信角に対して別個の光源が存在する、請求項10に記載の方法。
12. 視覚的に示す前記ステップは、音声が検出された前記人により見ることのできる視覚的なインジケータを用いて達成される、請求項1に記載の方法。
13. 別の人の音声がよく聞こえるようにユーザを支援する聴覚補助システムであって、
    別の人の前記音声が、前記聴覚補助システムにより受信されたかどうかを判定できる検出器と、
    前記検出器に応じて、前記聴覚補助システムによる別の人の前記音声の前記受信を示す視覚的インジケータと
    を備え、
    前記視覚的インジケータは、
    前記音声が、第1のアクティブな音受信角内で受信されたとき、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示す第1の視覚的インジケータと、
    前記音声が、前記第1のアクティブな音受信角とは異なる第2のアクティブな音受信角内で受信されたとき、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示す第2の視覚的インジケータと
    を具備する聴覚補助システム。
14. 前記視覚的インジケータは光源を備える、請求項13に記載の聴覚補助システム。
15. 前記光源の状態は、前記聴覚補助システムによる別の人の前記音声の前記受信を示すように変化する、請求項14に記載の聴覚補助システム。
16. 前記光源は、前記聴覚補助システムによる別の人の前記音声の前記受信を示すように点灯される、請求項14に記載の聴覚補助システム。
17. 前記光源は発光ダイオードを含む、請求項14に記載の聴覚補助システム。
18. 前記光源の輝度を、前記聴覚補助システムによる別の人の前記音声の前記受信を示すために増加させる、請求項14に記載の聴覚補助システム。
19. 出力を備えた指向性マイクロフォンアレイをさらに備え、また前記検出器は、前記マイクロフォンアレイの出力に動作可能に結合された音声活動検出器を備える、請求項13に記載の聴覚補助システム。
20. 前記第1のアクティブな音受信角は、180度以下を包含する、請求項19に記載の聴覚補助システム。
21. 前記第1のアクティブな音受信角は、120度以下を包含する、請求項20に記載の聴覚補助システム。
22. 前記視覚的インジケータはまた、前記音声が、前記第1または第2のアクティブな音受信角の外側で受信されたとき、前記聴覚補助システムによる別の人の前記音声の前記受信を視覚的に示すことはない、請求項19に記載の聴覚補助システム。
23. 各アクティブな音受信角に対して別個の光源が存在する、請求項22に記載の聴覚補助システム。
24. 前記視覚的インジケータは、音声が検出された前記人により見ることができる、請求項13に記載の聴覚補助システム。

Images