JP6479211B2 - 聴音装置 - Google Patents

聴音装置 Download PDF

Info

Publication number
JP6479211B2
JP6479211B2 JP2017551306A JP2017551306A JP6479211B2 JP 6479211 B2 JP6479211 B2 JP 6479211B2 JP 2017551306 A JP2017551306 A JP 2017551306A JP 2017551306 A JP2017551306 A JP 2017551306A JP 6479211 B2 JP6479211 B2 JP 6479211B2
Authority
JP
Japan
Prior art keywords
signal
microphone
microphone signal
unit
hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017551306A
Other languages
English (en)
Other versions
JP2018521520A (ja
Inventor
カムカー パルシ ホマヨウン
カムカー パルシ ホマヨウン
プダー ヘニング
プダー ヘニング
イー ディアンナ
イー ディアンナ
Original Assignee
シバントス ピーティーイー リミテッド
シバントス ピーティーイー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シバントス ピーティーイー リミテッド, シバントス ピーティーイー リミテッド filed Critical シバントス ピーティーイー リミテッド
Publication of JP2018521520A publication Critical patent/JP2018521520A/ja
Application granted granted Critical
Publication of JP6479211B2 publication Critical patent/JP6479211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、聴音装置、および聴音装置の作動方法に関する。聴音装置は、特に、第1のマイクロホンおよび第2のマイクロホンのうちの少なくとも1つを備え、この第1のマイクロホンおよび第2のマイクロホンは、第1の聴音デバイスおよび第2の聴音デバイスのうちの少なくとも1つに配置されている。聴音装置は、外部デバイス、特に携帯電話、スマートフォン、または音響センサネットワークに配置された第3のマイクロホンをさらに備える。より具体的には、聴音装置は、第1の聴音デバイスおよび第2の聴音デバイスを備え、これらが相互に接続されて両耳聴音デバイスを形成している。
無指向性マイクロホンの使用時であっても、1つまたは複数の外部マイクロホンを用いて方向性効果を可能にする聴音装置が、例えば欧州特許出願公開第2 161 949 A2号明細書に開示されている。
欧州特許出願公開第2 161 949 A2号明細書
本発明は、ユーザに出力される音声信号の信号対ノイズ比の向上を可能にする聴音装置ならびに、聴音装置の作動方法を明示することを目的とする。
本発明によれば、この目的は、聴音装置であって、第1のマイクロホン信号および第2のマイクロホン信号をそれぞれ生成する第1のマイクロホンおよび第2のマイクロホンであって、第1の聴音デバイスおよび第2の聴音デバイスのうちの少なくとも1つに配置されている第1のマイクロホンおよび第2のマイクロホンのうちの少なくとも1つと、第3のマイクロホン信号を生成する第3のマイクロホンであって、外部デバイス(すなわち外部マイクロホン)に配置されている第3のマイクロホンと、信号処理部とを備え、信号処理部において、第3のマイクロホン信号、ならびに第1のマイクロホン信号および第2のマイクロホン信号のうちの少なくとも1つが、第1のマイクロホン信号および/または、第2のマイクロホン信号と比較して、信号対ノイズ比(SNR:signal to noise ratio)が向上した出力信号に一緒に処理および/または合成される聴音装置により実現される。特に、聴音デバイスは、補聴器として具体化され、以下の説明では、聴音デバイスはさらに、わかり易くするために、補聴器と呼ばれる場合が多い。
所与のノイズのシナリオに対して、外部マイクロホンの戦略的な配置は、空間的情報、および、補聴器の内部マイクロホンにより生成される補聴器信号よりも良好な信号対ノイズ比を提示することができる。近傍のマイクロホンは、補聴器のユーザの身体をノイズ信号の減衰に有効活用することができる。例えば、補聴器のユーザの身体付近の前方に外部マイクロホンを置くと、身体は、補聴器と比較して、より減衰されたノイズ信号を外部マイクロホンが拾い上げるように、後ろ方向から到来するノイズを遮蔽する。これは、身体遮蔽効果と呼ばれる。身体遮蔽効果を活用した外部マイクロホン信号は、次に、補聴器の信号を強調するために、補聴器の信号と合成される。
外部マイクロホン、すなわち聴音デバイスに配置されていないマイクロホンは、現在主に補聴器の付属品として使用されている。しかしながら、信号は、さらなる強調のために補聴器の信号と合成されない。現在の用途は、外部マイクロホン信号を補聴器に単にストリーミングするだけである。よくある用途としては、目標話者、例えば教師がFMマイクロホンを身につけ、補聴器のユーザが、ストリーミングされるFMマイクロホン信号を聞く教室の場が含まれる。例えば、Boothroyd,A.,“Hearing Aid Accessories for Adults:The Remote FM Microphone”,Ear and Hearing,25(1):22−33,2004;Hawkins,D.,“Comparisons of Speech Recognition in Noise by Mildly−to−Moderately Hearing−Impaired Children Using Hearing Aids and FM Systems”,Journal of Speech and Hearing Disorders,49:409−418,1984;Pittman,A.,Lewis,D.,Hoover,B.,Stelmachowicz P.,“Recognition Performance for Four Combinations of FM System and Hearing Aid Microphone Signals in Adverse Listening Conditions”,Ear and Hearing,20(4):279,1999を参照されたい。
補聴器アルゴリズムにおける信号推定またはパラメータ推定のために、無線音響センサネットワーク(WASN:wireless acoustic sensor networks)を使用する研究の関心がますます高まっている。しかしながら、WASNの用途は、目標とする話者の近くに、またはノイズ源の近くにマイクロホンを配置して、目標とする話者またはノイズの推定値を生成することに焦点を当てている。例えば、Bertrand,A.,Moonen,M.“Robust Distributed Noise Reduction in Hearing Aids with External Acoustic Sensor Nodes”,EURASIP,20(4):279,1999を参照されたい。
本発明の好適な実施形態によれば、聴音装置は、相互に接続されて両耳聴音デバイスを形成する左耳聴取デバイスおよび右耳聴音デバイスを備える。特に、聴音デバイス間の音声信号を交信または送信するように、右耳聴取デバイスと左耳聴取デバイスとの間に両耳間通信リンクが確立されている。両耳間通信リンクは、無線リンクであることが有利である。聴音装置において使用されるマイクロホンがすべて、無線通信リンクによって接続されていることがより好ましい。
外部デバイスは、モバイルデバイス(例えば携帯型コンピュータ)、スマートフォン、音響センサ、および音響センサネットワークの一部である音響センサ素子のうちの1つであることが好ましい。モバイルフォンまたはスマートフォンは、前方の目標話者からの直接信号を受信するために聴音デバイスのユーザの前に戦略的に配置することができ、またはポケットに身に着ければ、前方の目標話者との会話中にすでに優良な位置にある。無線音響センサネットワークは、自動車やビデオ会議でのハンズフリー通話、音響モニタリング、および環境知能を含む様々な技術的用途で使用されている。
さらに別の好適な実施形態によれば、音響出力信号を生成するために、出力信号が、第1の聴音デバイスおよび第2の聴音デバイスのうちの少なくとも1つの出力カプラに結合されている。この実施形態によれば、聴音デバイスのユーザは、聴音デバイスの出力カプラまたは受信機を介して信号処理部によって出力された、外部マイクロホン信号を用いて強調された音声信号を受信する。
信号処理部は、必ずしも聴音デバイスのうちの1つの中になくてもよい。信号処理部は、外部デバイスの一部であってもまたよい。特に、信号処理は、外部デバイス内、例えばモバイルコンピュータまたはスマートフォン内において実行され、聴音デバイスのユーザによってダウンロード可能な特定のソフトウェアアプリケーションの一部である。
すでに述べたように、聴音デバイスは、例えば補聴器である。さらに別の有利な実施形態によれば、聴音デバイスは、挿耳型(ITE:in−the−ear)聴音デバイスとして、特に完全外耳道挿入型(CIC:completely−in−canal)聴音デバイスとして具体化されている。使用される聴音デバイスはそれぞれ、単一の無指向性マイクロホンを備えることが好ましい。したがって、第1の聴音デバイスは第1のマイクロホンを備え、第2の聴音デバイスは第2のマイクロホンを備える。しかしながら、本発明は、単一の聴音デバイス、特に単一の補聴器が、第1のマイクロホンおよび第2のマイクロホンを備える実施形態もまた範囲に含む。
本発明の別の好適な実施形態では、信号処理部は、適応型ノイズキャンセラ部であって、強調された出力信号を得るために、第3のマイクロホン信号、ならびに第1のマイクロホン信号および第2のマイクロホン信号のうちの少なくとも1つが供給され、さらに合成される適応型ノイズキャンセラ部を備える。第3のマイクロホン信号は、特に、ビーム形成された信号のように用いられて、空間フィルタリングによって信号対ノイズ比を向上させる。その戦略的な配置により、第3のマイクロホン信号それ自体が自然な方向性を示す。
適応型ノイズキャンセラ部内において、第1のマイクロホン信号および第2のマイクロホン信号のうちの少なくとも1つが前処理されてノイズ参照信号を生成し、第3のマイクロホン信号が、ノイズ参照信号と合成されて出力信号を得ることが有利である。第1のマイクロホン信号および/または第2のマイクロホン信号は、特に前述の身体遮蔽効果により、ノイズ推定に用いられる。
適応型ノイズキャンセラ部において、第1のマイクロホン信号および第2のマイクロホン信号が合成されて、ノイズ参照信号を生成することが好ましい。特に、第1のマイクロホン信号および第2のマイクロホン信号の差分信号が形成される。前方の話者、ならびに左耳マイクロホンおよび右耳マイクロホンを備える両耳聴装置の場合、差分信号はノイズ信号の推定と見なすことができる。
本発明のさらに別の好適な実施形態によれば、適応型ノイズキャンセラ部は、目標等化部であって、目標位置成分に関して、第1のマイクロホン信号および第2のマイクロホン信号が、そこで等化される目標等化部をさらに備え、等化された第1のマイクロホン信号、および等化された第2のマイクロホン信号が合成されて、ノイズ参照信号を生成する。目標方向が既知であると仮定して、好適な実施形態によれば、ただ単に遅延を信号のうちの1つに追加することができる。目標方向が0°(すなわち、前方の話者)であると仮定すると、両耳聴音デバイスの左耳マイクロホン信号および右耳マイクロホン信号は、対称性によりほぼ等しい。
適応型ノイズキャンセラ部は、目標音声検出のために、第1のマイクロホン信号および第2のマイクロホン信号が、そこで比較される比較デバイスであって、特に、適応型ノイズキャンセラ部が、目標音声活動が存在しない間にのみ適応されるように、適応型ノイズキャンセラ部を制御するための制御信号を生成する比較デバイスをさらに備えることが好ましい。この実施形態は、目標音声漏出による目標信号のキャンセルを防止するという特定の利点を有する。
別の有利な実施形態によれば、信号処理部が、較正部および/または等化部をさらに備え、第3のマイクロホン信号、ならびに第1のマイクロホン信号および第2のマイクロホン信号のうちの少なくとも1つが、群遅延を補正するために較正部に供給され、および/または、レベルおよび位相を補正するために等化部に供給され、かつ、補正されたマイクロホン信号が、適応型ノイズキャンセラ部に供給される。較正部および/または等化部を実装することにより、内部マイクロホン信号間、および内部マイクロホン信号と外部マイクロホン信号との間の遅延時間の差、位相および/またはレベルが補正される。
本発明は、聴音デバイス信号を強調するために、外部マイクロホンにおける身体遮蔽効果の利点を有効活用する。外部マイクロホンは、特に、後ろ方向のノイズ信号を減衰させるために、身体の近くに配置される。身体遮蔽効果の利点は、180°において後ろ方向のノイズの減衰が実現できない、完全外耳道挿入(CIC)型補聴器のような単一マイクロホン式補聴器デバイスでは、特に有用である。補聴器システムのマイクロホンだけを使用するとき、前方位置(0°)と後方位置(180°)とを区別することは、身体の正中面に沿って存在する対称性により困難である。補聴器による身体遮蔽効果を活用した外部マイクロホンは、後ろ方向のノイズが減衰されるので、このように前後が曖昧になることがない。補聴器マイクロホンの信号をこのように強調して、補聴器の信号を外部マイクロホンの信号と合成することにより、後ろ方向のノイズを低減することができる。
本発明は、特に、外部マイクロホン信号をただ単にストリーミングするのではなく、聴音デバイス信号に付加的な信号強調を提供する。信号の強調は、補聴器の信号を外部マイクロホンの信号と合成することにより提供される。マイクロホンが補聴器のユーザの近くにある場合、外部マイクロホンの配置は、身体遮蔽効果を有効活用する。無線音響センサネットワークとは異なり、マイクロホンの位置は、目標とする話者またはノイズ源の近くにあるようには配置されない。
本発明のさらなる詳細および利点は、概略図に基づいた、いくつかの実施形態の後続の説明から明らかになるが、本発明を限定するものではない。
身体遮蔽効果を活用した外部マイクロホンの実施可能な構成を示す。 補聴器およびスマートフォンのマイクロホン、ならびに目標話者および干渉話者を有する構成を示す。 信号合成スキームの概要を図示している。 適応型ノイズキャンセラ部の詳細図を示す。
図1は、第1の左耳聴音デバイス2、および第2の右耳聴音デバイス3を備える改良された聴音装置1を示す。第1の左耳聴音デバイス2は、第1の左耳マイクロホン4を備え、第2の右耳聴音デバイス3は、第2の右耳マイクロホン5を備える。第1の聴音デバイス2および第2の聴音デバイス3は相互に接続されており、聴音デバイスのユーザ7の両耳聴音デバイス6を形成している。0°においては、前方の目標話者8が位置している。180°においては、干渉話者9が位置している。第3の、外部マイクロホン11を有するスマートフォン10が、聴音デバイスのユーザ7と前方の目標話者8との間に配置されている。ユーザ7の背後には、身体遮蔽効果に起因する後ろ方向の減衰域12が存在している。補聴器デバイス6の内部マイクロホン4、5の使用時には、前方位置(0°)と後方位置(180°)とを区別することは、身体の正中面に沿って存在する対称性により困難である。身体遮蔽効果を活用した外部マイクロホン11は、後ろ方向のノイズが減衰されるので、このように前後が曖昧になることがない。これにより、聴音デバイスのマイクロホン4、5の信号は、聴音デバイスのマイクロホン4、5の信号を、外部マイクロホン11の信号と合成することにより、後ろ方向のノイズを減らすように強調することができる。
図2は、図1に示されているシナリオとはわずかに異なるシナリオを図示している。干渉話者9が、135°の方向に位置している。スマートフォン10の第3の、外部マイクロホン11は、以下EMICとも呼ばれるが、聴音デバイスのユーザ7と前方の目標話者8との間に配置されている。聴音デバイス2、3は、例えば、各デバイスに1つのマイクロホン4、5を有する完全外耳道挿入(CIC)型補聴器(HA:hearing aid)である。全体的な聴音装置1は、3つのマイクロホン4、5、11で構成されている。
L,raw(t)、yR,raw(t)およびzraw(t)が、離散的な時間サンプルtで、左右の聴音デバイス2、3、および第3の外部マイクロホン11においてそれぞれ受信されるマイクロホン信号を表示しているとする。これらの信号のサブバンド表現は、kおよびnで指数が付されており、このときkは、サブバンド時係数nにおけるk番目のサブバンド周波数を指している。2つのデバイス2、3の間でマイクロホン信号を合成する前に、ハードウェアを較正して、外部マイクロホン11のマイクロホン特性を聴音デバイス2、3のマイクロホン4、5に合致させることが必要である。例示的なアプローチでは、外部マイクロホン11(EMIC)を較正して、参照マイクロホンとしての役割を果たす内部マイクロホン4、5のうちの1つを合致させる。較正されたEMIC信号は、zcalibによって表示される。この実施形態では、較正は、EMIC信号にさらなる処理を適用する前に最初に完了する。
デバイス間の差を較正するために、デバイスに固有の群遅延特性およびマイクロホン特性を考慮しなければならない。アナログ−デジタル変換および音声バッファに起因する音声遅延は、外部デバイス10と聴音デバイス2、3との間で異なっている可能性が高く、したがって、時間遅延のこの差を補正するには注意を要する。内部聴音デバイスのマイクロホン4、5によって受信される入力信号と、補聴器のレシーバ(スピーカ)における出力信号との間の処理の群遅延は、スマートフォンのような複雑なデバイスにおけるよりも何桁も小さい。外部デバイス10の群遅延を最初に測定し、次に、必要であれば補正することが好ましい。外部デバイス10の群遅延を測定するには、入力マイクロホン信号がシステムの出力として送信されるように処理される伝達関数の群遅延を推定するだけでよい。スマートフォン10の場合には、入力信号は前方のマイクロホン信号であり、出力はヘッドホンポートを通して得られる。群遅延を補正するために、好適な実施形態によれば、yL,rawおよびyR,rawは、EMICデバイスの測定された群遅延の分だけ遅延している。遅延信号は、yおよびyによってそれぞれ表示されている。
異なるデバイス待ち時間を補正した後に、マイクロホン特性のレベル差および位相差を補正する等化フィルタ(EQ:equalization filter)を用いることが推奨される。EQフィルタを適用して、yrefとして表示される参照としての役割を果たすyまたはyのいずれかに、EMICの信号を合致させる。EQフィルタ係数hcalは、オフラインで計算され、次に、オンライン処理の間に適用される。これらの重みをオフラインで計算するために、参照マイクロホンおよびEMICがフリーフィールドの大体同じ位置で保持されるホワイトノイズ信号の記録が最初に行われる。次に、最小2乗法を用いて、費用関数を最小にすることにより、出力yref(k,n)に対する入力zrawの相対伝達関数を推定する。
Figure 0006479211
式中、zraw(k,n)は、現在および過去のzraw(k,n)のLcal−1の値のベクトルであり、Lcalは、hcal(k)の長さである。
較正の後、例示的な研究において、外部マイクロホン11(EMIC)の戦略的な位置が考察される。信号の強調に関して、内部マイクロホン4、5の信号と比較して、EMICがより良好なSNRを有する位置を探究した。図2に示されるシナリオに焦点が当てられた。この場合、外部マイクロホン11は、スマートフォン使用の典型的な距離である20cmの距離で聴音デバイスのユーザ7の身体の前方に、センタリングされている。目標話者8は、0°に位置し、一方、ノイズ干渉源9の位置は、聴音デバイスのユーザ7の周りの半径1mの円に沿って変動する。音声干渉源9の位置は、45°の増分で変動し、各位置には、騒音レベルが異なる音声干渉源9が一人だけいる。次に、ただ一人の音声干渉源9が目標話者8とともに活動しているときに、EMICおよびCIC補聴器2、3のSNRが比較される。結果として、ノイズ干渉源9が135〜225°の範囲の角度から到来しているときに、EMICの生信号は、補聴器の生信号よりも高いSNRを有することが示された。それに加えて、EMICのSNRは、2マイクロホン式耳かけ型(BTE:behind−the−ear)聴音デバイスで実現される、適応型一次微分ビーム形成器(FODBF:first order differential beamformer)を用いて処理される信号と同様の性能を有することが示された。なお、FODBFは、各デバイスに少なくとも2つのマイクロホンが必要になるので、CICのような単一マイクロホン式補聴器デバイスでは実現できないことに留意されたい。したがって、外部マイクロホン11を追加することにより、単一マイクロホン式補聴器デバイス2、3の後ろ方向から到来するノイズの減衰が可能になる場合がある。
以下の例示的な実施形態は、2つの聴音デバイス2、3の間の両耳間リンクを仮定して、図1または図2に示されたシナリオに従って3つのマイクロホンを用いて強調された両耳信号を生成するために、一般化サイドローブキャンセラ(GSC:Generalized Sidelobe Canceller)構造を用いた合成スキームを提示する。同期サンプリングをともなう、外部マイクロホン11(EMIC)と聴音デバイス2、3との間の理想的なデータ伝送リンクもまた仮定されている。
3つのマイクロホン信号を合成するために、GSC構造の変形例が考察される。GSCビーム形成器は、固定ビーム形成器、ブロッキング行列(BM:blocking matrix)および適応型ノイズキャンセラ(ANC:adaptive noise canceller)で構成されている。全体的な合成スキームが図3に示されており、そこでは、最初に外部マイクロホンの信号に関してハードウェア較正が実施され、続いて、ノイズ低減のためのGSC合成スキームが実施されることによって、zenhとして表される強調されたモノラル信号が得られる。したがって、信号処理部14は、較正部15および等化部16を備える。次に、較正部15および等化部16の出力信号は、GSC型処理部17に供給される。GSC型処理部17はさらに、ANCを備える適応型ノイズキャンセラ部と呼ばれる。
GSCの固定ビーム形成器と同様に、EMIC信号の身体遮蔽のメリットにより、ビーム形成された信号の代わりにEMIC信号が用いられる。BMは、聴音デバイスのペアの信号を合成してノイズ参照信号を生成する。ANCは正規化した最小2乗平均(NLMS:normalized least mean squares)フィルタを用いて実現される。GSC構造または適応型ノイズキャンセラ部17の構造はそれぞれ、図4に示されており、サブバンド領域において実施される。ブロッキング行列BMは、参照数字18で表示されている。ANCは、参照数字19で表示されている。
BMに用いられるスキームは、図4において明らかになっている。そこでは、yL,EQおよびyR,EQは、(目標等化部20における)目標等化後の左耳聴音デバイス信号および右耳聴音デバイス信号を指し、nBMは、ノイズ参照信号を指す。目標方向が既知であると仮定して、目標等化部20は、HAのペアにおいて目標音声成分を等化する。実際には、システムが必ず因果的であるように、因果的な遅延が参照信号に追加される。例えば、yが目標EQに対する参照信号として選ばれた場合には、
L,EQ(k,n)=y(k,n−DtarEQ
であり、式中、DtarEQは、追加された因果的遅延である。次に、目標信号がyL,EQに合致するように、yがフィルタリングされる。すなわち、
Figure 0006479211
であり、式中、yは、yの現在および過去のLtarEQ−1の値のベクトルであり、LtarREQは、htarEQの長さである。次いで、ノイズ参照nBM(k,n)が、次式により得られる。
BM(k,n)=YL,EQ(k,n)−YR,EQ(k,n)
実際には、目標位置0度という仮定が、HA用途において一般に用いられる。これは、聴音デバイスのユーザは、会話中には所望の話者に対面する傾向があり、自然な位置である中央正面から到来する音を聞きたいと仮定している。目標方向が0°であると仮定すると、左耳聴音デバイスおよび右耳聴音デバイスの目標話者信号は、対称性によりほぼ等しい。この場合には、目標等化は省略してもよく、以下の仮定がなされる。
L,EQ(k,n)≒y(k,n)かつyR,EQ(k,n)≒y(k,n)
ANCは、サブバンドNLMSアルゴリズムを用いて実施される。ANCの目的は、EMIC信号zcalibにおけるノイズを推定し、除去することである。その結果、強調されたEMIC信号を生じる。ANCの入力のうちの1つは、nBM、すなわちnBMの現在および過去のLANC−1の値を含む長さLANCのベクトルである。因果的な遅延Dをzcalibに導入して、システムが必ず因果的であるようにする。
d(k,n)=zcalib(k,n−D)
式中、d(k,n)は、NLMSへの一次入力である。
enh(k,n)=e(k,n)=d(k,n)−hANC(k,n)BM(k,n)
また、フィルタ係数ベクトルhANC(k,n)は、以下のようになる。
Figure 0006479211
式中、μ(k)は、NLMSステップサイズである。正則化係数δ(k)は、較正後のEMICマイクロホンノイズの平均パワーをPz(k)、定数スカラーをαとすると、δ(k)=αPz(k)によって計算される。α=1.5が、上記計算中にゼロ除算を回避するのに十分であることが分かった。
BMにおける目標音声漏出による目標信号のキャンセルを防止するために、NLMSフィルタは、目標音声活動が存在しない間にのみ適応されるように制御される。目標音声活動は、比較デバイス21(図4参照)において、以下の、閾値Tに対するパワー比を比較することによって決定される。パワー比は、加算平均パワーに対するHA信号の差分平均パワーを考慮する。
Figure 0006479211
目標音声の活動時には、上記式中の比の分子は分母よりも小さい。これは、HAペア間の目標信号成分の等化に起因し、それにより、減算が目標信号のキャンセルにつながる。干渉源によって点源として生成されるノイズ成分は無相関であり、キャンセルされることがない。ノイズ成分の差分対加算のパワーは、大体同じになる。上記の数式における比が所定の閾値Tよりも小さい場合、目標活動が存在する。
別個の音声およびノイズ録音を使用して、ノイズ低減アルゴリズムを評価するHagerman法を用いて、GSC処理の音声およびノイズに及ぼす効果を別々に評価する。目標音声とノイズを区別するために、目標音声信号およびノイズ信号は、sとnの添字でそれぞれ表示される。s(k,n)が目標音声信号のベクトルを表示し、n(k,n)が、ノイズ信号のベクトルを表示すると仮定すると、s(k,n)=[yL,s(k,n),yR,s(k,n),z(k,n)]およびn(k,n)=[yL,n(k,n),yR,n(k,n),z(k,n)]である。次に、GSC処理が行われる入力信号ain(k,n)=s(k,n)+n(k,n)、およびbin(k,n)=s(k,n)−n(k,n)の2つのベクトルを定義する。その結果得られた処理済の出力は、aout(k,n)およびbout(k,n)によってそれぞれ表示されている。GSC処理の出力は、図3に示されるような強調されたEMIC信号である。処理済の目標音声信号は、zenh,s(k,n)=0.5(aout(k,n)+bout(k,n))を用いて推定され、また処理済のノイズ信号は、zenh,n(k,n)=0.5(aout(k,n)−bout(k,n))を用いて推定される。図2における構成に従って、GSC法は、様々な後ろ方向のノイズシナリオにおいて試験される。別々に処理された信号、zenh,s(k,n)およびzenh,n(k,n)を用いて、GSCにより強調された信号、およびマイクロホンの生信号のSNRの真値がデシベルで計算され、それらが以下の表1にまとめられている。セグメントSNRは、30msのブロックサイズおよび50%のオーバーラップを用いて、時間領域において計算される。
Figure 0006479211
較正された外部マイクロホン信号のSNRをHAペアと比較すれば、EMICが、大幅に向上したSNRを提供していることが明らかである。GSC処理がなければ、EMICの戦略的な配置により、良聴耳のCICマイクロホンの生信号と比較して、平均で少なくとも5dBのSNRの向上が得られた。GSC処理の結果、ノイズ干渉源が135°または225°に位置しているときに、平均で少なくとも2dBのさらなる強調に結びついている。
SNRに加えて、さらに音声歪みおよびノイズ低減を時間領域において評価して、GSC処理により生じた音声変形およびノイズ低減の程度を定量化する。音声歪みPs_distは、GSC処理に先立つdの目標音声信号であるdと、N個のサンプルのM個のフレームにわたる強調された信号zenh,sとを比較することによって推定される。Nは、30msのサンプルに対応するように選択され、またフレームは、50%のオーバーラップを有する。用いる数式は以下のとおりである。
Figure 0006479211
ノイズ低減は、次式を用いて推定される。
Figure 0006479211
式中、dは、dにおけるノイズ信号を示す。これらの測定値はデシベルで表され、表1にも示されている。
高いSNRを活用する戦略的な位置に配置された場合には、外部マイクロホンは、有用な聴音デバイスの付属品であることが証明されている。単一マイクロホン式両耳聴音デバイスが、後ろ方向からのノイズを減衰できないことに対処して、本発明は、身体遮蔽効果による後方干渉源の減衰をもたらす。提示されたGSCノイズ低減スキームは、最小の音声歪みでSNR向上のためのEMIC信号のさらなる強調を提供する。
1 聴音装置
2 第1の左耳聴音デバイス
3 第2の右耳聴音デバイス
4 第1の左耳マイクロホン
5 第2の右耳マイクロホン
6 両耳聴音デバイス
7 聴音デバイスのユーザ
8 前方の話者
9 干渉話者
10 外部デバイス
11 第3の外部マイクロホン
12 減衰域
14 信号処理部
15 較正部
16 等化部
17 適応型ノイズキャンセラ部
18 ブロッキング行列
19 適応型ノイズキャンセラ
20 目標等化部
21 比較デバイス

Claims (9)

  1. 聴音装置(1)であって、
    第1のマイクロホン信号(y)および第2のマイクロホン信号(y)をそれぞれ生成する第1のマイクロホン(4)および第2のマイクロホン(5)であって、第1の聴音デバイス(2)および第2の聴音デバイス(3)のうちの少なくとも1つに配置されている前記第1のマイクロホン(4)および前記第2のマイクロホン(5)のうちの少なくとも1つと、
    第3のマイクロホン信号(z)を生成する第3のマイクロホン(11)であって、外部デバイス(10)に配置されている前記第3のマイクロホン(11)と、
    信号処理部(14)と
    を備え、
    前記信号処理部(14)において、前記第3のマイクロホン信号(z)と、前記第1のマイクロホン信号(y)および前記第2のマイクロホン信号(y)のうちの少なくとも1つとが一緒に処理されることにより、前記第1のマイクロホン信号(y)および/または前記第2のマイクロホン信号(y)と比較して、信号対ノイズ比が向上した出力信号(zenh)を生成し、
    前記信号処理部(14)が、適応型ノイズキャンセラ部(17)であって、前記出力信号(z enh )を得るために、前記第3のマイクロホン信号(z)と、前記第1のマイクロホン信号(y )および前記第2のマイクロホン信号(y )のうちの少なくとも1つとが供給され、さらに合成される適応型ノイズキャンセラ部(17)を備え、
    前記適応型ノイズキャンセラ部(17)が比較デバイス(21)をさらに備え、前記比較デバイス(21)において、目標音声検出のために、前記第1のマイクロホン信号(y )および前記第2のマイクロホン信号(y )が比較され、特に、前記適応型ノイズキャンセラ部(17)が、目標音声活動が存在しない間にのみ適応されるように、前記適応型ノイズキャンセラ部(17)を制御するための制御信号(spVAD)を生成する聴音装置(1)。
  2. 前記外部デバイス(10)が、モバイルデバイス、スマートフォン、音響センサ、および音響センサネットワークの一部である音響センサ素子のうちの1つである、請求項1に記載の聴音装置(1)。
  3. 音響出力信号を生成するために、前記出力信号(zenh)が、前記第1の聴音デバイス(2)および前記第2の聴音デバイス(3)のうちの少なくとも1つの出力カプラ(16)に結合されている、請求項1または2に記載の聴音装置(1)。
  4. 前記第1の聴音デバイス(2)および前記第2の聴音デバイス(3)がそれぞれ、挿耳型聴音デバイスとして、特に完全外耳道挿入型聴音デバイスとして具体化されている、請求項1〜3のいずれか一項に記載の聴音装置(1)。
  5. 前記第1の聴音デバイス(2)が、前記第1のマイクロホン(4)を備え、前記第2の聴音デバイス(3)が、前記第2のマイクロホン(5)を備える、請求項1〜4のいずれか一項に記載の聴音装置(1)。
  6. 前記適応型ノイズキャンセラ部(17)において、前記第1のマイクロホン信号(y)および前記第2のマイクロホン信号(y)のうちの少なくとも1つが前処理されてノイズ参照信号(nEM)を生成し、前記第3のマイクロホン信号(z)が、前記ノイズ参照信号(nEM)と合成されて前記出力信号(zenh)を得る、請求項に記載の聴音装置(1)。
  7. 前記適応型ノイズキャンセラ部(17)において、前記第1のマイクロホン信号(y)および前記第2のマイクロホン信号(y)が合成されて、前記ノイズ参照信号(nEM)を生成する、請求項に記載の聴音装置(1)。
  8. 前記適応型ノイズキャンセラ部(17)が目標等化部(20)をさらに備え、前記目標等化部(20)において、目標位置成分に関して、前記第1のマイクロホン信号(y)および前記第2のマイクロホン信号(y)が等化され、前記等化された第1のマイクロホン信号(yL,EQ)、および前記等化された第2のマイクロホン信号(yR,EQ)が合成されて、前記ノイズ参照信号(nEM)を生成する、請求項に記載の聴音装置(1)。
  9. 聴音装置(1)であって、
    第1のマイクロホン信号(y )および第2のマイクロホン信号(y )をそれぞれ生成する第1のマイクロホン(4)および第2のマイクロホン(5)であって、第1の聴音デバイス(2)および第2の聴音デバイス(3)のうちの少なくとも1つに配置されている前記第1のマイクロホン(4)および前記第2のマイクロホン(5)のうちの少なくとも1つと、
    第3のマイクロホン信号(z)を生成する第3のマイクロホン(11)であって、外部デバイス(10)に配置されている前記第3のマイクロホン(11)と、
    信号処理部(14)と
    を備え、
    前記信号処理部(14)において、前記第3のマイクロホン信号(z)と、前記第1のマイクロホン信号(y )および前記第2のマイクロホン信号(y )のうちの少なくとも1つとが一緒に処理されることにより、前記第1のマイクロホン信号(y )および/または前記第2のマイクロホン信号(y )と比較して、信号対ノイズ比が向上した出力信号(z enh )を生成し、
    前記信号処理部(14)が、適応型ノイズキャンセラ部(17)であって、前記出力信号(z enh )を得るために、前記第3のマイクロホン信号(z)と、前記第1のマイクロホン信号(y )および前記第2のマイクロホン信号(y )のうちの少なくとも1つとが供給され、さらに合成される適応型ノイズキャンセラ部(17)を備え、
    前記信号処理部(14)が、較正部(15)および/または等化部(16)をさらに備え、前記第3のマイクロホン信号(z)と、前記第1のマイクロホン信号(y)および前記第2のマイクロホン信号(y)のうちの少なくとも1つとが、群遅延を補正するために前記較正部(15)に供給され、かつ/または、レベルおよび位相を補正するために前記等化部(16)に供給され、かつ、前記補正されたマイクロホン信号が、前記適応型ノイズキャンセラ部(17)に供給される聴音装置(1)。
JP2017551306A 2015-04-02 2016-04-01 聴音装置 Active JP6479211B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15162497 2015-04-02
EP15162497.0 2015-04-02
PCT/EP2016/057271 WO2016156595A1 (en) 2015-04-02 2016-04-01 Hearing apparatus

Publications (2)

Publication Number Publication Date
JP2018521520A JP2018521520A (ja) 2018-08-02
JP6479211B2 true JP6479211B2 (ja) 2019-03-06

Family

ID=52814861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017551306A Active JP6479211B2 (ja) 2015-04-02 2016-04-01 聴音装置

Country Status (6)

Country Link
US (1) US10798494B2 (ja)
EP (1) EP3278575B1 (ja)
JP (1) JP6479211B2 (ja)
CN (1) CN107431869B (ja)
DK (1) DK3278575T3 (ja)
WO (1) WO2016156595A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450819B (zh) * 2021-05-21 2024-06-18 音科思(深圳)技术有限公司 信号处理方法及相关产品
CN113689875B (zh) * 2021-08-25 2024-02-06 湖南芯海聆半导体有限公司 一种面向数字助听器的双麦克风语音增强方法和装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10294989A (ja) * 1997-04-18 1998-11-04 Matsushita Electric Ind Co Ltd 騒音制御ヘッドセット
DE10045197C1 (de) * 2000-09-13 2002-03-07 Siemens Audiologische Technik Verfahren zum Betrieb eines Hörhilfegerätes oder Hörgerätessystems sowie Hörhilfegerät oder Hörgerätesystem
EP1627552B1 (en) * 2003-05-09 2007-12-26 Widex A/S Hearing aid system, a hearing aid and a method for processing audio signals
DE60325699D1 (de) * 2003-05-13 2009-02-26 Harman Becker Automotive Sys Verfahren und System zur adaptiven Kompensation von Mikrofonungleichheiten
CA2559844C (en) 2004-03-31 2013-05-21 Swisscom Mobile Ag Glasses frame comprising an integrated acoustic communication system for communication with a mobile radio appliance, and corresponding method
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
EP1994788B1 (en) * 2006-03-10 2014-05-07 MH Acoustics, LLC Noise-reducing directional microphone array
US8068619B2 (en) * 2006-05-09 2011-11-29 Fortemedia, Inc. Method and apparatus for noise suppression in a small array microphone system
JP4475468B2 (ja) * 2006-08-07 2010-06-09 リオン株式会社 通信聴取システム
EP2103175A1 (en) 2006-12-20 2009-09-23 Phonak AG Wireless communication system
US20100195836A1 (en) 2007-02-14 2010-08-05 Phonak Ag Wireless communication system and method
US7817808B2 (en) 2007-07-19 2010-10-19 Alon Konchitsky Dual adaptive structure for speech enhancement
EP2206361A1 (en) 2007-10-16 2010-07-14 Phonak AG Method and system for wireless hearing assistance
KR101449433B1 (ko) * 2007-11-30 2014-10-13 삼성전자주식회사 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US8223988B2 (en) * 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
EP2088802B1 (en) 2008-02-07 2013-07-10 Oticon A/S Method of estimating weighting function of audio signals in a hearing aid
DE102008046040B4 (de) 2008-09-05 2012-03-15 Siemens Medical Instruments Pte. Ltd. Verfahren zum Betrieb einer Hörvorrichtung mit Richtwirkung und zugehörige Hörvorrichtung
WO2010084769A1 (ja) * 2009-01-22 2010-07-29 パナソニック株式会社 補聴装置
WO2011098142A1 (en) 2010-02-12 2011-08-18 Phonak Ag Wireless hearing assistance system and method
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
US9053697B2 (en) * 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US8855341B2 (en) * 2010-10-25 2014-10-07 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
CN102300140B (zh) * 2011-08-10 2013-12-18 歌尔声学股份有限公司 一种通信耳机的语音增强方法及降噪通信耳机
KR101236443B1 (ko) * 2012-07-27 2013-02-25 (주)알고코리아 원격제어기능이 구비된 무선 귓속형 보청시스템 및 그 제어방법
US9071900B2 (en) 2012-08-20 2015-06-30 Nokia Technologies Oy Multi-channel recording
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9906874B2 (en) 2012-10-05 2018-02-27 Cirrus Logic, Inc. Binaural hearing system and method
US9148733B2 (en) * 2012-12-28 2015-09-29 Gn Resound A/S Hearing aid with improved localization
EP2984855B1 (en) 2013-04-09 2020-09-30 Sonova AG Method and system for providing hearing assistance to a user
CN103269465B (zh) * 2013-05-22 2016-09-07 歌尔股份有限公司 一种强噪声环境下的耳机通讯方法和一种耳机
US9036845B2 (en) 2013-05-29 2015-05-19 Gn Resound A/S External input device for a hearing aid
EP2840807A1 (en) * 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it
DK2849462T3 (en) 2013-09-17 2017-06-26 Oticon As Hearing aid device comprising an input transducer system
CN103686575B (zh) * 2013-11-28 2016-08-17 清华大学 助听装置

Also Published As

Publication number Publication date
US20180027340A1 (en) 2018-01-25
EP3278575B1 (en) 2021-06-02
CN107431869B (zh) 2020-01-14
WO2016156595A1 (en) 2016-10-06
JP2018521520A (ja) 2018-08-02
EP3278575A1 (en) 2018-02-07
US10798494B2 (en) 2020-10-06
DK3278575T3 (da) 2021-08-16
CN107431869A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
US9723422B2 (en) Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise
US9905216B2 (en) Voice sensing using multiple microphones
EP3057337B1 (en) A hearing system comprising a separate microphone unit for picking up a users own voice
US9800981B2 (en) Hearing device comprising a directional system
JP2018137735A (ja) 補聴装置との間のストリーミング通信のための方法および装置
US11134348B2 (en) Method of operating a hearing aid system and a hearing aid system
CN104254029A (zh) 一种具有麦克风的耳机
WO2019086439A1 (en) Method of operating a hearing aid system and a hearing aid system
JP6479211B2 (ja) 聴音装置
DK180745B1 (en) Procedure by a hearing aid
EP2916320A1 (en) Multi-microphone method for estimation of target and noise spectral variances
US11533555B1 (en) Wearable audio device with enhanced voice pick-up
US8625826B2 (en) Apparatus and method for background noise estimation with a binaural hearing device supply
WO2024119397A1 (zh) 开放式可穿戴声学设备及主动降噪方法
WO2024119396A1 (zh) 开放式可穿戴声学设备及其主动降噪方法
WO2024119394A1 (zh) 开放式可穿戴声学设备及主动降噪方法
EP3886463A1 (en) Method at a hearing device
CN116405818A (zh) 包括低复杂性波束形成器的听力装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6479211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250