JP7316701B2 - 補聴器 - Google Patents

補聴器 Download PDF

Info

Publication number
JP7316701B2
JP7316701B2 JP2021518591A JP2021518591A JP7316701B2 JP 7316701 B2 JP7316701 B2 JP 7316701B2 JP 2021518591 A JP2021518591 A JP 2021518591A JP 2021518591 A JP2021518591 A JP 2021518591A JP 7316701 B2 JP7316701 B2 JP 7316701B2
Authority
JP
Japan
Prior art keywords
user
microphone
hearing device
audio signal
smart hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518591A
Other languages
English (en)
Other versions
JP2022504252A (ja
Inventor
ジェウン ソン，ミュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olive Union inc
Original Assignee
Olive Union inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olive Union inc filed Critical Olive Union inc
Publication of JP2022504252A publication Critical patent/JP2022504252A/ja
Application granted granted Critical
Publication of JP7316701B2 publication Critical patent/JP7316701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/025—In the ear hearing aids [ITE] hearing aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、環境変化および騒音変化による適応型立体ヒアリングシステムおよびその方法に関し、より詳細には、一側に形成された第１スマートヒアリングデバイスおよび他側に形成された第２スマートヒアリングデバイスが受信するオーディオ信号を分析して設定される制御パラメータに基づき、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供する技術に関する。
近年の医工学技術の飛躍的な発展により、既存の補聴器では大きな効果を得ることができなかった患者が、適した補聴器を選んで装用することにより、優れた聴力改善効果を示すことが可能となった。
補聴器は、医療機器の中でも特に、身体に常に装着して使用する先端医療機器である。補聴器は、聴力の変化に合わせて継続的な管理が必要であり、湿気や耳内の異物によって損傷した部分に対してもメンテナンスを受けなければならない。したがって、補聴器は、医工学技術の中でも極めて重要な技術の１つであると言える。
従来の補聴器はラッパ型の集音器の形態であったが、現在は普通音の増幅をサポートする形態の電気補聴器が使用されている。さらに、補聴器は、乳突部に固定する形態の骨導式もあるが、ほとんどは気導式の構造であり、マイクロホンで音波を受信して電気振動に変え、これを拡大して再び音波に変換し、イヤホンを経て耳に伝えるようにする。
近年は、より優れた補聴器専用プロセッサに対する研究が進められている。補聴器専用プロセッサには従来のプロセッサに比べて２倍以上の処理速度とメモリが搭載されており、進化したナノ技術によって小型化したチップと部品とで構成されている。
しかし、従来の補聴器技術は、難聴者（以下、「使用者」とする）の聴力データを基にして設定されてはいないため、使用者の周辺騒音に対するリアルタイムデータを適用することができないという限界を抱えていた。
本発明は、使用者の右側および左側それぞれに装用される第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスを利用して、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供することを目的とする。
また、本発明は、第１スマートヒアリングデバイスに含まれた第１マイクおよび第２マイクと第２スマートヒアリングデバイスに含まれた第３マイクおよび第４マイクとによって使用者の音声信号と騒音信号を認知することにより、周辺音をより立体的に収集することを目的とする。
さらに、本発明は、分析結果に基づき、第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスの互いに異なる制御パラメータを設定することを目的とする。
本発明の実施形態に係る適応型立体ヒアリングシステムは、一側に形成された第１マイクおよび第２マイクが受信する音声信号および騒音信号を含む第１オーディオ信号を伝達し、前記第１オーディオ信号を分析した結果情報による第１制御パラメータを設定して一側の音を提供する第１スマートヒアリングデバイス、他側に形成された第３マイクおよび第４マイクが受信する音声信号および騒音信号を含む第２オーディオ信号を伝達し、前記第２オーディオ信号を分析した結果情報による第２制御パラメータを設定して他側の音を提供する第２スマートヒアリングデバイス、前記第１オーディオ信号および前記第２オーディオ信号を外部に伝達して前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスを制御するモバイルデバイス、および前記第１オーディオ信号と前記第２オーディオ信号に機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法を適用して分析された音の方向性に対する結果情報を送信する外部サーバを含む。
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者の口の近くに位置する前記第１マイクおよび前記第３マイクを含み、前記使用者の口を基準として離隔距離に位置する前記第２マイクおよび前記第４マイクを含んでよい。
前記第１マイクおよび前記第３マイクは、一側および他側で使用者の音声信号を収集し、前記第２マイクおよび前記第４マイクは、一側の騒音信号および他側の騒音信号を収集してよい。
前記第１マイクと前記第３マイク、さらに前記第２マイクと前記第４マイクそれぞれは互いにペアリングし、いずれか１つのマイクに適用された設定にしたがい、前記いずれか１つのマイクとペアリングするマイクも自動設定されてよい。
前記第１スマートヒアリングデバイスは、使用者の聴力データと前記モバイルデバイスが受信した前記結果情報に基づき、環境変化による増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の前記第１制御パラメータを設定して使用者個人にカスタマイズされた前記一側の音を提供し、前記第２スマートヒアリングデバイスは、使用者の聴力データと前記モバイルデバイスが受信した前記結果情報に基づき、環境変化による増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の前記第２制御パラメータを設定して使用者個人にカスタマイズされた前記他側の音を提供してよい。
前記第１スマートヒアリングデバイスは、前記第１マイクおよび前記第２マイクが受信するデジタル信号の前記音声信号および前記騒音信号に前記第１制御パラメータを設定して増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、前記調節された信号に対するデジタル信号をアナログ信号に変換して前記使用者に前記一側の音を提供し、前記第２スマートヒアリングデバイスは、前記第３マイクおよび前記第４マイクが受信するデジタル信号の前記音声信号および前記騒音信号に前記第２制御パラメータを設定して増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、前記調節された信号に対するデジタル信号をアナログ信号に変換して前記使用者に前記他側の音を提供してよい。
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者個人にカスタマイズされた前記一側の音および前記他側の音をそれぞれ提供し、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供してよい。
前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、使用者の左側の聴力データおよび右側の聴力データに基づき、互いに異なるパラメータ値の前記第１制御パラメータおよび前記第２制御パラメータを設定してよい。
前記モバイルデバイスは、近距離無線通信モジュールにより、前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスが受信した前記第１オーディオ信号および前記第２オーディオ信号を前記外部サーバに送信し、前記外部サーバから受信された前記結果情報を前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスに送信してよい。
前記モバイルデバイスは、使用者の選択入力にしたがい、前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれの電源のオン（Ｏｎ）／オフ（Ｏｆｆ）、信号収集、およびパラメータ設定のうちのいずれか１つ以上を制御してよい。
前記外部サーバは、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびｋ－ｍｅａｎｓ方式のうちのいずれか１つの前記機械学習技法によって前記第１オーディオ信号および前記第２オーディオ信号を分析し、環境変化または周辺騒音による音の方向性に対する前記結果情報を生成してよい。
前記第１スマートヒアリングデバイスは、使用者の音声信号を受信する前記第１マイク、使用者周辺の騒音信号を受信する前記第２マイク、前記第１マイクおよび前記第２マイクが受信した前記音声信号および前記騒音信号を含む第１オーディオ信号を送信する送信部、前記外部サーバが前記第１オーディオ信号を処理することに応答し、前記モバイルデバイスから前記結果情報を受信する受信部、および前記結果情報に基づいて前記第１制御パラメータを設定する制御部を含んでよい。
前記第２スマートヒアリングデバイスは、使用者の音声信号を受信する前記第３マイク、使用者周辺の騒音信号を受信する前記第４マイク、前記第３マイクおよび前記第４マイクが受信した前記音声信号および前記騒音信号を含む第２オーディオ信号を送信する送信部、前記外部サーバが前記第２オーディオ信号を処理することに応答し、前記モバイルデバイスから前記結果情報を受信する受信部、および前記結果情報に基づいて前記第２制御パラメータを設定する制御部を含んでよい。
本発明の実施形態に係る、環境変化および騒音によって立体的な音を提供する適応型立体ヒアリングシステム内のモバイルデバイスの動作方法は、一側に形成された第１スマートヒアリングデバイスと他側に形成された第２スマートヒアリングデバイスから音声信号および騒音信号を含む第１オーディオ信号と第２オーディオ信号を受信する段階、前記第１オーディオ信号および前記第２オーディオ信号を外部サーバに送信する段階、前記外部サーバから機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法によって分析される音の方向性に対する結果情報を受信する段階、および前記結果情報を前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスに提供する段階を含み、前記第１スマートヒアリングデバイスおよび前記第２スマートヒアリングデバイスそれぞれは、前記結果情報による第１制御パラメータおよび第２制御パラメータを設定して使用者に一側の音および他側の音を提供する。
本発明の実施形態によると、使用者の右側および左側それぞれに装用される第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスを利用して左側および右側の音の方向性による環境変化と騒音変化によるオーダーメイド補聴サービスを提供し、これによる補聴器の利便性を高めることができる。
また、本発明の実施形態によると、第１スマートヒアリングデバイスに含まれた第１マイクおよび第２マイクと第２スマートヒアリングデバイスに含まれた第３マイクおよび第４マイクによって使用者の音声信号と騒音信号を認知することにより、周辺音をより立体的に収集し、これによる適正騒音を除去することができる。
本発明の実施形態における、適応型立体ヒアリングシステムの構成を示した図である。 本発明の実施形態における、第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスの製品例を示した図である。 本発明の実施形態における、第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスの製品例を示した図である。 本発明の実施形態における、第１スマートヒアリングデバイスの詳細構成を示したブロック図である。 本発明の実施形態における、第２スマートヒアリングデバイスの詳細構成を示したブロック図である。 本発明の実施形態における、スマートヒアリングデバイスの適用例を示した図である。 本発明の実施形態における、スマートヒアリングデバイスの適用例を示した図である。 本発明の実施形態における、スマートヒアリングデバイスの適用例を示した図である。 本発明の実施形態における、第１スマートヒアリングデバイス、第２スマートヒアリングデバイス、モバイルデバイス、および外部サーバ間の動作過程を示したフローチャートである。
以下、本発明に係る実施形態について、添付の図面を参照しながら詳しく説明する。しかし、本発明は、実施形態によって制限されたり限定されたりしてはならない。また、各図面に提示した同じ参照符号は、同じ部材を示す。
また、本明細書で使用される用語（ｔｅｒｍｉｎｏｌｏｇｙ）は、本発明の好ましい実施形態を適切に表現するための用語に過ぎず、視聴者あるいは運用者の意図または本発明が属する分野の慣例などによって異なることがある。したがって、このような用語に対する定義は、本明細書の全般的な内容に基づいて下されなければならない。
本発明は、環境変化および騒音変化による適応型立体ヒアリングシステムおよびその方法に関する技術であって、使用者の左側および右側それぞれに装用される第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスを利用して、第１スマートヒアリングデバイスに含まれた第１マイクおよび第２マイクと第２スマートヒアリングデバイスに含まれた第３マイクおよび第４マイクが受信する左側の第１オーディオ信号および右側の第２オーディオ信号に対する分析結果に基づいて制御パラメータ（ｐａｒａｍｅｔｅｒ）を設定することにより、左側および右側の音の方向性による環境変化と騒音変化を使用者が立体的に認知できるように提供する。
ここで、本発明の実施形態に係るスマートヒアリングデバイスとは、聴覚能力が低い使用者が聞き取れるように増幅した音を提供する補聴器を意味する。
以下では、環境変化および騒音変化によってリアルタイムで音声信号および騒音信号の増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上を制御することにより、使用者個人向けのオーダーメイド補聴サービスを向上させる本発明の実施形態に係る適応型立体ヒアリングシステムおよびその方法について、図１～７を参照しながら詳しく説明する。
図１は、本発明の実施形態における、適応型立体ヒアリングシステムの構成を示した図である。
図１を参照すると、本発明の実施形態に係る適応型立体ヒアリングシステムは、一側に形成された第１スマートヒアリングデバイスおよび他側に形成された第２スマートヒアリングデバイスが受信するオーディオ信号を分析して設定される制御パラメータに基づき、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供する。
このために、本発明の実施形態に係る適応型立体ヒアリングシステム１００は、第１スマートヒアリングデバイス１１０、第２スマートヒアリングデバイス１２０、モバイルデバイス１３０、および外部サーバ１４０を含む。
第１スマートヒアリングデバイス１１０は、一側に形成された第１マイクおよび第２マイクが受信する音声信号および騒音信号を含む第１オーディオ信号を伝達し、第１オーディオ信号を分析した結果情報による第１制御パラメータを設定して一側の音を提供する。
第２スマートヒアリングデバイス１２０は、他側に形成された第３マイクおよび第４マイクが受信する音声信号および騒音信号を含む第２オーディオ信号を伝達し、第２オーディオ信号を分析した結果情報による第２制御パラメータを設定して他側の音を提供する。
第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、使用者の口の近くに位置する第１マイクおよび第３マイクを含み、使用者の口を基準として離隔距離に位置する第２マイクおよび第４マイクを含んでよい。このとき、第１マイクおよび第３マイクは、一側および他側で使用者の音声信号を収集し、第２マイクおよび第４マイクは、一側の騒音信号および他側の騒音信号を収集してよい。
より詳しく説明すると、第１スマートヒアリングデバイス１１０は、使用者の左耳に装着されてよく、使用者の口の近くに位置する第１マイクによって使用者の左側の音声信号を受信し、使用者の口を基準として離隔距離に位置する第２マイクによって左側の騒音信号を受信してよい。また、第２スマートヒアリングデバイス１２０は、使用者の右耳に装着されてよく、使用者の口の近くに位置する第３マイクによって使用者の右側の音声信号を受信し、使用者の口を基準として離隔距離に位置する第４マイクによって右側の騒音信号を受信してよい。
このとき、第１スマートヒアリングデバイス１１０の第１マイクと第２スマートヒアリングデバイス１２０の第３マイク、および第１スマートヒアリングデバイス１１０の第２マイクと第２スマートヒアリングデバイス１２０の第４マイクそれぞれは互いにペアリングすることを特徴とし、いずれか１つのマイクに適用された設定にしたがい、いずれか１つのマイクとペアリングするマイクも自動設定されてよい。例えば、第１制御パラメータによって第１マイクのボリュームが調節される場合、ペアリングされた第３マイクのボリュームも自動調節されてよい。また他の例として、第１スマートヒアリングデバイス１１０の第２マイクの電源がオン（ｏｎ）となる場合、ペアリングする第２スマートヒアリングデバイス１２０の第４マイク電源も自動でオン（ｏｎ）となってよい。
第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれは、使用者の左聴力データおよび右聴力データに基づき、互いに異なるパラメータ値の第１制御パラメータおよび第２制御パラメータを設定してよい。
実施例として、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれは、補聴器を使用する使用者の左側および右側に対する聴力データ（Ｐｅｒｓｏｎａｌ Ｈｅａｒｉｎｇ Ｐｒｏｆｉｌｅ）を含んでよい。例えば、使用者の左側と右側の聴力データが異なることがあるため、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれは、使用者が選好するボリューム、認知可能な特定のボリューム、特定の周波数、違和感を持たない程度の増幅値、ボリューム、および周波数の範囲を含む、使用者にカスタマイズされた聴力データを含んでよい。このとき、使用者の聴力データは、モバイルデバイス１３０および外部サーバ１４０にも記録されて維持されてよい。
ただし、前記聴力データは、増幅値、ボリューム、および周波数などの項目または数値に限定されることはない。例えば、前記聴力データは、小さな音は増幅して大きな音は増減する非線形圧縮情報、音が聞こえる方向を正確に把握する方向性情報、マイクが受信した音を増幅して雑音を除去して聞き取りやすくするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでよい。
本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、使用者の聴力データと、モバイルデバイス１３０から受信される分析された音の方向性に対する結果情報に基づき、環境変化および騒音変化による増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の第１制御パラメータおよび第２パラメータを設定することで、左側および右側のオーダーメイド補聴サービスを提供してよい。
より詳しく説明すると、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、使用者の聴力データとモバイルデバイス１３０から受信される分析された音の方向性に対する結果情報に基づき、環境変化による増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の第１制御パラメータおよび第２制御パラメータを設定することで、使用者個人にカスタマイズされた右側および左側の音を提供してよい。
実施例として、第１スマートヒアリングデバイス１１０は、第１マイクおよび第２マイクが受信するデジタル信号の音声信号および騒音信号に第１制御パラメータを設定して増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号に対するデジタル信号をアナログ信号に変換して使用者に左側の音として伝達してよい。
他の例として、第２スマートヒアリングデバイス１２０は、第３マイクおよび第４マイクが受信するデジタル信号の音声信号および騒音信号に第２制御パラメータを設定して増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号に対するデジタル信号をアナログ信号に変換して使用者に右側の音として伝達してよい。
例えば、第１マイク、第２マイク、第３マイク、および第４マイクが受信したオーディオ信号による増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上が、使用者が予め設定したか使用者が選好する基準範囲を逸脱することがある。これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、または機械的エラーの要因によることがある。これにより、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、第１制御パラメータおよび第２制御パラメータに基づいてオーディオ信号に対する増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上のバランスを調節し、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換し、音として使用者に提供する。
すなわち、本発明の実施形態に係る適応型立体ヒアリングシステム１００の第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、使用者の環境変化および騒音変化にしたがい、第１マイク、第２マイク、第３マイク、および第４マイクが受信した音声信号および騒音信号を含む第１オーディオ信号および第２オーディオ信号をモバイルデバイス１３０から外部サーバ１４０に送信し、分析結果を受信し、使用者の聴力データおよび分析結果に関する情報に基づいて第１オーディオ信号および第２オーディオ信号に対する第１制御パラメータおよび第２制御パラメータを自動で設定することにより、使用者がいちいちボリュームを調節したり周波数を調節したりしなくても、変化する状況に最適化した補聴サービスを提供することができ、補聴器の利便性を高めることができる。
また、本発明の実施形態に係る適応型立体ヒアリングシステム１００の第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれは、使用者個人向けにカスタマイズして左側の音および右側の音を提供することで、左側および右側の音の方向性による環境変化と騒音変化を立体的に認知できるように提供することができる。
モバイルデバイス１３０は、第１オーディオ信号および前記第２オーディオ信号を外部に伝達し、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０を制御する。
図１に示すように、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０とモバイルデバイス１３０は、近距離無線通信モジュールであるブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）通信によってデータを送受信してよい。例えば、モバイルデバイス１３０は、ブルートゥース通信により、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０から、音声信号および騒音信号を含む第１オーディオ信号および第２オーディオ信号を受信してよい。
この後、モバイルデバイス１３０は、Ｅｔｈｅｒｎｅｔ／３Ｇ、４Ｇ、５Ｇのような無線データ通信により、第１オーディオ信号および第２オーディオ信号を外部サーバ１４０に送信してよい。また、モバイルデバイス１３０は、無線データ通信により、外部サーバ１４０から分析結果に関する情報を受信してよく、ブルートゥース通信により、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれに分析結果情報を提供してもよい。
このとき、本発明の実施形態に係る適応型立体ヒアリングシステム１００内のモバイルデバイス１３０は、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）、ウェアラブルコンピュータ（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｅｒ）などのように使用者が所持している端末装置であって、ウェブ／モバイルサイトまたは専用アプリケーションの制御下で、サービス画面の構成、データ入力、データ送受信、データ保存などのような全般的なサービスの作動を実行してよい。また、モバイルデバイス１３０は、モバイルデバイス内にダウンロードされてインストールされたアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）を意味するものであってもよい。
実施形態によっては、モバイルデバイス１３０は、ディスプレイ部（図示せず）によって多数の領域それぞれに位置する多数のアイテムを含む画面を表示してよく、力覚（ｈａｐｔｉｃ）接触または触覚（ｔａｃｔｉｌｅ）接触によって使用者からの入力を受けるタッチ感知表面、センサまたはセンサ集合に基づいて機能に関する少なくとも１つ以上のアイテムを含むまた他の画面を表示してよい。また、モバイルデバイス１３０は、キーボード、タッチディスプレイ、ダイヤル、スライダスイッチ、ジョイスティック、マウスなどの入力部（図示せず）によって使用者の選択入力を受信してよく、オーディオモジュール、スピーカモジュール、および振動モジュールを含む出力部（図示せず）によってオーダーメイド補聴サービスに関する情報を出力してよい。
モバイルデバイス１３０は、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれと連動し、使用者の聴力をテストするための画面と、これによる各種レポートに関する情報を提供してよい。このとき、前記レポートとは、時間の経過によるオーダーメイド補聴サービスに対するヒストリー（ｈｉｓｔｏｒｙ）指標または記録を意味してよい。
また、モバイルデバイス１３０は、使用者情報と、使用者情報に対応する聴力データを含んでよく、使用者が選好する増幅値、ボリューム、および周波数などの適正範囲を数値で記録して維持してよい。さらに、モバイルデバイス１３０は、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれが受信する音声信号および騒音信号と、外部サーバ１４０が分析した分析結果に関する情報をマッチングさせてデータベース化してもよい。
また、モバイルデバイス１３０は、使用者の選択入力にしたがい、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれの電源をオン（ｏｎ）またはオフ（ｏｆｆ）してよく、外部サーバ１４０から受信した分析結果に関する情報に基づき、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０の増幅値、ボリューム、および周波数などの数値を手動で制御してもよい。
また、モバイルデバイス１３０は、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれに付与される一連番号またはデバイス情報とペアリングされ、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０のバッテリー管理、紛失管理、故障管理を実行してよい。
外部サーバ１４０は、第１オーディオ信号と第２オーディオ信号に機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法を適用して分析された音の方向性に関する結果情報を送信する。
例えば、外部サーバ１４０は、Ｅｔｈｅｒｎｅｔ／３Ｇ、４Ｇ、５Ｇのような無線データ通信によってモバイルデバイス１３０と通信してよく、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびｋ－ｍｅａｎｓ方式のうちの少なくともいずれか１つの機械学習技法によってモバイルデバイス１３０から受信した第１オーディオ信号および第２オーディオ信号を分析し、環境変化または周辺騒音による音の方向性に対する結果情報を生成してよい。
外部サーバ１４０は、機械学習技法によって第１オーディオ信号および第２オーディオ信号を分析して使用者の位置による使用環境および作業環境などの環境変化を感知し、環境変化による増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上の数値変化を感知してよい。これにより、外部サーバ１４０は、使用者の聴力データによる適正範囲から逸脱した増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上の項目および数値を取得し、取得した項目および数値に対する情報と適正範囲内への進入のための数値変動情報を含む分析結果を生成してよい。
この後、外部サーバ１４０は、分析結果に関する情報をＥｔｈｅｒｎｅｔ／３Ｇ、４Ｇ、５Ｇのような無線データ通信によってモバイルデバイス１３０に送信し、モバイルデバイス１３０は、分析結果に関する情報をブルートゥース通信によって第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれに送信してよい。
このとき、外部サーバ１４０は、使用者情報と使用者情報による聴力データ、および使用者が選好する増幅値、ボリューム、および周波数などの適正範囲を数値化して記録し、使用者情報に対応する第１スマートヒアリングデバイス１１０、第２スマートヒアリングデバイス１２０、およびモバイルデバイス１３０をマッチングさせてデータベース化することを基本とする。すなわち、外部サーバ１４０は、記録されて維持されるデータに基づいてモバイルデバイス１３０から受信したオーディオ信号を分析し、分析結果に関する情報を第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０、またはモバイルデバイス１３０に提供し、使用者情報とマッチングさせてデータベース化してよい。
実施形態によっては、外部サーバ１４０が実行する、第１オーディオ信号および第２オーディオ信号に機械学習技法を適用して音の方向性に対する結果情報を分析する過程は、モバイルデバイス１３０で実行されてもよい。このような場合、本発明の他の実施形態に係る適応型立体ヒアリングシステム１００には、第１スマートヒアリングデバイス１１０、第２スマートヒアリングデバイス１２０、およびモバイルデバイス１３０だけが含まれてよい。
図２ａおよび図２ｂは、本発明の実施形態における、第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスの製品例を示した図である。
より詳しく説明すると、図２ａは、本発明の実施形態における、第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスの前面図の一例であり、図２ｂは、本発明の実施形態における、第１スマートヒアリングデバイスおよび第２スマートヒアリングデバイスの後面図の一例である。
図２ａを参照すると、本発明の実施形態に係る第１スマートヒアリングデバイス１１０は、第１マイク１１１、第２マイク１１２、およびオン／オフスイッチ１１３を含み、第２スマートヒアリングデバイス１２０は、第３マイク１２１、第４マイク１２２、およびオン／オフスイッチ１２３を含む。第１スマートヒアリングデバイス１１０は使用者の左耳に装用され、第２スマートヒアリングデバイス１２０は使用者の右耳に装用されるように図に示しているが、スマートヒアリングデバイスが装用される位置および形態がこれに制限されることはない。
このとき、第１マイク１１１および第３マイク１２１は、主に使用者の声である音声信号を受信するために使用者の口に隣接するように位置してよく、オン／オフスイッチ１１３、１２３の下側に位置し、第２マイク１１２および第４マイク１２２に比べて相対的に使用者の口に隣接した位置にあることを特徴とする。
また、第２マイク１１２および第４マイク１２２は、主に使用者の位置による周辺騒音である騒音信号を受信するために使用者の口から可能な限り遠くに位置し、オン／オフスイッチ１１３、１２３の上側に位置し、第１マイク１１１および第３マイク１２１に比べて相対的に使用者の口から遠く離れた位置にあることを特徴とする。
さらに、第１マイク１１１および第２マイク１１２、さらに第３マイク１２１および第４マイク１２２の孔口（または、穴）の向きは同じであることを特徴とする。これは、均一な音声信号および騒音信号をそれぞれ収集し、これによる適正騒音を除去するためである。
図２ａに示すように、本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、位置が互いに異なる２つのマイク１１１、１１２と１２１、１２２を含み、ソフトウェア的に第１マイク１１１および第３マイク１２１をメインとしてセッティングし、第２マイク１１２および第４マイク１２２を２次入力ソースとして適用することで、互いに異なる音声信号および騒音信号を均一に収集してよい。
このとき、第１スマートヒアリングデバイス１１０の第１マイク１１１と第２スマートヒアリングデバイス１２０の第３マイク１２１は互いにペアリングし、第１スマートヒアリングデバイス１１０の第２マイク１１２と第２スマートヒアリングデバイス１２０の第４マイク１２２は互いにペアリングすることを特徴とし、いずれか１つのマイクに適用された設定にしたがい、いずれか１つのマイクとペアリングするマイクも自動設定されてよい。
例えば、制御パラメータによって第１マイク１１１のボリュームが一定の値までアップ（ｕｐ）した場合、ペアリングする第３マイク１２１のボリュームも一定の値まで自動でアップ（ｕｐ）調節されてよい。また他の例として、第１スマートヒアリングデバイス１１０の第２マイク１１２電源がオン（ｏｎ）となる場合、ペアリングする第２スマートヒアリングデバイス１２０の第２マイク１２２電源も自動でオン（ｏｎ）となってよい。
図２ａを参照すると、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、オン／オフスイッチ１１３、１２３を含む。オン／オフスイッチ１１３、１２３は、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０の電源をオン（ｏｎ）またはオフ（ｏｆｆ）するものである。例えば、使用者がスイッチ形態のオン／オフスイッチ１１３、１２３をタッチ、プッシュ、または長押しすれば、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、オン（ｏｎ）またはオフ（ｏｆｆ）となってよい。このとき、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０のうちの少なくともいずれか１つがオン（ｏｎ）またはオフ（ｏｆｆ）になる場合、ペアリングする他の一側のスマートヒアリングデバイスも同じようにオン（ｏｎ）またはオフ（ｏｆｆ）となってよい。
図２ｂを参照すると、本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、充電モジュール１１５、１２５およびスピーカ１１４、１２４を含む。
本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、充電式デバイスとして、充電モジュール（Ｃｈａｒｇｉｎｇ Ｔｅｒｍｉｎａｌｓ）１１５、１２５を含んでよい。
例えば、本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、充電式リチウムイオンポリマー電池（Ｌｉ－ｉｏｎ Ｐｏｌｙｍｅｒ Ｂａｔｔｅｒｙ）およびモバイル装置のバッテリーメータ（Ｂａｔｔｅｒｙ Ｍｅｔｅｒ）を含んでよく、充電モジュール１１５、１２５によってバッテリー充電がなされてよい。
また、本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、スピーカ１１４、１２４により、デジタル信号からアナログ信号（音響エネルギー）に変換された音を提供してよい。
例えば、本発明の実施形態に係る第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、第１マイク１１１、第２マイク１１２、第３マイク１２１、第４マイク１２２が収集した音声信号および騒音信号に、分析結果に関する情報による第１制御パラメータおよび第２制御パラメータを設定し、増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスが調節されたデジタル信号をアナログ信号に変換し、スピーカ１１４、１２４から使用者に音を提供してよい。
図３は、本発明の実施形態における、第１スマートヒアリングデバイスの詳細構成を示したブロック図であり、図４は、本発明の実施形態における、第２スマートヒアリングデバイスの詳細構成を示したブロック図である。
以下では、第１スマートヒアリングデバイス１１０は使用者の左耳に装用され、第２スマートヒアリングデバイス１２０は使用者の右耳に装用されるものとして説明するが、各デバイスが装用される位置および形態が制限されることはない。
図３を参照すると、本発明の実施形態に係る第１スマートヒアリングデバイスは、一側に形成された第１マイクおよび第２マイクが受信する音声信号および騒音信号を含む第１オーディオ信号を伝達し、第１オーディオ信号を分析した結果情報による第１制御パラメータを設定して一側の音を提供する。
これにより、本発明の実施形態に係る第１スマートヒアリングデバイス１１０は、第１マイク１１１、第２マイク１１２、制御部１１６、送信部１１７、および受信部１１８を含む。
第１マイク１１１は、使用者の音声信号を受信してよい。また、第２マイク１１２は、使用者周辺の騒音信号を受信してよい。
このとき、第１マイク１１１および第２マイク１１２は、使用者の口を基準として互いに異なる距離に位置する。例えば、第１マイク１１１は、使用者の口の近くに隣接するように位置し、主に使用者の声である音声信号を受信してよく、第２マイク１１２は、第１マイク１１１に比べて相対的に使用者の口から可能な限り遠くに位置し、主に周辺騒音である騒音信号を受信してよい。
また、第１マイク１１１および第２マイク１１２は、本発明の実施形態に係る第１スマートヒアリングデバイス１１０内の互いに異なる位置に含まれるが、第１マイク１１１および第２マイク１１２の孔口（または、穴）の向きは、均一な音声信号および騒音信号を収集し、これによる適正騒音を除去するために同じであることを特徴とする。ここで、前記適正騒音とは、マイクの位置で収集される音声信号および騒音信号以外の騒音および数値を意味してよい。
これにより、第１マイク１１１および第２マイク１１２は、感知した音声信号および騒音信号を電気信号に変換し、変換された信号情報を送信部１１７または制御部１１６に提供する。
送信部１１７は、第１マイク１１１および第２マイク１１２が受信した音声信号および騒音信号を含む第１オーディオ信号を送信してよい。
例えば、送信部１１７は、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ジグビー（Ｚｉｇｂｅｅ）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）のうちのいずれか１つの近距離コードレス通信モジュールにより、使用者が所持するモバイルデバイス１３０に、音声信号および騒音信号を含んだ第１オーディオ信号を伝達してよい。
受信部１１８は、外部サーバ１４０が第１オーディオ信号を処理することに応答し、モバイルデバイス１３０から結果情報を受信してよい。
例えば、受信部１１８は、外部サーバ１４０で第１オーディオ信号に対して機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法によって分析された分析結果に関する情報を、外部サーバ１４０またはモバイルデバイス１３０から受信してよい。
このとき、外部サーバ１４０は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびｋ－ｍｅａｎｓ方式のうちの少なくともいずれか１つの機械学習技法により、使用者が所持するモバイルデバイス１３０から受信した音声信号および騒音信号を含む第１オーディオ信号を分析してよい。ただし、前記機械学習技法が上述したＳＶＭまたはｋ－ｍｅａｎｓ方式に限定されてはならず、オーディオ信号を利用した機械学習が可能な技法であればすべて適用可能である。
実施形態によっては、本発明の実施形態に係る第１スマートヒアリングデバイス１１０の送信部１１７および受信部１１８は、近距離無線通信モジュールだけでなく、セルラーネットワーク、無線ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、および／またはＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）などのような無線ネットワーク、イントラネットおよび／またはワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネットのようなネットワーク、およびその他の装置と無線通信によって通信してもよい。
このような無線通信は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ）、Ｗ－ＣＤＭＡ（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＴＤＭＡ（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、および／またはＩＥＥＥ８０２．１１ｎなどの）Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ＶｏＩＰ（ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、Ｗｉ－ＭＡＸ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ジグビー（Ｚｉｇｂｅｅ）、Ｚ－ｗａｖｅ、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、ビーコン（Ｂｅａｃｏｎ）、ＩＭＡＰ（Ｉｎｔｅｒｎｅｔ Ｍｅｓｓａｇｅ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）、および／またはＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）などのような電子メール用プロトコル、ＸＭＰＰ（ｅＸｔｅｎｓｉｂｌｅ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｐｒｏｔｏｃｏｌ）、ＳＩＭＰＬＥ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｌｅｖｅｒａｇｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ）、ＩＭＰＳ（Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｓｅｒｖｉｃｅ）、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）、ＬｏＲａなどのようなインスタントメッセージング、または本願の出願日当時には未開発の通信プロトコルを含んでよい。ただし、上述した無線通信には、これらに限定されない複数の通信標準、プロトコル、および技術が使用されてよい。
制御部１１６は、結果情報に基づいて第１制御パラメータを設定してよい。
このとき、本発明の実施形態に係る第１スマートヒアリングデバイス１１０は、補聴器を使用する使用者の左聴力データ（Ｐｅｒｓｏｎａｌ Ｈｅａｒｉｎｇ Ｐｒｏｆｉｌｅ）を基本的に含んでよい。例えば、制御部１１６は、使用者が選好するボリュームおよび周波数と、違和感を持たない程度の増幅値、ボリューム、および周波数範囲を含む使用者の左聴力データを含んでよい。実施形態によっては、上述したデータは、モバイルデバイス１３０または外部サーバ１４０に記録されて維持されてもよい。
ただし、前記聴力データが増幅値、ボリューム、および周波数などの項目または数値に限定されてはならない。例えば、前記聴力データは、小さな音は増幅して大きな音は増減する非線形圧縮情報、音が聞こえる方向を正確に把握する方向性情報、マイクが受信した音を増幅して他の雑音を除去して聞き取りやすくするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでもよい。
本発明の実施形態に係る第１スマートヒアリングデバイス１１０の制御部１１６は、使用者の左聴力データと、受信部１１８によって外部サーバ１３０およびモバイルデバイス１４０のうちの少なくともいずれか１つの外部端末から受信した分析結果に関する情報に基づき、環境変化および騒音による増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の第１制御パラメータを設定してオーダーメイド補聴サービスを提供してよい。
より詳しく説明すると、制御部１１６は、第１マイク１１１および第２マイク１１２が受信するデジタル信号の音声信号および騒音信号に第１制御パラメータを設定して増幅値変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節した信号に対するデジタル信号をアナログ信号に変換して使用者に伝達してよい。
例えば、第１マイク１１１および第２マイク１１２が受信した第１オーディオ信号による増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上が、使用者が予め設定したか使用者が選好する基準範囲を逸脱することがある。これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、および機械的エラーの要因のうちのいずれか１つによって発生することがある。これにより、制御部１１６は、分析結果に関する情報に基づき、音声信号および騒音信号の増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上のバランスを調節してよく、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換し、音として使用者に提供してよい。
すなわち、本発明の実施形態に係る第１スマートヒアリングデバイス１１０は、使用者の環境変化にしたがい、第１マイク１１１および第２マイク１１２が受信した音声信号および騒音信号を含む第１オーディオ信号を外部サーバ１４０に送信し、外部端末から分析結果を受信し、使用者の聴力データおよび分析結果に関する情報に基づいて第１オーディオ信号に対する第１制御パラメータを自動で設定することにより、使用者がいちいちボリュームを調節したり周波数を調節したりしなくても、変化する状況に最適化した補聴サービスを提供することができ、補聴器使用の利便性を高めることができる。
図４を参照すると、本発明の実施形態に係る第２スマートヒアリングデバイスは、他側に形成された第３マイクおよび第４マイクが受信する音声信号および騒音信号を含む第２オーディオ信号を伝達し、第２オーディオ信号を分析した結果情報による第２制御パラメータを設定して他側の音を提供する。
これにより、本発明の実施形態に係る第２スマートヒアリングデバイス１２０は、第３マイク１２１、第４マイク１２２、制御部１２６、送信部１２７、および受信部１２８を含む。
第３マイク１２１は、使用者の音声信号を受信してよい。また、第４マイク１２２は、使用者周辺の騒音信号を受信してよい。
このとき、第３マイク１２１および第４マイク１２２は、使用者の口を基準として互いに異なる距離に位置する。例えば、第３マイク１２１は、使用者の口の近くに隣接するように位置し、主に使用者の声である音声信号を受信してよく、第４マイク１２２は、第３マイク１２１に比べて相対的に使用者の口から可能な限り遠くに位置し、主に周辺騒音である騒音信号を受信してよい。
また、第３マイク１２１および第４マイク１２２は、本発明の実施形態に係る第２スマートヒアリングデバイス１２０内の互いに異なる位置に含まれるが、第３マイク１２１および第４マイク１２２の孔口（または、穴）の向きは、均一な音声信号および騒音信号を収集し、これによる適正騒音を除去するために同じであることを特徴とする。ここで、前記適正騒音とは、マイクの位置で収集される音声信号および騒音信号以外の騒音および数値を意味してよい。
これにより、第３マイク１２１および第４マイク１２２は、感知した音声信号および騒音信号を電気信号に変換し、変換された信号情報を送信部１２７または制御部１２６に提供する。
送信部１２７は、第３マイク１２１および第４マイク１２２が受信した音声信号および騒音信号を含む第２オーディオ信号を送信してよい。
例えば、送信部１２７は、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ジグビー（Ｚｉｇｂｅｅ）、ＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗ Ｅｎｅｒｇｙ）のうちのいずれか１つの近距離無線通信モジュールにより、使用者が所持するモバイルデバイス１３０に音声信号および騒音信号を含んだ第２オーディオ信号を伝達してよい。
受信部１２８は、外部サーバ１４０が第２オーディオ信号を処理することに応答し、モバイルデバイス１３０から結果情報を受信してよい。
例えば、受信部１２８は、外部サーバ１４０で第２オーディオ信号に対して機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法によって分析された分析結果に関する情報を、外部サーバ１４０またはモバイルデバイス１３０から受信してよい。
このとき、外部サーバ１４０は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびｋ－ｍｅａｎｓ方式のうちの少なくともいずれか１つの機械学習技法により、使用者が所持するモバイルデバイス１３０から受信した音声信号および騒音信号を含む第２オーディオ信号を分析してよい。ただし、前記機械学習技法が上述したようなＳＶＭまたはｋ-ｍｅａｎｓ方式に限定されてはならず、オーディオ信号を利用した機械学習が可能な技法であればすべて適用可能である。
実施形態によっては、本発明の実施形態に係る第２スマートヒアリングデバイス１２０の送信部１２７および受信部１２８は、近距離無線通信モジュールだけでなく、セルラーネットワーク、無線ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、および／またはＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）などのような無線ネットワーク、イントラネットおよび／またはワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネットのようなネットワーク、およびその他の装置と無線通信によって通信してよい。
このような無線通信は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＥＤＧＥ（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ）、Ｗ－ＣＤＭＡ（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＴＤＭＡ（ｔｉｍｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、および／またはＩＥＥＥ８０２．１１ｎなどの）Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ＶｏＩＰ（ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）、Ｗｉ－ＭＡＸ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ジグビー（Ｚｉｇｂｅｅ）、Ｚ－ｗａｖｅ、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、ビーコン（Ｂｅａｃｏｎ）、ＩＭＡＰ（Ｉｎｔｅｒｎｅｔ Ｍｅｓｓａｇｅ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）、および／またはＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）などのような電子メール用プロトコル、ＸＭＰＰ（ｅＸｔｅｎｓｉｂｌｅ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｐｒｏｔｏｃｏｌ）、ＳＩＭＰＬＥ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｌｅｖｅｒａｇｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ）、ＩＭＰＳ（Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｓｅｒｖｉｃｅ）、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）、ＬｏＲａなどのようなインスタントメッセージング、または本願の出願日当時には未開発の通信プロトコルを含んでよい。ただし、上述したような無線通信には、これらに限定されない複数の通信標準、プロトコル、および技術が使用されてよい。
制御部１２６は、結果情報に基づいて第２制御パラメータを設定してよい。
このとき、本発明の実施形態に係る第２スマートヒアリングデバイス１２０は、補聴器を使用する使用者の右聴力データ（Ｐｅｒｓｏｎａｌ Ｈｅａｒｉｎｇ Ｐｒｏｆｉｌｅ）を基本的に含んでよい。例えば、制御部１２６は、使用者が選好するボリュームおよび周波数と、違和感を持たない程度の増幅値、ボリューム、および周波数範囲を含む使用者の右聴力データを含んでよい。実施形態によっては、上述したようなデータは、モバイルデバイス１３０または外部サーバ１４０に記録されて維持されてもよい。
ただし、前記聴力データが増幅値、ボリューム、および周波数などの項目または数値に限定されてはならない。例えば、前記聴力データは、小さな音は増幅して大きな音は増減する非線形圧縮情報、音が聞こえる方向を正確に把握する方向性情報、マイクが受信した音を増幅して他の雑音を除去して聞き取りやすくするフィードバック情報、および騒音を減らす騒音除去情報のうちの少なくともいずれか１つ以上の情報に対する使用者の選好度および数値をさらに含んでもよい。
本発明の実施形態に係る第２スマートヒアリングデバイス１２０の制御部１２６は、使用者の右聴力データと、受信部１２８によって外部サーバ１３０およびモバイルデバイス１４０のうちの少なくともいずれか１つの外部端末から受信した分析結果に関する情報に基づき、環境変化および騒音による増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上の第２制御パラメータを設定してオーダーメイド補聴サービスを提供してよい。
より詳しく説明すると、制御部１２６は、第３マイク１２１および第４マイク１２２が受信するデジタル信号の音声信号および騒音信号に第２制御パラメータを設定して増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号に対するデジタル信号をアナログ信号に変換して使用者に伝達してよい。
例えば、第３マイク１２１および第４マイク１２２が受信した第２オーディオ信号による増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上が、使用者が予め設定したか選好する基準範囲を逸脱することがある。これは、使用者が位置する環境変化による要因、使用者の音声変化による要因、および機械的エラーの要因のうちのいずれか１つによって発生することがある。これにより、制御部１２６は、分析結果に関する情報に基づき、音声信号および騒音信号の増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上のバランスを調節してよく、調節されたバランスによるデジタル信号をアナログ信号（音響エネルギー）に変換させ、音として使用者に提供してよい。
すなわち、本発明の実施形態に係る第２スマートヒアリングデバイス１２０は、使用者の環境変化にしたがい、第３マイク１２１および第４マイク１２２が受信した音声信号および騒音信号を含む第２オーディオ信号を外部サーバ１４０に送信し、外部端末から分析結果を受信し、使用者の聴力データおよび分析結果に関する情報に基づいて第２オーディオ信号に対する第２制御パラメータを自動で設定することにより、使用者がいちいちボリュームを調節したり周波数を調節したりしなくても、変化する状況に最適化した補聴サービスを提供することができ、補聴器の利便性を高めることができる。
図５、図６ａおよび図６ｂは、本発明の実施形態における、スマートヒアリングデバイスの適用例を示した図である。
より詳しく説明すると、図５は、本発明の実施形態に係るスマートヒアリングデバイスを装用した使用者を上面から見た例を示したものであり、図６ａは、本発明の実施形態に係る第１スマートヒアリングデバイスを装用した使用者を左側から見た例を示したものであり、図６ｂは、本発明の実施形態に係る第２スマートヒアリングデバイスを装用した使用者を右側から見た例を示したものである。
図５を参照すると、使用者１０は、左耳に第１スマートヒアリングデバイス１１０を装用し、右耳に第２スマートヒアリングデバイス１２０を装用している。使用者１０は、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０の両方を装用することにより、左側および右側の音の方向性による環境変化と騒音変化をより立体的に認知できるようになり、オーダーメイド補聴サービスを受けることができる。
図６ａを参照すると、本発明の実施形態に係る第１スマートヒアリングデバイス１１０は、使用者１０の左耳に装用されており、第１マイク１１１および第２マイク１１２は、使用者の口を基準として互いに異なる距離に位置する。
例えば、第１マイク１１１は、第２マイク１１２に比べて使用者の口の近くに隣接するように位置し、主に使用者の声である音声信号を受信してよい。この反面、第２マイク１１２は、第１マイク１１１に比べて使用者の口から可能な限り遠くに位置し、主に使用者の位置による周辺騒音である騒音信号を受信してよい。
このとき、図６ａに示すように、第１マイク１１１および第２マイク１１２は、オン／オフスイッチ１１３を基準として使用者の口に隣接するか、遠くに位置することを確認することができる。
第１マイク１１１および第２マイク１１２は、本発明の実施形態に係る第１スマートヒアリングデバイス１１０内の互いに異なる位置に含まれるが、第１マイク１１１および第２マイク１１２の孔口（または、穴）の向きは、均一な音声信号および騒音信号を収集し、これによる適正騒音を除去するために同じであることを特徴とする。
図６ｂを参照すると、本発明の実施形態に係る第２スマートヒアリングデバイス１２０は、使用者１０の右耳に装用されており、第３マイク１２１および第４マイク１２２は、使用者の口を基準として互いに異なる距離に位置する。
例えば、第３マイク１２１は、第４マイク１２２に比べて使用者の口の近くに隣接するように位置し、主に使用者の声である音声信号を受信してよい。この反面、第４マイク１２２は、第３マイク１２１に比べて使用者の口から可能な限り遠くに位置し、主に使用者の位置による周辺騒音である騒音信号を受信してよい。
このとき、図６ｂに示すように、第３マイク１２１および第４マイク１２２は、オン／オフスイッチ１２３を基準として使用者の口に隣接するか、遠くに位置することを確認することができる。
第３マイク１２１および第４マイク１２２は、本発明の実施形態に係る第２スマートヒアリングデバイス１２０内の互いに異なる位置に含まれるが、第３マイク１２１および第４マイク１２２の孔口（または、穴）の向きは、均一な音声信号および騒音信号を収集し、これによる適正騒音を除去するために同じであることを特徴とする。
図７は、本発明の実施形態に係る第１スマートヒアリングデバイス、第２スマートヒアリングデバイス、モバイルデバイス、および外部サーバ間の動作過程を示したフローチャートである。
図７を参照すると、段階７０１で、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、使用者の左耳および右耳にそれぞれ装用され、使用者の音声信号および周辺の騒音信号を収集してよい。
段階７０２および段階７０３で、モバイルデバイス１３０は、左側に形成された第１スマートヒアリングデバイス１１０と右側に形成された第２スマートヒアリングデバイス１２０から音声信号および騒音信号を含む第１オーディオ信号および第２オーディオ信号を受信し、第１オーディオ信号および第２オーディオ信号を外部サーバ１４０に送信する。
このとき、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、ブルートゥース通信により、モバイルデバイス１３０に第１オーディオ信号および第２オーディオ信号をそれぞれ送信してよく、モバイルデバイス１３０は、Ｅｔｈｅｒｎｅｔ／３Ｇ、４Ｇ、５Ｇのような無線データ通信により、外部サーバ１４０に第１オーディオ信号および第２オーディオ信号を送信してよい。
この後、段階７０４および段階７０５で、外部サーバ１４０は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびｋ－ｍｅａｎｓ方式のうちの少なくともいずれか１つの機械学習技法を利用してモバイルデバイス１３０から受信した第１オーディオ信号および第２オーディオ信号を分析し、分析結果に関する情報を生成してよい。
例えば、外部サーバ１４０は、機械学習技法によって第１オーディオ信号および第２オーディオ信号を分析して使用者の位置による使用環境および作業環境などの環境変化を感知し、環境変化による増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上の数値変化を感知してよい。これにより、外部サーバ１４０は、使用者の聴力データによる適正範囲を逸脱する増幅値、ボリューム、および周波数のうちの少なくともいずれか１つ以上の項目および数値を取得し、取得した項目および数値に対する情報と適正範囲内への進入のための数値変動情報を含む分析結果を生成してよい。
実施形態によっては、外部サーバ１４０で実行される段階７０４および段階７０５がモバイルデバイス１３０で実行されてもよく、モバイルデバイス１３０がＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）およびｋ－ｍｅａｎｓ方式のうちの少なくともいずれか１つの機械学習技法を利用して第１オーディオ信号および第２オーディオ信号を分析し、分析結果に関する情報を生成してもよい。
段階７０６で、モバイルデバイス１３０は、外部サーバ１４０から、機械学習技法（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）技法によって分析された音の方向性に関する結果情報を受信する。
この後、段階７０７で、モバイルデバイス１３０は、結果情報を第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０に提供する。
一実施例として、段階７０６で、モバイルデバイス１３０は、使用者の選択入力がない場合、外部サーバ１４０から受信した分析結果に関する情報を保存するか、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０に送信してよい（段階７０７）。他の実施例として、段階７０６で、モバイルデバイス１３０は、受信した分析結果に関する情報をディスプレイ部に提供し、使用者の選択入力にしたがって第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０を制御してよい（段階７０８）。
これにより、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０それぞれは、モバイルデバイス１３０から受信した結果情報による第１制御パラメータおよび第２制御パラメータを設定し、使用者に左側の音および右側の音を提供する（段階７０９）。
例えば、第１スマートヒアリングデバイス１１０および第２スマートヒアリングデバイス１２０は、受信した分析結果に関する情報に基づき、マイクが受信する第１オーディオ信号および第２オーディオ信号に第１制御パラメータおよび第２制御パラメータをそれぞれ設定して増幅値の変化、ボリューム調節、および周波数調節のうちの少なくともいずれか１つ以上のバランスを調節し、調節された信号に対するデジタル信号をアナログ信号に変換して使用者にオーダーメイド補聴サービスを提供してよい。これにより、使用者は、第１スマートヒアリングデバイス１１０から出力される左側の音と第２スマートヒアリングデバイス１２０から出力される右側の音により、環境変化、騒音変化、および音声変化をより立体的に認知することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク（登録商標）、磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (4)

  1. それぞれ使用者の左耳側に形成された第１マイクおよび第２マイクが受信する音声信号および騒音信号を含む第１オーディオ信号を伝達し、前記第１オーディオ信号の分析結果に関連する情報に対応する第１制御パラメータを設定し、前記第１制御パラメータによって前記第１オーディオ信号を調節する第１ヒアリングデバイス、および
    それぞれ前記使用者の右耳側に形成された第３マイクおよび第４マイクが受信する音声信号および騒音信号を含む第２オーディオ信号を伝達し、前記第２オーディオ信号の分析結果に関連する情報に対応する第２制御パラメータを設定し、前記第２制御パラメータによって前記第２オーディオ信号を調節する第２ヒアリングデバイス、
    を含み、
    前記第１マイクおよび前記第３マイクは、前記使用者の口の近くに位置し、前記第２マイクおよび前記第４マイクは、それぞれ前記使用者の口を基準として離隔距離に位置し、
    前記第１マイクおよび前記第３マイクは、前記使用者の前記左耳側および前記右耳側で前記使用者の音声信号を収集し、前記第２マイクおよび前記第４マイクは、前記使用者の前記左耳側および前記右耳側で騒音信号を収集し、
    前記第１マイクと前記第３マイクは互いにペアリングされ、前記第２マイクと前記第４マイクは互いにペアリングされ、いずれか１つのマイクに適用された設定にしたがい、前記いずれか１つのマイクとペアリングするマイクも自動設定される補聴器。
  2. 前記第１ヒアリングデバイスは、
    前記使用者の聴力データとモバイルデバイスから受信された前記第１オーディオ信号の分析結果に関連する情報に基づき、環境変化に対応する増幅値の変化、ボリューム調節、および周波数調節の少なくともいずれか１つ以上の前記第１制御パラメータを設定して調整された前記第１オーディオ信号を前記使用者の前記左耳に提供し、
    前記第２ヒアリングデバイスは、
    前記使用者の聴力データと前記モバイルデバイスから受信された前記第２オーディオ信号の分析結果に関連する情報に基づき、環境変化に対応する増幅値の変化、ボリューム調節、および周波数調節の少なくともいずれか１つ以上の前記第２制御パラメータを設定して調整された前記第２オーディオ信号を前記使用者の前記右耳に提供する、請求項１に記載の補聴器。
  3. 前記第１ヒアリングデバイスおよび前記第２ヒアリングデバイスのそれぞれは、
    調整された前記第１オーディオ信号を前記使用者の前記左耳に提供し、調整された前記第２オーディオ信号を前記使用者の前記右耳に提供し、前記使用者の左側および右側における音の方向性による環境変化と騒音変化を立体的に認知できるように提供することを特徴とする、請求項２に記載の補聴器。
  4. 前記第１ヒアリングデバイスおよび前記第２ヒアリングデバイスのそれぞれは、
    前記使用者の左聴力データおよび右聴力データに基づき、互いに異なるパラメータ値の前記第１制御パラメータおよび前記第２制御パラメータを設定することを特徴とする、請求項１に記載の補聴器。
JP2021518591A 2019-01-02 2019-01-03 補聴器 Active JP7316701B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190000057A KR102151433B1 (ko) 2019-01-02 2019-01-02 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법
KR10-2019-0000057 2019-01-02
PCT/KR2019/000077 WO2020141634A1 (ko) 2019-01-02 2019-01-03 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
JP2022504252A JP2022504252A (ja) 2022-01-13
JP7316701B2 true JP7316701B2 (ja) 2023-07-28

Family

ID=71407017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518591A Active JP7316701B2 (ja) 2019-01-02 2019-01-03 補聴器

Country Status (5)

Country Link
US (1) US11683651B2 (ja)
EP (1) EP3849211A4 (ja)
JP (1) JP7316701B2 (ja)
KR (1) KR102151433B1 (ja)
WO (1) WO2020141634A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220103543A (ko) * 2021-01-15 2022-07-22 삼성전자주식회사 자동 음량 제어를 수행하는 웨어러블 장치
USD989043S1 (en) * 2021-01-27 2023-06-13 New Audio LLC Earphone
USD978827S1 (en) * 2021-04-13 2023-02-21 Zongxiang Gao Neckband headphone
KR102561956B1 (ko) * 2022-10-18 2023-08-02 올리브유니온(주) 마이크가 내장된 외부 기기와 연결되는 스테레오 타입의 디지털 히어링 디바이스 및 그 동작 방법
USD1031692S1 (en) * 2022-11-29 2024-06-18 Tererazzina Robinson-Blackman Ear bud pair

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336308A (ja) 2006-06-16 2007-12-27 Rion Co Ltd 補聴装置
KR101903374B1 (ko) 2017-09-01 2018-11-22 올리브유니온(주) 환경 변화 및 소음에 따른 적응형 스마트 히어링 디바이스, 시스템 및 그 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219964B2 (en) * 2009-04-01 2015-12-22 Starkey Laboratories, Inc. Hearing assistance system with own voice detection
EP2521377A1 (en) * 2011-05-06 2012-11-07 Jacoti BVBA Personal communication device with hearing support and method for providing the same
US9364669B2 (en) * 2011-01-25 2016-06-14 The Board Of Regents Of The University Of Texas System Automated method of classifying and suppressing noise in hearing devices
KR101585793B1 (ko) 2014-09-30 2016-01-15 정금필 스마트 보청기
WO2016196838A1 (en) 2015-06-05 2016-12-08 Apple Inc. Changing companion communication device behavior based on status of wearable device
US9723415B2 (en) * 2015-06-19 2017-08-01 Gn Hearing A/S Performance based in situ optimization of hearing aids
US10409548B2 (en) * 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
US9930447B1 (en) 2016-11-09 2018-03-27 Bose Corporation Dual-use bilateral microphone array
KR20180125384A (ko) 2017-05-15 2018-11-23 한국전기연구원 음성 검출기를 구비한 보청기 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336308A (ja) 2006-06-16 2007-12-27 Rion Co Ltd 補聴装置
KR101903374B1 (ko) 2017-09-01 2018-11-22 올리브유니온(주) 환경 변화 및 소음에 따른 적응형 스마트 히어링 디바이스, 시스템 및 그 방법

Also Published As

Publication number Publication date
JP2022504252A (ja) 2022-01-13
US20210345050A1 (en) 2021-11-04
KR102151433B1 (ko) 2020-09-03
WO2020141634A1 (ko) 2020-07-09
EP3849211A4 (en) 2021-11-17
US11683651B2 (en) 2023-06-20
EP3849211A1 (en) 2021-07-14
KR20200084080A (ko) 2020-07-10

Similar Documents

Publication Publication Date Title
JP7316701B2 (ja) 補聴器
KR101903374B1 (ko) 환경 변화 및 소음에 따른 적응형 스마트 히어링 디바이스, 시스템 및 그 방법
US10674289B2 (en) Hearing aid having an adaptive classifier
US10171923B2 (en) Binaural hearing system and method
US8761421B2 (en) Portable electronic device and computer-readable medium for remote hearing aid profile storage
EP3036916B1 (en) Hearing aid having a classifier
CN106714017B (zh) 一种调整耳机声场的方法、装置、终端及耳机
CN105392096B (zh) 双耳听力系统及方法
CN107528614A (zh) 基于nfmi的同步
CN104618843A (zh) 包括头部相关传递函数数据库的双耳助听系统
KR102004460B1 (ko) 블루투스 회로와 디지털 신호 처리를 이용한 디지털 히어링 디바이스
AU2013398554A1 (en) Hearing aid having a classifier
EP3036914B1 (en) Hearing aid having a classifier for classifying auditory environments and sharing settings
US10708699B2 (en) Hearing aid with added functionality
JP2023541723A (ja) 自然語または非自然語を区分するスマートヒアリングデバイス、人工知能ヒアリングシステム、およびその方法
TWI630828B (zh) 供使用者定向交談之智慧型耳機裝置個人化系統及其使用方法
EP2107826A1 (en) A directional hearing aid system
KR102156570B1 (ko) 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법
US20180318135A1 (en) Notification service provision method for hearing-impaired person and device for executing same
CN116347314A (zh) 通信装置、终端听觉装置以及操作助听器系统的方法
CN111615036A (zh) 一种数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7316701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150