JP2024518645A - オーディオウェアラブルデバイスのための動的シールテスト及びフィードバック - Google Patents
オーディオウェアラブルデバイスのための動的シールテスト及びフィードバック Download PDFInfo
- Publication number
- JP2024518645A JP2024518645A JP2023572194A JP2023572194A JP2024518645A JP 2024518645 A JP2024518645 A JP 2024518645A JP 2023572194 A JP2023572194 A JP 2023572194A JP 2023572194 A JP2023572194 A JP 2023572194A JP 2024518645 A JP2024518645 A JP 2024518645A
- Authority
- JP
- Japan
- Prior art keywords
- wearable device
- user
- speaker
- feedback
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title description 12
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims description 59
- 230000005236 sound signal Effects 0.000 claims description 51
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000008878 coupling Effects 0.000 claims description 23
- 238000010168 coupling process Methods 0.000 claims description 23
- 238000005859 coupling reaction Methods 0.000 claims description 23
- 210000005069 ears Anatomy 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 15
- 210000000613 ear canal Anatomy 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000013442 quality metrics Methods 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/15—Determination of the acoustic seal of ear moulds or ear tips of hearing devices
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Headphones And Earphones (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Stereophonic System (AREA)
Abstract
本開示は、ウェアラブルデバイスのフィードバックをユーザに提供するためのプロセス、方法、システム、及びデバイスを提供する。フィードバックは、ウェアラブルデバイスとユーザとの間のシール、フィット性、又は互換性のレベルを示し得る。例えば、フィードバックは、正確な測定と、ユーザによって経験されるウェアラブルデバイスのオーディオ再生性能を指示する、ユーザがウェアラブルデバイスを装着したときにシールがどれだけ良好に作成されるかに関する定量化された報告と、を提供する。これは、ユーザが、快適レベルに加えて、ウェアラブルデバイスによって達成可能な最良のオーディオ性能を送達するためのウェアラブルデバイスの構成要素(例えば、チップ、挿入部、カップなど)の最良の調整又は選択を識別することを可能にする。ウェアラブルデバイスは、イヤホン、ヘッドホン、ヘッドセット、又はユーザに物理的に接触する任意のオーディオデバイスを含んでもよい。
Description
本出願は、内容全体が、以下に完全に記載されるように参照により本明細書に組み込まれる、2021年5月21日に出願された米国特許出願第17/326,839号の優先権及び利益を主張するものである。
本開示の態様は、概して、オーディオ再生性能に関する。
任意の場所でオーディオを楽しむために、聴取者は、ノイズキャンセリング能力を有する小型化された高忠実度の応答性スピーカを望む。設計通りにオーディオ性能を完全に送達するために、そのようなスピーカは、多くの場合、聴取者の耳に挿入される(例えば、イヤホンの場合)か、又は聴取者の耳を完全に覆う(例えば、ヘッドホンの場合)。聴取者の耳の異なるサイズ及び形状に適応するために、チップ、挿入部、カップ、又は他のシール構成要素などのアクセサリが、聴取者が最も快適にフィットするものを識別することができるように供給される。しかしながら、場合によっては、快適レベルに基づいてアクセサリを選択することは、スピーカで達成可能な最良のオーディオ性能をもたらさないことがある。例えば、聴取者は、耳に対する圧迫感を回避するために緩いフィット性を好む場合があるが、そのような緩いフィット性はスピーカの性能を低下させる場合がある。現在、聴取者が、快適さと性能との間のトレードオフに関して情報に基づいた決定を行い、快適さ及び性能の両方を達成するための最良のアクセサリを識別し、又は正確な測定によってオーディオ性能を識別するために利用可能な定量化可能な測定はほとんどない。したがって、聴取者が達成可能なオーディオ性能を知るためのフィードバックをテスト及び受信するための方法、並びにこれらの方法を実装するように構成された装置及びシステムが望まれる。
本明細書で言及される全ての例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。
本開示の態様は、ウェアラブルデバイスのフィードバックをユーザに提供するための方法を提供する。本方法は、概して、ウェアラブルデバイス上のスピーカを介して、オーディオ信号を再生することを含む。方法は、ウェアラブルデバイス上のマイクロホンを使用して、オーディオ信号に関連付けられたオーディオデータを測定することを更に含む。ウェアラブルデバイスは、マイクロホンが空洞をユーザの外耳道と共有するように、ユーザによって装着されるように構成される。本方法は、ユーザの頭部の少なくとも一部に対するウェアラブルデバイスのインターフェースのシール品質に関するフィードバックをユーザに提供することを含む。フィードバックは、i)ウェアラブルデバイスがユーザに対して移動される間、ii)スピーカを介して再生されるオーディオ信号が変更される間、又はiii)ウェアラブルデバイスがユーザに対して移動され、かつスピーカを介して再生されるオーディオ信号が変更される間、継続的に提供される。
態様では、フィードバックを提供することは、視覚応答を提供することを含む。
態様では、フィードバックを提供することは、ウェアラブルデバイス上のスピーカを介してオーディオ応答を提供することを含む。
態様では、耳に対する可撓性結合要素の配置は、ユーザの耳のうちの少なくとも1つに対する可撓性結合要素の少なくとも位置又は向きを含む。場合によっては、ウェアラブルデバイス上のスピーカ及び内部マイクロホンは、ユーザの耳の内側に配置される。内部マイクロホンによって測定されたオーディオデータは、スピーカとユーザの耳との間のシールのレベルを示す低周波応答を含んでもよく、低周波応答が、振幅応答又は位相応答のうちの少なくとも1つを備える。
場合によっては、本方法は、スピーカとユーザの耳との間のシールのレベルが較正された範囲内にあるときを示すフィット品質指標を示すことを更に含む。場合によっては、方法は、フィット品質指標が閾値を上回るとき、スピーカを介して、周囲ノイズを能動的にキャンセルすることを更に含む。
態様では、本方法は、低周波応答を呼び出すために周波数変動のプロファイルに基づいてオーディオ信号を生成することを更に含む。
本開示の態様は、ウェアラブルデバイスのマイクロホンが空洞をユーザの外耳道と共有するように、ユーザによって装着されるように構成されたウェアラブルデバイスを提供する。ウェアラブルデバイスは、ユーザにオーディオ信号を再生するように構成された少なくとも1つのスピーカを含む。ウェアラブルデバイスは、少なくとも1つのスピーカに隣接するマイクロホンを含む。マイクロホンは、少なくとも1つのスピーカによって再生されるオーディオ信号に関連付けられたオーディオデータを測定するように構成される。ウェアラブルデバイスは、オーディオデータを処理して、閉ループにおいて、ユーザの耳のうちの少なくとも1つに対するウェアラブルデバイスのインターフェースのシール品質に関するフィードバックを動的に決定するように構成されたプロセッサを更に含む。フィードバックは、i)ウェアラブルデバイスがユーザに対して移動される間、ii)スピーカを介して再生されるオーディオ信号が変更される間、又はiii)ウェアラブルデバイスがユーザに対して移動され、かつスピーカを介して再生されるオーディオ信号が変更される間、継続的に提供される。プロセッサは、フィードバックをユーザに出力するように更に構成される。
態様では、ウェアラブルデバイスは、フィードバックの視覚表示をユーザに提供するように構成された視覚インジケータを更に含む。
態様では、フィードバックは、少なくとも1つのスピーカによって少なくとも再生される。
態様では、ウェアラブルデバイスの配置は、ユーザの耳のうちの少なくとも1つに対する可撓性結合要素の少なくとも位置又は向きを含む。
態様では、ウェアラブルデバイス上のスピーカ及び内部マイクロホンは、ユーザの耳の内側に配置される。場合によっては、内部マイクロホンによって測定されたオーディオデータは、スピーカとユーザの耳との間のシールのレベルを示す低周波応答を含み、低周波応答が、振幅応答又は位相応答のうちの少なくとも1つを備える。場合によっては、フィードバックは、スピーカとユーザの耳との間のシールのレベルが較正された範囲内にあるときを示すフィット品質指標を含む。
態様では、少なくとも1つのスピーカは、フィット品質指標が閾値を上回るとき、スピーカを介して、周囲ノイズを能動的にキャンセルするように更に構成される。
態様では、プロセッサは、低周波応答を呼び出すために、周波数変動のプロファイルに基づいてオーディオ信号を生成するように更に構成される。
本開示の態様は、ウェアラブルデバイスと再生デバイスとを含むシステムを提供する。ウェアラブルデバイスは、ユーザにオーディオ信号を再生するように構成された少なくとも1つのスピーカを含む。ウェアラブルデバイスは、少なくとも1つのスピーカに隣接するマイクロホンを含む。マイクロホンは、少なくとも1つのスピーカによって再生されるオーディオ信号に関連付けられたオーディオデータを測定するように構成される。ウェアラブルデバイスは、オーディオデータを処理して、閉ループにおいて、ユーザの耳のうちの少なくとも1つに対するウェアラブルデバイスのインターフェースのシール品質に関するフィードバックを動的に決定するように構成されたプロセッサを更に含む。フィードバックは、i)ウェアラブルデバイスがユーザに対して移動される間、ii)スピーカを介して再生されるオーディオ信号が変更される間、又はiii)ウェアラブルデバイスがユーザに対して移動され、かつスピーカを介して再生されるオーディオ信号が変更される間、継続的に提供される。プロセッサは、フィードバックをユーザに出力するように更に構成される。再生デバイスは、ウェアラブルデバイスと通信し、フィードバックを受信するように構成される。
態様では、再生デバイスは、オーディオ信号をウェアラブルデバイスに送信する。本概要の項に記載される特徴を含む、本開示に記載される2つ以上の特徴は、本明細書に具体的に記載されていない実装形態を形成するために組み合わされ得る。
1つ以上の実装形態の詳細が、添付図面及び以下の説明において記載される。他の特徴、目的、及び利点は、本説明及び図面から、並びに「特許請求の範囲」から明らかになるであろう。
同様の番号は、同様の要素を指す。
本開示は、ウェアラブルデバイスのフィードバックをユーザに提供するためのプロセス、方法、システム、及びデバイスを提供する。フィードバックは、ウェアラブルデバイスとユーザとの間のシール、フィット性、又は互換性のレベルを示し得る。例えば、フィードバックは、正確な測定と、ユーザによって経験されるウェアラブルデバイスのオーディオ再生性能を指示する、ユーザがウェアラブルデバイスを装着したときにシールがどれだけ良好に作成されるかに関する定量化された報告と、を提供する。これは、ユーザが、快適レベルに加えて、ウェアラブルデバイスによって達成可能な最良のオーディオ性能を送達するためのウェアラブルデバイスの構成要素(例えば、チップ、挿入部、カップなど)の最良の調整又は選択を識別することを可能にする。ウェアラブルデバイスは、イヤホン、ヘッドホン、ヘッドセット、又はユーザに物理的に接触する任意のオーディオデバイスを含んでもよい。
概して、本明細書で開示される技法は、ウェアラブルデバイス上のスピーカを介してオーディオ信号を再生することを含む。例えば、オーディオ信号は、スピーカによって生成される任意の可聴音波を含む。ウェアラブルデバイスは、スピーカに隣接する少なくとも1つの内部マイクロホンを含み、内部マイクロホンを使用して、オーディオ信号に関連付けられたオーディオデータを測定する。非常に多くの場合、内部マイクロホンは、ウェアラブルデバイスとユーザの耳とのインターフェースによって密閉された空間内に位置付けられる。したがって、内部マイクロホンによって測定されるオーディオデータは、オーディオ信号と、密閉された空間内のオーディオ信号の任意の反射又は伝搬とを含み得る。場合によっては、内部マイクロホンは、アクティブノイズキャンセリングのために使用されるマイクロホンであり得る。
オーディオデータに基づいて、ユーザの耳へのウェアラブルデバイスのインターフェースのシール品質に関するフィードバックがユーザに提供され得る。フィードバックは、視覚応答及び/又はオーディオ応答を含んでもよい。フィードバックは、スピーカのための可撓性シール結合要素(例えば、チップ、挿入部、又はカップ)の適用、又はユーザの耳に対する可撓性結合要素の配置のうちの少なくとも1つによって判定されるような、ユーザの耳に対するウェアラブルデバイスのインターフェースに基づいて、動的に変化する。可撓性結合要素の配置は、ユーザの耳に対する可撓性結合要素の位置又は向きを含んでもよい。例えば、可撓性結合要素がイヤホン用の軟質チップである場合、ユーザは、軟質チップを異なる深さレベルで耳に挿入して異なる配置を作り出し、異なるシール品質をもたらすことができる。同様に、軟質チップが非対称形状を有する場合、耳の中で軟質チップを配向する(すなわち、異なる方向に回転させ、角度を付ける)ことは、異なるシール品質をもたらす。軟質チップを異なるサイズ、形状、材料、又は他の特性を有する別のものと交換することは、同様に、異なるシール品質をもたらす。
従来、複数の可撓性結合要素がウェアラブルデバイスに設けられている。例えば、イヤホンには、異なるサイズ、形状、及び可撓性の可撓性チップが付いている。ヘッドホンは、異なる材料及びサイズなどのカップを備えている。ユーザは、多くの場合、快適度のみに基づいて、ウェアラブルデバイスと共に使用するために可撓性結合要素のうちの1つを選択する。一方、ユーザは、オーディオ又はノイズキャンセリングが予想される基準を有しておらず、したがって、シール品質を判断する根拠を有していない。本開示は、シール品質に関するフィードバックを動的に提供するための技法を提供し、したがって、ユーザが、最適化された快適性レベル及びサウンド性能を提供する可撓性チップを識別することを可能にする。例えば、連続的なフィードバックは、特定のレート(例えば、特定の期間ごとに提供されるフィードバックの数)で提供され得る。したがって、特定のフィードバックが離散的に(例えば、一度に1つ)ユーザに提示され得るとしても、そのようなフィードバックは、依然として連続フィードバックと見なされる。
本開示は、フィードバックを提供するための様々な利益を提供する。場合によっては、シール品質の単純かつ明確な表示をユーザに与えることによって、ユーザは、可撓性結合要素の選択にシール品質を考慮することができる。適切な可撓性結合要素の選択は、例えば、ユーザがより良好なフィット結合要素、特に(例えば、耳内)良好に配置されたときにシールを達成するだけでなく、顎の動き、運動などに耐性のある堅牢なシールも提供するものを選択することによって達成されるオーディオ性能を有意に改善することができる。本明細書で様々に説明される技法は、(例えば、ユーザの耳の一部など、ユーザの頭部の少なくとも一部に対するウェアラブルデバイスのインターフェースのシール品質に基づいて)シール品質に関する動的フィードバックをユーザに提供するので、ユーザがウェアラブルデバイスを異なる位置に調整するとき(すなわち、ウェアラブルデバイスがユーザに対して移動されるとき)、及び/又は異なるオーディオ信号が再生されて、異なる周波数又は異なるサウンドでシール品質を判定するとき、ユーザがシール品質に関するリアルタイムフィードバックを受信することを可能にする。例えば、これらの技術は、ユーザがイヤホンをユーザの耳に挿入するときに開始され得る。挿入を開始する前には、シールはなく、フィードバックはシールを示す。イヤホンが最初に挿入されるとき、フィードバックは、シールが改善していることを示すことができる(例えば、ウェアラブルデバイス及び/又はウェアラブルデバイスに接続されたリモートデバイスにおける視覚、聴覚、及び/又は触覚フィードバックを使用して)。ユーザが挿入を完了すると、シールは改善されるはずであり、フィードバックはそれを示す。しかしながら、ユーザがイヤホンの挿入を完了したときであっても、シールは、閾値オーディオ性能及び/又は能動/受動ノイズ低減特性を提供しない場合があり、フィードバックは、それを示すことができる。これは、イヤホンのフィット品質に関するリアルタイムフィードバックを受信しながら、イヤホンのフィット性を調整するようにユーザに促すことができる。場合によっては、イヤホンに不適切なイヤチップ及び/又は保持部材を使用しているために、フィット性が所定の閾値を超えない場合があり、したがって、本技術は、異なるイヤチップ及び/又は保持部材を試すようにユーザに指示することができる。このようにして、本技法は、シール品質についてユーザに知らせるのに役立ち、ユーザがウェアラブルデバイスのフィット性を試して、シール品質、快適性、及び安定性の間の所望のバランスを達成するのに役立つことを可能にする。これは、異なるイヤチップ、保持部材、イヤカップ、イヤクッション、イヤフックなど(違いは、例えば、サイズ、形状、及び/又は材料に基づくことができる)を有するなど、デバイスをユーザにフィットさせるための複数の構成を有するウェアラブルデバイスにとって特に有益である。なぜなら、本技法は、測定されたシール品質を使用して、ウェアラブルデバイスのための異なる構成のうちの1つ以上への切り替えを提案する(例えば、より大きい又はより小さいイヤチップを使用することを提案する)ことができるからである。
いくつかの態様では、ウェアラブルデバイスは、マルチメディア文書又はストリーム放送を再生するように動作可能なコンピューティングデバイスである再生デバイスとペアリングされ得る。ウェアラブルデバイスは、再生デバイスからオーディオストリームを受信してもよい。ウェアラブルデバイスは、ブルートゥース(登録商標)接続を介して再生デバイスとペアリングされてもよい。ウェアラブルデバイスは、スピーカ及びマイクロホンを含んでもよい。スピーカは、再生デバイスによって提供されるオーディオ再生を出力するように構成される。マイクロホンは様々な位置に配置することができ、いくつかはスピーカの近くに配置し、いくつかはユーザの声を捕捉するために配置することができる。スピーカの近くのマイクロホンは、シール品質を決定するためにフィードバックオーディオ信号をキャプチャするために使用され得る。
図1は、本開示の態様が実践されるシステム100の例を示す。示されるように、システム100は、再生デバイス120と通信可能に結合されたウェアラブルデバイス110を含む。ウェアラブルデバイス110は、イヤホンセット又はヘッドセットのいずれかとして示されている。ウェアラブルデバイス110は、各耳に1つずつ、少なくとも2つのスピーカを含む。1つのスピーカ111がヘッドセット上に示され、1つのスピーカ114がイヤホン内に示されている。再生デバイス120は、スマートフォン又はタブレットコンピュータとして示されている。
一態様では、ウェアラブルデバイス110は、スピーカ111又は114に隣接する少なくとも1つのそれぞれの内部マイクロホン112又は118を含む。例えば、内部マイクロホン112は、ウェアラブルデバイス110のイヤカップの内側に、イヤカップに対して内部スピーカの隣に位置付けられる。同様に、内部マイクロホン118は、ウェアラブルデバイス110のチップ又は挿入部の内側に位置付けられる。内部マイクロホン112又は118は、スピーカ111又は114によって再生されるオーディオ信号に関連付けられたそれぞれのオーディオデータを測定するように構成される。測定されたオーディオデータは、ウェアラブルデバイス110とユーザの耳との間のシール品質を示すように処理され得る(図2に示される例)。
例えば、ウェアラブルデバイス110がヘッドセットの形態である場合、ウェアラブルデバイス110は、ユーザの耳とスピーカ111(及び内部マイクロホン112)との間にシールを形成するために、ユーザの耳及び顔の輪郭に適合する可撓性シール113を含んでもよい。ウェアラブルデバイス110がイヤホンなどの形態である場合、ウェアラブルデバイス110は、ユーザの耳に挿入され、外耳道の開口部に対するシールを形成する、可撓性挿入部又はチップの形態のシール116を含んでもよい。これにより、スピーカ114及び内蔵マイクロホン118は、ユーザの耳内の空間に密閉される。耳のサイズ及び形状は、人口にわたって変動し得るため、単一のシールは、全てのユーザにとって理想的ではない場合がある。したがって、ユーザは様々なシール116を好む場合がある。複数のシール116がアクセサリとしてユーザに提供されるとき、ユーザは、本明細書で開示されるフィードバックの技法を使用して、例えば、ウェアラブルデバイス110によって達成可能な最良の音質を提供すると同時に、それを装着した経験に基づいて快適であるシール116を識別することができる。本技法はまた、ユーザが、シール品質又は快適性のうちの一方を他方よりも優先する挿入部/チップ及び/又はフィッティングを意図的に選択し得るように、ユーザがシール品質と知覚される快適性とのバランスをとるのを助けるために使用されてもよい。
場合によっては、ウェアラブルデバイス110は、サウンド信号中の発話信号(例えば、人間の発話信号)の存在を検出することが可能な音声区間検出(VAD)回路を含み得る。ウェアラブルデバイス110は、ノイズキャンセリング回路(図示せず)及び/又はノイズマスキング回路(図示せず)、身体移動検出デバイス/センサ及び回路(例えば、1つ以上の加速度計、1つ以上のジャイロスコープ、1つ以上の磁力計など)、地理位置回路、並びに他のサウンド処理回路が挙げられるが、これらに限定されない、1つ以上のサウンド管理能力又は他の能力を実装するように構成されたプロセッサ/処理システム及びメモリを含むハードウェア並びに回路を更に含むことができる。
一態様では、ウェアラブルデバイス110は、Bluetooth、Wi-Fi、Bluetooth低エネルギー(Bluetooth Low Energy、BLE)、他のRFベースの技法などが挙げられるが、これらに限定されない、1つ以上の無線通信方法を使用して再生デバイス120に無線で接続される。一態様では、ウェアラブルデバイス110は、オーディオデータ及び他の情報を再生デバイス120と交換するために、1つ以上のアンテナを介してデータを送信及び受信するトランシーバを含む。場合によっては、再生デバイス120は、ウェアラブルデバイス110からフィードバックを受信するように構成され、フィードバックを受信すると、ユーザに視覚フィードバックを提供してもよい。場合によっては、再生デバイス120は、フィードバックを生成するためにオーディオ信号を音波に変換するウェアラブルデバイス110にオーディオ信号を送信してもよい。
一態様では、ウェアラブルデバイス110は、再生デバイス120からオーディオデータ及び他の情報を送信及び受信することが可能な通信回路を含む。ウェアラブルデバイス110はまた、再生デバイス120からのあらゆる欠損又は欠落したデータパケットの再送信のための時間を可能にするために、到達するオーディオ信号(例えば、オーディオパケット)の少なくとも一部分をバッファリングする、レンダーバッファなどの到達するオーディオバッファを含む。例えば、ウェアラブルデバイス110が再生デバイス120からBluetooth送信を受信するとき、通信回路は、典型的には、オーディオが実際にレンダリングされ、ウェアラブルデバイス110のトランスデューサ(例えば、オーディオスピーカ)のうちの少なくとも1つにオーディオとして出力される前に、到達するオーディオデータの少なくとも一部分をレンダーバッファにバッファリングする。これは、送信中にオーディオパケットを失わせるRF衝突がある場合でも、失われたオーディオパケットが、ウェアラブルデバイス110の1つ以上の音響トランスデューサによる出力のためにウェアラブルデバイス110によってレンダリングされる必要がある前に、再生デバイス120によって再送信される時間があることを確実にするために行われる。
ウェアラブルデバイス110は、ヘッドホン又はイヤホンとして示されている。しかしながら、本明細書で説明される技法は、ユーザの耳の一方又は両方との少なくとも部分的なシールを作成するために、耳の周囲、上、中、又は付近に少なくとも部分的にフィットする任意のオーディオ出力デバイスを含む、他のウェアラブルオーディオデバイスに適用される。例えば、これは、ユーザの耳を少なくとも部分的に密閉するイヤカップを含むオーバーイヤヘッドセット又はヘッドホン、各イヤホンがユーザの耳を少なくとも部分的に密閉するイヤチップ部分を含む有線又は無線イヤホン(例えば、真に無線のイヤホン)などを含むことができる。ウェアラブルデバイス110は、スタンドアロンデバイス、固定デバイス、ヘッドホン、イヤホン(earphone)、イヤピース、ヘッドセット、ゴーグル、ヘッドバンド、イヤホン(earbud)、スポーツヘッドホン、ネックバンド、又は眼鏡を含む、任意の形態をとり得る。
一態様では、ウェアラブルデバイス110は、対応する無線接続の有無にかかわらず、有線接続を使用して再生デバイス120に接続される。再生デバイス120は、有線及び/又は無線で、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デジタルカメラ、又はウェアラブルデバイス110と接続する他の再生デバイスであり得る。示されるように、再生デバイス120は、ネットワーク130(例えば、インターネット)に接続することができ、ネットワーク上の1つ以上のサービスにアクセスすることができる。示されるように、これらのサービスは、1つ以上のクラウドサービス140を含み得る。
一態様では、再生デバイス120は、モバイルウェブブラウザ、又は再生デバイス120上で実行されるローカルソフトウェアアプリケーション若しくは「アプリ」を使用して、ネットワーク130上のクラウド140内のクラウドサーバにアクセスすることができる。一態様では、ソフトウェアアプリケーション又は「アプリ」は、再生デバイス120上で局所的にインストール及び実行されるローカルアプリケーションである。一態様では、クラウド140上でアクセス可能なクラウドサーバは、クラウドサーバ上で実行される1つ以上のクラウドアプリケーションを含む。クラウドアプリケーションは、再生デバイス120によってアクセスされ、実行され得る。例えば、クラウドアプリケーションは、再生デバイス120上のモバイルウェブブラウザによってレンダリングされるウェブページを生成することができる。
一態様では、再生デバイス120上にインストールされたモバイルソフトウェアアプリケーション、又はクラウドサーバ上にインストールされたクラウドアプリケーションは、個々に又は組み合わせて、本開示の態様による再生デバイス120とウェアラブルデバイス110との間の少ない待ち時間のBluetooth通信のための技法を実装するために使用され得る。一態様では、ローカルソフトウェアアプリケーション及びクラウドアプリケーションの例は、ゲームアプリケーション、オーディオARアプリケーション、及び/又はオーディオAR能力を有するゲームアプリケーションを含む。再生デバイス120は、ウェアラブルデバイス110から信号(例えば、データ及び制御)を受信し、ウェアラブルデバイス110に信号を送ることができる。
本明細書のいくつかの例は、スマートフォンと可撓性チップを有するイヤホンとの間の低レイテンシBluetooth(登録商標)通信について述べているが、これらの態様では、可撓性結合要素を有する任意のポータブル再生デバイス及び任意の無線オーディオ出力デバイスを互換的に使用することができる。
図2は、本開示のいくつかの態様による、スピーカ202と外耳道205との間のシール206を示す断面図200を示す。図示されるように、ウェアラブルデバイス110は、チップ208が適用されたスピーカ202を含む。ユーザは、シール206を形成するために、チップ208を外耳道205の内側に、外耳道205に対して配置してもよい。シール206の品質は、(1)チップ208のサイズ、形状、材料特性、及び他の態様、又は(2)チップ208の形状が耳の自然な形状にどれだけよく適合するか、及び(3)装着されたときの初期位置と、その位置がユーザの動き又は活動に伴ってどれだけシフトし得るかの両方を包含する、耳の中の配置、のうちの少なくとも1つに依存する。配置215は、ユーザの耳のうちの少なくとも1つに対する可撓性結合要素の位置(例えば、座標系における平行移動)及び向き(例えば、座標系における回転)を含む。
態様は主に、シール206のシール品質の動的フィードバックを提供する際の技法を説明する。シール品質は、スピーカ202、チップ208、及び外耳道205によって境界付けられた閉鎖空間に結合されたスピーカ202の音響性能に対応する。具体的には、シール品質は、スピーカから発せられる低周波サウンドが不完全なシールによってその空間から漏れる度合いを測定する。内部マイクロホン204は、チップ208と外耳道205との間に形成された密閉空間内の様々な音声波を正確に測定することができる。内部マイクロホン204によってキャプチャされたオーディオデータは、ある周波数範囲(例えば、図4に示されるように、特にシール品質に応答する低周波数範囲)における応答(例えば、少なくとも振幅応答又は位相応答)を判定するように処理されることができる。場合によっては、応答を解釈して、チップ208と外耳道205との間のシール206のレベルを示すフィット品質指標を判定してもよい。更に、このフィット品質指標は、1つ以上の較正された範囲に分割することができ、較正された範囲は、ユーザに示されて、そのチップ選択208及び配置215で期待すべき性能の程度をユーザに知らせることができる。
場合によっては、ウェアラブルデバイス110がイヤホンの代わりにヘッドセットの形態であるとき、シール206は、イヤカップ(図示せず)と耳203との間に作成されてもよいが、他の態様は同様である。
態様では、ウェアラブルデバイス110は、ディスプレイ220においてフィードバックを出力することなどによって、視覚応答としてフィードバックを提供し得る。場合によっては、フィードバックは、ウェアラブルデバイス110上のスピーカ202を通して再生されるオーディオ応答を含んでもよい。図2に示されるように、スピーカ202は、少なくとも1つのメモリ212を含むプロセッサ210に結合され得る。プロセッサ210は、ユーザが動的フィードバック生成プロセスを開始することを可能にする再生デバイス230によって制御されてもよい。ユーザはまた、再生デバイス230において、すなわち、視覚的、聴覚的、又はその両方でフィードバックを受信するための方法を制御してもよい。
場合によっては、ウェアラブルデバイス110は、図示される他の構成要素と共に、図2に明示的に示されていない他の構成要素を含んでもよい。例えば、ウェアラブルデバイス110は、スピーカ202を介してオーディオ信号を音響エネルギーに変換するための音響ドライバを含む。ウェアラブルデバイス110はまた、ネットワークインターフェース、少なくとも1つのプロセッサ、オーディオハードウェア、ウェアラブルデバイス110の様々な構成要素に電力を供給するための電源、及びメモリ212を含む。一態様では、プロセッサ210、ネットワークインターフェース、オーディオハードウェア、電源、及びメモリ212は、様々なバスを使用して相互接続され、構成要素のうちのいくつかは、共通のマザーボード上に取り付けられてもよく、又は必要に応じて他の方式で取り付けられてもよい。
ネットワークインターフェースは、1つ以上の通信プロトコルを介して、ウェアラブルデバイス110と他の電子再生デバイスとの間の通信を提供する。ネットワークインターフェースは、無線ネットワークインターフェース及び有線インターフェース231(任意選択)のいずれか又はその両方を提供する。無線インターフェースは、IEEE802.11などの無線通信プロトコルに従って、ウェアラブルデバイス110が他のデバイスと無線で通信することを可能にする。有線インターフェース231は、例えば、ウェアラブルデバイス110がユーザによって着用されていないときに使用される、信頼性及び高速転送速度のために、有線(例えば、イーサネット)接続を介してネットワークインターフェース機能を提供する。
ネットワークパケットの一部として受信された全ての他のデジタルオーディオは、ネットワークメディアプロセッサからUSBブリッジ(図示せず)を通してプロセッサ210にまっすぐ渡され、復号器、DSPに達し、最終的には電気音響トランスデューサを介して再生(レンダリング)され得る。
ネットワークインターフェースは、Bluetoothアプリケーション(例えば、スマートフォン又はタブレットなどのBluetooth対応のオーディオソースとの無線通信のための)用のBluetooth回路、又は他のBluetooth対応のスピーカパッケージを更に含み得る。いくつかの態様では、Bluetooth回路は、エネルギー制約に起因して、一次ネットワークインターフェースであり得る。例えば、ネットワークインターフェースは、ウェアラブルデバイス110が任意のウェアラブルな形態を採用するとき、モバイルアプリケーションのためだけにBluetooth回路を使用し得る。例えば、BLE技術をウェアラブルデバイス110に使用して、バッテリ寿命を延ばし、パッケージ重量を低減し、他のバックアップ又は代替的なネットワークインターフェースなしで高品質性能を提供することができる。
一態様では、ネットワークインターフェースは、一度に同時に複数の通信プロトコルを使用して他のデバイスとの通信をサポートする。例えば、ウェアラブルデバイス110は、Wi-Fi/Bluetooth共存をサポートすることができ、一度にWi-Fi及びBluetoothプロトコルの両方を使用して同時通信をサポートすることができる。例えば、ウェアラブルデバイス110は、Bluetoothを使用してスマートフォンからオーディオストリームを受信することができ、Wi-Fi上で1つ以上の他のデバイスにオーディオストリームを更に同時に再配信することができる。一態様では、ネットワークインターフェースは、一度に通信方法(例えば、Wi-Fi又はBluetooth)を1つだけ使用して通信することが可能なRFチェーンを1つだけ含み得る。本文脈中、ネットワークインターフェースは、例えば、時分割多重化(time division multiplexing、TDM)パターンに従って、Wi-FiとBluetoothとの間で単一のRFチェーンを時分割することによって、Wi-Fi通信及びBluetooth通信を同時にサポートすることができる。
ストリーミングされたデータは、ネットワークインターフェースからプロセッサ210に渡され得る。プロセッサ210は、メモリ212に記憶されている命令を含む、命令(例えば、とりわけ、デジタル信号処理、復号、及び等化機能を実施するための)を実行することができる。プロセッサ210は、別個の複数のアナログ及びデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサ210は、例えば、ユーザインターフェースの制御などの、オーディオウェアラブルデバイス110の他の構成要素の調整を提供することができる。
いくつかの態様では、メモリ212は、他のネットワーク化されたデバイスと通信するためにウェアラブルデバイス110によって使用されるプロトコル及びそのバージョンに関係するソフトウェア/ファームウェアを記憶する。例えば、ソフトウェア/ファームウェアは、ウェアラブルデバイス110がオーディオの同期再生のために他のデバイスとどのように通信するかを管理する。一態様では、ソフトウェア/ファームウェアは、制御経路管理及びオーディオ経路管理に関係する下位レベルフレームプロトコルを含む。制御経路管理に関連するプロトコルは、一般に、スピーカ間でメッセージを交換するために使用されるプロトコルを含む。オーディオ経路管理に関連したプロトコルは、一般的に、クロック同期化、オーディオ分配/フレーム同期化、オーディオデコーダ/オーディオストリームの再生のために使用されるプロトコルを含む。一態様では、メモリはまた、それぞれのメディアフォーマットのオーディオ再生のためにスピーカパッケージによってサポートされる様々なコーデックを記憶することができる。一態様では、メモリに記憶されたソフトウェア/ファームウェアは、他のネットワーク化されたスピーカパッケージとのオーディオの同期再生のためにプロセッサ210によってアクセス可能及び実行可能であり得る。
ある特定の態様では、メモリ212に記憶されたプロトコルは、例えば、Bluetoothコア仕様バージョン5.2(BT5.2)に従うBLEを含み得る。ウェアラブルデバイス110及びその中の様々な構成要素は、プロトコル及び関連付けられた仕様の態様に十分に準拠するか又はそれらを実施するために本明細書において提供される。例えば、BT5.2は、同時トランザクションをサポートする拡張属性プロトコル(enhanced attribute protocol、EATT)を含む。EATTをサポートするために、新しいL2CAPモードが定義される。このように、ウェアラブルデバイス110は、本開示において明示的に示されるか、又は考察されていない場合でも、BT5.2の仕様及び動作モードをサポートするのに十分なハードウェア並びにソフトウェア構成要素を含む。例えば、ウェアラブルデバイス110は、BT5.2において指定されるLEアイソクロナスチャネルを利用し得る。
プロセッサ210は、デジタルオーディオ信号をアナログオーディオ信号に転換するための1つ以上のデジタル/アナログ(digital-to-analog、D/A)変換器を含むオーディオハードウェアに対して、処理されたデジタルオーディオ信号を提供する。オーディオハードウェアはまた、サウンド出力のために、増幅されたアナログオーディオ信号を電気音響トランスデューサに提供する1つ以上の増幅器を含む。加えて、オーディオハードウェアは、アナログ入力信号を処理して、他のデバイス、例えば、デジタルオーディオの同期出力のための他のスピーカパッケージと共有するためのデジタルオーディオ信号を提供するための回路を含むことができる。
メモリ212は、任意の不揮発性又は非一時的メモリデバイスであり得る。メモリ212は、例えば、フラッシュメモリ及び/又は不揮発性ランダムアクセスメモリ(NVRAM)を含むことができる。いくつかの態様では、命令(例えば、ソフトウェア)は、情報担体に記憶されている。命令は、1つ以上の処理デバイス(例えば、プロセッサ210)によって実行されるとき、本明細書の他の場所で説明されたものなどの1つ以上のプロセスを実施する。命令はまた、1つ以上のコンピュータ可読媒体又は機械可読媒体(例えば、メモリ212、又はプロセッサ上のメモリ)などの1つ以上の記憶デバイスによって記憶され得る。命令は、復号を実施するための命令を含むことができ(すなわち、ソフトウェアモジュールがデジタルオーディオストリームを復号するためのオーディオコーデックを含む)、並びにデジタル信号処理及び等化を含むことができる。ある特定の態様では、メモリ212及びプロセッサ210は、データ取得及びリアルタイム処理において、内部マイクロホン204と協働し得る。
図3は、本開示の態様による、ウェアラブルデバイスによって実行され得る例示的な動作300を示す流れ図である。例えば、例示的な動作300は、ユーザに動的フィードバックを提供するために、図1及び図2のウェアラブルデバイス110によって実行されてもよい。
例示的な動作300は、302において、ウェアラブルデバイス上のスピーカを介してオーディオ信号を再生することによって開始する。304において、ウェアラブルデバイスは、ウェアラブルデバイス上のマイクロホンを使用して、オーディオ信号に関連付けられたオーディオデータを測定する。ウェアラブルデバイスは、マイクロホンが空洞をユーザの外耳道と共有するように、ユーザによって装着されるように構成される。
306において、ウェアラブルデバイスは、ユーザの頭部の少なくとも一部に対するウェアラブルデバイスのインターフェースのシール品質に関するフィードバックをユーザに提供する。フィードバックは、i)ウェアラブルデバイスがユーザに対して移動される間、ii)スピーカを介して再生されるオーディオ信号が変更される間、又はiii)その両方の間、継続的に提供される。
場合によっては、フィードバックは、ウェアラブルデバイスのための可撓性結合要素の適用又はユーザの耳のうちの少なくとも1つの中の可撓性シールチップの配置のうちの少なくとも1つによって決定されるように、オーディオデータと、ユーザの耳のうちの少なくとも1つへのウェアラブルデバイスのインターフェースと、に少なくとも部分的に基づいて動的に変化する。態様では、フィードバックは、視覚応答、オーディオ応答、又は両方を含む。例えば、視覚応答は、ウェアラブルデバイス又はウェアラブルデバイスに接続された別のデバイス(例えば、図1の再生デバイス120)のディスプレイ上に、シール品質の判定を表示することを含んでもよい。フィードバックは、優秀、適切、妥当、又は不良などの評価に関して記述的であってもよい。そのような記述的フィードバックは、オーディオ応答における異なるトーン、及び/又は視覚応答における異なる色、アイコン、若しくは文字によって表され得る。フィードバックは、スコア又は定量化された結果(例えば、振幅又は位相応答のグラフィック表現)を提供するなど、定量的であってもよい。
態様では、耳に対する可撓性結合要素の配置は、ユーザの耳のうちの少なくとも1つに対する可撓性結合要素の少なくとも位置又は向きを含む。場合によっては、ウェアラブルデバイス上のスピーカ及び内部マイクロホンは、ユーザの耳の内側に配置される。内部マイクロホンによって測定されたオーディオデータは、スピーカとユーザの耳との間のシールのレベルを示す低周波応答を含んでもよく、低周波応答が、振幅応答又は位相応答のうちの少なくとも1つを含む。場合によっては、シールのレベルを判定するために、振幅応答及び位相応答の両方が使用されてもよい。場合によっては、振幅応答及び位相応答のうちの一方を使用することができる。
場合によっては、本方法は、スピーカとユーザの耳との間のシールのレベルが、(例えば、「悪いフィット」又は「許容できるフィット」又は「良好なフィット」に対応する)ユーザに通信するために使用される1つ以上の較正された範囲のうちの1つ内にあるとき、フィット品質指標を示すことを更に含む。場合によっては、方法は、フィット品質指標が閾値を上回るとき、スピーカを介して、周囲ノイズを能動的にキャンセルすることを更に含む。
態様では、本方法は、低周波応答を呼び出すために周波数変動のプロファイルに基づいてオーディオ信号を生成することを更に含む。
態様では、内部マイクロホンによって測定されたオーディオデータは、スピーカとユーザの耳との間のシールのレベルを示す低周波応答を含む。周波数応答の例が図4に示され、以下で説明される。
図4は、本開示のいくつかの態様による、異なるシール品質に関するフィードバック又は測定値を示す例示的なグラフ400及び401を示す。例示的な実施例では、ユーザの耳とのシールを形成するイヤホン上の様々な可撓性チップを使用して、異なるシール品質が提供される。左側には、縦軸の振幅応答が、対数横軸の周波数に対してプロットされている。右側には、位相応答(縦軸)が、対数横軸の周波数に対してプロットされている。示されるように、ドライバからフィードバック(システム)マイクロホン複素応答(dB単位の大きさ、度単位の位相)への複素応答のプロットは、異なるシール品質によって生成される異なる結果を図示する。例示的な測定は、約281Hzのテスト周波数で行われる(他の周波数もフィードバックを提供するために使用されてもよい)。
良好なシールを達成することは、受動的性能及び能動的性能の両方をもたらすのに重要である。本明細書で説明されるノイズキャンセリングイヤホンは、イヤホンの軟質チップなどの可撓性結合要素を識別し、設置するのに役立つ。本開示は、サイズ又は形状が耳の形状によく適合するチップが使用され、チップを有するイヤホンが適切に位置決めされたときに、イヤホンによって達成可能なより良好な性能についてユーザが学習することを可能にする定量化されたフィードバックを提供する。図示されているように、イヤホン(例えば、様々なチップが取り付けられたノイズキャンセリングイヤホン)の低周波ドライバ-フィードバックマイクロホン応答(low-frequency driver-to-feedback-microphone response)は、シール品質によって大きく変化する。複数の記録されたデータセットの中で、4つの主要な代表線が示されている:(1)イヤホン及びそのチップが自由空気中にある(すなわち、ユーザの耳に挿入されていない)ときの下側基準線402と、(2)イヤホンのチップがブロックされたときの上側基準線404と、(3)チップが、優れたノイズキャンセリング及びオーディオ性能を可能にする、ユーザの耳との予想されるシール品質を形成するときの、代表的な良好なフィット線410と、(4)イヤホンのチップが、ユーザの耳との良好なシールを形成することができないときの事例を平均化する、代表的な不良フィット線420。
これらの4つの表現線を使用して、応答が連続線によって境界付けられたゾーン内に入るとき、異なるシール品質が示され得る。したがって、シール品質は、フィット品質指標によって表され得る。例えば、測定された応答が下側基準線402と不良フィット線420との間にある場合、不良フィット(すなわち、不良なシール品質のフィット品質指標)を示す視覚フィードバック(例えば、アイコン、色、通知など)及び/又はオーディオフィードバック(例えば、トーン、録音など)が、ウェアラブルデバイス110及び/又は再生デバイス120などにおいて提供され得る。測定された応答が、不良フィット線420と良好なフィット線410との間にあるか、又は特定の定義された公差内で良好なフィット線410に近似する場合、許容可能なフィット(すなわち、適切なシール品質のフィット品質指標)を示す視覚フィードバック及び/又はオーディオフィードバックが提供され得る。測定された応答が良好なフィット線410と上側基準線404との間にある場合、優れた適合(すなわち、良好なシール品質のフィット品質指標)を示す視覚フィードバック及び/又はオーディオフィードバックが提供され得る。
態様では、ユーザに提供される動的フィードバックは、シールの品質の明確かつ単純な聴覚的及び/又は視覚的表示を含む。フィードバックは、ユーザがイヤホン(又は別の形態のウェアラブルデバイス)をユーザの耳に対して移動させる(例えば、挿入の深さ、回転など)と、ほぼリアルタイムで更新する。視覚フィードバック表示(複数可)はまた、良好な設計意図性能の明確な指示を有し得る。場合によっては、視覚的表示は、単純なメータ又は棒グラフであり得る。聴覚フィードバックは、イヤホンに対して再生される一連のコードであってもよく、各コードは、シール品質の範囲に関連付けられる。コードのシーケンスは、解決への明確な進行を形成することができる。例えば、悪いフィットのコードは、不協和音であってもよく、又はフィット品質が向上するにつれてより多くの楽器が現れるオーケストラのように聞こえることもある。更に、サウンドにおける計測の複雑さは、サウンドの態様の繰り返し率が可能であるのと同様に変化することができる。例えば、ユーザは、良好なシールを達成する適切に選択されたチップを用いて、ゆっくりと装着し、イヤホンを良好な位置に移動させるにつれて、3つのフィット品質範囲を通してこの進行を聞く場合がある。
場合によっては、オーディオフィードバックは、マルチメディア記録(例えば、ビデオ、プレゼンテーション、又はオーディオ態様が記録された文書)からのものであってもよい。マルチメディア記録は、オーディオフィードバックが再生されるアプリケーションとして、又はアプリケーションと共に表示され得る。マルチメディア記録は、オーディオフィードバックが並行して再生されている間などに、チップの特定の操作を促すために1つ以上の視覚的合図を同時に提供することができる。
場合によっては、(例えば、再生デバイス120のアプリケーションにおいて、Bluetooth(登録商標)を介してウェアラブルデバイス110と通信する)視覚フィードバックと、ウェアラブルデバイス110におけるオーディオフィードバックとの両方の組み合わせが、ウェアラブルデバイス110の正確な性能に関してユーザに直接最も良く知らせることができる。視覚及び聴覚フィードバックは、サウンドの3段階進行に対応する1、2、又は3バー表示(セルラー信号強度メータのような)など、意味を強化するように調整され得る。
図5に、本開示のいくつかの態様による、フィット品質(FQ)の連続フィードバックを与えるための例示的な流れ図500を示す。示されるように、510において、ウェアラブルデバイスは、FQ値を0に初期化することができる。520において、現在のFQ値が測定又は識別され、2つの範囲閾値と比較されて、再生のためのサウンドループが決定される。例えば、現在のFQ値は、初期化されたFQ値を置換するためにフィードバックされ、実行サイクルごとに更新され得る。
530において、現在のFQ値が視覚的表示のためにアプリケーションに送信される。視覚的表示は、FQ値を決定するためのテストサウンドシーケンスなど、再生されているサウンド記録に一致してもよい。
540において、ウェアラブルデバイスは、48kHz(又は別の周波数)におけるドライバ及びマイクロホンデータの2048ポイントフレームを取得し得る。フレームは、ハミング窓(例えば、レイズドコサイン窓形式及び対応するスペクトル形式を有するハン窓の拡張など)に対応する。
550において、ウェアラブルデバイスは、Goertzelアルゴリズムを適用して、ドライバ信号及びマイクロホン信号の281.25Hz(第13のFFTビン)などのテスト周波数における信号を計算する。ドライバ対マイク振幅比が、対応する位相応答と共に計算される。
560において、ドライバ対マイク振幅は、空気がウェアラブルデバイス及び耳によって形成される空洞に自由に出入りすることができるときに測定される自由空気閾値と比較される。大きさが自由空気閾値未満である場合、570において、FQはゼロに割り当てられる。そうでない場合、572において、ウェアラブルデバイスは、位相からFQを計算するために線形マッピングを適用する。
580において、フレーム間FQ値変動は、ローパスフィルタ及びスルーレート限界を使用して平滑化される。590において、現在のサウンドループが完了すると、ユーザがテストを停止したかどうかを決定するためにチェックステップが実行される。例えば、ユーザは、ウェアラブルデバイス又はユーザデバイス上で動作するアプリケーションと相互作用することによって、テストを停止してもよい。テストはまた、タイマを使用して停止されてもよい。ユーザがテストを停止していない場合、テストは520にループバックすることによって継続する。ユーザがテストを停止した場合、テストシーケンスは590で終了する。
他の態様では、開示された方法は、無線イヤホン、イヤフック、又はイヤツーイヤデバイスに適用可能である。例えば、携帯電話のようなホストは、Bluetooth(登録商標)を介してバッド(例えば、右側)に接続され得、その右側のバッドは、Bluetooth(登録商標)リンクを使用して、又はNFMI若しくはNFEMIのような他の無線技術を使用して、左側のバッドに更に接続する。左側のバッドは、最初に右側のバッドと時間同期される。オーディオフレーム(モノラルに圧縮されている)は、上記の技術で説明したように、タイムスタンプ(右のバッドのタイムスタンプと同期されている)を有する左側のバッドから送信される。右バッドは、これらの符号化されたモノフレームをそれ自身のフレームと共に転送する。右バッドは、同じタイムスタンプを有する左バッドからのオーディオフレームを待たない。代わりに、右バッドは、利用可能であり、適切なパッキングを用いて送信される準備ができている任意のフレームを送信する。タイムスタンプ及びチャネル番号を使用してパケットを組み立てるのは、ホスト内の受信アプリケーションの責任である。受信アプリケーションは、それがどのように構成されるかに応じて、受信された符号化フレームのヘッダに含まれるタイムスタンプに基づいて、1つのバッドの復号されたモノチャネルと他のバッドの復号されたモノチャネルとをステレオトラックにマージすることを選択することができる。本開示は、右側バッドが、フレームを復号することなく、左側バッドからのオーディオフレームを単に転送することを可能にする。これは、真にウェアラブルデバイスにおいてバッテリ電力を節約するのに役立つ。
本開示の態様の説明は、例示の目的で上に提示されているが、本開示の態様は、開示された態様のいずれにも限定されることを意図していないことに留意され得る。説明された態様の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかであろう。
上記では、本開示において提示される態様が参照される。しかしながら、本開示の範囲は、特定の説明された態様に限定されない。本開示の態様は、完全にハードウェア態様、完全にソフトウェア態様(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又は本明細書では全て、概して「構成要素」、「回路」、「モジュール」、若しくは「システム」と称され得るソフトウェア態様とハードウェア態様とを組み合わせる態様の形態を取ることができる。更に、本開示の態様は、その上に具現化されたコンピュータ可読プログラムコードを有する1つ以上のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態を取ることができる。
1つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、又は前述のものの任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、1つ以上のワイヤを有する電気接続、ハードディスク、ランダムアクセスメモリ(random access memory、RAM)、読み取り専用メモリ(read-only memory、ROM)、消去可能プログラマブル読み取り専用メモリ(erasable programmable read-only memory、EPROM、又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(portable compact disc read-only memory、CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は前述のものの任意の好適な組み合わせが挙げられる。現在の文脈では、コンピュータ可読記憶媒体は、プログラムを含むか、又は記憶することができる任意の有形媒体であり得る。
図中のフローチャート及びブロック図は、様々な態様によるシステム、方法、及びコンピュータプログラム製品について想定される実装のアーキテクチャ、機能、並びに動作を例解する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための1つ以上の実行可能命令を含む、命令のモジュール、セグメント、又は部分に相当し得る。いくつかの代替的な実装形態では、ブロックで説明されている機能は、図に記載された順序から生じ得る。例えば、連続して示される2つのブロックは、実際には実質的に同時に実行され得るか、又は、場合によっては、ブロックは、関与する機能に依存して、逆の順序で実行され得る。ブロック図、及び/又はフローチャート例解図の各ブロック、並びに、ブロック図、及び/又はフローチャート例解図におけるブロックの組み合わせは、特定機能を実施するか、又は専用ハードウェアとコンピュータ命令との組み合わせを動作させる専用ハードウェアベースのシステムで実装することができることにも留意されたい。
130 ネットワーク
140 クラウド
210 プロセッサ
212 メモリ
220 ディスプレイ
230 再生デバイス
140 クラウド
210 プロセッサ
212 メモリ
220 ディスプレイ
230 再生デバイス
Claims (20)
- ウェアラブルデバイスのシール品質に関するフィードバックを提供するための方法であって、前記方法が、
前記ウェアラブルデバイス上のスピーカを介して、オーディオ信号を再生することと、
前記ウェアラブルデバイス上のマイクロホンを使用して、前記オーディオ信号に関連付けられたオーディオデータを測定することであって、前記ウェアラブルデバイスが、前記マイクロホンが空洞をユーザの外耳道と共有するように、前記ユーザによって装着されるように構成される、ことと、
前記ユーザの頭部の少なくとも一部に対する前記ウェアラブルデバイスのインターフェースのシール品質に関するフィードバックを前記ユーザに提供することであって、前記フィードバックが、i)前記ウェアラブルデバイスが前記ユーザに対して移動される間、ii)前記スピーカを介して再生される前記オーディオ信号が変更される間、又はiii)前記ウェアラブルデバイスが前記ユーザに対して移動され、かつ前記スピーカを介して再生される前記オーディオ信号が変更される間、継続的に提供される、ことと、
を含む、方法。 - 前記フィードバックを提供することが、前記ウェアラブルデバイスに接続されたリモートデバイスを介して、視覚応答を提供することを含む、請求項1に記載の方法。
- 前記フィードバックを提供することが、前記ウェアラブルデバイス上の前記スピーカを介してオーディオ応答を提供することを含む、請求項1に記載の方法。
- 前記ウェアラブルデバイス上の前記スピーカ及び前記マイクロホンが、前記ユーザの耳の内側に配置される、請求項1に記載の方法。
- 前記マイクロホンによって測定された前記オーディオデータが、前記スピーカと前記ユーザの耳との間のシールのレベルを示す低周波応答を備え、前記低周波応答が、振幅応答又は位相応答のうちの少なくとも1つを備える、請求項4に記載の方法。
- 前記シール品質が複数の異なる範囲のうちの1つ内にあるとき、フィット品質指標を示すことを更に含む、請求項5に記載の方法。
- 前記フィット品質指標が閾値を上回ることに応答して、前記スピーカを使用してアクティブノイズキャンセリングを開始することを更に備える、請求項6に記載の方法。
- 前記低周波応答を呼び出すために、周波数変動のプロファイルに基づいて、前記オーディオ信号を生成することを更に含む、請求項5に記載の方法。
- 前記マイクロホンが、アクティブノイズキャンセリングのために使用されるマイクロホンである、請求項1に記載の方法。
- 前記ユーザの頭部の前記少なくとも一部が、ユーザの耳を含む、請求項1に記載の方法。
- 前記フィードバックが、前記ウェアラブルデバイスのための可撓性結合要素の適用又は前記ユーザの耳の少なくとも1つに対する前記可撓性結合要素の配置のうちの少なくとも1つによって決定されるように、前記オーディオデータと、前記ユーザの耳の前記少なくとも1つに対する前記ウェアラブルデバイスの前記インターフェースと、に少なくとも部分的に基づいて動的に変化し、前記耳に対する前記可撓性結合要素の前記配置が、前記ユーザの耳の前記少なくとも1つに対する前記可撓性結合要素の少なくとも位置又は向きを含む、請求項1に記載の方法。
- ウェアラブルデバイスであって、前記ウェアラブルデバイスのマイクロホンが空洞をユーザの外耳道と共有するように、前記ユーザによって装着されるように構成された、ウェアラブルデバイスであって、前記ウェアラブルデバイスが、
オーディオ信号を前記ユーザに再生するように構成された少なくとも1つのスピーカと、
前記少なくとも1つのスピーカに隣接する前記マイクロホンであって、前記マイクロホンが、前記少なくとも1つのスピーカによって再生される前記オーディオ信号に関連付けられたオーディオデータを測定するように構成された、前記マイクロホンと、
プロセッサと、を備え、前記プロセッサが、
前記オーディオデータを処理して、閉ループにおいて、前記ユーザの耳の少なくとも1つに対する前記ウェアラブルデバイスのインターフェースのシール品質に関するフィードバックを動的に決定し、前記フィードバックが、i)前記ウェアラブルデバイスが前記ユーザに対して移動される間、ii)前記スピーカを介して再生される前記オーディオ信号が変更される間、又はiii)前記ウェアラブルデバイスが前記ユーザに対して移動され、かつ前記スピーカを介して再生される前記オーディオ信号が変更される間、継続的に提供され、
前記フィードバックを前記ユーザに出力する、ように構成された、ウェアラブルデバイス。 - 前記フィードバックの視覚表示を前記ユーザに提供するように構成された視覚インジケータを更に備える、請求項12に記載のウェアラブルデバイス。
- 前記フィードバックが、前記少なくとも1つのスピーカによって少なくとも再生される、請求項12に記載のウェアラブルデバイス。
- 前記ウェアラブルデバイスの移動が、前記ユーザの耳のうちの前記少なくとも1つに対する前記ウェアラブルデバイスの少なくとも位置又は向きを含む、請求項12に記載のウェアラブルデバイス。
- 前記ウェアラブルデバイス上の前記スピーカ及び前記マイクロホンが、前記ユーザの耳の内側に配置される、請求項15に記載のウェアラブルデバイス。
- 前記マイクロホンによって測定された前記オーディオデータが、前記スピーカと前記ユーザの耳との間のシールのレベルを示す低周波応答を備え、前記低周波応答が、振幅応答又は位相応答のうちの少なくとも1つを備える、請求項16に記載のウェアラブルデバイス。
- 前記フィードバックが、前記スピーカと前記ユーザの耳との間の前記シールの前記レベルが較正された範囲内にあるときを示すフィット品質指標を含む、請求項17に記載のウェアラブルデバイス。
- システムであって、
ウェアラブルデバイスであって、
オーディオ信号をユーザに再生するように構成された少なくとも1つのスピーカと、
前記少なくとも1つのスピーカに隣接するマイクロホンであって、前記マイクロホンが、前記少なくとも1つのスピーカによって再生される前記オーディオ信号に関連付けられたオーディオデータを測定するように構成された、マイクロホンと、
プロセッサであって、
前記オーディオデータを処理して、閉ループにおいて、前記ユーザの耳の少なくとも1つに対する前記ウェアラブルデバイスのインターフェースのシール品質に関するフィードバックを動的に決定し、前記フィードバックが、i)前記ウェアラブルデバイスが前記ユーザに対して移動される間、ii)前記スピーカを介して再生される前記オーディオ信号が変更される間、又はiii)前記ウェアラブルデバイスが前記ユーザに対して移動され、かつ前記スピーカを介して再生される前記オーディオ信号が変更される間、継続的に提供され、
前記フィードバックを前記ユーザに出力する、ように構成された、プロセッサと、を備える、ウェアラブルデバイスと、
前記ウェアラブルデバイスと通信する再生デバイスであって、前記再生デバイスが、前記フィードバックを受信するように構成された、再生デバイスと、
を備える、システム。 - 前記再生デバイスが、前記オーディオ信号を前記ウェアラブルデバイスに送信する、請求項19に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/326,839 US20220377449A1 (en) | 2021-05-21 | 2021-05-21 | Dynamic seal testing and feedback for audio wearable devices |
US17/326,839 | 2021-05-21 | ||
PCT/US2022/025681 WO2022245465A1 (en) | 2021-05-21 | 2022-04-21 | Dynamic seal testing and feedback for audio wearable devices |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024518645A true JP2024518645A (ja) | 2024-05-01 |
Family
ID=81585424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023572194A Pending JP2024518645A (ja) | 2021-05-21 | 2022-04-21 | オーディオウェアラブルデバイスのための動的シールテスト及びフィードバック |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220377449A1 (ja) |
EP (1) | EP4342191A1 (ja) |
JP (1) | JP2024518645A (ja) |
CN (1) | CN117356112A (ja) |
WO (1) | WO2022245465A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401200B2 (en) * | 2009-11-19 | 2013-03-19 | Apple Inc. | Electronic device and headset with speaker seal evaluation capabilities |
EP3646615A4 (en) * | 2017-06-26 | 2021-04-21 | Ecole de Technologie Supérieure | SYSTEM, DEVICE AND METHOD FOR EVALUATING THE FIT QUALITY OF AN EARPIECE |
US11172298B2 (en) * | 2019-07-08 | 2021-11-09 | Apple Inc. | Systems, methods, and user interfaces for headphone fit adjustment and audio output control |
DE102020117780A1 (de) * | 2019-07-08 | 2021-01-14 | Apple Inc. | Akustische erfassung der passung von in-ohr-kopfhörern |
-
2021
- 2021-05-21 US US17/326,839 patent/US20220377449A1/en active Pending
-
2022
- 2022-04-21 EP EP22722044.9A patent/EP4342191A1/en active Pending
- 2022-04-21 WO PCT/US2022/025681 patent/WO2022245465A1/en active Application Filing
- 2022-04-21 CN CN202280036318.8A patent/CN117356112A/zh active Pending
- 2022-04-21 JP JP2023572194A patent/JP2024518645A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117356112A (zh) | 2024-01-05 |
WO2022245465A1 (en) | 2022-11-24 |
EP4342191A1 (en) | 2024-03-27 |
US20220377449A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5894634B2 (ja) | 個人ごとのhrtfの決定 | |
JP5526042B2 (ja) | 音響システム及びサウンドを提供する方法 | |
EP3016410B1 (en) | Measurement device and measurement system | |
WO2013172039A1 (ja) | 測定装置、測定システム及び測定方法 | |
US20210014597A1 (en) | Acoustic detection of in-ear headphone fit | |
US20240040297A1 (en) | Acoustic detection of in-ear headphone fit | |
US20230075802A1 (en) | Capturing and synchronizing data from multiple sensors | |
CN110536200A (zh) | 用于耳屏传导可听设备的装置、系统和方法 | |
JP6147603B2 (ja) | 音声伝達装置、音声伝達方法 | |
US11456006B2 (en) | System and method for determining audio output device type | |
JP6234082B2 (ja) | 計測システム | |
US20230143588A1 (en) | Bone conduction transducers for privacy | |
JP2024518645A (ja) | オーディオウェアラブルデバイスのための動的シールテスト及びフィードバック | |
JP5502166B2 (ja) | 測定装置及び測定方法 | |
JP6243223B2 (ja) | 測定システム及び測定方法 | |
JP6250774B2 (ja) | 測定装置 | |
WO2023160286A1 (zh) | 降噪参数适配方法和装置 | |
JP2014020849A (ja) | 測定システム及び測定方法 | |
US11706555B2 (en) | Setup management for ear tip selection fitting process | |
US20230113703A1 (en) | Method and system for audio bridging with an output device | |
CN111213390B (zh) | 声音转换器 | |
JP6161555B2 (ja) | 測定装置 | |
JP6234081B2 (ja) | 測定装置 | |
JP2021153245A (ja) | 音入出力制御装置、音入出力制御方法、及びプログラム | |
TW201939968A (zh) | 耳機裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231121 |