JP7843376B2 - オーディオプレチスモグラフィ較正 - Google Patents

オーディオプレチスモグラフィ較正

Info

Publication number
JP7843376B2
JP7843376B2 JP2024571923A JP2024571923A JP7843376B2 JP 7843376 B2 JP7843376 B2 JP 7843376B2 JP 2024571923 A JP2024571923 A JP 2024571923A JP 2024571923 A JP2024571923 A JP 2024571923A JP 7843376 B2 JP7843376 B2 JP 7843376B2
Authority
JP
Japan
Prior art keywords
acoustic
signal
audio
plethysmography
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024571923A
Other languages
English (en)
Other versions
JP2025519449A (ja
Inventor
ファン,シアオラン
ソームンドソン,トラウスティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2025519449A publication Critical patent/JP2025519449A/ja
Application granted granted Critical
Publication of JP7843376B2 publication Critical patent/JP7843376B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024Measuring pulse rate or heart rate
    • A61B5/02438Measuring pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6815Ear
    • A61B5/6817Ear canal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analogue processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Pulmonology (AREA)
  • Power Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Headphones And Earphones (AREA)

Description

医学及びヘルスケアの技術的な進歩により、人々はより長くより健康に暮らすことが可能になっている。これをさらに達成するために、個人が個々の健康を追跡することに関心を抱くようになっている。健康モニタリングは、身体機能のパフォーマンスの漸進的な改善を追跡することにより、特定のフィットネスの目標を実現するよう個人を奨励し得る。さらに、個人は、様々な慢性疾患が自分の身体へ及ぼす影響をモニタリングすることができる。健康モニタリングによる能動的なフィードバックにより、個人は、多くの慢性疾患を有しながら活動的で満たされた生活を送ることができ、医師の手当てを求める必要がある状況を迅速に認識することができる。
しかしながら、健康モニタリングを補助する一部のデバイスは、目立ち過ぎて不快である場合がある。そのため、デバイスが自分の動作に悪影響を与える場合、または日常的な活動を実行している際に不便性を生じさせる場合、人々は健康モニタリングを控えることを選択する場合がある。したがって、健康モニタリングデバイスは、より多くのユーザがこれらの特徴を利用することを奨励するために、信頼でき、携帯可能で、安価であることが望ましい。
オーディオプレチスモグラフィ較正を実施する技術及び装置が記載されている。
以下で説明する態様は、オーディオプレチスモグラフィ較正のための方法を含む。この方法は、少なくとも1つのスピーカ及び少なくとも1つのマイクロフォンを使用するオーディオプレチスモグラフィに適した少なくとも1つの音響周波数を特定する較正プロセスを実行することを含む。この方法はまた、ユーザの耳でオーディオプレチスモグラフィを実行するために少なくとも1つの周波数を使用することを含む。
一部の周波数は、他の周波数よりもオーディオプレチスモグラフィの感度が高くなり得る。これらの周波数は、ユーザの耳、またはその周りのデバイスによって形成される少なくとも部分的なシールの質に基づいて、経時的に変化し得る。また、これらの周波数は、外耳道の形状の違いにより、ユーザの様々な耳に応じて変わり得る。したがって、本明細書で開示されるオーディオプレチスモグラフィ較正のための技術は、オーディオプレチスモグラフィのパフォーマンスを改善する周波数を動的に選択することを可能にし得る。オーディオプレチスモグラフィ較正により、様々な耳のための様々な周波数が利用され得て、これらの周波数は、経時的に変化し得る。
較正後、ユーザの外耳道の少なくとも一部の内部を伝播する音響送信信号は、少なくとも1つのスピーカによって送信され得る。次に、少なくとも1つのマイクロフォンによって音響受信信号が受信され得、その音響受信信号は、外耳道の内部の伝播によって修正された1つまたは複数の波形特性を有する音響送信信号のバージョンを表す。ユーザの少なくとも1つの生理学的メトリックは、音響受信信号の1つまたは複数の修正された波形特性に基づいて決定され得る。例示的な波形特性には、振幅、位相、及び/または周波数が含まれる。一般に、音響受信信号は、少なくとも1つのマイクロフォンを介して受信される前に、外耳道の内部を伝播するときに、その振幅、位相、及び周波数のうちの少なくとも1つに関して影響を受ける、最初に送信された音響送信信号から生じ得る。
以下に説明される態様は、少なくとも1つのトランスデューサ及び少なくとも1つのプロセッサを含むデバイスを含む。デバイスは、説明された方法のいずれかを実行するように構成される。
以下で説明する態様はまた、オーディオプレチスモグラフィ較正を行う手段を備えたシステムを含む。
1つまたは複数の好ましい実施形態によれば、本明細書でオーディオプレチスモグラフィと呼ばれる新規の生理学的モニタリングプロセス、ユーザの外耳及び中耳で観察可能な生理学的に関連する微妙な変化を感知できる能動的な音響方法を実行することができる、イヤホンなどのヒアラブルが提供される。オーディオプレチスモグラフィをより適切に実行するために、ヒアラブルは、ユーザの外耳の中または周りに少なくとも部分的なシールを形成し得る。このシールは、シール、少なくとも1つのヒアラブル、少なくとも1つの外耳道、及び少なくとも1つの耳の少なくとも1つの鼓膜を含む音響回路の形成を可能にする。音響信号を送受信することによって、ヒアラブルは音響回路の変化を認識して、ユーザのバイオメトリックをモニタリングし、顔の挙動を認識し、及び/または環境を感知することができる。ヒアラブルは、スタンドアロンデバイスであってもよく、または眼鏡、帽子、イヤーマフ、またはヘルメットなど、別の物体もしくはデバイスの内部に統合され得る。
オーディオプレチスモグラフィ較正を促進するための装置及び技術を、以下の図面を参照して説明する。同様の特徴及び構成要素を参照するために、図面を通して同じ番号が使用される。
オーディオプレチスモグラフィを実装することができる例示的な環境を示す。 オーディオプレチスモグラフィを使用して検出することができる、外耳道における例示的な幾何学的変化を示す。 オーディオプレチスモグラフィを使用して検出することができる、外耳道における例示的なガス組成の変化を示す。 スマートデバイスの例示的な実施態様を示す。 ヒアラブルの例示的な実施態様を示す。 片耳式オーディオプレチスモグラフィを実行する2つのヒアラブルの例示的な動作を示す。 両耳式オーディオプレチスモグラフィを実行する2つのヒアラブルの例示的な共同動作を示す。 ヒアラブルのオーディオプレチスモグラフィ測定モジュールによって実装される例示的なスキームを示す。 ヒアラブルのオーディオプレチスモグラフィ較正モジュールによって実装される例示的なスキームを示す。 ヒアラブルのオーディオプレチスモグラフィ測定モジュールによって実装される別の例示的なスキームを示す。 較正段階における、例示的な混合信号及び例示的なフィルタリング済み信号のグラフを示す。 較正段階におけるフィルタリング済み信号の例示的な微分のグラフを示す。 較正段階において、微分に関連するゼロクロッシング周波数と、例示的な混合信号及びフィルタリング済み信号の振幅との間の関係を示すグラフを示す。 例示的な自己相関を示すグラフを示す。 オーディオプレチスモグラフィの態様を実行するための第1の例示的な方法を示す。 オーディオプレチスモグラフィの態様を実行するための第2の例示的な方法を示す。 オーディオプレチスモグラフィの態様を実行するための第3の例示的な方法を示す。 オーディオプレチスモグラフィを具現化するか、またはオーディオプレチスモグラフィの使用を可能にする技術が実装され得る例示的なコンピューティングシステムを示す。
医学及びヘルスケアの技術的な進歩により、人々はより長くより健康に暮らすことが可能になっている。これをさらに達成するために、個人は自分の個人的な健康を追跡することに関心をもつようになっている。健康モニタリングは、身体機能のパフォーマンスの漸進的な改善を追跡することにより、特定のフィットネスの目標を実現するよう個人を奨励し得る。さらに、個人は健康モニタリングを用いて、慢性疾患によって引き起こされる体の変化を観察することができる。健康モニタリングによる能動的なフィードバックにより、個人は、多くの慢性疾患を有しながら活動的で満たされた生活を送ることができ、医師の手当てを迅速に求める必要がある状況を認識することができる。
しかし、健康モニタリングデバイスの中には、目立ち過ぎて不快なものがあり得る。二酸化炭素のレベルを測定するために、例えば、一部のデバイスはユーザから血液試料を採取する。他のデバイスは、追加の重量、コスト、複雑さ、及び/またはかさを増加させる、光学式センサまたは電子式センサを含む補助センサを利用することがある。さらに他のデバイスは、比較的高い電力使用量のためにバッテリの継続的な再充電を必要とする場合がある。そのため、健康モニタリングデバイスが自分の動作に悪影響を与える場合、または日常的な活動を実行する際に不便性を生じさせる場合、人々は健康モニタリングを控えることを選択する場合がある。したがって、健康モニタリングデバイスは、より多くのユーザのアクセス可能性を拡大するように、信頼でき、携帯可能であり、効率的で、安価であることが望ましい。
この課題に対処し、新たな特徴を付与するために、特に既存のヒアラブルに関するオーディオプレチスモグラフィ較正を実施する技術が説明される。1つまたは複数の好ましい実施形態によれば、本明細書でオーディオプレチスモグラフィと呼ばれる新規の生理学的モニタリングプロセス、ユーザの外耳及び中耳で観察可能な生理学的に関連する微妙な変化を感知できる能動的な音響方法を実行することができる、イヤホンなどのヒアラブルが提供される。オーディオプレチスモグラフィをより適切に実行するために、ヒアラブルは、ユーザの外耳の中または周りに少なくとも部分的なシールを形成し得る。このシールは、シール、少なくとも1つのヒアラブル、少なくとも1つの外耳道、及び少なくとも1つの耳の少なくとも1つの鼓膜を含む音響回路の形成を可能にする。音響信号を送受信することによって、ヒアラブルは音響回路の変化を認識して、ユーザのバイオメトリックをモニタリングし、顔の挙動を認識し、及び/または環境を感知することができる。
一部の周波数は、他の周波数よりもオーディオプレチスモグラフィの感度が高くなり得る。これらの周波数は、特に、ユーザの耳で、またはその周りで、ヒアラブルによって形成されるシールの質に基づいて、経時的に変化し得る。また、これらの周波数は、外耳道の形状の違いにより、ユーザの様々な耳に応じて変わり得る。したがって、オーディオプレチスモグラフィ較正のための技術は、オーディオプレチスモグラフィのパフォーマンスを改善する周波数の動的な選択を可能にする。オーディオプレチスモグラフィ較正により、様々な耳のための様々な周波数が利用され得て、これらの周波数は、経時的に変化し得る。
無線技術が日常生活に浸透し、ユーザは通信及びデータに容易にアクセスできるようになっている。無線技術の1つのタイプは、無線ヒアラブルであり、その例は、無線イヤホン及び無線ヘッドフォンを含む。無線ヒアラブルは、音楽、オーディオブック、ポッドキャスト、及びビデオからのオーディオコンテンツを聞き取りながら、ユーザが移動する自由を可能にしてきた。無線ヒアラブルの普及により、現在のハードウェアを利用して(例えば、いずれかの新しいハードウェアを導入することなく)既存のヒアラブルに追加の特徴を追加するための市場がある。したがって、提案された解決策は、特に、無線ヒアラブルによって実装され得る。提案された解決策はまた、眼鏡、帽子、イヤーマフ、またはヘルメットなど、1つまたは複数の内蔵型ヒアラブルを有する他の物体またはデバイスによって実施され得る。
動作環境
図1-1は、オーディオプレチスモグラフィ較正を実装することができる例示的な環境100の説明である。例示的な環境100では、ヒアラブル102は、物理インターフェースまたは無線インターフェースを使用してスマートデバイス104に接続されている。ヒアラブル102は、スマートデバイス104によって提供される可聴コンテンツを再生し、可聴コンテンツをユーザ106の耳108に向けることができるデバイスである。この例では、ヒアラブル102は、スマートデバイス104と一緒に動作する。他の例では、ヒアラブル102は、スタンドアロンデバイスとして動作または実装することができる。スマートフォンとして示されているが、スマートデバイス104は、図2に関して説明されたものを含む他のタイプのデバイスを含むことができる。
ヒアラブル102は、オーディオプレチスモグラフィ110を実行することができ、それは、耳108で発生する音響的な感知方法である。ヒアラブル102は、送信及び受信された音響信号のみの評価に基づいて、したがって光学式センサまたは電気式センサなどの他の補助センサを使用することなく、この感知を実行することができる。オーディオプレチスモグラフィ110によって、ヒアラブル102は、バイオメトリックモニタリング112、顔挙動認識114、及び/または環境感知116を実行することができる。
オーディオプレチスモグラフィ110を使用するために、ユーザ106は、耳108の周りまたは中に少なくとも部分的なシール118を作成する方法でヒアラブル102を配置する。耳108のいくつかの部分が図1に示されており、外耳道120及び鼓膜122(ear drumまたはtympanic membrane)を含んでいる。シール118により、ヒアラブル102、外耳道120、及び鼓膜122が互いに結合して音響回路を形成する。オーディオプレチスモグラフィ110は、少なくとも部分的に、この音響回路に関連する特性を測定することを含む。音響回路の特性は、様々な異なる状況またはアクションにより変化し得る。
例えば、図1-2を考察すると、その中で耳108の物理的構造に変化が生じている。物理的構造への例示的な変化は、外耳道120の幾何学的形状の変化及び/または外耳道120の体積の変化を含む。この変化は、少なくとも部分的に、ユーザ106の心臓鼓動によって引き起こされる外耳道120のわずかな血管の変形によって引き起こされる可能性がある。他の変化は、鼓膜122の動きまたはユーザ106の顎の動きによっても引き起こされる可能性がある。
124では、例えば、外耳道120の周りの組織及び鼓膜122自体は、血管の変形によりわずかに「圧迫される」。この圧迫により、外耳道120の体積は124でわずかに低減する。しかし、126では、圧迫が和らぎ、外耳道120の体積は124と比較するとわずかに増加する。耳108内部の物理的変化は、以下にさらに説明するように、外耳道120を通って伝播する音響信号の振幅及び/または位相を変調することができる。
オーディオプレチスモグラフィ110の間、音響信号は、外耳道120の少なくとも一部を通って伝播する。ヒアラブル102は、外耳道120内部の異なる経路に沿って伝播する複数の音響信号の重なりを表す音響信号を受信することができる。各経路は、遅延(τ)と振幅(a)とに関連付けられる。遅延及び振幅は、外耳道120の物理的構造で生じる微妙な変化により、経時的に変化し得る。受信した音響信号は、式1で表すことができる。
式中、S(t)は受信した音響信号を表し、nはノイズを表し、φiniは受信した音響信号と送信した音響信号との間の相対的位相を表し、Ωfcは送信した音響信号の周波数を表し、tは時間ベクトルを表す。ユーザ106の心臓活動は、受信音響信号の振幅及び位相を変調することができるため、受信した音響信号はまた、式2にさらに示されるように説明することもできる。
S(t)=n+(1+hamp(t))cos(hphase(t)+φini++Ωfc(t))
式2
式中、hamp(t)は振幅変調器を表し、hphase(t)は位相変調器を表す。例えば、2つの時変関数hamp(t)及びhphase(t)は、ヒアラブル102と耳108との間の相互作用、並びにユーザ106の生理学的活動、特に心臓の活動に左右され得る。心拍ベースの変調に関連する場合、例えば、hamp(t)=ksin(φhr++Ωhr(t)及びhphase(t)=ksin(φhr++Ωhr(t))を想定することができる。式中、k及びkは変調強度係数であり、Ωhrはユーザの心拍数の周波数である。ヒアラブル102と耳108との間の相互作用、及びユーザ106の生理学的活動は、受信した音響信号の振幅及び位相を変調する。
別の例として、図1-3を考察すると、その中で、ガス組成の変化が外耳道120で生じる。この変化は、少なくとも部分的に呼吸を介して引き起こされる。ユーザ106が呼吸するとき、ユーザ106の皮膚は、その周囲とガスを交換することができる。例えば、128で、吸入130が発生し、外耳道120内部のガス循環システムが、二酸化炭素濃度132を減少させる。134で、呼気136が発生し、外耳道120内部のガス循環システムは、二酸化炭素濃度132を増加させる。この二酸化炭素濃度132の変化は、音速に影響を与え、これは順次、音響信号が外耳道120を通って伝播する速度に影響を与える。
図1-1に戻ると、ヒアラブル102は、オーディオプレチスモグラフィ110を使用して、バイオメトリックモニタリング112、顔挙動認識114、及び/または環境感知116と関連付けられた態様を検出することができる。一般に、バイオメトリックモニタリング112は、ユーザ106の心拍数、呼吸数、血圧、体温、及び/または二酸化炭素レベルを測定することを含むことができる。さらに、バイオメトリックモニタリング112を使用して、外耳道120の物理的構造を測定することができ、及び/または衝撃力に関連する動きを検出することができる。バイオメトリックモニタリング112によって、ヒアラブル102は、ユーザ106がフィットネスの目標を追跡する、または全体的な健康状態をモニタリングすることを可能にし得る。これは特に、高齢患者のケアをする際、または遠隔の患者のケアを提供する際に有益であり得る。いくつかのタイプのバイオメトリックモニタリング112は、シール118の様々な質を必要とし得る。例えば、心拍数は比較的小さいシール118で測定することができるが、呼吸数はより優れたシール118を必要とし得る。
オーディオプレチスモグラフィ110はまた、顎のクレンチングを検出すること、発話の開始を認識すること、及び/または顎を含む特定の活動(例えば、話すまたは食べる)を認識することを含み得る顔挙動認識114に使用することができる。他のタイプの顔挙動認識114は、顔の表情を認識すること、ユーザ106の視線または頭部の姿勢を追跡すること、及び/または顔接触ジェスチャを認識することを含む。これらの特徴のいくつかを提供するために、オーディオプレチスモグラフィ110は、左耳及び右耳108の間に形成された音響チャネルを分析することができる。この音響チャネルは、ユーザ106の顔の表情、視線、頭部姿勢、またはタッチによって修正され得る。顔挙動認識114によって、ヒアラブル102は、発話障害者及び聴覚障害者とのコミュニケーションを促進することができ、及び/または自動音声認識を改善することができる。顔挙動認識114はまた、ユーザ106が、ヒアラブル102に触れることなく、ヒアラブル102及び/またはスマートデバイス104の特徴を制御することができるので、より負担の少ないユーザエクスペリエンスを可能にする。
ヒアラブル102はまた、スポーツ活動(例えば、歩行または走行)の検出を含み得る環境感知116をサポートすることができる。スポーツ活動を検出することによって、ヒアラブル102は、ユーザ106の可聴コンテンツのボリュームを自動的に増やす、またはワークアウトのルーチンに関連付けられたプレイリストから可聴コンテンツを再生することができる。別の例として、ヒアラブル102はまた、ユーザ106がヒアラブル102を自分の耳108に近接させて配置し、シール118を形成するときを自動的に検出することができる。したがって、ヒアラブル102は、ユーザ106のために可聴コンテンツをいつ再生するもしくは一時停止するか、またはバイオメトリックモニタリング112もしくは顔挙動認識114をいつ実行するかを自動的に決定することができる。オーディオプレチスモグラフィ110の技術は、ヒアラブル102が可聴コンテンツをユーザ106に再生している間に実行され得る。スマートデバイス104は、図2に関してさらに説明される。
図2は、例示的なスマートデバイス104を示す。スマートデバイス104が、デスクトップコンピュータ104-1、タブレット104-2、ラップトップ104-3、テレビ104-4、コンピューティング時計104-5、コンピューティングメガネ104-6、ゲームシステム104-7、電子レンジ104-8、及び車両104-9を含む様々な非限定的な例示的なデバイスに関して示されている。ホームサービスデバイス、スマートスピーカ、スマートサーモスタット、乳児用モニタ、Wi-Fi(登録商標)ルータ、ドローン、トラックパッド、描画パッド、ネットブック、電子書籍リーダー、ホームオートメーション及び制御システム、壁ディスプレイ、ならびに別の家庭用電化製品などの他のデバイスも使用され得る。スマートデバイス104は、ウェアラブル、ウェアラブルではないが可搬、または相対的に固定する(例えば、デスクトップ及び電化製品)ようにできることに留意されたい。
スマートデバイス104は、1つまたは複数のコンピュータプロセッサ202と、メモリ媒体及び記憶媒体を含む少なくとも1つのコンピュータ可読媒体204とを含む。コンピュータ可読媒体204へのコンピュータ可読命令として具現化されたアプリケーション及び/またはオペレーティングシステム(示さず)を、コンピュータプロセッサ202によって実行して、本明細書で説明される機能の一部を提供することができる。コンピュータ可読媒体204はまた、ヒアラブル102によって提供される情報を使用してアクションを実行するオーディオプレチスモグラフィベースのアプリケーション206を含む。例示的なアクションは、バイオメトリックモニタリング112に基づいてユーザ106にバイオメトリックデータを表示すること、顔挙動認識114に基づいてスマートデバイス104のタッチフリー制御を提供すること、または環境感知116に基づいて可聴コンテンツの提示を変更することを含むことができる。
スマートデバイス104はまた、有線、無線または光学ネットワークを介してデータを通信するためにネットワークインターフェース208を含むことができる。例えば、ネットワークインターフェース208は、ローカルエリアネットワーク(LAN)、ワイヤレスローカルエリアネットワーク(WLAN)、パーソナルエリアネットワーク(PAN)、ワイドエリアネットワーク(WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、メッシュネットワーク、Bluetooth(登録商標)などを介してデータを通信し得る。スマートデバイス104はまた、ディスプレイ210を含み得る。明示的に示されていないが、ヒアラブル102は、スマートデバイス104内部に統合されてもよく、またはスマートデバイス104に物理的にもしくは無線で接続してもよい。ヒアラブル102は、図3に関してさらに説明される。
図3は、例示的なヒアラブル102を示す。ヒアラブル102は、無線イヤホン302-1、有線イヤホン302-2、及びヘッドフォン302-3を含む、様々な非限定的な例示的なデバイスと共に示される。イヤホン302-1及び302-2は、外耳道120に適合するインイヤーデバイスのタイプである。各イヤホン302-1または302-2は、ヒアラブル102を表すことができる。ヘッドフォン302-3は、耳108の頂部または上に載置することができる。ヘッドフォン302-3は、クローズドバックヘッドフォン、オープンバックヘッドフォン、オンイヤーヘッドフォン、またはオーバーイヤーヘッドフォンを表すことができる。いくつかのヘッドフォン302-3は、物理的に一緒にパッケージ化された2つのヒアラブル102を含む。この場合、各耳108に対して1つのヒアラブル102が存在する。片耳ヘッドフォン302-2などの他のヘッドフォン302-2は、1つのヒアラブル102を含む。いくつかの実施態様では、1つまたは複数のヒアラブル102は、眼鏡、帽子、イヤーマフ、またはヘルメットなどの別のデバイスの内部に(またはその一部として)実装される。
ヒアラブル102は、スマートデバイス104と通信するための通信インターフェース304を含むが、これは、ヒアラブル102がスマートデバイス104の内部に統合されているときに使用される必要はない。通信インターフェース304は、有線インターフェースまたは無線インターフェースの場合があり、オーディオコンテンツは、スマートデバイス104からヒアラブル102に渡される。ヒアラブル102はまた、通信インターフェース304を使用して、オーディオプレチスモグラフィ110を使用して測定されたデータをスマートデバイス104に渡すことができる。一般に、通信インターフェース304によって提供されるデータは、オーディオプレチスモグラフィベースのアプリケーション206によって使用可能なフォーマットにある。通信インターフェース304はまた、ヒアラブル102が別のヒアラブル102と通信することを可能にする。バイスタティック感知の間、例えば、ヒアラブル102は、図4-2に関してさらに説明するように、通信インターフェース304を使用して、他のヒアラブル102と調整して、両耳式オーディオプレチスモグラフィ110を補助することができる。詳細には、送信側のヒアラブル102は、受信側のヒアラブル102にタイミング及び波形の情報を通信して、受信側のヒアラブル102が受信した音響信号を適切に復号することを可能にすることができる。
ヒアラブル102は、例えば、電気信号を音波に変換することができる少なくとも1つのトランスデューサ306の一部として、少なくとも1つのスピーカ及び少なくとも1つのマイクロフォンを含む。ヒアラブル102の同じトランスデューサ306またはさらなるトランスデューサはまた、音波を検出し、電気信号に変換することができる。これらの音波は、超音波周波数及び/または可聴周波数を含み得、そのいずれかがオーディオプレチスモグラフィ110に使用され得る。詳細には、トランスデューサ306が音響信号を生成するために使用する周波数スペクトル(例えば、周波数の範囲)は、可聴領域の低端から超音波領域の高端までの周波数、例えば、20ヘルツ(Hz)~2メガヘルツ(MHz)の周波数を含み得る。オーディオプレチスモグラフィ110の他の例示的な周波数スペクトルは、20Hz~20キロヘルツ(kHz)、20kHz~2MHz、20~60kHz、または30~40kHzの周波数を包含し得る。
例示的な実施態様では、トランスデューサ306は、モノスタティックなトポロジを有する。このトポロジにより、トランスデューサ306は、電気信号を音波に変換し、音波を電気信号に変換することができる(例えば、音響信号を送信または受信することができる)。例示的なモノスタティックトランスデューサは、圧電トランスデューサ、容量性トランスデューサ、及び微小電気機械システム(MEMS)の技術を使用するマイクロマシン超音波トランスデューサ(MUT)を含み得る。
あるいは、トランスデューサ306は、物理的に分離している複数のトランスデューサを含むバイスタティックトポロジを用いて実装することができる。この場合、第1のトランスデューサが電気信号を音波に変換し(例えば、音響信号を送信し)、第2のトランスデューサが音波を電気信号に変換する(例えば、音響信号を受信する)。例示的なバイスタティックトポロジは、少なくとも1つのスピーカ308及び少なくとも1つのマイクロフォン310を使用して実装することができる。スピーカ308及びマイクロフォン310は、オーディオプレチスモグラフィ110専用であってもよく、またはオーディオプレチスモグラフィ110及びスマートデバイス104の他の機能(例えば、可聴コンテンツをユーザ106に提示する、電話をかけるためまたは音声制御用にユーザ106の声をキャプチャする)のために使用できる。
一般に、スピーカ308及びマイクロフォン310は、外耳道120に向けられる(例えば、外耳道120に配向される)。したがって、スピーカ308は、音響信号を外耳道120に向けることができ、マイクロフォン310は、外耳道120と関連付けられた方向から音響信号を受信するように応答する。
ヒアラブル102は、少なくとも1つのアナログ回路312を含み、それは、アナログ領域において電気信号を調節するための回路及びロジックを含む。アナログ回路312は、電気信号を生成及び修正するためのアナログデジタル変換器、デジタルアナログ変換器、アンプ、フィルタ、ミキサ、及びスイッチを含み得る。いくつかの実施態様では、アナログ回路312は、スピーカ308またはマイクロフォン310に関連付けられた他のハードウェア回路を含む。
ヒアラブル102はまた、少なくとも1つのシステムプロセッサ314及び少なくとも1つのシステム媒体316(例えば、1つまたは複数のコンピュータ可読記憶媒体)を含む。図示の構成では、システム媒体316は、オーディオプレチスモグラフィ測定モジュール318(APG測定モジュール318)を含み、任意選択で、オーディオプレチスモグラフィ較正モジュール320(APG較正モジュール320)を含む。オーディオプレチスモグラフィ測定モジュール318及びオーディオプレチスモグラフィ較正モジュール320は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装することができる。この例では、システムプロセッサ216は、オーディオプレチスモグラフィ測定モジュール318及びオーディオプレチスモグラフィ較正モジュール320を実装する。代替例では、スマートデバイス104のコンピュータプロセッサ202は、オーディオプレチスモグラフィ測定モジュール318の少なくとも一部及び/またはオーディオプレチスモグラフィ較正モジュール320の少なくとも一部を実装することができる。この場合、ヒアラブル102は、通信インターフェース304を使用して、音響信号のデジタルサンプルをスマートデバイス104に通信することができる。
オーディオプレチスモグラフィ測定モジュール318は、受信した音響信号を分析して、オーディオプレチスモグラフィ110に関連するデータを測定する。オーディオプレチスモグラフィ測定モジュール318は、バイオメトリックモニタリング112のための少なくとも1つのバイオメトリックモニタ322、顔挙動認識114のための少なくとも1つの顔挙動検出器324、及び/または環境感知116のための少なくとも1つの環境検出器326を使用して実装することができる。例示的なオーディオプレチスモグラフィ測定モジュール318は、図5及び7に関してさらに説明される。
オーディオプレチスモグラフィ較正モジュール320は、オーディオプレチスモグラフィ110のパフォーマンスを向上させるために音響信号を送信するための適切な波形特性を決定することができる。例えば、オーディオプレチスモグラフィ較正モジュール320は、シール118の質及び外耳道120の物理的構造を考慮して、ヒアラブル102がユーザ106の心拍数及び/または呼吸数を精度5%以下で検出することを可能にし得る送信の周波数を決定することができる。オーディオプレチスモグラフィ較正モジュール320を使用して、ヒアラブル102は、シール118が形成されるたびに、各々の耳108の固有の物理的構造に基づいて、送信の周波数を動的に調整することができる。この較正プロセスを通じて、異なる耳にあるヒアラブル102は、1つまたは複数の異なる音響周波数で動作し得る。オーディオプレチスモグラフィ較正モジュール320の例示的な実施態様は、図6に関してさらに説明される。
いくつかのヒアラブル102は、能動型ノイズキャンセレーション回路328を含み、この回路によって、ヒアラブル102は、バックグラウンドノイズまたは環境ノイズを低減することが可能になる。この場合、オーディオプレチスモグラフィ110に使用されるマイクロフォン310は、能動型ノイズキャンセレーション回路328のフィードバック用マイクロフォン330を使用して実装することができる。能動型ノイズキャンセレーションの間、フィードバック用マイクロフォン330は、能動型ノイズキャンセレーションのパフォーマンスに関するフィードバック情報を提供する。オーディオプレチスモグラフィ110の間に、フィードバック用マイクロフォン330は、音響信号を受信し、音響信号は、オーディオプレチスモグラフィ測定モジュール318及び/またはオーディオプレチスモグラフィ較正モジュール320に提供される。いくつかの状況では、能動型ノイズキャンセレーション及びオーディオプレチスモグラフィ110が、フィードバック用マイクロフォン330を使用して同時に実行される。この場合、フィードバック用マイクロフォン330によって受信された音響信号は、オーディオプレチスモグラフィモジュール318または320の少なくとも1つに提供することができ、能動型ノイズキャンセレーション回路328に提供することができる。異なるタイプのオーディオプレチスモグラフィ110が、図4-1及び4-2に関してさらに説明される。
オーディオプレチスモグラフィ
図4-1は、片耳式オーディオプレチスモグラフィ110を実行する2つのヒアラブル102-1及び102-2の例示的な動作を示す。環境400-1では、ヒアラブル102-1及び102-2は、ユーザ106の異なる耳108でオーディオプレチスモグラフィ110を独立して実行する。この場合、第1のヒアラブル102-1は、ユーザ106の右耳108に近接し、第2のヒアラブル102-2は、ユーザ106の左耳108に近接している。各ヒアラブル102-1及び102-2は、スピーカ308及びマイクロフォン310を含む。ヒアラブル102-1及び102-2は、同じ期間中または異なる期間中、モノスタティックに動作することができる。言い換えると、各ヒアラブル102-1及び102-2は、独立して音響信号を送信及び受信することができる。
例えば、第1のヒアラブル102-1は、スピーカ308を使用して第1の音響送信402-1を送信し、これはユーザ106の右耳道120の少なくとも一部の内部を伝播する。第1のヒアラブル102-1は、フィードバック用マイクロフォン330であり得るマイクロフォン310を使用して、第1の音響受信信号404-1を受信する。この例では、シール118、ヒアラブル102-1、右耳道120、及び右耳108の鼓膜122を含む音響回路が形成される。第1の音響受信信号404-1は、右耳道120に関連する音響回路によって少なくとも部分的に修正された第1の音響送信信号402-1のバージョンを表す。この修正により、第1の音響送信信号402-1に対する第1の音響受信信号404-1の振幅、位相、及び/または周波数が変更され得る。
同様に、第2のヒアラブル102-2は、スピーカ308を使用して第2の音響送信信号402-2を送信し、これはユーザ106の左耳道120の少なくとも一部の内部を伝播する。第2のヒアラブル102-2は、フィードバック用マイクロフォン330であり得るマイクロフォン310を使用して、第2の音響受信信号404-2を受信する。第2の音響受信信号404-2は、左耳道120に関連する音響回路によって少なくとも部分的に修正された第2の音響送信信号402-2のバージョンを表す。この修正により、第2の音響送信信号402-2に対する第2の音響受信信号404-2の振幅、位相、及び/または周波数が変更され得る。
この例では、ヒアラブル102-1及び102-2は両方とも、送信器及び受信器として動作する。より具体的には、ヒアラブル102-1は、音響送信信号402-1の送信器(またはソース)を表し、音響受信信号404-1の受信器(または宛先)も表す。同様に、ヒアラブル102-2は、音響送信信号402-2の送信器(またはソース)を表し、音響受信信号404-2の受信器(または宛先)も表す。
片耳式オーディオプレチスモグラフィ110の技術は、バイオメトリックモニタリング112、環境感知116、及び顔挙動認識114の少なくともいくつかの態様に特に有益であり得る。これにより、スマートデバイス104はまた、ヒアラブル102-1と102-2との両方からの情報をコンパイルすることができ、これにより、測定の信頼性をさらに向上させることができる。オーディオプレチスモグラフィ110のいくつかの態様では、図4-2に関してさらに説明するように、2つの耳108の間の音響チャネルを分析することが有益な場合がある。
図4-2は、両耳式オーディオプレチスモグラフィ110を実行する2つのヒアラブル102-1及び102-2の例示的な共同動作を示す。環境400-2では、ヒアラブル102-1及び102-2は、ユーザ106の2つの耳108にわたってオーディオプレチスモグラフィ110を共に実行する。この場合、ヒアラブル102の少なくとも1つ(例えば、第1のヒアラブル102-1)はスピーカ308を含み、他のヒアラブル102の少なくとも1つ(例えば、第2のヒアラブル102-2)は、マイクロフォン310を含む。ヒアラブル102-1及び102-2は、同じ期間中にバイスタティックに一緒に動作する。
動作中、第1のヒアラブル102-1は、スピーカ308を使用して第1の音響送信402を送信する。音響送信信号402は、ユーザ106の右耳道120を通って伝播する。音響送信信号402はまた、右と左の耳108の間に存在する音響チャネルを通って伝播する。左耳108では、音響送信信号402は、ユーザ106の左耳道120を通って伝播し、音響受信信号404として表される。第2のヒアラブル102-2は、マイクロフォン310を使用して音響受信信号404を受信する。この例では、ヒアラブル102-1及び102-2に関連付けられたシール118、ヒアラブル102-1、右耳道120、右耳108の鼓膜122、右と左の耳108の間の音響チャネル、左耳108の鼓膜122、左耳道120、及びヒアラブル102-2を含む音響回路が形成される。音響受信信号404は、右耳道120に関連付けられた音響回路によって修正され、ユーザ106の顔に関連付けられた音響チャネルによって修正され、左耳道120に関連付けられた音響回路によって修正された音響送信信号402のバージョンを表す。この修正により、音響送信信号402に対する音響受信信号404の振幅、位相、及び/または周波数が変更され得る。いくつかの場合では、ヒアラブル102-2は、第1のヒアラブル102-1から第2のヒアラブル102-2への伝播に関連した飛行時間(ToF)を測定する。場合によっては、測定の信頼度をさらに向上させるために、片耳と両耳のオーディオプレチスモグラフィ110の組み合わせが適用される。片耳及び両耳のオーディオプレチスモグラフィ110は、同じ期間または異なる期間に発生することができる。
この例では、ヒアラブル102-1は送信器として動作し、ヒアラブル102-2は受信器として動作する。より具体的には、ヒアラブル102-1は、音響送信信号402の送信器(またはソース)を表す。対照的に、ヒアラブル102-2は、音響受信信号404の受信器(または宛先)を表す。
図4-1及び4-2の音響送信信号402は、様々な異なるタイプの信号を表すことができる。図3に関して前述したように、音響送信信号402は、超音波信号及び/または可聴信号であり得る。また、音響送信信号402は、連続波信号またはパルス信号とすることができる。いくつかの音響送信信号402は、特定のトーンまたは周波数を有することができる。他の音響送信信号402は、複数のトーンまたは複数の周波数を有することができる。音響送信信号402を生成するために、様々な変調を適用することができる。例示的な変調には、線形周波数変調、三角周波数変調、段階的周波数変調、位相変調、または振幅変調が含まれる。音響送信信号402は、図5及び7に関してさらに説明するように、動作モードまたはミッションモードの間に送信することができる。また、音響送信信号402は、図6に関してさらに説明するように、較正モードの間に送信することができる。例示的なオーディオプレチスモグラフィ測定モジュール318を、図5を参照してさらに説明する。
図5は、オーディオプレチスモグラフィ測定モジュール318によって実装される例示的なスキームを示す。図示の構成では、オーディオプレチスモグラフィ測定モジュール318は、少なくとも1つのオーディオプレチスモグラフィ前処理パイプライン502及び少なくとも1つのバイオメトリックモニタ322を含む。オーディオプレチスモグラフィ前処理パイプライン502は、音響受信信号404のデジタルサンプルを処理し、バイオメトリックモニタ322によって使用可能であるフォーマットでデータを出力する。バイオメトリックモニタ322は、バイオメトリックモニタリング112のためにユーザ106の1つまたは複数の生理学的メトリック(例えば、1つまたは複数のバイオメトリック)を決定する。この例では、バイオメトリックモニタ322は、心拍数検出器504及び/または呼吸数検出器506を含む。心拍数検出器504は、ユーザ106の心拍数を測定する。呼吸数検出器506は、ユーザ106の呼吸数を測定する。
オーディオプレチスモグラフィ測定モジュール318が、オーディオプレチスモグラフィ前処理パイプライン502の出力に結合される顔挙動検出器324及び/または環境検出器326を含む他の実施態様も可能である。一般に、オーディオプレチスモグラフィ測定モジュール318は、バイオメトリックモニタ322、顔挙動検出器324、及び/または環境検出器326の任意の組み合わせを含むことができる。
オーディオプレチスモグラフィ前処理パイプライン502は、少なくとも1つの復調器508、少なくとも1つのフィルタ510、及び少なくとも1つの自己相関モジュール512を含む。復調器508は、ミキサとして動作し、乗算の演算を実行することができる。低域通過フィルタとして実装することができるフィルタ510は、疑似的な周波数または望ましくない周波数を減衰するように設計される。例示的な疑似的な周波数は、復調器508の動作を通じて生成される高調波周波数を含む。オーディオプレチスモグラフィ前処理パイプライン502は、クラッタキャンセレーションモジュール514を任意選択で含むことができる。クラッタキャンセレーションモジュール514は、フィルタ510を通過する他の望ましくない周波数を減衰することができる。
オーディオプレチスモグラフィ110の間、オーディオプレチスモグラフィ前処理パイプライン502は、音響送信信号402のバージョンを表すデジタル送信信号516を受け入れる。いくつかの実施態様では、システムプロセッサ314は、デジタル領域でデジタル送信信号516を生成し、デジタル送信信号516をアナログ回路312に渡して、トランスデューサ306を介した音響送信信号402の送信を可能にする。オーディオプレチスモグラフィ前処理パイプライン502はまた、アナログ回路312からデジタル受信信号518を受け入れる。デジタル受信信号518は、音響受信信号404のデジタルバージョンを表す。
復調器508は、デジタル送信信号516を使用して、デジタル受信信号518を復号し、混合信号520を生成する。例として、復調器508は、デジタル送信信号516をデジタル受信信号518と組み合わせるために、乗算する、またはビート演算を実行することができる。例えば、復調器508は、デジタル送信信号516を使用して、デジタル受信信号518に同相及び直交(IQ)混合を適用し得る。上記の式2を参照すると、同相デジタル送信信号516はS(t)=cos(Ωfc(t))によって与えられ得て、復調器508は次に、S(t)とS(t)の乗算を実行し得る。フィルタ510は、混合信号520をフィルタリングして、フィルタリング済み信号522を生成する。フィルタ510の動作により、フィルタリング済み信号522のいくつかのより高い周波数成分は、混合信号520に対して減衰され得る。フィルタリングに基づいて、例えばデジタル受信信号518にIQ混合を適用するとき、同相部分I(t)及び直交位相部分Q(t)が、デジタル受信信号518の振幅R(t)=√(I(t)+Q(t))または位相Φ(t)=arctan(Q(t)/I(t))と共に、決定され得る。
第1の例示的な実施態様では、自己相関モジュール512は、フィルタリング済み信号522を受け入れ、自己相関関数を適用して自己相関524を生成する。バイオメトリックモニタ322は、自己相関524を分析して、ユーザ106の生理学的メトリックを測定する。例えば、心拍数検出器504は、自己相関524のピーク526を検出し、ピーク526の間の時間間隔を測定する。この時間間隔、すなわち自己相関524の周期は、心拍を表す。528において、例示的な自己相関524のグラフはピーク526-1及び526-2を有して示され、それは心拍数を決定するために使用することができる。呼吸数検出器506を使用して呼吸数を測定するために同様のプロセスが行われ得る。
場合によっては、他の生理学的メトリックまたはノイズと関連する周波数は、所望の生理学的メトリックを正確に測定することをより困難にし得る。これに対処するために、オーディオプレチスモグラフィ前処理パイプライン502は、クラッタキャンセレーションモジュール514を適用することができる。フィルタリング済み信号522を自己相関モジュール512に直接送信する代わりに、クラッタキャンセレーションモジュール514は、フィルタリング済み信号522で動作し、修正されたフィルタリング済み信号526を生成する。例えば、クラッタキャンセレーションモジュール514は、心拍数に関連する範囲にない周波数を減衰することができる。これらは、ユーザ106の呼吸数に関連するより遅い周波数及び/またはヒアラブル102の動きに関連する周波数を含み得る。
例示的な実施態様では、クラッタキャンセレーションモジュール514は、フィルタリング済み信号522に曲線適合(例えば、5次多項式曲線適合)を適用して、適合曲線を生成する。適合曲線は、対象外であるノイズまたは他の生理学的メトリックに関連する周波数を少なくとも部分的に組み込む周波数を有する。次に、クラッタキャンセレーションモジュール514は、フィルタリング済み信号522から適合曲線を減算して、修正されたフィルタリング済み信号526を生成する。修正されたフィルタリング済み信号526は、自己相関モジュール512に渡され、測定プロセスは、上記のように続行することができる。
いくつかの送信の周波数は、他の周波数よりもオーディオプレチスモグラフィ110に適している可能性がある。所望の周波数は、少なくとも部分的に、シール118の質及び外耳道120の物理的構造次第であり得る。所望の周波数を決定するために、ヒアラブル102は、オーディオプレチスモグラフィ較正モジュール320を使用して較正プロセスを任意選択で実行することができ、これは、図6に関してさらに説明される。
図6は、オーディオプレチスモグラフィ較正モジュール320によって実装される例示的なスキームを示す。図示の構成では、オーディオプレチスモグラフィ較正モジュール320は、復調器508、フィルタ510、及び少なくとも1つの周波数セレクタ602を含む。周波数セレクタ602は、オーディオプレチスモグラフィ110用の1つまたは複数の音響周波数を選択する。例示的な実施態様では、周波数セレクタ602は、微分モジュール604、ゼロクロッシング検出器606、及び評価器608を含む。これらの構成要素の動作を、以下でさらに説明する。
較正モード中、ヒアラブル102は、音響送信信号402を送信し、音響受信信号404を受信する。音響送信信号402は、数キロヘルツ程度の特定の帯域幅を有する場合がある。例えば、音響送信信号402は、約4、6、8、10、16、または20キロヘルツの帯域幅を有することができる。オーディオプレチスモグラフィ較正モジュール320は、音響送信信号402のバージョンを表すデジタル送信信号516を受け入れる。また、オーディオプレチスモグラフィ較正モジュール320は、音響受信信号404のデジタルバージョンを表すデジタル受信信号518を受け入れる。
デジタル送信信号516を使用して、復調器508は、デジタル受信信号518を復調して、図5に関して上で説明したように、混合信号520を生成する。フィルタ510は、混合信号520をフィルタリングして、不要または望ましくない周波数を減衰し、フィルタリング済み信号522を生成する。
微分モジュール604は、フィルタリング済み信号522の周波数応答の2次微分を計算して、微分610を生成する。ゼロクロッシング検出器606は、ゼロクロッシングに関連する微分610内の周波数を識別する。これらのゼロクロッシング周波数612は、音響チャネルまたは音響回路における変化に特に敏感な周波数を表す。ゼロクロッシング周波数612は、評価器608に渡される。
評価器608は、選択された周波数614によって表される、オーディオプレチスモグラフィ110のための1つまたは複数のゼロクロッシング周波数612を特定する。選択された周波数614を定めるために、評価器608は、隣接するゼロクロッシング周波数612の間の差、及び/またはゼロクロッシング周波数612におけるフィルタリング済み信号522内のエネルギー量を考慮に入れることができる。一般に、評価器608は、干渉を低減するのに十分に離れており、オーディオプレチスモグラフィ110を実行するのに十分なエネルギー量を有する周波数を選択する。結果として得られる選択された周波数614(または選択された周波数614)を使用して、オーディオプレチスモグラフィ110の正確な結果を達成することができる。例として、評価器608は、1、2、3、4、6、または10個の異なる周波数を選択することができる。
いくつかのケースでは、評価器608は、各々の選択された周波数614のパフォーマンスを評価するために自己相関関数を適用してもよい。所定の閾値よりも大きいピーク対平均比を有する自己相関関数を生成する選択された周波数614が、選択のための候補であり得る。
ヒアラブル102は、選択された周波数614のうちの少なくとも1つを使用して、オーディオプレチスモグラフィ110のための後続の音響送信信号402を送信することができる。この較正プロセスは、シール118の変化及び/または外耳道120の物理的構造の変化を考慮するために、所望の頻度実行することができる。いくつかの実施態様では、ヒアラブル102は、シール118の形成を検出し、この検出に基づいて較正プロセスを実行する。ヒアラブル102は、オーディオプレチスモグラフィ110を使用して、またはオンヘッド(またはインイヤー)の検出を実行する別のセンサを使用して、シール118の形成を検出することができる。また、較正プロセスは、各耳108に対して実行することができる。場合によっては、ヒアラブル102は、複数の選択された周波数614を使用して、後続の音響送信信号402を送信する。この場合、オーディオプレチスモグラフィ測定モジュール318は、図7に関してさらに説明するように、複数のオーディオプレチスモグラフィ前処理パイプライン502を実行することができる。
図7は、オーディオプレチスモグラフィ測定モジュール318によって実装される他の例示的なスキームを示す。この場合、ヒアラブル102は、複数のトーンまたは周波数を有する音響送信信号402を送信し、それは較正モードの間に決定された選択された周波数614に基づき得る。図7に示すように、オーディオプレチスモグラフィ測定モジュール318は、複数のオーディオプレチスモグラフィ前処理パイプライン502-1~502-Nを含む。オーディオプレチスモグラフィ前処理パイプライン502-1~502-Nのそれぞれは、選択された周波数614のうちの1つに関連付けられる情報を処理し、対応する自己相関524-1~524-Nを生成するように設計される。
オーディオプレチスモグラフィ測定モジュール318はまた、自己相関524-1~524-Nを評価して、最も高い質の因子の自己相関を選択するランクセレクタ702を含む。例えば、ランクセレクタ702は、自己相関の周波数領域において最高のピーク対平均比を有する自己相関524-1~524-Nのうちの1つを選択することができる。この選択された自己相関704は、さらなる処理のために、バイオメトリックモニタ322、顔挙動検出器324、または環境検出器326などの他のモジュールに渡される。この選択プロセスによって、オーディオプレチスモグラフィ測定モジュール318は、バイオメトリックモニタリング112の一部として少なくとも1つの生理学的メトリックを測定することを含む、オーディオプレチスモグラフィ110を実行するためにより高いレベルの精度を達成することが可能になる。図8~11は、オーディオプレチスモグラフィ較正モジュール320によって実施され、図6に関して説明される較正プロセスに関連する例示的な信号をさらにグラフにして示す。
図8は、例示的な混合信号520及び例示的なフィルタリング済み信号522のグラフ800及び802を示す。グラフ800及び802は、周波数に対する振幅を示している。グラフ802は、グラフ800の一部の拡大図を表す。802に示されるように、混合信号520は、少なくともいくらかのノイズを有する。フィルタリング済み信号522は、混合信号520のより滑らかなバージョンを表す。
図9は、図8のフィルタリング済み信号522の例示的な微分610のグラフ900を示す。この例では、微分610は、微分モジュール604によって計算された2次微分を表す。破線902はゼロの振幅を表す。ゼロクロッシング検出器606は、微分610が902で表されるゼロの振幅と交差する周波数を、計算及び識別する。これらのゼロクロッシングに基づいて、いくつかの周波数が識別される。これらの周波数は、音響チャネルまたは音響回路の変化の影響を特に受けやすい場合がある。周波数は、図10に関連させてさらに説明される。
図10は、図9のゼロクロッシングに関連付けられる周波数1002-1~1002-7が、図8の混合信号520及びフィルタリング済み信号522に対して示されるグラフ1000を示す。評価器608は、ゼロクロッシング周波数1002-1~1002-7を評価し、隣接するゼロクロッシング周波数の間の差及び/またはゼロクロッシング周波数1002でのフィルタリング済み信号522内部のエネルギーの量を考慮して、周波数1002のサブセットを(事前に)選択する。これにより、実線によって示される周波数1002-1、1002-3、1002-6が(事前に)選択される結果となり得て、破線で示される周波数1002-2、1002-4、1002-5、及び1002-7が選択されない結果となり得る。この動作により、例えば、最高の振幅を有するゼロクロッシング周波数1002を含む、各々の耳108に対して異なる周波数が(事前に)選択され得る。オーディオプレチスモグラフィ110に関して選択された周波数1002のそれぞれのパフォーマンスを評価するために評価器608によって適用される自己相関524は、図11に関してさらに説明する。
図11は、例示的な自己相関524-1及び524-2を示すグラフ1100を示す。自己相関524-1及び524-2は、図10に示される周波数1002の異なるものと関連付けることができる。524-1及び524-2の対応するプロットからわかるように、計算された自己相関524-1及び524-2は、(事前に)選択された周波数で、ユーザ106の心拍数などの生理学的メトリックが決定され得ないことを示し得る。したがって、評価器608は、オーディオプレチスモグラフィ110に使用される周波数1002を決定するために、所定の閾値よりも大きいピーク対平均比の自己相関524を生成する周波数1002を(最終的に)選択する。これに関連して、自己相関524-1は、十分に高いピーク対平均比を有することができ、これにより、それと関連付けられた周波数1002が選択される。しかしながら、自己相関524-2は、低すぎるピーク対平均比を有し、それと関連付けられた周波数1002は選択されない。
例示的な方法
図12~14は、オーディオプレチスモグラフィ110の態様を実装するための例示的な方法1200、1300、及び1400を示す。方法1200、1300、及び1400は、実行される動作(または作用)のセットとして示されているが、動作が本明細書に示される順序または組み合わせに、必ずしも限定されない。さらに、動作のうちの1つまたは複数のいずれかが、追加の方法及び/または代替的な方法の広範囲のアレイを提供するように、繰り返される、組み合わされる、再編成される、または繋げられる場合がある。以下の考察の諸部分では、図1の環境100、及び図2及び3に詳述されているエンティティが参照される場合があるが、これらへの参照は例示にすぎない。これらの技術は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによって行われることに限定されない。
図12の1202では、音響送信信号が送信される。音響送信信号は、ユーザの外耳道の少なくとも一部の内部を伝播する。例えば、少なくとも1つのスピーカ308が、音響送信信号402を送信する。少なくとも1つのスピーカ308は、ヒアラブル102-1のスピーカ、ヒアラブル102-2のスピーカ、または両方を表すことができる。音響送信信号402は、図4-1または4-2に関して説明されるように、ユーザ106の外耳道120の少なくとも一部の内部を伝播する。
1204で、音響受信信号が受信される。音響受信信号は、外耳道の内部の伝播により修正された1つまたは複数の波形特性を有する音響送信信号のバージョンを表す。例えば、図4-1または4-2に関して説明したように、少なくとも1つのマイクロフォン310は、音響受信信号404を受信する。少なくとも1つのマイクロフォン310は、ヒアラブル102-1のマイクロフォン310、ヒアラブル102-2のマイクロフォン、または両方を表す場合がある。音響受信信号404は、外耳道120内部の伝播のために修正された1つまたは複数の波形特性を有する音響送信信号402のバージョンを表す。波形特性はまた、少なくとも部分的に、ユーザのバイオメトリックによって、ユーザの顔の挙動によって、または外耳道120の周りの環境によって修正され得る。例示的な波形特性は、振幅、位相、及び/または周波数を含む。いくつかの実施態様では、能動型ノイズキャンセレーション回路328のフィードバック用マイクロフォン330が、音響受信信号404を受信することができる。
1206で、ユーザの少なくとも1つの生理学的メトリックが、音響受信信号の1つまたは複数の修正された波形特性に基づいて決定される。例えば、ヒアラブル102は、バイオメトリックモニタリング112に従って、ユーザ106の少なくとも1つの生理学的メトリックを決定する。例示的な生理学的メトリックは、心拍数、呼吸数、血圧、体温、及び二酸化炭素レベルを含む。
図13の1302では、音響送信信号が送信される。音響送信信号は、ユーザの外耳道の少なくとも一部の内部を伝播する。例えば、少なくとも1つのスピーカ308が、音響送信信号402を送信する。少なくとも1つのスピーカ308は、ヒアラブル102-1のスピーカ、ヒアラブル102-2のスピーカ、または両方を表すことができる。音響送信信号402は、図4-1及び4-2に関して説明されるように、ユーザ106の外耳道120の少なくとも一部の内部を伝播する。
1304で、音響受信信号が受信される。音響受信信号は、外耳道内部の伝播のために修正された1つまたは複数の波形特性を有する音響送信信号のバージョンを表す。例えば、図4-1または4-2に関して説明したように、少なくとも1つのマイクロフォン310は、音響受信信号404を受信する。少なくとも1つのマイクロフォン310は、ヒアラブル102-1のマイクロフォン310、ヒアラブル102-2のマイクロフォン310、または両方を表す場合がある。音響受信信号404は、外耳道120内部の伝播のために修正された1つまたは複数の波形特性を有する音響送信信号402のバージョンを表す。ユーザ106が呼吸すると、外耳道120内部のガスの組成が、図1-3に示されるように変化する。特に、二酸化炭素濃度が変化し、これは外耳道120内部の音速に影響を与える。例示的な波形特性は、振幅、位相、及び/または周波数を含み得る。いくつかの実施態様では、能動型ノイズキャンセレーション回路328のフィードバック用マイクロフォン330が、音響受信信号404を受信することができる。
1306で、ユーザの呼吸数は、音響受信信号の1つまたは複数の波形特性を分析することによって決定される。例えば、ヒアラブル102は、図5に関して説明したように、オーディオプレチスモグラフィ測定モジュール318及び呼吸数検出器506を使用して、音響受信信号404の1つまたは複数の波形特性に基づいて呼吸数を決定する。
任意選択で、1308において、呼吸数はスマートデバイスに通信され、スマートデバイスが呼吸数をユーザに表示することを可能にする。例えば、ヒアラブル102は、呼吸数をスマートデバイス104に伝達して、スマートデバイス104が呼吸数をユーザ106に伝達する(例えば、表示する)ことを可能にする。
図14の1402において、少なくとも1つのスピーカ及び少なくとも1つのマイクロフォンをするオーディオプレチスモグラフィに適した少なくとも1つの音響周波数を特定する較正プロセスが実行される。例えば、ヒアラブル102は、少なくとも1つのスピーカ308、少なくとも1つのマイクロフォン310、及びオーディオプレチスモグラフィ較正モジュール320を使用して、図6に関して説明したように、オーディオプレチスモグラフィ110に適した少なくとも1つの音響周波数を特定する較正プロセスを実行する。
1404で、オーディオプレチスモグラフィは、ユーザの耳で少なくとも1つの音響周波数を使用して実行される。例えば、ヒアラブル102は、選択された周波数614を使用してオーディオプレチスモグラフィ110を実行する。詳細には、ヒアラブル102は、少なくとも1つの音響周波数を使用して(例えば、選択された周波数614を使用して音響送信信号402を送信する)、ユーザ106の耳108で(例えば、1つまたは複数の耳108で)オーディオプレチスモグラフィを実行する。ヒアラブル102は、オーディオプレチスモグラフィ測定モジュール318を使用して、受信した音響受信信号404を分析する。
いくつかの状況では、方法1200、1300、及び/または1400は、図4-1に関して説明されるように、片耳式オーディオプレチスモグラフィ110のために1つのヒアラブル102を使用して実行される。他の状況では、方法1200、1300、及び/または1400は、図4-2に関して説明されるように、両耳式オーディオプレチスモグラフィ110のために2つのヒアラブル102を使用して実行される。
例示的なコンピューティングシステム
図15は、オーディオプレチスモグラフィ較正の態様を実装するために、先行の図2及び3を参照して説明されているようないずれかのタイプのクライアント、サーバ、及び/またはコンピューティングデバイスとして実装され得る例示的なコンピューティングシステム1500の様々な構成要素を示す。
コンピューティングシステム1500は、デバイスデータ1504(例えば、受信したデータ、受信されているデータ、ブロードキャストにスケジュールされたデータ、またはデータのデータパケット)の有線通信及び/または無線通信を可能にする通信デバイス1502を含む。通信デバイス1502またはコンピューティングシステム1500は、1つまたは複数のヒアラブル102を含むことができる。デバイスデータ1504または他のデバイスコンテンツは、デバイスのコンフィグレーションの設定、デバイスに格納されたメディアコンテンツ、及び/またはデバイスのユーザに関連する情報を含むことができる。コンピューティングシステム1500に格納されるメディアコンテンツは、任意のタイプのオーディオ、ビデオ、及び/または画像データを含むことができる。コンピューティングシステム1500は、1つまたは複数のデータ入力1506を含み、これを介してあらゆる種類のデータ、メディアコンテンツ、及び/または入力を受信することができ、例えば、人間の発話、ユーザが選択可能な入力(明示的または暗黙的)、メッセージ、音楽、テレビメディアコンテンツ、録画されたビデオコンテンツ、及びあらゆるコンテンツ及び/またはデータソースから受信したいずれかのその他の種類のオーディオ、ビデオ、及び/または画像データがある。
コンピューティングシステム1500は、通信インターフェース1508も含み、それは、シリアルインターフェース及び/またはパラレルインターフェース、ワイヤレスインターフェース、いずれかの種類のネットワークインターフェース、モデム、及びいずれかのその他の種類の通信インターフェースのいずれか1つまたは複数として実装することができる。通信インターフェース1508は、コンピューティングシステム1500と通信ネットワークとの間の接続及び/または通信リンクを提供し、この通信ネットワークによって、他の電子デバイス、コンピューティングデバイス、及び通信デバイスは、コンピューティングシステム1500とデータを通信する。
コンピューティングシステム1500は、コンピューティングシステム1500の動作を制御するために、様々なコンピュータ実行可能命令を処理する、1つまたは複数のプロセッサ1510(例えば、マイクロプロセッサ、コントローラなどのうちのいずれか)を含む。代替的または追加的に、コンピューティングシステム1500は、概して1512と特定されている処理及び制御回路に関連して実装されるハードウェア、ファームウェアまたは固定論理回路のいずれか1つまたは組み合わせを使用して実装することができる。図示されていないが、コンピューティングシステム1500は、デバイス内部の様々な構成要素を結合するシステムバスまたはデータ転送システムを含むことができる。システムバスは種々のバス構造のいずれか1つまたは組み合わせを含むことができ、その例には、メモリバスもしくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、及び/または様々なバスアーキテクチャのいずれかを利用するプロセッサバスもしくはローカルバスがある。
コンピューティングシステム1500はまた、永続的及び/または非一時的なデータストレージを可能にする(つまり、単なる信号の送信とは対照的)1つまたは複数のメモリデバイスなどのコンピュータ可読媒体1514を含み、その例は、ランダムアクセスメモリ(RAM)、不揮発性メモリ(例えば、読み取り専用メモリ(ROM)、フラッシュメモリ、EPROM、EEPROMなどのいずれか1つまたは複数)、及びディスクストレージデバイスを含む。ディスクストレージデバイスを、任意の種類の磁気または光学式ストレージデバイスとして実装してもよく、例えば、ハードディスクドライブ、記録可能及び/または書き換え可能なコンパクトディスク(CD)、任意の種類のデジタル多用途ディスク(DVD)などがある。コンピューティングシステム1500はまた、大容量記憶媒体デバイス(記憶媒体)1516を含んでもよい。
コンピュータ可読媒体1514は、デバイスデータ1504、さらには、様々なデバイスアプリケーション1518、及びコンピューティングシステム1500の動作面に関連するいずれかその他の種類の情報及び/またはデータを格納するためのデータストレージメカニズムを設ける。例えば、オペレーティングシステム1520は、コンピュータ可読媒体1514を用いてコンピュータアプリケーションとして維持され、プロセッサ1510で実行され得る。デバイスアプリケーション1518は、いずれかの形式の制御アプリケーション、ソフトウェアアプリケーション、信号処理及び制御モジュール、特定のデバイスに固有のコード、特定のデバイス用のハードウェア抽象化層などのデバイスマネージャを含み得る。
デバイスアプリケーション1518はまた、オーディオプレチスモグラフィ110を実施するために、任意のシステムの構成要素、エンジン、またはマネージャを含む。この例では、デバイスアプリケーション1518は、図2のオーディオプレチスモグラフィベースのアプリケーション206(APGベースのアプリケーション206)、図3のオーディオプレチスモグラフィ測定モジュール318、及び任意選択で、図3のオーディオプレチスモグラフィ較正モジュール320を含む。
以下にいくつかの実施例を説明する。
実施例1:方法であって、
少なくとも1つのスピーカ及び少なくとも1つのマイクロフォンを使用するオーディオプレチスモグラフィに適した少なくとも1つの音響周波数を特定する較正プロセスを実行すること、及び
ユーザの耳で前記オーディオプレチスモグラフィを実行するために前記少なくとも1つの音響周波数を使用することを含む、方法。
実施例2:前記ユーザの外耳道が、前記少なくとも1つのスピーカ及び/または前記少なくとも1つのマイクロフォンを含むデバイスによって少なくとも部分的にシールされているかどうかを検出すること、及び
前記検出することに応答して、前記較正プロセスを前記実行することを開始すること、
をさらに含む、実施例1に記載の方法。
実施例3:前記較正プロセスを前記実行することは、前記少なくとも1つのスピーカの第1のスピーカと前記少なくとも1つのマイクロフォンの第1のマイクロフォンとを使用する第1の耳での第1の較正プロセスを実行することを含み、
前記少なくとも1つの音響周波数を前記使用することは、前記第1の耳で前記オーディオプレチスモグラフィを実行するために前記少なくとも1つの音響周波数を使用することを含み、
前記方法は、
前記ユーザの第2の耳で、前記少なくとも1つのスピーカの第2のスピーカと前記少なくとも1つのマイクロフォンの第2のマイクロフォンとを使用する前記オーディオプレチスモグラフィに適した少なくとも1つの第2の音響周波数を特定する第2の較正プロセスを実行すること、及び
前記第2の耳で前記オーディオプレチスモグラフィを実行するために前記少なくとも1つの第2の音響周波数を使用すること、
をさらに含む、実施例1または2に記載の方法。
実施例4:前記較正プロセスが実行される時間の少なくとも一部の間、または前記オーディオプレチスモグラフィが実行される時間の少なくとも一部の間に、可聴コンテンツを送信すること、をさらに含む、先行の実施例のいずれか1項に記載の方法。
実施例5:前記較正プロセスを前記実行することは、
前記ユーザの外耳道の少なくとも一部の内部を伝播し、かつ、複数の周波数を有する第1の音響送信信号を送信すること、
前記外耳道内部の前記伝播に基づいて修正された1つまたは複数の波形特性を有する第1の音響受信信号を受信すること、及び
前記1つまたは複数の波形特性に基づいて、前記複数の周波数から前記少なくとも1つの音響周波数を選択すること、
を含む、先行の実施例のいずれか1項に記載の方法。
実施例6:前記少なくとも1つの音響周波数を前記選択することは、
前記第1の音響受信信号のデジタルバージョンを前記第1の音響送信信号のデジタルバージョンと混合することによって前記第1の音響受信信号を復調して、第1の混合信号を生成すること、
前記第1の混合信号を低域通過フィルタに通して、第1のフィルタリング済み信号を生成すること、
前記第1のフィルタリング済み信号の2次微分を定めること、
前記第1のフィルタリング済み信号の前記2次微分に関連付けられるゼロクロッシング周波数を特定すること、及び
前記ゼロクロッシング周波数から前記少なくとも1つの音響周波数を選択すること、
を含む、実施例5に記載の方法。
実施例7:前記第1の音響送信信号を前記送信することは、少なくとも4キロヘルツの帯域幅を有する前記第1の音響送信信号を送信することを含む、実施例5または6に記載の方法。
実施例8:前記第1の音響送信信号は、以下の、
約20キロヘルツおよび2メガヘルツの間の周波数を有する超音波信号、または
約20ヘルツおよび20キロヘルツの間の周波数を有する可聴信号のうちの少なくとも1つを含む、実施例5~7のいずれか1項に記載の方法。
実施例9:前記少なくとも1つの音響周波数を前記使用することは、前記少なくとも1つの音響周波数を有する第2の音響送信信号を送信することを含み、前記第2の音響送信信号は前記ユーザの外耳道の少なくとも一部の内部を伝播し、
前記方法は、
前記外耳道内部の前記伝播に基づいて修正された1つまたは複数の波形特性を有する前記第2の音響送信信号のバージョンを表す第2の音響受信信号を受信すること、及び
前記第2の音響受信信号の前記1つまたは複数の修正された波形特性に基づいて前記ユーザの少なくとも1つの生理学的メトリックを決定すること、
をさらに含む、先行の実施例のいずれか1項に記載の方法。
実施例10:前記ユーザの前記少なくとも1つの生理学的メトリックを前記決定することは、
前記第2の音響受信信号のデジタルバージョンを前記第2の音響送信信号のデジタルバージョンと混合することによって前記第2の音響受信信号を復調して、第2の混合信号を生成すること、
前記第2の混合信号を低域通過フィルタに通して、第2のフィルタリング済み信号を生成すること、
前記第2のフィルタリング済み信号の自己相関を生成すること、及び
前記第2のフィルタリング済み信号の前記自己相関の周期を決定して、前記少なくとも1つの生理学的メトリックを決定すること、
を含む、実施例9に記載の方法。
実施例11:前記少なくとも1つの生理学的メトリックは、以下の、
前記ユーザの心拍数、または
前記ユーザの呼吸数、のうちの少なくとも1つを含む、実施例9または10に記載の方法。
実施例12:デバイスであって、
少なくとも1つのスピーカ、
少なくとも1つのマイクロフォン、及び
少なくとも1つのプロセッサ、を含み、前記デバイスは、前記少なくとも1つのスピーカ、前記少なくとも1つのマイクロフォン、及び前記少なくとも1つのプロセッサを使用して、実施例1~11の方法のいずれか1つを実行するように構成される、デバイス。
実施例13:前記少なくとも1つのマイクロフォンを含む能動型ノイズキャンセレーション回路をさらに備える、実施例12に記載のデバイス。
実施例14:前記少なくとも1つのスピーカ及び前記少なくとも1つのマイクロフォンは、ユーザの片耳に近接して配置されるように構成される、実施例13に記載のデバイス。
実施例15:前記少なくとも1つのスピーカは、ユーザの第1の耳に近接して配置されるように構成され、
前記少なくとも1つのマイクロフォンは、第2の耳の近くに配置されるように構成される、実施例12に記載のデバイス。
実施例16:前記少なくとも1つのスピーカ及び/または前記少なくとも1つのマイクロフォンは、前記デバイスの少なくとも1つのトランスデューサの一部である、実施例12~15のいずれか1項に記載のデバイス。
実施例17:前記デバイスは、ユーザの1つまたは複数の耳を少なくとも部分的にシールするように構成される、実施例12~16のいずれか1項に記載のデバイス。
実施例18:前記デバイスは、
少なくとも1つのイヤホン、または
ヘッドフォンを含む、実施例12~17のいずれか1項に記載のデバイス。
結論
オーディオプレチスモグラフィ較正の促進を使用する技術及びそれを含む装置が、特徴及び/または方法に特有の言語で説明されてきたが、添付の特許請求の範囲の主題は、説明された特定の特徴または方法に必ずしも限定されないことを理解されよう。むしろ、特定の特徴及び方法が、オーディオプレチスモグラフィ較正の促進の例示的な実施態様として開示されている。

Claims (16)

  1. デバイスであって、
    少なくとも1つのスピーカ、
    少なくとも1つのマイクロフォン、及び
    少なくとも1つのプロセッサ、を含み、前記デバイスは、前記少なくとも1つのスピーカ、前記少なくとも1つのマイクロフォン、及び前記少なくとも1つのプロセッサを使用して、
    前記少なくとも1つのスピーカ及び前記少なくとも1つのマイクロフォンを使用するオーディオプレチスモグラフィに適した少なくとも1つの音響周波数を特定する較正プロセスを実行すること、及び
    ユーザの耳で前記オーディオプレチスモグラフィを実行するために前記少なくとも1つの音響周波数を使用すること、を実行するように構成され、
    前記較正プロセスを前記実行することは、
    前記ユーザの外耳道の少なくとも一部の内部を伝播し、かつ、複数の周波数を有する第1の音響送信信号を送信すること、
    前記外耳道内部の前記伝播に基づいて修正された1つまたは複数の波形特性を有する前記第1の音響送信信号のバージョンを表す第1の音響受信信号を受信すること、及び
    前記1つまたは複数の波形特性に基づいて、前記複数の周波数から前記少なくとも1つの音響周波数を選択すること、を含む、デバイス
  2. 前記ユーザの外耳道が、前記少なくとも1つのスピーカ及び前記少なくとも1つのマイクロフォンの少なくとも一方を含むデバイスによって少なくとも部分的にシールされているかどうかを検出すること、及び
    前記検出することに応答して、前記較正プロセスを前記実行することを開始すること、をさらに含む、請求項1に記載のデバイス
  3. 前記較正プロセスを前記実行することは、前記少なくとも1つのスピーカの第1のスピーカと前記少なくとも1つのマイクロフォンの第1のマイクロフォンとを使用する第1の耳での第1の較正プロセスを実行することを含み、
    前記少なくとも1つの音響周波数を前記使用することは、前記第1の耳で前記オーディオプレチスモグラフィを実行するために前記少なくとも1つの音響周波数を使用することを含み、
    前記デバイスは、前記少なくとも1つのスピーカ、前記少なくとも1つのマイクロフォン、及び前記少なくとも1つのプロセッサを使用して、
    前記ユーザの第2の耳で、前記少なくとも1つのスピーカの第2のスピーカと前記少なくとも1つのマイクロフォンの第2のマイクロフォンとを使用する前記オーディオプレチスモグラフィに適した少なくとも1つの第2の音響周波数を特定する第2の較正プロセスを実行すること、及び
    前記第2の耳で前記オーディオプレチスモグラフィを実行するために前記少なくとも1つの第2の音響周波数を使用すること、をさらに実行するように構成される、請求項1に記載のデバイス
  4. 前記較正プロセスが実行される時間の少なくとも一部の間、または前記オーディオプレチスモグラフィが実行される時間の少なくとも一部の間に、可聴コンテンツを送信すること、をさらに含む、請求項1に記載のデバイス
  5. 前記少なくとも1つの音響周波数を前記選択することは、
    前記第1の音響受信信号のデジタルバージョンを前記第1の音響送信信号のデジタルバージョンと混合することによって前記第1の音響受信信号を復調して、第1の混合信号を生成すること、
    前記第1の混合信号を低域通過フィルタに通して、第1のフィルタリング済み信号を生成すること、
    前記第1のフィルタリング済み信号の2次微分を定めること、
    前記第1のフィルタリング済み信号の前記2次微分に関連付けられるゼロクロッシング周波数を特定すること、及び
    前記ゼロクロッシング周波数から前記少なくとも1つの音響周波数を選択すること、を含む、請求項に記載のデバイス
  6. 前記第1の音響送信信号を前記送信することは、少なくとも4キロヘルツの帯域幅を有する前記第1の音響送信信号を送信することを含む、請求項に記載のデバイス
  7. 前記第1の音響送信信号は、以下の、
    約20キロヘルツおよび2メガヘルツの間の周波数を有する超音波信号、または
    約20ヘルツおよび20キロヘルツの間の周波数を有する可聴信号のうちの少なくとも1つを含む、請求項に記載のデバイス
  8. 前記少なくとも1つの音響周波数を前記使用することは、前記少なくとも1つの音響周波数を有する第2の音響送信信号を送信することを含み、前記第2の音響送信信号は前記ユーザの外耳道の少なくとも一部の内部を伝播し、
    前記デバイスは、前記少なくとも1つのスピーカ、前記少なくとも1つのマイクロフォン、及び前記少なくとも1つのプロセッサを使用して、
    前記外耳道内部の前記伝播に基づいて修正された1つまたは複数の波形特性を有する前記第2の音響送信信号のバージョンを表す第2の音響受信信号を受信すること、及び
    前記第2の音響受信信号の修正された前記1つまたは複数の波形特性に基づいて前記ユーザの少なくとも1つの生理学的メトリックを決定すること、をさらに実行するように構成される、請求項1に記載のデバイス
  9. 前記ユーザの前記少なくとも1つの生理学的メトリックを前記決定することは、
    前記第2の音響受信信号のデジタルバージョンを前記第2の音響送信信号のデジタルバージョンと混合することによって前記第2の音響受信信号を復調して、第2の混合信号を生成すること、
    前記第2の混合信号を低域通過フィルタに通して、第2のフィルタリング済み信号を生成すること、
    前記第2のフィルタリング済み信号の自己相関を生成すること、及び
    前記第2のフィルタリング済み信号の前記自己相関の周期を決定して、前記少なくとも1つの生理学的メトリックを決定すること、
    を含む、請求項に記載のデバイス
  10. 前記少なくとも1つの生理学的メトリックは、以下の、
    前記ユーザの心拍数、または
    前記ユーザの呼吸数、のうちの少なくとも1つを含む、請求項に記載のデバイス
  11. 前記少なくとも1つのマイクロフォンを含む能動型ノイズキャンセレーション回路をさらに備える、請求項に記載のデバイス。
  12. 前記少なくとも1つのスピーカ及び前記少なくとも1つのマイクロフォンは、ユーザの片耳に近接して配置されるように構成される、請求項11に記載のデバイス。
  13. 前記少なくとも1つのスピーカは、ユーザの第1の耳に近接して配置されるように構成され、
    前記少なくとも1つのマイクロフォンは、第2の耳の近くに配置されるように構成される、請求項に記載のデバイス。
  14. 前記少なくとも1つのスピーカ及び前記少なくとも1つのマイクロフォンの少なくとも一方は、前記デバイスの少なくとも1つのトランスデューサの一部である、請求項に記載のデバイス。
  15. 前記デバイスは、ユーザの1つまたは複数の耳を少なくとも部分的にシールするように構成される、請求項に記載のデバイス。
  16. 前記デバイスは、
    少なくとも1つのイヤホン、または
    ヘッドフォンをさらに含む、請求項に記載のデバイス。
JP2024571923A 2022-06-10 2023-06-09 オーディオプレチスモグラフィ較正 Active JP7843376B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202263366219P 2022-06-10 2022-06-10
US63/366,219 2022-06-10
PCT/US2023/068208 WO2023240240A1 (en) 2022-06-10 2023-06-09 Audioplethysmography calibration

Publications (2)

Publication Number Publication Date
JP2025519449A JP2025519449A (ja) 2025-06-26
JP7843376B2 true JP7843376B2 (ja) 2026-04-09

Family

ID=87074602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024571923A Active JP7843376B2 (ja) 2022-06-10 2023-06-09 オーディオプレチスモグラフィ較正

Country Status (4)

Country Link
US (1) US20250082210A1 (ja)
EP (1) EP4312732B1 (ja)
JP (1) JP7843376B2 (ja)
WO (1) WO2023240240A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023125214A1 (de) * 2022-09-20 2024-03-21 Apple Inc. Herzmessung unter Verwendung von akustischen Techniken
WO2024191456A1 (en) 2023-03-13 2024-09-19 Google Llc Detecting heart rate variability using a hearable
JP2026505679A (ja) * 2023-12-29 2026-02-18 グーグル エルエルシー オーディオプレチスモグラフィ及び動作検知データの融合

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012508605A (ja) 2008-11-17 2012-04-12 ソニー エリクソン モバイル コミュニケーションズ, エービー 生理的音響信号から生理的計量を検出する装置、方法、及びコンピュータプログラム
US20140051940A1 (en) 2012-08-17 2014-02-20 Rare Light, Inc. Obtaining physiological measurements using ear-located sensors
JP2018500949A (ja) 2014-08-22 2018-01-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 音響信号を用いて血圧を測定する方法及び装置
US20190294769A1 (en) 2018-03-21 2019-09-26 Cirrus Logic International Semiconductor Ltd. Ear proximity detection
US20200196977A1 (en) 2017-05-10 2020-06-25 Ecole De Technologie Superieure System and method for determining cardiac rhythm and/or respiratory rate
WO2020174680A1 (ja) 2019-02-28 2020-09-03 日本電気株式会社 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体
JP2022056790A (ja) 2020-09-30 2022-04-11 フォスター電機株式会社 ヘッドセット

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5105822A (en) * 1988-02-16 1992-04-21 Sensimetrics Corporation Apparatus for and method of performing high frequency audiometry
US10632278B2 (en) * 2017-07-20 2020-04-28 Bose Corporation Earphones for measuring and entraining respiration
US20190239772A1 (en) * 2018-02-05 2019-08-08 Bose Corporation Detecting respiration rate
JP7127700B2 (ja) * 2018-12-19 2022-08-30 日本電気株式会社 情報処理装置、装着型機器、情報処理方法及び記憶媒体
GB2606096B (en) * 2019-12-18 2023-11-01 Cirrus Logic Int Semiconductor Ltd On-ear detection
EP4536070A1 (en) * 2022-06-10 2025-04-16 Google LLC Active acoustic sensing
WO2023240233A1 (en) * 2022-06-10 2023-12-14 Google Llc Respiration rate sensing
WO2024191456A1 (en) * 2023-03-13 2024-09-19 Google Llc Detecting heart rate variability using a hearable
US12562185B2 (en) * 2023-03-16 2026-02-24 Google Llc Voice activity detection using active acoustic sensing
US20250213142A1 (en) * 2023-12-29 2025-07-03 Google Llc Audioplethysmography and Motion-Sensing Data Fusion
US20250278240A1 (en) * 2024-02-29 2025-09-04 Google Llc Speech Recognition Using Active Acoustic Sensing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012508605A (ja) 2008-11-17 2012-04-12 ソニー エリクソン モバイル コミュニケーションズ, エービー 生理的音響信号から生理的計量を検出する装置、方法、及びコンピュータプログラム
US20140051940A1 (en) 2012-08-17 2014-02-20 Rare Light, Inc. Obtaining physiological measurements using ear-located sensors
JP2018500949A (ja) 2014-08-22 2018-01-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 音響信号を用いて血圧を測定する方法及び装置
US20200196977A1 (en) 2017-05-10 2020-06-25 Ecole De Technologie Superieure System and method for determining cardiac rhythm and/or respiratory rate
US20190294769A1 (en) 2018-03-21 2019-09-26 Cirrus Logic International Semiconductor Ltd. Ear proximity detection
WO2020174680A1 (ja) 2019-02-28 2020-09-03 日本電気株式会社 感情推定装置、感情推定方法、及びコンピュータ読み取り可能な記録媒体
JP2022056790A (ja) 2020-09-30 2022-04-11 フォスター電機株式会社 ヘッドセット

Also Published As

Publication number Publication date
EP4312732B1 (en) 2025-08-27
JP2025519449A (ja) 2025-06-26
WO2023240240A1 (en) 2023-12-14
EP4312732A1 (en) 2024-02-07
US20250082210A1 (en) 2025-03-13

Similar Documents

Publication Publication Date Title
US20250318800A1 (en) Active Acoustic Sensing
JP7843376B2 (ja) オーディオプレチスモグラフィ較正
US12356152B2 (en) Detecting user's eye movement using sensors in hearing instruments
US20250082300A1 (en) Respiration Rate Sensing
Sun et al. Earmonitor: In-ear motion-resilient acoustic sensing using commodity earphones
US20190380597A1 (en) Device for monitoring activities of daily living and physiological parameters to determine a condition and diagnosis of the human brain and body
Chen et al. Exploring the feasibility of remote cardiac auscultation using earphones
AU2014248464A1 (en) Ear-related devices implementing sensors to acquire physiological characteristics
US20250213142A1 (en) Audioplethysmography and Motion-Sensing Data Fusion
EP4662873A1 (en) User-focused coughing detection using active acoustic sensing
TW202404528A (zh) 用於擴增實境/虛擬實境應用程式和裝置之入耳式麥克風
Hu et al. A survey of earable technology: Trends, tools, and the road ahead
CN120569982A (zh) 用于主动声学感测的内部噪声源滤波
EP4434450B1 (en) Detecting heart rate variability using a hearable
JP2026505679A (ja) オーディオプレチスモグラフィ及び動作検知データの融合
US20230404518A1 (en) Earbud Based Auscultation System and Method Therefor
WO2022067077A1 (en) Beamforming systems and methods for detecting heart beats
Xie Understand Human Behaviours with IoT Sensors: From Physical to Physiological Sensing
TW202332408A (zh) 用於擴增實境/虛擬實境應用程式和裝置之入耳式運動感測器
WO2024192406A1 (en) Interdependent human behavior detection and/or classification using active acoustic sensing
CN118574565A (zh) 用于ar/vr应用的入耳式传声器和设备
CN118574567A (zh) 用于ar/vr应用的入耳式运动传感器和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260330

R150 Certificate of patent or registration of utility model

Ref document number: 7843376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150