JP5308537B2 - 音響によるイヤホンの装着検出 - Google Patents

音響によるイヤホンの装着検出 Download PDF

Info

Publication number
JP5308537B2
JP5308537B2 JP2011546631A JP2011546631A JP5308537B2 JP 5308537 B2 JP5308537 B2 JP 5308537B2 JP 2011546631 A JP2011546631 A JP 2011546631A JP 2011546631 A JP2011546631 A JP 2011546631A JP 5308537 B2 JP5308537 B2 JP 5308537B2
Authority
JP
Japan
Prior art keywords
earphone
audio signal
user
ear
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011546631A
Other languages
English (en)
Other versions
JP2012516090A (ja
Inventor
ヤコブス ハートセン,
ゲリット サムピモン,
バート, ビー. トリップ,
Original Assignee
ソニーモバイルコミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーモバイルコミュニケーションズ, エービー filed Critical ソニーモバイルコミュニケーションズ, エービー
Publication of JP2012516090A publication Critical patent/JP2012516090A/ja
Application granted granted Critical
Publication of JP5308537B2 publication Critical patent/JP5308537B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04Structural association of microphone with electric circuitry therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/15Determination of the acoustic seal of ear moulds or ear tips of hearing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Otolaryngology (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Headphones And Earphones (AREA)
  • Telephone Function (AREA)

Description

本発明は、イヤホンの装着を検出する装置、方法及びコンピュータプログラムに関する。特に本発明は、提供されたオーディオ信号とイヤホンのマイクとの間の音響結合による検出に関する。
音声、音楽等をユーザに提供するために、有線又は無線のイヤホンを利用するデバイスが普及してきている。そのようなデバイスとして、ポータブルメディアプレーヤ、移動電話及びポータブルデジタルアシスタントが挙げられる。イヤホンがリスニング位置にあるか、すなわち耳に装着されているかを検出することは、ユーザが提供されたオーディオコンテンツを全く聴けない場合における消費電力を削減するために利用される。例えば米国特許第2006/0045304A1号明細書には、イヤホンが耳に装着された場合に耳の内部の皮膚が電極と接触するよう、イヤホン本体の外面上に2つの電極を配した検出素子が開示されている。ユーザの頭部が電極間の電気を伝導することにより、イヤホンが耳に装着されたことを検出する。
しかし、デバイスは、あらゆる一般のユーザにより使用されることを意図したものであり、電極のいずれかがユーザの組織に対して接触不良となることもありえることから、装着の検出を保証することは不確実であると考えられる。従って、より信頼性の高い検出を提供するとともに、更に、従来どおり一般のユーザにとって容易に使用される装備を提供することが望ましい。
本発明は、一般のユーザが快適にイヤホンを使用し、且つ音声に関する測定値としてイヤホンに提供される音声を取得するために、イヤホンにマイクを追加するという着想に基づく。取得した音声から、オーディオをイヤホンに提供することによる音響結合の検出が実行され、イヤホンがユーザの耳に装着されたかを判定する。
第1の態様によると、ユーザの耳の耳孔に装着されるのに適した少なくとも1つのイヤホンと、信号処理器とを備える装置が提供される。イヤホンは、レンダリングするオーディオ信号が供給されるスピーカと、音声信号を取得するように構成され、スピーカの近傍に配置されたマイクとを備える。信号処理器は、取得した音声信号を解析することによりイヤホンがユーザの耳に装着されたかを判定するよう構成されており、当該解析はオーディオ信号をマイクに音響結合することに基づいて行われる。
マイクは、イヤホンがユーザの耳に装着された場合に、耳の耳孔の内側に存在する音声から音声信号を取得するように構成されている。
装置は2つのイヤホンを備え、音響は、一方のイヤホンのスピーカと他方のイヤホンのマイクとの間で結合される。解析は、一方のイヤホンのスピーカと他方のイヤホンのマイクとの間の伝播遅延に基づいて行われ、当該伝播遅延が、頭部を介して伝播することに対する遅延に対応していた場合、イヤホンは装着されていると判定する。あるいは又は更に、一方のイヤホンに提供されるオーディオ信号はサブ信号を含んでおり、それにより、他方のイヤホンで取得可能な音声信号には、ユーザの他方の耳に提供される音声であって、イヤホンが装着されユーザの頭部を介して伝播された場合に、ユーザの血管の血液を振動させることで変調され減衰された音声についての信号成分が含まれることになるため、当該信号成分からは心拍が抽出され、イヤホンが装着されたことを判定することができる。信号処理器では、ローパスフィルタにおいて音声信号をローパスフィルタリングすることにより心拍を抽出する。ローパスフィルタは、3〜10Hz、好ましくは3〜5Hz、好ましくは約4Hzの遮断周波数を有していてもよい。
一方のイヤホンに提供されたオーディオ信号は、聴周波数以下の周波数又は超音波周波数における音色及び広帯域パルスのいずれかを含むサブ信号を含んでおり、信号処理器では、他方のイヤホンにおいて取得した音声信号を区別して音響結合を判定する。
音響は、1つのイヤホン又は各イヤホンのスピーカとマイクとの間で結合される。
マイクは、イヤホンの外側に存在する音声から音声信号を取得するように構成される。音響は、1つのイヤホン又は各イヤホンのスピーカとマイクとの間で結合される。
装置は、更に、イヤホンが装着されたか否かの判定に基づいてその機能を制御するアプリケーションを更に備える。当該アプリケーションは、イヤホンが装着されていないと判定された場合に、オーディオ信号と関連付けられたレンダリングを中断するよう構成され、且つイヤホンが装着されたと判定された場合に、レンダリングを再開するよう構成されている。アプリケーションは、イヤホンが装着されたと判定された場合に、オーディオ信号と関連付けられた通信を確立するよう構成され、且つイヤホンが装着されていないと判定された場合に、通信を終了するよう構成されている。
第2の態様によると、イヤホンがユーザの耳に装着された場合に、ユーザの耳においてオーディオ信号をレンダリングするように、耳に装着されるのに適した少なくとも1つのイヤホンを備える装置における方法が提供される。当該方法は、スピーカの近傍に配置されたイヤホンのマイクにより音声信号を取得する工程と、オーディオ信号をマイクに音響結合させることに基づいて音声信号を解析し、イヤホンがユーザの耳に装着されたかを判定する工程とを含む。
取得する工程は、イヤホンがユーザの耳に装着された場合に、耳の耳孔の内側に存在する音声が取得されるように、イヤホンの位置において音声信号を取得する工程を含む。
方法は、オーディオ信号を一方のイヤホンのスピーカに提供する工程を含み、取得する工程は、他方のイヤホンのマイクにおいて行われる。解析する工程は、一方のイヤホンのスピーカと他方のイヤホンのマイクとの間の伝播遅延を判定する工程を含み、当該伝播遅延が、頭部を介して伝播することに対する遅延に対応していた場合、イヤホンが装着されたと判定する。あるいは又は更に、一方のイヤホンに提供されるオーディオ信号はサブ信号を含んでおり、それにより、他方のイヤホンで取得可能な音声信号には、ユーザの他方の耳に提供される音声であって、イヤホンが装着されユーザの頭部を介して伝播された場合に、ユーザの血管の血液を振動させることで変調され減衰される音声についての信号成分が含まれることとなり、その結果、当該信号成分からは心拍が抽出され、イヤホンが装着されたことを判定できる。方法は、ローパスフィルタにおいて音声信号をローパスフィルタリングすることにより心拍を抽出する工程を更に含む。ローパスフィルタは、3〜10Hz、好ましくは3〜5Hz、好ましくは4Hzの遮断周波数を有していてもよい。
オーディオ信号を一方のイヤホンに提供する工程は、聴周波数以下の周波数又は超音波周波数における音色及び広帯域パルスのいずれかを含むサブ信号を提供する工程を含んでいてもよく、解析する工程は、他方のイヤホンにおいて取得した音声信号を区別して音響結合を判定する工程を含む。
音響は、1つのイヤホン又は各イヤホンのスピーカとマイクとの間で結合される。
取得する工程は、イヤホンが耳に装着された場合でも、イヤホンの外側に存在する音声が取得されるようにイヤホンの位置において音声信号を取得する工程を含んでいてもよい。音響は、1つのイヤホン又は各イヤホンのスピーカとマイクとの間で結合される。
方法は、判定に基づいてアプリケーションの機能を制御する工程を更に含む。方法は、イヤホンが装着されていないと判定された場合に、オーディオ信号と関連付けられたレンダリングを中断する工程と、イヤホンが装着されたと判定された場合に、レンダリングを再開する工程とを更に含む。更に又はあるいは、方法は、イヤホンが装着されたと判定された場合に、オーディオ信号と関連付けられた通信を確立する工程と、イヤホンが装着されていないと判定された場合に、通信を終了する工程とを更に含む。
第3の態様によると、プロセッサにより実行された場合に、第2の態様に係る方法をプロセッサに実行させるための命令を含むプログラムコードを有するコンピュータ可読媒体が提供される。
プログラムコードは、イヤホンがユーザの耳に装着された場合に、ユーザの耳においてオーディオ信号をレンダリングするために、耳に装着されるのに適した少なくとも1つのイヤホンのスピーカにオーディオ信号を供給させる命令と、スピーカの近傍に配置されたイヤホンのマイクにより音声信号を取得させる命令と、オーディオ信号をマイクに音響結合することに基づいて取得した音声信号を解析させることにより、イヤホンがユーザの耳に装着されたかを判定させる命令とを含む。
オーディオ信号を供給させる命令は、一方のイヤホンに対して実行され、取得させる命令は他方のイヤホンにおいて実行される。解析させる命令は、一方のイヤホンのスピーカと他方のイヤホンのマイクとの間の伝播遅延を判定させる命令を含んでいてもよく、当該伝播遅延が、頭部を介して伝播することに対する遅延に対応していた場合、イヤホンが装着されたと判定させる。あるいは又は更に、命令は、一方のイヤホンに提供されるオーディオ信号にサブ信号を含ませることで、他方のイヤホンで取得可能な音声信号に、ユーザの他方の耳に提供される音声であって、イヤホンが装着されユーザの頭部を介して伝播された場合に、ユーザの血管の血液を振動させることで変調され減衰される音声についての信号成分を含ませることとなり、その結果、当該信号成分からは心拍を抽出させ、イヤホンが装着されたことを判定させる。コンピュータプログラムは、ローパスフィルタにおいて音声信号をローパスフィルタリングさせることにより心拍を抽出させる命令を更に含んでいてもよい。命令により、ローパスフィルタが3〜10Hz、好ましくは3〜5Hz、好ましくは4Hzの遮断周波数を有するように構成されていてもよい。
命令は、オーディオ信号を一方のイヤホンに提供させることにより、聴周波数以下の周波数又は超音波周波数における音色及び広帯域パルスのいずれかを含むサブ信号を提供させ、且つ解析させることにより、他方のイヤホンにおいて取得した音声信号を区別して音響結合を判定させる。
命令は、イヤホンが耳に装着された場合でもイヤホンの外側に存在する音声を取得させるように、イヤホンの位置において音声信号を取得させる命令を含む。
コンピュータプログラムは、判定に基づいてアプリケーションの機能を制御する命令を更に含む。命令は、イヤホンが装着されていないと判定された場合に、オーディオ信号と関連付けられたレンダリングを中断させ、且つイヤホンが装着されたと判定された場合に、レンダリングを再開させるように更に構成されている。
命令は、更に、イヤホンが装着されたと判定された場合に、オーディオ信号と関連付けられた通信を確立させ、且つイヤホンが装着されていないと判定された場合に、通信を終了させるように構成されている。
図1は、一実施形態に係る装置を概略的に示す図である。 図2は、一実施形態に係る装置を概略的に示す図である。 図3は、一実施形態に係る方法を示すフローチャートである。 図4は、コンピュータ可読媒体を概略的に示す図である。
図1は、一実施形態に係る装置100を概略的に示したものである。装置100は、スピーカ部102、すなわちユーザの耳の耳孔に装着されるように構成され且つスピーカ104を有するイヤホンと、スピーカ104と共に配置されたマイク106とを備える。スピーカ104は、増幅器108により提供されることが好ましい音楽又は音声等のオーディオ信号を出力する。また増幅器108は、メディアプレーヤ又は電話機のオーディオ出力部等のアプリケーション要素109からオーディオコンテンツを取得する。イヤホンが耳に装着された場合に、耳の耳孔に存在する音声を取得するように構成され且つイヤホンが耳に装着されていない場合に、他の音声を周囲のノイズとして取得するマイク106は、マイクから取得した信号を音響経路判定器112に提供する前にフィルタリングするオプションのフィルタ111aに出力信号を提供する。更にオプションとして、増幅器108により提供されたオーディオ音声は、音響経路判定器112に入力される前にフィルタ111bによりフィルタリングされる。
信号処理器114により実現されるのが好ましい音響経路判定器112は、提供されたオーディオ信号を考慮して、取得した音声信号を解析することにより、イヤホンがユーザの耳に装着されたかを判定するように構成されている。
オプションのフィルタ111a、111b及び音響経路判定器112は、例えばアナログ領域又はデジタル領域において要素111a、111b、112の機能を実行する信号処理器114の一部であってもよい。
音響経路は、1つのイヤホン102又は装置100が2つのイヤホンを備える場合には、各イヤホン102、102bの音響特性に基づいて判定される。すなわち、イヤホンのスピーカは音声を出力し、同一のイヤホンのマイクは音声信号を取得する。イヤホンがユーザの耳に装着された場合、音声が何らかで密閉空胴、すなわち、耳の耳孔に存在するため、スピーカとマイクとの間の音響結合はある特定の特性を有し、イヤホンがユーザの耳に装着されていない場合、イヤホンの端で発する音声の周りのオープンスペースは耳の耳孔のボリュームよりはるかに大きいため、結合は別の特性を有する。これは、取得した音声信号から判定される。従って、イヤホンが耳に装着されたか否かが判定される。
音響経路は、2つのイヤホン102、102bの音響特性に基づいて実行され、音響は、一方のイヤホン102のスピーカと他方のイヤホン102bのマイクとの間で結合される。ここで、音速は組織を介して伝播する場合より空気を介して伝播する場合の方が速いという事実が、イヤホンが装着されたかを判定するために利用される。頭部の大きさ及び組織における伝播速度、並びに信号がスピーカに提供されるタイミング及び信号がマイクから取得されるタイミングが大よそ既知であるため、イヤホンが装着されたか否かの判定は、一方のイヤホンから他方のイヤホンへの伝播遅延から判定される。伝播遅延が、イヤホンがユーザの頭部を介する場合に予想される遅延に対応する範囲内であった場合には、装着されていると判定され、範囲外であった場合には装着されていないと判定される。鞄又はポケット等のオープンエアに対応する遅延によりイヤホンがたまたま範囲内となるように離間された場合と、組織を介した伝播と、を区別するために、例えば周波数特性、減衰等の他の特性が考慮されてもよい。
一実施形態において、一方のイヤホン102に提供されたオーディオ信号はサブ信号を含んでおり、それにより、他方のイヤホン102bにおいて取得可能な音声信号には、ユーザの他方の耳において提供される音声についての信号成分が含まれることとなる。イヤホンが装着されユーザの頭部を介して伝播された場合に、音声は、ユーザの血管の血液を振動させることで変調され減衰されるため、上記信号成分からは心拍が抽出可能であり、かつ、イヤホンが装着されたことを判定できる。心拍を判定することにより、例えば音響結合が耳の耳孔の1つに類似するポケットにユーザがイヤホンを保持した場合に引き起こされる音響結合を、イヤホンがユーザの耳に装着されたと誤って判定されることが確実に回避できる。本来、心拍はユーザの頭部において弱い音声を生成し、回数成分は主に心拍数に対応している。マイク106により取得された音声信号が増幅され、フィルタリングされ且つ処理されることにより、心拍音を検出できるようになる。狭いフィルタにより、心音信号が大幅に向上する。信号処理器114は、ローパスフィルタにより音声信号をローパスフィルタリングすることにより心拍を抽出するように構成されることが好ましい。これは、一般に1分間に40〜200回である心拍の中心的な周波数が心拍自体に由来するものであるためである。従って、ローパスフィルタに適した遮断周波数は、3〜10Hz、3〜5Hz、約4Hzであることが好ましい。更に、オーディオ信号に含まれる音声及び音楽の信号成分は、これらの低周波数帯域において一般に非常に小さいという更なる利点がある。
一方のイヤホンに提供されたオーディオ信号は、例えば聴周波数以下の周波数又は超音波周波数における音色、あるいは広帯域パルスのいずれかを含む判定用のサブ信号を含む。信号処理器は、一方のイヤホンにおいて取得された音声信号を区別して音響結合を判定するように構成されている。オーディオ信号に含まれる音声及び音楽の信号成分は、これらの低周波数成分において一般に非常に小さいという更なる利点を有する。
生理的な音声の存在による判定は、信頼性の高い手法であると考えられる。生理的な音声の取得及び処理は、2008年11月17日に出願された米国特許出願第12/272,072号において説明されている。
図2は、一実施形態に係る装置200を概略的に示したものである。装置200は、スピーカ部202、すなわちユーザの耳の耳孔に装着されるように構成され且つスピーカ204を有するイヤホンと、イヤホン202に配置されたマイク206とを備える。スピーカ204は、増幅器208により提供されるのが好ましい音楽又は音声等のオーディオ信号を出力する。また増幅器208は、メディアプレーヤ又は電話機のオーディオ出力部等のアプリケーション要素209からオーディオコンテンツを取得する。マイク206は、イヤホンがユーザの耳に装着された場合でもイヤホンの外側に存在する音声を取得するように構成されている。マイク206は、周囲のノイズ等の他の音声を取得し、例えばノイズ除去ヘッドホンにおいてノイズ除去アプリケーションに対して使用される。マイク206は、出力信号を音響経路判定器212に提供する前にオプションのフィルタ211aに提供する。更にオプションとして、増幅器208により提供されたオーディオ音声は、音響経路判定器212に入力される前にフィルタ211bによりフィルタリングされる。
信号処理器214により実現されるのが好ましい音響経路判定器212は、提供されたオーディオ信号を考慮して、取得した音声信号を解析することにより、イヤホンがユーザの耳に装着されたかを判定するように構成されている。
オプションのフィルタ211a、211b及び音響経路判定器212は、例えばアナログ領域又はデジタル領域において要素211a、211b、212の機能を実行する信号処理器214の一部であってもよい。
図1及び図2を参照して実証された実施形態のうちのいずれかの場合、一般に高周波数の方が低周波数よりもユーザの組織により減衰されるため、音響特性は更にその周波数特性に基づくものであってもよい。また、同一のイヤホンのスピーカとマイクとの間の音響結合を考慮する場合、低周波数は、オープンスペースよりも耳の耳孔の密閉環境においてより結合する。従って、取得された音声信号を監視し、スピーカに提供された音声信号と比較して周波数が広域にわたっていると判定された場合に、音響結合されたと判断するとともに、一方または両方のイヤホンが装着されたと判定する。
これらの判定技術のうちの1つ以上は、判定のために使用される。例えば、1つのイヤホンのみの音響結合から判定されても、あるいは2つのイヤホンの音響結合から判定されてもよく、結合の周波数特性又は遅延特性のうちのいずれかと組み合わせて判定されてもよい。また、これらのあらゆる組合せから判定されてもよい。イヤホンは、図1を参照して実証された実施形態に係るマイク、すなわち装着された場合に耳の耳孔において音声を取得するマイク及び図2を参照して実証された実施形態に係るマイク、すなわち装着された場合に耳の外側から音声を取得するマイクの双方を備える。その後、上述した音響結合のうちの1つ以上に基づいて判定される。
イヤホン102、202又はイヤホン102、202及び102b、202bが装着されたか否かを解析することに基づいて、判定の結果を受信するアプリケーションコントローラ115、215は、1つ以上のアプリケーション116、216の挙動を制御する。アプリケーション116、216は、オーディオコンテンツを出力するアプリケーション要素109、209を備える。アプリケーション116、216の制御に関する一例は、イヤホンがユーザの耳に装着された場合にのみ音楽又は着呼/発呼に関連したオーディオをイヤホン102、202に転送することである。別の例は、イヤホン102、202がユーザの耳に装着されたことが検出され、装置がおそらく最もユーザに近接した場合に、呼出し音の音量をより小さいレベルに調整することである。更に別の例は、例えば、イヤホン102及び別のマイク118、218を備えるヘッドセットの一部である場合であって、イヤホン102、202のみが装着された場合には、イヤホン102、202と関連付けられた別のマイク118、218からの入力を可能にすることである。更に別の例は、イヤホン102、202が装着された場合には、イヤホン102、202を備える無線ハンドセットをonにし、装着されていない場合にはoffにすることである。別の例は、1つ又は2つのイヤホン102、102b、202、202bが装着されたかに応じて、モノオーディオ又はステレオオーディオが一方又は両方のイヤホン102、102b、202、202bに出力されるべきかを判定することである。ここで、2つのイヤホンのうちの一方のイヤホンのみが装着された場合、オーディオ出力は、装着されたイヤホンにのみ転送される。更に別の例は、イヤホン102、202が装着された場合又は装着されるとすぐに通話を受け入れる、すなわち着呼を受信することである。更に別の例は、メディアプレーヤ等からのオーディオレンダリングを、イヤホン102、202が装着されるとすぐに開始又は再開し、イヤホン102、202が耳から離脱した場合に中止又は一時停止することである。当然、これらのうちのあらゆる組合せは、アプリケーション116、216の種類に対応している。
図3は、一実施形態に係る方法を示すフローチャートである。図1及び図2を参照して上述したように、方法は、イヤホンがユーザの耳に装着された場合に、ユーザの耳においてオーディオ信号をレンダリングするために耳に装着されるイヤホンに適している。方法は音声取得ステップ302を含み、図1及び図2を参照して実証された実施形態のうちのいずれかに従って音声を取得するマイクにより音声が取得される。方法は判定ステップ306を更に含み、イヤホンがユーザの耳に装着されたかを判定する。これは、スピーカとマイクとの間の音響結合に関して、取得した音声信号を解析することにより実行される。これは、図1及び図2を参照して実証されたように実行される。
方法はオーディオ提供ステップ300を含み、オーディオ信号がイヤホンのスピーカによりレンダリングされる。オプションとして、取得した音声信号及び/又はオーディオ信号は、信号フィルタリングステップ304において判定される前にフィルタリングされる。
イヤホンが装着されたか否かの判定に基づいて、1つ以上のアプリケーションが、アプリケーション制御ステップ308において制御される。例えば、イヤホンが装着されていないと判定された場合に、その判定に基づいてオーディオ信号と関連付けられたレンダリングを中断する工程や、イヤホンが装着されたと判定された場合に、レンダリングを再開する工程が制御される。別の例は、イヤホンが装着されたと判定された場合に、その判定に基づいてオーディオ信号と関連付けられた通信を確立する工程や、例えば電話を取ること及びイヤホンが装着されていないと判定された場合に通信を終了する工程、例えば電話を切る工程である。
実証された手法は、特に密閉型イヤホンに適している。
本発明に係る方法は、コンピュータ及び/又はプロセッサ等の処理手段の支援を得た実現例に適している。従って、装置において図3を参照して説明した実施形態のうちのいずれかに係る方法のうちのいずれかの工程を、処理手段、すなわちプロセッサ又はコンピュータに実行させる命令を含むコンピュータプログラムが提供される。コンピュータプログラムは、図4に示されたようにコンピュータ可読媒体400に格納されるプログラムコードを有することが好ましい。プログラムコードは、処理手段、すなわちプロセッサ又はコンピュータ402によりロードされ且つ実行され、図3を参照して説明した実施形態のうちのいずれかであることが好ましい本発明の実施形態に係る各方法を実行するように構成されている。図1及び図2のいずれかにおいて示されたような装置に配されたコンピュータ402、並びにコンピュータプログラム製品400は、プログラムコードを逐次実行するように構成されている。その場合、当該方法のうちのいずれかの処理は、段階的に実行されるかあるいはリアルタイムで実行され、必要な入力データが必要となり且つ使用可能になると実行される。処理手段、すなわちプロセッサ又はコンピュータ402は、一般に組込みシステムと呼ばれるものであることが好ましい。従って、図4に示されたコンピュータ可読媒体400及びコンピュータ402は、原理を理解するためだけに示されると解釈されるべきであり、何らかの要素を直接示すものとして解釈されるべきではない。

Claims (17)

  1. ユーザの第1の耳の耳孔に装着されるのに適しており、レンダリングするためにオーディオ信号が供給されるスピーカを備える第1のイヤホン(102b)と
    前記ユーザの第2の耳の耳孔に装着されるのに適しており、レンダリングするためにオーディオ信号が供給されるスピーカ(104)と、第2のイヤホン(102)が前記ユーザの第2の耳に装着された場合に、前記第2の耳の耳孔の内側に存在する音声から音声信号を取得するように構成された、前記スピーカ(104)の近傍に配置されたマイク(106)と、を備える前記第2のイヤホン(102)と、
    前記取得した音声信号を解析することにより前記イヤホン(102、102b)が前記ユーザの前記第1及び第2の耳に装着されたかを判定するように構成された信号処理器(114)と、を備える装置であって、
    前記解析は、前記第1のイヤホン(102b)の前記スピーカと前記第2のイヤホン(102)の前記マイク(106)との間の音響結合であって、前記第1のイヤホン(102b)の前記スピーカと前記第2のイヤホン(102)の前記マイク(106)との間の音声信号の伝播遅延に基づいて行われ、前記音声信号の伝播遅延が、頭部を介して伝播することに対する遅延に対応していた場合、前記イヤホン(102、102b)前記ユーザの耳に装着されたと判定されることを特徴とする装置。
  2. 前記第1のイヤホン(102b)に提供されたオーディオ信号はサブ信号を含んでおり、それにより、前記第2のイヤホン(102)で取得可能な音声信号には、ユーザの第2の耳に提供される音声であって、イヤホン(102、102b)が装着されユーザの頭部を介して伝播された場合に、ユーザの血管の血液を振動させることで変調され減衰された音声についての信号成分が含まれており、前記解析は、更に、当該信号成分から抽出された心拍に基づいて、イヤホン(102、102b)が装着されたことを判定することを含むことを特徴とする請求項1記載の装置。
  3. 前記信号処理器は、ローパスフィルタにおいて前記音声信号をローパスフィルタリングすることにより、前記心拍を抽出するように構成されていることを特徴とする請求項2記載の装置。
  4. 前記ローパスフィルタは、3〜10Hz、好ましくは3〜5Hz、好ましくは4Hzの遮断周波数を有することを特徴とする請求項3記載の装置。
  5. 前記第1のイヤホン(102b)に提供された前記オーディオ信号は、聴周波数以下の周波数又は超音波周波数における音色及び広帯域パルスのいずれかを含むサブ信号を含み、前記信号処理器は、前記第2のイヤホン(102)において前記取得した音声信号を区別して前記音響結合を判定することを特徴とする請求項1記載の装置。
  6. 前記イヤホン(102、102b)が装着されたか否かの判定に基づいてアプリケーションの機能を制御するように構成された前記アプリケーションを更に備えることを特徴とする請求項1乃至のいずれか1項に記載の装置。
  7. 前記アプリケーションは、前記イヤホン(102、102b)が装着されていないと判定された場合に、前記オーディオ信号と関連付けられたレンダリングを中断するように構成され、前記イヤホン(102、102b)が装着されたと判定された場合に、前記レンダリングを再開するように構成されていることを特徴とする請求項記載の装置。
  8. 前記アプリケーションは、前記イヤホン(102、102b)が装着されたと判定された場合に、前記オーディオ信号と関連付けられた通信を確立するように構成され、前記イヤホン(102、102b)が装着されていないと判定された場合に、前記通信を終了するように構成されていることを特徴とする請求項記載の装置。
  9. 第1のイヤホン(102b)がユーザの第1の耳に装着された場合に前記ユーザの第1の耳においてオーディオ信号をレンダリングするために、前記ユーザの第1の耳に装着されるのに適した前記第1のイヤホン(102b)と、第2のイヤホン(102)が前記ユーザの第2の耳に装着された場合に前記ユーザの第2の耳においてオーディオ信号をレンダリングするために、前記ユーザの第2の耳に装着されるのに適した前記第2のイヤホンと、を備える装置における方法であって、
    前記第2のイヤホン(102)が前記ユーザの耳に装着された場合に、前記耳の耳孔の内側に存在する音声が取得されるように、前記第2のイヤホン(102)の位置において、スピーカ(104)の近傍に配置された前記第2のイヤホンのマイク(106)により音声信号を取得する工程と、
    前記オーディオ信号を前記マイク(106)に音響結合することに基づいて前記音声信号を解析し、前記イヤホン(102、102b)が前記ユーザの耳に装着されたかを判定する工程と、を有し、
    前記解析する工程は、前記第1のイヤホン(102b)のスピーカと前記第2のイヤホン(102)の前記マイク(106)との間の音声信号の伝播遅延を判定する工程を含み、前記音声信号の伝播遅延が、前記ユーザの頭部を介して伝播することに対する遅延に対応していた場合、前記イヤホン(102、102b)は装着されたと判定されることを特徴とする方法。
  10. 前記第1のイヤホン(102b)に提供されたオーディオ信号はサブ信号を含んでおり、それにより、前記第2のイヤホン(102)で取得可能な音声信号には、ユーザの第2の耳に提供される音声であって、イヤホン(102、102b)が装着されユーザの頭部を介して伝播された場合に、ユーザの血管の血液を振動させることで変調され減衰された音声についての信号成分が含まれており、前記判定する工程は、更に、当該信号成分から抽出された心拍に基づいて、イヤホン(102、102b)が装着されたことを判定する工程を含むことを特徴とする請求項記載の方法。
  11. ローパスフィルタにより前記音声信号をローパスフィルタリングすることにより前記心拍を抽出する工程を更に含むことを特徴とする請求項10記載の方法。
  12. 前記ローパスフィルタは、3〜10Hz、好ましくは3〜5Hz、好ましくは4Hzの遮断周波数を有することを特徴とする請求項11記載の方法。
  13. 前記オーディオ信号を前記第1のイヤホン(102b)に提供する工程は、聴周波数以下の周波数又は超音波周波数における音色及び広帯域パルスのいずれかを含むサブ信号を提供する工程を含み、前記解析する工程は、前記第2のイヤホン(102)において前記取得した音声信号を区別して前記音響結合を判定する工程を含むことを特徴とする請求項記載の方法。
  14. 前記判定に基づいてアプリケーションの機能を制御する工程を更に有することを特徴とする請求項乃至13のいずれか1項に記載の方法。
  15. 前記イヤホン(102、102b)が装着されていないと判定された場合に、前記オーディオ信号と関連付けられたレンダリングを中断する工程と、
    前記イヤホン(102、102b)が装着されたと判定された場合に、前記レンダリングを再開する工程と
    を更に有することを特徴とする請求項14記載の方法。
  16. 前記イヤホン(102、102b)が装着されたと判定された場合に、前記オーディオ信号と関連付けられた通信を確立する工程と、
    前記イヤホン(102、102b)が装着されていないと判定された場合に、前記通信を終了する工程と
    を更に含むことを特徴とする請求項14記載の方法。
  17. プロセッサにより実行された場合に請求項乃至16のいずれか1項に記載の方法の各工程を前記プロセッサに実行させる命令を含むプログラムコードを有することを特徴とするコンピュータ可読媒体。
JP2011546631A 2009-01-23 2009-07-16 音響によるイヤホンの装着検出 Expired - Fee Related JP5308537B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/358,289 US8199956B2 (en) 2009-01-23 2009-01-23 Acoustic in-ear detection for earpiece
US12/358,289 2009-01-23
PCT/EP2009/059191 WO2010083895A1 (en) 2009-01-23 2009-07-16 Acoustic in-ear detection for earpiece

Publications (2)

Publication Number Publication Date
JP2012516090A JP2012516090A (ja) 2012-07-12
JP5308537B2 true JP5308537B2 (ja) 2013-10-09

Family

ID=41083545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011546631A Expired - Fee Related JP5308537B2 (ja) 2009-01-23 2009-07-16 音響によるイヤホンの装着検出

Country Status (7)

Country Link
US (1) US8199956B2 (ja)
EP (1) EP2382796A1 (ja)
JP (1) JP5308537B2 (ja)
KR (1) KR20110107833A (ja)
CN (1) CN102293013B (ja)
TW (1) TW201031232A (ja)
WO (1) WO2010083895A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588880B2 (en) 2009-02-16 2013-11-19 Masimo Corporation Ear sensor
US8265321B2 (en) * 2010-04-08 2012-09-11 Sony Ericsson Mobile Communications Ab Method and apparatus for detecting a position of a pair of ear phones at a user
US8954177B2 (en) 2011-06-01 2015-02-10 Apple Inc. Controlling operation of a media device based upon whether a presentation device is currently being worn by a user
US9451351B2 (en) 2011-06-16 2016-09-20 Sony Corporation In-ear headphone
CN102327115B (zh) * 2011-10-31 2014-01-29 北京超思电子技术股份有限公司 心率检测设备
EP2613566B1 (en) * 2012-01-03 2016-07-20 Oticon A/S A listening device and a method of monitoring the fitting of an ear mould of a listening device
US9648409B2 (en) 2012-07-12 2017-05-09 Apple Inc. Earphones with ear presence sensors
WO2014061578A1 (ja) * 2012-10-15 2014-04-24 Necカシオモバイルコミュニケーションズ株式会社 電子機器、及び音響再生方法
US20140146982A1 (en) 2012-11-29 2014-05-29 Apple Inc. Electronic Devices and Accessories with Media Streaming Control Features
US9344792B2 (en) 2012-11-29 2016-05-17 Apple Inc. Ear presence detection in noise cancelling earphones
US9049508B2 (en) 2012-11-29 2015-06-02 Apple Inc. Earphones with cable orientation sensors
JP2014187413A (ja) * 2013-03-21 2014-10-02 Casio Comput Co Ltd 音響機器並びにプログラム
US9351068B2 (en) 2013-06-14 2016-05-24 Blackberry Limited Obstructed port audio signal alteration
EP2814263B1 (en) * 2013-06-14 2017-11-08 BlackBerry Limited Obstructed port audio signal alteration
US9479860B2 (en) * 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
CN103929698A (zh) * 2014-04-02 2014-07-16 北京智谷睿拓技术服务有限公司 声道配置方法、装置及耳机设备
WO2016011848A1 (zh) * 2014-07-24 2016-01-28 歌尔声学股份有限公司 应用于耳机的心率检测方法和能检测心率的耳机
US9386391B2 (en) 2014-08-14 2016-07-05 Nxp B.V. Switching between binaural and monaural modes
US9872116B2 (en) * 2014-11-24 2018-01-16 Knowles Electronics, Llc Apparatus and method for detecting earphone removal and insertion
CN106162489B (zh) * 2015-03-27 2019-05-10 华为技术有限公司 一种耳机状态检测方法及终端
CN111522525B (zh) 2015-06-05 2023-08-29 苹果公司 基于可佩戴设备的状态改变伴随通信设备行为
US9946509B2 (en) * 2015-11-18 2018-04-17 Gaudio Lab, Inc. Apparatus and method for processing audio signal
CN107371101B (zh) * 2016-05-11 2020-01-10 塞舌尔商元鼎音讯股份有限公司 收音设备及检测该收音设备是否处于使用状态的方法
US10891867B2 (en) 2016-09-15 2021-01-12 The Mitre Corporation Digital copilot
KR102535726B1 (ko) * 2016-11-30 2023-05-24 삼성전자주식회사 이어폰 오장착 검출 방법, 이를 위한 전자 장치 및 저장 매체
US10632278B2 (en) * 2017-07-20 2020-04-28 Bose Corporation Earphones for measuring and entraining respiration
US10682491B2 (en) * 2017-07-20 2020-06-16 Bose Corporation Earphones for measuring and entraining respiration
US11013416B2 (en) 2018-01-26 2021-05-25 Bose Corporation Measuring respiration with an in-ear accelerometer
US10810291B2 (en) * 2018-03-21 2020-10-20 Cirrus Logic, Inc. Ear proximity detection
CN108551631A (zh) * 2018-04-28 2018-09-18 维沃移动通信有限公司 一种音质补偿方法及移动终端
US10321221B1 (en) 2018-05-14 2019-06-11 The Mitre Corporation Aviation intercommunication system to mobile computing device interface
CN109076279A (zh) * 2018-07-17 2018-12-21 万魔声学科技有限公司 耳机、耳机入耳检测的方法及系统
US10491981B1 (en) 2018-12-14 2019-11-26 Apple Inc. Acoustic in ear detection for a hearable device
US11344206B2 (en) 2018-12-18 2022-05-31 Samsung Electronics Co., Ltd. Electronic device including earphone, and method of controlling the electronic device
WO2020129196A1 (ja) * 2018-12-19 2020-06-25 日本電気株式会社 情報処理装置、装着型機器、情報処理方法及び記憶媒体
EP3712883B1 (en) 2019-03-22 2024-04-24 ams AG Audio system and signal processing method for an ear mountable playback device
CN110337052A (zh) * 2019-06-19 2019-10-15 Oppo广东移动通信有限公司 调节声音强度的方法、装置、电子设备和计算机存储介质
CN110278509A (zh) * 2019-07-26 2019-09-24 歌尔股份有限公司 一种无线耳机控制方法、装置及无线耳机和存储介质
CN110996215B (zh) * 2020-02-26 2020-06-02 恒玄科技(北京)有限公司 确定耳机降噪参数的方法、装置以及计算机可读介质
CN111356053A (zh) * 2020-03-11 2020-06-30 瑞声科技(新加坡)有限公司 耳机及其佩戴状态检测方法
CN111818439B (zh) * 2020-07-20 2022-04-19 恒玄科技(上海)股份有限公司 耳机的控制方法、控制装置及存储介质
CH718023A1 (de) * 2020-10-30 2022-05-13 Rocket Science Ag Gerät zur Detektion von Herzton-Signalen eines Benutzers sowie Verfahren zum Überprüfen der Herztätigkeit des Benutzers.
CN112995881B (zh) * 2021-05-08 2021-08-20 恒玄科技(北京)有限公司 一种耳机及其耳机的出入耳检测方法、存储介质
TWI773382B (zh) * 2021-06-15 2022-08-01 台灣立訊精密有限公司 耳機及耳機狀態檢測方法
CN113660597A (zh) * 2021-09-22 2021-11-16 上海深聪半导体有限责任公司 无线耳机的入耳检测方法、装置及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005523066A (ja) 2002-04-19 2005-08-04 コーリンメディカルテクノロジー株式会社 末梢部位の心音信号の記録のための方法と装置
JP4737496B2 (ja) * 2004-07-06 2011-08-03 ソニー株式会社 再生システム、再生装置および方法、記録媒体、並びにプログラム
US20060045304A1 (en) * 2004-09-02 2006-03-02 Maxtor Corporation Smart earphone systems devices and methods
JP2007165940A (ja) * 2005-12-09 2007-06-28 Nec Access Technica Ltd 携帯電話機及び携帯電話機の音響再生動作自動停止方法
EP2002438A2 (en) * 2006-03-24 2008-12-17 Koninklijke Philips Electronics N.V. Device for and method of processing data for a wearable apparatus
DE502006002035D1 (de) * 2006-11-23 2008-12-18 Siemens Audiologische Technik Hörvorrichtung mit automatischer Ausschaltung und entsprechendes Verfahren
US8652040B2 (en) * 2006-12-19 2014-02-18 Valencell, Inc. Telemetric apparatus for health and environmental monitoring
WO2008151125A1 (en) * 2007-06-01 2008-12-11 Manifold Products, Llc Wireless digital audio player
US8705784B2 (en) * 2009-01-23 2014-04-22 Sony Corporation Acoustic in-ear detection for earpiece

Also Published As

Publication number Publication date
US20100189269A1 (en) 2010-07-29
WO2010083895A1 (en) 2010-07-29
KR20110107833A (ko) 2011-10-04
CN102293013A (zh) 2011-12-21
JP2012516090A (ja) 2012-07-12
TW201031232A (en) 2010-08-16
US8199956B2 (en) 2012-06-12
CN102293013B (zh) 2014-09-24
EP2382796A1 (en) 2011-11-02

Similar Documents

Publication Publication Date Title
JP5308537B2 (ja) 音響によるイヤホンの装着検出
EP2382797B1 (en) Acoustic in-ear detection for earpiece
US9486823B2 (en) Off-ear detector for personal listening device with active noise control
JP5395895B2 (ja) 信号処理方法およびシステム
US9516407B2 (en) Active noise control with compensation for error sensing at the eardrum
JP6419222B2 (ja) 音質改善のための方法及びヘッドセット
CN110493678B (zh) 耳机的控制方法、装置、耳机和存储介质
US20100172522A1 (en) Programmable earphone device with customizable controls and heartbeat monitoring
CN104376848B (zh) 语音信号处理方法和装置
JP6360633B2 (ja) イヤーカナルマイクを内蔵するブルートゥースイヤーセットとその制御方法
CN106686494A (zh) 一种可穿戴设备的语音输入控制方法及可穿戴设备
CN110896509A (zh) 耳机佩戴状态确定方法、电子设备控制方法及电子设备
JP2015513854A (ja) モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム
CN106416299A (zh) 具有用于控制至少一个助听器的操作的应用软件的个人通信设备
CN110754096B (zh) 检测耳机用户的话音活动的系统和方法
EP3213527A1 (en) Self-voice occlusion mitigation in headsets
WO2021255415A1 (en) Wear detection
JP2018512754A (ja) 多数のユーザ間でステレオ音声を共有するための技術
CN103905588B (zh) 一种电子设备及控制方法
KR101022312B1 (ko) 이어마이크폰
KR101486194B1 (ko) 이어폰을 이용한 입력 방법 및 장치
EP3955594A1 (en) Feedback control using a correlation measure
CN116208880A (zh) 一种声音信号的方法以及相关设备
JP2009212715A (ja) 補聴器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5308537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees