JP7066705B2 - ヘッドフォンオフイヤー検知 - Google Patents

ヘッドフォンオフイヤー検知 Download PDF

Info

Publication number
JP7066705B2
JP7066705B2 JP2019522287A JP2019522287A JP7066705B2 JP 7066705 B2 JP7066705 B2 JP 7066705B2 JP 2019522287 A JP2019522287 A JP 2019522287A JP 2019522287 A JP2019522287 A JP 2019522287A JP 7066705 B2 JP7066705 B2 JP 7066705B2
Authority
JP
Japan
Prior art keywords
ear
signal
oed
metric
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019522287A
Other languages
English (en)
Other versions
JP2019533953A5 (ja
JP2019533953A (ja
Inventor
クマール,アミット
ラソウド,シャンカー・サワル
ウルツ,マイケル・ジョン
エセリッジ,エリック・ファー
ソレンセン,エリック・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avnera Corp
Original Assignee
Avnera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avnera Corp filed Critical Avnera Corp
Publication of JP2019533953A publication Critical patent/JP2019533953A/ja
Publication of JP2019533953A5 publication Critical patent/JP2019533953A5/ja
Application granted granted Critical
Publication of JP7066705B2 publication Critical patent/JP7066705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827Desired external signals, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3026Feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3027Feedforward
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Headphones And Earphones (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

背景
能動型ノイズ消去(ANC)は、ヘッドフォンを通って音声を聴いているユーザに聴かれる望ましくないノイズを低減するための方法である。ノイズの低減は、通常、ヘッドフォンのスピーカを通ってアンチノイズ信号を再生することによって実現される。アンチノイズ信号は、ANCを実行しない場合に耳腔内に存在する望ましくないノイズ信号の近似負信号である。望ましくないノイズ信号は、アンチノイズ信号と合成される場合、中和される。
一般的なノイズ消去プロセスにおいて、1つ以上のマイクロフォンは、ヘッドフォンの耳カップ内の周囲ノイズまたは残留ノイズをリアルタイムに監視し、スピーカは、周囲ノイズまたは残留ノイズから生成されたアンチノイズ信号を再生する。アンチノイズ信号は、例えば、ヘッドフォンの物理形状およびサイズ、スピーカおよびマイクロフォン変換装置の周波数応答、様々な周波数におけるスピーカ変換装置の遅延、マイクロフォンの感度、スピーカおよびマイク変換装置の配置などの要因に応じて、異なるように生成されてもよい。
フィードフォワードANCにおいて、マイクロフォンは、周囲ノイズを感知するが、スピーカによって再生された音声を殆ど感知しない。換言すれば、フィードフォワードマイクロフォンは、スピーカから直接に来た信号を監視しない。フィードバックANCにおいて、マイクロフォンは、耳腔内の全ての音声信号を感知する位置に配置される。そのため、マイクロフォンは、周囲ノイズおよびスピーカによって再生された音声の合計を感知する。フィードフォワードANCおよびフィードバックANCを組み合わせたシステムは、フィードフォワードマイクロフォンおよびフィードバックマイクロフォンの両方を使用する。
典型的なANCヘッドフォンは、動作するためには電池または他の電源を必要とする電気駆動システムである。電気駆動ヘッドフォンによくある問題は、ユーザがヘッドフォンをオフにせず取り外した場合に、ヘッドフォンが電池を消耗し続けることである。
一部のヘッドフォンは、ユーザがヘッドフォンを着用しているか否かを検知するが、これらの従来の設計は、接触センサまたは磁石などの機械センサに基づいて、ユーザがヘッドフォンを着用しているか否かを判断する。これらのセンサは、ヘッドフォンの一部ではなく、追加の構成要素であるため、ヘッドフォンのコストまたは複雑性を増加する可能性がある。
開示された実施例は、これらの問題および他の問題に対処する。
オンイヤーとして示されているヘッドフォンに組み込まれたオフイヤー検知器の一例を示す図である。 オフイヤーとして示されているヘッドフォンに組み込まれたオフイヤー検知器の一例を示す図である。 オフイヤー検知ネットワークの一例を示す図である。 狭帯域オフイヤー検知および広帯域オフイヤー検知を組み合わせたネットワークの一例を示す図である。 狭帯域オフイヤー検知ネットワークの一例を示す図である。 狭帯域オフイヤー検知(OED)信号処理の動作方法を示す流れ図の一例である。 広帯域オフイヤー検知ネットワークの一例を示す図である。 伝達関数を校正するためのネットワークの一例を示す図である。 伝達関数の一例を示すグラフである。 広帯域OEDメトリックを決定するためのネットワークの一例を示す図である。 歪み検知方法を説明する例示的な流れ図である。 OEDを実行するための方法を説明する例示的な流れ図である。
詳細な説明
本明細書は、ヘッドフォンのANC要素を用いてOEDを実行するための装置、システムおよび/または方法を開示する。例えば、狭帯域OEDシステムを使用することができる。狭帯域OEDシステムにおいて、特定の周波数ビンのOEDトーンを音声信号に挿入する。このOEDトーンは、不可聴周波数に設定されているため、エンドユーザには殆ど聞こえない。スピーカが低周波数で動作しているときの制約によって、このトーンは、ユーザの耳に再生されているときに存在するが、ヘッドフォンを取り外すときに殆ど消散する。したがって、狭帯域処理は、特定の周波数ビンのフィードバック(FB)マイクロフォン信号が閾値を下回るときに、ヘッドフォンが取り外されたことを判断することができる。また、狭帯域処理は、広帯域OEDシステムの構成要素として定義されてもよい。いずれの場合、フィードフォワード(FF)マイクロフォンを用いて、周囲ノイズを捕捉することができる。OEDシステムは、周囲ノイズに基づいてノイズフロアを決定し、OEDトーンをノイズフロアよりも大きくなるように調整することができる。音声信号が音楽を含む場合に、広帯域OEDシステムを利用してもよい。広帯域OEDシステムは、周波数領域で動作する。広帯域OEDシステムは、複数の周波数ビンに亘って差分メトリックを決定する。差分メトリックは、FBマイクロフォン信号から、FFマイクロフォンとFBマイクロフォンとの間に結合された周囲ノイズを除去することによって決定される。その後、FBマイクロフォン信号は、ヘッドフォンがオフイヤーであるときに音声信号と音声信号の理想変化値を表す伝達関数とに基づいて得られたオフイヤー理想値(ideal off-ear value)と比較される。また、得られた値は、ヘッドフォンがオンイヤーであるときに音声信号と音声信号の理想変化値を表す伝達関数とに基づいて得られたオンイヤー理想値(ideal on-ear value)に従って正規化されてもよい。次いで、差分メトリックの周波数ビンに重みを付け、それらの重みを用いて信頼度メトリックを生成する。その後、差分メトリックおよび信頼度メトリックを用いて、イヤフォンが取り外されているか否かを判断する。差分メトリックは、OEDサイクルに亘って平均化され、閾値と比較されてもよい。連続的な差分メトリックを比較することもできる。この場合、値の急激な変化は、状態変化(例えば、オンイヤーからオフイヤーへまたはその逆)を示す。また、歪みメトリックを利用してもよい。歪みメトリックを利用することによって、OEDシステムは、システム内の非線形性によって生成されたエネルギーと所望の信号によって生成されたエネルギーとを区別することができる。信号の位相を利用して、FBマイクロフォンに相関していないFFマイクロフォン内の風ノイズに関連する潜在的なノイズフロア計算誤差を回避することができる。
一般に、本明細書に開示された装置、システムおよび/または方法は、ANCヘッドフォン内の少なくとも1つのマイクロフォンを検知システムの一部として使用して、ヘッドフォンがユーザの耳に着用されているか否かを音響的に判断する。検知システムは、典型的には、機械センサなどの別個のセンサを含まないが、いくつかの例において、別個のセンサを含んでもよい。検知システムによってヘッドフォンが着用されていないと判断された場合に、例えば信号を送信することによって、ANC機能をオフにする、ヘッドフォンの一部をオフにする、ヘッドフォンの全体をオフにする、または接続されているメディアプレーヤを一時停止または停止することによって、電力消費を減らすことまたは他の便利な機能を実現することができる。一方、検知システムによってヘッドフォンが着用されていると判断された場合に、便利な機能として、信号を送信することによって、メディアプレーヤを起動または再起動することができる。感知された情報によって、他の機能を制御することができる。
本開示に使用されている用語「着用されている」および「オンイヤー」(on-ear)は、ヘッドフォンがユーザの耳または鼓膜の近くの通常使用位置またはその近くにあることを意味する。したがって、パッド型またはカップ型ヘッドフォンの場合、「オンイヤー」とは、パッドまたはカップが完全に、実質的にまたは少なくとも部分的にユーザの耳を覆っていることを意味する。その一例は、図1Aに示される。イヤフォン型ヘッドフォンおよびインイヤーモニタの場合に、「オンイヤー」とは、イヤフォンが少なくとも部分的に、実質的にまたは完全にユーザの耳に挿入されていることを意味する。したがって、本開示に使用されている「オフイヤー」(off-ear)という用語は、ヘッドフォンが通常使用位置またはその近くにいないことを意味する。その一例は、図1Bに示されている。図中、ヘッドフォンは、ユーザの首の周りに掛けられている。
開示された装置および方法は、片耳のみまたは両耳に使用されるヘッドフォンに適している。さらに、OED装置および方法は、インイヤーモニタおよびイヤフォンに使用することができる。実際に、本開示に使用されている「ヘッドフォン」という用語は、イヤフォン、インイヤーモニタ、およびユーザの耳を取り囲むまたは耳に押し当てるものを含むパッド型またはカップ型ヘッドフォンを含む。
一般に、ヘッドフォンがオフイヤーである場合に、ヘッドフォン本体とユーザの頭または耳との間に良好な音響シールが存在しない。その結果、耳または鼓膜とヘッドフォンスピーカとの間の空間の音圧は、ヘッドフォンが着用されているときの音圧よりも小さい。言い換えれば、ヘッドフォンを着用しない限り、低い周波数の場合に、ANCヘッドフォンからの音声応答は比較的弱い。実際に、非常に低い周波数の場合に、オンイヤー状態とオフイヤー状態との間の音声応答の差は、20dBを超える。
さらに、ヘッドフォンがオンイヤーである場合に、ヘッドフォンの本体および物理筺体によって、周囲ノイズの受動減衰は、例えば1kHzを超える高周波数の場合に顕著である。しかしながら、100Hz未満の低周波数の場合に、受動減衰は、非常に低くて無視できる。一部のヘッドフォンにおいて、本体および物理筺体は、実際に、低い周囲ノイズを減衰させるのではなく増幅している。また、ANC機能を起動していない場合に、FFマイクロフォンの周囲ノイズの波形とFBマイクロフォンの周囲ノイズの波形とは、(a)非常に低い周波数(一般に100Hz未満の周波数)の場合に強く相関し、(b)高い周波数(一般に3kHzを超える周波数)の場合に完全に相関せず、(c)非常に低い周波数と高い周波数の間では中程度に相間する。これらの音響特徴は、ヘッドフォンがオンイヤーであるか否かを判断するための基礎を提供する。
図1Aは、オンイヤーとして示されているヘッドフォン102に組み込まれたオフイヤー検知器100の一例を示す図である。図1Aのヘッドフォン102は、着用されているまたはオンイヤーであると示されている。図1Bは、ヘッドフォン102がオフイヤーであると示されていることを除いて、図1Aのオフイヤー検知器100を示している。オフイヤー検知器100は、左耳、右耳、または両耳に設けられてもよい。
図2は、図1Aおよび1Bのオフイヤー検知器100の一例であり得るオフイヤー検知ネットワーク200の一例を示す。図2に示された例は、ヘッドフォン202、ANCプロセッサ204、OEDプロセッサ206、およびトーンジェネレータ208であり得るトーンソースを含んでもよい。ヘッドフォン202は、スピーカ210と、FFマイクロフォン212と、FBマイクロフォン214とを含んでもよい。
ANCプロセッサ204およびFFマイクロフォン212は、ANCヘッドフォンのANC機能を実現するために存在する可能性が高いが、オフイヤー検知ネットワーク200のいくつかの例には絶対的に必要ではない。以下に説明するように、トーンジェネレータ208もオプションである。例として、オフイヤー検知ネットワーク200は、ヘッドフォン202に組み込まれた1つ以上の構成要素、ヘッドフォン202に接続された1つ以上の構成要素、または既存の1つ以上の構成要素と共に動作するソフトウェアとして実装されてもよい。例えば、ANCプロセッサ204を駆動するソフトウェアは、オフイヤー検知ネットワーク200を実装するために変更されてもよい。
ANCプロセッサ204は、ヘッドフォン音声信号216を受信し、ANC補償音声信号216をヘッドフォン202に送信する。FFマイクロフォン212は、FFマイクロフォン信号220を生成し、この信号は、ANCプロセッサ204およびOEDプロセッサ206によって受信される。同様に、FBマイクロフォン214は、FBマイクロフォン信号222を生成し、ANCプロセッサ204およびOEDプロセッサ206に送信する。場合によって、OEDプロセッサ206は、ヘッドフォン音声信号216および/または補償音声信号216を受信してもよい。好ましくは、OEDトーンジェネレータ208は、トーン信号224を生成し、この信号は、OEDプロセッサ206およびANCプロセッサ204がヘッドフォン音声信号216を受信する前に、ヘッドフォン音声信号216に挿入される。いくつかの例において、トーン信号224は、OEDプロセッサ206およびANCプロセッサ204がヘッドフォン音声信号216を受信した後に、ヘッドフォン音声信号216に挿入される。OEDプロセッサ206は、ヘッドフォン202が着用されているか否かを示す判断信号226を出力する。
ヘッドフォン音声信号216は、ヘッドフォンのスピーカ210を介して音声再生信号として再生される所望の音声に特有の信号である。通常、ヘッドフォン音声信号216は、音声再生中に、メディアプレーヤ、コンピュータ、ラジオ、携帯電話、CDプレーヤまたはゲーム機などの音源によって生成される。例えば、ユーザがヘッドフォン202を、ユーザによって選択された歌を再生している携帯型メディアプレーヤに接続した場合に、ヘッドフォン音声信号216は、再生されている歌に特有である。本開示において、音声再生信号は、音響信号と呼ばれることがある。
通常、FFマイクロフォン212は、周囲ノイズのレベルをサンプリングし、FBマイクロフォン214は、スピーカ210の出力、すなわち音響信号、およびスピーカ210の周囲ノイズの少なくとも一部をサンプリングする。サンプリングされた部分は、ヘッドフォン202の本体および物理筺体によって減衰させられていない周囲ノイズの一部を含む。一般に、これらのマイクロフォンサンプルは、ANCプロセッサ204にフィードバックされ、ANCプロセッサ204は、マイクロフォンサンプルからアンチノイズ信号を生成し、生成されたアンチノイズ信号をヘッドフォン音声信号216と合成することによって、ヘッドフォン202に与えるANC補償音声信号216を形成する。このANC補償音声信号216によって、スピーカ210は、ノイズ低減音声出力を生成することができる。
トーンソースまたはトーンジェネレータ208は、ヘッドフォン音声信号216に挿入されるトーン信号224を導入または生成する。いくつかの例において、トーンジェネレータ208は、トーン信号224を生成する。他の例において、トーンソースは、記憶されたトーンまたは記憶されたトーン情報からトーン信号224を導入するように構成された記憶位置、例えばフラッシュメモリを含む。トーン信号224が挿入されると、ヘッドフォン音声信号216は、トーン信号224を挿入する前のヘッドフォン音声信号216とトーン信号224との組み合わせになる。したがって、トーン信号224を挿入した後のヘッドフォン音声信号216の処理は、両方を含む。好ましくは、処理されたトーンは、不可聴周波数を有する。そのため、ユーザは、音声信号を聴いているときにこのトーンを聴こえない。また、低い周波数では多くのスピーカ/マイクロフォンの能力が制限されているため、このトーンの周波数は、スピーカ210が確実に再生することができ、FBマイクロフォン214が確実にトーンを記録することができるように十分に高くなければならない。例えば、このトーンは、約15Hz~約30Hzの周波数を有することができる。別の例として、このトーンは、20Hzの周波数を有することができる。いくつかの実装形態において、より高い周波数またはより低い周波数のトーンを使用してもよい。周波数にかかわらず、トーン信号224は、FBマイクロフォン214によって記録され、OEDプロセッサ206に転送されてもよい。場合によって、OEDプロセッサ206は、FBマイクロフォン214によって記録されたトーン信号224の相対強度によって、イヤフォンが取り外されてたことを検知することができる。
いくつかの例において、OEDプロセッサ206は、トーン信号224のレベルを調整するように構成される。具体的には、ノイズのレベルがトーン信号の音量に比べて有意になる(例えば、トーン信号の音量を超える)場合、OEDを実行するOEDプロセッサ206の精度は、悪くなる可能性がある。本明細書において、ネットワーク200に生じたノイズのレベルは、ノイズフロアと呼ばれる。ノイズフロアは、電子ノイズおよび周囲ノイズの両方に影響され得る。電子ノイズは、スピーカ210、FFマイクロフォン212、FBマイクロフォン214、これらの要素の間の信号経路、およびこれらの要素とOEDプロセッサ206との間の信号経路に発生する可能性がある。周囲ノイズは、ネットワーク200動作中にユーザの近傍に存在する環境音波の合計である。OEDプロセッサ206は、例えば、FBマイクロフォン信号222およびFFマイクロフォン信号220に基づいて、合成されたノイズフロアを測定するように構成されてもよい。また、OEDプロセッサ206は、トーン制御信号218を用いて、トーンジェネレータ208によって生成されたトーン信号224の音量を調整することができる。OEDプロセッサ206は、ノイズフロアよりも十分に強く(例えば、大きく)なるようにトーン信号224を調整することができる。例えば、OEDプロセッサ206は、ノイズフロアの音量とトーン信号224の音量との間にマージンを維持することができる。しかしながら、トーン信号224の低い周波数にもかかわらず、一部のユーザがトーン信号224の急激な音量変化を察知することができる。したがって、OEDプロセッサ206は、音量信号224の音量を変更する時に、平滑関数を用いてトーン信号224の音量を徐々に(例えば、10ミリ秒~500ミリ秒の間に)変更する。例えば、OEDプロセッサは、トーン制御信号218を用いて、以下の式1に従って、トーン信号224の音量を調整することができる。
Figure 0007066705000001
式中、現在レベルは、トーン信号224の現在音量を表し、Lは、ノイズフロアの音量とトーン信号224の音量との間のマージンを表し、次のレベルは、トーン信号224の調整後の音量を表し、信号の現在パワーは、受信トーン信号224の現在パワーを表し、ノイズフロアの推定パワーは、音響ノイズおよび電気ノイズを含む受信ノイズフロアの合計推定値を表す。
いくつかの例は、トーンジェネレータ208またはトーン信号224を含まない。例えば、音楽、特に無視できないほどの低音を伴う音楽が演奏されている場合、周囲ノイズが十分大きいであるため、OEDプロセッサ206は、ヘッドフォン202がオンイヤーであるかまたはオフイヤーであるかを確実に判断することができる。いくつかの例において、スピーカ210によって再生される場合に、トーンまたはトーン信号224は、実際のトーンではなくてもよい。その代わりに、トーンまたはトーン信号224は、帯域が制限されているランダムノイズまたは擬似ランダムノイズに対応するもしくはランダムノイズまたは擬似ランダムノイズである。
上述のように、いくつかの例において、オフイヤー検知ネットワーク200は、スピーカ210およびFFマイクロフォン212を含むまたは作動する必要がない。例えば、いくつかの例は、FBマイクロフォン214およびトーンジェネレータ208を含むが、FFマイクロフォン212を含まない。別の例として、いくつかの例は、FBマイクロフォン214およびFFマイクロフォン212の両方を含む。これらの例のうち一部は、トーンジェネレータ208を含むが、その他は、トーンジェネレータ208を含まない。トーンジェネレータ208を含まない例は、スピーカ210を含んでもよく含まなくてもよい。また、いくつかの例は、測定可能なヘッドフォン音声信号216を必要としない。例えば、トーン信号224を含む例は、音源からの測定可能なヘッドフォン音声信号216が存在しなくても、ヘッドフォン202が着用されているか否かを効率的に判断することができる。この場合、以前にヘッドフォン音声信号216に合成されたトーン信号224は、本質的にヘッドフォン音声信号216の全体を構成する。
OEDプロセッサ206は、トーン信号224を音声信号216に挿入し、ノイズフロアおよびスピーカー210とマイクロフォン212および214との間の既知の音響変化(伝達関数として記述される)によって変更されたトーン信号224の残部に対するFFマイクロフォン信号220およびFBマイクロフォン信号222を測定することによって、周波数ビンと知られている比較的狭い周波数帯域でOEDを実行することができる。音声信号216に含まれた音声データ(例えば、音楽)がスピーカ210によって再生される場合、OEDプロセッサは、マイクロフォン212および214によって記録される前の音声信号216の変化に基づいて、広帯域OEDプロセスを実行することによって、OEDを検知することができる。このような広帯域OEDプロセスおよび狭帯域OEDプロセスの様々な例は、以下でより詳細に説明される。
後述するように、OEDプロセッサ206は、フレームOEDメトリックを計算することによって、OEDを実行することができる。一例において、OEDプロセッサは、フレームOEDメトリックがOED閾値を上回るおよび/または下回る場合に、状態変化(例えば、オンイヤーからオフイヤーまたはその逆)を判断する。OEDを実行するときに、信頼度値を用いて、信頼度の低いOEDメトリクスを考慮から除外してもよい。別の例において、OEDプロセッサ206は、OEDメトリックの変化率を考慮してもよい。例えば、OEDメトリックが状態変化マージンよりも速く変化する場合に、OEDプロセッサ206は、閾値に達す前に状態変化を判断することができる。実際には、ヘッドフォンが適切に着用されているときに、変化率の判断は、より高い実効閾値でより迅速に状態変化を判断することができる。
なお、OEDプロセッサ206は、例えば汎用プロセッサ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または他の処理装置によって、様々な技術で実装されてもよい。例えば、OEDプロセッサ206は、対応する信号のサンプリングレートを変更するために、デシメータおよび/または補間器を含んでもよい。また、OEDプロセッサ206は、対応する信号と相互作用するおよび/または対応する信号を処理するために、アナログ-デジタル変換器(ADC)および/またはデジタル-アナログ変換器(DAC)を含んでもよい。OEDプロセッサ206は、四次フィルタ、帯域フィルタなどのような様々なプログラム可能フィルタを用いて、関連信号を処理することができる。また、OEDプロセッサ206は、レジスタ、キャッシュなどのメモリモジュールを含んでもよい。これによって、OEDプロセッサ206に関連する機能をプログラムすることができる。なお、明瞭化のために、図2は、本開示に関連する構成要素のみを示している。したがって、完全に動作可能なシステムは、必要に応じて、本明細書で説明した特定の機能の範囲を超える追加の構成要素を含んでもよい。
要約すると、ネットワーク200は、ヘッドフォンオフイヤー検知を実行するための信号処理装置として機能する。ネットワーク200は、ヘッドフォンカップ内のヘッドフォンスピーカ210に向かって音声信号216を送信するための音声出力を含む。ネットワーク200は、FBマイクロフォン入力を用いて、ヘッドフォンカップ内のFBマイクロフォン214からFB信号222を受信する。また、ネットワーク200は、OED信号プロセッサとしてOEDプロセッサ206を採用する。以下でより詳細に説明するように、OEDプロセッサ206は、周波数領域で動作すると、OEDフレーム上のFB信号222の音声周波数応答を周波数応答受信値として決定するように構成される。また、OEDプロセッサ206は、音声信号216の音声周波数応答と、ヘッドフォンスピーカ210とFBマイクロフォン214との間のオフイヤー伝達関数との積をオンイヤー応答理想値として決定する。次に、OEDプロセッサ206は、周波数応答受信値をオフイヤー周波数応答理想値と比較することによって、差分メトリック(例えば、フレームOEDメトリック620)を生成する。最後に、OEDプロセッサ206は、差分メトリックを用いて、図1Bに示すようにヘッドフォンカップが耳から取り外されているか否かを検知する。さらに、OEDプロセッサ206は、FFマイクロフォン入力を用いて、ヘッドフォンカップの外側のFFマイクロフォン212からFF信号222を受信する。OEDプロセッサ206は、周波数応答受信値を決定するときに、FF信号220とFB信号222との間の相関周波数応答を除去することができる。また、OEDプロセッサ206は、音声信号216の音声周波数応答と、ヘッドフォンスピーカ2120とFBマイクロフォン214との間のオンイヤー伝達関数との積をオンイヤー応答理想値として決定してもよい。OEDプロセッサ206は、オンイヤー応答理想値に基づいて、差分メトリックを正規化することができる。差分メトリックは、以下で説明する式2~5に従って、決定されてもよい。さらに、差分メトリックは、複数の周波数ビンを含むことができ、OEDプロセッサ206は、周波数ビンに重みを付けることができる。OEDプロセッサ206は、周波数ビンの重みの合計を差分メトリック信頼度(例えば、信頼度622)として決定することができる。OEDプロセッサ206は、差分メトリック信頼度を用いて、ヘッドフォンカップが耳から取り外されているか否かを検知することができる。一例において、OEDプロセッサ206は、差分メトリック信頼度が差分メトリック信頼度閾値を上回り且つ差分メトリックが差分メトリック閾値を上回るときに、ヘッドフォンカップが着用されていると判断することができる。別の例において、OEDプロセッサ206は、OEDサイクルに亘って差分メトリックを平均化し、差分メトリックの平均値が差分メトリック閾値を上回る場合に、ヘッドフォンカップが取り外されていると判断することができる。別の例において、複数の差分メトリックは、OEDサイクルに亘って生成され、OED信号プロセッサ206は、差分メトリック間の変化が差分メトリック変化閾値を上回る場合に、ヘッドフォンカップが取り外されていると判断することができる。
また、ネットワーク200は、音声信号がノイズフロアを下回るときに、特定の周波数ビンでOEDトーン224を生成することによって、差分メトリックの生成をサポートするように構成されたトーンジェネレータ208を含んでもよい。さらに、OEDプロセッサ206は、トーンジェネレータ208を制御することによって、ノイズフロアを超えるようにOEDトーン224の音量を維持する。ヘッドフォンは、2つのイヤフォンを含むため、したがって、1対(例えば、左右)のFFマイクロフォン212、スピーカ210およびFBマイクロフォン214を含むことができる。以下により詳細に説明するように、風ノイズは、OEDプロセスに悪影響を及ぼす可能性がある。したがって、OEDプロセッサ206は、FF信号のうち強い信号から風ノイズを検知した場合に、FF信号のうち弱い信号を選択して、ノイズフロアを決定することができる。
図3は、狭帯域オフイヤー検知および広帯域オフイヤー検知を組み合わせたネットワーク300の一例を示している。ネットワーク300は、OEDプロセッサ206内の回路によって実装されてもよい。ネットワーク300は、OEDプロセッサに外側に実装され、OEDプロセッサに接続されているデシメータ302を含むことができる。また、OEDプロセッサは、狭帯域OED回路310、広帯域OED回路304、合成回路306、および平滑化回路308を含んでもよい。
デシメータ302は、入力信号と総称される音声信号216、FBマイクロフォン信号222およびFFマイクロフォン信号220のサンプリングレートを低減するための任意選択の構成要素である。実装形態に応じて、入力信号は、OEDプロセッサによってサポートされるサンプリングレートよりも高いサンプリングレートで捕捉されることがある。したがって、デシメータ302は、他の回路によってサポートされているレートと一致するように入力信号のサンプリングレートを低減する。
狭帯域OED回路310は、OEDトーン信号224に関連する周波数ビン内の音響変化に対してOEDを実行する。広帯域OED回路304は、スピーカ210からの一般的な音声出力、例えば音楽に関連する一組の周波数ビンに集中する。以下図8を参照してより詳細に説明するように、ホワイトノイズオンイヤー伝達関数およびホワイトノイズオフイヤー伝達関数は、一部の周波数で強く相関し、他の周波数で弱く相関することがある。したがって、広帯域OED回路304は、一般的な音声出力によって、理想的なオフイヤー伝達関数が理想的なオンイヤー伝達関数とは異なるスペクトルの部分に引き起こした音響変化に集中することによって、OEDを実行するように構成される。伝達関数は、ヘッドフォン設計に特有であるため、広帯域OED回路304は、異なる例示的な実装の異なる周波数帯域に集中するように調整することができる。主な違いは、狭帯域OED回路310は、不可聴トーンで動作するため、随時動作できる一方、広帯域OED回路304は、可聴周波数で動作するため、ヘッドフォンが音声コンテンツを再生しているときのみ動作することである。しかしながら、広帯域OED回路304は、より広い周波数範囲に亘ってOEDを実行することによって、狭帯域OED回路310のみを使用する場合よりもOED処理の精度を高めることができる。狭帯域OED回路310は、時間領域または周波数領域のいずれかで動作するように実装するできる。両方の領域の実装は、以下で説明する。周波数領域で広帯域OED回路304を実装することは、より実用的である。したがって、いくつかの例において、狭帯域OED回路310は、広帯域OED回路304の一部として実装され、特定の周波数ビンで動作する。以下に説明するように、狭帯域OED回路310および広帯域OED回路304の両方は、入力信号(例えば、間引き音声信号216、FBマイクロフォン信号222およびFFマイクロフォン信号220)で動作して、OEDを実行する。
合成回路306は、狭帯域OED回路310の出力および広帯域OED回路304の出力を使用可能な判断データに合成することができる任意の回路および/またはプロセスである。様々な方法でこれらの出力を合成することができる。例えば、合成回路306は、最小のOED判断値を有する出力を選択することができる。これによって、OED判断は、オフイヤー判断に偏らせられる。また、合成回路306は、最大のOED判断値を有する出力を選択することができる。これによって、OED判断は、オンイヤー判断に偏らせられる。さらに別の手法において、合成回路306は、広帯域OED回路304によって提供された信頼度を使用する。信頼度が信頼度閾値を上回る場合に、広帯域OED回路304のOED判断が利用される。音声出力が小音量または存在しない場合を含む信頼度が信頼度閾値を下回る場合に、狭帯域OED回路310のOED判断が利用される。さらに、狭帯域OED回路310が広帯域OED回路304の一部として実装される例において、合成回路306に加えておよび/またはその代わりに、重み付けプロセスを採用してもよい。
平滑化回路308は、スラッシングを引き起こす可能性のある急激な変化を軽減するようにOED判断値をフィルタリングするための任意の回路またはプロセスである。例えば、平滑化回路308は、個々のOEDメトリックを増減することによって、一連のOEDメトリックを経時的に同様であるように維持することができる。この手法は、異常データを削除することによって、複数のOEDメトリックに基づいて判断を行うことができる。平滑化回路308は、忘却フィルタ、例えば一次無限インパルス応答(IIR)低域フィルタを利用することができる。
広帯域OED回路304および狭帯域OED回路310の両方は、風ノイズに関連する悪影響を軽減することができる。具体的には、ネットワーク300は、OED信号プロセッサ、例えばOEDプロセッサ206を有するため、音声信号216の位相に基づいてFB信号222の位相期待値を決定することができる。したがって、FB信号222に関連する周波数応答受信値の位相とFB信号222に関連する周波数応答受信値の位相期待値との間の位相差が位相マージンを上回るときに、対応する信頼度メトリック(例えば、信頼度622)を減すことができる。
図4は、狭帯域オフイヤー検知ネットワーク400の一例を示している。具体的には、ネットワーク400は、狭帯域OED回路310内の時間領域OEDを実装することができる。ネットワーク400において、音声信号216、FBマイクロフォン信号222およびFFマイクロフォン信号220は、帯域フィルタ402を通過する。帯域フィルタ402は、所定の周波数範囲以外の全ての信号データを除去するように構成されている。例えば、ネットワーク400は、特定の周波数ビンでOEDトーン224の入力信号を検討することができ、帯域フィルタ402は、特定の周波数ビン以外の全てのデータを除去することができる。
伝達関数404は、メモリに格納された値である。伝達関数404は、製造時に較正プロセスに基づいて決定されてもよい。伝達関数404は、イヤフォンがユーザの耳に着用されていない理想状態に、FFマイクロフォン信号220とFBマイクロフォン信号222との間の音響結合量を記述する。例えば、伝達関数404は、ホワイトノイズが音声信号216に存在している場合に決定されてもよい。OED実行中に、伝達関数404は、FFマイクロフォン信号220に乗算された後、FBマイクロフォン信号222から減算される。これは、FFマイクロフォン信号222から、FFマイクロフォン信号220とFBマイクロフォン信号222との間の音響結合期待値を減算することに相当する。このプロセスは、FFマイクロフォンによって記録された周囲ノイズをFBマイクロフォン信号222から除去する。
変動回路406は、特定の周波数ビンにおける音声信号216、FFマイクロフォン信号220およびFBマイクロフォン信号222のエネルギーレベルを測定/決定するように設けられる。また、増幅器410は、FBマイクロフォン信号222との精確比較を行うために、FFマイクロフォン信号220および音声マイクロフォン信号216の利得を修正するまたは利得に重みを付けるように設けられる。比較回路408において、FBマイクロフォン信号222は、音声信号216とFFマイクロフォン信号220との合成信号と比較される。FBマイクロフォン信号222が所定の狭帯域OED閾値を超える値で(重み付けられた)音声信号216とFFマイクロフォン信号との合成信号よりも大きい場合、OEDフラグは、オンイヤーに設定される。FBマイクロフォン信号222が所定の狭帯域OED閾値を超える値で音声信号216とFFマイクロフォン信号との合成信号よりも大きくない場合、OEDフラグは、オフイヤーに設定される。言い換えれば、FBマイクロフォン信号222が減衰された音声信号216およびノイズ220のみを含み、狭帯域OED閾値によって記述されたユーザの耳の音響に関連する追加のエネルギーを含まない場合に、イヤフォンは、ネットワーク400によって記述された時間領域狭帯域処理によってオフイヤーであるまたは耳から取り外されていると判断される。
また、ネットワーク400は、特定の使用事例に適応するように修正されてもよい。例えば、風ノイズは、FBマイクロフォン信号222とFFマイクロフォン信号220との間に無相関ノイズをもたらすことがある。したがって、風ノイズが存在する場合、伝達関数404の除去は、FBマイクロフォン信号222から誤って風ノイズを結合データとして除去してしまい、障害データをもたらす。したがって、ネットワーク400は、比較回路408でFBマイクロフォン信号222の位相を検討するように修正されてもよい。FBマイクロフォン信号222の位相がマージン期待値を上回る場合に、風ノイズに関する誤った結果を避けるため、OEDフラグを変更しなくてもよい。風ノイズに関するこのような修正は、上述した広帯域ネットワーク(例えば、広帯域OED回路304)にも同様に適用可能である。
図5は、例えば、OEDプロセッサ206、狭帯域OED回路310および/またはネットワーク400によって実行される狭帯域オフイヤー検知(OED)信号処理の動作方法500の一例を示す流れ図である。動作502において、トーンジェネレータは、トーン信号を挿入し、OEDプロセッサは、FFマイクロフォン信号およびFBマイクロフォン信号を受信する。トーンジェネレータは、ノイズフロアを上回るようにトーン信号の音量を維持しながら、ユーザが過渡効果を聞き取れないようにトーン信号を増減することができる。ヘッドフォン音声信号、FFマイクロフォン信号、およびFBマイクロフォン信号は、1つ以上の信号サンプルを含むバーストで利用可能である。上述したように、トーン信号およびFFマイクロフォン信号が任意選択であるため、方法500のいくつかの例は、トーン信号を挿入するステップまたはFFマイクロフォン信号220を受信するステップを含まなくてもよい。
FFマイクロフォン信号とFBマイクロフォン信号との間の時間領域周囲ノイズ波形相関は、広帯域信号よりも狭帯域信号の方が優れている。これは、ヘッドフォン筺体の非線形位相応答の影響によるものである。したがって、動作504において、帯域フィルタをヘッドフォン音声信号、FFマイクロフォン信号およびFBマイクロフォン信号に適用することができる。帯域フィルタは、約100Hz未満の中心周波数を含んでもよい。例えば、帯域フィルタは、20Hzの帯域フィルタであってもよい。したがって、帯域フィルタは、約15Hzの下限カットオフ周波数、約30Hzの上限カットオフ周波数、および約23Hzの中心周波数を有する。帯域フィルタは、デジタル帯域フィルタであってもよく、OEDプロセッサの一部であってもよい。例えば、デジタル帯域フィルタは、4つの2次フィルタ(低域および高域にそれぞれ2つずつ)によって構成されてもよい。いくつかの例において、帯域フィルタの代わりに、低域フィルタを使用することができる。例えば、低域フィルタは、約100Hzを超える周波数または約30Hzを超える周波数を減衰させることがある。使用されたフィルタにかかわらず、各信号ストリームのフィルタ状態は、1つのバーストから次のバーストに維持される。
動作506において、OEDプロセッサは、サンプリングされた各サンプルに関連するデータを更新する。例えば、データは、ヘッドフォン音声信号、FFマイクロフォン信号およびFBマイクロフォン信号の各々の累積和メトリックおよび累積二乗和メトリックを含んでもよい。二乗和は、二乗の和である。
動作508において、OEDプロセッサは、所定期間のサンプルを処理するまで、動作504および動作506を繰り返す。例えば、所定期間は、1秒間のサンプルであってもよい。他の期間を使用してもよい。
動作510において、OEDプロセッサは、過去の動作に計算されたメトリックから、ヘッドフォン音声信号、FFマイクロフォン信号およびFBマイクロフォン信号のうち1つ以上の信号の特性、例えばパワーまたはエネルギーを決定する。
動作512において、OEDプロセッサは、関連する閾値を計算する。閾値は、音声信号パワーおよびFFマイクロフォン信号パワーの関数として計算されてもよい。例えば、音声信号内の音楽および/またはFFマイクロフォン信号内に記録された周囲ノイズの音量は、経時的に著しく変化する可能性がある。したがって、このようなシナリオに対処するために、必要に応じて、所定のOEDパラメータに基づいて対応の閾値および/またはマージンを更新することができる。動作514において、動作512で決定された閾値および動作510で決定された信号パワーに基づいて、OEDメトリックを導出する。
動作516において、OEDプロセッサは、ヘッドフォンがオンイヤーであるかまたはオフイヤーであるかを判断する。例えば、OEDプロセッサは、ヘッドフォン音声信号、FFマイクロフォン信号およびFBマイクロフォン信号のうち、1つ以上の信号のパワーまたはエネルギーを1つ以上の閾値またはパラメータと比較することができる。閾値またはパラメータは、1つ以上の既知の条件下で、1つ以上のヘッドフォン音声信号、FFマイクロフォン信号、またはFBマイクロフォン信号、またはこれらの信号のパワーまたはエネルギーに対応し得る。既知の条件は、例えば、ヘッドフォンがオンイヤーまたはオフイヤーであることが既に分かっている場合、またはOEDトーンが再生されているまたは再生されていない場合を含み得る。既知の条件下の信号値、エネルギー値およびパワー値が分かる場合、これらの既知の値を未知の条件から決定された値と比較することによって、ヘッドフォンが耳から取り外れているか否かを判断することができる。
また、動作516は、OEDプロセッサが一定の時間内の複数のメトリックを平均化することおよび/またはOED判断信号226などの判断信号を出力することを含んでもよい。OED判断信号226は、ヘッドフォンがオンイヤーまたはオフイヤーであるという判断に少なくとも部分的に依存する。いくつかの例において、動作516は、広帯域OED回路304の判断と比較するために、判断信号を合成回路306に転送するまたは出力することを含んでもよい。
図6は、広帯域オフイヤー検知ネットワーク600の一例を示している。ネットワーク600を用いて、OEDプロセッサ206内の広帯域OED回路304を実装することができる。ネットワーク600は、周波数領域で動作するように構成される。さらに、ネットワーク600は、狭帯域OEDおよび広帯域OEDの両方を実行することができるため、狭帯域OED回路310を実装することもできる。
Figure 0007066705000002
OED回路606は、周波数領域でOED処理を実行するための回路である。具体的には、OED回路606は、OEDメトリック620を生成する。OEDメトリック620は、複数の周波数ビンに亘って音響応答測定値とオフイヤー音響応答理想値との間の差を記述するための正規化加重値である。以下により詳細に説明するように、音響応答測定値は、音声信号216、FBマイクロフォン信号222およびFFマイクロフォン信号220に基づいて決定される。OEDメトリック620は、複数の周波数ビンに亘って音響応答測定値とオフイヤー音響応答理想値との間の差を記述する値によって正規化される。次いで、OEDメトリック620に適用された重みを集計して、信頼度値622を生成することができる。その後、信頼度値622は、OEDプロセッサによって使用され、OEDメトリック620を信頼する度合を決定することができる。周波数領域OEDプロセスは、以下で図9を参照してより詳細に説明される。
次に、時間平均化回路610を用いて、忘却フィルタ、例えば一次無限インパルス応答(IIR)低域フィルタに基づいて、特定の期間に亘って複数のOEDメトリック620を平均化することができる。平均値は、対応する信頼値622に従って重み付けられてもよい。言い換えれば、時間平均回路610は、一定の時間内の様々なフレームOEDメトリック620の信頼度622の差を検討するように設計されている。平均化の時に、より高い信頼度622に関連するフレームOEDメトリック620は、強調/信頼されている一方、より低い信頼度622に関連するフレームOEDメトリック620は、強調されないおよび/または忘れられる。時間平均化回路610を用いて、OED判断プロセスにおいてスラッシングを軽減するための平滑化フィルタ308を実装することができる。
また、ネットワーク600は、トーン信号224を生成するときに、トーンジェネレータ208を制御するためのトーン制御信号218を生成することができる任意の回路またはプロセスである適応型OEDトーンレベル制御回路608を含むことができる。適応型OEDトーンレベル制御回路608は、FFマイクロフォン信号220に基づいて周囲ノイズフロアを決定し、それに応じてトーン信号224を調整するためのトーン制御信号218を生成する。適応型OEDトーンレベル制御回路608は、例えば上記の式1に従って、トーン信号224の音量をノイズフロアの音量の近くおよび/またはその上方に維持するように、適切なトーン信号224を決定することができる。また、適応型OEDトーンレベル制御回路608は、上述のように、平滑化関数を適用することによって、一部のユーザによって察知される可能性のあるトーン信号224の音量の急激な変化を軽減することができる。
Figure 0007066705000003
図8は、例えばヘッドフォン内のスピーカ210とFBマイクロフォン214との間の伝達関数の一例を示すグラフ800である。グラフ800は、例示的なオンイヤー伝達関数804およびオフイヤー伝達関数802を示している。伝達関数802および804は、指数目盛りの周波数(Hz)に対する大きさ(dB)で示される。この例において、伝達関数802および804は、約500Hzを超える範囲で強く相関している。しかしながら、伝達関数802および804は、約5Hz~約500Hzの間では異なる。したがって、ヘッドフォンがグラフ800によって示される伝達関数を有する場合、広帯域OED回路304などの広帯域OED回路は、約5Hz~約500Hzまでの帯域で動作することができる。
説明のために、伝達関数802と伝達関数804との中間にOEDライン806を描いた。図面上、伝達関数802と伝達関数804との間に測定信号をグラフ化する場合、OEDは、OEDライン806に対して決定される。各周波数ビンは、OEDライン806と比較することができる。測定信号が特定の周波数ビンでOEDライン806を下回る大きさを有する場合、その周波数は、オフイヤーであると考えられる。測定信号が特定の周波数ビンでOEDライン806を上回る大きさを有する場合、その周波数は、オンイヤーであると考えられる。OEDライン806の上方または下方の距離は、判断の信頼度を示す。したがって、特定の周波数ビンの測定信号とOEDライン806との間の距離を用いて、その周波数ビンに対する重みを生成することができる。したがって、OEDライン806付近の決定には重みを殆ど与えず、オンイヤー伝達関数804またはオフイヤー伝達関数802付近の決定には大きな重みを与える。伝達関数802および804の間の距離が異なる周波数で変化すると、OEDメトリックは、正規化される。したがって、例えば、伝達関数差が小さい場合の小さい変動は、伝達関数差が大きくなる周波数における大きい変動と同様に考慮される。重み付けられ且つ正規化されたOEDメトリックを決定するための例示的な式は、以下に説明する。
図9は、広帯域OEDメトリックを決定するためのネットワーク900の一例を示している。例えば、ネットワーク900を用いて、OED回路206、広帯域OED回路304、狭帯域OED回路310、合成回路306、平滑化回路308、OED回路606および/またはそれらの組み合わせを実装することができる。ネットワーク900は、高速フーリエ変換(FFT)回路902を含む。FFT回路902は、さらなる計算のために入力信号を周波数領域に変換することができる任意の回路またはプロセスである。FFT回路902は、音声信号216、FBマイクロフォン信号222およびFFマイクロフォン信号224を周波数領域に変換する。例えば、FFT回路902は、ウィンドウ処理を用いて、512点のFFTを入力信号に適用することができる。FFT回路902は、変換された入力信号を音声値決定回路904に転送する。
音声値決定回路904は、伝達関数604および入力信号を受信し、FBマイクロフォン信号222で受信した音声信号216の無相関周波数を決定する。この値は、式2に従って決定されてもよい。
Figure 0007066705000004
音声値決定回路904は、これらの値を任意の過渡除去回路908に(またはいくつかの例において平滑化回路910に直接に)転送することができる。過渡除去回路908は、周波数応答ウィンドウの前縁および後縁における過渡的なタイミング不整合を除去することができる任意の回路またはプロセスである。いくつかの例において、過渡除去回路908は、ウィンドウ処理によってこれらの過渡応答を除去することができる。他の例において、過渡除去回路908は、逆FFT(IFFT)を計算し、IFFTを値に適用してこれらの値を時間領域に変換し、予想過渡長に等しい一部の値をゼロにし、別のFFTを適用してこれらの値を周波数領域に返すことによって、過渡応答を除去する。次に、音声値決定回路904は、これらの値を平滑化回路910に転送する。平滑化回路308に関して上述したように、平滑化回路910は、忘却フィルタを用いて、これらの値を平滑化することができる。
次に、差分メトリック正規化回路910は、フレームOEDメトリック620を計算する。具体的には、差分メトリック正規化回路910は、オフイヤー周波数応答推定値と実際の応答受信値とを比較することによって、両者の違いを定量化する。得られた結果は、オンイヤー応答推定値に基づいて正規化される。言い換えれば、フレームOEDメトリック620は、オフイヤー理想信号からの受信信号の偏差度を含み、この偏差度は、周波数ビンにおけるオフイヤー理想信号からのオンイヤー理想信号の偏差によって正規化されてもよい。例えば、フレームOEDメトリック620は、以下の式5に従って決定されてもよい。
Figure 0007066705000005
式中、差分メトリック正規化値は、フレームOEDメトリック620を表し、他の値は、式3および4で説明したものと同様である。
次に、フレームOEDメトリック620は、重み付け回路914に転送される。重み付け回路914は、フレームOEDメトリック620内の周波数ビンに重みを付けることができる任意の回路またはプロセスである。重み付け回路914は、正確な値を強調し、疑わしい値を強調しないように選択された複数のルールに基づいて、フレームOEDメトリック620内の周波数ビンに重みを付けることができる。以下は、フレームOEDメトリック620に重みを付けるために使用できる例示的な規則である。第1に、外来情報を除去するために、選択された周波数ビンの重みを0に付けることができる。例えば、トーンの周波数ビンおよび関連する音声帯域の周波数ビン(例えば、20Hzおよび100Hz~500Hz)の重みを1に付け、他の周波数ビンの重みを0に付けることができる。第2に、決定時にノイズの影響を軽減するために、ノイズフロア未満の信号を有するビンの重みを0に付けることができる。第3に、周波数ビンを互いに比較することによって、最も強力なビンに比べて無視できるパワー(例えば、パワー差閾値未満)を有する周波数ビンの重みを減らすことができる。これによって、有用な情報を持つ可能性が最も低い周波数ビンは強調されなくなる。第4に、オンイヤー/オフイヤー理想値と測定値との間に最も大きい差を有する周波数ビンの重みを増加する。これによって、最も決定的である可能性が高い周波数ビンは強調される。第5に、オンイヤー/オフイヤー理想値と測定値との間に小さい差(例えば、パワー差閾値未満)を有する周波数ビンの重みを減らす。これによって、上述したようにOEDライン806付近の周波数ビンは強調されない。その理由は、ランダムな測定分散に起因して、これらの周波数ビンは、誤った結果を与える可能性が高いからである。第6に、(例えば、両側の近隣よりも大きい)極大値を有する周波数ビンは、最も決定的である可能性が高いため、その重みを1に付ける。次に、合計回路916は、重みの合計を決定することによって、フレームOED信頼度622の値を決定することができる。言い換えれば、高い重みの数が多ければ、フレームOEDメトリック620が正確である可能性が高いことを示し、一方、高い重みがない場合、フレームOEDメトリック620が不正確である可能性が高いことを示す(例えば、ノイズの多いサンプル、OEDライン806付近の周波数ビンは、オンイヤーまたはオフイヤーなどを示すことができる)。点乗積回路912は、重みの点乗積をフレームOEDメトリック620に適用することによって、重みをフレームOEDメトリック620に適用する。次に、フレームOEDメトリック620は、複数の複数の周波数ビン決定に基づいた判断として機能することができる。
フレームOEDメトリック620およびフレームOED信頼度622の値は、歪み棄却回路918を介して転送されてもよい。歪み棄却回路918は、顕著な歪みの存在を判定し、歪みが歪み閾値を上回る場合にフレームOED信頼度622の値を0に減すことができる回路またはプロセスである。具体的には、ネットワーク900は、音声信号216が比較的線形でFBマイクロフォンに流れると仮定して設計される。しかしながら、場合によって、音声信号216は、FBマイクロフォンを飽和させることによって、クリッピングを引き起こす。このようなことは、例えば、ユーザが大音量の音楽を聴いている時に、ヘッドフォンを取り外した場合に生じる可能性がある。この場合、歪みによって、FBマイクロフォンで受信した信号が理想的なオフイヤー伝達関数とは非常に異なり、その結果、オンイヤー判定を引き起こす可能性がある。したがって、フレームOEDメトリック620がオンイヤー判定を示すときに、歪み棄却回路918は、歪みメトリックを計算する。歪みメトリックは、(例えば、OEDトーンビンを除き)非ゼロ重みを有するビンに亘る離調正規化差分メトリックの変動として定義されてもよい。歪みメトリックの別の解釈は、線形フィットに対する最小平均二乗誤差である。歪みメトリックは、2つ以上のビンが非ゼロ重みを有する場合にのみ適用される。以下、歪み棄却をより詳細に説明する。要約すると、歪み棄却回路918は、オンイヤーであると判断されたときに歪みメトリックを生成し、歪みが閾値を超えるときにフレームOED信頼度622に重みを付ける(これによって、システムがフレームOEDメトリック620を無視する)。
図10は、例えば、OEDプロセッサ206の広帯域OED回路304のOED回路606内で動作する歪み棄却回路918および/またはそれらの組み合わせによって実行される歪み検知方法1000を示す例示的な流れ図である。ブロック1002において、例えばネットワーク900に関して説明したプロセスに従って、フレームOEDメトリック620およびフレームOED信頼度622を計算する。ブロック1004において、フレームOEDメトリックをOED閾値と比較することによって、ヘッドフォンがオンイヤーであるか否かを判定する。上述したように、歪み検知方法1000は、主にヘッドフォンがオンイヤーであると不適切に考えられた場合に動作する。したがって、フレームOEDメトリックがOED閾値以下である場合に、ヘッドフォンがオフイヤーであると判断され、歪みを考慮する必要がない。したがって、フレームOEDメトリックがOED閾値以下である場合に、方法1000は、ブロック1016に進み終了し、次のOEDフレームに移動する。フレームOEDメトリックがOED閾値よりも大きい場合に、オンイヤーであると判断されるため、歪みを考慮する必要がある。したがって、フレームOEDメトリックがOED閾値よりも大きい場合に、方法は、ブロック1006に進む。
ブロック1006において、歪みメトリックを計算する。歪みメトリックを計算することは、フレームOEDメトリック内の周波数ビンポイント間の最適線を計算することを含む。歪みメトリックは、最適線の勾配の近似値に対する平均二乗誤差である。言い換えれば、ブロック1006は、線形フィットを計算することによって、周波数領域サンプルの歪みを検知する。ブロック1008において、歪みメトリックを歪み閾値と比較する。歪み閾値が平均二乗誤差であるため、歪みメトリックの平均二乗誤差が歪み閾値によって特定された許容可能な平均二乗誤差よりも大きい場合に、歪みを考慮する必要がある。一例として、歪み閾値は、約2%に設定されてもよい。したがって、歪みメトリックが歪み閾値よりも大きくない場合に、方法1000は、ブロック1016に進み終了する。歪みメトリックが歪み閾値よりも大きい場合に、方法1000は、ブロック1010に進む。
一般に、より低い周波数ではFBマイクロフォンがより少ない信号エネルギーを受信するため、低周波数ビンでは歪みの影響がより顕著になる可能性がある。そのため、少量の歪みが狭帯域周波数ビンに悪影響を与えるが、高い周波数には影響を殆ど与えない。したがって、ブロック1010において、狭帯域周波数ビンを棄却し、狭帯域周波数ビンを含まないようにフレームOEDメトリックおよびフレームOED信頼度を再計算する。次にブロック1012において、再計算されたフレームOEDメトリックをOED閾値と比較する。フレームOEDメトリックがOED閾値を超えない場合に、ヘッドフォンがオフイヤーであると見なされ、歪みを考慮する必要がない。したがって、狭帯域周波数ビンを含まないフレームOEDメトリックがOED閾値を超えない場合、オフイヤー判断が維持され、方法1000は、ブロック1016に進み終了する。狭帯域周波数ビンを含まないフレームOEDメトリックが依然としてOED閾値を超えている(例えば、オンイヤーであると見なされている)場合、歪みは、誤ったOED判断を引き起こす可能性がある。したがって、方法は、ブロック1014に進む。ブロック1014において、OED信頼度は、ゼロに設定される。これによって、フレームOEDメトリックは無視される。その後、方法1000は、ブロック1016に進み終了し、次のフレームOED判断に移動する。
要約すると、方法1000に従って、OEDプロセッサ206などのOED信号プロセッサは、複数の周波数ビンに亘って差分メトリック(例えば、フレームメトリック)の変動に基づいて歪みメトリックを決定し、歪みメトリックが歪み閾値を超える場合に差分メトリックを無視することができる。
図11は、例えば、OEDプロセッサ206、広帯域OED回路304、狭帯域OED回路310、ネットワーク600、ネットワーク900、本明細書に討論された他の任意の処理回路および/またはそれらの任意の組み合わせを用いてOEDを実行するための方法1100を示す例示的な流れ図である。ブロック1102において、トーンジェネレータを用いて、不可聴周波数などの特定の周波数ビンでOEDトーンを生成する。ブロック1104において、ヘッドフォンスピーカに転送される音声信号に、OEDトーンを挿入する。ブロック1106において、FFマイクロフォン信号からノイズフロアを検知する。ブロック1108において、ノイズフロアの音量に基づいて、OEDトーンの音量を調整する。例えば、OEDトーンの音量とノイズフロアの音量との間にトーンマージンを維持することができる。また、例えば上記の式1を用いて、一定時間に亘ってOEDトーンに対する音量調整の大きさをOED変化閾値未満に維持することができる。
ブロック1110で、FBマイクロフォンからのFB信号を音声信号と比較することによって、差分メトリックを生成する。差分メトリックは、本明細書に討論した任意のOEDメトリックおよび/または信頼度決定プロセスに従って決定することができる。例えば、差分メトリックは、OEDフレーム上のFB信号の音声周波数応答を周波数応答受信値として決定し、音声信号の音声周波数応答と、ヘッドフォンスピーカとFBマイクロフォンとの間のオフイヤー伝達関数との積をオンイヤー応答理想値として決定し、周波数応答受信値をオフイヤー周波数応答理想値と比較することによって、差分メトリックを生成することによって生成されてもよい。差分メトリックは、特定の周波数ビン(例えば、不可聴周波数ビン)を含む複数の周波数ビンに亘って決定されてもよい。さらに、周波数ビンに重みを付けることによって差分メトリックを決定し、周波数ビンの重みの合計として差分メトリック信頼度を決定し、差分メトリック信頼度を用いてヘッドフォンカップが耳から取り外されているか否かを検知することができる。
最後に、ブロック1112において、差分メトリックを用いて、ヘッドフォンカップが耳に着用されているか/耳から取り外されているかを検知する。例えば、差分メトリックがOED閾値を上回るおよび/または下回る場合に、状態変化を判断することができる。OEDを実行するときに信頼度が低い差分メトリックを考慮から除外するように、信頼度値を利用してもよい。別の例において、差分メトリックが状態変化マージンよりも速く変化するときに、状態変化を検知してもよい。別の例として、差分メトリックの加重平均値が閾値を上回る/下回るときに、状態変化を判断してもよい。この場合の重み付けは、信頼度および忘却フィルタに基づて行われる。
本開示の例は、特に製作されたハードウェア上、ファームウェア上、デジタル信号処理装置上、またはプログラムされた命令に従って動作するプロセッサを含む特別にプログラムされた汎用コンピュータ上で動作することができる。本明細書に使用された「コントローラ」または「プロセッサ」という用語は、マイクロプロセッサ、マイクロコンピュータ、特定用途向け集積回路(ASIC)および専用ハードウェアコントローラを含むことを意図している。本開示の1つ以上の態様は、1つ以上のプロセッサ(監視モジュールを含む)または他の装置によって実行される1つ以上のプログラムモジュールなどのコンピュータ使用可能データおよびコンピュータ実行可能命令(例えば、コンピュータプログラム製品)に具体化することができる。一般に、プログラムモジュールは、コンピュータまたは他の装置のプロセッサによって実行されるときに特定のタスクを実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。コンピュータ実行可能命令は、非一時的コンピュータ可読媒体、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、キャッシュ、電気的消去可能プログラム可能な読み出し専用メモリ(EEPROM)、フラッシュメモリまたは他のメモリ、任意の技術で実装された他の揮発性または不揮発性媒体、取り外し可能または取り外し不可能な媒体に格納することができる。コンピュータ可読媒体は、信号自体および一時的な信号伝送形態を除外する。また、機能は、全体的にまたは部分的にファームウェアまたはハードウェア等価物、例えば、集積回路、フィールドプログラマブルゲートアレイ(FPGA)などで具現化することができる。特定のデータ構造を用いて、本開示の1つ以上の態様をより効果的に実施することができる。このようなデータ構造は、本明細書に記載のコンピュータ実行可能命令およびコンピュータ使用可能データの範囲に含まれると考えられる。
本開示の態様は、様々な修正形態および代替形態で動作する。特定の態様は、図面において例として示されており、以下に詳細に説明される。しかしながら、本明細書に開示された例は、説明を明確にする目的で提示されたものであり、特に明記しない限り、開示された一般的概念の範囲を本明細書に記載された特定の例に限定することを意図していない。したがって、本開示は、添付の図面および特許請求の範囲に照らして説明された態様の全ての修正物、等価物および代替物を網羅することを意図している。
本明細書における実施形態、実施態様および実施例などの言及は、説明された項目が特定の特徴、構造または特性を含み得ることを示している。しかしながら、開示された態様の全ては、必ずしも特定の特徴、構造または特性を含まなくてもよい。また、このような表現は、特に明記しない限り、必ずしも同一の態様を指すとは限らない。さらに、特定の態様に関連して特定の特徴、構造または特性を説明した場合、このような特徴、構造、または特性は、他の態様に関連して明示的に説明されたか否かにかかわらず、別の態様に適用することができる。
実施例
以下、本明細書に開示された技術の例示的な実施例を提供する。本技術の実施形態は、以下に記載される実施例のうち任意の1つ以上または任意の組み合わせを含んでもよい。
実施例1は、ヘッドフォンオフイヤー検知用の信号処理装置を含む。信号処理装置は、ヘッドフォンカップ内のヘッドフォンスピーカに向かって音声信号を送信するための音声出力と、ヘッドフォンカップ内のフィードバック(FB)マイクロフォンからFB信号を受信するためのFBマイクロフォン入力と、オフイヤー検知(OED)信号プロセッサとを備え、オフイヤー検知(OED)信号プロセッサは、OEDフレーム上のFB信号の音声周波数応答を周波数応答受信値として決定し、音声信号の音声周波数応答と、ヘッドフォンスピーカとFBマイクロフォンとの間のオフイヤー伝達関数との積をオンイヤー応答理想値として決定し、周波数応答受信値をオフイヤー周波数応答理想値と比較することによって、差分メトリックを生成し、差分メトリックを用いてヘッドフォンカップが耳から取り外されているか否かを検知するように構成されている。
実施例2は、実施例1の信号処理装置を含み、ヘッドフォンカップの外側のFFマイクロフォンからFF信号を受信するためのフィードフォワード(FF)マイクロフォン入力をさらに備え、OED信号プロセッサは、周波数応答受信値を決定するときに、FF信号とFB信号との間の相関周波数応答を除去するようにさらに構成されている。
実施例3は、実施例1~2のいずれかの信号処理装置を含み、OED信号プロセッサは、音声信号の音声周波数応答と、ヘッドフォンスピーカとFBマイクロフォンとの間のオンイヤー伝達関数との積をオンイヤー応答理想値として決定するようにさらに構成されている。
実施例4は、実施例1~3のいずれかの信号処理装置を含み、OED信号プロセッサは、オンイヤー応答理想値に基づいて差分メトリックを正規化するようにさらに構成されている。
実施例5は、実施例1~4のいずれかの信号処理装置を含み、差分メトリックは、以下の式に従って決定され、
Figure 0007066705000006
式中、受信値は、周波数応答受信値を表し、オフイヤー理想値は、オフイヤー周波数応答理想値を表し、オンイヤー理想値は、オンイヤー周波数応答理想値を表す。
実施例6は、実施例1~5のいずれかの信号処理装置を含み、差分メトリックは、複数の周波数ビンを含み、OED信号プロセッサは、周波数ビンに重みを付けるようにさらに構成されている。
実施例7は、実施例1~6のいずれかの信号処理装置を含み、OED信号プロセッサは、周波数ビンの重みの合計を差分メトリック信頼度として決定し、差分メトリック信頼度を用いて、ヘッドフォンカップが耳から取り外されているか否かを検知するようにさらに構成されている。
実施例8は、実施例1~7のいずれかの信号処理装置を含み、OED信号プロセッサは、差分メトリック信頼度が差分メトリック信頼度閾値を上回り且つ差分メトリックが差分メトリック閾値を上回るときに、ヘッドフォンカップが着用されていると判断するようにさらに構成されている。
実施例9は、実施例1~8のいずれかの信号処理装置を含み、音声信号がノイズフロアを下回るときに、特定の周波数ビンでOEDトーンを生成することによって、差分メトリックの生成をサポートするように構成されたトーンジェネレータをさらに備える。
実施例10は、実施例1~9のいずれかの信号処理装置を含み、OED信号プロセッサは、トーンジェネレータを制御することによって、ノイズフロアトーンパワーに対するOEDトーンパワーの比にプログラム可能なマージンを維持するようにさらに構成されている。
実施例11は、実施例1~10のいずれかの信号処理装置をさらに含み、左側フィードフォワード(FF)マイクロフォンから左側FF信号を受信するための左側FFマイクロフォン入力と、右側FFマイクロフォンから右側FF信号を受信するための右側FFマイクロフォン入力とを備え、OED信号プロセッサは、FF信号のうち強い信号から風ノイズを検知した場合に、FF信号のうち弱い信号を選択して、ノイズフロアを決定するようにさらに構成されている。
実施例12は、実施例1~11のいずれかの信号処理装置を含み、差分メトリックは、OEDサイクルに亘って平均化され、OED信号プロセッサは、差分メトリックの平均値が差分メトリック閾値を上回る場合に、ヘッドフォンカップが取り外されていると判断するようにさらに構成されている。
実施例13は、実施例1~12のいずれかの信号処理装置を含み、差分メトリックを含む複数の差分メトリックは、OEDサイクルに亘って生成され、OED信号プロセッサは、差分メトリック間の変化が差分メトリック変化閾値を上回る場合に、ヘッドフォンカップが取り外されていると判断するようにさらに構成されている。
実施例14は、実施例1~13のいずれかの信号処理装置を含み、OED信号プロセッサは、複数の周波数ビンに亘る差分メトリックの変動に基づいて、歪みメトリックを決定し、歪みメトリックが歪み閾値を上回る場合に、差分メトリックを無視するようにさらに構成されている。
実施例15は、実施例1~14のいずれかの信号処理装置を含み、OED信号プロセッサは、音声信号の位相に基づいて、FB信号の位相期待値を決定し、FB信号に関連する周波数応答受信値の位相とFB信号に関連する周波数応答受信値の位相期待値との差が位相マージンを上回る場合に、差分メトリックに対応する信頼度メトリックを減らすようにさらに構成されている。
実施例16は、トーンジェネレータを用いて、特定の周波数ビンでオフイヤー検知(OED)トーンを生成するステップと、OEDトーンを、ヘッドフォンスピーカに転送される音声信号に挿入するステップと、フィードフォワード(FF)マイクロフォン信号からノイズフロアを検知するステップと、ノイズフロアの音量に基づいてOEDトーンの音量を調整するステップと、フィードバック(FB)マイクロフォンからのFB信号を音声信号と比較することによって、差分メトリックを生成するステップと、差分メトリックを用いて、ヘッドフォンカップが耳から取り外されているか否かを検知するステップとを含む方法を含む。
実施例17は、実施例16の方法を含み、OEDトーンの音量とノイズフロアの音量との間には、トーンマージンが存在する。
実施例18は、実施例16~17のいずれかの方法を含み、ヘッドフォンカップが取り外されているか否かを検知するステップは、差分メトリックが閾値を超えているか否かを判断することを含む。
実施例19は、実施例16~18のいずれかの方法を含み、差分メトリックは、OEDフレーム上のFB信号の音声周波数応答を周波数応答受信値として決定し、音声信号の音声周波数応答と、ヘッドフォンスピーカとFBマイクロフォンとの間のオフイヤー伝達関数との積をオンイヤー応答理想値として決定し、周波数応答受信値をオフイヤー周波数応答理想値と比較することによって、差分メトリックを生成することによって生成される。
実施例20は、実施例16~19のいずれかの方法を含み、差分メトリックは、特定の周波数ビンを含む複数の周波数ビンに亘って決定され、方法は、周波数ビンに重みを付けるステップと、周波数ビンの重みの合計を差分メトリック信頼度として決定するステップと、差分メトリック信頼度を用いて、ヘッドフォンカップが耳から取り外されているか否かを検知するステップとをさらに含む。
実施例21は、非一時的メモリに格納され、プロセッサによって実行されるとヘッドフォンセットに実施例1~15のいずれかの機能または実施例16~19のいずれかの方法を実行させるコンピュータプログラム製品を含む。
開示された主題の前述した実施例は、既に説明されたまたは当業者に明らかである多くの利点を有する。しかしながら、開示された装置、システムまたは方法の全ては、これらの利点または特徴の全てを備える必要がない。
さらに、書面記載は、特定の特徴を言及する。開示された本明細書は、これらの特定の特徴の全ての可能な組み合わせを含むことを理解すべきである。特定の態様または実施例に開示された特定の特徴は、可能な範囲で他の態様および実施例に適用することができる。
また、本願において2つ以上の所定の工程または操作を有する方法を言及する場合、文脈上でその可能性を排除しない限り、所定の工程または操作は、任意の順序でまたは同時に実施されてもよい。
本開示の特定の例が例示の目的で例示され記載されてきたが、理解すべきことは、本開示の精神および範囲から逸脱することなく様々な修正を行うことができることである。したがって、本開示は、添付の特許請求の範囲のみによって限定される。

Claims (20)

  1. ヘッドフォンオフイヤー検知用の信号処理装置であって、
    ヘッドフォンカップ内のヘッドフォンスピーカに向かって音声信号を送信するための音声出力と、
    前記ヘッドフォンカップ内のフィードバックマイクロフォンからフィードバック信号を受信するためのフィードバックマイクロフォン入力と、
    オフイヤー検知信号プロセッサとを備え、
    前記オフイヤー検知信号プロセッサは、
    オフイヤー検知フレーム上の前記フィードバック信号の音声周波数応答を周波数応答受信値として決定し、
    前記音声信号の音声周波数応答と、前記ヘッドフォンスピーカと前記フィードバックマイクロフォンとの間のオフイヤー伝達関数との積をオフイヤー応答理想値として決定し、
    前記周波数応答受信値を前記オフイヤー周波数応答理想値と比較することによって、差分メトリックを生成し、
    前記差分メトリックを用いて、前記ヘッドフォンカップが耳から取り外されているか否かを検知するように構成されている、信号処理装置。
  2. 前記ヘッドフォンカップの外側のフィードフォワードマイクロフォンからフィードフォワード信号を受信するためのフィードフォワードマイクロフォン入力をさらに備え、
    前記オフイヤー検知信号プロセッサは、前記周波数応答受信値を決定するときに、前記フィードフォワード信号と前記フィードバック信号との間の相関周波数応答を除去するようにさらに構成されている、請求項1に記載の信号処理装置。
  3. 前記オフイヤー検知信号プロセッサは、前記音声信号の音声周波数応答と、前記ヘッドフォンスピーカと前記フィードバックマイクロフォンとの間のオンイヤー伝達関数との積をオンイヤー応答理想値として決定するようにさらに構成されている、請求項2に記載の信号処理装置。
  4. 前記オフイヤー検知信号プロセッサは、前記オンイヤー応答理想値に基づいて前記差分メトリックを正規化するようにさらに構成されている、請求項3に記載の信号処理装置。
  5. 前記差分メトリックは、以下の式に従って決定され、
    Figure 0007066705000007
    式中、受信値は、周波数応答受信値を表し、オフイヤー理想値は、オフイヤー周波数応答理想値を表し、オンイヤー理想値は、オンイヤー周波数応答理想値を表す、請求項4に記載の信号処理装置。
  6. 前記差分メトリックは、複数の周波数ビンを含み、
    前記オフイヤー検知信号プロセッサは、前記周波数ビンに重みを付けるようにさらに構成されている、請求項2に記載の信号処理装置。
  7. 前記オフイヤー検知信号プロセッサは、周波数ビンの重みの合計を差分メトリック信頼度として決定し、前記差分メトリック信頼度を用いて、前記ヘッドフォンカップが前記耳から取り外されているか否かを検知するようにさらに構成されている、請求項6に記載の信号処理装置。
  8. 前記オフイヤー検知信号プロセッサは、前記差分メトリック信頼度が差分メトリック信頼度閾値を上回り且つ前記差分メトリックが差分メトリック閾値を上回るときに、前記ヘッドフォンカップが着用されていると判断するようにさらに構成されている、請求項7に記載の信号処理装置。
  9. 前記音声信号がノイズフロアを下回るときに、特定の周波数ビンでオフイヤー検知トーンを生成することによって、前記差分メトリックの生成をサポートするように構成されたトーンジェネレータをさらに備える、請求項6に記載の信号処理装置。
  10. 前記オフイヤー検知信号プロセッサは、前記トーンジェネレータを制御することによって、ノイズフロアトーンパワーに対するオフイヤー検知トーンパワーの比にプログラム可能なマージンを維持するようにさらに構成されている、請求項9に記載の信号処理装置。
  11. 左側フィードフォワードマイクロフォンから左側フィードフォワード信号を受信するための左側フィードフォワードマイクロフォン入力と、
    右側フィードフォワードマイクロフォンから右側フィードフォワード信号を受信するための右側フィードフォワードマイクロフォン入力とを備え、
    前記オフイヤー検知信号プロセッサは、前記フィードフォワード信号のうち強い信号から風ノイズを検知した場合に、前記フィードフォワード信号のうち弱い信号を選択して、前記ノイズフロアを決定するようにさらに構成されている、請求項9記載の信号処理装置。
  12. 前記差分メトリックは、オフイヤー検知サイクルに亘って平均化され、
    前記オフイヤー検知信号プロセッサは、前記差分メトリックの平均値が差分メトリック閾値を上回る場合に、前記ヘッドフォンカップが取り外されていると判断するようにさらに構成されている、請求項1に記載の信号処理装置。
  13. 前記差分メトリックを含む複数の差分メトリックは、オフイヤー検知サイクルに亘って生成され、
    前記オフイヤー検知信号プロセッサは、前記差分メトリック間の変化が差分メトリック変化閾値を上回る場合に、前記ヘッドフォンカップが取り外されていると判断するようにさらに構成されている、請求項1に記載の信号処理装置。
  14. 前記オフイヤー検知信号プロセッサは、
    複数の周波数ビンに亘る前記差分メトリックの変動に基づいて、歪みメトリックを決定し、
    前記歪みメトリックが歪み閾値を上回る場合に、前記差分メトリックを無視するようにさらに構成されている、請求項1に記載の信号処理装置。
  15. 前記オフイヤー検知信号プロセッサは、
    前記音声信号の位相に基づいて、前記フィードバック信号の位相期待値を決定し、
    前記フィードバック信号に関連する周波数応答受信値の位相と前記フィードバック信号に関連する前記周波数応答受信値の前記位相期待値との差が位相マージンを上回る場合に、前記差分メトリックに対応する信頼度メトリックを減らすようにさらに構成されている、請求項1に記載の信号処理装置。
  16. トーンジェネレータを用いて、特定の周波数ビンでオフイヤー検知トーンを生成するステップと、
    前記オフイヤー検知トーンを、ヘッドフォンカップ内のヘッドフォンスピーカに転送される音声信号に挿入するステップと、
    フィードフォワードマイクロフォン信号からノイズフロアを検知するステップと、
    前記ノイズフロアの音量に基づいて前記オフイヤー検知トーンの音量を調整するステップと、
    フィードバックマイクロフォンからのフィードバック信号を前記音声信号と比較することによって、差分メトリックを生成するステップと、
    前記差分メトリックを用いて、前記ヘッドフォンカップが耳から取り外されているか否かを検知するステップとを含む、方法。
  17. 前記オフイヤー検知トーンの前記音量と前記ノイズフロアの前記音量との間には、トーンマージンが存在する、請求項16に記載の方法。
  18. 前記ヘッドフォンカップが取り外されているか否かを検知するステップは、前記差分メトリックが閾値を超えているか否かを判断することを含む、請求項16に記載の方法。
  19. 前記差分メトリックは、
    オフイヤー検知フレーム上の前記フィードバック信号の音声周波数応答を周波数応答受信値として決定し、
    前記音声信号の音声周波数応答と、前記ヘッドフォンスピーカと前記フィードバックマイクロフォンとの間のオフイヤー伝達関数との積をオフイヤー応答理想値として決定し、
    前記周波数応答受信値を前記オフイヤー周波数応答理想値と比較することによって、差分メトリックを生成することによって生成される、請求項16に記載の方法。
  20. 前記差分メトリックは、前記特定の周波数ビンを含む複数の周波数ビンに亘って決定され、
    前記方法は、
    前記周波数ビンに重みを付けるステップと、
    周波数ビンの重みの合計を差分メトリック信頼度として決定するステップと、
    前記差分メトリック信頼度を用いて、前記ヘッドフォンカップが前記耳から取り外されているか否かを検知するステップとをさらに含む、請求項19に記載の方法。
JP2019522287A 2016-10-24 2017-10-24 ヘッドフォンオフイヤー検知 Active JP7066705B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662412206P 2016-10-24 2016-10-24
US62/412,206 2016-10-24
US201762467731P 2017-03-06 2017-03-06
US62/467,731 2017-03-06
PCT/US2017/058128 WO2018081154A1 (en) 2016-10-24 2017-10-24 Headphone off-ear detection

Publications (3)

Publication Number Publication Date
JP2019533953A JP2019533953A (ja) 2019-11-21
JP2019533953A5 JP2019533953A5 (ja) 2020-12-03
JP7066705B2 true JP7066705B2 (ja) 2022-05-13

Family

ID=60269957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019522287A Active JP7066705B2 (ja) 2016-10-24 2017-10-24 ヘッドフォンオフイヤー検知

Country Status (7)

Country Link
US (4) US9980034B2 (ja)
EP (1) EP3529800B1 (ja)
JP (1) JP7066705B2 (ja)
KR (1) KR102498095B1 (ja)
CN (1) CN110291581B (ja)
TW (1) TWI754687B (ja)
WO (1) WO2018081154A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805708B2 (en) * 2016-04-20 2020-10-13 Huawei Technologies Co., Ltd. Headset sound channel control method and system, and related device
JP7066705B2 (ja) 2016-10-24 2022-05-13 アバネラ コーポレイション ヘッドフォンオフイヤー検知
US10564925B2 (en) 2017-02-07 2020-02-18 Avnera Corporation User voice activity detection methods, devices, assemblies, and components
US9894452B1 (en) * 2017-02-24 2018-02-13 Bose Corporation Off-head detection of in-ear headset
DE102017215825B3 (de) * 2017-09-07 2018-10-31 Sivantos Pte. Ltd. Verfahren zum Erkennen eines Defektes in einem Hörinstrument
GB201719041D0 (en) 2017-10-10 2018-01-03 Cirrus Logic Int Semiconductor Ltd Dynamic on ear headset detection
CN111149369B (zh) 2017-10-10 2022-05-31 思睿逻辑国际半导体有限公司 头戴式受话器耳上状态检测
CN108551631A (zh) * 2018-04-28 2018-09-18 维沃移动通信有限公司 一种音质补偿方法及移动终端
WO2020014151A1 (en) 2018-07-09 2020-01-16 Avnera Corporation Headphone off-ear detection
US10923097B2 (en) * 2018-08-20 2021-02-16 Cirrus Logic, Inc. Pinna proximity detection
JP7286938B2 (ja) * 2018-10-18 2023-06-06 ヤマハ株式会社 音響出力装置および音響出力方法
US10924858B2 (en) 2018-11-07 2021-02-16 Google Llc Shared earbuds detection
US10462551B1 (en) 2018-12-06 2019-10-29 Bose Corporation Wearable audio device with head on/off state detection
US11205437B1 (en) * 2018-12-11 2021-12-21 Amazon Technologies, Inc. Acoustic echo cancellation control
EP3712883B1 (en) * 2019-03-22 2024-04-24 ams AG Audio system and signal processing method for an ear mountable playback device
CN111988690B (zh) * 2019-05-23 2023-06-27 小鸟创新(北京)科技有限公司 一种耳机佩戴状态检测方法、装置和耳机
CN110351646B (zh) * 2019-06-19 2021-01-22 歌尔科技有限公司 一种用于头戴式耳机的佩戴检测方法及头戴式耳机
US10748521B1 (en) * 2019-06-19 2020-08-18 Bose Corporation Real-time detection of conditions in acoustic devices
DE102020117780A1 (de) 2019-07-08 2021-01-14 Apple Inc. Akustische erfassung der passung von in-ohr-kopfhörern
US11470413B2 (en) 2019-07-08 2022-10-11 Apple Inc. Acoustic detection of in-ear headphone fit
US11706555B2 (en) 2019-07-08 2023-07-18 Apple Inc. Setup management for ear tip selection fitting process
US11172298B2 (en) * 2019-07-08 2021-11-09 Apple Inc. Systems, methods, and user interfaces for headphone fit adjustment and audio output control
CN110769354B (zh) * 2019-10-25 2021-11-30 歌尔股份有限公司 一种用户语音检测装置、方法及耳机
US11240578B2 (en) 2019-12-20 2022-02-01 Cirrus Logic, Inc. Systems and methods for on ear detection of headsets
US11322131B2 (en) 2020-01-30 2022-05-03 Cirrus Logic, Inc. Systems and methods for on ear detection of headsets
US11503398B2 (en) * 2020-02-07 2022-11-15 Dsp Group Ltd. In-ear detection utilizing earbud feedback microphone
EP3886455A1 (en) 2020-03-25 2021-09-29 Nokia Technologies Oy Controlling audio output
US11722178B2 (en) 2020-06-01 2023-08-08 Apple Inc. Systems, methods, and graphical user interfaces for automatic audio routing
US11941319B2 (en) 2020-07-20 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices
US11122350B1 (en) * 2020-08-18 2021-09-14 Cirrus Logic, Inc. Method and apparatus for on ear detect
US11523243B2 (en) 2020-09-25 2022-12-06 Apple Inc. Systems, methods, and graphical user interfaces for using spatialized audio during communication sessions
TWI760939B (zh) * 2020-11-25 2022-04-11 瑞昱半導體股份有限公司 音訊處理電路以及音訊處理方法
US11303998B1 (en) * 2021-02-09 2022-04-12 Cisco Technology, Inc. Wearing position detection of boomless headset
CN112929809A (zh) * 2021-03-08 2021-06-08 音曼(北京)科技有限公司 一种主动降噪耳机校验方法
US11388513B1 (en) 2021-03-24 2022-07-12 Iyo Inc. Ear-mountable listening device with orientation discovery for rotational correction of microphone array outputs
CN113132885B (zh) * 2021-04-16 2022-10-04 深圳木芯科技有限公司 基于双麦克风能量差异判别耳机佩戴状态的方法
CN113573226B (zh) * 2021-05-08 2023-06-02 恒玄科技(北京)有限公司 一种耳机及其耳机的出入耳检测方法、存储介质
CN113240950B (zh) * 2021-05-20 2022-11-22 深圳市蔚来集团实业有限公司 一种脖挂式胎教脑力智力开发用仪器
CN113453112A (zh) * 2021-06-15 2021-09-28 台湾立讯精密有限公司 耳机及耳机状态检测方法
KR20240039520A (ko) * 2022-09-19 2024-03-26 삼성전자주식회사 음향 신호를 출력하기 위한 전자 장치 및 방법
CN117440307B (zh) * 2023-12-20 2024-03-22 深圳市昂思科技有限公司 一种智能耳机检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530034A (ja) 1998-11-09 2002-09-10 ヴェーデクス・アクティーセルスカプ 参照信号プロセッサを備えた補聴器内の信号プロセスを現場で測定し現場で補正または調整するための方法
JP2009207053A (ja) 2008-02-29 2009-09-10 Victor Co Of Japan Ltd ヘッドホン,ヘッドホンシステム,及びヘッドホンが接続された情報再生装置の電源制御方法
JP2009232423A (ja) 2008-03-25 2009-10-08 Panasonic Corp 音響出力装置、携帯端末装置および耳装着判定方法
JP2012244522A (ja) 2011-05-23 2012-12-10 Yamaha Corp 音響再生制御装置
JP2015023499A (ja) 2013-07-22 2015-02-02 船井電機株式会社 音声処理システム及び音声処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397901B (zh) * 2004-12-21 2013-06-01 Dolby Lab Licensing Corp 控制音訊信號比響度特性之方法及其相關裝置與電腦程式
WO2008061260A2 (en) * 2006-11-18 2008-05-22 Personics Holdings Inc. Method and device for personalized hearing
US8363846B1 (en) * 2007-03-09 2013-01-29 National Semiconductor Corporation Frequency domain signal processor for close talking differential microphone array
US8705784B2 (en) * 2009-01-23 2014-04-22 Sony Corporation Acoustic in-ear detection for earpiece
US8699719B2 (en) * 2009-03-30 2014-04-15 Bose Corporation Personal acoustic device position determination
US8238567B2 (en) * 2009-03-30 2012-08-07 Bose Corporation Personal acoustic device position determination
US8908877B2 (en) * 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US8958571B2 (en) * 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9107001B2 (en) 2012-10-02 2015-08-11 Mh Acoustics, Llc Earphones having configurable microphone arrays
US9106989B2 (en) * 2013-03-13 2015-08-11 Cirrus Logic, Inc. Adaptive-noise canceling (ANC) effectiveness estimation and correction in a personal audio device
US9635480B2 (en) 2013-03-15 2017-04-25 Cirrus Logic, Inc. Speaker impedance monitoring
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9264803B1 (en) * 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
US9107011B2 (en) * 2013-07-03 2015-08-11 Sonetics Holdings, Inc. Headset with fit detection system
US9578417B2 (en) * 2013-09-16 2017-02-21 Cirrus Logic, Inc. Systems and methods for detection of load impedance of a transducer device coupled to an audio device
US9576588B2 (en) * 2014-02-10 2017-02-21 Apple Inc. Close-talk detector for personal listening device with adaptive active noise control
US20160300562A1 (en) * 2015-04-08 2016-10-13 Apple Inc. Adaptive feedback control for earbuds, headphones, and handsets
US9967647B2 (en) * 2015-07-10 2018-05-08 Avnera Corporation Off-ear and on-ear headphone detection
US9860626B2 (en) * 2016-05-18 2018-01-02 Bose Corporation On/off head detection of personal acoustic device
US10750302B1 (en) * 2016-09-26 2020-08-18 Amazon Technologies, Inc. Wearable device don/doff sensor
JP7066705B2 (ja) 2016-10-24 2022-05-13 アバネラ コーポレイション ヘッドフォンオフイヤー検知
US9838812B1 (en) * 2016-11-03 2017-12-05 Bose Corporation On/off head detection of personal acoustic device using an earpiece microphone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530034A (ja) 1998-11-09 2002-09-10 ヴェーデクス・アクティーセルスカプ 参照信号プロセッサを備えた補聴器内の信号プロセスを現場で測定し現場で補正または調整するための方法
JP2009207053A (ja) 2008-02-29 2009-09-10 Victor Co Of Japan Ltd ヘッドホン,ヘッドホンシステム,及びヘッドホンが接続された情報再生装置の電源制御方法
JP2009232423A (ja) 2008-03-25 2009-10-08 Panasonic Corp 音響出力装置、携帯端末装置および耳装着判定方法
JP2012244522A (ja) 2011-05-23 2012-12-10 Yamaha Corp 音響再生制御装置
JP2015023499A (ja) 2013-07-22 2015-02-02 船井電機株式会社 音声処理システム及び音声処理装置

Also Published As

Publication number Publication date
US9980034B2 (en) 2018-05-22
US11006201B2 (en) 2021-05-11
US10448140B2 (en) 2019-10-15
US20200137478A1 (en) 2020-04-30
EP3529800A1 (en) 2019-08-28
KR102498095B1 (ko) 2023-02-08
WO2018081154A1 (en) 2018-05-03
TWI754687B (zh) 2022-02-11
CN110291581B (zh) 2023-11-03
US20180115815A1 (en) 2018-04-26
KR20190086680A (ko) 2019-07-23
CN110291581A (zh) 2019-09-27
US20180270564A1 (en) 2018-09-20
EP3529800B1 (en) 2023-04-19
JP2019533953A (ja) 2019-11-21
TW201820313A (zh) 2018-06-01
US20190174218A1 (en) 2019-06-06
US10200776B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
JP7066705B2 (ja) ヘッドフォンオフイヤー検知
JP6144334B2 (ja) 適応雑音消去を有するパーソナルオーディオデバイスにおける周波数および方向依存周囲音の取り扱い
TWI739128B (zh) 耳機脫離耳朵偵測
US9728179B2 (en) Calibration and stabilization of an active noise cancelation system
JP4469898B2 (ja) 外耳道共鳴補正装置
US8675884B2 (en) Method and a system for processing signals
CN114846819A (zh) 用于个人音频设备诊断的方法、装置和系统
US20100061564A1 (en) Ambient noise reduction system
US11922917B2 (en) Audio system and signal processing method for an ear mountable playback device
WO2022048334A1 (zh) 检测方法、装置、耳机和可读存储介质
JP2023116465A (ja) ロバストな適応ノイズキャンセリングシステムおよび方法
US20220343886A1 (en) Audio system and signal processing method for an ear mountable playback device
WO2022042862A1 (en) Earphone device and method for earphone device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220427

R150 Certificate of patent or registration of utility model

Ref document number: 7066705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150