JP7237993B2 - オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法 - Google Patents

オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法 Download PDF

Info

Publication number
JP7237993B2
JP7237993B2 JP2020569897A JP2020569897A JP7237993B2 JP 7237993 B2 JP7237993 B2 JP 7237993B2 JP 2020569897 A JP2020569897 A JP 2020569897A JP 2020569897 A JP2020569897 A JP 2020569897A JP 7237993 B2 JP7237993 B2 JP 7237993B2
Authority
JP
Japan
Prior art keywords
drc
signal
feedforward
path
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569897A
Other languages
English (en)
Other versions
JP2021529980A (ja
Inventor
ニコラス アール クラーク，
Original Assignee
ミミ ヒアリング テクノロジーズ ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18178873.8A external-priority patent/EP3584927B1/en
Application filed by ミミ ヒアリング テクノロジーズ ゲーエムベーハー filed Critical ミミ ヒアリング テクノロジーズ ゲーエムベーハー
Publication of JP2021529980A publication Critical patent/JP2021529980A/ja
Application granted granted Critical
Publication of JP7237993B2 publication Critical patent/JP7237993B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/20—Combinations of two or more types of control, e.g. gain control and tone control in frequency-selective amplifiers
    • H03G9/24—Combinations of two or more types of control, e.g. gain control and tone control in frequency-selective amplifiers having semiconductor devices
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/26—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifying stages as well as in frequency-selective amplifying stages
    • H03G9/30—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifying stages as well as in frequency-selective amplifying stages all amplifying stages having semiconductor devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/356—Amplitude, e.g. amplitude shift or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Description

本発明は、全体として、デジタル信号処理（ＤＳＰ）、音響工学、及び聴覚学の分野に関し、より詳細には、オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法、例えば、強化されたリスニング体験をオーディオデバイスで提供するシステム及び方法に関する。
従来のＤＳＰサウンドパーソナライゼーションの手法は、多くの場合、ユーザの聴覚プロファイルに応じて補償的な周波数ゲインを適用するイコライゼーション技術に依拠している（例えば、米国特許第９，１３８，１７８号、第９，４６８，４０１号、第９，６８０，４３８号、第９８９８２４８号を参照）。一般に、ユーザが聴覚閾値の上昇を示す周波数を特定するためには、純音閾値（ＰＴＴ）聴覚検査が用いられる。そして、オーディオグラムデータに基づいて、周波数出力が適宜に変調される。その際、ユーザのために音響体験を拡張するアプローチは一次元的なものである。ゲインにより、ユーザは、以前に聞き取れなかった周波数を再び捕らえることができるようになるが、後に音の大きさからくる不快を感じる可能性がある。感音性難聴の聴取者は、聴覚閾値が上がっているにもかかわらず、正常聴覚の聴取者と比較した場合、一般的には、不快閾値がほぼ同じであるか、または低くすらある。この点で、ダイナミックレンジが狭くなり、ＥＱゲインを単純に追加するだけでは、長期的には聴覚の健康状態に悪影響を及ぼすことになる（図１）。
ダイナミックレンジ圧縮（ＤＲＣ）を使用すると、大きな音の音量を下げながら静かな音を増幅し、すなわちオーディオのダイナミックレンジを狭めることで、この問題に対処することができる。しかし、これは、低周波数の騒音が、関心のある高周波数の音の増幅を妨げる可能性があるために問題をもたらし得る。この理由から、補聴器用プロセッサには、微弱な音は大幅に増幅されるが高強度の音は増幅されない、広ダイナミックレンジ圧縮を採用している。この点で、従来の補聴器は、広ダイナミックレンジの音が聴取者に関連する実社会の状況での使用のために設計されており、つまり、聴取者は、目の前で人が大きな声で話していることなどの音響情報の意味を理解するのを望む一方で、同時に、通りを歩きながら、遠くから近づいてくる車のかすかな音に気付くことができるようになることを望む。このことは、実際的な実社会の問題には有効であるが、モバイルデバイスまたはその他の類似のデバイスで消費されるオーディオコンテンツは、日常生活で遭遇する音とは全く異なる信号統計を有するため、聴取者に有益なサウンドパーソナライゼーション体験を提供するには異なる処理戦略が求められる。
健康人の聴覚の機能処理をデジタル方式で再現する機能により、聴覚障害（ＨＩ）を持つユーザにとって、より自然で明瞭なリスニング体験が可能になる。ごく最近まで人間の耳の物理学は十分に解明されていなかった。人間の耳は、音環境を理解するために、音を脳への伝達に最適な形式に前処理する。この前処理は、いくつかの階層的な信号プロセス及びフィードバックループとしてモデル化することができ、その多くは非線形であるために、複雑な非線形機構となる。難聴は、典型的には高音域から始まるが、難聴があることを自覚している聴取者は、一般に、高音域の音が聞こえないことについて不平を言うことはない。その代わりに、その聴取者らは、雑音の多い環境でのリスニングや、オーディオストリームなどの複雑に混ざり合った音の細部を聞き取ることが困難であると報告している。要するに、離調音により、ＨＩの個人に対しては情報が他の周波数のエネルギーで覆い隠されやすくなり、以前は細部まで明瞭かつ豊かであった音楽が曖昧になってしまう。これは、音楽自体が非常にセルフマスキング的なものであるためである。
聴覚が悪化すると、耳の信号調整機能が低下し始め、結果として、ＨＩ聴取者は、複雑な音響場面において関心のある音を理解するために、より多大な知的努力を費やす必要がある（さもなければ情報を完全に聞き逃すことになる）。オーディオグラムにおける閾値の上昇は、単に聴覚感度が低下したということだけでなく、微弱音の感知を不能にする影響を持つ聴覚系中の何らかの深層プロセスの機能不全の結果である。
最近の研究では、中耳の内側の基底膜、内側オリーブ蝸牛複合体、ならびに内有毛細胞及び外有毛細胞の相互接続をモデル化して、人間の耳の物理的性質をより適切にモデル化することが試みられた。Ｃｌａｒｋ ｅｔ ａｌ．（２０１２）は、補聴方式技術を基に、基底膜に対する内側オリーブ蝸牛の減衰効果を模倣して、人間の聴覚をより適切にモデル化するアルゴリズムを開発した。それによって、前述の事柄からのデータが示唆するように、ノイズ中の音声のロバスト性を改善する可能性がある（Ｃｌａｒｋ ｅｔ ａｌ．， Ａ ｆｒｅｑｕｅｎｃｙ－ｓｅｌｅｃｔｉｖｅ ｆｅｅｄｂａｃｋ ｍｏｄｅｌ ｏｆ ａｕｄｉｔｏｒｙ ｅｆｆｅｒｅｎｔ ｓｕｐｐｒｅｓｓｉｏｎ ａｎｄ ｉｔｓ ｉｍｐｌｉｃａｔｉｏｎｓ ｆｏｒ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｓｐｅｅｃｈ ｉｎ ｎｏｉｓｅ． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ ａｃｏｕｓｔｉｃａｌ ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， Ｖｏｌｕｍｅ １３２， ｉｓｓｕｅ ３， ｐａｇｅｓ １５３５ ｔｏ １５４１， ２０１２を参照のこと）。この結果は、スペクトル分解された系内で、遅延フィードバック減衰制御（ＤＦＡＣ）を双対共鳴非線形（ＤＲＮＬ）アルゴリズムに組み込むことによって達成される（ＤＲＮＬについては、Ｅ．Ｌｏｐｅｚ－Ｐｏｖｅｄａ ａｎｄ Ｒ．Ｍｅｄｄｉｓ． Ａ ｈｕｍａｎ ｎｏｎｌｉｎｅａｒ ｃｏｃｈｌｅａｒｆｉｌｔｅｒｂａｎｋ． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ ａｃｏｕｓｔｉｃａｌ ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ，Ｖｏｌｕｍｅ １１０，ｉｓｓｕｅ ６，Ｐａｇｅｓ ３１０７ ｔｏ ３１１８，２００１を参照のこと）。ＤＲＮＬアルゴリズムは、瞬時ダイナミックレンジ圧縮を含む。
ただし、このアルゴリズムは、聴覚系をモデル化するための枠組みとしてのみ機能し、音の増大のために特化されていなかった。この点で、このアルゴリズムは、歪み成分に対する制御の欠如に起因した主観的な聴覚体験に際してのいくつかの欠点を有する。これらの欠点には、歪みを制御する能力の低下と、（狭帯域フィルタと組み合わせて使用した場合）音の時間的スミアリングを生じさせ、その結果として明瞭度を低下させる可能性のある、周波数分解能の制限、及び位相歪みとが含まれる。つまり、このアルゴリズムは、難聴のユーザが使用した場合、実社会での使用事例のいくつかの態様を改善できる可能性はあるが、オーディオとのからみでは、より幅広いカテゴリの聴取者のリスニング体験を向上させることができない。したがって、本発明の目的は、聴取者に有益なサウンドパーソナライゼーションを提供する、改良された、生物学的知見に基づいたＤＳＰを作り出すことである。
既知の先行技術で提起された問題は、以下に説明する本発明において少なくとも部分的に解決される。本発明による特徴は独立請求項中に明示され、その有利な実施態様は従属請求項に示される。特許請求の範囲の特徴は、技術的に意味のある任意の様式で組み合わせることができ、以下の明細書からの説明と同様に、本発明の更なる実施形態を示す図からの特徴も考慮に入れることができる。
健康人の耳の機能処理をより忠実に模倣する、改良された、生物学的知見に基づいたＤＳＰアルゴリズムを作り出すことにより、本提示技術は、先行技術のＤＳＰ手法が内包する制限、すなわち、帯域間の群遅延差によって引き起こされる周波数分解能の低さと時間的スミアリングとを解決する。この点で、本発明は、難聴の聴取者と、低から中程度の難聴を示す個人との両者に、強化されたリスニング体験をオーディオデバイスで提供するものであり、両者はより明瞭なリスニング体験を享受する。
全体として、本技術は、オーディオデバイスで再生するためのオーディオ信号を処理する方法を特徴としている。特に、本方法は、オーディオ信号を処理して、オーディオデバイスで（例えば、再生されたときに）強化された聴覚体験を提供する方法であり得る。
一態様によれば、オーディオデバイスで再生するためのオーディオ信号を処理する方法は、ａ）バンドパスフィルタ（例えば、入力バンドパスフィルタ）を使用して、オーディオ信号を複数の周波数帯域にスペクトル分解する（例えば、複数のサブバンド信号にスペクトル分解し、各サブバンド信号はそれぞれの周波数帯域にある）ことを含み得る。本方法は、ｂ）周波数帯域ごとに、周波数帯域内のオーディオ信号（例えば、サブバンド信号）をそれぞれの変調器に供給し、変調器の出力から、周波数帯域内のオーディオ信号を、それぞれの第１のダイナミックレンジコンプレッサに（例えば、第１のＤＲＣの例としてのフィードフォワードＤＲＣに）供給することを更に含み得る。フィードフォワードＤＲＣは、それぞれの周波数帯域（またはサブバンド信号）の第１の処理経路の一部であり得、周波数帯域内の（変調された）オーディオ信号（例えば、サブバンド信号）は、第１の処理経路に供給され得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。本方法は、ｃ）周波数帯域ごとに、周波数帯域内の変調されたオーディオ信号（例えば、変調されたサブバンド信号）をフィードフォワード圧縮して、それぞれの周波数帯域内のフィードフォワード圧縮オーディオ信号（例えば、フィードフォワード圧縮されたサブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。本方法は、ｄ）周波数帯域ごとに、それぞれの圧縮出力からの各フィードフォワード圧縮周波数帯域をフィードバック圧縮することを更に含み得る。この目的のために、各フィードフォワード圧縮周波数帯域は、それぞれの第２のＤＲＣを含むそれぞれの第２の処理経路に供給され得る。第２の処理経路は、フィードバック経路と呼ばれる場合がある。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｃの圧縮入力で減衰を提供することができる。本方法は、ｅ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
上記のように構成される提案された方法は、ユーザに強化されたリスニング体験を提供するという利点と技術的効果とを有する。これは、健康人の聴覚系の機能処理を模倣する技術を使用してオーディオ信号を処理することによって達成される。
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２～ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば１２８～５１２の範囲になり得る。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ～３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
いくつかの実施形態では、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
別の態様によれば、オーディオ信号を処理して（例えば、再生されたときに）、強化された聴覚体験をオーディオデバイスで提供する方法は、未処理のオーディオ信号を第１の信号経路と第２の信号経路とに分割することと、第１の信号経路でオーディオ信号を処理することと、第１の信号経路と第２の信号経路との出力をある比率で再結合することとを含み得る。第１の信号経路における処理は、ａ）バンドパスフィルタを使用して、第１の信号経路で、オーディオ信号の複数のサブバンド信号へのスペクトル分解を実行することを含み得る。第１の信号経路における処理は、ｂ）サブバンド信号ごとに、サブバンド信号をそれぞれの変調器に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣを含むそれぞれの第１の処理経路に供給することを更に含み得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。第１の信号経路における処理は、ｃ）サブバンド信号ごとに、それぞれの第１のＤＲＣによってサブバンド信号をフィードフォワード圧縮して、それぞれの周波数帯域でフィードフォワード圧縮されたオーディオ信号（例えば、フィードフォワード圧縮サブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。第１の信号経路における処理は、ｄ）それぞれの圧縮出力からの各フィードフォワード圧縮周波数帯域をフィードバック圧縮することを更に含み得る。この目的のために、各フィードフォワード圧縮周波数帯域は、それぞれの第２のＤＲＣを含むそれぞれの第２の処理経路に供給され得る。第２の処理経路は、フィードバック経路と呼ばれる場合がある。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｃの圧縮入力で減衰を提供することができる。第１の信号経路における処理は、ｅ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２～ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８～５１２の範囲であり得る。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ～３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
いくつかの実施形態では、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
別の態様によれば、オーディオ信号を処理して（例えば、再生されたときに）、強化された聴覚体験をオーディオデバイスで提供する方法において、サブバンド信号自体が、更に、第１の信号経路と第２の信号経路とに分割され、ある比率で再結合され得る。したがって、本方法は、ａ）バンドパスフィルタを使用して、オーディオ信号を複数のサブバンド信号にスペクトル分解することを含み得る。本方法は、ｂ）サブバンド信号ごとに、サブバンド信号を第１の信号経路と第２の信号経路とに分割することと、第１の信号経路内のサブバンド信号を処理することと、第１の信号経路及び第２の信号経路をある比率で再結合して、処理済みサブバンド信号を取得することとを更に含み得る。第１の信号経路内のサブバンド信号の処理は、ｂ１）周波数帯域内のオーディオ信号（例えば、サブバンド信号）をそれぞれの変調器に供給し、変調器の出力から、周波数帯域内のオーディオ信号を、それぞれの第１のダイナミックレンジコンプレッサに（例えば、第１のＤＲＣの例としてのフィードフォワードＤＲＣに）供給することを含み得る。フィードフォワードＤＲＣは、それぞれの周波数帯域（またはサブバンド信号）の第１の処理経路の一部であり得、周波数帯域内の（変調された）オーディオ信号（例えば、サブバンド信号）は、第１の処理経路に供給され得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。第１の信号経路内のサブバンド信号の処理は、ｂ２）周波数帯域内のオーディオ信号（例えば、変調されたサブバンド信号）を、それぞれの第１のＤＲＣによってフィードフォワード圧縮して、フィードフォワード圧縮オーディオ信号（例えば、フィードフォワード圧縮サブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。第１の信号経路内のサブバンド信号の処理は、ｂ３）それぞれの圧縮出力からのフィードフォワード圧縮周波数帯域をフィードバック圧縮することを更に含み得る。この目的のために、フィードフォワード圧縮周波数帯域は、それぞれの第２のＤＲＣを含むそれぞれの第２の処理経路に供給され得る。第２の処理経路は、フィードバック経路と呼ばれる場合がある。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｂ３の圧縮入力で減衰を提供することができる。本方法は、ｃ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み得、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２～ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８～５１２の範囲であり得る。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ～３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
いくつかの実施形態では、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
別の態様によれば、オーディオ信号を処理して（例えば、再生されたときに）、強化された聴覚体験をオーディオデバイスで提供する方法は、ａ）バンドパスフィルタ（例えば、入力バンドパスフィルタ）を使用して、オーディオ信号を複数の周波数帯域にスペクトル分解する（例えば、複数のサブバンド信号にスペクトル分解し、各サブバンド信号はそれぞれの周波数帯域にある）ことを含み得る。本方法は、ｂ）周波数帯域ごとに、周波数帯域内のオーディオ信号（例えば、サブバンド信号）をそれぞれの変調器に供給し、変調器の出力から、周波数帯域内のオーディオ信号を、それぞれの第１のダイナミックレンジコンプレッサに（例えば、第１のＤＲＣの例としてのフィードフォワードＤＲＣに）供給することを更に含み得る。フィードフォワードＤＲＣは、それぞれの周波数帯域（またはサブバンド信号）の第１の処理経路の一部であり得、周波数帯域内の（変調された）オーディオ信号（例えば、サブバンド信号）は、第１の処理経路に供給され得る。第１の処理経路は、フィードフォワード経路と呼ばれる場合がある。本方法は、ｃ）周波数帯域ごとに、周波数帯域内の変調されたオーディオ信号（例えば、変調されたサブバンド信号）をフィードフォワード圧縮して、それぞれの周波数帯域内のフィードフォワード圧縮オーディオ信号（例えば、フィードフォワード圧縮されたサブバンド信号）を取得することを更に含み得る。それに関して、フィードフォワードＤＲＣは、瞬時ＤＲＣに対して遅くされている。この減速は、直接的または間接的に行うことができる。このダイナミックレンジ圧縮の減速により、高調波歪み成分と相互変調歪み成分とのスペクトル拡散を制御することができる。フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）は、それぞれの圧縮出力に供給され得る。本方法は、ｄ）周波数帯域ごとに、第２のＤＲＣを含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給し、更に、隣接周波数帯域からの１つ以上のフィードフォワード圧縮サブバンド信号を、各フィードフォワード圧縮サブバンド信号がそれぞれの重み付け係数で重み付けされて、第２の処理経路に供給することを更に含み得る。それに関して、第２の処理経路内で、フィードフォワード圧縮サブバンド信号と、隣接周波数サブバンドからの重み付きフィードフォワード圧縮サブバンド信号とは、それぞれの第２のＤＲＣによって圧縮される。第２のＤＲＣは、（第２のＤＲＣの例として）フィードバックＤＲＣと呼ばれる場合がある。更に、フィードバックＤＲＣは、フィードフォワードＤＲＣに対して遅延させられ得る。つまり、第２の処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。次に、（遅延）フィードバック圧縮周波数帯域が、それぞれの周波数帯域の変調器に供給される。一般に、第２の処理経路の出力は、それぞれの変調器に供給される。変調器は、第２の処理経路の出力に応じて（例えば、第２の処理経路の出力の制御下で）動作することができる。変調器は、第２の処理経路の出力に応じて、ステップｃの圧縮入力で減衰を提供することができる。本方法は、ｅ）フィードフォワード圧縮周波数帯域（例えば、周波数帯域内のフィードフォワード圧縮オーディオ信号、またはフィードフォワード圧縮サブバンド信号）を再結合することを更に含み得る。
一実施形態では、入力バンドパスフィルタは位相線形である。更なる実施形態では、位相線形入力バンドパスフィルタは、周波数領域で動作する有限インパルス応答フィルタである。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることに関連し得る。例えば、オーバサンプリングすることは、サブバンド信号にｎ点ＦＦＴを適用することと、ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み得、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい。所与のｎに対して、オーバサンプリングレートＮは、例えば２～ｎ／２の範囲（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）になり得る。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８～５１２の範囲であり得る。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）に関連し得る。例えば、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ～３ｍｓの範囲から選択される時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。同様に、第１のＤＲＣを、瞬時ＤＲＣに対して遅くすることは、それぞれの（周波数）サブバンド内の周波数ｆに対応する時定数τに基づいて、第１のＤＲＣのアタック時定数及び／またはリリース時定数を設定することに関連し得る。この周波数は、サブバンドの低域カットオフ周波数、高域カットオフ周波数、または中心周波数の場合がある。
いくつかの実施形態では、第１のＤＲＣを瞬時ＤＲＣに対して遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関連し得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
健康人の機能処理を模倣するＤＳＰ方法は、客観的にも主観的にも豊かなリスニング体験を生み出すために不可欠である。音響処理によって基底膜及びＭＯＣの働きをより正確に再現することにより、ＨＩの聴取者及び健康な聴取者の両者は、より明瞭で自然な音をオーディオデバイスで楽しむことができる。
別段の定義がない限り、本明細書で使用する全ての技術用語は、本技術が属する技術分野の当業者によって一般的に理解されるものと同じ意味を有する。
本明細書において使用される用語「オーディオデバイス」は、携帯電話、コンピュータ、テレビ、補聴器、ヘッドフォン、及び／またはスピーカシステムを含むがこれらに限定されない、オーディオを出力する任意のデバイスと定義されている。
本明細書において使用される句「ダイナミックレンジ圧縮」または「ＤＲＣ」は、オーディオ信号のダイナミックレンジを縮小させるオーディオプロセスと定義されている。コンプレッサは、フィードフォワード設計またはフィードバック設計のいずれかを有し得る。ダイナミックレンジ圧縮は、瞬時に行われる場合もあれば、コンプレッサのアタック時定数及びリリース時定数の調整を通じてレートが制御される場合もある。
本明細書において使用される句「間接的に減速される」は、マルチレート信号処理など、コンプレッサのアタック時間及びリリース時間を調整すること以外の手段によってＤＲＣを減速させることと定義されている。
本明細書において使用される句「直接的に減速される」は、コンプレッサのアタック時定数及びリリース時定数を調整することによってＤＲＣを減速させることと定義されている。
本明細書において使用される句「バンドパスフィルタ」は、特定の範囲内の周波数を（実質的に）通過させ、その範囲外の周波数を減衰させるデバイスと定義されている。
本明細書において使用される句「位相線形」は、フィルタの位相応答が周波数の線形関数であり、入力信号の全ての周波数成分が時間的に同じ一定量だけ移動されるようにして、結果として位相歪みが生じない特性と定義されている。
本明細書において使用される句「高調波歪み」は、非線形系に起因する元の周波数の倍数の生成と定義されている。
本明細書において使用される句「相互変調歪み」は、２つ以上の信号が非線形系において混在する場合に生成される外積周波数の発生と定義されている。
本明細書において使用される句「コンピュータ可読記憶媒体」は、フラッシュメモリを備えたＵＳＢ記憶装置、ＣＤ－ＲＯＭ、ＤＶＤまたはＢｌｕＲａｙ（登録商標）、ディスクまたはテープを含むがこれに限定されない、固形の非一時的な記憶媒体と定義されている。この記憶媒体はまた、ユーザがアクセス可能なサーバ内の物理的な記憶場所であって、例えば、ユーザのデバイスにコンピュータプログラムをインストールするためにダウンロードするための記憶場所、またはクラウドコンピューティングのためにダウンロードするための記憶場所であってもよい。
本開示の上記及び他の利点ならびに特徴を獲得することが可能な方法を説明するために、上で簡潔に説明した原理のより具体的な説明が、添付の図面に示されているその特定の実施形態を参照することによって提供される。これらの図面は、本開示の例示的な実施形態のみを示し、したがってその範囲を限定するものと見なされるべきではないことを理解されたい。本明細書の原理は、添付の図面の使用により、追加の特定性及び詳細と合わせて説明され、明らかにされる。
聴覚障害を持つ聴取者におけるダイナミックレンジの減少を示すグラフを示す。 聴覚系の処理モデルと、聴覚変調に影響を与える求心路及び遠心路とを示す。 先行技術の補聴器回路を示す。 基底膜及び内側オリーブ蝸牛複合体に触発されたコアデジタル信号処理回路を示す。 信号がスペクトル分解され、並列的に圧縮され、再結合される例示的な実施形態を示す。 図５の構成を使用して周波数歪みが低減されたスペクトログラムを示す。 ＨＩ対象者の心理測定的同調曲線をシャープにする、本明細書に開示される生物学的に設計されたＤＳＰ技術の実施例を示す。 ２つの圧縮された試験信号からの歪みパターンを示す。テスト信号がバンドパスフィルタの仮想的なエッジの近くに移動されると、出力バンドパスフィルタが使用されていない場合は、歪みパターンがより対称的になる。 信号が第１の信号経路と第２の信号経路（被処理経路と未処理経路）とに分割され、その後、ユーザ定義の比率で再結合される更なる実施形態を示す。 信号が第１の信号経路と第２の信号経路とに分割され、その後、ユーザ定義の比率で再結合される更なる実施形態を示す。 信号が、各周波数帯域で第１の信号経路と第２の信号経路とに分割され、その後、周波数帯域に従ってユーザ定義の様々な比率で再結合され得る追加の実施形態を示す。 スペクトル分解されたオーディオ信号において、図１１の構造を使用する技術を利用した、より広範な実施例を示す。 フィードバックＤＲＣでの制御信号が、隣接周波数帯域内の同じ信号の重み付けされたバージョンを含み得る実施例を示す。 本技術の特定の態様を実施するためのシステムの実施例を示す。
以下に、本開示の様々な例示的な実施形態を詳細に説明する。具体的な実施態様について説明しているが、これは説明することのみを目的として行われていることを理解しておく必要がある。当業者であれば、本開示の趣旨及び範囲から離れることなく、他の構成要素及び構成を使用できることを認識するであろう。
人間の耳の機能処理を模倣するオーディオ処理アルゴリズムを作成するには、まず健康な聴覚の枠組みを開発しなければならない。一般に、正常聴覚のモデルは、聴覚系の信号処理経路の生理学的部分をシミュレートするカスケード段で構成されている。Ｍｅｄｄｉｓ，Ｒ．によって開発されたモデル（Ｍｅｄｄｉｓ， Ｒ．， Ｎ． Ｒ． Ｃｌａｒｋ， Ｗ． Ｌｅｃｌｕｙｓｅ， ａｎｄ Ｔ． Ｊｕｒｇｅｎｓ， “ＢｉｏＡｉｄ － Ａ Ｂｉｏｌｏｇｉｃａｌｌｙ Ｉｎｓｐｉｒｅｄ Ｈｅａｒｉｎｇ Ａｉｄ”． Ａｕｄｉｏｌｏｇｉｃａｌ Ａｃｏｕｓｔｉｃｓ ５２： ２０１３， １４８－１５２， ２０１３を参照のこと）は、図２の聴覚末梢系のモデルに見られるように、聴覚神経の発火パターンを忠実に表現することを目的としている。最初に、音響入力信号はフィルタ処理される。この処理は、外耳及び中耳２０１の、周波数に依存した、アブミ骨の変位に対する音圧の伝達を模倣している。続いて、信号は、フィルタバンク２０２を用いて周波数帯域に分解される。フィルタバンクは、外有毛細胞の寄与をモデル化した非線形経路と、基底膜の受動的応答をモデル化した線形経路とで構成されている。後段は、ステレオ変位と、内有毛細胞２０３の電位変動と、最終的に内有毛細胞と聴覚神経２０５との間に位置するシナプス間隙２０４への伝達物質放出とをシミュレートする。
同側の音響反射作用（ＡＲ）２０６と、同側の内側オリーブ蝸牛反射作用（ＭＯＣ）２０７とをモデル化するために、２つの遠心性フィードバックループが付加されている。ＭＯＣ２０７フィードバックループは、フィルタバンクの非線形経路における活動の減衰として周波数局在的に組み込まれている。減衰の量は、脳幹２０８レベルの対応する周波数帯域での総スパイク活動によって制御される。ＢＭ応答のＭＯＣ減衰は、音響刺激の定常部分の間に増大し、刺激の消失後に５０ｍｓの時定数で減衰する。刺激の開始からＭＯＣ減衰の開始までの１０ｍｓの遅延は、シナプス潜時を模倣するために使用される。音響反射作用２０６は、全てのニューロンの総活動に対するアブミ骨応答の減衰として組み込まれる。
この健康な聴覚のモデルは、図３に示すように、Ｍｅｄｄｉｓ ｅｔ ａｌ．の「ＢｉｏＡｉｄ－ａｌｇｏｒｉｔｈｍ」の基礎を形成した。最初に、オーディオ信号は、制御入力３０１に供給され、次に、入力バンドパスフィルタ３０３（これは、再帰的な無限インパルス応答（ＩＩＲ）フィルタであり、結果として位相歪みを導入する）によって複数の周波数帯域にスペクトル分解３０２される。各周波数帯域は、パラメータが各周波数帯域に対して異なるものの全て同じ演算器を有する、概略的に示された複数の並列チャネルで処理される。各周波数帯域はそれぞれ、圧縮入力３０４に供給され、（時定数ゼロをもつ）瞬時ダイナミックレンジコンプレッサ３０５によってフィードフォワード圧縮される。圧縮出力３０６からは、オーディオ信号は、フィードバックＤＲＣ３０７によって処理され、このフィードバックＤＲＣ３０７は、瞬時ＤＲＣ３０５に対して遅延している。続いて、圧縮されたオーディオ信号は、瞬時のフィードフォワードＤＲＣに供給されるオーディオ信号を減衰させるように、変調器３０８を通って変調される。
遅延フィードバックＤＲＣ処理は、２つの調整可能パラメータ、すなわち、閾値パラメータ及び強度パラメータによって特徴付けられる。閾値パラメータは、フィードバック処理が機能し始める、瞬時フィードフォワードＤＲＣからの出力のレベルを指定する。強度パラメータは、フィードバック処理がアクティブなときに適用される減衰の量を決定するものであり、フィードバック処理の閾値に対するフィードバック処理プロセスへの入力のｄＢ単位の比率で倍加される（したがって、減衰値をｄＢで与える）スカラ量である。
圧縮出力３０６からのこの圧縮されたオーディオ信号は、出力ＩＩＲバンドパスフィルタ３０９を通過させて、歪みのスペクトル拡散を制御する。この二次的なＩＩＲフィルタ３０９は、入力ＩＩＲバンドパスフィルタ３０３と同じ通過帯域を有する。その後、圧縮された周波数帯域は、ゲイン３１０によって変調され、最後に、演算器３１１において再結合されて、制御出力に供給すべき完全な広帯域オーディオ信号を再度形成する。
上記のように、このアルゴリズムは、ＩＩＲフィルタ３０３、３０９、及び瞬時ＤＲＣ３０５の使用及び構成に起因する主観的な聴覚体験に際しての欠点を有する。この構成では、可聴歪みの拡散が制限されなくなり、特に軽度の難聴のユーザに対しては、知覚品質に悪影響を及ぼすことになる（例えば、図６、８を参照）。このアルゴリズムは、実社会での使用事例（例えば、騒音の中での会話）において難聴の聴取者を支援する補聴アルゴリズムとして設計されているため、オーディオコンテンツをパーソナライズするには不十分なモデルであった。この点で、本発明の目的は、幅広いＮＨ聴取者及びＨＩ聴取者のための客観的及び主観的なリスニング体験を改善することである。
図４及び図５には、本発明の例示的な実施形態が示されている。処理入力４０１に広帯域オーディオ信号が供給され、次いで、広帯域オーディオ信号は、複数の周波数帯域にスペクトル分解（５０１）される（例えば、複数のサブバンド信号にスペクトル分解され、各サブバンド信号がそれぞれの周波数帯域にある）。スペクトル分解は、例えば、入力バンドパスフィルタ４０２、５０２によって行われ得る。各周波数帯域は、それぞれの中心周波数ｆ０と、低域カットオフ周波数及び／または高域カットオフ周波数とを有し得る。
各周波数帯域はそれぞれ、圧縮入力４０３に供給され、フィードフォワードＤＲＣ４０４によってフィードフォワード圧縮される。フィードフォワードＤＲＣ４０４（またはＤＲＣ４０４によって適用されるダイナミックレンジ圧縮）は、瞬時ＤＲＣに対して遅くされている。この減速は、直接的であるかまたは間接的である場合がある。フィードフォワード圧縮を間接的に遅くすることは、ＤＲＣのアタック時定数及び／またはリリース時定数を調整すること以外の手段で達成され得る。この間接的な減速は、有限インパルス応答フィルタと、その後に続く信号のオーバサンプリングとを利用して発生させることができ、これにはフィードフォワード圧縮を瞬時ＤＲＣに対して遅くするという正味の効果がある。この場合は、圧縮された周波数帯域は、例えば、元のサンプルレート及び／または更なる処理及び音質のための十分なレートにダウンサンプリングされる。この手法は、アルゴリズムの計算効率を向上させるだけでなく、分析帯域幅とは無関係に歪みの拡散をパラメータ化する機会を更に提供する。別の実施形態では、フィードフォワードＤＲＣ４０４は、ＤＲＣ４０４のアタック時定数及び／またはリリース時定数を調整することによって直接的に減速される。この遅くした圧縮は、いずれの場合も、先行技術と比較して、高調波歪み成分及び相互変調歪み成分のスペクトル拡散の減少をもたらす。
フィードフォワードＤＲＣ４０４の直接減速のための時定数τは、信号処理を受ける周波数の範囲、例えば、スペクトル分解によって出力される周波数帯域の範囲に基づいて決定され得る。いくつかの実施形態では、この範囲は、６０Ｈｚ～２０ｋＨｚに及んでもよい。対応する周波数ｆの時定数τは、τ＝１／（２πｆ）により与えられる。これにより、周波数帯域の範囲は、フィードフォワードＤＲＣ４０４を直接減速するための時定数τの範囲に変換され得る。６０Ｈｚから２０ｋＨｚに及ぶ周波数範囲の実施例の場合、時定数τの対応する範囲は、約０．００８ｍｓ～約２．６５ｍｓに及ぶ。よって、いくつかの実施形態では、時定数τの範囲が０．０１ｍｓ～３ｍｓとなるように選択される場合がある。その場合、フィードフォワードＤＲＣ４０４を直接減速するのに用いられる実際の時定数τを、時定数の範囲（複数可）から選択することができる。フィードフォワードＤＲＣ４０４を直接減速するためのアタック時定数及び／またはリリース時定数は、例えば、Ｆｒｅｄ Ｆｌｏｒｕ， Ａｔｔａｃｋ ａｎｄ Ｒｅｌｅａｓｅ Ｔｉｍｅ Ｃｏｎｓｔａｎｔｓ ｉｎ ＲＭＳ－Ｂａｓｅｄ Ｃｏｍｐｒｅｓｓｏｒｓ ａｎｄ Ｌｉｍｉｔｅｒｓ， ９９ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， ６－９ Ｏｃｔｏｂｅｒ １９９９に記載されているようにして、選択された時定数τから計算することができる。
特に、時定数τの上記範囲は、フィードフォワードＤＲＣ４０４のパラメータの典型的な更新レートに適合する。例えば、４４，１００Ｈｚ及び４８，０００Ｈｚのサンプリングレートに対して６４サンプルごとにフィードフォワードＤＲＣ４０４を更新すると、それぞれ１．４５ｍｓ及び１．３３ｍｓの更新間隔が得られ、これらは時定数τの上記範囲に収まる。
いくつかの実施形態では、所与の周波数帯域でフィードフォワードＤＲＣ４０４を減速するための時定数τは、それぞれの周波数帯域の範囲内の周波数ｆによって決まり得る。例えば、周波数ｆは、それぞれの周波数帯域に対するＲＣフィルタ（例えば、ハイパスフィルタ、ローパスフィルタ、またはバンドパスフィルタ）の特性周波数ｆｃとなるように選択されてもよい。この特性周波数ｆｃは、例えば、ＲＣフィルタの低域カットオフ周波数、高域カットオフ周波数、または中心周波数（または同様に、それぞれの周波数帯域の低域カットオフ周波数、高域カットオフ周波数、または中心周波数）である場合がある。この場合もやはり、所与の周波数帯域の時定数τは、τ＝１／（２πｆ）またはτ＝１／（２πｆｃ）によって決定することができ、フィードフォワードＤＲＣ４０４を直接減速するためのアタック時定数及び／またはリリース時定数は、例えば、Ｆｒｅｄ Ｆｌｏｒｕ， Ａｔｔａｃｋ ａｎｄ Ｒｅｌｅａｓｅ Ｔｉｍｅ Ｃｏｎｓｔａｎｔｓ ｉｎ ＲＭＳ－Ｂａｓｅｄ Ｃｏｍｐｒｅｓｓｏｒｓ ａｎｄ Ｌｉｍｉｔｅｒｓ， ９９ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， ６－９ Ｏｃｔｏｂｅｒ １９９９に記載されているようにして、時定数τから計算することができる。いくつかの実施形態では、時定数は、ＲＣフィルタのＲＣ時定数、τ＝ＲＣであってもよい。
上記のように、フィードフォワードＤＲＣ４０４の間接的な減速では、係数Ｎ（例えば、１２８、２５６、５１２など）による信号のオーバサンプリングを伴う場合がある。例えば、信号処理は、ｎ点ＦＦＴ（例えば、２５６点ＦＦＴまたは５１２点ＦＦＴ）を適用した後に、ＦＦＴ領域で行ってもよい。例えば、ｎ点ＦＦＴを各周波数帯域に適用してもよく、またはスペクトル分解をＦＦＴ領域で処理してもよい。その場合、各周波数帯域の変換は、ｎ／Ｎサンプル（例えば、２５６点ＦＦＴ及びＮ＝１２８のオーバサンプリングレートの場合は２サンプル）だけオーバラップされ得る。これは、理論上の（サブバンド）サンプルレートのＮ倍大きいレートが使用されることを意味する。しかし、このレートは、依然として、それぞれの周波数帯域におけるフルデータレートよりもｎ／Ｎだけ遅いレートである。この相対的な遅さは、フィードフォワードＤＲＣ４０４が、アタック時定数及びリリース時定数を適用したフルレートの瞬時ＤＲＣのように動作することを意味する。ちなみに、ｎ点ＦＦＴを適用すると、サンプルレートが（例えば、各周波数帯域で）大幅に低下し、それにより、時間領域での実施と比較して、処理が大幅に節約されるという効果がある。所与のｎについて、オーバサンプリングレートＮは、例えば２からｎ／２に及び得る（これは、ｎ／２サンプルと２サンプルとの間の範囲のオーバラップに変換される）。代表的な実施態様（例えば、ｎ＝２５６、５１２、１０２４）の場合、オーバサンプリングレートＮは、例えば、１２８～５１２の範囲であり得る。
上記のように、瞬時ＤＲＣに対して第１のＤＲＣを遅くすることは、それぞれのサブバンド信号をオーバサンプリングすることと、第１のＤＲＣのアタック時定数及び／またはリリース時定数を増加させること（すなわち、アタック時定数及び／またはリリース時定数を０とは異なる値に設定すること）との両方に関わり得る。当業者であれば、第１のＤＲＣを遅くすることは、間接的な減速（すなわち、オーバサンプリング）と、直接的な減速（すなわち、第１のＤＲＣの時定数を変更すること）との両方の組み合わせによって達成され得ることを理解することができる。直接減速の場合、τは、ＲＣ回路の代替パラメータであるカットオフ周波数ｆｃに、τ＝ＲＣ＝１／（２πｆｃ）によって関連付けられている。オーバサンプリングによる減速の代わりに、直接的に減速される第１のＤＲＣの時定数τに（間接的に）相当する値は、オーバサンプリングレートＮをサンプリングレート（例えば、４４１００Ｈｚ）で割ることによって計算することができる。この点で、ＤＲＣの間接的な減速と直接的な減速との組み合わせの効果は、これら２つの値の関数として容易に計算可能である。
重要なことには、フィードフォワードＤＲＣ４０４を遅くすることはまた、出力バンドパスフィルタ３０９を備える必要性に取って代わり、それによって、残っている高調波歪みの分布がより対称的になる。健康な聴覚系では、蝸牛プロセス自体が一連の変化する特性を持つ共鳴システムと考えることができるため、自然な歪みが基底膜の全ての周波数領域で対称的に発出する。図８に見られるように、所与の周波数の歪みパターンが、出力バンドパスフィルタのバンドエッジの１つに向かって移動すると（パネル８０２、８０３を参照）、歪みパターンは非対称的に短縮される（パネル８０２を参照）。出力バンドパスフィルタが存在しない場合、高調波の対称性はより良好に保持され、この結果として、基底膜が作り出す自然な歪みをより良好にエミュレートする。
圧縮出力４０５からは、オーディオ信号は、フィードバックＤＲＣ４０６によって処理される。フィードバックＤＲＣ４０６は、フィードフォワードＤＲＣに対して遅延している。フィードバック経路は、フィードフォワードＤＲＣプロセスの出力から引き出される。フィードバック経路は、特定の閾値を超える信号部分を取得するように閾値選定することによって、減衰させることができる。その場合、この信号は、時間的平滑化のためにローパスフィルタに通されてもよく、スカラ係数が乗算されてもよい。上記の遅延は、例えば、リングバッファなどのバッファを使用することによって獲得され得る。これは、その遅延によってＭＯＣフィードバック系のシナプス遅延をシミュレートする減衰値のストリームをもたらす。この値のストリームは、その後、各帯域内のフィードフォワードＤＲＣ４０４に供給されるオーディオ信号を変調するのに使用される。変調、フィードフォワード圧縮、及びフィードバック圧縮は、連続的に進行する。したがって、フィードバックループは、圧縮をオーディオ信号レベルに動的に適応させ、聴覚系で生理学的に発生するプロセスである離調音マスキングのより効果的な緩和を可能にする。
周波数帯域は、ゲイン４０８によって変調され得、最後に、演算器５０３において再結合され得て、制御出力５０４に供給すべき完全な広オーディオ帯域信号を再度形成する。各周波数帯域は、それぞれ独自の明確なパラメータ、例えばゲイン、減衰係数などを有してもよい。
本発明の別の例示的な実施形態が図９に示され、図４、図５の構成に従って処理された音が、第１の信号伝送経路（または信号経路）と第２の信号伝送経路（または信号経路）とに分割される。具体的には、広帯域オーディオ信号が、処理入力９０１に供給され、次いで、第１の経路（第１の信号経路）９０２と第２の経路（第２の信号経路）９０３とに分割される。本実施例では、第２の経路９０３は、遅延９０４及び保護リミッタ９０５のみを受ける。対照的に、第１の経路９０２では、制御入力９０１からのオーディオ信号は、図４の構成に従ってスペクトル分解されて処理される。各経路９０２、９０３は、それぞれ重み付け演算器９０６及び９０７を含み得る。例えば、これらの重み付け演算器９０６及び９０７は、単一制御変数９１０によってユーザによる調整が可能な共通関数によって互いに関係付けられてもよい。その後、これらの経路９０２及び９０３は、それらの重み付け係数に従って演算器９０８において再結合され、処理出力９０９に供給される。
並列圧縮は、ユーザが、未処理またはわずかに処理された「乾いた」音を処理された「湿った」音と混合できるようになるという利益を提供し、主観的な好みに基づいて処理をカスタマイズできるようにする。例えば、これにより、聴覚障害を持つユーザが、中程度から低度の難聴のユーザと比較して、大いに処理された音を高い比率で使用することが可能になる。更に、最も高いピークを下げるのではなく、最も弱い音を引き上げることにより、オーディオ信号のダイナミックレンジを縮小することで、音に聞きやすいディティールを与える。人間の耳は、大きな音が急激に音量を下げられることに対しては敏感であるが、弱い音が音量を上げられることに対してはあまり敏感ではない。このミキシング方法は、この観察結果を巧みに利用しており、ダイナミックレンジコンプレッサを単独で使用する場合と比較して、より自然に聞こえるダイナミックレンジの縮小をもたらす。更に、並列圧縮は、会話に関する理解、及び／または完全な本来の音色で音楽を聴くことに特に有用である。
２つの異なる信号経路を混合するには、経路内の信号が位相線形性に従うか、もしくは位相歪みを使用して経路の同一位相に入る必要があり、または経路混合変調器は、相関信号を合計して制御出力にオーディオ信号を供給する際の位相相殺を防ぐために、位相補正ネットワークを必要とする。特に、再帰的入力及び出力ＩＩＲバンドパスフィルタがオーディオ信号に位相歪みを導入するので、先行技術のアプローチを使用する並列圧縮は問題がある。位相歪み信号を同様のオーディオ信号と重ね合わせると、いわゆるコムフィルタ処理効果が発生し、結果の音質に悪影響を与える可能性がある。ユーザはこれらの影響に敏感であり、それによって主観的な聴覚体験を損なうことになる。
本発明の更なる例示的な実施形態が図１０に示されており、処理入力１００１に広帯域オーディオ信号が供給され、次いで広帯域オーディオ信号は、図３と同じ処理構成を利用した第１の被処理経路１００２（第１の信号伝送経路、または第１の信号経路）と、第２の被処理経路１００３（第１の信号伝送経路、または第１の信号経路）とに分割される。図９の構成と同様に、位相相殺及びコムフィルタ処理効果を防ぐために、各被処理経路の位相は同期していなければならない。第２の被処理経路１００３は、例えば、ユーザが経路比を調整して、会話に関するより良好な理解を可能にすることができるようにする、及び／またはそれぞれの背景雑音環境において、ユーザが、ユーザにとって主観的により快適な音楽聴覚体験を得られるようにする、会話理解アルゴリズムなどの音声強調アルゴリズムを含むことができる。更なる実施例はまた、図４に示された構成を使用する異なってパラメータ化されたプロセスを含んでもよく、一般に、好ましくは線形位相特性を有する、補聴アルゴリズムなどの任意の音響処理アルゴリズムが、第１の被処理経路１００２と混合されてもよい。２つの被処理経路は、次のいずれかのルールに従っていなければならない。各経路の信号は、（ｉ）位相線形性に準拠するか、（ｉｉ）同一の位相歪みを導入するか、または（ｉｉｉ）相関信号を合計して出力を形成する際の位相相殺を防ぐために、位相補正ネットワークを含む必要がある。好ましくは、選択肢（ｉ）または選択肢（ｉｉ）が実装されるが、これが無駄のない簡単な実装を可能にするためである。
本発明の更なる例示的な実施形態が図１１及び１２に示されており、処理入力１１０１、１２０１に広帯域オーディオ信号が供給され、次いで広帯域オーディオ信号は、複数の周波数帯域にスペクトル分解される（例えば、複数のサブバンド信号にスペクトル分解され、各サブバンド信号がそれぞれの周波数帯域にある）。スペクトル分解は、例えば、入力バンドパスフィルタ１２０２によって行われ得る。各周波数帯域（例えば、サブバンド信号）はそれぞれ、第１の経路（第１の信号経路）１１０３と第２の経路（第２の信号経路）１１０４とに分割される。本実施例では、第２の経路１１０４は、遅延１１０５及び保護リミッタ１１０６のみを含むので、処理が軽い。その一方、第１の経路１１０３は、図５に示された構成と同様に処理される。すなわち、第１の経路の周波数帯域は、圧縮入力に供給され、フィードフォワードＤＲＣ４０４によってフィードフォワード圧縮される。圧縮出力からは、オーディオ信号は、フィードバックＤＲＣ４０６によって処理され、このフィードバックＤＲＣ４０６は、フィードフォワードＤＲＣ４０４に対して遅延し得る。つまり、フィードバック処理経路の出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。続いて、圧縮されたオーディオ信号は、フィードフォワードＤＲＣ４０４に供給されるオーディオ信号を減衰させるように、変調器４０７を通って変調され得る。次に、圧縮された周波数帯域は、ゲイン４０８、１１０７によって変調され得る。第１の周波数帯域経路及び第２の周波数帯域経路は、それぞれ、重み付け演算器１１０８及び１１０９を含み得る。ここで、これらの重み付け演算器１１０８及び１１０９は、単一制御変数１１１２によってユーザによる調整が可能な共通関数によって互いに関係付けられてもよい。その後、これらの経路１１０３及び１１０４は、それらの重み付け係数に従って演算器１１１０において再結合され、処理出力１１１１に供給される。最後に、周波数帯域（例えば、サブバンド信号）は、演算器１２０３で再結合されて、制御出力１２０４に供給すべき完全な広オーディオ帯域信号を再度形成する。図１１及び図１２の構成は、重要なことに、ユーザが、信号の音声スペクトルにおいて、どの周波数を処理するかについて、はるかに多くの制御を可能にする。例えば、高音域が強い楽曲では、高周波数範囲にわたって音を処理することが好ましい場合がある。逆に、約１５０Ｈｚ～４ｋＨｚの人間の音声に耳を傾けている間は、より狭いスペクトルに的を絞って処理を行ってもよい。一般に、スペクトル処理は、計算を節約する目的のために調整することができる。
本発明の更なる例示的な実施形態が図１３に示されている。処理入力１３０１に広帯域オーディオ信号が供給され、次いで、広帯域オーディオ信号は、複数の周波数帯域にスペクトル分解される（例えば、複数のサブバンド信号にスペクトル分解され、各サブバンド信号がそれぞれの周波数帯域にある）。スペクトル分解は、例えば、入力バンドパスフィルタ１３０２によって行われ得る。各周波数帯域はそれぞれ、圧縮入力１３０３に供給され、フィードフォワードＤＲＣ１３０４によってフィードフォワード圧縮される。フィードフォワードＤＲＣ１３０４は、瞬時ＤＲＣに対して遅くされている。これは、直接的または間接的に、例えば上記のようにして行われ得る。複数の周波数帯域１３０６の圧縮出力１３０５であって、それぞれの周波数帯域からの各圧縮出力に、個別の重み付け１３０７、１３０８、１３０９が割り当てられている圧縮出力１３０５からは、それぞれのオーディオ信号は、フィードバック圧縮１３１４によって処理される。図１３は、単一の周波数帯域についてのみ、隣接周波数帯域からの重み付きフィードフォワード圧縮オーディオ信号の供給を示しているが、各周波数帯域におけるフィードバック圧縮が、それぞれの隣接周波数帯域からの入力として、重み付きフィードフォワード圧縮オーディオ信号を受け取り得ることが理解されよう。フィードバックＤＲＣ１３１４は、フィードフォワードＤＲＣ１３０４に対して遅延させられ得る。つまり、フィードバックＤＲＣの出力は、例えば、遅延要素（例えば、バッファなど）によって意図的に遅延させられ得る。遅延は、フィードバックＤＲＣの前または後に挿入することができる。複数の遅延フィードバック圧縮オーディオ信号は、フィードフォワードＤＲＣ１３０４に供給されるオーディオ信号を減衰させるように、変調器１３１０を通って変調され得る。次に、圧縮された周波数帯域は、ゲイン１３１１によって変調され得、最後に、演算器１３１２において再結合されて、制御出力１３１３に供給すべき完全な広オーディオ帯域信号を再度形成する。所与の周波数帯域のオーディオ信号を、１つ以上の隣接周波数帯域の信号レベルを含む関数として減衰させる機能により、拡張聴覚体験のためのより細かなパラメータ化の度合いが提供される。更に、このプロセスは、耳の中のオリーブ蝸牛系で自然に行われている（Ｅｆｆｅｃｔｓ ｏｆ ｅｌｅｃｔｒｉｃａｌ ｓｔｉｍｕｌａｔｉｏｎ ｏｆ ｅｆｆｅｒｅｎｔ ｏｌｉｖｏｃｈｏｃｌｅａｒ ｎｅｕｒｏｎｓ ｏｎ ｃａｔ ａｕｄｉｔｏｒｙ－ｎｅｒｖｅ ｆｉｂｅｒｓ． Ｉｌｌ， Ｔｕｎｉｎｇ ｃｕｒｖｅｓ ａｎｄ ｔｈｒｅｓｈｏｌｄｓ ａｔ ＣＦ， Ｇｕｉｎａｎ ＆ Ｇｉｆｆｏｒｄ， １９８８）。したがって、このオーディオ処理の構成は、聴覚幹の健康な聴覚をより厳密にモデル化する。
図１４は、システムの構成要素が接続１４０５を使用して互いに通信しているコンピューティングシステム１４００（例えば、オーディオデバイス、スマートフォンなど）の実施例を示す。接続１４０５は、バスを介した物理的接続、またはチップセットアーキテクチャなどのプロセッサ１４１０への直接接続であり得る。接続１４０５はまた、仮想接続、ネットワーク接続、または論理接続であってもよい。
いくつかの実施形態では、コンピューティングシステム１４００は、本開示で説明した機能が、データセンタ、複数のデータセンタ、ピアネットワークなどの中で分散され得る分散システムである。いくつかの実施形態では、説明したシステム構成要素の１つ以上は、それぞれが、そのために構成要素を説明した機能の一部または全てを実行する多くのそのような構成要素を表す。いくつかの実施形態では、構成要素は、物理デバイスまたは仮想デバイスであってよい。
例示的なシステム１４００は、少なくとも１つの処理ユニット（ＣＰＵまたはプロセッサ）１４１０と、読み出し専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）などのシステムメモリ１４１５を含む様々なシステム構成要素をプロセッサ１４１０に結合する接続１４０５とを含む。コンピューティングシステム１４００は、プロセッサ１４１０に直接接続されているか、近接しているか、またはプロセッサ１４１０の一部として統合されている高速メモリのキャッシュを含み得る。
プロセッサ１４１０は、任意の汎用プロセッサと、ストレージデバイス１４３０に格納されたサービス１４３２、１４３４、及び１４３６など、プロセッサ１４１０を制御するように構成されたハードウェアサービスまたはソフトウェアサービスと、ソフトウェア命令が実際のプロセッサ設計に組み込まれた専用プロセッサとを含み得る。プロセッサ１４１０は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結型のコンピューティングシステムであり得る。マルチコアプロセッサは、対称型または非対称型であり得る。
ユーザインタラクションを可能にするために、コンピューティングシステム１４００は、スピーチ用のマイクロフォン、ジェスチャ入力用またはグラフィック入力用のタッチセンシティブスクリーン、キーボード、マウス、モーション入力、スピーチなどの任意の数の入力機構を表すことができる入力デバイス１４４５を含む。いくつかの例では、入力デバイスはまた、オーディオジャックなどを介するようなオーディオ信号を含んでもよい。コンピューティングシステム１４００はまた、出力デバイス１４３５を含むこともでき、これは、当業者に知られているいくつかの出力機構のうちの１つ以上であってよい。場合によっては、マルチモーダルシステムにより、ユーザがコンピューティングシステム１４００と対話するための複数のタイプの入力／出力を提供することが可能となり得る。コンピューティングシステム１４００は、通信インタフェース１４４０を含んでもよく、これは、一般に、ユーザ入力及びシステム出力の制御及び管理を行い得る。いくつかの例では、通信インタフェース１４４０は、１つ以上のネットワーク（例えば、ブルートゥース（登録商標）、インターネットなど）を介して１つ以上のオーディオ信号を受信するように構成され得る。特定のハードウェア構成で動作することに制限はなく、したがって、ここでの基本的な機能は、ハードウェアまたはファームウェアの構成が開発されるとき、改善されたそれらの構成に簡単に置き換えることができる。
ストレージデバイス１４３０は、不揮発性メモリデバイスであってもよく、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／またはこれらのデバイスのいくつかの組み合わせなど、コンピュータによってアクセス可能なデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。
ストレージデバイス１４３０は、ソフトウェアサービス、サーバ、サービスなどを含むことができ、そのようなソフトウェアを定義するコードがプロセッサ１４１０によって実行されると、システムに機能を実行させる。いくつかの実施形態では、特定の機能を実行するハードウェアサービスは、その機能を実行するために必要な、例えば、プロセッサ１４１０、接続１４０５、出力デバイス１４３５などのハードウェア構成要素に関連してコンピュータ可読媒体に格納されたソフトウェア構成要素を含んでもよい。
説明を明確にするために、場合によっては、本技術は、ソフトウェアで具体化される方法におけるデバイス、デバイス構成要素、ステップもしくはルーチン、またはハードウェアとソフトウェアの組み合わせを含む機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。
本提示技術は、健康人の耳の機能処理をより忠実に模倣する、改良された、生物学的知見に基づいたＤＳＰアルゴリズムを作成する。本発明は、先行技術のＤＳＰ方法論に固有の制限、すなわち、制約のない周波数歪み及び位相歪みを回避する。この点で、本発明は、難聴のある個人と健康な聴覚を持つ個人との両者に、強化されたリスニング体験を提供するものであり、両者は、より豊かで鮮明になるオーディオコンテンツのリスニング体験を経験する。
追加の実施形態
本開示の更なる例示的な実施形態は、以下に列挙された例示的な実施形態（ＥＥＥ）に要約されている。
第１のＥＥＥは、オーディオデバイスで再生するためのオーディオ信号を処理する方法に関し、本方法は、ａ）バンドパスフィルタ（４０２、５０２）を使用して、オーディオ信号（５０１）の複数のサブバンド信号へのスペクトル分解を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、ｃ）サブバンド信号ごとに、サブバンド信号を、それぞれの第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｄ）サブバンド信号ごとに、第２のＤＲＣ（４０６）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給すること、フィードフォワード圧縮サブバンド信号を、それぞれの第２のＤＲＣ（４０６）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器（４０７）に供給することであって、サブバンド信号を、それぞれの変調器（４０７）によって変調することが、第２の処理経路の出力に応じて実行される、フィードフォワード圧縮サブバンド信号を供給すること、第２のＤＲＣ（４０６）によって圧縮すること、及び変調器（４０７）に供給することと、ｅ）フィードフォワード圧縮サブバンド信号を再結合することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む。
第２のＥＥＥは、オーディオデバイスで再生するためのオーディオ信号を処理する方法に関し、本方法は、未処理のオーディオ信号を、第１の信号経路（９０３、１００３）と第２の信号経路（９０２、１００２）とに分割することと、第１の信号経路（９０２、９０３）内のオーディオ信号を処理することと、第１の信号経路及び第２の信号経路（９０２／９０３、１００２／１００３）の出力を比率（９１０、１００４）で再結合することとを含み、第１の信号経路（９０２、１００２）での処理が、ａ）バンドパスフィルタ（４０２、５０２）を使用して、オーディオ信号（５０１）の複数のサブバンド信号へのスペクトル分解を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、ｃ）サブバンド信号ごとに、サブバンド信号を、それぞれの第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｄ）サブバンド信号ごとに、第２のＤＲＣ（４０６）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給すること、フィードフォワード圧縮サブバンド信号を、それぞれの第２のＤＲＣ（４０６）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器（４０７）に供給することであって、サブバンド信号を、それぞれの変調器（４０７）によって変調することが、第２の処理経路の出力に応じて実行される、フィードフォワード圧縮サブバンド信号を供給すること、第２のＤＲＣ（４０６）によって圧縮すること、及び変調器（４０７）に供給することと、ｅ）フィードフォワード圧縮サブバンド信号を再結合することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む。
第３のＥＥＥは、第２のＥＥＥの方法に関し、比率（９１０、１００４）が、ユーザ定義の比率である。
第４のＥＥＥは、第２のＥＥＥまたは第３のＥＥＥによる方法に関し、第２の信号経路（９０３）は遅延を特徴としており、遅延信号は保護リミッタにかけられる。
第５のＥＥＥは、ＥＥＥ２～４による方法に関し、１２５Ｈｚ～１２，０００Ｈｚの周波数のみが、第１の信号経路（９０２、１００２）で処理される。
第６のＥＥＥは、オーディオデバイス上で再生するためのオーディオ信号を処理する方法に関し、本方法は、ａ）バンドパスフィルタ（１１０２、１２０２）を使用して、オーディオ信号の複数のサブバンド信号へのスペクトル分解（１２０２）を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を第１の信号経路（１１０３）と第２の信号経路（１１０３）とに分割すること、第１の信号経路（１１０３）内のサブバンド信号を処理すること、ならびに第１の信号経路及び第２の信号経路（１１０３、１１０４）をある比率で再結合して、処理済みサブバンド信号を取得することと、ｃ）処理済みサブバンド信号を再結合することとを含み、サブバンド信号ごとに、第１の信号経路（１１０３）内のサブバンド信号の処理が、ｂ１）サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、ｂ２）サブバンド信号を、それぞれの第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｂ３）第２のＤＲＣ（４０６）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給すること、フィードフォワード圧縮サブバンド信号を、それぞれの第２のＤＲＣ（４０６）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器（４０７）に供給することであって、サブバンド信号を変調することが、第２の処理経路の出力に応じて実行される、フィードフォワード圧縮サブバンド信号を供給すること、第２のＤＲＣ（４０６）によって圧縮すること、及び変調器（４０７）に供給することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して遅くすることを含む。
第７のＥＥＥは、第６のＥＥＥによる方法に関し、第２の信号経路（１１０４）は遅延を特徴としており、遅延信号は保護リミッタにかけられる。
第８のＥＥＥは、オーディオデバイスで再生するためのオーディオ信号を処理する方法に関し、本方法は、ａ）バンドパスフィルタを使用して、オーディオ信号の複数のサブバンド信号へのスペクトル分解（１３０２）を実行することと、ｂ）サブバンド信号ごとに、サブバンド信号を、それぞれの変調器（４０７）に供給し、変調器の出力から、サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（１３０４）を含むそれぞれの第１の処理経路に供給することと、ｃ）サブバンド信号ごとに、サブバンド信号を、それぞれの第１のＤＲＣ（１３０４）によってフィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、ｄ）サブバンド信号ごとに、第２のＤＲＣ（１３１４）を含む第２の処理経路にフィードフォワード圧縮サブバンド信号を供給し、更に、隣接周波数帯域からの１つ以上のフィードフォワード圧縮サブバンド信号を、各フィードフォワード圧縮サブバンド信号がそれぞれの重み付け係数で重み付けされて、第２の処理経路に供給すること、第２の処理経路内で、フィードフォワード圧縮サブバンド信号と、隣接周波数サブバンドからの重み付きフィードフォワード圧縮サブバンド信号とを、それぞれの第２のＤＲＣ（１３１４）によって圧縮すること、及び第２の処理経路の出力を、それぞれの変調器に供給することであって、サブバンド信号を変調することが、第２の処理経路の出力に応じて実行される、第２の処理経路に供給すること、第２のＤＲＣ（１３１４）によって圧縮すること、及び変調器に供給することと、ｅ）フィードフォワード圧縮オーディオ信号を再結合することとを含み、フィードフォワード圧縮することが、サブバンド信号ごとに、それぞれの第１のＤＲＣ（１３０４）を瞬時ＤＲＣに対して遅くすることを含む。
第９のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、サブバンド信号ごとに、それぞれの第２の処理経路（４０６）の出力を遅延させることを更に含む。
第１０のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、サブバンド信号ごとに、それぞれの第２の処理経路の出力が、５ｍｓ～２０ｍｓの間隔の遅延量だけ遅延させられている。
第１１のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、バンドパスフィルタ（４０２、５０２）は位相線形である。
第１２のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、バンドパスフィルタ（４０２、５０２）が、周波数領域で動作する有限インパルス応答フィルタである。
第１３のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、第１のＤＲＣ（４０４）は、スペクトル分解プロセスの一部としてのマルチレート信号処理によって遅くされる。
第１４のＥＥＥは、ＥＥＥ１～１２のいずれかによる方法に関し、第１のＤＲＣ（４０４）は、第１のＤＲＣ（４０４）のアタック時定数及び／またはリリース時定数を変更することによって遅くされる。
第１５のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、オーディオデバイスは、携帯電話、タブレット、コンピュータ、テレビ、ヘッドフォン、補聴器、またはスピーカシステムのいずれかである。
第１６のＥＥＥは、先行ＥＥＥのいずれかによる方法に関し、１つの周波数帯域につき１つのバンドパスフィルタのみが使用される。
第１７のＥＥＥは、先行ＥＥＥのいずれかの方法に従ってオーディオ信号を処理するためのプロセッサを含むオーディオ出力デバイスに関する。
第１８のＥＥＥは、ＥＥＥ１～１６のいずれかの方法に従って、オーディオ出力デバイスにオーディオ処理を実行させるプログラムを格納するコンピュータ可読記憶媒体に関する。
２０１ 外耳及び中耳
２０２ フィルタバンク
２０３ 内有毛細胞（ＩＨＣ）
２０４ ＩＨＣシナプス
２０５ 聴覚神経
２０６ 音響反射作用
２０７ ＭＯＣ反射作用
２０８ 脳幹
３０１ 制御入力
３０２ スペクトル分解
３０３ ＩＩＲ入力バンドパスフィルタ
３０４ 圧縮入力
３０５ 瞬時ＤＲＣ
３０６ 圧縮出力
３０７ フィードバックＤＲＣ
３０８ 変調器
３０９ ＩＩＲ出力バンドパスフィルタ
３１０ ゲイン
３１１ 演算器
４０１ 制御入力
４０２ 入力バンドパスフィルタ
４０３ 圧縮入力
４０４ フィードフォワードＤＲＣ
４０５ 圧縮出力
４０６ フィードバックＤＲＣ
４０７ 変調器
４０８ ゲイン
５０１ スペクトル分解
５０２ 入力バンドパスフィルタ
５０３ 演算器
５０４ 制御出力
６０１ スペクトログラム－瞬時圧縮（ＩＣ）出力（１ｋＨｚ入力）からの歪み
６０２ スペクトログラム－入力ＩＩＲバンドパスフィルタ及び出力ＩＩＲバンドパスフィルタを用いたＩＣ出力からの歪み
６０３ スペクトログラム－入力ＦＩＲバンドパスフィルタを用いたＤＲＣからの歪み
７０１ 請求項１によるアルゴリズムを受ける前後の対象者からの心理物理的同調曲線－左耳
７０２ 請求項１によるアルゴリズムを受ける前後の対象者からの心理物理的同調曲線－右耳
８０１ バンドパスフィルタを通過する歪み－中心に配置
８０２ バンドパスフィルタを通過する歪み－中心からずれた
８０３ 歪み－バンドパスフィルタなし－中心に配置
８０４ 歪み－バンドパスフィルタなし－中心からずれた
９０１ 制御入力
９０２ 被処理経路
９０３ 未処理経路
９０４ 遅延
９０５ 保護リミッタ
９０６ 被処理経路の重み付け演算器
９０７ 未処理経路の重み付け演算器
９０８ ２つの経路の再結合
９０９ 制御出力
９１０ 単一制御変数
１００１ 制御入力
１００２ 被処理経路１
１００３ 被処理経路２
１００４ 制御変数
１１０１ 制御入力
１１０２ 入力バンドパスフィルタ
１１０３ 被処理周波数帯域経路
１１０４ 未処理周波数帯域経路
１１０５ 遅延
１１０６ 保護リミッタ
１１０７ ゲイン
１１０８ 被処理周波数帯域経路の重み付け演算器
１１０９ 未処理周波数帯域経路の重み付け演算器
１１１０ 単一制御変数
１１１１ 制御出力
１２０１ 制御入力
１２０２ 入力バンドパスフィルタ
１２０３ 周波数帯域の再結合
１２０４ 制御出力
１３０１ 制御入力
１３０２ 入力バンドパスフィルタ
１３０３ 一次周波数帯域の圧縮入力
１３０４ フィードフォワードＤＲＣ
１３０５ フィードバックＤＲＣ
１３０６ 代替周波数帯域
１３０７ 重み付け１
１３０８ 重み付け２
１３０９ 重み付け３
１３１０ 変調器
１３１１ ゲイン
１３１２ 周波数帯域の再結合
１３１３ 制御出力
１３１４ フィードバックＤＲＣ

Claims (16)

  1. オーディオデバイスで再生するためのオーディオ信号を処理する方法であって、
    バンドパスフィルタ（４０２、５０２）を使用して、前記オーディオ信号（５０１）の複数のサブバンド信号へのスペクトル分解を実行することであって、前記複数のサブバンド信号それぞれは、各サブバンド内の少なくとも１つの基準周波数ｆに関連付けられることと、
    前記複数のサブバンド信号のサブバンド信号ごとに、
    前記サブバンド信号を、それぞれの変調器（４０７）に供給し、前記変調器の出力から、前記サブバンド信号を、第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの第１の処理経路に供給することと、
    前記変調されたサブバンド信号を、フィードフォワード圧縮して、フィードフォワード圧縮サブバンド信号を取得することと、
    第２のＤＲＣ（４０６）を含む第２の処理経路に前記フィードフォワード圧縮サブバンド信号を供給し、前記フィードフォワード圧縮サブバンド信号を、それぞれの前記第２のＤＲＣ（４０６）によって圧縮することと、
    前記第２の処理経路の出力を、それぞれの前記変調器（４０７）に供給することであって、前記フィードフォワード圧縮サブバンド信号を、それぞれの前記変調器（４０７）によって変調することは、前記第２の処理経路の前記出力に応じて実行されることと、
    前記フィードフォワード圧縮サブバンド信号を再結合することと
    を含み、
    フィードフォワード圧縮することは、前記第１のＤＲＣ（４０４）の１以上のアタック時定数及びリリース時定数を調整することによって、それぞれの前記第１のＤＲＣ（４０４）を瞬時ＤＲＣに対して直接的に遅くすることを含み、前記第１のＤＲＣ（４０４）のアタック時定数及び／またはリリース時定数の調整は、前記サブバンド信号内の基準周波数ｆに対応する基準時定数τに基づく、前記方法。
  2. 未処理のオーディオ信号を、第１の信号経路（９０２、１００２）と第２の信号経路（９０３、１００３）とに分割することと、
    前記第１の信号経路（９０２、１００２）内の前記未処理のオーディオ信号を、請求項１に記載の方法の全てのステップを適用することによって処理することと、
    前記第１の信号経路及び前記第２の信号経路（９０２、９０３；１００２、１００３）の出力を比率（９１０、１００４）で再結合することと
    を含む、請求項１に記載の方法。
  3. 前記複数のサブバンド信号のサブバンド信号ごとに、
    前記サブバンド信号を、第１の信号経路（１１０３）と第２の信号経路（１１０４）とに分割することと、
    前記第１の信号経路（１１０３）内の前記サブバンド信号を処理することと、
    前記第１の信号経路及び前記第２の信号経路（１１０３、１１０４）をある比率で再結合して、処理済みサブバンド信号を取得することと
    を含み、
    前記第１の信号経路（１１０３）内の前記サブバンド信号を処理することが、
    前記サブバンド信号を、それぞれの前記変調器（４０７）に供給し、前記変調器の出力から、前記サブバンド信号を、前記第１のダイナミックレンジコンプレッサであるＤＲＣ（４０４）を含むそれぞれの前記第１の処理経路に供給することと、
    前記サブバンド信号を、それぞれの前記第１のＤＲＣ（４０４）によってフィードフォワード圧縮して、前記フィードフォワード圧縮サブバンド信号を取得することと、
    前記第２のＤＲＣ（４０６）を含む前記第２の処理経路に前記フィードフォワード圧縮サブバンド信号を供給すること、前記フィードフォワード圧縮サブバンド信号を、それぞれの前記第２のＤＲＣ（４０６）によって圧縮すること、及び前記第２の処理経路の前記出力を、それぞれの前記変調器（４０７）に供給することと
    を含み、
    前記サブバンド信号を変調することが、前記第２の処理経路の前記出力に応じて実行される、請求項１に記載の方法。
  4. 前記比率（９１０）が、ユーザ定義の比率である、請求項２または請求項３に記載の方法。
  5. 前記第２の信号経路（９０３；１１０４）は遅延を特徴としており、前記遅延信号は保護リミッタにかけられる、請求項２～４のいずれか１項に記載の方法。
  6. ６０Ｈｚ～２００００Ｈｚの周波数のみが、前記第１の信号経路（９０２；１１０３）で処理される、請求項２～５のいずれか１項に記載の方法。
  7. 前記複数のサブバンド信号のサブバンド信号ごとに、
    前記第２のＤＲＣ（１３１４）を含む前記第２の処理経路に前記フィードフォワード圧縮サブバンド信号を供給し、更に、隣接周波数帯域からの１つ以上のフィードフォワード圧縮サブバンド信号を、各フィードフォワード圧縮サブバンド信号がそれぞれの重み付け係数で重み付けされて、前記第２の処理経路に供給することと、
    前記第２の処理経路内で、前記フィードフォワード圧縮サブバンド信号と、前記隣接周波数サブバンドからの前記重み付きフィードフォワード圧縮サブバンド信号とを、それぞれの前記第２のＤＲＣ（１３１４）によって圧縮することと
    を含む、請求項１～６のいずれか１項に記載の方法。
  8. サブバンド信号ごとに、それぞれの前記第２の処理経路の前記出力を遅延させることを更に含み、
    任意選択で、サブバンド信号ごとに、それぞれの前記第２の処理経路の前記出力が、５ｍｓ～２０ｍｓの間隔の遅延量だけ遅延させられている、請求項１～７のいずれか１項に記載の方法。
  9. 前記バンドパスフィルタ（４０２、５０２）が、周波数領域有限インパルス応答フィルタである、請求項１～８のいずれか１項に記載の方法。
  10. 前記第１のＤＲＣを、前記瞬時ＤＲＣに対して遅くすることが、前記サブバンド信号をオーバサンプリングすることに関連している、請求項１～９のいずれか１項に記載の方法。
  11. 前記サブバンド信号が、１２８～５１２の範囲のオーバサンプリングレートＮによってオーバサンプリングされる、請求項１０に記載の方法。
  12. 前記オーバサンプリングすることは、前記サブバンド信号にｎ点ＦＦＴを適用することと、前記ＦＦＴ変換をｎ／Ｎサンプルだけオーバラップすることとを含み、Ｎはオーバサンプリングレートであり、ｎはＮよりも大きい、請求項１０または請求項１１に記載の方法。
  13. 前記第１のＤＲＣ（４０４）を、前記瞬時ＤＲＣに対して遅くすることは、前記第１のＤＲＣ（４０４）の前記アタック時定数及び／または前記リリース時定数を増加させることに関連する、請求項１～１２のいずれか１項に記載の方法。
  14. 前記第１のＤＲＣを、前記瞬時ＤＲＣに対して遅くすることは、０．０１ｍｓ～３ｍｓに及ぶ範囲から選択される前記基準時定数τに基づいて、前記第１のＤＲＣ（４０４）の前記アタック時定数及び／または前記リリース時定数を設定することに関連する、請求項１～１３のいずれか１項に記載の方法。
  15. 請求項１～１４のいずれか１項の方法に従ってオーディオ信号を処理するように適合されたプロセッサを含む、オーディオ出力デバイス。
  16. オーディオ出力デバイスのプロセッサに、前記プロセッサ上で実行されたときに、請求項１～１４のいずれか１項に記載の方法に従ってオーディオ処理を実行させるプログラムを格納する、コンピュータ可読記憶媒体。
JP2020569897A 2018-06-20 2019-01-16 オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法 Active JP7237993B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP18178873.8A EP3584927B1 (en) 2018-06-20 2018-06-20 Systems and methods for processing an audio signal for replay on an audio device
EP18178873.8 2018-06-20
US16/019,230 US10199047B1 (en) 2018-06-20 2018-06-26 Systems and methods for processing an audio signal for replay on an audio device
US16/019,230 2018-06-26
US16/244,727 US10991375B2 (en) 2018-06-20 2019-01-10 Systems and methods for processing an audio signal for replay on an audio device
US16/244,727 2019-01-10
PCT/EP2019/051041 WO2019242895A1 (en) 2018-06-20 2019-01-16 Systems and methods for processing an audio signal for replay on an audio device

Publications (2)

Publication Number Publication Date
JP2021529980A JP2021529980A (ja) 2021-11-04
JP7237993B2 true JP7237993B2 (ja) 2023-03-13

Family

ID=68578583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569897A Active JP7237993B2 (ja) 2018-06-20 2019-01-16 オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法

Country Status (6)

Country Link
US (1) US10991375B2 (ja)
EP (1) EP3584928B1 (ja)
JP (1) JP7237993B2 (ja)
AU (1) AU2019289648B2 (ja)
CA (1) CA3099725A1 (ja)
WO (1) WO2019242895A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10687155B1 (en) 2019-08-14 2020-06-16 Mimi Hearing Technologies GmbH Systems and methods for providing personalized audio replay on a plurality of consumer devices
US11330377B2 (en) 2019-08-14 2022-05-10 Mimi Hearing Technologies GmbH Systems and methods for fitting a sound processing algorithm in a 2D space using interlinked parameters
US11094328B2 (en) * 2019-09-27 2021-08-17 Ncr Corporation Conferencing audio manipulation for inclusion and accessibility

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295052A (ja) 2008-05-27 2008-12-04 Hearworks Pty Ltd 適応ダイナミックレンジ最適化サウンドプロセッサ
US20120134522A1 (en) 2010-11-29 2012-05-31 Rick Lynn Jenison System and Method for Selective Enhancement Of Speech Signals

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4180707A (en) 1977-06-21 1979-12-25 Norlin Industries, Inc. Distortion sound effects circuit
US5259033A (en) 1989-08-30 1993-11-02 Gn Danavox As Hearing aid having compensation for acoustic feedback
US5408580A (en) 1992-09-21 1995-04-18 Aware, Inc. Audio compression system employing multi-rate signal analysis
US5832444A (en) 1996-09-10 1998-11-03 Schmidt; Jon C. Apparatus for dynamic range compression of an audio signal
US6240192B1 (en) 1997-04-16 2001-05-29 Dspfactory Ltd. Apparatus for and method of filtering in an digital hearing aid, including an application specific integrated circuit and a programmable digital signal processor
US6219427B1 (en) 1997-11-18 2001-04-17 Gn Resound As Feedback cancellation improvements
US6868163B1 (en) 1998-09-22 2005-03-15 Becs Technology, Inc. Hearing aids based on models of cochlear compression
US6993480B1 (en) 1998-11-03 2006-01-31 Srs Labs, Inc. Voice intelligibility enhancement system
US6947509B1 (en) 1999-11-30 2005-09-20 Verance Corporation Oversampled filter bank for subband processing
US6618486B2 (en) 2000-05-03 2003-09-09 Robert A. Orban Controller for FM 412 multiplex power regulation
CA2354755A1 (en) 2001-08-07 2003-02-07 Dspfactory Ltd. Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank
US8139787B2 (en) 2005-09-09 2012-03-20 Simon Haykin Method and device for binaural signal enhancement
US7881398B2 (en) * 2006-08-21 2011-02-01 Agere Systems Inc. FFT numerology for an OFDM transmission system
US8000487B2 (en) 2008-03-06 2011-08-16 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices
ES2319955B2 (es) 2008-12-02 2009-09-22 Universidad Politecnica De Madrid Procedimiento de amplificacion de señales de audio generadas por instrumentos musicales para preamplificadores de estado solido.
US8229125B2 (en) 2009-02-06 2012-07-24 Bose Corporation Adjusting dynamic range of an audio system
US8626516B2 (en) 2009-02-09 2014-01-07 Broadcom Corporation Method and system for dynamic range control in an audio processing system
WO2011115944A1 (en) 2010-03-18 2011-09-22 Dolby Laboratories Licensing Corporation Techniques for distortion reducing multi-band compressor with timbre preservation
US9138178B2 (en) 2010-08-05 2015-09-22 Ace Communications Limited Method and system for self-managed sound enhancement
US20150281853A1 (en) 2011-07-11 2015-10-01 SoundFest, Inc. Systems and methods for enhancing targeted audibility
US8861760B2 (en) 2011-10-07 2014-10-14 Starkey Laboratories, Inc. Audio processing compression system using level-dependent channels
EP2944097A4 (en) 2013-01-09 2016-11-23 Ace Comm Ltd METHOD AND SYSTEM FOR AUTOGERATED SOUND ENHANCEMENT
US9762198B2 (en) 2013-04-29 2017-09-12 Dolby Laboratories Licensing Corporation Frequency band compression with dynamic thresholds
US9680438B2 (en) 2015-07-01 2017-06-13 Meq Inc. Method and device for playing modified audio signals
JP6728340B2 (ja) * 2015-09-02 2020-07-22 ユニヴァーシティ オブ ワシントン 超広帯域ダイレクトサンプリングトランシーバのためのシステム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295052A (ja) 2008-05-27 2008-12-04 Hearworks Pty Ltd 適応ダイナミックレンジ最適化サウンドプロセッサ
US20120134522A1 (en) 2010-11-29 2012-05-31 Rick Lynn Jenison System and Method for Selective Enhancement Of Speech Signals

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BioAid Part 2: From Auditory Model to Hearing Aid Algorithm，AudioPlastic，2013年01月29日，http://audioplastic.org/
Yu-Ting Kuo et. al.，Complexity-Effective Auditory Compensation for Digital Hearing Aids，2008 IEEE International Symposium on Circuits and Systems (ISCAS)，2008年05月

Also Published As

Publication number Publication date
CA3099725A1 (en) 2019-12-26
US10991375B2 (en) 2021-04-27
AU2019289648B2 (en) 2022-11-17
EP3584928B1 (en) 2021-03-24
AU2019289648A1 (en) 2020-12-03
JP2021529980A (ja) 2021-11-04
WO2019242895A1 (en) 2019-12-26
EP3584928A1 (en) 2019-12-25
US20190392849A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN109545233B (zh) 用于处理音频信号以在音频装置上重放的系统和方法
CN107547983B (zh) 用于提高目标声音的可分离性的方法和听力装置
JP7237993B2 (ja) オーディオデバイスで再生するためのオーディオ信号を処理するシステム及び方法
US20030185411A1 (en) Single channel sound separation
JP5248512B2 (ja) 補聴処理装置、調整装置、補聴処理システム、補聴処理方法、プログラム、及び集積回路
CN103747403A (zh) 用于依赖于声音环境分类缓解耳鸣的声音富集
CN101641968A (zh) 用于缓解耳鸣的声音富集
CN104885360A (zh) 具有声压级和频率依赖性增益的助听器
CN103517193A (zh) 用于耳鸣缓解的声音富集系统
Kates Modeling the effects of single-microphone noise-suppression
US11062717B2 (en) Systems and methods for processing an audio signal for replay on an audio device
WO2023000602A1 (zh) 一种耳机及其音频处理方法、装置、存储介质
Lezzoum et al. Noise reduction of speech signals using time-varying and multi-band adaptive gain control for smart digital hearing protectors
Patel et al. Compression Fitting of Hearing Aids and Implementation
Patel et al. Frequency-based multi-band adaptive compression for hearing aid application
JP5046233B2 (ja) 音声強調処理装置
WO2010000042A1 (en) Linear gain amplification for mid-to-high intensity sounds in a compressive sound processor
Lai et al. Adaptive dynamic range compression for improving envelope-based speech perception: Implications for cochlear implants
Negi et al. Comparative Analysis of Octave and Band Pass Filter for Improving Hearing Capability of Deaf People
JP2021157134A (ja) 信号処理方法、信号処理装置及び聴取装置
Zou Multi-Channel Dynamic-Range Compression Techniques for Hearing Devices
Zhao et al. An Improved Frequency-Shift Compression Method Based on Auto Energy Gain Compensation for Digital Hearing Aids
Moore Research data supporting" Effects of Sound-Induced Hearing Loss and Hearing Aids on the Perception of Music"
WO2017025107A2 (en) Talker language, gender and age specific hearing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R150 Certificate of patent or registration of utility model

Ref document number: 7237993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150