JP6111319B2 - アクティブノイズキャンセリングと知覚雑音補償との組み合わせによりサウンド再生の知覚品質を改善する装置および方法 - Google Patents

Description

本発明は、オーディオ信号処理に関し、特に、アクティブノイズキャンセリングと知覚雑音補償とを組み合わせることにより、例えばヘッドフォンを介したサウンドの再生の知覚品質を改善して、サウンド再生の視聴品質を改善する装置および方法に関する。

オーディオ信号処理は益々重要になってきている。例えば車室内のような多くの視聴シナリオにおいて、オーディオ信号は雑音環境内で提示され、そのために、それらのサウンド品質および明瞭度が影響を受ける。環境雑音の視聴感への影響を低減する一つの手法はアクティブノイズキャンセリング（能動雑音制御）であり、例えば、非特許文献１および非特許文献２に示されている。アクティブノイズキャンセリング（ＡＮＣ：Ａｃｔｉｖｅ Ｎｏｉｓｅ Ｃａｎｃｅｌｌａｔｉｏｎ）は、干渉雑音を受信側で可変の度合いに低減する。一般に、低い周波数の雑音成分は高い周波数成分よりもうまく消すことができ、静的雑音は非静的雑音よりも良好に消すことができ、純音はランダム雑音よりもうまく消すことができる。

アクティブノイズキャンセリングは、音響干渉の原理に基づいて音響雑音を抑制する技術である。干渉している雑音を、それを位相反転したものを用いて相殺するという基本的な発想は、１９３６年のＰａｕｌ Ｌｕｅｇ氏の特許に初めて記載され、特許文献２に示されている。

ＡＮＣの原理は、非特許文献１および非特許文献２に概説されている。雑音源（主音源）によって発せられた音場が、トランスデューサを用いて測定される。この参照信号を用いて二次信号が生成され、二次スピーカに供給される。二次音源（いわゆる「反雑音」または「アンチノイズ」）によって発せられた音響波が雑音の音響波と完全に逆相であれば、スピーカの背後でかつ雑音源に対向する領域である「静のゾーン」において、弱め合う干渉によって雑音が相殺される。理想的には、マイクロフォンとスピーカとの双方に対して、平面波トランスデューサが用いられる。

反雑音は、主雑音の測定値を遅延させて増減（スケーリング）することによって生成できるが、雑音とアンチサウンドトランスデューサの間の音響経路において起こり得る変動に対処するように、適応的に演算されることが多い。その演算は適応フィルタに基づいて実現され、そのフィルタ係数が、最小二乗法（ＬＭＳ）、ｆｉｌｔｅｒｅｄ−Ｘ ＬＭＳアルゴリズム（ＦＸＬＭＳ）、ｌｅａｋｙ ＦＸＬＭＳ、あるいはまた他の最適化アルゴリズムを用いて、誤差信号を最小化することによって演算される。

ＡＮＣは、フィードフォワード制御またはフィードバック制御のいずれかとして実現される。

図３は、ＡＮＣをフィードフォワード構造で実現する場合のブロック図を示す。雑音源３１０は主雑音３２０を発する。主雑音３２０は、環境オーディオ信号ｄ（ｔ）として、基準マイクロフォン３３０によって記録される。環境オーディオ信号は、適応フィルタ３４０に供給される。適応フィルタは、環境オーディオ信号ｄ（ｔ）をフィルタリングして、フィルタ信号を取得する。フィルタ信号は、スピーカ３５０の駆動に用いられる。

前述したように、図３に示す構造はフィードフォワード構造である。図３に示すように、フィードフォワード構造では、参照マイクロフォンが、例えば主雑音が二次音源に到達する前にピックアップされるように配置される。

しばしば、二次音源の後段に第２のマイクロフォンが取り付けられ、残留雑音信号を測定する。このような構造において、第２のマイクロフォンは、残留雑音マイクロフォンまたは誤差マイクロフォンと呼ばれる。そのような構造を図４に示す。

図４は、追加の誤差マイクロフォン４６０を有するフィードフォワード構造によってＡＮＣを実現する場合のブロック図を示す。雑音適応アルゴリズムが、残留雑音が最小化されるように、参照マイクロフォン信号を用いて反雑音を生成するためのフィルタ係数を演算する。

図５は、フィードバック構造によってＡＮＣを実現する場合のブロック図を示す。フィードバック構造における実施は、図５に示すように、誤差を測定して二次信号を生成するために１つのマイクロフォンだけを用いる。ヘッドフォンへの適用についてのフィードバックＡＮＣシステムは、非特許文献６に記載されている。

相殺の効果は、雑音源の音場と二次音源の音場との重畳精度に依存する。実際には、干渉している雑音信号は、完全には除去されない。ＡＮＣは、低周波雑音信号成分および静的信号に対して特に適しているが、高周波および非静的信号雑音信号成分の除去はできない。

知覚雑音補償（ＰＮＣ：Ｐｅｒｃｅｐｔｕａｌ Ｎｏｉｓｅ Ｃｏｍｐｅｎｓａｔｉｏｎ）は、心理音響の知識を用いることによって干渉雑音の知覚効果を補償する信号処理方法である。ＰＮＣの基本原理は、干渉雑音によってマスクされた入力オーディオ信号のスペクトル成分が増幅されるように、時間変化する等化を適用することである。主たる発想については、例えば、特許文献１等に示される雑音補償、非特許文献３等に示されるマスク補償、非特許文献４等に示される雑音環境でのサウンド等化、非特許文献５等に示される動的サウンド制御を参照することができる。

知覚雑音補償は、環境雑音下で与えられたその音色および音量が、静寂下で処理されずに与えられた音色および音量に類似または近似して知覚されるように、オーディオ信号を処理する。部分的または完全なマスク効果に起因して、付加雑音は所望の信号の音量を減少させる。結果として得られる感覚は、部分音量として知られる。人間の聴覚系における周波数選択処理に起因して、干渉雑音は、所望の信号と、それによるその音色の知覚スペクトルバランスに影響を与える。

ＰＮＣの基本原理は、例えば、特許文献１において適用されている。最近の進展については、例えば、非特許文献７、８、９および非特許文献５に記載されている。方法の論理的根拠は、音量および音色の感覚が復元されるように、時間変化するスペクトル重み付け因子を所望の信号に適用することにある。

ＰＮＣのスペクトル重み付け方法は、入力オーディオ信号を、好ましくは知覚的に動機付けされた周波数スケールに従って、例えばＢａｒｋまたはＥＲＢスケールといった、臨界帯域の帯域幅を有するＭ個の周波数帯域に分離する。サブバンド指標ｍ＝１・・・Ｍおよび時間指標ｋに対し、導出されたサブバンド信号ｓ_ｍ［ｋ］は、時変利得因子ｇ_ｍ［ｋ］を用いてスケーリングされる。利得は、雑音中で処理された信号の部分的特徴音量Ｎ´（例えば各聴覚周波数帯域で誘起された音量）が、静寂下での未処理のオーディオ信号の特定の音量またはその断片βに等しくなるように、付加雑音のサブバンド信号であるｅ_ｍ［ｋ］を用いて、式（１）に示すように演算される。

ここで、

は静寂下での音量であり、

は、雑音ｅ［ｋ］内で処理された信号の部分音量である。

音量モデルは、マスク信号ｅ［ｋ］と同時に与えられる場合に、信号ｓ［ｋ］の部分的特定音量Ｎ´［ｍ，ｋ］を演算する。

利得ｇ_ｍ［ｋ］は、例えば非特許文献８に示されるように、部分音量のモデルを用いて演算することができる。

以下では、部分音量の演算モデルを説明する。音量モデルは、マスク信号ｅ［ｋ］と同時に与えられた場合に、信号ｓ［ｋ］の部分的特定音量Ｎ´（ｓ_ｍ［ｋ］＋ｅ_ｍ［ｋ］）を演算する。

部分音量の知覚モデルの特定の実施例を図６に示す。これは、非特許文献１０および１１に提示されたモデルから導出されるものであり、それ自体は、Ｆｌｅｔｃｈｅｒ、Ｍｕｎｓｏｎ、ＳｔｅｖｅｎｓおよびＺｗｉｃｋｅｒによる初期研究をいくらか変形して利用したものである。例えば非特許文献１２に記載されるように、過去に、特定音量を計算するための代替の方法が開発された。

入力信号は、短時間フーリエ変換（ＳＴＦＴ）を用いて、例えば、２１ｍｓのフレーム長、５０％のオーバーラップおよびＨａｎｎ窓関数で、周波数ドメインで処理される。人間の聴覚系の周波数解像度および時間解像度を模して、サブバンド信号が、スペクトル係数をグループ分けすることによって得られる。外耳および中耳を通る伝搬は、固定フィルタで模擬される。さらに、再生システムの伝達関数を選択的に組み込むこともできるが、簡略化のため、ここでは説明を省略する。

図７に、外耳および中耳を通る経路をモデル化する伝達関数を示す。

励起関数が、等価長方形帯域幅（ＥＲＢ：ｅｑｕｉｖａｌｅｎｔ ｒｅｃｔａｎｇｕｌａｒ ｂａｎｄｗｉｄｔｈ）スケールまたはＢａｒｋスケール上に配置された聴覚フィルタ帯域に対して演算される。

図８に、周波数帯域の知覚的に動機付けされた配置の一例として、聴覚フィルタ帯域の簡略化された配置を示す。

ＳＴＦＴのウインドウ設定による時間的積分に加えて、発音および減衰中に異なる時間定数で再帰的な積分を用いることができる。特定部分音量、例えば、聴覚フィルタ帯域の各々で発せられた部分音量は、非特許文献１０における式（１７）〜（２０）に従って、対象（刺激）となる信号および干渉雑音からの励起レベルから演算される。これらの式は、信号が雑音における可聴閾値よりも高い場合およびそうでない場合、並びに混合信号の励起が１００ｄＢ ＳＰＬよりも低い場合およびそうでない場合の４つの場合に対応している。干渉信号がモデルに供給されない、例えばｅ［ｋ］＝０の場合、結果は刺激ｓ［ｋ］の合計音量Ｎ［ｋ］に等しく、図９に示すような等ラウドネス曲線（ＥＬＣ）で表される情報を予測すべきである。ここで、図９は、非特許文献１３からの等ラウドネス曲線ＩＳＯ２２６−２００３を示す。

モデルの出力の例を図１０および図１１に示す。

図１０に、周波数帯域４について例示的に特定部分音量を示す。ここで、雑音励起の関数は０から１００ｄＢの範囲である。

図１１に、４０ｄＢ雑音励起での雑音における特定部分音量を示す。

特許文献３（非特許文献１４参照）は、雑音内での発声の明瞭度を高めるための方法を開示し、ＡＮＣおよびＰＮＣの結合について言及しているが、ＡＮＣおよびＰＮＣがどのようにして有利な態様で結合されるのかについては教示がない。

米国特許第４８６８８８１号：Ｅ．Ｚｗｉｃｋｌｅｒ ａｎｄ Ｋ．Ｄｅｕｔｅｒ，”Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｉｏｎ ｉｎ ａｎ ａｕｄｉｏ ｃｉｒｃｕｉｔ ｐａｒｔｉｃｕｌａｒｌｙ ｆｏｒ ｃａｒ ｒａｄｉｏｓ”，１９８９ 米国特許第２０４３４１６号：Ｐ． Ｌｕｅｇ，“Ｐｒｏｃｅｓｓ ｏｆ ｓｉｌｅｎｃｉｎｇ ｓｏｕｎｄ ｏｓｃｉｌｌａｔｉｏｎｓ”，１９３６ 米国特許第７０５０９６６号

Ｓ．Ｊ． Ｅｌｌｉｏｔｔ ａｎｄ Ｐ．Ａ． Ｎｅｌｓｏｎ， "Ａｃｔｉｖｅ ｎｏｉｓｅ ｃｏｎｔｒｏｌ，" ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃ． Ｍａｇａｚｉｎｅ， ｐｐ． １２−３５， １９９３ Ｓ．Ｍ． Ｋｕｏ ａｎｄ Ｄ．Ｒ． Ｍｏｒｇａｎ， "Ａｃｔｉｖｅ ｎｏｉｓｅ ｃｏｎｔｒｏｌ： Ａ ｔｕｔｏｒｉａｌ ｒｅｖｉｅｗ，" Ｐｒｏｃ． ｏｆ ｔｈｅ ＩＥＥＥ， ｖｏｌ． ８７， ｐｐ． ９４３−９７３， １９９９ Ｗ．Ｎ． Ｈｏｕｓｅ， "Ａｓｐｅｃｔｓ ｏｆ ｔｈｅ ｖｅｈｉｃｌｅ ｌｉｓｔｅｎｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ，" ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ ＡＥＳ ８７ｔｈ Ｃｏｎｖ．， １９８９ Ｍ． Ｔｚｕｒ ａｎｄ Ａ．Ａ． Ｇｏｌｄｉｎ， "Ｓｏｕｎｄ ｅｑｕａｌｉｚａｔｉｏｎ ｉｎ ａ ｎｏｉｓｙ ｅｎｖｉｒｏｎｍｅｎｔ，" ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ １１０ｔｈ ＡＥＳ Ｃｏｎｖ．， ２００１． Ｍ． Ｃｈｒｉｓｔｏｐｈ， "Ｄｙｎａｍｉｃ ｓｏｕｎｄ ｃｏｎｔｒｏｌ ａｌｇｏｒｉｔｈｍｓ ｉｎ ａｕｔｏｍｏｂｉｌｅｓ，" ｉｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ ｐｒｏｃｅｓｓｉｎｇ ｉｎ Ａｄｖｅｒｓｅ Ｅｎｖｉｒｅｏｎｍｅｎｔｓ． Ｓｐｒｉｎｇｅｒ， ２００８ Ｓ．Ｍ． Ｋｕｏ， Ｓ． Ｍｉｔｒａ， ａｎｄ Ｗ．−Ｓ． ＧＡＮ， "Ａｃｔｉｖｅ ｎｏｉｓｅ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｆｏｒ ｈｅａｄｐｈｏｎｅ ａｐｐｌｉｃａｔｉｏｎｓ，" ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ． １４， ｐｐ． ３３１−３３５， ２００６． Ｂ． Ｓａｕｅｒｔ ａｎｄ Ｐ． Ｖａｒｙ， "Ｎｅａｒ ｅｎｄ ｌｉｓｔｅｎｉｎｇ ｅｎｈａｎｃｅｍｅｎｔ： Ｓｐｅｅｃｈ ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ ｉｍｐｒｏｖｅｍｅｎｔ ｉｎ ｎｏｉｓｙ ｅｎｖｉｒｏｎｍｅｎｔｓ，" ｉｎ Ｐｒｏｃ． ｏｆ ＩＣＡＳＳＰ， ２００６． Ａ． Ｓｅｅｆｅｌｄｔ， "Ｌｏｕｄｎｅｓｓ ｄｏｍａｉｎ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ，" ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ ＡＥＳ １２３ｒｄ Ｃｏｎｖｅｎｔｉｏｎ， ２００７． Ｊ．Ｗ． Ｓｈｉｎ ａｎｄ Ｎ．Ｓ． Ｋｉｍ， "Ｐｅｒｃｅｐｔｕａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｏｆ ｓｐｅｅｃｈ ｓｉｇｎａｌ ｂａｓｅｄ ｏｎ ｐａｒｔｉａｌ ｓｐｅｃｉｆｉｃ ｌｏｕｄｎｅｓｓ，" ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃ． Ｌｅｔｔｅｒｓ， ｖｏｌ． １４， ｐｐ． ８８７−８９０， ２００７． Ｂ．Ｃ．Ｊ． Ｍｏｏｒｅ， Ｂ．Ｒ． Ｇｌａｓｂｅｒｇ， ａｎｄ Ｔ． Ｂａｅｒ， "Ａ ｍｏｄｅｌ ｆｏｒ ｔｈｅ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｔｈｒｅｓｈｏｌｄｓ， ｌｏｕｄｎｅｓｓ ａｎｄ ｐａｒｔｉａｌ ｌｏｕｄｎｅｓｓ，"， Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ４５， ｐｐ． ２２４−２４０， １９９７ Ｂ．Ｒ． Ｇｌａｓｂｅｒｇ ａｎｄ Ｂ．Ｃ．Ｊ． Ｍｏｏｒｅ， "Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ａ ｍｏｄｅｌ ｆｏｒ ｐｒｅｄｉｃｔｉｎｇ ｔｈｅ ａｕｄｉｂｉｌｉｔｙ ｏｆ ｔｉｍｅ−ｖａｒｙｉｎｇ ｓｏｕｎｄｓ ｉｎ ｔｈｅ ｐｒｅｓｅｎｃｅ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｓｏｕｎｄｓ，" Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ５３， ｐｐ． ９０６−９１８， ２００５． Ｅ． Ｚｗｉｃｋｅｒ， Ｈ． Ｆａｓｔｌ， Ｕ． Ｗｉｄｍａｎｎ， Ｋ． Ｋｕｒａｋａｔａ， Ｓ． Ｋｕｗａｎｏ， ａｎｄ Ｓ． Ｎａｍｂａ， "Ｐｒｏｇｒａｍ ｆｏｒ ｃａｌｃｕｌａｔｉｎｇ ｌｏｕｄｎｅｓｓ ａｃｃｏｒｄｉｎｇ ｔｏ ＤＩＮ ４５６３１ （ＩＳＯ ５３２ｂ），" Ｊ． Ａｃｏｕｓｔ． Ｓｏｃ． Ｊｐｎ， ｖｏｌ． １２， １９９１． Ｙ． Ｓｕｚｕｋｉ， "Ｐｒｅｃｉｓｅ ａｎｄ ｆｕｌｌ−ｒａｎｇｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ２−ｄｉｍｅｎｓｉｏｎａｌ ｅｑｕａｌ ｌｏｕｄｎｅｓｓ ｃｏｎｔｏｕｒｓ，" Ｔｅｃｈ． Ｒｅｐ．， ＡＩＳＴ， ２００３． Ｔ． Ｓｃｈｎｅｉｄｅｒ， Ｄ． Ｃｏｏｄｅ， Ｒ．Ｌ． Ｂｒｅｎｎａｎ， ａｎｄ Ｐ． Ｏｌｉｊｎｙｋ， "Ｓｏｕｎｄ ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ ｅｎｈａｎｃｅｍｅｎｔ ｕｓｉｎｇ ａ ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｍｏｄｅｌ ａｎｄ ａｎ ｏｖｅｒｓａｍｐｌｅｄ ｆｉｌｔｅｒｂａｎｋ，" ２００６．

本発明の課題は、サウンド再生の知覚品質を改善する改善された概念を提供することである。

本発明の課題は、請求項１によるサウンド再生の知覚品質を改善する装置によって、請求項１３によるヘッドフォンによって、請求項１６による方法によって、および請求項１７によるコンピュータプログラムによって、解決される。

オーディオ出力信号のサウンド再生の知覚品質を改善する装置が提供される。その装置は、環境オーディオ信号に基づいて雑音キャンセル信号を生成するアクティブノイズキャンセル部を備え、ここで、環境オーディオ信号は雑音信号部分を含み、雑音信号部分は環境雑音を記録することの結果として得られるものである。さらに、装置は、環境雑音および雑音キャンセル信号に応じて残留雑音特性を決定する残留雑音特性推定器を備える。またさらに、装置は、目標オーディオ信号（所望の信号）に基づいて、および残留雑音特性に基づいて、雑音補償された信号を生成する知覚雑音補償部を備える。さらに、装置は、雑音キャンセル信号と雑音補償されたた信号とを合成してオーディオ出力信号を得る結合器を備える。

本発明によると、オーディオ信号を、環境雑音下で与えられたときのその音色、音量および明瞭度が、静寂下で未処理のまま与えられたときの音色、音量および明瞭度に類似または近似するように再生するための概念が与えられる。提案される概念は、アクティブノイズキャンセリングおよび知覚雑音補償の結合を取り入れる。可能な限り多くの干渉雑音信号を除去するのに、アクティブノイズキャンセリングが適用される。残存雑音成分を補償するのに、知覚雑音補償が適用される。同じトランスデューサを用いることによって、双方の結合を効率的に実施できる。

本発明のいくつかの実施態様は、心理音響の知見を考慮して所望のオーディオ信号ｓ［ｋ］を処理する概念に基づいている。これにより、知覚雑音補償の心理音響の知見を考慮して所望のオーディオ信号ｓ［ｋ］を処理することによって、残留雑音成分ｅ［ｋ］の逆知覚効果が後に補償される。

いくつかの実施態様は、ＡＮＣが干渉雑音を部分的にしか物理的にキャンセルできないという知見に基づいている。これは不完全であり、その結果として、図１２の従来技術によるサウンド再生システムの例示的実施の模式図に示すように、聴取者の耳元にはいくらかの残留雑音が残る。

一実施態様によると、残留雑音特性推定器は、雑音キャンセル信号だけを再生した場合に残るであろう環境雑音の雑音部分の特性を残留雑音特性が示すように、残留雑音特性を決定するように構成される。

さらなる実施態様では、残留雑音特性推定器は、環境オーディオ信号を受信するように構成される。残留雑音特性推定器は、アクティブノイズキャンセル部から雑音キャンセル信号の情報を受信するように構成され、残留雑音特性推定器は、環境オーディオ信号に基づいて、および雑音キャンセル信号の情報に基づいて、残存雑音推定値を残留雑音特性として決定するように構成される。残存雑音推定値は、例えば、雑音キャンセル信号を再生するだけの場合に残るであろう環境雑音の雑音部分を示す。

他の実施態様によると、残留雑音特性推定器は、アクティブノイズキャンセル部から雑音キャンセル信号の情報として雑音キャンセル信号を受信するように構成される。残留雑音特性推定器は、環境オーディオ信号に基づいて、および前記雑音キャンセル信号に基づいて、残存雑音推定値を決定するように構成される。

さらなる実施形態によると、残留雑音特性推定器は、環境オーディオ信号と雑音キャンセル信号とを加算することによって、残存雑音推定値を決定するように構成される。

他の実施態様では、装置はさらに、少なくとも１つのスピーカおよび少なくとも１つのマイクロフォンを備える。マイクロフォンは環境オーディオ信号を記録するように構成され、スピーカはオーディオ出力信号を出力するように構成され、マイクロフォンおよびスピーカはフィードフォワード構造を実現するように配置される。

他の実施態様によると、残留雑音特性推定器は、環境オーディオ信号を受信するように構成され、残留雑音特性推定器は、知覚雑音補償部から雑音補償された信号の情報を受信するように構成される。残留雑音特性推定器は、環境オーディオ信号に基づいて、および雑音補償された信号に基づいて、残存雑音推定値を残留雑音特性として決定するように構成される。残存雑音推定値は、例えば、雑音キャンセル信号を再生するだけの場合に残るであろう環境雑音の雑音部分を示す。

他の実施態様では、残留雑音特性推定器は、知覚雑音補償部から雑音補償された信号の情報として雑音補償された信号を受信するように構成される。残留雑音特性推定器は、環境オーディオ信号に基づいて、および雑音補償された信号に基づいて、残存雑音推定値を決定するように構成される。

さらなる実施態様によると、残留雑音特性推定器は、雑音補償された信号をスケーリングした成分を環境オーディオ信号から減算することによって、残存雑音推定値を決定するように構成される。

他の実施態様では、装置はさらに、少なくとも１つのスピーカおよび少なくとも１つのマイクロフォンを備える。マイクロフォンは、環境オーディオ信号を記録するように構成され、スピーカは、オーディオ出力信号を出力するように構成され、マイクロフォンとスピーカとがフィードバック構造を実現するように配置される。

他の実施態様によると、装置は、例えば、会話または警報音についての補償されるべきでない環境オーディオ信号の信号部分を検出するための音源分離部をさらに備えることができる。

さらなる実施態様では、音源分離部は、補償されるべきではない環境オーディオ信号の信号部分を環境オーディオ信号から除去するように構成される。

一実施態様によると、ヘッドフォンが提供される。ヘッドフォンは、２つのイヤーキャップ、上記実施態様の１つによるサウンド再生の知覚品質を改善する装置、および環境オーディオ信号を記録するための少なくとも１つのマイクロフォンを備える。この関連において、雑音環境でのヘッドフォンを介したオーディオ信号の再生の概念が提供される。

一実施態様では、オーディオ出力信号のサウンド再生の知覚品質を改善する方法が提供される。その方法は、環境雑音を記録することで得られる雑音部分が含まれる環境オーディオ信号に基づいて雑音キャンセル信号を生成するステップと、環境雑音と雑音キャンセル信号とに応じて残留雑音特性を決定するステップと、目標オーディオ信号と残留雑音特性とに基づいて雑音補償された信号を生成するステップと、雑音キャンセル信号と雑音補償された信号とを合成してオーディオ出力信号を得るステップと、を有する。

さらに、コンピュータまたは信号プロセッサで実行されたときに上記の方法を実施するためのコンピュータプログラムが提供される。

以下に、図面を参照して、本発明の実施形態をより詳細に説明する。

図１は、一実施形態によるサウンド再生の知覚品質を改善する装置である。 図２は、一実施形態によるヘッドフォンを示す。 図３は、アクティブノイズキャンセリングをフィードフォワード構造で実現する場合のブロック図である。 図４は、アクティブノイズキャンセリングを、追加の誤差マイクロフォンを有するフィードフォワード構造で実現する場合のブロック図である。 図５は、アクティブノイズキャンセリングをフィードバック構造で実現する場合のブロック図である。 図６は、部分音量の知覚モデルのブロック図である。 図７は、外耳および中耳を通る伝達関数の例である。 図８は、聴覚フィルタ帯域の簡略化された配置である。 図９は、等ラウドネス曲線である。 図１０は、例示的に周波数帯域４について、０から１００ｄＢの範囲の雑音励起の関数について特定部分音量を示す。 図１１は、４０ｄＢ雑音励起での雑音における特定部分音量である。 図１２は、フィードフォワード構造を有する従来技術による音響雑音キャンセリングによるサウンド再生システムの代表的実施例のブロック図である。 図１３は、従来技術による知覚雑音補償によるサウンド再生システムのブロック図である。 図１４は、残留雑音の特性を推定するために主雑音センサが用いられる一実施形態によるＡＮＣおよびＰＮＣによるサウンド再生システムの代表的実現例のブロック図である。 図１５は、残留雑音の特性を推定するために残留雑音センサが用いられるさらなる実施形態によるＡＮＣおよびＰＮＣによるサウンド再生システムの代替的実現例のブロック図である。 図１６は、残留雑音の特性を推定するために主雑音センサが用いられる他の実施形態によるＡＮＣおよびＰＮＣによるサウンド再生システムの代表的実現例のブロック図である。 図１７は、残留雑音の特性を推定するために残留雑音センサが用いられるさらなる実施形態によるＡＮＣおよびＰＮＣによるサウンド再生システムの代替的実現例のブロック図である。 図１８は、装置が音源分離部を備えるさらなる実施形態によるサウンド再生の知覚品質を改善する装置である。 図１９は、図１６の実施形態によるサウンド再生の知覚品質を改善する２つの装置を備える一実施形態によるヘッドフォンを示す。 図２０は、図１７の実施形態によるサウンド再生の知覚品質を改善する２つの装置を備える一実施形態によるヘッドフォンを示す。 図２１は、一実施例による、ヘッドフォンを介する伝搬およびＡＮＣ処理を線形時不変システムとしてモデル化するためのテスト構成を示す。 図２２は、一実施形態による、図２１のテスト構成に対応するモデル化されたＬＴＩシステムを示す。 図２３は、一実施例による、ヘッドフォンを介する伝搬およびＡＮＣ処理を線形時不変システムとしてモデル化するために実行されるステップを図示するフローチャートを示す。

図１は、一実施形態による、オーディオ出力信号のサウンド再生の知覚品質を改善する装置（以下、「サウンド再生知覚品質改善装置」という）を示す。この装置は、環境オーディオ信号に基づいて雑音キャンセル信号を生成するアクティブノイズキャンセル部１１０を備える。環境オーディオ信号は雑音信号部分を備え、雑音信号部分は環境雑音を記録することの結果として得られる。さらに、この装置は、環境雑音および雑音キャンセル信号に依存する残留雑音特性を決定する残留雑音特性推定器１２０を備える。またさらに、この装置は、目標オーディオ信号と残留雑音特性とに基づいて雑音被補償信号を生成する知覚雑音補償部１３０を備える。さらに、この装置は、雑音キャンセル信号と雑音補償された信号を合成して、オーディオ出力信号を得る結合器１４０を備える。ここで、環境雑音とは、例えば、記録マイクロフォンの環境、スピーカの環境、または発せられた音波を聴取者が知覚する環境といったような環境で起こる任意の雑音をいう。

サウンド再生知覚品質改善装置の実現は、ＡＮＣが干渉雑音を部分的にのみ物理的に相殺できるという知見に基づく。ＡＮＣは不完全であり、その結果として、図１２に示す従来技術によるサウンド再生システムの代表的実施例の模式図に示すように、聴取者の耳元にはいくらかの残留雑音が残る。

この不利益を克服するために、いくつかの実施形態によると、残留雑音特性推定器１２０は、雑音キャンセル信号を再生するだけの場合、例えばスピーカによって雑音キャンセル信号が再生される場合に残るであろう環境雑音の雑音部分の特性を残留雑音特性が示すように、残留雑音特性を決定するように構成されていればよい。

上述した実施形態による装置を、ヘッドフォンで採用することができる。図２は、そのような実施形態によるヘッドフォンを示す。

このヘッドフォンは、２つのイヤーキャップ２４１および２４２を備える。イヤーキャップ２４１は、例えば、少なくとも１つのマイクロフォン２６１、および上述した実施態様の１つによるサウンド再生知覚品質改善装置２５１を備える。図２のヘッドフォンの実施形態において、サウンド再生知覚品質改善装置２５１は、イヤーキャップ２４１に一体化される。イヤーキャップ２４１のスピーカは、サウンド再生知覚品質改善装置２５１のオーディオ出力信号を再生する。同様に、イヤーキャップ２４２も、例えば、少なくとも１つのマイクロフォン２６２、および上述した実施態様の１つによるサウンド再生知覚品質改善装置２５２を備える。図２のヘッドフォンの実施形態において、サウンド再生知覚品質改善装置２５２は、イヤーキャップ２４２に一体化される。イヤーキャップ２４２のスピーカは、サウンド再生知覚品質改善装置２５２のオーディオ出力信号を再生する。図２は、ヘッドフォンを装着した聴取者２８０をさらに示す。

ヘッドフォンは、ＡＮＣを実現する。実施の形態によっては、耳元での環境雑音および／または残留雑音を測定するために、図２のヘッドフォンには１以上のマイクロフォンが搭載される。マイクロフォン信号は、雑音を相殺するための二次信号を生成するのに使用される。さらに、ＰＮＣ処理が行われ、時変かつ信号依存のスペクトル重み付け（フィルタ）を所望の入力信号に適用して残存雑音信号を補償することによって、知覚サウンド品質を改善する。フィルタを演算するためにＰＮＣ処理に必要な残留雑音特性の推定値は、マイクロフォン信号から得られる。

ＡＮＣの実現に際して、異なる構造が存在する。それらの構造間を差異付ける特徴は、処理チェーンにおける雑音センサの位置であり、２つの基本的な制御構造、すなわちフィードフォワード構造とフィードバック構造に帰着する。ＡＮＣの実現における技術的背景については既に上述した。

図１２に示される従来技術においては、干渉雑音は完全には相殺されない。残留雑音は、心理音響学に基づく信号処理方法であるＰＮＣを用いることにより、再生オーディオ信号の品質に対する逆効果で補償することができる。ＰＮＣは、干渉雑音によってマスクされた入力信号のスペクトル成分が増幅されるように、時間変化する等化を適用する。これは通常、スペクトル重み付け法を用いることによって達成され、心理音響学の知識と、所望の信号（目標オーディオ信号）および干渉雑音の特性と、を考慮することによって、サブバンド利得が演算される。ＰＮＣの実現についてのさらに具体的な背景については、既に上述した。従来技術によるＰＮＣでのサウンド再生を図１３に示す。

図１４および図１５に、実施形態によるサウンド再生システムを示す。両実施例とも、残留雑音特性推定器（ＲＮＣＥ：Ｒｅｓｉｄｕａｌ Ｎｏｉｓｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ Ｅｓｔｉｍａｔｏｒ）と呼ばれる残留雑音の特性を推定する手段を有する。２つの実施の相違は、ＡＮＣのために使用される制御構造（フィードフォワード構造およびフィードバック構造）にある。

図１４は一実施形態による装置を示し、特に、フィードフォワード構造におけるＰＮＣとＡＮＣとの結合を示す。ＲＮＣＥは、残留雑音を測定するための専用マイクロフォンを持たない主雑音センサを基にしている。図１４の実施形態の装置は、アクティブノイズキャンセル部１４１０、残留雑音特性推定器１４２０、知覚雑音補償部１４３０および結合器１４４０を備え、これらは図１の実施形態のアクティブノイズキャンセル部１１０、残留雑音特性推定器１２０、知覚雑音補償部１３０および結合器１４０にそれぞれ対応する。

図１４の実施形態の装置は、スピーカ１４５０およびマイクロフォン１４０５をさらに備える。マイクロフォン１４０５は、環境オーディオ信号を記録するように構成される。さらに、スピーカ１４５０は、オーディオ出力信号を出力するように構成される。図１４の実施形態において、マイクロフォンおよびスピーカは、フィードフォワード構造を実現するように配置される。フィードフォワード構造は、例えばマイクロフォンおよびスピーカの配置を表し、マイクロフォンは、スピーカにより発せられた音波を受信しない。

図１５は、残留雑音を測定するための専用マイクロフォンの利点を活かしたフィードバック構造での実施を示す。特に、図１５は、サウンド再生の知覚品質を改善する装置を示し、ここでも装置は、アクティブノイズキャンセル部１５１０、残留雑音特性推定器１５２０、知覚雑音補償部１５３０および結合器１５４０を備え、これらは図１の実施形態のアクティブノイズキャンセル部１１０、残留雑音特性推定器１２０、知覚雑音補償部１３０および結合器１４０にそれぞれ対応する。

図１４の実施形態のように、図１５の実施形態の装置は、スピーカ１５５０およびマイクロフォン１５０５をさらに備える。マイクロフォン１５０５は、環境オーディオ信号を記録するように構成される。さらに、スピーカ１５５０は、オーディオ出力信号を出力するように構成される。図１４とは逆に、図１５では、マイクロフォンおよびスピーカはフィードバック構造を実現するように配置される。フィードバック構造は、例えば、マイクロフォンおよびスピーカの配置を表し、マイクロフォンは、スピーカによって発せられた音波を受信する。

図１６は、一実施形態による装置を、図１４よりも詳細に示す。図１６の実施形態の装置は、アクティブノイズキャンセル部１６１０、残留雑音特性推定器１６２０、知覚雑音補償部１６３０、結合器１６４０、マイクロフォン１６０５およびスピーカ１６５０を備える。マイクロフォン１６０５およびスピーカ１６５０は、フィードフォワード構造を実現する。

図１６の実施形態において、残留雑音特性推定器１６２０は、アクティブノイズキャンセル部１６１０から雑音キャンセル信号の情報を受信するように構成される。これが矢印１６６０によって示される。残留雑音特性推定器１６２０は、残留雑音特性として残存雑音推定値を決定する。この残存雑音推定値は、例えば、雑音キャンセル信号のみが再生される場合（例えばＰＮＣの結果として得られる信号は再生されない）に残る環境雑音の雑音部分を示すものである。

図１６でフィードフォワード構造を実現するにあたり、環境オーディオ信号は、例えば、雑音信号成分だけを含むものでよい。残留雑音特性推定器１６２０は、アクティブノイズキャンセル部１６１０から雑音キャンセル信号を受信し、例えば、この雑音キャンセル信号（反雑音）を環境オーディオ信号に付加する。結果として得られる信号は、このとき、雑音キャンセル信号だけを再生する場合に残るであろう環境雑音を表す雑音推定値となる。

図１７は、一実施形態による装置を、図１５よりも詳細に示す。図１７の実施形態の装置は、アクティブノイズキャンセル部１７１０、残留雑音特性推定器１７２０、知覚雑音補償部１７３０、結合器１７４０、マイクロフォン１７０５およびスピーカ１７５０を備える。マイクロフォン１７０５およびスピーカ１７５０は、フィードバック構造を実現する。

図１７の実施形態において、残留雑音特性推定器１７２０は、知覚雑音補償部１７３０から、雑音補償された信号の情報を受信する。これが矢印１７７０によって示される。残留雑音特性推定器１７２０は、残留雑音特性として残存雑音推定値を決定する。この残存雑音推定値は、例えば、雑音キャンセル信号のみが再生される場合（ＰＮＣの結果として得られる信号は再生されない）に残る環境雑音の雑音部分を示すものである。

図１７でフィードバック構造を実現するにあたり、環境オーディオ信号は、マイクロフォンの環境で記録された音波を表し、雑音補償された信号も含んでいる。残留雑音特性推定器１７２０は、知覚雑音補償部１７３０から雑音補償された信号を受信し、受信した雑音補償信号をスケーリングした成分を、環境オーディオ信号から減算する。例えば、受信した雑音補償信号をスケーリングした成分は、受信した雑音補償信号を所定のスケール因子によって増減することで決定される。結果として得られる信号は、このとき、雑音キャンセル信号だけを再生する場合に残るであろう環境雑音を表す雑音推定値となる。所定のスケール因子は、例えば、スピーカで放射されているときの放射信号の平均信号レベルと、マイクロフォンで記録されているときの放射信号の平均信号レベルとの信号レベル差である。

ＡＮＣとＰＮＣを結合することの有利な効果のいくつかを以下に挙げる。
・改善されたサウンド品質：残留雑音を追加的に補償することがＡＮＣに対する改善となり、逆に、ＰＮＣに先立つ低周波雑音成分のキャンセルが、低再生レベルでの聴取体験を保証する。
・費用効率の高い実装：ＡＮＣおよびＰＮＣは同じトランスデューサ（マイクロフォンおよびスピーカの両方）を用いることができる。残留雑音特性推定は、留雑音センサなどの雑音センサから、あるいは主雑音センサからＡＮＣ抑圧特性を考慮することにより、得られる。

雑音推定値を取得するために、２つの異なる方法を使用できる。これらの２つの方法は、ＡＮＣを実現する構造に依存する。
・ＡＮＣの実現が残留雑音を測定するマイクロフォンを特徴とする場合、雑音推定値がこのセンサから得られ、所望の信号のセンサへのクロストークが抑圧される必要がある。
・ＡＮＣの実現が、主雑音を検知するための１つのマイクロフォンのみを有するフィードフォワード構造で実施される場合、雑音推定値は、このセンサから、ヘッドフォンを介した伝搬のモデルを用いて得られる（ヘッドフォンによる受動的吸収およびＡＮＣによる外部雑音の機械的ダンピングを含む）。

一般に、雑音推定は、以下を有する。
１．音楽再生のマイクロフォンへのクロストークのキャンセル。
２．イヤーキャップを介した外部雑音の伝達関数／減衰およびＡＮＣ処理のモデル化。
３．選択的要件として、例えば会話および警報音といった、ヘッドフォン聴取者によって知覚されることが望まれる所定の外部サウンドの補償／マーキングを避けるための、できれば音源分離処理を組み合わせた、信号解析。

クロストークの抑圧を達成するために、ＰＮＣは、雑音サブバンドレベルに対して、単調増加するサブバンド利得値で所望の信号をスケーリングする。音楽再生がマイクロフォンによってピックアップされて雑音推定値に加えられる場合、結果として得られるフィードバックは、潜在的に、対応するサブバンド信号の過補償および過度の増幅をもたらす可能性がある。したがって、マイクロフォンへの音楽再生のクロストークは、抑圧される必要がある。

環境雑音が耳元に到達する前に、その雑音はイヤーキャップの受動的減衰によって、およびＡＮＣ処理によって、減衰させられる。ヘッドフォンを介した伝搬は、式（３）に示すように、関数ｆ_ＨＰによってモデル化される

ここで、ｄ［ｋ］は外部雑音を示し、ｅ［ｋ］は雑音推定値を示す。

伝搬は、線形時不変（ＬＴＩ：Ｌｉｎｅａｒ Ｔｉｍｅ−Ｉｎｖａｒｉａｎｔ）システムまたは非線形システムとしてモデル化される。そのようなシステム識別方法は、入力および出力信号の一連の測定値を用い、出力測定値と予測出力との間の誤差測度が最小となるようにモデルパラメータを決定する。

前者の場合（ＬＴＩシステムとしてのモデル化）では、システムは、そのインパルス応答または振幅伝達関数によって記述される。

図２１に、一実施形態による、ヘッドフォンを介する伝搬およびＡＮＣ処理を線形時不変システムとしてモデル化するテスト構成を示す。図２１において、テスト信号が、第１のスピーカ２１１０に供給される。テスト信号は、広い周波数スペクトルを持つべきである。これに応じて、第１のスピーカ２１１０は、ヘッドフォンのイヤーキャップ２４２に配置された第１のマイクロフォン２１２０によって、第１の記録オーディオ信号として記録される音波を出力する。第１の記録オーディオ信号は、イヤーキャップ２４２をまだ通過していない音波を記録している。そして、ＡＮＣ処理は、まだ行われていない。

テスト信号は、第１のＬＴＩシステムの励起信号として考えられる。さらに、第１の記録オーディオ信号は、第１のＬＴＩシステムの出力信号として考えられる。一実施形態では、第１のＬＴＩシステムのインパルス応答は、テスト信号に基づいて、および第１の記録オーディオ信号に基づいて、第１のインパルス応答として計算される。この目的のため、テスト信号は、広い周波数スペクトルを持つべきである。またさらに、第１のインパルス応答が、例えば、ＳＴＦＴ（短時間フーリエ変換）を行うことによって、周波数ドメインに変換されて第１の周波数応答となる。代替の実施形態では、第１の周波数応答が、テスト信号および第１の記録オーディオ信号の周波数ドメイン表現に基づいて直接決定される。

さらに、第２の記録マイクロフォン信号を得るために、第２のマイクロフォン２１３０は、イヤーキャップ２４２を通過してＡＮＣが行われた音波を記録する。ＡＮＣを行うために、イヤーキャップ２４２のイヤーキャップスピーカ２７２が採用され、第１のスピーカからの音波を相殺するためのいわば「反雑音」を出力する。

ここでも、テスト信号は、さらなる第２のＬＴＩシステムの励起信号として考えられる。第２の記録マイクロフォン信号は、第２のＬＴＩシステムの出力信号として考えられる。一実施形態によると、第２のＬＴＩシステムのインパルス応答は、テスト信号に基づいて、および第２の記録オーディオ信号に基づいて第２のインパルス応答として計算される。またさらに、第２のインパルス応答が周波数ドメインに変換されて第２の周波数応答となる。代替の実施形態では、第２の周波数応答が、テスト信号および第１の記録オーディオ信号の周波数ドメイン表現に基づいて直接決定される。

これを、図２２を参照してより詳細に説明する。第２のＬＴＩシステム２２２０は、２つのＬＴＩシステム、すなわち、図２１に関して既に述べた第１のＬＴＩシステム２２１０、および第３のＬＴＩシステム２２３０を備えるものとして考えられる。第１のＬＴＩシステム２２１０は、（第１のスピーカ２１１０によって出力される）テスト信号を励起信号として受信する。さらに、第１のＬＴＩシステム２２１０は、（第１のマイクロフォン２１２０によって記録された）第１の記録オーディオ信号を出力する。第３のＬＴＩシステム２２３０は第１の記録オーディオ信号を励起信号として受信し、（第２のマイクロフォンによって記録された）第２の記録オーディオ信号を出力する。

ＡＮＣおよびイヤーキャップを介した音波の伝搬の影響をモデル化するために、第３のＬＴＩシステム２２３０が決定される。一実施形態では、第３のＬＴＩシステム２２３０の周波数応答が、第１のＬＴＩシステム２２１０の第１の周波数応答に基づいて、および第２のＬＴＩシステム２２２０の第２の周波数応答に基づいて、第３の周波数応答として計算される。

第２のＬＴＩシステム２２２０の第２の周波数応答は、第１のＬＴＩシステム２２１０の第１の周波数応答で除算されて、第３のＬＴＩシステム２２３０の第３の周波数応答となる。

図２３は、一実施例による、ヘッドフォンを介する伝搬およびＡＮＣ処理を、線形時不変システムとしてモデル化するために実行されるステップを図示するフローチャートを示す。

ステップ２３１０において、テスト信号が第１のスピーカに供給される。第１のスピーカは、テスト信号に応じて音波を出力する。

ステップ２３２０において、ヘッドフォンのイヤーキャップに配置された第１のマイクロフォンが、音波を記録して第１の記録オーディオ信号を得る。

ステップ２３３０において、第１のＬＴＩシステムの第１の周波数応答が、第１のＬＴＩシステムの励起信号としてのテスト信号に基づいて、および第１のＬＴＩシステムの出力信号としての第１の記録オーディオ信号に基づいて、決定される。

ステップ２３４０において、音波がイヤーキャップを通過した後で、かつＡＮＣが行われた後に、第２のマイクロフォンが第２の記録オーディオ信号を記録する。

ステップ２３５０において、第２のＬＴＩシステムの第２の周波数応答が、第２のＬＴＩシステムの励起信号としてのテスト信号に基づいて、および第２のＬＴＩシステムの出力信号としての第２の記録オーディオ信号に基づいて、決定される。

ステップ２３６０において、第３のＬＴＩシステムの第３の周波数応答が、第１のＬＴＩシステムの第１の周波数応答に基づいて、および第２のＬＴＩシステムの第２の周波数応答に基づいて、決定される。

代替の実施形態では、ＬＴＩシステムの第１のインパルス応答および第１の周波数応答、並びにＬＴＩシステムの第２のインパルス応答および第２の周波数応答は、決定されない。その代わりに、第３のＬＴＩシステムの周波数応答が、第３のＬＴＩシステムの励起信号としての第１の記録オーディオ信号に基づいて、および第３のＬＴＩシステムの出力信号としての第２の記録オーディオ信号に基づいて、決定される。

実施形態において、第３のＬＴＩシステムのインパルス応答を得るのに、第３の周波数応答が周波数ドメインから時間ドメインに変換されるようにしてもよい。

いくつかの実施形態では、ＡＮＣおよびイヤーキャップを介した音波の伝搬の効果を反映する第３のＬＴＩシステムの周波数応答および／またはインパルス応答が、残留雑音特性推定器に対して利用可能である。いくつかの実施形態では、残留雑音特性推定器が第３のＬＴＩシステムの周波数応答および／またはインパルス応答を決定するようにしてもよい。

残留雑音特性推定器は、第３のＬＴＩシステムの周波数応答および／またはインパルス応答を用いて、環境オーディオ信号の残留雑音特性を決定してもよい。例えば、残留雑音特性推定器は、環境オーディオ信号の周波数ドメイン表現と第３のＬＴＩシステムの周波数応答とを乗算して、残留雑音特性を決定してもよい。環境オーディオ信号の周波数ドメイン表現は、例えば、環境オーディオ信号の時間ドメイン表現にフーリエ変換を行うことによって得られる。代替の実施形態では、雑音特性推定器は、環境オーディオ信号の時間ドメイン表現と第３のＬＴＩシステムのインパルス応答の畳み込みを求めてもよい。

非線形システムの識別のための種々の手法が存在し、例えば、ボルテラ級数、人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）またはマルコフ連鎖がある。

例えば、図２１および図２２の第１の記録オーディオ信号を入力信号として、図２１および図２２の第２の記録オーディオ信号を出力信号として受信することによって、人工ニューラルネットワーク（ＡＮＮ）を学習させることができる。

ＡＮＣが、主雑音を検知するために１つだけのマイクロフォンを用いてフィードフォワード構造で実現される場合、反雑音が既知であるので、雑音推定値は、雑音と反雑音とを加算することから求められる。

スペクトルの包絡線は、雑音推定値の時間信号、ＳＴＦＴ（短時間フーリエ変換）または代替の周波数変換もしくはフィルタバンクから求められる。伝達経路を近接させるための回帰分析法、例えばＡＮＣを用いて、雑音推定を実施してスペクトルの包絡線を直接推定する。このとき、好ましくは、雑音測定値から抽出された特徴、例えば主雑音センサから取得され、周波数ドメインにおいて演算された特徴を用いる。

求められた雑音推定値に後処理を施してもよく、時間軸に沿ってスムージングするなど、サブバンド包絡線信号の軌道をスムージングしてもよく、周波数軸に沿ってスムージングするなど、スペクトル包絡線をスムージングしてもよい。

意味的に意義のあるサウンド、例えば、会話および警報音を補償（相殺）することのないように、インテリジェントな信号解析が実行される。音源分離処理を適用することによって、または意味的に意義のあるサウンドの存在を検出して肯定的検出の場合に雑音推定を操作することによって、マイクロフォン信号は、補償される環境雑音と、雑音推定から除外される意味的に意義のあるサウンドとに分離される。

後者の場合、聴取者に提示される必要があるサウンドが検出される場合に雑音推定が停止され、それによりＰＮＣおよびＡＮＣの双方が無効化されるように、雑音推定の操作が実行される。補償されるべきではない外部サウンドをマイクロフォン信号が捕捉した場合には、雑音推定値は更新されない。

図１８は、実施形態による対応の装置を示す。図１８の実施形態の装置は、アクティブノイズキャンセル部１８１０、残留雑音特性推定器１８２０、知覚雑音補償部１８３０および結合器１８４０を備え、これらは図１の実施形態のアクティブノイズキャンセル部１１０、残留雑音特性推定器１２０、知覚雑音補償分１３０および結合器１４０にそれぞれ対応する。この装置は、補償されるべきではない環境オーディオ信号の信号部分を検出する音源分離部１８０５をさらに備える。音源分離部１８０５はさらに、補償されるべきではない環境オーディオ信号の信号部分を環境オーディオ信号から除去するように構成される。

図１９は、図１６の実施形態によるサウンド再生知覚品質改善装置を備えた一実施形態によるヘッドフォンを示す。図２におけるように、イヤーキャップ２４１は、マイクロフォン２６１およびサウンド再生知覚品質改善装置２５１を備える。図１９はさらに、イヤーキャップ２４１のスピーカ２７１を示す。符号２９１は、イヤーキャップ２４１の内側２９１を示す。イヤーキャップ２４１の内側２９１は、図１９に示すように、ヘッドフォンを装着している聴取者２８０の耳２８１に接触しているイヤーキャップの側部である。図１９の実施形態では、イヤーキャップ２４１のスピーカ２７１がマイクロフォン２６１とイヤーキャップ２４１の内側２９１の間に位置するように、マイクロフォン２６１が配置される。したがって、図１９のイヤーキャップ２４１は、図１６のフィードフォワード構造を実現する。同様に、イヤーキャップ２４２は、もう一つのサウンド再生知覚品質改善装置２５２、およびイヤーキャップ２４２のスピーカ２７２がマイクロフォン２６２とイヤーキャップ２４２の内側２９２の間に位置するように配置されたもう一つのマイクロフォン２６２を備える。イヤーキャップ２４２の内側２９２は、図１９に示すように、ヘッドフォンを装着している聴取者２８０の耳２８２に接触しているイヤーキャップ２４２の側部である。したがって、図１９のイヤーキャップ２４２も、図１６のフィードフォワード構造を実現する。

図２０は、図１７の実施形態によるサウンド再生知覚品質改善装置を備えた一実施形態によるヘッドフォンを示す。図２におけるように、イヤーキャップ２４１は、マイクロフォン２６１およびサウンド再生知覚品質改善装置２５１を備える。図２０はさらに、イヤーキャップ２４１のスピーカ２７１を示す。符号２９１は、イヤーキャップ２４１の内側２９１を示す。イヤーキャップ２４１の内側２９１は、図２０に示すように、ヘッドフォンを装着している聴取者２８０の耳２８１に接触しているイヤーキャップの側部である。図２０の実施形態では、イヤーキャップ２４１のマイクロフォン２６１がスピーカ２７１とイヤーキャップ２４１の内側２９１の間に位置するように、マイクロフォン２６１が配置される。したがって、図２０のイヤーキャップ２４１は、図１７のフィードバック構造を実現する。同様に、イヤーキャップ２４２は、もう一つのサウンド再生知覚品質改善装置２５２、およびイヤーキャップ２４２のマイクロフォン２６２がスピーカ２７２とイヤーキャップ２４２の内側２９２の間に位置するように配置されたもう一つのマイクロフォン２６２を備える。イヤーキャップ２４２の内側２９２は、図２０に示すように、ヘッドフォンを装着している聴取者２８０の耳２８２に接触しているイヤーキャップ２４２の側部である。したがって、図２０のイヤーキャップ２４２も、図１７のフィードバック構造を実現する。

他の実施形態のヘッドフォンでは、２個を超えるマイクロフォン、例えば、４個のマイクロフォンを備えていてもよい。例えば、各イヤーキャップが２個のマイクロフォンを備えていてもよく、その一方が基準マイクロフォンであり、他方が追加誤差マイクロフォンであり、追加誤差マイクロフォンは、図４において述べたようなＡＮＣを向上するために用いられる。

いくつかの側面を装置との関連で説明したが、それらの側面が対応の方法の説明も表すことは明らかであり、装置のブロックまたはデバイスが方法ステップまたは方法ステップの特徴にも対応する。同様に、方法ステップに関連して説明した側面はまた、対応の装置の対応のブロック、詳細または特徴の記載も表す。

この進歩的な分解信号は、デジタル記憶媒体に記憶され、またはインターネットのような無線伝送媒体若しくは有線伝送媒体のような伝送媒体で伝送されることができる。

所定の実施要件に応じて、発明の実施形態は、ハードウェアで、またはソフトウェアで実施できる。その実施例は、例えば、そこに記憶された電子的に読み取り可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能コンピュータシステムと協働する（または協働ことができる）フレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）またはフラッシュメモリといったデジタル記憶媒体を用いて実行することができる。

発明によるいくつかの実施形態は、電子的に読み取り可能な制御信号を有する非一時的なデータキャリアを備え、それらはここに記載された方法の１つが実行されるようにプログラム可能コンピュータシステムと協働することができる。

通常、本発明の実施形態は、プログラムコードを持つコンピュータプログラム製品として実施でき、プログラムコードは、コンピュータプログラム製品がコンピュータ上で稼働したときに方法の１つを実行するよう動作可能である。プログラムコードは、例えば、機械可読キャリアに記憶されることができる。

他の実施形態は、機械可読キャリアに記憶され、ここに記載された方法の１つを実行するためのコンピュータプログラムを備える。

したがって、言い換えると、発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で稼働したときに、ここに記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、発明の方法のさらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを、そこに録音されて備えるデータキャリア（すなわち、デジタル記憶媒体またはコンピュータ可読媒体）である。

したがって、発明の方法のさらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネット等のデータ通信接続を介して転送されるように構成されることができる。

さらなる実施形態は、ここに記載された方法の１つを実行するように構成されたまたは適合された、例えば、コンピュータまたはプログラマブルロジックデバイスといった処理手段からなる。

さらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムをインストールされた状態で有するコンピュータからなる。

実施形態によっては、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）が、ここに記載された方法の機能の一部または全部を実行するのに使用されてもよい。実施形態によっては、ここに記載された方法の１つを実行するために、フィールドプログラマブルゲートアレイは、マイクロプロセッサと協働することができる。概略として、それらの方法はあらゆるハードウェア装置によって好適に実行される。

上述した実施形態は本発明の原理についての単なる例示である。構成の変形例および拡張例およびここに記載された詳細は当業者に明らかなものとなることが理解される。したがって、それは、ここに挙げた実施形態の説明および解説として示された具体的詳細によってではなく、この直後の特許請求の範囲によってのみ限定されることを意図するものである。

Claims (15)

1. オーディオ出力信号のサウンド再生の知覚品質を改善する装置であって、
   環境雑音を記録することで得られる雑音部分が含まれる環境オーディオ信号を入力信号として用いて雑音キャンセル信号を生成するアクティブノイズキャンセル部（１１０；１４１０；１６１０；１８１０）と、
   前記環境雑音と前記雑音キャンセル信号とに応じて残存雑音推定値を決定する残留雑音特性推定器（１２０；１４２０；１６２０；１８２０）と、
   目標オーディオ信号と前記残存雑音推定値とに基づいて雑音補償された信号を生成する知覚雑音補償部（１３０；１４３０；１６３０；１８３０）と、
   前記雑音キャンセル信号と前記雑音補償された信号とを合成して前記オーディオ出力信号を得る結合器（１４０；１４４０；１６４０；１８４０）と
   を備え、
   前記残留雑音特性推定器（１２０；１４２０；１６２０；１８２０）は、前記環境オーディオ信号を受信する構成であり、
   前記残留雑音特性推定器（１２０；１４２０；１６２０；１８２０）は、前記アクティブノイズキャンセル部（１１０；１４１０；１６１０；１８１０）から前記雑音キャンセル信号の情報を受信する構成であり、
   前記残留雑音特性推定器（１２０；１４２０；１６２０；１８２０）は、前記残留雑音特性として、前記環境オーディオ信号と前記雑音キャンセル信号とに基づく残存雑音推定値を決定する構成であり、
   前記残留雑音特性推定器（１２０；１４２０；１６２０；１８２０）は、前記環境オーディオ信号と前記雑音キャンセル信号とを用いて前記残存雑音推定値を決定する構成である、
   装置。
2. 請求項１に記載の装置において、前記残留雑音特性推定器（１２０；１４２０；１６２０；１８２０）は、前記環境オーディオ信号と前記雑音キャンセル信号とを加算することによって前記残存雑音推定値を決定する構成である、装置。
3. 請求項１または２に記載の装置において、
   少なくとも１つのスピーカ（１４５０；１６５０）および少なくとも１つのマイクロフォン（１４０５；１６０５）をさらに備え、
   前記マイクロフォン（１４０５；１６０５）は、前記環境オーディオ信号を記録する構成であり、
   前記スピーカ（１４５０；１６５０）は、前記オーディオ出力信号を出力する構成である
   装置。
4. 請求項１または２に記載の装置において、前記環境オーディオ信号の信号部分であって補償されるべきではない信号部分を検出する音源分離部（１８０５）をさらに備える装置。
5. 請求項４に記載の装置において、前記音源分離部（１８０５）は、前記補償されるべきではない信号部分を前記環境オーディオ信号から除去する構成である、装置。
6. オーディオ出力信号のサウンド再生の知覚品質を改善する装置であって、
   環境雑音を記録することで得られる雑音部分が含まれる環境オーディオ信号を入力信号として用いて雑音キャンセル信号を生成するアクティブノイズキャンセル部（１１０；１５１０；１７１０；１８１０）と、
   前記環境雑音と前記雑音キャンセル信号とに応じて残留雑音特性を決定する残留雑音特性推定器（１２０；１５２０；１７２０；１８２０）と、
   目標オーディオ信号と前記残存雑音推定値とに基づいて雑音補償された信号を生成する知覚雑音補償部（１３０；１５３０；１７３０；１８３０）と、
   前記雑音キャンセル信号と前記雑音補償された信号とを合成して前記オーディオ出力信号を得る結合器（１４０；１５４０；１７４０；１８４０）と
   を備え、
   前記残留雑音特性推定器（１２０；１５２０；１７２０；１８２０）は、前記環境オーディオ信号を受信する構成であり、
   前記残留雑音特性推定器（１２０；１５２０；１７２０；１８２０）は、前記知覚雑音補償部（１３０；１５３０；１７３０；１８３０）から前記雑音補償された信号を受信する構成であり、
   前記残留雑音特性推定器（１２０；１５２０；１７２０；１８２０）は、前記環境オーディオ信号と前記雑音補償された信号とに基づいて前記残存雑音推定値を決定する構成であり、
   前記残留雑音特性推定器（１２０；１５２０；１７２０；１８２０）は、前記雑音補償された信号を増減した成分を前記環境オーディオ信号から減算することによって、前記残存雑音推定値を決定する構成であり、
   前記残留雑音特性推定器（１２０；１５２０；１７２０；１８２０）は、前記雑音が補償された信号を、スピーカ（１５５０；１７５０）で放射されているときの放射信号の平均信号レベルとマイクロフォン（１５０５；１７０５）で記録されているときの前記放射信号の平均信号レベルとの信号レベル差を示す所定のスケール因子により増減することにより、前記雑音が補償された信号を増減した成分を決定する、
   装置。
7. 請求項６に記載の装置において、
   前記スピーカ（１５５０；１７５０）と前記マイクロフォン（１５０５；１７０５）とをさらに備え、
   前記マイクロフォン（１５０５；１７０５）は、前記環境オーディオ信号を記録する構成であり、
   前記スピーカ（１５５０；１７５０）は、前記オーディオ出力信号を出力する構成であり、
   前記マイクロフォン（１５０５；１７０５）と前記スピーカ（１５５０；１７５０）とが、フィードバック構造を実現するように配置された、
   装置。
8. 請求項６または７に記載の装置において、前記環境オーディオ信号の信号部分であって補償されるべきではない信号部分を検出する音源分離部（１８０５）をさらに備える装置。
9. 請求項８に記載の装置において、前記音源分離部（１８０５）は、前記補償されるべきではない信号部分を前記環境オーディオ信号から除去する構成である、装置。
10. ２つのイヤーキャップ（２４１，２４２）を備えたヘッドフォンであって、
    前記イヤーキャップ（２４１，２４２）の各々が、
    請求項１から９のいずれか１項に記載のサウンド再生の知覚品質を改善する装置（２５１，２５２）と、
    スピーカ（２７１，２７２）と、
    前記環境オーディオ信号を記録する少なくとも１つのマイクロフォン（２６１，２６２）と
    を備える
    ヘッドフォン。
11. 請求項１０に記載のヘッドフォンにおいて、前記スピーカ（２７１，２７２）がそれぞれ、そのスピーカが設けられているイヤーキャップ（２４１，２４２）のマイクロフォン（２６１，２６２）と、そのスピーカが設けられているイヤーキャップ（２４１，２４２）の内側（２９１，２９２）との間に配置された、ヘッドフォン。
12. 請求項１１に記載のヘッドフォンにおいて、前記マイクロフォン（２６１，２６２）がそれぞれ、そのマイクロフォンが設けられているイヤーキャップ（２４１，２４２）のスピーカ（２７１，２７２）と、そのマイクロフォンが設けられているイヤーキャップ（２４１，２４２）の内側（２９１，２９２）との間に配置された、ヘッドフォン。
13. オーディオ出力信号のサウンド再生の知覚品質を改善する方法であって、
    環境雑音を記録することで得られる雑音部分が含まれる環境オーディオ信号を入力として用いて雑音キャンセル信号を生成するステップと、
    前記環境雑音と前記雑音キャンセル信号とに応じて残存雑音推定値を決定するステップと、
    目標オーディオ信号と前記残存雑音推定値とに基づいて雑音補償された信号を生成するステップと、
    前記雑音キャンセル信号と前記雑音補償された信号とを合成して前記オーディオ出力信号を得るステップと、
    を有し、
    前記残存雑音推定値の決定は、前記環境オーディオ信号と前記雑音キャンセル信号とを用いて行われる
    方法。
14. オーディオ出力信号のサウンド再生の知覚品質を改善する方法であって、
    環境雑音を記録することで得られる雑音部分が含まれる環境オーディオ信号を入力として用いて雑音キャンセル信号を生成するステップと、
    前記環境雑音と前記雑音キャンセル信号とに応じて残存雑音推定値を決定するステップと、
    目標オーディオ信号と前記残存雑音推定値とに基づいて雑音補償された信号を生成するステップと、
    前記雑音キャンセル信号と前記雑音補償された信号とを合成して前記オーディオ出力信号を得るステップと、
    を有し、
    前記残存雑音推定値の決定は、前記環境オーディオ信号と前記雑音補償された信号とに基づいて、前記雑音補償された信号を増減した成分を前記環境オーディオ信号から減算することによって行われ、
    前記雑音補償された信号を増減した成分の決定は、前記雑音補償された信号を、スピーカで放射されているときの放射信号の平均信号レベルとマイクロフォンで記録されているときの前記放射信号の平均信号レベルとの信号レベル差を示す所定のスケール因子により前記雑音補償された信号を増減することにより行われる、
    方法。
15. コンピュータまたは信号プロセッサで実行されるときに、請求項１３または１４に記載の方法を実行するためのコンピュータプログラム。

Images