JP5812998B2 - オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置 - Google Patents

Description

本発明は、広くにはオーディオコーディング／デコーディングに関し、とくにはオーディオコーディングにおけるラウドネスおよびシャープネスの限界の補償を実行またはサポートする帯域拡張の仕組みに関する。

心理音響学の分野は、音の知覚の研究に関する。それには、人間の聴覚の仕組み、その生理的な応答、ならびに人間の神経系への音楽および音の生理的な影響が含まれる。とくには最新の通信システムの開発において、音刺激が聴覚系によってどのように処理されるのかについての知見が、新たなデジタルオーディオ技術の開発および既存の技術の改善において重要である。マルチメディアおよび配信サービスにおいて不可欠な構成要素であるオーディオコーデックは、人間の聴覚系の特性についての知見に左右され、低ビットレートでの効率的な伝送および保存のためにオーディオ情報を圧縮する。さらに、やはり心理音響に関する知見に大きく依存する客観的な品質評価の仕組みも、オーディオ品質の主観的評定を模擬するために開発されてきている。

現代のほぼすべてのオーディオコーデック［１〜５］は、オーディオ信号の信号周波数成分のうちの一部だけをエンコードおよび伝送し、デコーダにおいてオーディオ信号の残りの周波数を復元するという考え方を利用している。典型的には、信号の低周波数帯（ＬＢ）だけが伝送され、信号の高周波数帯（ＨＢ）は、後にいわゆる帯域拡張（ＢＷＥ）によって復元される。典型的なＢＷＥの仕組みにおいては、信号の周波数成分が、隣接する帯域からの利用可能な周波数成分（通常は、利用可能なＬＢ）のトランスレートまたはフリッピングによって拡張される。しかしながら、そのようなやり方で復元された信号は、復元後の信号において知覚できる特定のアーチファクトゆえ、元のオーディオ信号のＨＢに正確に一致するＨＢを有するわけではない。それらのアーチファクトの影響を最小限にするために、ＢＷＥの仕組みにおいては、復元されたＨＢのゲインが典型的には元のＨＢのゲインよりも低く保たれ、結果として復元された信号の心理音響的な特性が変質することになる。最も影響を受ける特性は、とりわけラウドネスの知覚およびシャープネスの知覚である。ラウドネスは、スピーチ信号の信号強度または音圧に関する。シャープネスは、スピーチ信号の周波数におけるエネルギ分布に関し、高周波成分の相対的増加につれて向上する。信号の帯域が限られており、あるいは従来からのＢＷＥの仕組みが適用される場合、復元された信号について知覚されるラウドネスおよびシャープネスがどちらも元の信号と比べて低下し、主観的品質の低下につながる。

したがって、受信／デコード後の信号について知覚されるラウドネスおよびシャープネスを向上させることができる方法および装置について、ニーズが存在する。

本発明は、改善された帯域拡張の仕組みに関する。

本発明の目的は、スピーチ信号の知覚品質を改善するための方法およびシステムを提供することにある。

さらなる目的は、復元スピーチ信号について知覚されるラウドネスおよびシャープネスの改善を可能にすることにある。

具体的な目的は、スピーチ信号を処理するためのエンコーダおよびデコーダ装置を提供することにある。

他の具体的な目的は、スピーチ信号の処理方法を提供することにある。

またさらなる具体的な目的は、フィルタ装置を提供することにある。

所定の帯域幅に限られた復元スピーチ信号について知覚されるラウドネスおよびシャープネスを改善する第１の態様において、スピーチ信号が用意される。次いで、スピーチ信号が、少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割される。その後に、第１の信号部分が、前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整される。最後に、第２の信号部分が、少なくとも第１の信号部分にもとづいて復元され、調整済みの第１の信号部分と復元された第２の信号部分とが組み合わせられ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号が生成される。

本発明の第２の態様においては、所定の帯域幅に限られた復元スピーチ信号について知覚されるラウドネスおよびシャープネスを改善するためのシステムが、前記スピーチ信号を生成する手段を備える。さらに、前記スピーチ信号を、少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割する手段が、システムに備えられる。さらにシステムは、第１の信号部分を前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整する手段を備える。最後に、システムは、少なくとも第１の信号部分にもとづいて前記第２の信号部分を復元する手段と、前記調整した第１の信号部分と前記復元した第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成する手段とを備える。

本発明の第３の態様においては、通信システムにおいて所定の帯域幅に限られたスピーチ信号を処理するためのエンコーダ装置が、前記スピーチ信号を生成する手段を備える。さらに、このエンコーダ装置が、前記スピーチ信号を、少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割する手段を備える。加えて、このエンコーダ装置が、前記第１の信号部分を、前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調する手段と、少なくとも前記調整した第１の信号部分を他のノードへと送信する手段とを備える。

本発明の第４の態様においては、通信システムにおいて所定の帯域幅に限られたスピーチ信号を処理するためのデコーダ装置が、スピーチ信号の調整済みの第１の信号部分を受信する手段を備える。調整済みの第１の信号部分は、生成されたスピーチ信号を少なくとも所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割して、前記第１の信号部分を前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整することによって得られる。さらに、デコーダ装置は、少なくとも前記受信される調整済みの第１の信号部分にもとづいて前記第２の信号部分を復元する手段を備える。最後に、デコーダ装置は、前記受信される調整済みの第１の信号部分と前記復元される第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成する手段を備える。

本発明の第５の態様においては、通信システムにおいて所定の帯域幅に限られたスピーチ信号を処理するためのデコーダ装置が、スピーチ信号の第１の信号部分を受信する手段を備える。この第１の信号部分は、生成されたスピーチ信号を少なくとも所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割することによって得られる。さらに、このデコーダ装置は、受信される第１の信号部分を、前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように
構成された手段を備える。最後に、デコーダ装置は、少なくとも前記第１の信号部分にもとづいて前記第２の信号部分を復元する手段と、前記調整済みの第１の信号部分と前記復元される第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成する手段とを備える。

本発明の第６の態様においては、通信システムの一ノードのエンコーダ装置において所定の帯域幅に限られたスピーチ信号を処理する方法が、前記スピーチ信号を生成するステップと、前記スピーチ信号を、少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割するステップとを含む。さらにこの方法は、前記第１の信号部分を、前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整するステップと、前記調整した第１の信号部分を他のノードへと送信するステップとを含む。

本発明の第７の態様においては、通信システムの一ノードのデコーダ装置において所定の帯域幅に限られたスピーチ信号を処理する方法が、調整済みの第１の信号部分を別のノードから受信するステップを含む。この調整済みの第１の信号部分は、生成されたスピーチ信号を少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割して、前記第１の信号部分を前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整することによって得られる。さらにこの方法は、前記受信される調整済みの第１の信号部分にもとづいて前記第２の信号部分を復元するステップと、前記調整済みの第１の信号部分と前記復元される第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成するステップとを含む。

本発明の第８の態様においては、通信システムの一ノードのデコーダ装置において所定の帯域幅に限られたスピーチ信号を処理する方法が、スピーチ信号の第１の信号部分を別のノードから受信するステップを含む。この第１の信号部分は、前記スピーチ信号を少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに分割することによって得られる。さらにこの方法は、前記受信した第１の信号部分を前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整するステップと、少なくとも前記第１の信号部分にもとづいて前記第２の信号部分を復元するステップとを含む。最後に、この方法は、前記調整済みの第１の信号部分と前記復元された第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成するステップとを含む。

本発明の第９の態様においては、通信システムにおいて所定の帯域幅に限られたスピーチ信号を調整するためのフィルタ装置が、スピーチ信号について該スピーチ信号の前記所定の周波数帯のうちの第１の帯域部分にもとづいて生成される第１の信号部分を、前記第１の帯域部分の範囲内の少なくとも所定の周波数区間を強調するように調整するように構成される。

本発明の利点として、スピーチ信号の一部をプレフィルタ処理することによって、復元スピーチ信号について知覚される全体としてのラウドネスおよびシャープネスが改善されることが挙げられる。

本発明ならびに本発明のさらなる目的および利点を、以下の説明を参照し、添付の図面と併せて検討することによって、最もよく理解することができる。

本発明による方法の実施形態の概略のフロー図である。 本発明による方法のさらなる実施形態の概略のフロー図である。 図２の実施形態の働きの概略のブロック図である。 本発明による方法のまたさらなる実施形態の概略のフロー図である。 図４の実施形態の働きの概略のブロック図である。 本発明による装置の実施形態の概略のブロック図である。 外耳−中耳の応答を示すグラフである。 先行技術と本発明の効果との間の比較を示すグラフである。 先行技術と本発明の効果との間の比較の聴き取りテストを示す図である。 本発明による装置のさらなる実施形態の概略のブロック図である。 本発明の実施形態の概略のブロック図である。

本開示は、通信システム（帯域拡張の仕組みを使用するシステムなど）におけるスピーチエンコーディング／デコーディング、ならびにそのようなシステムにおいて知覚される品質を改善し、とくには知覚されるラウドネスおよびシャープネスを改善するための方法および装置に関する。本発明の実施形態が有益であると考えられる具体的なコーデックの例は、ＡＭＲ−ＷＢ（適応マルチレート広帯域）コーデックである。しかしながら、帯域拡張を使用する他のコーデックについても、本発明または本発明の実施形態が有益であると考えられる。

本開示の目的は、信号（例えば、復元された信号）について知覚されるラウドネスおよびシャープネスを改善するためにスピーチ信号を調整するための方法および装置を提供することにある。信号の選択された一部分だけを調整し、あるいは前もってフィルタ処理することで、信号全体について知覚される品質を改善できることが、すでに認められている。人間の耳の自然な反応を考慮に入れることによって、耳が典型的に最も敏感である周波数について、スピーチ信号を強調することができる。結果として、再結合または復元したスピーチ信号全体を、あたかもラウドネスおよびシャープネスが改善されたかのように聴き手に知覚させることができる。

図１を参照し、本発明の所定の帯域幅に限られた自然のスピーチ信号に相当するスピーチ信号について、知覚されるラウドネスおよびシャープネスを改善する方法の実施形態を説明する。この実施形態において、本発明による方法は、特定のノードまたはネットワークデバイスに限られない。

最初に、スピーチ信号が生成される（Ｓ１０）。スピーチ信号を、任意の従来からの手段によって生成することができる。次いで、スピーチ信号が、所定の帯域幅の第１および第２の帯域部分にもとづいて、少なくとも第１および第２の信号部分へと分離される（Ｓ２０）。典型的には、これは、所定の周波数帯を低周波数帯部分（ＬＢ）および高周波数帯部分（ＨＢ）へと分割することによって実行される。しかしながら、帯域幅について他の分割を実行することも可能である。本発明の特定の例においては、所定の周波数帯が、０〜８．０ｋＨｚの周波数区間に相当し、低周波数帯が０〜６．４ｋＨｚの周波数によって表わされる一方で、高周波数帯は、６．４〜８．０ｋＨｚの周波数によって表わされる。しかしながら、他の周波数区間も同様に可能である。次いで、第１の信号部分が、第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように調整される（Ｓ３０）。特定の例では、この所定の周波数が、内耳の反応の中心周波数（例えば、３．２ｋＨｚ）によって表わされ、あるいは３．２〜６．４ｋＨｚの周波数範囲の全体によって表わされる。最後に、第２の信号部分またはその表現が、第１の信号部分にもとづいて復元され（Ｓ４０）、次いで調整された第１の信号部分および復元された第２の信号部分が組み合わせられ（Ｓ５０）、全体として知覚されるラウドネスおよびシャープネスが改善されてなる復元スピーチ信号が生成される。

例として、分離後のスピーチ信号の第１の部分の調整は、第１の信号部分のエネルギの少なくとも一部が第１の帯域部分の範囲内の選択された周波数に向かって分配されると同時に、第１の信号部分のエネルギの別の一部分が第１の帯域部分の高周波数区間または領域に向かって分配されるようなやり方で実行される。このやり方で、後に復元される信号について知覚される全体としてのラウドネスおよびシャープネスが、フィルタ処理または調整が行なわれていないスピーチ信号の低周波数帯にもとづいて復元されるスピーチ信号と比べて、改善される。

ＢＷＥの改善を、復元される信号の全体としてのラウドネスおよびシャープネスがＢＷＥの仕組みに起因する損失について補償されるようなやり方で、利用可能なスピーチ信号の低周波数帯（ＬＢ）をプレフィルタ処理することによって達成することができる。プレフィルタ処理は、復元された高周波数帯（ＨＢ）については、これによって持ち込まれる信号アーチファクトの量が増加するため、典型的には実行されない。プレフィルタ処理という用語は、開示されるフィルタ処理または調整が信号の復元または再結合に先立って実行されることを指して使用されている。したがって、フィルタ処理または調整は、好ましくは信号の一部分についてのみ適用されるが、影響または改善は、再結合または復元後の信号全体について知覚される。

調整の段階Ｓ３０は、典型的には、低周波数帯のプレフィルタ処理にもとづき、復元の段階Ｓ４０は、ＢＷＥまたは低域通過フィルタ処理にもとづくことができる。

以下の説明においては、機能の各段階が、例えば通信システムまたはネットワークにおける送信および受信ノードのそれぞれのエンコーダおよびデコーダなど、ネットワークの２つのノードに分配または共有されるものとして説明される。したがって、分離または選択された第１の信号部分の調整Ｓ３０またはフィルタ処理のステップを、第１の信号部分または第１の信号部分の表現の伝送後または伝送前に実行することができる（詳細は以下で説明される）。

図２を参照し、スピーチ信号の第１の信号部分（例えば、低周波数帯）のフィルタ処理または調整が第１のネットワークノードのデコーダまたは受信装置において実行される方法の実施形態を説明する。したがって、手順全体の種々の段階のうちの一部が、エンコーダまたは送信装置において実行され、一部がデコーダまたは受信装置において実行される。この特定の実施形態においては、スピーチ信号が公知のやり方でエンコードされる。したがって、スピーチ信号を用意する段階Ｓ１０ならびにスピーチ信号をスピーチ信号の所定の帯域幅の第１および第２の帯域部分にもとづいて少なくとも第１および第２の信号部分へと分離する段階Ｓ２０が、好ましくはエンコーダにおいて実行される。次いで、分離または選択された第１の信号部分または第１の信号部分の表現が送信され（Ｓ２４）、ネットワークの第２のノードの受信器またはデコーダ装置において受信される（Ｓ２５）。次いで、デコーダが、受信した第１の信号部分または第１の信号部分の表現を、第１の帯域部分の範囲内の所定の周波数または周波数区間が強調されるように調整する（Ｓ３０）。公知の手段により、スピーチ信号の第２の信号部分または高周波数帯が、受信した第１の信号部分にもとづいて復元される（Ｓ４０）。最後に、調整済みの第１の信号部分および復元された第２の信号部分が組み合わせられ（Ｓ５０）、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号が生成される。

図３を参照すると、提供されるスピーチ信号の種々の部分ならびに上述の方法の実行中のスピーチ信号の種々の部分の処理が示されている。したがって、図３において、オーディオスピーチ処理のためのスピーチ信号が、信号供給部１０によって適切な形態で提供される。次いで、信号は、低周波数帯ＬＢおよび高周波数帯ＨＢにもとづいて第１および第２の信号部分へと信号分離部２０によって分割される。次いで、第１の信号部分ＬＢが、送信部２４によって送信される。その後に、送信された第１の信号部分ＬＢが、受信部２５において受信される。受信された第１の信号部分ＬＢにもとづき、第２の信号部分ＨＢまたは第２の信号部分の表現が、復元部４０によって（例えば、好ましくはＢＷＥを使用して）復元される一方で、第１の信号部分が、調整部３０によって調整またはフィルタ処理され、フィルタ処理済みまたは調整済みの第１の信号部分ＬＢ_ｆが生成される。最後に、２つの部分ＬＢ_ｆおよびＨＢが、結合部５０によって再び組み合わせられ、改善された復元または再結合スピーチ信号が形成される。

図４を参照し、スピーチ信号の第１の信号部分（例えば、低周波数帯）のフィルタ処理または調整がエンコーダまたは送信装置において実行される方法の実施形態を説明する。この実施形態においては、デコーダ装置も、後述される本発明の全利益を利用できるように構成される必要がある。

したがって、エンコーダあるいは送信ノードまたは装置において、スピーチ信号を用意するステップＳ１０ならびにスピーチ信号をスピーチ信号の所定の帯域幅の第１および第２の帯域部分にもとづいて少なくとも第１および第２の信号部分へと分離するステップＳ２０が実行される。次いで、エンコーダ装置が、用意された第１の信号部分を、第１の帯域部分の範囲内の所定の周波数または周波数区間が強調されるように調整する（Ｓ３０）。次いで、調整後の第１の信号部分または調整後の第１の信号部分の表現が送信され（Ｓ３４）、例えば受信器またはデコーダ装置などのネットワークのノードにおいて受信される（Ｓ３５）。加えて、エンコーダは、使用されているコーデックの種類についての情報や、デコーダにおいて少なくとも受信される調整済みの第１の信号部分（例えば、低周波数帯）にもとづいて第２の信号部分または高周波帯を復元（Ｓ４０）することが可能であるために必要な任意の他の情報を提供する。典型的には、この補助的情報は、２つのノードの間のセッションのネゴシエーションの際にすでに入手可能にされており、あるいは前もって知られている（コーデックおよび他のセッションパラメータについて合意がなされている）。しかしながら、いくつかの事例においては、第２の信号部分の復元を助けるためにさらなる補助的情報を提供する必要がある。最後に、デコーダが、受信した調整済みの第１の信号部分ＬＢ_ｆおよび復元した第２の信号部分ＨＢを組み合わせ（Ｓ５０）、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成することができる。これが、図５にさらに説明される。

図５を参照すると、提供されるスピーチ信号の種々の部分ならびに上述の方法の実行中のスピーチ信号の種々の部分の処理が示されている。したがって、図５において、信号供給部１０がスピーチ信号を供給し、次いでこの信号が、信号分離部２０によって、低周波数帯ＬＢおよび高周波数帯ＨＢにもとづいて第１および第２の信号部分へと分割される。次いで、第１の信号部分ＬＢが、アダプタ３０によって調整またはフィルタ処理され、フィルタ処理済みまたは調整済みの第１の信号部分ＬＢ_ｆが生成される。次いでこれが、送信部３４によって送信される。その後に、送信された調整済みの第１の信号部分ＬＢ_ｆが、受信部３５において受信される。第２の信号部分ＨＢの復元を可能にする情報が、この信号とともに生成され、あるいはセッションの初期化またはコーデックのネゴシエーションの際にすでに生成されている。受信された調整済みの第１の信号部分ＬＢ_ｆにもとづき、第２の信号部分ＨＢまたは第２の信号部分ＨＢの表現が、復元部４０によって（例えば、好ましくはＢＷＥまたは低域通過フィルタ処理を使用して）復元される。最後に、２つの部分ＬＢ_ｆおよびＨＢが、結合部５０によって組み合わせられ、改善された復元または結合スピーチ信号が形成される。

図６を参照し、全体としての方法をサポートするシステム１００ならびに装置（例えば、エンコーダ装置１／デコーダ装置２、送信部／受信部、第１／第２のノード）の実施形態を説明する。さらに、第１の信号部分の調整またはフィルタ処理の機能を、分離した機能として設けることができ、例えば破線の四角３０によって示されるとおり、エンコーダ装置１またはデコーダ装置２のいずれか、あるいはシステム１００の何らかの他のノードに備えることができるフィルタ装置３０として設けることができる。

図６を参照すると、本発明によるシステム１００の実施形態は、所定の帯域に限られたスピーチ信号を生成するための信号供給部１０を備える。この信号を、システムの他のノードから生成することができ、マイクロホンまたは他のオーディオデバイスによってエンコーダ装置１において実際に記録／生成することができ、あるいはシステムの何らかの他の装置において実際に記録／生成することができる。さらに、システム１００は、スピーチ信号を所定の帯域の範囲内の２つの帯域部分にもとづいて少なくとも２つの信号部分へと分割するための分割部２０を備える。典型的には、２つの信号部分は、信号の低周波数帯ＬＢおよび高周波数帯ＨＢに相当するが、何らかの他の分割も実行可能である。さらに、システム１００は、第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調すべく第１の信号部分またはＬＢをフィルタ処理または調整する調整部３０を備える。最後に、システム１００は、信号の第２の信号部分またはＨＢを復元するための復元部４０と、調整済みの第１の信号部分と復元した第２の信号部分とを組み合わせて、スピーチ信号の復元（例えばラウドネスおよびシャープネスなどの知覚品質が改善されている）を生成する結合部５０を備える。さらに、図６を参照すると、システム１００が、例えばエンコーダ装置１を備える第１のノードおよびデコーダ装置２を備える第２のノードなど、後述される実施形態の通信システムにおける２つのノードを備えている。

エンコーダ１の実施形態によれば、エンコーダ装置１は、スピーチ信号を生成するためのスピーチ信号供給部１０と、スピーチ信号を第１および第２の信号部分に分割する信号分割部２０とを備えている。さらに、エンコーダ装置１は、本開示においてすでに述べた方法に従って第１の信号部分を調整するための第１の信号部分の調整部３０を備えている。さらに、エンコーダ１は、少なくとも調整後の第１の信号部分の表現を送信し、さらに随意によりシステム１００のデコーダ装置２における第２の信号部分の復元を補助する情報を送信する信号送信部３４を備えている。

デコーダ２の実施形態によれば、デコーダ装置２が、上述したエンコーダ装置１と協働するように構成される。したがって、デコーダ２は、上述のエンコーダ１によって生成される調整済みの第１の信号部分の表現を、追加の情報とともに受信する信号受信部３５を備える。加えて、デコーダ２は、受信した調整済みの第１の信号部分にもとづいてスピーチ信号の第２の信号部分を復元する復元部４０を備える。最後に、デコーダ２は、受信した調整済みの第１の信号部分と復元した第２の信号部分とを組み合わせ、知覚されるラウドネスおよびシャープネスが改善されている復元信号を生成する結合部５０を備える。

エンコーダ１のさらなる実施形態によれば、エンコーダ装置１が、スピーチ信号を生成するためのスピーチ信号供給部１０、スピーチ信号を第１および第２の信号部分へと分割する信号分割部２０、ならびに第１の信号部分または少なくとも第１の信号部分の表現を通信ネットワーク内の第２のノードへと送信するためのユニット２４だけを備える。

デコーダ２のさらなる実施形態によれば、デコーダ装置２が、上述のエンコーダ装置１から第１の信号部分を受信する信号受信部２５を備える。さらに、デコーダ２は、受信した第１の信号部分を調整またはフィルタ処理するための第１の信号部分の調整部３０と、受信した第１の信号部分にもとづいて第２の信号部分を復元するための復元部４０と、調整後の第１の信号部分と復元した第２の信号部分とを組み合わせて、全体として知覚されるラウドネスおよびシャープネスが改善されている復元信号を生成する結合部５０とを備える。

以下で、第１の帯域部分の範囲内の所定の周波数または周波数区間の所望の強調を生成するために、第１の信号部分の調整またはフィルタ処理をどのように実行できるのかについて、いくつかの例を説明する。それらはあくまでも例にすぎず、知覚されるラウドネスおよびシャープネスについて全体として同じ影響を維持する傍ら、実際の数式を変更し、あるいは別のやり方で表現することが可能であることが当業者にとって明らかである。

ＬＢの中ほどの周波数（典型的には、特定の実施形態において約３．２ｋＨｚ）の強調を、以下の種類のフィルタ
Ｈ（ｚ）＝α・ｚ^−２＋β・ｚ^−１−γ＋β・ｚ^＋１＋α・ｚ^＋２ （１）
によって達成でき、ここで好ましい係数は、α＝０．１、β＝０、およびγ＝０．８５である。

ＬＢ信号の傾斜に影響を及ぼす別のフィルタの実施例は、
Ｈ（ｚ）＝α・ｚ^−１−β＋α・ｚ^＋１ （２）
であって、好ましい係数は、α＝０．０６およびβ＝０．６６であり、
あるいは
Ｈ（ｚ）＝１−μ・ｚ^−１ （３）
であって、好ましい係数は、μ＝０．２である。

本発明の実施形態によれば、前置フィルタモジュールが、信号のＨＢがＢＷＥの仕組みによって復元されており、あるいは低域通過フィルタ処理されている場合に、信号のＬＢ部分をプレフィルタ処理すべく作動させられる。この文脈において、プレフィルタ処理という用語は、フィルタ処理がスピーチ信号の復元に先立って実行されることを指す。結果として、信号の一部分だけがフィルタ処理されるが、フィルタ処理が、復元される信号全体の知覚品質に影響を有する。本発明の実施形態のプレフィルタ処理は、ＬＢの中ほどの周波数または高い周波数を強調することを目的とする。

すでに述べたように、０〜６．４ｋＨｚの周波数成分からなる典型的なＬＢと、６．４〜８ｋＨｚの周波数成分からなる復元ＨＢとを考える。この筋書きにおいて、プレフィルタ処理は、３．２ｋＨｚに中心を有する周波数または３．２〜６．４ｋＨｚの全範囲を強調する。強調周波数は、典型的には、通常の聴き取りテストの被験者の外耳−中耳の反応に関して決定される（図７を参照されたい）。しかしながら、強調の周波数または周波数範囲の選択について、他の基準も適用可能である。例えば、調整を、顧客（耳が不自由であり、あるいは不自由でない）の実際の聴き取りのデータにもとづいて行なうことができる。

本発明の効果の説明が、図８に示されている。この例において、実線が元のスピーチ信号を示している。点線は、従来からのＢＷＥの仕組みの対象とされ、低域通過フィルタ処理された復元信号に相当する。最後に、破線は、本発明による復元信号に相当する。破線および点線のどちらの信号も、元の信号と比べて６ｋＨｚよりも上のエネルギが少ない。それにもかかわらず、破線の信号は、３〜４ｋＨｚの領域における周波数の強調ゆえに、点線の信号と比べてラウドネスおよびシャープネスがより高いと知覚されるであろう。換言すると、高い周波数に多くのエネルギを有するシャープネスおよびラウドネスを、ＨＢの代わりに信号のＬＢを増幅することによって復元することができる。これにより、信号アーチファクトの発生を効果的に回避することができる。

上述のプレフィルタ処理がラウドネスおよびシャープネスの感覚または知覚にどのように影響する（すなわち、知覚品質を向上させる）のかを理解するために、それぞれの心理音響モデルを検討することが有益である。重要な帯域ｋにおける特定ラウドネスを

によって定義すると、ラウドネスおよびシャープネスを、以下のように定めることができる［６］。

合計が、信号の帯域幅の全体の重要な帯域に及び、関数ｆ（ｋ）は、低周波数帯において１に等しく、最後のいくつかの重要な周波数帯において増加する。特定ラウドネスが、

として定められ、ここで正規化係数Ｅ^＊は、静寂のしきい値の逆数または外耳−中耳の周波数応答に関係できる（図７を参照）。励振Ｅを、信号波形を周波数ドメインへと変換し、周波数ビンを重要な周波数帯へとまとめることによって計算することができる。

式（４）、（６）、および図７から、ラウドネスの感覚を、利用可能な信号エネルギを３．２ｋＨｚの領域に向かって分配することで、たとえ全体としての信号強度を変化させることなくても向上させることができると結論付けることができる。

式（５）から、シャープネスの感覚を、エネルギをＬＢの低い周波数から高い周波数に向かって分配する（より高い帯域が、ｋおよびｆ（ｋ）の増加によって合計においてより大きな重みを有する）ことによって向上させることができると結論付けることができる。

本発明の発明者は、定評のあるＭＵＳＨＲＡの仕組み［７］に従って多数の聴き取りテストを行なった。その結果が、図９に示されている。白色の棒が、基準信号であり、灰色の棒が、本発明の結果であり、黒色の柱が、先行技術の結果である。この図から見られるように、本発明による信号の調整は、先行技術の方法と比べて基準信号により近い信号をもたらし、したがって先行技術と比べて改善された聴き取りの体感をもたらす。

さらに、図１０が、本発明によるエンコーダおよびデコーダの機能の例を示している。

上述の各段階、機能、手順、および／またはブロックを、汎用の電子回路および特定用途向けの回路の両方を含むディスクリートな回路または集積回路の技術など、任意の従来からの技術を使用して、ハードウェアにて実現することができる。

あるいは、上述の各段階、機能、手順、および／またはブロックの少なくとも一部を、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、および／または任意の適切なプログラマブルな論理デバイス（フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）デバイスなど）などの適切な処理装置によって実行されるソフトウェアにて実現してもよい。

さらに、ネットワークノードの汎用の処理能力を再使用することが可能であってもよいことが、理解されるべきである。これは、例えば既存のソフトウェアをプログラムし直すことによって行なうことができ、あるいは新たなソフトウェア構成要素を追加することによって行なうことができる。

ソフトを、通常はコンピュータにとって読み取り可能な媒体上に保持されるコンピュータプログラム製品として実現することができる。したがって、ソフトウェアを、コンピュータのプロセッサによる実行のために、コンピュータの動作メモリへとロードすることができる。コンピュータ／プロセッサは、上述の各段階、機能、手順、および／またはブロックのみに専用である必要はなく、他のソフトタスクも実行可能であってよい。

以下で、コンピュータによる実施の例を、図１１を参照して説明する。コンピュータ２００が、プロセッサ２１０、動作メモリ２２０、および入力／出力ユニット２３０を備えている。この特定の例においては、上述の各段階、機能、手順、および／またはブロックの少なくとも一部が、プロセッサ２１０による実行のために動作メモリ２２０へとロードされるソフトウェア２２５において実行される。プロセッサ２１０およびメモリ２２０は、通常のソフトウェアの実行を可能にするためにシステムバスを介して互いに接続されている。Ｉ／Ｏユニット２３０を、関連のデータ（入力パラメータおよび／または得られた出力パラメータなど）の入力および／または出力を可能にするために、Ｉ／Ｏバスを介してプロセッサ２１０および／またはメモリ２２０へと互いに接続することができる。

上記提案のラウドネスおよびシャープネスの部分的な補償のための仕組みは、必要なビットレートおよび複雑さの制限を維持する傍ら、知覚品質を向上させる。上述の考え方は、近年のほぼすべてのオーディオコーデックまたはＢＷＥの仕組みに適用可能である。フィルタ処理によって信号のＬＢ部分の中または高周波数を強調することで、復元される全体の信号についてラウドネスおよびシャープネスの感覚が改善される。換言すると、信号の一部分をフィルタ処理することによって、信号全体について知覚される品質の改善がもたらされる。

［１］３ＧＰＰ ＴＳ ２６．１９０、「Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ−Ｒａｔｅ−Ｗｉｄｅｂａｎｄ（ＡＭＲ−ＷＢ） ｓｐｅｅｃｈ ｃｏｄｅｃ；Ｔｒａｎｓｃｏｄｉｎｇ ｆｕｎｃｔｉｏｎｓ」、２００８ ［２］３ＧＰＰ ＴＳ ２６．２９０「Ｅｘｔｅｎｄｅｄ Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ−Ｒａｔｅ−Ｗｉｄｅｂａｎｄ（ＡＭＲ−ＷＢ＋） ｓｐｅｅｃｈ ｃｏｄｅｃ；Ｔｒａｎｓｃｏｄｉｎｇ ｆｕｎｃｔｉｏｎｓ」、２００５ ［３］３ＧＰＰ ＴＳ ２６．４０４、「Ｅｎｈａｎｃｅｄ ａａｃＰｌｕｓ ｅｎｃｏｄｅｒ ＳＢＲ ｐａｒｔ」、２００７ ［４］ＩＴＵ−Ｔ Ｒｅｃ．Ｇ．７２９．１、「Ｇ．７２９−ｂａｓｅｄ ｅｍｂｅｄｄｅｄ ｖａｒｉａｂｌｅ ｂｉｔ−ｒａｔｅ ｃｏｄｅｒ：Ａｎ ８−３２ ｋｂｉｔ／ｓ ｓｃａｌａｂｌｅ ｗｉｄｅｂａｎｄ ｃｏｄｅｒ ｂｉｔｓｔｒｅａｍ ｉｎｔｅｒｏｐｅｒａｂｌｅ ｗｉｔｈ Ｇ．７２９」、２００６ ［５］ＩＴＵ−Ｔ Ｒｅｃ．Ｇ．７１８、「Ｆｒａｍｅ ｅｒｒｏｒ ｒｏｂｕｓｔ ｎａｒｒｏｗｂａｎｄ ａｎｄ ｗｉｄｅｂａｎｄ ｅｍｂｅｄｄｅｄ ｖａｒｉａｂｌｅ ｂｉｔ−ｒａｔｅ ｃｏｄｉｎｇ ｏｆ ｓｐｅｅｃｈ ａｎｄ ａｕｄｉｏ ｆｒｏｍ ８−３２ ｋｂｉｔ／ｓ」、２００８ ［６］Ｈ．ＦａｓｔｌおよびＥ．Ｚｗｉｃｋｅｒ、「Ｐｓｙｃｈｏａｃｏｕｓｔｉｃｓ：Ｆａｃｔｓ ａｎｄ Ｍｏｄｅｌｓ」、Ｃｈａｐｔｅｒ ８．７．１ ａｎｄ ９．２、Ｓｐｒｉｎｇｅｒ、２００７ ［７］Ｇ．ＳｔｏｌｌおよびＦ．Ｋｏｚａｍｅｒｎｉｋ、「ＥＢＵ ｌｉｓｔｅｎｉｎｇ ｔｅｓｔｓ ｏｎ Ｉｎｔｅｒｎｅｔ ａｕｄｉｏ ｃｏｄｅｃｓ」、ＥＢＵ Ｔｅｃｈｎｉｃａｌ Ｒｅｖｉｅｗ、Ｊｕｎｅ ２０００。

Claims (14)

1. 所定の帯域幅に限られた復元スピーチ信号について知覚されるラウドネスおよびシャープネスを改善する方法であって、
   前記スピーチ信号を用意するステップ（Ｓ１０）と、
   少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに、前記スピーチ信号を分割するステップ（Ｓ２０）と、
   前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように、前記第１の信号部分を調整するステップ（Ｓ３０）と、
   少なくとも前記調整した第１の信号部分にもとづいて前記第２の信号部分を復元するステップ（Ｓ４０）と、
   前記調整した第１の信号部分と前記復元した第２の信号部分とを組み合わせて（Ｓ５０）、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成するステップと
   を含む方法。
2. 前記調整するステップ（Ｓ３０）が、
   前記第１の信号部分をフィルタ処理するステップを含み、前記第１の帯域部分の選択された周波数に向かって第１の信号部分のエネルギの少なくとも一部を分配すると同時に、前記第１の帯域部分の選択された高周波数区間に向かって第１の信号部分のエネルギの少なくとも別の一部を分配する、請求項１に記載の方法。
3. 前記フィルタ処理するステップ（Ｓ３０）が以下のフィルタ関数Ｈ（ｚ）：
   Ｈ（ｚ）＝α・ｚ^−２＋β・ｚ^−１−γ＋β・ｚ^＋１＋α・ｚ^＋２
   に従って実行される、請求項２に記載の方法。
4. 係数α＝０．１、β＝０、γ＝０．８５である、請求項３に記載の方法。
5. 前記フィルタ処理するステップ（Ｓ３０）が以下のフィルタ関数Ｈ（ｚ）：
   Ｈ（ｚ）＝α・ｚ^−１−β＋α・ｚ^＋１
   に従って実行される、請求項２に記載の方法。
6. 係数α＝０．０６およびβ＝０．６６である、請求項５に記載の方法。
7. 前記フィルタ処理するステップ（Ｓ３０）が以下のフィルタ関数Ｈ（ｚ）：
   Ｈ（ｚ）＝１−μ・ｚ^−１
   に従って実行される、請求項２に記載の方法。
8. 係数μ＝０．２である、請求項７に記載の方法。
9. 自然の外耳−中耳の反応にもとづいて、前記第１の帯域部分の範囲内の前記周波数を選択するさらなるステップを含む、請求項２に記載の方法。
10. 前記第１の帯域部分が、前記用意されるスピーチ信号の低周波数帯（ＬＢ）に相当し、前記第２の帯域部分が、前記用意されるスピーチ信号の高周波数帯（ＨＢ）に相当する、請求項１〜９のいずれか１項に記載の方法。
11. 前記調整するステップ（Ｓ３０）が、低周波数帯（ＬＢ）をプレフィルタ処理するステップにもとづいており、前記第２の信号部分を復元するステップ（Ｓ４０）が、帯域拡張（ＢＷＥ）または低域通過フィルタ処理にもとづく、請求項１０に記載の方法。
12. 所定の帯域幅に限られた復元スピーチ信号について知覚されるラウドネスおよびシャープネスを改善するためのシステムであって、
    前記スピーチ信号を生成する手段（１０）と、
    少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに、前記スピーチ信号を分割する手段（２０）と、
    前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように、前記第１の信号部分を調整する手段（３０）と、
    少なくとも前記調整した第１の信号部分にもとづいて前記第２の信号部分を復元する手段（４０）と、
    前記調整した第１の信号部分と前記復元した第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成する手段（５０）と
    を備えるシステム。
13. 前記手段（３０）が、プレフィルタ処理によって前記第１の信号部分を調整するように構成され、前記第１の信号部分が、前記スピーチ信号の低周波数帯（ＬＢ）に相当し、前記手段（４０）が、帯域拡張（ＢＷＥ）または低域通過フィルタ処理にもとづいて、前記スピーチ信号の高周波数帯（ＨＢ）を復元する、請求項１２に記載のシステム。
14. 通信システムにおいて所定の帯域幅に限られたスピーチ信号を処理するためのデコーダ装置（２）であって、
    少なくとも前記所定の帯域幅のうちの第１の帯域部分にもとづく第１の信号部分と、前記所定の帯域幅のうちの第２の帯域部分にもとづく第２の信号部分とに、生成されたスピーチ信号を分割することによって得られる第１の信号部分を受信する手段（２５）と、
    前記第１の帯域部分の範囲内の少なくとも所定の周波数または周波数区間を強調するように、前記受信される第１の信号部分を調整する手段（３０）と、
    少なくとも前記調整した第１の信号部分にもとづいて前記第２の信号部分を復元する手段（４０）と、
    前記調整済みの第１の信号部分と前記復元される第２の信号部分とを組み合わせ、全体として知覚されるラウドネスおよびシャープネスが改善された復元スピーチ信号を生成する手段（５０）と
    を備えるデコーダ装置（２）。

Images