JP6562572B2 - ステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置及び方法 - Google Patents

Description

本発明は、オーディオ信号処理、特に、ステレオイメージの幅を含む、ステレオ信号のステレオイメージ修正の分野に関する。

ステレオ信号の知覚される空間幅／ステレオイメージを修正（特に、増加）することができるいくつかの異なる解決手段が知られている。

ステレオ拡張アプローチの１つのファミリは、時間ドメインにおいて実行可能な単純線形処理に依存する。特に、ステレオ信号ペアは、中間（両方のチャネルの和）及び側方（差）信号に変換可能である。そこで、中間に対する側方の割合が増加し、変換が戻されて、ステレオペアを得る。その効果は、ステレオ幅を増加させる。ステレオ幅は、理論上、ラウドスピーカスパンより大きく拡張されることもできるが、これらの方法の帰属は、主に、「内部」ステレオ修正アプローチに分類されることができる。演算の複雑性は非常に低いが、このような方法にはいくつかの短所がある。音源は、ステレオステージの中で再配分されるのみならず、異なる様に、スペクトル的に重み付けもされる。すなわち、ステレオ信号のスペクトルコンテンツは、拡張プロセスを介して修正される。これは、音質を劣化させることがある。例えば、（側方信号に含まれる）残響のレベルが増加し、（音声のような）中心にパニングされた音源のレベルが減少することがある。このようなアプローチの例が、ＥＰ ０６ ７７２ ３５Ｂ１ 及びＵＳ ６ ５０７ ６５７Ｂ１に見られる。

ステレオ拡張のための他のアプローチが、「外部」ステレオ修正として分類可能なクロストークキャンセレーション（ＣＴＣ）である。ＣＴＣの目標は、ステレオ幅をラウドスピーカスパン角度より大きく増加させること、換言すると、ラウドスピーカスパン角度を仮想的に増加させることである。このために、このような方法は、ステレオ信号をフィルタリングし、左側ラウドスピーカから右耳への経路をキャンセルし、逆もまた同様にしようとする試みである。しかしながら、このようなアプローチは、例えば、信号がステレオステージ全体を用いない場合、信号における制限を克服することができない。さらに、ＣＴＣは、音質歪みのアーチファクト（すなわち、スペクトル歪み）を導入し、これが、リスニング体験を悪化させる。さらに、ＣＴＣは、比較的小さいスイートスポットにのみ作用する。これは、望ましい効果が、小さいリスニングエリアでのみ知覚可能であることを意味する。ＣＴＣの一例が、ＵＳ６９２８１６８Ｂ２に示される。

本発明の目的は、第１のオーディオ信号及び第２のオーディオ信号を含むステレオ信号のステレオイメージを修正することである。

この目的は、独立請求項に記載の特徴によって実現される。さらに、実装形式は、従属請求項、詳細な説明及び図から明らかである。

第１の態様によれば、本発明は、第１のオーディオ信号及び第２のオーディオ信号を含むステレオ信号のステレオイメージを修正するオーディオ信号処理装置に関する。オーディオ信号処理装置は、周波数帯域幅内にあるステレオ信号の時間周波数セグメントの少なくとも全てのパニング指標にマッピング関数を適用し、これにより、修正されたパニング指標を提供するように構成されるパニング指標修正器を含む。少なくとも全てのパニング指標は、ステレオ信号の時間周波数セグメントのパニング位置を特定する。

装置は、修正されたパニング指標に基づいて、第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメントに対して、修正されたパニング利得を決定するように構成される第１のパニング利得決定器と、修正されたパニング利得と時間及び周波数において修正されたパニング利得に対応する第１のオーディオ信号及び第２のオーディオ信号のパニング利得との間の割合に従って、ステレオ信号を再パニングし、これにより、再パニングされたステレオ信号を提供するように構成される再パニング器と、をさらに含む。本明細書において用いられるように、パニング利得は、例えば、これらが両方とも同じ時間周波数ビン又はセグメントに対する値を含む場合に、互いに対応する。

従って、ステレオ信号のステレオイメージは、ステレオ信号のスペクトルエネルギを再配分することによって修正される。この技術により、修正されていないステレオ信号に対して、拡張又は縮小されたステレオイメージを有し得る再パニングされたステレオ信号は、望ましくないアーチファクト又はスペクトル歪みを含まない。

第１の態様に係るオーディオ信号処理装置の第１の実装形式において、パニング指標修正器は、少なくとも全てのパニング指標に、非線形マッピング関数を適用するように構成される。

第１の態様に係るオーディオ信号処理装置の第２の実装形式において、マッピング関数は、シグモイド関数に基づく。

非線形マッピング関数（シグモイドマッピング関数を含む）は、ステレオイメージの中心ではなく、より側方に向かってパニングされる音源に対する人間の定位分解能の減少のような、知覚的に動機付けられる曲線を含んでよい。これらの機能は、ステレオイメージ内における音源のクラスタリングをさらに回避してよい。

第１の態様に係るオーディオ信号処理装置の第３の実装形式又は第１の態様のいずれかの前述の実装形式において、マッピング関数は、
として表され、又はこれに基づく。ここで、Ψ（ｍ，ｋ）は、パニング指標を示し、Ψ'（ｍ，ｋ）は、修正されたパニング指標を示し、ａは、マッピング関数曲率を制御する。

第１の態様に係るオーディオ信号処理装置の第４の実装形式又は第１の態様のいずれかの前述の実装形式において、パニング指標修正器は、少なくとも全てのパニング指標に、多項式マッピング関数を適用するように構成される。多項式マッピング関数は、複雑な分析関数に対して、複雑性を低減させてよい（例えば、除算及び指数関数を加算及び乗算と置換する）。

第１の態様に係るオーディオ信号処理装置の第５の実装形式又は第１の態様のいずれかの前述の実装形式において、再パニング器は、以下の式
に従って、ステレオ信号を再パニングするように構成される。ここで、Ｘ_１（ｍ，ｋ）は、第１のオーディオ信号の時間周波数信号セグメントを示す。Ｘ_２（ｍ，ｋ）は、第２のオーディオ信号の時間周波数信号セグメントを示す。

Ｘ_１'（ｍ，ｋ）は、再パニングされたステレオ信号の再パニングされた第１のオーディオ信号の時間周波数信号セグメントを示す。

Ｘ_２'（ｍ，ｋ）は、再パニングされたステレオ信号の再パニングされた第２のオーディオ信号の時間周波数信号セグメントを示し、
ｇ_Ｌ（ｍ，ｋ）は、第１のオーディオ信号に対する時間周波数信号セグメントのパニング利得を示し、
ｇ_Ｒ（ｍ，ｋ）は、第２のオーディオ信号に対する時間周波数信号セグメントのパニング利得を示し、
ｇ'_Ｌ（ｍ，ｋ）は、第１のオーディオ信号に対する時間周波数信号セグメントの修正されたパニング利得を示し、
ｇ'_Ｒ（ｍ，ｋ）は、第２のオーディオ信号に対する時間周波数信号セグメントの修正されたパニング利得を示す。

第１の態様に係るオーディオ信号処理装置の第６の実装形式又は第１の態様のいずれかの前述の実装形式において、第１のパニング利得決定器は、以下の式
に基づいて、修正されたパニング利得を決定するように構成される。

第１の態様に係るオーディオ信号処理装置の第７の実装形式又は第１の態様のいずれかの前述の実装形式において、パニング指標修正器は、少なくとも約１５００Ｈｚであるオーディオ信号に対する値を有するステレオ信号の時間周波数セグメントの全てのパニング指標に、マッピング関数を適用するように構成される。これにより、知覚的に動機付けられる態様で、処理された周波数範囲の限定による演算の複雑性を低減させる。従って、この閾値を下回る周波数は、ステレオイメージに対して知覚される拡張又は縮小効果の多くを失うことなく、変化せずに残存することができる。

第１の態様に係るオーディオ信号処理装置の第８の実装形式又は第１の態様の第１から第６の実装形式のいずれかにおいて、パニング指標修正器は、ステレオ信号の時間周波数セグメントの全てのパニング指標に対してマッピング関数を適用するように構成される。

第１の態様に係るオーディオ信号処理装置の第９の実装形式又は第１の態様のいずれかの前述の実装形式において、指標修正器は、マッピング関数の曲線を選択するためのパラメータを受信するようにさらに構成される。これにより、ユーザは、ステレオイメージ修正のタイプ（例えば、線形又は非線形マッピング関数）及びステレオイメージ修正が適用される度合い（例えば、マッピング関数曲線の曲率）の少なくとも１つを選択することができる。

第１の態様に係るオーディオ信号処理装置の第１０の実装形式又は第１の態様のいずれかの前述の実装形式において、オーディオ信号処理装置は、時間及び周波数において対応する第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメント値の比較に基づいて、少なくとも全てのパニング指標を決定するように構成されるパニング指標決定器、及び少なくとも全てのパニング指標に基づいて、第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメントに対して、パニング利得を決定するように構成される第２のパニング利得決定器の少なくとも１つをさらに含む。

前述の実装形式に係るオーディオ信号処理装置の第１１の実装形式において、第１のパニング利得決定器及び第２のパニング利得決定器の少なくとも１つは、多項式関数を用いる。これにより、その関数の近似による正弦及び余弦関数を多項式関数と置換することに起因する演算の複雑性が低減される。

第１の態様に係るオーディオ信号処理装置の第１２の実装形式又は第１の態様のいずれかの前述の実装形式において、装置は、ステレオ信号を、時間ドメインから周波数ドメインに変換するように構成される１つ又は複数の時間対周波数ユニット、及び再パニングされたステレオ信号を、周波数ドメインから時間ドメインに変換するように構成される１つ又は複数の周波数対時間ユニットの少なくとも１つをさらに含む。

第１の態様に係るオーディオ信号処理装置の第１３の実装形式又は第１の態様のいずれかの前述の実装形式において、装置は、再パニングされたステレオ信号の第１のオーディオ信号と第２のオーディオ信号との間のクロストークをキャンセルするように構成されるクロストークキャンセラをさらに含む。再パニングされたステレオ信号は、ステレオシステムを介して再現可能である潜在的な最大ステレオイメージのより多くを取り上げ、従って、ステレオシステムのラウドスピーカより大きく拡張するように知覚されるステレオイメージの形成において、クロストークキャンセレーションに対してより有効なステレオ信号をもたらす。

第２の態様によれば、本発明は、第１のオーディオ信号及び第２のオーディオ信号を含むステレオ信号のステレオイメージを修正するためのオーディオ信号処理方法に関する。方法は、パニング指標及びパニング利得を取得する段階であって、取得されたパニング指標は、ステレオ信号の時間周波数セグメントに対するパニング位置を特定し、取得されたパニング利得は、第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメントに対するパニング位置を特定する、段階と、周波数帯域幅内にあるステレオ信号の時間周波数セグメントの取得されたパニング指標の少なくとも全てにマッピング関数を適用し、これにより、修正されたパニング指標を提供する段階と、修正されたパニング指標に基づいて、第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメントに対して、修正されたパニング利得を決定する段階と、修正されたパニング利得と、時間及び周波数において修正されたパニング利得に対応する取得されたパニング利得との間の割合に従って、ステレオ信号を再パニングする段階と、を含む。

オーディオ信号処理方法は、オーディオ信号処理装置によって実行可能である。オーディオ信号処理方法のさらなる特徴は、いずれかの実装形式のオーディオ信号処理装置の機能によって実行されてよい。

第３の態様によれば、本発明は、コンピュータ上で実行された場合に、当該方法を実行するプログラムコードを備えるコンピュータプログラムに関する。

オーディオ信号処理装置は、コンピュータプログラムを実行するようにプログラム可能に構成されてよい。本発明は、ハードウェア及び／又はソフトウェアで実装されてよい。

本発明の実施形態は、以下の図に関連して説明される。
様々なステレオイメージ幅の図である。 様々なステレオイメージ幅の図である。 様々なステレオイメージ幅の図である。 実施形態に係るステレオ信号の時間周波数信号セグメントのパニング指標を修正するためのオーディオ信号処理装置の図を示す。

ステレオイメージを拡張するためのマッピング曲線の可能な実装形式を示すグラフである。 ステレオイメージを拡張するためのマッピング曲線の可能な実装形式を示すグラフである。 ステレオイメージを拡張するためのマッピング曲線の可能な実装形式を示すグラフである。

実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置の図を示す。

実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置の図を示す。

実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理方法の図を示す。

図１Ａから１Ｃは、様々なステレオイメージ幅の図である。特に、図１Ａは、最も広い可能なステレオイメージより狭い未処理のステレオ信号によって生成されたステレオイメージ幅の例を示す。図１Ｂ及び１Ｃは、それぞれ、ステレオイメージの内部及び外部の拡張を示す。

媒体（例えば、音楽又は映画）のステレオ録音は、仮想のステレオサウンドステージ又はステレオイメージ内に分散された異なる音源を含む。音源は、ステレオペアのラウドスピーカ間距離によって定義及び限定されるステレオイメージ幅内に配置されてよい。例えば、振幅のパニングは、ステレオイメージ内の任意の空間に音源を配置するために用いられてよい。場合により、最も広い可能なステレオイメージは、ステレオ録音に用いられない。このような場合、ステレオシステムが生成可能な最も広い可能なステレオイメージを活用すべく、音源の空間分布を修正することが望ましい。これにより、知覚されるステレオ効果が向上し、より深いリスニング体験がもたらされる。

ステレオペアのスピーカが互いから遠く離れて配置される場合のような、ステレオイメージを縮小することが望ましい他の適用シナリオが存在することがある。

図１Ａのステレオイメージに対して、ステレオイメージの内部拡張が、図１Ｂによって示される。クロストークキャンセレーション（ＣＴＣ）を利用可能な外部拡張が、図１Ｃによって示される。外部拡張は、知覚されるステレオイメージをラウドスピーカスパンより大きく拡張することを試みる。実施形態は、相補的な内部及び外部のステレオ修正のための装置及び方法を含んでよく、従って、より良い効果を実現し、リスニング体験をさらに向上させるように、組み合わせられてよい。

実施形態は、ステレオイメージを内部的に修正（例えば、縮小又は拡張）するための装置及び方法をさらに含んでよい。ステレオ信号から、ステレオイメージ内における音源の位置を特定する、時間及び周波数から独立した測定値（例えば、パニング指標）が抽出されてよい。

当業者は、パニング指標、及びこれらの指標をどのように算出するかを認識している。本発明は、特に、周波数帯域幅内にあるステレオ信号の時間周波数セグメントの少なくとも全てのパニング指標にマッピング関数を適用すること（例えば、これらの指標をマッピングすること）によって、従来技術から乖離する。すなわち、周波数帯域幅（例えば、１．５から２２ｋＨｚ）内にあるスペクトルコンテンツを含む時間周波数セグメントは、ステレオ信号を内部的に修正するように修正されてよい。周波数帯域幅は、ステレオ信号の帯域幅より大きくてよく、これと同じでよく、又はこれより小さくてよい。

例えば、マッピング関数は、スピーカ間の距離全体を広げるようにステレオイメージを拡張すべく、全ての時間周波数ビンのパニング指標に適用されてよい。異なるマッピング関数が、図３から５の説明において、より詳細に説明される。

本発明の１つの利点は、パニング指標の修正が、時間及び周波数から独立していてよい、従って、ステレオ信号のコンテンツから独立していてよいことである。信号の一部が修正ステレオイメージにおいて再配分されるだけなので、ステレオ信号の全体的なスペクトル分布は、変化しない。その結果、音質歪みのアーチファクト（スペクトル歪み）は導入されない。パニング指標修正は、ステレオイメージ拡張の場合、より広いステレオイメージをもたらす。ここで、音源は、より側方／スピーカの境界に向かい、かつ、ステレオイメージの中心から離れて動かされる。

さらに、実施形態は、従来技術に対して、修正されたステレオ信号に対して知覚的に影響を与える（例えば、歪みを追加する）ことなく、ステレオイメージ修正の演算の複雑性を低減させることができる。このために、パニング指標を修正するマッピング関数は、多項式関数を介して近似されてよい。そこで、マッピング曲線の分析式を評価する代わりに、多項式関数が評価される。多項式関数を評価する演算の複雑性は、マッピング曲線の分析式に対するものより低いので、これにより、システムの複雑性が全体的に低減される。

同様に、マッピング曲線は、分析式又は多項式関数に従って、パニング指標をマッピングするルックアップテーブル（ＬＵＴ）として実装されてよい。

実施形態は、ステレオ信号からパニング指標を抽出することを含む。パニング指標を抽出するためのアプローチが、米国特許第７，２５７，２３１Ｂ１において説明されている。高速フーリエ変換（ＦＦＴ）のような時間周波数変換の後で、パニング指標は、ステレオ信号の各時間周波数セグメントに対して算出されてよい。時間周波数信号セグメントは、所与の時間及び周波数間隔における信号の表現に対応する。例えば、時間周波数信号セグメントは、所与の時間セグメントに対して生成される（複雑な）周波数サンプルに対応してよい。従って、各時間周波数信号セグメントは、対応するセグメントにＦＦＴを適用することによって生成されるＦＦＴビン値であってよい。

パニング指標は、ステレオ信号の左右のチャネル（又は第１及び第２のチャネル）間の関係から導出される。人間の聴覚機構は、音源の定位のために２つの耳における信号間の時間及びレベル差を用いるが、パニング指標は、レベル差のみに基づいてよい。各時間周波数信号セグメントに対して、パニング指標は、ステレオステージ（すなわち、ステレオイメージにおいて時間周波数信号セグメントが「出現」する場所）において対応する角度を特定する。

図２は、実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置２００の図を示す。装置２００は、パニング指標修正器２０２を含む。パニング指標修正器２０２は、周波数帯域幅内にあるステレオ信号の時間周波数セグメントの少なくとも全てのパニング指標Ψ（ｍ，ｋ）にマッピング関数を適用し、これにより、修正されたパニング指標を提供するように構成される。

例えば、入力されたパニング指標Ψ（ｍ，ｋ）は、時間及び周波数から独立して修正され、従って、修正されたパニング指標Ψ'（ｍ，ｋ）を取得してよい。

修正は、ステレオイメージを縮小又は拡張することを含む。例えば、ステレオイメージ自体がラウドスピーカスパンによって限定されるので、「用いられる」ステレオイメージの一部（例えば、パニングするオーディオ信号のスペクトル分布と比較した、ステレオシステムを介して生成可能な知覚される幅の量）が、拡張されてよい。結果として、異なるステレオシステムは、例えば、ステレオラウドスピーカ間の距離に起因する、異なる修正曲線を用いてよい。

すなわち、パニング指標を修正する１つの実現態様は、異なる様にパニングされた音源を、より側方に向けて動かし、従って、ステレオイメージにおける分布を「引き延ばす」ことである。

サウンドイメージの用いられる幅の拡張又は最適化は、いくつかの用途に有用である。いくつか信号は、全体が適用可能なステレオイメージを用いなくてよく、分布の拡張は、望ましくないアーチファクトを拡張されたステレオ信号に導入することなく、より深いリスニング体験をもたらすことができる。

他の用途は、拡張された信号をクロストークキャンセレーション（ＣＴＣ）又は同様の技術でさらに処理することであり、これは、典型的には、知覚されるステレオイメージを、ラウドスピーカの距離より大きく拡張する音響心理モデルに依存する。この目標は、しかしながら、完全には実現されていない。この場合、入力信号の内部拡張は、ＣＴＣの実際の制限を克服し、音源の空間分布が正確に維持されるより広いステレオイメージに寄与することができる。

さらに、特定のリスニングのセットアップは、ステレオイメージの修正を必要とすることがある。例えば、従来のステレオ再生セットアップにおいて、ラウドスピーカスパンは、（最適なステレオリスニング条件と比較して）広すぎることがあり、用いられる信号のステレオステージを縮小し、準最適なラウドスピーカセットアップを補償することが有益なことがある。

従って、実施形態は、ラウドスピーカ間、及びリスニングスポットと２つのラウドスピーカの各々との間の距離情報を取得することを含んでよい。

ステレオイメージを拡張するために、パニング指標修正器２０２は、音源をステレオイメージのより側方に向けて動かすべく、（時間及び周波数から独立した）パニング指標の絶対値を増加させる必要がある。理想的には、知覚される「穴」（例えば、音源が存在しない場所）がサウンドイメージ内に形成されない。また、いくつかの音源が共にクラスタリングされるステレオイメージにおいて、スポットが形成されてはならない。

数学的用語で言うと、これらの２つの要件は、例えば、全単射マッピング関数によって満たされる。他の基準は、安定した、単調に増加する関数を有することであってよい。マッピング曲線／関数の他の要件は、中心にパニングされる全ての音源が、中心に残されるべきことであってよい。

さらに、マッピング曲線は、人間の聴覚能力に関する音響心理的な知見を利用してよい。例えば、人間の定位の差異に対する角度分解能は、側方（約１５度）と比較して、ステレオイメージの中心（約１度）で高い。

そこで、時間及び周波数から独立してパニング指標を修正し、理想的には、上述された特性のいくつか又は全てを満たすマッピング曲線又はマッピング関数が、必要とされてよい。

図３から５は、ステレオイメージを拡張するためのマッピング曲線の可能な実装形式を示すグラフである。パニング指標は対称なので、０と１との間の範囲のみが説明されることがあるが、−１と０との間の範囲が、対称な曲線又は関数を介して適宜処理されてよい。勿論、パニング指標は、−１から１に加えて、他の値の範囲を用いてよい。

ステレオ拡張のための１つの可能な実装形式は、定数でパニング指標を乗算し、これを最大の１に限定することである。
ここで、ｐは、幅の増加の傾きを制御する係数である。異なる再パニング係数ｐによって得られたいくつかの曲線が、図３に示される。パニング指標修正器２０２は、図３に示される（例えば、導出又は近似された）１つ又は複数の曲線に従って、又はこれに基づいて、入力されたパニング指標を修正してよい。

この実装形式の利点は、再パニング曲線が単純なことである。しかしながら、図３の曲線は、全単射関数を表さない。曲線における屈曲より大きいパニング指標を有する全ての音源が、最大パニング指標の１にマッピングされる。

ステレオイメージを拡張するためのマッピング曲線の１つの可能な実装形式が、図４によってグラフ形式で示される。パニング指標修正器２０２は、図４に示される（例えば、導出又は近似された）１つ又は複数の曲線に従って、又はこれに基づいて、入力されたパニング指標を修正してよい。

図４に示される曲線は、区分的線形であり、図４においてそれぞれ０．１及び０．８である低屈曲点ｂ_Ｌ及び高屈曲点ｂ_Ｈによって制御され、かつ、勾配ｐによっても制御される。ｂ_Ｌより小さいパニング指標は、修正されていない。勾配ｐは、ｂ_Ｌより大きく、出力されたパニング指標ｂ_Ｈまでのパニング指標に適用される。これより上では、勾配は、関数が点（１，１）に到達する態様で決定される。このような曲線のファミリは、中心に（又は中心近くに）パニングされる音源が修正されておらず、かつ、曲線が全単射であるという要件を満たす。しかしながら、曲線は区分的線形であり、従って、屈曲を有するので、修正されたパニング指標分布において不自然なクラスタリングを引き起こすことがある。

シグモイド関数に基づく（例えば、導出もしくは近似される）、又はシグモイド関数として表される他の実装形式は、上述の制限を克服することができる。図５に表示された曲線は、安定しており、屈曲がなく、全単射関数を表す。パニング指標修正器２０２は、図５に示される１つ又は複数の曲線に従って、又はこれに基づいて、入力されたパニング指標を修正してよい。

曲線の分析式は、以下の通り導出されてよい。曲線は、シグモイド関数に基づく。
これは、曲線の仮の形を表す。パラメータａ＝２^ｐ−１は、曲線を制御し、ｐの増加は、曲線の拡張効果を増加させる。曲線を点（０，０）及び（１，１）に一致させるべく、アフィン変換が適用され、その結果、曲線の最終形となる。
これは、ｐから導出されるパラメータａによって、なおも制御される。この曲線式は、ここで、前述の要件を満たす。例えば、人間に見られる角度分解能定位（例えば、単に顕著な角度差）は、この曲線式と共に利用される。０から１のスケールにおいて、（中心にパニングされる音源に対応する）より小さいパニング指標はわずかに増加するが、より大きいパニング指標に対しては、知覚される差をもたらすべく、より大きい増加が必要とされる。

説明されたように、全てのパニング指標修正曲線は、ここで、０と１との間の範囲のパニング指標に対してのみ定義される。−１と０との間の範囲に対する適用は、関数のミラーリング（特に、座標系の横座標及び縦座標においてミラーリング）された形の直線である。分析式において、−１と０との間のパニング指標範囲をカバーすべく、式（３）は、以下の通り修正されてよい。

さらに、全ての曲線は、ステレオ拡張の代わりに、対角軸ｙ＝ｘにおけるミラーリングによって、ステレオ縮小に適用されてもよい。これは、式（３）の逆関数によって得ることができる。
ここで、範囲
である。

パニング指標修正器２０２は、図３から５に示される（例えば、導出又は近似された）１つ又は複数の曲線に従って、又はこれに基づいて、入力されたパニング指標を修正してよい。例えば、パニング指標修正器２０２は、１つの曲線のみを用いるように構成されてよい。パニング指標修正器２０２は、１つのマッピング関数のみを用いるように構成されてよい。パニング指標修正器２０２は、ユーザ入力を受信するように構成されてよい。ここで、マッピング関数曲率は制御され（例えば、ｐに関するパラメータを受信すること）、及び／又は、マッピング関数の選択（例えば、図３から５に関するマッピング関数の１つ）が選択される。

パニング指標修正器２０２は、いくつかの態様で、マッピング関数を実装してよい。例えば、一実装形式は、パニング指標をマッピングするために、式（３）又は（４）を直接用いる。

他の実装形式は、式（３）又は（４）（すなわち、多項式マッピング関数）における複雑な分析関数の多項式近似を介して、演算の複雑性を低減させる。例えば、望ましいマッピング曲線に対する多項式関数の最小二乗適合は、より効率的な実装をもたらす。多項式の次数は、制御されてよい。多項式係数は、一度演算され、格納されてよい。ランタイム中に、多項式は、曲線の分析式の代わりに評価される。式（３）の分析式における除算及び指数関数は、チップ実装において非常に高価となり得る。これらをいくつかの加算及び乗算によって置換することにより、演算の複雑性を低減させる助けとなる。

他の実装形式は、処理された周波数範囲を限定することによって、演算の複雑性を低減させる。パニング指標修正は周波数から独立して実行されてよいが、人間の聴覚システムの特定の能力は、演算の複雑性を低減させるために利用可能である。実施形態は、振幅パニングを用い、従って、主に、おおよそ１５００Ｈｚ又はこれより高い周波数の音源の定位に用いられる両耳間のレベル差に依存する。従って、この閾値を下回る周波数は、ステレオ拡張効果の多くを失うことなく、変化せずに残存することができる。

他の実装形式は、ルックアップテーブルを介して、マッピング関数を実装する。この場合、関数は、離散化される。

図６は、実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置６００の図を示す。パニング利得決定器６０２は、修正されたパニング指標Ψ'（ｍ，ｋ）を受信する。これは、上述されたように、パニング指標修正器２０２によって修正されてよい。パニング利得決定器６０４は、例えば、ステレオ信号から抽出された、修正されていないパニング指標Ψ（ｍ，ｋ）を受信する。

パニング利得決定器６０２及び６０４の各々は、受信されたパニング指標に基づいて、パニング利得を生成する。前述されたように、各パニング指標は、ステレオイメージ内における特定の位置を特定する。所与のパニング指標（Ψ（ｍ，ｋ）又はΨ'（ｍ，ｋ））に対して、ステレオチャネル利得は、一実装形式において、エネルギー保存パニング法を用いるパニング利得決定器６０４及び６０４によって、決定されてよい。
ここで、ｇ_Ｌ（ｍ，ｋ）及びｇ_Ｒ（ｍ，ｋ）は、それぞれ、入力ステレオ信号のｍ及びｋによって決定された時間周波数ビンに対して、左（例えば、第１の入力信号）及び右（例えば、第２の入力信号）チャネルに対する利得を示す。パニング利得決定器６０２は、エネルギー保存パニング法を用いて、修正されたパニング利得ｇ_Ｌ'（ｍ，ｋ）及びｇ_Ｒ'（ｍ，ｋ）を算出してよい。

パニング利得決定器６０２及び６０４の一実装形式において、多項式近似は、例えば、近似による正弦及び余弦関数を多項式関数と置換することによって、式（６）に従ってパニング利得を算出するために用いられてよい。

この点において、特定の時間周波数ビン（すなわち、ステレオ信号の時間周波数セグメント）に含まれる信号は、再パニング器６０６を介して修正ステレオイメージを形成するように動かされてよい。再パニング器６０６は、パニング利得、修正されたパニング利得、及びパニング利得の基礎となる入力ステレオ信号を受信してよい。再パニング器６０６の一実装形式において、再パニング器６０６は、以下の式を用いて、修正ステレオイメージを有するステレオ信号を生成する。
ここで、Ｘ_１（ｍ，ｋ）、Ｘ_２（ｍ，ｋ）は、入力ステレオ信号であり、Ｘ_１'（ｍ，ｋ）及びＸ_２'（ｍ，ｋ）は、修正ステレオイメージを有する出力ステレオ信号である。

装置６００は、再パニングされたステレオ信号（（Ｘ_１'（ｍ，ｋ）及びＸ_２'（ｍ，ｋ））の第１のオーディオ信号と第２のオーディオ信号との間のクロストークをキャンセルし、ラウドスピーカの距離より大きく拡張するように知覚されるステレオイメージを有するステレオ信号（Ｘ^ＣＴＣ _１（ｍ，ｋ）及びＸ^ＣＴＣ _２（ｍ，ｋ））を出力するように構成されるクロストークキャンセラ６０８をさらに含んでよい。

図７は、実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置７００の図を示す。入力ステレオ信号（ｘ_１（ｔ）、ｘ_２（ｔ））は、時間対周波数ユニット７０２を介して、周波数ドメイン信号（Ｘ_１（ｍ，ｋ）、Ｘ_２（ｍ，ｋ））に変換される。

時間周波数変換の後で、例えば、米国特許第７，２５７，２３１Ｂ１において説明される方法を用いて、パニング指標決定器７０４を介して、パニング指標がステレオペアＸ_１（ｍ，ｋ）、Ｘ_２（ｍ，ｋ）から抽出される。

パニング指標を抽出するためのこの方法は、信号Ｘ_１（ｍ，ｋ）とＸ_２（ｍ，ｋ）との間の振幅の類似性に基づく。例えば、特定の時間周波数ビンにおける類似性がより低い場合、この時間周波数ビンに対応する音源は、１つの側方、すなわち、２つの入力信号の一方の方向に、よりパニングされる。パニング指標決定器７０４の一実装形式において、類似度指標Ψ（ｍ，ｋ）は、以下の通り算出される。
ここで、分母の項はそれぞれ、ステレオ入力信号の第１（左）及び第２（右）の信号における信号エネルギである。この類似度指標は、Ｘ_１（ｍ，ｋ）及びＸ_２（ｍ，ｋ）に関連して対称である。従って、この類似度指標は、曖昧さを招き、それ自体で、信号がパニングされる方向（例えば、左又は右）を示すことができない。曖昧さを解決すべく、エネルギー差
が用いられてよい。インジケータは、パニング指標を得るべく、エネルギー差から導出され、
類似度指標Ψ（ｍ，ｋ）と組み合わせられる。

本実装形式において、パニング指標決定器７０４は、−１から１の適用可能範囲を有するパニング指標を提供する。ここで、−１は、第１の入力信号（左）に完全にパニングされる信号を示し、０は、中心にパニングされる信号に対応し、１は、第２の入力信号（右）に完全にパニングされる信号を示す。ステレオイメージ内で知覚される角度は、パニング指標によって特定される。

パニング指標修正器２０２は、上述されたように、受信されたパニング指標を修正してよい。一実装形式は、ユーザ入力インタフェース７０５を含む。これは、ステレオイメージ修正（例えば、マッピング関数曲率）の度合いを制御する、及び／又は、パニング修正のタイプを選択する（例えば、図３から５に示される曲線のファミリに対応するパニング修正技術の１つを選択する）パラメータを提供してよい。

パニング利得決定器６０２及び６０４は、上述されたように、パニング利得を生成してよい。これは、次に、上述されたように、修正ステレオイメージ（すなわち、再パニングされたステレオ信号）を有する出力ステレオ信号を生成する再パニング器６０６に供給されてよい。出力ステレオ信号は、周波数対時間ユニット７０６によって時間ドメインに変換され、従って、時間ドメイン出力ステレオ信号ｘ'_１（ｔ）及びｘ'_２（ｔ）を出力する。

装置７００の一実装形式において、時間ドメイン信号は、ブロックサイズ５１２又は１０２４、サンプリングレート４８ｋＨｚの高速フーリエ変換を用いて、ユニット７０２を介して周波数ドメインに変換されてよい。発明者らは、パニング指標修正器２０２によって用いられるパニング指標のマッピング関数に対して、多項式近似が多項式次数３に設定され、パニング利得決定器６０２及び６０４によって用いられるパニング利得の算出に対して２に設定された場合に、精度及び複雑性の低減において良好なトレードオフを見出している。再パニングパラメータｐ＝４及び多項式次数３に対して、多項式係数は、［ａ_３ ａ_２ ａ_１ ａ_０］＝［４．５２１４ −８．４３５０ ４．８３２８ ０．１７２４］であってよい。多項式関数は、次に、パニング指標修正器によって、Ψ'＝ａ_３・Ψ^３＋ａ_２・Ψ^２＋ａ_１・Ψ＋ａ_０として用いられてよい。

実施形態は、図７に示される全ての特徴を含んでよいが、再パニング器６０６のみを含んでもよい。例えば、ビットストリームは、パニング利得、修正されたパニング利得、及び周波数ドメイン入力ステレオ信号を含んでよく、これらの全ては、再パニング器６０６に供給されてよい。他の変形において、パニング指標は、ビットストリームに含まれてよく、従って、パニング指標決定器７０４は、必要ではないことがある。

図８は、実施形態に係るステレオ信号のステレオイメージを修正するためのオーディオ信号処理方法の図を示す。

段階８００は、パニング指標及びパニング利得を取得する段階を含む。取得されたパニング指標は、入力ステレオ信号のステレオ信号の時間周波数セグメントに対するパニング位置を特定し、取得されたパニング利得は、入力ステレオ信号の第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメントに対するパニング位置を特定する。当該指標及び利得は、上述されたように、ビットストリームから直接取得され、もしくは、入力ステレオ信号に基づいて算出されてよく、又は、これらの組み合わせであってよい。

段階８０２は、周波数帯域幅内にあるステレオ信号の時間周波数セグメントの取得されたパニング指標の少なくとも全てにマッピング関数を適用する段階を含む。段階８０４は、修正されたパニング指標に基づいて、第１のオーディオ信号及び第２のオーディオ信号の時間周波数信号セグメントに対して、修正されたパニング利得を決定する段階を含む。

段階８０６は、修正されたパニング利得と、時間及び周波数において修正されたパニング利得に対応する取得されたパニング利得との間の割合に従って、入力ステレオ信号を再パニングする段階を含む。すなわち、パニング利得は、例えば、これらが両方とも同じ時間周波数ビン又はセグメントに対する値を含む場合に、互いに対応する。

本発明の実施形態は、コンピュータシステム上で動作し、かつ、コンピュータシステムのようなプログラム可能な装置上で動作する場合に本発明に係る方法の段階を実行する、又は、本発明に係るデバイス又はシステムの機能を実行するようにプログラム可能な装置を有効化するためのコード部分を少なくとも含む、コンピュータプログラムで実装されてよい。

コンピュータプログラムは、特定のアプリケーションプログラム及び／又はオペレーティングシステムのような命令のリストである。コンピュータプログラムは、例えば、サブルーチン、関数、手順、オブジェクト方法、オブジェクト実装、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／動的負荷ライブラリ及び／又はコンピュータシステム上で実行するために設計された他の命令シーケンスの１つ又は複数を含んでよい。

コンピュータプログラムは、コンピュータ可読記憶媒体の内部に格納されてよく、又は、コンピュータ可読送信媒体を介してコンピュータシステムに送信されてよい。コンピュータプログラムの全て又はいくつかは、永久的に、取り外し可能に、又は遠隔的に情報処理システムに連結される一時的又は非一時的コンピュータ可読媒体に提供されてよい。コンピュータ可読媒体は、例えば、限定的ではなく、いくつか例を挙げると、任意の数の以下の媒体、すなわち、ディスク及びテープ記憶媒体を含む磁気記憶媒体、コンパクトディスク媒体（例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ等）及びデジタルビデオディスク記憶媒体のような光記憶媒体、フラッシュメモリ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、ＲＯＭのような半導体ベースのメモリユニットを含む不揮発性メモリ記憶媒体、強磁性デジタルメモリ、ＭＲＡＭ、レジスタ、バッファ又はキャッシュ、メインメモリ、ＲＡＭ等を含む揮発性記憶媒体、ならびにコンピュータネットワーク、ポイントツーポイント電気通信機器、及び搬送波送信媒体を含むデータ送信媒体を含んでよい。

コンピュータ処理は、典型的には、プログラム又はプログラムの一部、現在のプログラム値及び状態情報、ならびにプロセスの実行を管理するオペレーティングシステムによって用いられるリソースの実行又は動作を含む。オペレーティングシステム（ＯＳ）は、コンピュータリソースの共有を管理し、これらのリソースにアクセスするために用いられるインタフェースを有するプログラマを提供するソフトウェアである。オペレーティングシステムは、システムデータ及びユーザ入力を処理し、タスク及び内部システムリソースをユーザ及びシステムのプログラムに対するサービスとして割り当て及び管理することによって、応答する。

コンピュータシステムは、例えば、少なくとも１つの処理ユニット、関連付けられたメモリ及び多数の入力／出力（Ｉ／Ｏ）デバイスを含んでよい。コンピュータプログラムを実行する場合に、コンピュータシステムは、コンピュータプログラムに従って情報を処理し、Ｉ／Ｏデバイスを介して、その結果である出力情報を生成する。

本明細書で説明される接続は、例えば、中間デバイスを介して、それぞれのノード、ユニット又はデバイスから、又はこれらに対して、信号を転送するために適切な任意のタイプの接続であってよい。従って、異なるものとして示唆又は説明されない限り、接続は、例えば、直接接続であってよく、又は間接接続であってよい。接続は、単一の接続、複数の接続、単方向接続、又は双方向接続であるものを参照して、図示又は説明されてよい。しかしながら、異なる実施形態は、接続の実装を変化させてよい。例えば、双方向接続ではなく、別個の単方向接続が用いられてよく、逆もまた同様である。また、複数の接続は、複数の信号を連続的に、又は時間多重化の態様で転送する単一の接続と置換されてよい。同様に、複数の信号を伝送する単一の接続は、これらの信号のサブセットを伝送する様々な異なる接続に分離されてよい。従って、信号を転送するために、多数の選択肢が存在する。

当業者であれば、論理ブロック間の境界が例示に過ぎず、代替的な実施形態は、論理ブロック又は回路要素を併合してよく、又は、様々な論理ブロック又は回路要素に機能の代替的な分解を課してよいことを認識しよう。従って、本明細書に示されるアーキテクチャは例示に過ぎず、実際には、同じ機能を実現する多数の他のアーキテクチャが実装可能であることを理解されたい。

従って、同じ機能を実現するためのコンポーネントの任意の構成が、望ましい機能が実現されるように、効果的に「関連付けられ」ている。従って、特定の機能を実現するために組み合わせられた本明細書における任意の２つのコンポーネントは、アーキテクチャ又は中間コンポーネントに関わらず、望ましい機能が実現されるように、互いに「関連付けられ」るものと理解されてよい。同様に、このように関連付けられた任意の２つのコンポーネントは、望ましい機能を実現するように、互いに「動作可能に接続」又は「動作可能に連結」されたものと見られてもよい。

さらに、当業者であれば、上述されたオペレーションの間の境界が、例示に過ぎないことを認識しよう。複数のオペレーションは、単一のオペレーションに組み合わせられてよく、単一のオペレーションは、さらなるオペレーションに分散されてよく、オペレーションは、時間的に少なくとも部分的に重複して実行されてよい。さらに、代替的な実施形態は、特定のオペレーションの複数の例を含んでよく、オペレーションの順序は、様々な他の実施形態において変更されてよい。

また、例えば、これらの例又はその一部は、物理的回路、又は任意の適切なタイプのハードウェア記述言語のような、物理的回路に互換可能な論理表現のソフト又はコード表現として実装されてよい。

また、本発明は、プログラム固定ハードウェアで実装される物理的なデバイス又はユニットに限定されるものではなく、本願においてコンピュータシステムとして一般的に示される、メインフレーム、ミニコンピュータ、サーバ、ワークステーション、パーソナルコンピュータ、ノートパッド、パーソナルデジタルアシスタント、電子ゲーム、自動車用及び他の埋め込みシステム、携帯電話及び様々な他の無線デバイスのような、適切なプログラムコードに従って動作することによって望ましいデバイスの機能を実行可能なプログラム可能デバイス又はユニットに適用されてもよい。

しかしながら、他の修正、変形及び代替例も可能である。本明細書及び図面は、従って、限定的な意味ではなく、例示とみなされるべきである。

Claims (16)

1. 第１のオーディオ信号及び第２のオーディオ信号を含むステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置であって、
   周波数帯域幅内にあるステレオ信号の時間周波数セグメントの少なくとも全てのパニング指標にマッピング関数を適用し、これにより、修正されたパニング指標を提供するパニング指標修正器であって、前記少なくとも全てのパニング指標は、前記ステレオ信号の時間周波数セグメントに対するパニング位置を特定する、パニング指標修正器と、
   前記修正されたパニング指標に基づいて、前記第１のオーディオ信号及び前記第２のオーディオ信号の時間周波数信号セグメントに対して、修正されたパニング利得を決定する第１のパニング利得決定器と、
   前記修正されたパニング利得と、時間及び周波数において前記修正されたパニング利得に対応する前記第１のオーディオ信号及び前記第２のオーディオ信号のパニング利得との間の割合に従って、前記ステレオ信号を再パニングし、これにより、再パニングされたステレオ信号を提供する再パニング器と、
   を備えるオーディオ信号処理装置。
2. 前記パニング指標修正器は、前記少なくとも全てのパニング指標に、非線形マッピング関数を適用する、請求項１に記載のオーディオ信号処理装置。
3. 前記マッピング関数は、シグモイド関数に基づく、請求項１又は２に記載のオーディオ信号処理装置。
4. 前記マッピング関数は、
   として表され、又はこれに基づき、
   Ψ（ｍ，ｋ）は、パニング指標を示し、Ψ'（ｍ，ｋ）は、修正されたパニング指標を示し、ａは、マッピング関数曲率を制御する、請求項３に記載のオーディオ信号処理装置。
5. 前記パニング指標修正器は、前記少なくとも全てのパニング指標に、多項式マッピング関数を適用する、請求項１から４のいずれか１項に記載のオーディオ信号処理装置。
6. 前記再パニング器は、式
   に従って、前記ステレオ信号を再パニングするように構成され、
   Ｘ_１（ｍ，ｋ）は、前記第１のオーディオ信号の時間周波数信号セグメントを示し、
   Ｘ_２（ｍ，ｋ）は、前記第２のオーディオ信号の時間周波数信号セグメントを示し、
   Ｘ_１'（ｍ，ｋ）は、前記再パニングされたステレオ信号の再パニングされた第１のオーディオ信号の時間周波数信号セグメントを示し、
   Ｘ_２'（ｍ，ｋ）は、前記再パニングされたステレオ信号の再パニングされた第２のオーディオ信号の時間周波数信号セグメントを示し、
   ｇ_Ｌ（ｍ，ｋ）は、前記第１のオーディオ信号に対する時間周波数信号セグメントのパニング利得を示し、
   ｇ_Ｒ（ｍ，ｋ）は、前記第２のオーディオ信号に対する時間周波数信号セグメントのパニング利得を示し、
   ｇ'_Ｌ（ｍ，ｋ）は、前記第１のオーディオ信号に対する時間周波数信号セグメントの修正されたパニング利得を示し、
   ｇ'_Ｒ（ｍ，ｋ）は、前記第２のオーディオ信号に対する時間周波数信号セグメントの修正されたパニング利得を示す、
   請求項１から５のいずれか１項に記載のオーディオ信号処理装置。
7. 前記第１のパニング利得決定器は、式
   に基づいて、前記修正されたパニング利得を決定する、請求項１から６のいずれか１項に記載のオーディオ信号処理装置。
8. 前記パニング指標修正器は、少なくとも約１５００Ｈｚであるオーディオ信号に対する値を有するステレオ信号の時間周波数セグメントの全てのパニング指標に、前記マッピング関数を適用する、請求項１から６のいずれか１項に記載のオーディオ信号処理装置。
9. 前記パニング指標修正器は、前記ステレオ信号の時間周波数セグメントの全てのパニング指標に、前記マッピング関数を適用する、請求項１から７のいずれか１項に記載のオーディオ信号処理装置。
10. 前記パニング指標修正器は、さらに、前記マッピング関数の曲線を選択するためのパラメータを受信する、請求項１から９のいずれか１項に記載のオーディオ信号処理装置。
11. 時間及び周波数において対応する前記第１のオーディオ信号及び前記第２のオーディオ信号の時間周波数信号セグメント値の比較に基づいて、前記少なくとも全てのパニング指標を決定するパニング指標決定器、及び
    前記少なくとも全てのパニング指標に基づいて、前記第１のオーディオ信号及び前記第２のオーディオ信号の時間周波数信号セグメントに対して、パニング利得を決定する第２のパニング利得決定器
    の少なくとも１つをさらに備える、請求項１から１０のいずれか１項に記載のオーディオ信号処理装置。
12. 前記第１のパニング利得決定器及び前記第２のパニング利得決定器の少なくとも１つは、多項式関数を用いる、請求項１１に記載のオーディオ信号処理装置。
13. 前記ステレオ信号を、時間ドメインから周波数ドメインに変換する１つ又は複数の時間対周波数ユニット、及び
    前記再パニングされたステレオ信号を、前記周波数ドメインから前記時間ドメインに変換する１つ又は複数の周波数対時間ユニット
    の少なくとも１つをさらに備える、請求項１から１２のいずれか１項に記載のオーディオ信号処理装置。
14. 前記再パニングされたステレオ信号の第１のオーディオ信号と第２のオーディオ信号との間のクロストークをキャンセルするクロストークキャンセラをさらに備える、請求項１から１３のいずれか１項に記載のオーディオ信号処理装置。
15. 第１のオーディオ信号及び第２のオーディオ信号を含むステレオ信号のステレオイメージを修正するためのオーディオ信号処理方法であって、
    パニング指標及びパニング利得を取得する段階であって、前記取得されたパニング指標は、ステレオ信号の時間周波数セグメントに対するパニング位置を特定し、前記取得されたパニング利得は、前記第１のオーディオ信号及び前記第２のオーディオ信号の時間周波数信号セグメントに対するパニング位置を特定する、段階と、
    周波数帯域幅内にある前記ステレオ信号の時間周波数セグメントの前記取得されたパニング指標の少なくとも全てにマッピング関数を適用し、これにより、修正されたパニング指標を提供する段階と、
    前記修正されたパニング指標に基づいて、前記第１のオーディオ信号及び前記第２のオーディオ信号の前記時間周波数信号セグメントに対して、修正されたパニング利得を決定する段階と、
    前記修正されたパニング利得と、時間及び周波数において前記修正されたパニング利得に対応する前記取得されたパニング利得との間の割合に従って、前記ステレオ信号を再パニングする段階と、
    を備えるオーディオ信号処理方法。
16. コンピュータ上で実行された場合に、請求項１５に記載の方法を実行するためのプログラムコードを備えるコンピュータプログラム。