JP5185254B2

JP5185254B2 - Ｍｄｃｔ領域におけるオーディオ信号音量測定と改良

Info

Publication number: JP5185254B2
Application number: JP2009504218A
Authority: JP
Inventors: シーフェルト、アラン・ジェフリー; クロケット、ブレット・グラハム; スミサーズ、マイケル・ジョン
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2006-04-04
Filing date: 2007-03-30
Publication date: 2013-04-17
Anticipated expiration: 2027-03-30
Also published as: US8504181B2; JP2009532738A; CN101410892B; TWI417872B; WO2007120452A1; US20090304190A1; ATE441920T1; EP2002426A1; EP2002426B1; TW200746050A; CN101410892A; DE602007002291D1

Description

技術領域

本発明は、オーディオ信号処理に関する。特に本発明は、ＭＤＣＴ領域におけるオーディオ信号の音量の測定とオーディオ信号の音量の改良に関する。本発明は、方法だけではなく、付随するコンピュータプログラムと装置も含む。

［関連文献と参照による組込み］
本書で使用する「ドルビーデジタル」（「ドルビー」と「ドルビーデジタル」は、ドルビー・ラボラトリーズ・ライセンシング・コーポレーションの登録商標）は、「ＡＣ−３」としても知られているが、インターネット上でwww.atsc.orgで入手できるドキュメントＡ／５２Ａ「デジタル・オーディオ圧縮規格ＡＣ−３（Digital Audio Compression Standard (AC-3)）」アドバンスト・テレビジョン・システム協会（Advanced Television Systems Committee）２００１年８月２０日を含む種々の書物で説明されている。

本発明の特徴をよりよく理解するのに有用な感知 (心理オーディオ的音量）を測定し調整するあるテクニックは、アラン・ジェフリ・シーフェルト（Alan Jeffrey Seefeldt）らの２００４年１２月２３日に公開された国際特許出願WO 2004/111994 A2、発明の名称「オーディオ信号の感知音量を計算し調整する方法、装置およびコンピュータプログラム（Method, Apparatus and Computer Program for Calculating and Adjusting the 感知 Loudness of an Audio Signal）」とアラン・シーフェルトらの「感知音量の新しい客観的測定（A New Objective Measure of Perceived Loudness）」オーディオ・エンジニアリング協会会議論文（Audio Engineering Society Convention Paper）６２３６、サンフランシスコ、２００４年１０月２８日に紹介されている。前述のWO 2004/111994 A2出願と論文はその全てを、本書に参照して組込む。

本発明の特徴をよりよく理解するのに有用な感知 (心理オーディオ的音量）を測定し調整するある別のテクニックは、アラン・ジェフリ・シーフェルトの２００５年１０月２５日出願の特許協力条約S.N. PCT/US2005/038579、国際公開番号WO 2006/047600で公開された、発明の名称「オーディオ信号の感知音量及び／又は感知スペクトルバランスの計算と調整（Calculating and Adjusting the 感知 Loudness and/or the Perceived Spectral Balance of an Audio Signal）」に紹介されている。前述の出願はその全てを、本書に参照して組込む。

オーディオ信号の感知音量を客観的に測定するには多くの方法がある。方法例としては、A、B、C重み付けパワー測定に加え、ＩＳＯ５３２（１９７５年）の「音響−音量レベルの計算方法（Acoustics − Method for calculating loudness level）」などのような音量の心理オーディオ的モデルなどがある。重み付けパワー測定は、入力オーディオ信号を捉え、あまり感度よく感知できない周波数を低減する一方、より感度よく感知できる周波数を強調する既知のフィルタを適用し、所定の時間の長さにわたりフィルタされた信号のパワーを平均する。心理オーディオ的方法は、通常はより複雑で、ヒトの耳の作用をよりよくモデル化しようとする。信号を耳の周波数応答と感度によく似た複数の周波数帯域に分解し、信号強度の変化に伴い生ずる音量の非線形感知や、周波数および時間のマスキングのような心理オーディオ的現象を考慮してこれらの帯域を操作して積分する。全ての方法の目標は、オーディオ信号の主観的な印象とよく一致する数値的測定を導くことである。

多くの音量測定方法は、特に心理オーディオ的方法は、オーディオ信号のスペクトル解析を実施する。すなわち、オーディオ信号は、時間領域表現から周波数領域表現に変換される。これは一般的にそして最も効率的に、高速フーリエ変換（ＦＦＴ）として通常実行される離散フーリエ変換（ＤＦＴ）を用いて行なわれ、その特性、使用および制限はよく知られている。離散フーリエ変換の逆は、高速フーリエ逆変換（ＩＦＦＴ）として通常実行される離散フーリエ逆変換（ＩＤＦＴ）と呼ばれる。

フーリエ変換に似ている、もう一つの時間から周波数への変換は、修正離散コサイン変換（ＭＤＣＴ）として通常用いられる離散コサイン変換（ＤＣＴ）である。この変換は、信号のよりコンパクトなスペクトル表現を提供し、ドルビーデジタルやＭＰＥＧ２−ＡＡＣのような低ビットレートオーディオコーディングあるいは圧縮システムで、ＭＰＥＧ２ビデオやＪＰＥＧなどの画像圧縮システムでも同様に、広く使われている。オーディオ圧縮アルゴリズムでは、オーディオ信号は、重複時間のセグメントに分けられ、各セグメントのＭＤＣＴ変換はエンコーディングの間に量子化されビットストリームに圧縮される。デコーディングの間に、セグメントはそれぞれ解凍され、逆ＭＤＣＴ（ＩＭＤＣＴ）変換を通じて時間領域信号に再生される。同様に、画像圧縮アルゴリズムでは、画像が空間セグメントに分けられ、各セグメントについて量子化されたＤＣＴがビットストリームに圧縮される。

ＭＤＣＴ（および類似のＤＣＴ）の特性は、スペクトル解析と改良を実行するときにこの変換を使うと、困難を引き起こす。第１に、サインとコサインの直交成分の両方を含むＤＦＴと違って、ＭＤＣＴはコサイン成分だけを含む。逐次および重複ＭＤＣＴを使って実質的に安定状態の信号を解析すると、逐次ＭＤＣＴ値は変動し、よって信号の安定状態の特質を正確に表現しない。第２に、ＭＤＣＴは時間的エイリアシングを含み、逐次ＭＤＣＴスペクトル値が大幅に変更されると時間的エイリアシングは完全にはキャンセルされない。さらなる詳細を以下に示す。

ＭＤＣＴ領域信号を直接処理することが難しいために、ＭＤＣＴ信号は、ＦＦＴおよびＩＦＦＴを使って、または直接時間領域法にて、処理が実行される時間領域に普通は変換し戻される。周波数領域の処理の場合には、追加の順ＦＦＴおよび逆ＦＦＴは計算の複雑さを大いに増大し、これらの計算をしないでＭＤＣＴスペクトルを直接処理することが有益であろう。たとえば、ドルビーデジタルのようなＭＤＣＴに基くオーディオ信号をデコードするとき、音量測定とスペクトルの改良を実行し、逆ＭＤＣＴの前にＦＦＴやＩＦＦＴの必要なしにＭＤＣＴスペクトル値で音量を直接調整することは有益であろう。

多くの有益な音量の客観的測定は信号のパワースペクトルから計算され、パワースペクトルはＤＦＴから簡単に推定される。パワースペクトルの適切な推定はまた、ＭＤＣＴから計算されることも示される。ＭＤＣＴから生成した推定の正確さは、使用する平滑化時定数の関数であり、ヒトの音量感知の積分時間に見合う平滑化時定数を使用すると、ほとんどの音量測定用途に充分なだけ正確な推定を得る。測定に加え、ＭＤＣＴ領域でフィルタを用いてオーディオ信号の音量を改良したいかも知れない。一般的に、そのようなフィルタは処理されたオーディオ（音響）に人為的影響を生じるが、フィルタが周波数の全域で滑らかに変化するならば人為的影響は感知できる範囲では無視できることが示される。ここで提案の音量改良と関係するフィルタのタイプは、周波数全域で滑らかなものに限定され、したがってＭＤＣＴ領域で用いられる。

「ＭＤＣＴの特性」
長さＮの複素信号ｘの角振動数ωでの離散時間フーリエ変換（ＤＴＦＴ）は次式で与えられる。

実際には、ＤＴＦＴは０と２πの間で一定間隔のＮ個の周波数でサンプリングされる。このサンプリングによる変換は離散フーリエ変換（ＤＦＴ）として知られ、その演算に高速のアルゴリズム、高速フーリエ変換（ＦＦＴ）があるために、その使用は広く行なわれている。より具体的には、ビンｋでのＤＦＴは次式で与えられる。

ＤＴＦＴは２分の１のビンをずらしてサンプリングされてもよく、シフト離散フーリエ変換（ＳＤＦＴ）となる。

逆ＤＦＴ（ＩＤＦＴ）は次式で与えられ、

逆ＳＤＦＴ (ＩＳＤＦＴ) は次式で与えられる。

ＤＦＴもＳＤＦＴも次のように可逆であることが好ましい。
ｘ［ｎ］＝ｘ_ＩＤＦＴ［ｎ］＝ｘ_{ＩＳＤＦＴ}［ｎ］

実数信号ｘのＮ点修正離散コサイン変換（ＭＤＣＴ）は次式で与えられる。

ここで、

Ｎ点ＭＤＣＴは実際は、Ｎ／２の特異点だけを有し、冗長である。次のように表される。
Ｘ_ＭＤＣＴ［ｋ］＝−Ｘ_ＭＤＣＴ［Ｎ−ｋ−１］（７）

逆ＭＤＣＴ（ＩＭＤＣＴ）は次式で与えられる。

ＤＦＴやＳＤＦＴと異なり、ＭＤＣＴは完全には可逆、ｘ_{ＩＭＤＣＴ}［ｎ］≠ｘ［ｎ］ではない。代わりに、ｘ_{ＩＭＤＣＴ}［ｎ］はｘ［ｎ］の時間エイリアシングされたものである。

式（６）の操作の後、実数信号ｘのＭＤＣＴとＳＤＦＴの関係は、次式となる。

別の表現をすれば、ＭＤＣＴはＳＤＦＴの角度の関数であるコサインにより変調されたＳＤＦＴの振幅として表現される。

多くのオーディオ処理用途では、オーディオ信号ｘの逐次重複ウィンドウブロックのＤＦＴを計算するのは有益である。この重複変換を短時間離散フーリエ変換（ＳＴＤＦＴ）と呼ぶこともある。信号ｘが変換長さＮよりはるかに長いとすると、ビンｋとブロックｔでのＳＴＤＦＴは次式で与えられる。

ここで、ｗ_Ａ［ｎ］は、長さＮの解析ウィンドウであり、Ｍはブロックホップサイズである。短時間シフト離散フーリエ変換（ＳＴＳＤＦＴ）と短時間修正離散コサイン変換（ＳＴＭＤＣＴ）をＳＴＤＦＴに類似して定義することも出来る。これらの変換を、それぞれＸ_ＳＤＦＴ［ｋ，ｔ］、Ｘ_ＭＤＣＴ［ｋ，ｔ］と呼ぶこともある。ＤＦＴとＳＤＦＴとは共に完全に可逆であるので、ウィンドウとホップサイズが適切に選定されるとして、ＳＴＤＦＴとＳＴＳＤＦＴとは互いのブロックを反転して、次に重複して加算して反転するのが好ましい。ＭＤＣＴが可逆でなくても、ＳＴＭＤＣＴはＭ＝Ｎ／２で、サインウィンドウのように適当なウィンドウを選定することで、完全に可逆にすることが出来る。このような条件で、逐次反転ブロック間で式（９）で与えられるエイリアシングは、反転ブロックが重複され加えられると完全に除去される。この特性は、N点ＭＤＣＴがＮ／２の特異点を含む事実と一緒に、重複でＳＴＭＤＣＴを完全再構成クリティカルサンプリングフィルタバンクにする。比較によれば、ＳＴＤＦＴとＳＴＳＤＦＴは、同じホップサイズに対し係数２で過度にサンプルされる。結果として、ＳＴＭＤＣＴは感知オーディオコーディングで最も一般的に用いられる変換となる。

「パワースペクトル推定」
ＳＴＤＦＴとＳＴＳＤＦＴの一つの一般的な使用は、多くのブロックｔにわたりＸ_ＤＦＴ［ｋ，ｔ］あるいはＸ_ＳＤＦＴ［ｋ，ｔ］の振幅の二乗を平均することで信号のパワースペクトルを推定することである。長さＴのブロックの移動平均を計算して以下のように時間的に変動する推定を求めてもよい。

これらのパワースペクトルの推定は、以下に説明するように、種々の客観的信号の音量測定で特に有益である。ある仮定にてＸ_ＭＤＣＴ［ｋ，ｔ］からＰ_ＳＤＦＴ［ｋ，ｔ］が推参されることをここで示す。ます、次式を定義する。

式（１０）の関係を用いると、次式が得られる。

|Ｘ_ＳＤＦＴ［ｋ，ｔ］|と

がブロックｔにわたり相対的に独立して共変すると、ほとんどのオーディオ信号で真となる仮定を以下のように得られる。

合計でＴブロックにわたり０と２πの間で

が一様に分散するとさらに仮定すると、Ｔが比較的大きければ、一般的にオーディオに対し真となる別の仮定を以下のように得られる。

なぜならば、一様に分布する位相角で二乗されたコサインの期待値は２分の１だからである。したがって、ＳＴＭＤＣＴから推定されたパワースペクトルはＳＴＳＤＦＴから推定された値の約半分に等しいことが分かる。

移動平均を用いてパワースペクトルを推定するよりも、次式のように単ポール平滑化フィルタを代わりに用いてもよい。

ここで、変換ブロックの単位で測定される平滑化フィルタの２分の１減衰時間は次式で与えられる。

この場合、Tが比較的大きいときには、Ｐ_ＭＤＣＴ［ｋ，ｔ］≒（１／２）Ｐ_ＳＤＦＴ［ｋ，ｔ］を同様に示すことが出来る。

実用的な実施では、ＭＤＣＴからパワースペクトルの充分に正確な推定を得るのに、移動平均あるいは単ポールの場合に、どのくらいＴが大きければいいのかを判断する。このため、与えられた値のＴに対するＰ_ＳＤＦＴ［ｋ，ｔ］と２Ｐ_ＭＤＣＴ［ｋ，ｔ］間の誤差を見る。音量のように、感知に基く測定や改良を含む実施では、個々の変換ビンｋの全てのこの誤差を調べるのは、実用的に有益ではない。代わりに、クリティカル帯域内の誤差を調べることがより大きな意義があり、特定の場所での内耳基底膜の応答に類似する。こうするために、パワースペクトルにクリティカル帯域フィルタを乗じて周波数にわたり積分することでクリティカル帯域パワースペクトルを計算する。

ここで、Ｃ_ｂ［ｋ］は、変換ビンｋに対応する周波数でサンプリングされたクリティカル帯域ｂに対するフィルタの応答を表す。図１は、ムアとグラスバーグ（B. C. J. Moore、 B. Glasberg、T. Baer「閾値、音量、部分音量の予想のためのモデル（A Model for the Prediction of Thresholds, Loudness, and Partial Loudness）」オーディオ工学協会誌（Journal of the Audio Engineering Society）４５巻４号、１９９７年４月２２４〜２４０頁）に定義されたように、４０帯域が等価直角帯域幅（Equivalent Rectangular Bandwidth）（ＥＲＢ）スケールで均等な間隔とされたクリティカル帯域フィルタの応答のプロットを示す。各フィルタ形状は、ムアとグラスバーグが言うように、丸み付き指数関数で説明され、帯域はＥＲＢの間隔を用いて分布している。

ここで、パワースペクトルを計算する移動平均と単ポール技法の双方で種々の値のＴに対し、

と

との誤差を調べる。図２ａは、移動平均の場合のこの誤差を表す。特に、１０秒の音楽のセグメントに対する４０のクリティカル帯域のそれぞれに対するｄＢでの平均完全誤差（ＡＡＥ）は、種々の平均ウィンドウ長さＴに対して表される。オーディオは４４１００Ｈｚの速さでサンプリングされ、変換サイズは１０２４サンプルに設定され、ホップサイズは５１２サンプルに設定された。プロットは、１秒から１５ミリ秒の範囲のＴの値を示す。各帯域に対し、Ｔが大きくなると誤差が減少し、ＭＤＣＴパワースペクトルの正確さはかなり大きなＴに依存することがわかる。また、Ｔの各値に対し、誤差はクリティカル帯域数が増えると減少する傾向にある。このことは、中心周波数を大きくするとクリティカル帯域が広がるという事実に因る。結果として、帯域でパワーを推定するのにより多くのビンｋが一緒にまとめられ、それにより各ビンからの誤差が平均化される。参考点として、０．５ｄＢ未満のＡＡＥが２５０ミリ秒以上の移動平均ウィンドウ長さの全帯域で得られることがわかる。０．５ｄＢの差は、それ以下ではヒトが信頼性を持ってレベルの差を区別できなくなる閾値にほぼ等しい。

図２ｂは同じプロットを示すが、単ポールスムーザを用いて計算された

と

とに関するものである。移動平均の場合の傾向と同じＡＡＥの傾向が見られるが、この場合の誤差は一様に小さくなる。これは、単ポールスムーザに関係する平均化ウィンドウが指数的減衰について無限だからである。いずれの帯域でも０．５ｄＢ未満のＡＡＥは６０ミリ秒以上の減衰時間Ｔで得られることがわかる。

音量測定と改良を含む実施では、パワースペクトル推定を計算するのに用いられる時定数は、ヒトの音量感知の積分時間より速い必要はない。ワトソン（Watson）とゲンゲル（Gengel）はこの積分時間が周波数を大きくすると減少することを示す実験を行なった。低周波数（１２５〜２００Ｈｚあるいは４〜６ＥＲＢ）では１５０〜１７５ミリ秒の範囲内で、高周波数（３０００〜４０００Ｈｚあるいは２５〜２７ＥＲＢ）では４０〜６０ミリ秒の範囲内である。（チャールスＳ．ワトソン (Charles S. Watson）、ロイＷ．ゲンゲル（Roy W. Gengel）「聴覚感度に関する信号期間と信号周波数（Signal Duration and Signal Frequency in Relation to Auditory Sensitivity）アメリカ音響学会誌（Journal of the Acoustical Society of America）４６巻４号（第２部）１９６９年９８９〜９９７頁）したがって、平滑化時定数が周波数に従って変化するパワースペクトル推定を有利に計算できる。図２ｂをよく観ると、そのような周波数で変化する時定数を利用して、各クリティカル帯域内で小さな平均誤差（０．２５ｄＢ未満）を示すＭＤＣＴからパワースペクトル推定を生成することが示される。

「フィルタリング」
もう一つのＳＴＤＦＴの一般的な使用は、オーディオ信号の時間的に変化するフィルタリングを効率よく行うことである。これは、ＳＴＤＦＴの各ブロックに所望のフィルタの周波数応答を乗じることでなされ、フィルタされたＳＴＤＦＴを生ずる。
Ｙ_ＤＦＴ［ｋ，ｔ］＝Ｈ［ｋ，ｔ］Ｘ_ＤＦＴ［ｋ，ｔ］（１６）

Ｙ_ＤＦＴ［ｋ，ｔ］の各ブロックのウィンドウで区切られたＩＤＦＴは、Ｈ［ｋ，ｔ］のＩＤＦＴで環状に畳み込まれた信号ｘの対応するウィンドウで区切られたセグメントに等しく、合成ウィンドウｗ_Ｓ［ｎ］を乗じられる。

ここで、演算子（（＊））_Ｎは、モジュロＮを示す。そして、フィルタされた時間領域信号ｙを、ｙ_ＩＤＦＴ［ｎ，ｔ］の重複加算合成により生成する。式（１５）のｈ_ＩＤＦＴ［ｎ，ｔ］がｎ＞Ｐ（ここで、Ｐ＜Ｎ）に対しゼロでｗ_Ａ［ｎ］がｎ＞Ｎ−Ｐに対しゼロであると、式（１７）の環状畳み込み合計は通常の畳み込みと等価になり、フィルタされたオーディオ信号ｙは人為的影響なしで音を出す。しかし、ゼロのつけ足し要求が満たされないとしても、環状畳み込みによる時間領域エイリアシングの結果としての効果は、十分にテーパされた解析（tapered analysis）および合成ウィンドウが用いられるならば通常聞き取れない。たとえば、解析と合成の双方に対しサインウィンドウで、通常十分である。

ＳＴＭＤＣＴを用いて類似のフィルタ操作が行われる。
Ｙ_ＭＤＣＴ［ｋ，ｔ］＝Ｈ［ｋ，ｔ］Ｘ_ＭＤＣＴ［ｋ，ｔ］（１８）

しかしこの場合、スペクトル領域での乗算は、時間領域での環状畳み込みと等価ではなく、可聴の人為的影響が容易に導入される。このような人為的影響の原因を理解するために、ＳＴＤＦＴおよびＳＴＭＤＣＴにフォワード変換、フィルタ応答での乗算、逆変換および重複加算の操作を、一連の行列の乗算として定式化することは有用である。ｙ_ＩＤＦＴ［ｎ，ｔ］，ｎ＝０，・・・，Ｎ−１をＮ×１ベクトル

およびｘ［ｎ＋Ｍｔ］，ｎ＝０，・・・，Ｎ−１をＮ×１ベクトルｘ^ｔと表すと、次式のように表せる。

ここで、
Ｗ_Ａ＝対角成分がｗ_Ａ［ｎ］で、他はゼロのＮ×Ｎ行列
Ａ_ＤＦＴ＝Ｎ×ＮのＤＦＴ行列
Ｈ^ｔ＝対角成分がＨ［ｋ，ｔ］で、他はゼロのＮ×Ｎ行列
Ｗ_Ｓ＝対角成分がｗ_Ｓ［ｎ］で、他はゼロのＮ×Ｎ行列

ホップサイズをＭ＝Ｎ／２に設定して、逐次ブロックの２番目の半分と１番目の半分とを加算し、最終信号ｙのＮ／２点を生成する。このことは、行列の乗算を使って以下のように表される。

ここで、
Ｉ＝（Ｎ／２×Ｎ／２）の恒等行列
０＝（Ｎ／２×Ｎ／２）のゼロ行列

ＭＤＣＴ領域でのフィルタ乗算と類似の行列式を、次のように表す。

ここで、
Ａ_ＳＤＦＴ＝Ｎ×ＮのＳＤＦＴ行列
Ｉ＝Ｎ×Ｎの恒等行列
Ｄ＝式（９）における時間エイリアシングに対応するＮ×Ｎ時間エイリアシング行列

この表現は、以下の関係を通じて表現されるＭＤＣＴとＳＤＦＴの付加的関係を利用していることに注意を要する。
Ａ_ＭＤＣＴ＝Ａ_ＳＤＦＴ（Ｉ＋Ｄ）（２２）
ここで、Ｄは、左上の４分の１が−１で、左下の４分の１の対角成分以外が１のＮ×Ｎ行列である。この行列は、式（９）で示される時間エイリアシングを説明する。重複加算を組み込んだ行列

は、

と類似して定義される。

ここで、ＭＤＣＴ領域でのフィルタリングから生ずる人為的影響を理解するために、特定のフィルタＨ［ｋ，ｔ］に対し行列

を調べてもよい。Ｎ＝５１２で、ブロックｔにわたって一定で、図３ａに示すようなレンガ壁ローパスフィルタの形を取る、フィルタＨ［ｋ，ｔ］を考える。対応するインパルス応答ｈ_ＩＤＦＴ［ｎ，ｔ］は図１ｂに示される。

解析とサインウィンドウとして設定された合成ウィンドウとの双方で、図４ａと図４ｂとは図１ａに示すＨ［ｋ，ｔ］に対応する行列

と

とのグレースケール画像を示す。これらの画像では、ｘ軸とｙ軸はそれぞれ行列の列と行とを表し、グレーの強さは画像の右に説明されたスケールに従った、特定の行／列の位置での行列の値を表す。行列

は、行列

の下半分と上半分とを重複加算することで形成される。行列

の各行は、信号ｘで畳み込まれたインパルス応答として観察され、フィルタされた信号ｙの単一サンプルを生成する。理想的には、各行は、行列の対角成分に集中するようにシフトされたｈ_ＩＤＦＴ［ｎ，ｔ］と大略等しい。図４ｂの目視観察によれば、この場合にそうであることが分かる。

図５ａと図５ｂは、同じフィルタＨ［ｋ，ｔ］に対する行列

と

のグレースケール画像を表す。

で、インパルス応答ｈ_ＩＤＦＴ［ｎ，ｔ］は、式（１９）のエイリアシング行列Ｄに対応する上部および下部非対角成分に加え主対角成分に沿って折り返されることが分かる。結果として、主対角成分での応答とエイリアシング対角成分の応答との加算から干渉縞が形成される。

の上半分と下半分が加算され、

を生成し、エイリアシング対角成分からの主な太い部分は消去されるが、干渉縞は残る。したがって、

の行は行列の対角成分に沿って折り返される同じインパルス応答を表さない。代わりに、インパルス応答は、迅速に時間的に変化する態様でサンプル毎に変化し、可聴な人為的影響をフィルタされた信号ｙに与える。

ここで、図６ａに示すフィルタＨ［ｋ，ｔ］を考える。これは図１ａと同じローパスフィルタであるが、遷移帯域が大幅に広がっている。対応するインパルス応答ｈ_ＩＤＦＴ［ｎ，ｔ］は、図６ｂに示され、図３ｂの応答より時間的にはるかにずっとコンパクトになっていることがわかる。このことは、周波数全体でより滑らかに変化する周波数応答は、時間的によりコンパクトなインパルス応答を有するという一般ルールを反映する。

図７ａと図７ｂは、この滑らかな周波数応答に対応する行列

と

とを示す。これらの行列は、図４ａと図４ｂに示す行列と同じ特性を示す。

図８ａと図８ｂは、同じ滑らかな周波数応答の行列

と

とを示す。インパルス応答ｈ_ＩＤＦＴ［ｎ，ｔ］が時間的に非常にコンパクトであるので、行列

は、干渉縞を示さない。ゼロより遥かに大きなｈ_ＩＤＦＴ［ｎ，ｔ］の部分は、主対角成分あるいはエイリアシング対角成分から離れた位置には生じない。行列

は、エイリアシング対角成分の消去が僅かに完全には至らない点を除いて、

とほとんど一致し、結果として、フィルタされた信号ｙは顕著な可聴の人為的影響からは解放されている。

ＭＤＣＴ領域でのフィルタリングは、一般的に、感知される人為的影響を導入することが示されている。しかし、フィルタ応答が周波数全体で滑らかに変化するならば、人為的影響は無視できるようになる。多くのオーディオ用途では、周波数にわたって急に変化するフィルタを必要とする。しかし、典型的には、これらは感知改良のため以外の目的で信号を変化する用途である。たとえば、サンプルレート変換は、レンガ壁ローパスフィルタを必要とする。所望の感知できる変化をさせる目的のフィルタ操作は一般的に周波数にわたって急に変化する応答を有するフィルタを必要としない。結果として、そのようなフィルタ操作は客観的な感知できる人為的影響を導入することなくＭＤＣＴ領域で利用される。特に、音量改良に利用される周波数応答のタイプは、以下に説明されるように、周波数にわたり滑らかでなければならず、よって、ＭＤＣＴ領域で有利に利用される。

本発明の特徴は、ＭＤＣＴ領域へ変換されたオーディオ信号の感知音量の測定を提供する。本発明のさらなる特徴は、ＭＤＣＴ領域に存在するオーディオ信号の感知音量の調整を提供する。

「ＭＤＣＴ領域での音量測定」
上記のように、ＳＴＭＤＣＴの特性により、オーディオ信号のＳＴＭＤＣＴ表現を直接用いて、音量測定が可能となる。第１に、ＳＴＭＤＣＴから推定されたパワースペクトルはＳＴＳＤＦＴから推定されたパワースペクトルの約半分に等しい。第２に、フィルタのインパルス応答が時間的にコンパクトならばＳＴＭＤＣＴオーディオ信号のフィルタリングを実施できる。

したがって、ＳＴＳＤＦＴとＳＴＤＦＴを用いてオーディオの音量を測定するのに使用される技法は、ＳＴＭＤＣＴに基づくオーディオ信号でも用いることができる。さらに、多くのＳＴＤＦＴの方法が、時間領域の方法に相当する周波数領域の方法なので、多くの時間領域の方法が同等な周波数領域のＳＴＭＤＣＴの方法を有するということになる。

図９は、本発明の基本的特徴に従った音量測定器あるいは測定方法のブロック図を示す。連続的なＳＴＭＤＣＴスペクトル（９０１）からなるオーディオ信号は、時間サンプルの重複したブロックを示し、音量測定装置あるいはプロセス（「音量測定」）９０２へ送られる。そのアウトプットは音量値９０３である。

「音量測定９０２」
音量測定９０２は、重み付けパワー測定や心理オーディオに基づく測定などのいくつかの音量測定装置あるいはプロセスの１つを示す。以下の段落では、重み付けパワー測定について記載する。

図１０ａと図１０ｂは、オーディオ信号の音量を客観的に測定する２つの一般的な技法のブロック図を示す。これらは、図９に示す音量測定９０２の機能についての異なった変形を表す。

図１０ａは、音量測定装置で一般的に用いられる重み付けパワー測定技法の構成の概略を示す。オーディオ信号１００１はあまり感知されるのに敏感ではない周波数を重視せずより感知されるのに敏感な周波数を強調するようになされた重みフィルタ１００２を通過する。フィルタされた信号１００３のパワー１００５が（パワー１００４で）計算され、所定の時間長さで（平均１００６で）平均化され、単一の音量値１００７を生成する。多くの異なった標準的な重みフィルタがあり、図１１に示される。実用的には、このプロセスの改良したものが使われることが多く、たとえば、静寂の時間は平均に含まれないようになされる。

音量を測定するのに、心理オーディオに基づく技法もよく使われる。図１０ｂはそのような技法の一般化したブロック図を示す。オーディオ信号１００１は、外耳と中耳の周波数で変化する強度応答を表す透過フィルタ１０１２によりフィルタされる。フィルタされた信号１０１３は次に、（聴覚フィルタバンク１０１４で）聴覚クリティカル帯域と同等か、より狭い周波数帯域に分けられる。次に、各帯域は、その帯域内でヒトの耳により経験される刺激あるいはエキサイテーションの合計を表すエキサイテーション信号１０１７へ（エキサイテーション１０１６で）変換される。次に感知音量あるいは各帯域に対する特定の音量が、刺激から（特定音量１０１８で）計算され、すべての帯域にわたる特定の音量が（合計１０２０で）合計され、音量の単一測定１００７を生成する。合計のプロセスでは、たとえば周波数マスキングなど、種々の感知の影響を考慮する。この感知的方法の実用的実施では、透過フィルタと聴覚フィルタバンクに大きな計算リソースが必要である。

本発明の特徴により、そのような一般的な技法を改良して、既にＳＴＭＤＣＴ領域にある信号の音量を測定する。

本発明の特徴により、図１２ａは図１０ａ音量測定装置あるいはプロセスの改良版の例を示す。この例では、重みフィルタが、各帯域のＳＴＭＤＣＴ値を増加あるいは減少させることにより周波数領域で利用される。そして、ＳＴＭＤＣＴ信号のパワーは同等の時間領域またはＳＴＤＦＴ信号のパワーの約半分であることを考慮し、周波数重み付けＳＴＭＤＣＴのパワーが１２０４で計算される。次にパワー信号１２０５は時間全体で平均化され、アウトプットは客観的音量値９０３とされる。

本発明の特徴により、図１２ｂは図１０ｂの音量測定装置あるいはプロセスの改良版の例を示す。この例では、改良透過フィルタ１２１２が、各帯域のＳＴＭＤＣＴ値を増加あるいは減少させることにより周波数領域で直接利用される。改良聴覚フィルタバンク１２１４はインプットとして線形周波数帯域間隔ＳＴＭＤＣＴスペクトルを受け入れ、これらの帯域をクリティカル帯域間隔フィルタバンクアウトプット１０１５に分割しあるいは組合せる。改良聴覚フィルタバンクもまた、ＳＴＭＤＣＴ信号のパワーは同等の時間領域またはＳＴＤＦＴ信号のパワーの約半分であることを考慮する。次に各帯域は、帯域内でヒトの耳が体験する刺激あるいはエキサイテーションの総計を表すエキサイテーション信号１０１７へ（エキサイテーション１０１６で）変換される。次に、感知音量または各帯域に対する特定の音量はエキサイテーション１０１７から（特定音量１０１８で）計算され、全帯域にわたる特定の音量は（合計１０２０で）合計され、音量の単一の測定値９０３を生成する。

「重み付けパワー音量測定の実施の詳細」
前述のように、ＳＴＭＤＣＴを表すＸ_ＭＤＣＴ［ｋ，ｔ］は、オーディオ信号ｘであり、ここで、ｋはビンインデックスであり、ｔはブロックインデックスである。重み付けパワー測定を計算するのに、ＳＴＭＤＣＴ値は初め、図１１に示すように適切な重み曲線（Ａ、Ｂ、Ｃ）を用いてゲイン調整されあるいは重み付けされる。例としてＡ重みを用いると、離散周波数ｆ_{ｄｉｓｃｒｅｔｅ}に対してＡ重みゲイン値を計算して離散Ａ重み周波数値が得られ、ここで

で

であり、Ｆ_Ｓは１秒当たりのサンプル数単位でのサンプル周波数である。

各ＳＴＭＤＣＴブロックｔに対する重み付けパワーは、それぞれ式（１３ａ）と式（１４ｃ）で与えられる重みの値とＳＴＭＤＣＴパワースペクトル推定の２倍の積の二乗の周波数ビンｋにわたっての合計として計算される。

次に、重み付けパワーは、次式のようにｄＢの単位に変換される。
Ｌ^Ａ［ｔ］＝１０・ｌｏｇ_１０（Ｐ^Ａ［ｔ］）（２６）

同様に、ＢとＣでの重み付けも重みなし計算も実行される。重みなしの場合、重みの値は１．０に設定される。

「心理オーディオ的音量測定の実施の詳細」
また、心理オーディオに基づく音量測定を用いて、ＳＴＭＤＣＴオーディオ信号の音量を測定する。

シーフェルトらの前記のWO2004/111994 A2 出願は、とりわけ、心理オーディオ的モデルに基づく感知音量の客観的測定を開示する。ＳＴＭＤＣＴ係数９０１から式（１３ａ）と式（１４ｃ）を用いて導いたパワースペクトル値Ｐ_ＭＤＣＴ［ｋｔ］は、他の同様な心理オーディオ的測定と同様に、オリジナルのＰＣＭオーディオよりも、開示された装置やプロセスへのインプットとして役立つ。そのようなシステムは、図１０ｂの例に示される。

前記のＰＣＴ出願からの用語と符号を取り入れると、時間ブロックｔの間のクリティカル帯域ｂにおける内耳の基底膜でのエネルギ分布を近似するエキサイテーション信号Ｅ［ｂ，ｔ］は、ＳＴＭＤＣＴパワースペクトル値から以下のように概算される。

ここで、Ｔ［ｋ］は透過フィルタの周波数応答を表し、Ｃ_ｂ［ｋ］はクリティカル帯域ｂに対応する位置での基底膜の周波数応答を表し、両応答は、ビンｋを変換したのに対応する周波数でサンプリングされる。フィルタＣ_ｂ［ｋ］は、図１で表したもののような形をとる。

等音量の曲線を使って、各帯域でのエキサイテーションを、１ｋＨｚで同じ音量を生ずるエキサイテーションレベルに変換する。次に、周波数と時間にわたって分散する感知音量の測定である、特定音量は、圧縮非線形を使って、変換されたエキサイテーションＥ_１ｋＨｚ［ｂ，ｔ］から計算される。

ここで、ＴＱ_１ｋＨｚは１ｋＨｚで静寂な閾値であり、定数Ｇ、αは、音量の増大を説明する心理オーディオ的実験から生成したデータに釣り合うように選定される。最後に、単位ソーンで表される合計音量Ｌを特定の音量を帯域中で加算して計算する。

オーディオ信号を調整する目的で、オーディオ信号に乗じられると、これまで説明した心理オーディオ的技法で測定したある基準音量Ｌ_ＲＥＦに調整したオーディオの音量を等しくするマッチングゲインＧ_{Ｍａｔｃｈ}［ｔ］を計算しようとする。心理オーディオ的測定は、特定音量の計算に非線形性を含むので、Ｇ_{Ｍａｔｃｈ}［ｔ］の閉形式解は存在しない。その代わり、前記のＰＣＴ出願で説明した繰り返し法を用いてもよく、マッチングゲインの二乗が調整され、対応する合計音量Ｌが基準音量Ｌ_ＲＥＦの許容範囲内になるまで全エキサイテーションＥ［ｂ，ｔ］を乗じられる。次に、オーディオの音量は、基準に関してｄＢで以下のように表現される。

「音量測定に基づくＳＴＭＤＣＴの実施」
本発明の主たる長所の１つは、オーディオをＰＣＭに完全にデコードする必要なく、低ビットレートのコード化オーディオ（ＭＤＣＴ領域で表される）の音量の測定と改良ができることである。デコードプロセスには、ビット割り当てや逆変換などの高価なプロセス工程が含まれる。デコード工程のいくつかを避けることで、プロセスが必要とする間接的な計算を減少できる。この方法は、音量測定が所望されるがデコードされたオーディオは必要ないときに有益である。実施には、たとえばスミサーズ（Smithers）らの２００６年１月５日公開の米国特許出願2006/0002572 Al、発明の名称「オーディオ情報の再生音量及びダイナミックレンジに影響するメタデータの修正方法（Method for correcting metadata affecting the playback loudness and dynamic range of audio information）」に概説されているような音量ベリフィケーション・改良ツールを含み、しばしば、放送用記録および送信チェインで音量測定と修正が行われ、そこではデコードされたオーディオへのアクセスは必要ない。この発明により提供されるプロセス省力も、実時間で送信される多量の低ビットレートの圧縮オーディオ信号の音量測定とメタデータ修正（たとえば、ドルビーデジタルダイアルノームメタデーターパラメータを正しい値に変える）を実行するのに役立つ。しばしば多くの低ビットレートコード化オーディオ信号は、ＭＰＥＧトランスポートストリームで多重送信されトランスポートされる。効率的な音量測定技法の存在が、音量測定を実行するのに圧縮オーディオ信号をＰＣＭへ完全にデコードすることが必要であることに比べ、大量の圧縮オーディオ信号での音量測定を可能にする。

図１３は、本発明の特徴を使わないで音量を測定する方法を示す。オーディオの（ＰＣＭへの）完全なデコードが行われ、オーディオの音量は既知の技法で測定される。より詳細には、低ビットレートコード化オーディオデータあるいは情報１３０１がまずデコーディング装置あるいはプロセス（「デコード」）１３０２で非圧縮のオーディオ信号１３０３へデコードされる。次にこの信号は音量測定装置あるいはプロセス（「音量測定」）へ送られ、結果としての音量値が１３０５としてアウトプットされる。

図１４は、低ビットレートコード化オーディオ信号のデコードプロセス１３０２の例を示す。特に、ドルビーデジタルデコーダおよびドルビーＥデコーダの双方に共通な構造を示す。コード化オーディオデータ１３０１のフレームは、装置あるいはプロセス１４０２にて指数データ１４０３、仮数データ１４０４およびその他種々のビット割り当て情報１４０７へ解凍される。指数データ１４０３は、装置あるいはプロセス１４０５で対数パワースペクトル１４０６に変換され、この対数パワースペクトルをビット割り当て装置あるいはプロセス１４０８で用いて信号１４０９を計算し、信号１４０９はビット単位で各量子化仮数の長さである。仮数１４１１は次に装置あるいはプロセス１４１０で解凍あるいは逆量子化され、指数１４０９と組み合わされ、逆フィルタバンク装置あるいはプロセス１４１２で時間領域に変換し戻される。逆フィルタバンクは、処理中の逆フィルタバンクの結果の部分を（時間で）前の逆フィルタバンクの結果と重複させ加算して、デコードされたオーディオ信号１３０３を生成する。実際のデコーダの実施では、ビット割り当て、逆量子化仮数および逆フィルタバンクプロセスを実行するには、大きなコンピュータリソースが必要である。デコードプロセスについてのさらなる詳細は、前に引用したドキュメントＡ／５２にある。

図１５は、本発明の特徴の簡単なブロック図を示す。この例では、コード化オーディオ信号１３０１が装置あるいはプロセス１５０２で部分的にデコードされてＭＤＣＴ係数を回収し、部分的にデコードされた情報を用いて装置あるいはプロセス９０２で音量を測定する。どのように部分デコードが実行されるかによるが、結果としての音量測定９０３は、完全にデコードしたオーディオ信号１３０３から計算した音量測定１３０５と非常に類似するが、正確に同じではない。しかし、この測定はオーディオ信号の音量の使える推定を提供するのに十分なだけ近い。

図１６は、本発明のおよび図１５の例に示された特徴を具体化する部分デコード装置あるいはプロセスの例を示す。この例では、逆ＳＴＭＤＣＴは実行されず、ＳＴＭＤＣＴ信号１３０３が音量測定装置あるいはプロセスで使われるようにアウトプットされる。

本発明の特徴によると、ＳＴＭＤＣＴ領域の部分的デコードは、デコードがフィルタバンクプロセスを必要としないので、大きな計算省力となる。

感知コーダは、オーディオ信号の特定の特徴に関連して、ブロックサイズとも呼ばれる重複時間セグメントの長さを改変するようになされるのが普通である。たとえば、ドルビーデジタルは、主に安定したオーディオ信号用の５１２サンプルの長いブロックとより過渡的なオーディオ信号用の２５６サンプルの短いブロックとの２つのブロックサイズを用いる。結果は、周波数帯域の数とＳＴＭＤＣＴ値の対応する数はブロック毎に変化することになる。ブロックサイズが５１２サンプルでは２５６帯域あり、ブロックサイズが２５６サンプルでは１２８帯域ある。

図１３と図１４の例が変化するブロックサイズを取り扱う多くの方法があり、各方法で類似の音量測定の結果となる。たとえば、逆量子化プロセスを変更して、複数の小ブロックを大ブロックに組合せあるいは平均化し、少数の帯域からのパワーを多数の帯域中に広げることで、一定のブロックレートで一定の数の帯域を常にアウトプットする。あるいは、音量測定方法が、変化するブロックサイズを許容し、たとえば時定数を調整することで、フィルタリング、エキサイテーション、特定音量、よって平均化および加算プロセスを調整する。

ドルビーデジタルとドルビーＥストリームの音量を測定する本発明の代替は、より効率的であるが、僅かに正確性が下がる。この代替によれば、ビット割り当てと逆量子化仮数は実行されず、ＳＴＭＤＣＴ指数データ１４０３だけを使ってＭＤＣＴ値を再生する。指数はビットストリームから読まれ、結果としての周波数スペクトルは音量測定装置あるいはプロセスに渡される。このことにより、ビット割り当て、仮数逆量子化および逆変換の計算コストを回避できるが、全ＳＴＭＤＣＴ値を用いることと比較すると音量測定の正確性が僅かに下がるという不利益がある。

標準の音量オーディオテスト材料を用いて行われた実験では、部分的にデコードされたＳＴＭＤＣＴデータだけを用いて計算した心理オーディオ的音量値は、オリジナルのＰＣＭオーディオデータで同じ心理オーディオ的測定を用いて計算した値ととても近いことが示された。３２個のオーディオテストピースのテストセットで、ＰＣＭを用いて計算したＬ_ｄＢと量子化ドルビーデジタル指数の平均絶対差は、０．５４ｄＢの最大絶対差でわずか０．０９３ｄＢであった。このような値は、十分に実際的音量測定の正確性の範囲内である。

「他の感知オーディオコード」
ＭＰＥＧ２−ＡＡＣを用いてコード化されたオーディオ信号もＳＴＭＤＣＴ係数に部分的にデコードされ、結果は客観的音量測定装置あるいはプロセスに渡される。ＭＰＥＧ２−ＡＡＣコード化オーディオは、主としてスケールファクタと量子化変換係数とからなる。スケールファクタはまず解凍され、量子化変換係数を解凍するのに使われる。スケールファクタも量子化変換係数もそれ自身ではオーディオ信号の粗い描写を推論するのに十分な情報を含んでいないので、両方を解凍し、組合せ、結果としてのスペクトルを音量測定装置あるいはプロセスに渡す。ドルビーデジタルやドルビーＥと同様に、このことは逆フィルタバンクの計算コストを節約する。

基本的に、部分的にデコードされた情報がオーディオ信号のＳＴＭＤＣＴあるいはＳＴＭＤＣＴの近似を作り出す、いかなるコーディングシステムでも、図１５に示す本発明の特徴は顕著な計算省力につながる。

「ＭＤＣＴ領域での音量改良」
本発明のさらなる特徴は、オーディオのＳＴＭＤＣＴ表現から得られる音量の測定に基づいてそのＳＴＭＤＣＴ表現を変更することによりオーディオの音量を改良することである。図１７は、改良装置あるいはプロセスの例を描写する。図９の例のように、逐次ＳＴＭＤＣＴブロック（９０１）からなるオーディオ信号は、音量測定装置あるいはプロセス９０２に渡され、そこから音量値９０３が作成される。ＳＴＭＤＣＴ信号と共にこの音量値は、音量値を利用して信号の音量を変化させる音量改良装置あるいはプロセス１７０４にインプットされる。音量が改良されるやり方は、システムのオペレータのような外部ソースから入力された音量改良パラメータ１７０５により、代替的にあるいは付加的にコントロールされてもよい。音量改良装置あるいはプロセスのアウトプットは、所望の音量改良を含んだ改良ＳＴＭＤＣＴ信号１７０６である。最後に、改良ＳＴＭＤＣＴ信号は、改良ＳＴＭＤＣＴ信号の各ブロックにＩＭＤＣＴを施し、次に逐次ブロックを重複加算することにより時間領域改良信号を合成する、逆ＭＤＣＴ装置あるいは機能１７０７でさらに処理される。

図１７の例の１つの特定な実施の形態は、Ａ重みのような重み付けパワー測定により駆動される自動ゲインコントロール（ＡＧＣ）である。このような場合、音量値９０３は式（２５）で与えられるＡ重み付けパワー測定として計算される。オーディオ信号の所望の音量を表す基準パワー測定

は、音量改良パラメータ１７０５を介して供される。時間的に変化するパワー測定Ｐ^Ａ［ｔ］および基準パワー

から、次式の改良ゲインを計算し

改良ゲインにＳＴＭＤＣＴ信号Ｘ_ＭＤＣＴ［ｋ，ｔ］を乗じて次式の改良ＳＴＭＤＣＴ信号を得る。

この場合、改良ＳＴＭＤＣＴ信号は、その平均音量が所望の基準

にほぼ等しい、オーディオ信号に対応する。ゲインＧ［ｔ］がブロックごとに変化するので、式（９）で特定されるＭＤＣＴ変換の時間領域エイリアシングは、時間領域信号１７０８が式（３３）の改良ＳＴＭＤＣＴ信号から合成されると、完全には消去されないであろう。しかし、ＳＴＭＤＣＴからパワースペクトル推定を計算するのに使われる平滑化時定数が十分に大きいと、ゲインＧ［ｔ］は、このエイリアシングの消去誤差が小さく聞こえないくらいゆっくりと変化するであろう。この場合、改良するゲインＧ［ｔ］はすべての周波数ビンｋで一定であり、よって、ＭＤＣＴ領域でフィルタすることに関して前述した課題は問題ではないことに留意されたい。

ＡＧＣに加え、他の音量改良技法が、重み付けパワー測定を用いて同様の方法で実行される。たとえば、Ｐ^Ａ［ｔ］が小さいときにオーディオ信号の音量が大きくなり、Ｐ^Ａ［ｔ］が大きいときに小さくし、よってオーディオのダイナミックレンジを低減するように、Ｐ^Ａ［ｔ］の関数としてのゲインＧ［ｔ］を計算することにより、ダイナミックレンジコントロール（ＤＲＣ）が実行される。そのようなＤＲＣの用途では、パワースペクトル推定を計算するのに使われる時定数は、ゲインＧ［ｔ］がオーディオ信号の音量における短期間の変化に反応するように、ＡＧＣの用途より典型的には小さく選ばる。

広帯域ゲインとして、式（３２）に示されるように、改良ゲインＧ［ｔ］を、全周波数ビンｋで一定であるので、参照してもよい。オーディオ信号の音量を変更するのに広帯域ゲインを用いると、感知される多くの好ましくない人為的影響を導入してしまう。最も認識されるのは、スペクトルの一部分の音量の変化がスペクトルの無関係な別の部分を音響的に変調する、クロススペクトルポンピングである。たとえば、クラシック音楽を選ぶと、持続する弦楽器の響きが中心の高周波数を含む一方、低周波数には大きなとどろくようなティンパニの音を含む。上記のＤＲＣの場合には、ティンパニをたたくときにはいつでも全体音量が増加し、ＤＲＣシステムはスペクトル全体を弱化させる。結果として、弦楽器は出力が低下するように、ティンパニで音量が増えるように聞こえる。典型的な解決策には、スペクトルの別の部分に別のゲインを適用することを含み、そのような解決策が本書で開示されるＳＴＭＤＣＴ改良システムに適用される。たとえば、それぞれ違った領域のパワースペクトル（この場合には周波数ビンｋのサブセット）から重み付けパワー測定のセットが計算され、次に各パワー測定をその後にスペクトルの対応する部分を乗じられる音量改良ゲインを計算するのに用いる。このような「複数帯域」ダイナミックプロセッサは、典型的には４つか５つのスペクトル帯域を用いる。この場合、ゲインは周波数により変化し、前述のように、人為的影響が導入されるのを避けるためにＳＴＭＤＣＴを乗じる前に、ビンｋにわたりゲインを滑らかにするように注意しなければならない。

オーディオ信号の音量をダイナミックに変化させるための広帯域ゲインの使用に関係するもう一つのあまり認識されていない問題は、ゲインが変わると感知するオーディオのスペクトルバランス、すなわち音色が結果としてずれることである。この音色の感知できるずれは、周波数にわたるヒトの音量の感知の変化の副作用である。特に、等音量の曲線はヒトが中間レンジの周波数に比べ低いおよび高い周波数で敏感ではないことを示し、固定された信号レベルに対するこの周波数にわたる音量の変化は、信号レベルが小さくなると、よりはっきりする。したがって、広帯域ゲインを用いてオーディオ信号の音量を変更するときは、周波数間の相対音量が変化し、この音色のずれが、特にゲインが大きく変化すると、不自然にあるいは気障りに感知される。

前記の国際公開番号WO 2006/047600では、以前に説明された感知音量モデルをオーディオ信号の音量を測定するのと改良するのと両方に用いる。測定した音量の関数としてオーディオの音量をダイナミックに改良する、ＡＧＣやＤＲＣなどのような用途については、音量が変化するので、感知するオーディオのスペクトルバランスを維持することにより前述の音色のずれ問題を解決する。このことは、式（２８）に示すように、感知音量スペクトルすなわち特定音量を明確に測定し改良することにより行われる。さらに、そのシステムは本質的に複数帯域であり、したがって、広帯域ゲイン改良と関係するクロススペクトルポンピングの人為的影響を取り扱うように容易に構成できる。そのシステムは、詳細が前記特許出願に記載されているような、音量補償ボリュームコントロール、ダイナミック等化、ノイズ補償などのような他の音量改良アプリケーションと同様に、ＡＧＣやＤＲＣを実施するように構成される。

前記国際公開番号WO 2006/047600に開示されているように、そこに説明されている発明の種々の特徴は、オーディオ信号の音量を測定するのと改良するのとの両方にＳＴＤＦＴを用いる。その出願はこのシステムに関係する感知音量測定もＳＴＭＤＣＴを用いて実施されることを示し、ここでは同じＳＴＭＤＣＴが関連する音量改良に適用されることが分かる。式（２８）は特定音量Ｎ［ｂ，ｔ］がエキサイテーションＥ［ｂ，ｔ］から計算される１つの方法を示す。一般的にこの関数をΨ｛・｝として次式のように表す。
Ｎ［ｂ，ｔ］＝Ψ｛Ｅ［ｂ，ｔ］｝（３３）

特定音量Ｎ［ｂ，ｔ］は図１７の音量値９０３として機能し、次に音量改良プロセス１７０４に送り込まれる。所望の音量改良アプリケーションに適した音量改良パラメータに基づき、所望の目標特定音量

は特定音量Ｎ［ｂ，ｔ］の関数Ｆ｛・｝として計算される。

つぎに、そのシステムはゲインＧ［ｂ，ｔ］の解を求め、エキサイテーションが作用するとゲインは所望の目標と等しい特定音量となる。別の言い方をすると、ゲインは次の関係を満たすことが分かる。

これらのゲインを見出すため前記の特許出願にはいくつかの技法が記載されている。最後に、ゲインＧ［ｂ，ｔ］を用いてＳＴＭＤＣＴを改良し、この改良ＳＴＭＤＣＴから測定される特定音量と所望の目標

との差が低減するようにする。理想的には、差の絶対値はゼロに低減される。このことは、次式で改良ＳＴＭＤＣＴを計算することでなされる。

ここで、Ｓ_ｂ［ｋ］は帯域ｂに関係する合成フィルタ応答で、式（２７）の基底膜フィルタＣ_ｂ［ｋ］に等しくなるように設定される。式（３６）はオリジナルのＳＴＭＤＣＴを時間的に変化するフィルタ応答Ｈ［ｋ，ｔ］で乗じるものと解され、Ｈ［ｋ，ｔ］は次式である。

一般的なフィルタＨ［ｋ，ｔ］をＳＴＤＦＴとは対照的にＳＴＭＤＣＴに適用すると人為的影響が導入されることは以前より示されていた。しかし、フィルタＨ［ｋ，ｔ］が周波数中で滑らかに変化するならばこれらの人為的影響は聴覚的に無視できるようになる。基底膜フィルタ応答Ｃ_ｂ［ｋ］に等しくなるように選定された合成フィルタＳ_ｂ［ｋ］と十分に細かくなるように選定された帯域ｂ間の間隔とで、この滑らかさの制限は確保される。４０帯域を組み込んだ好適な実施の形態で用いられる合成フィルタ応答をプロットした、図１に戻ると、各フィルタの形は周波数にわたって滑らかに変化し、隣接するフィルタでかなりの程度の重複があることが分かる。結果として、全合成フィルタＳ_ｂ［ｋ］の線形な合計であるフィルタ応答Ｈ［ｋ，ｔ］は、周波数にわたって滑らかに変化することになる。さらに、ほとんどの音量改良アプリケーションで生成されるゲインＧ［ｂ，ｔ］は帯域ごとに大きく変化することはなく、Ｈ［ｋ，ｔ］の滑らかさをさらに強く確かなものとする。

図１８ａは、オリジナルの特定な音量Ｎ［ｂ，ｔ］を０．３３の一定な係数で縮小することで単純に目標特定音量

が計算される音量改良に対応するフィルタ応答Ｈ［ｋ，ｔ］を描写する。図１８ｂは、このフィルタに対応する行列

のグレースケール画像を示す。画像の右に示されるグレースケールマップは、行列要素間の僅かな差を強調するのに不ぞろいとされていることに注意されたい。行列は、主対角成分に沿って折り返した単一のインパルス応答の所望の構造をよく近似している。

図１９ａは、オリジナルの特定な音量Ｎ［ｂ，ｔ］に複数帯域ＤＲＣを適用することで目標特定音量

が計算される音量改良に対応するフィルタ応答Ｈ［ｋ，ｔ］を描写する。ここでも、応答は周波数にわたって滑らかに変化する。図１９ｂは、これも不ぞろいなグレースケールマップでの対応する行列

のグレースケール画像を示す。行列は、エイリアシングを有する対角成分の僅かに完全には消去されないという除外付きの所望の対角成分構造を表す。しかしこの誤差は、感知されない。

「実施」
本発明は、ハードウェアで、あるいはソフトウェアで、あるいは双方の組合せ（たとえば、プログラマブル・ロジック・アレイ）で実施される。特に規定しない限り、本発明の一部として含まれているアルゴリズムやプロセスは、特定のコンピュータや他の装置に本質的に関係するものではない。特に、種々の汎用機械装置が本書の教示にしたがって書かれたプログラムと共に使われ、あるいはより特化した装置（たとえば、集積回路）を作って必要な方法の工程を実行した方がより便利かもしれない。したがって、本発明は１つ以上のプログラム可能なコンピュータシステム上で実行される１つ以上のコンピュータプログラムで実施され、各コンピュータシステムは少なくとも１つのプロセッサと、少なくとも１つのデータ記憶システム（揮発性、不揮発性および／または記憶要素を含む）と、少なくとも１つのインプット装置あるいはポートと、少なくとも１つのアウトプット装置あるいはポートとを備える。インプットデータにプログラムコードが適用されて、本書で説明した機能が実施され、アウトプット情報を生成する。アウトプット情報は、既知の要領で１つ以上のアウトプット装置に適用される。

このようなコンピュータプログラムのそれぞれは、所望のコンピュータ言語（機械語、アセンブリ、あるいは高水準処理、論理、あるいはオブジェクト指向プログラム言語を含む）で実施され、コンピュータシステムとコミュニケーションする。どの場合でも、言語はコンパイルされたあるいはインタープリタ型言語である。

このようなコンピュータプログラムのそれぞれは、本書で説明した手順を実施するためにコンピュータシステムにより記憶媒体あるいは装置が読まれるときにコンピュータを構成し操作するように、汎用あるいは特殊目的プログラマブルコンピュータで読み込み可能な記憶媒体あるいは装置（たとえば、固体メモリあるいは装置、あるいは磁気若しくは光学媒体）で記憶されまたはダウンロードされるのが好ましい。本発明のシステムは、コンピュータプログラムで構成されたコンピュータ可読記憶媒体として実施されてもよいと考えられ、そのように構成された記憶媒体は、コンピュータシステムを特定の予め定めた方法で操作し本書で説明した機能を実施させる。

本発明の多くの実施の形態を説明した。それにもかかわらず、本発明の思想と範囲から逸脱することなく種々の改良がなされることが理解されよう。たとえば、本書で説明した工程のあるものは、実施順序は重要ではなく、よって説明された順序とは異なる順序で実施できる。

図１は、４０帯域が等価直角帯域幅（Equivalent Rectangular Bandwidth）（ＥＲＢ）スケールで均等な間隔とされたクリティカル帯域フィルタＣ_ｂ［ｋ］の応答のプロットを示す。図２ａは、種々の値のＴに対する移動平均を用いて計算した

と

との間のｄＢでの平均絶対誤差（Average Absolute Error）（ＡＡＥ）のプロットを示す。
図２ｂは、種々の値のＴで１つのポールスムーザー（pole smoother）を用いて計算した

と

との間のｄＢでの平均絶対誤差（ＡＡＥ）のプロットを示す。
図３ａは、理想的レンガ壁ローパスフィルタである、フィルタ応答Ｈ［ｋ，ｔ］を示す。図３ｂは、理想的インパルス応答ｈ_IDFT［ｎ，ｔ］を示す。図４ａは、図３ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。本書のこのグレースケールと他のグレースケールでは、ｘ軸とｙ軸は行列の列と行にそれぞれ対応し、グレーの濃さは、画像の右に描かれたスケールによる、特定の行／列位置での行列の値を示す。
図４ｂは、図３ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。
図５ａは、図３ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。
図５ｂは、図３ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。
図６ａは、平滑化ローパスフィルタとしてのフィルタ応答Ｈ［ｋ，ｔ］を示す。図６ｂは、時間圧縮インパルス応答ｈ_ＩＤＦＴ［ｎ，ｔ］を示す。図７ａは図６ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。図４ａと比較すること。
図７ｂは図６ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。図４ｂと比較すること。
図８ａは図６ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。
図８ｂは図６ａのフィルタ応答Ｈ［ｋ，ｔ］に対応する行列

のグレースケール画像である。
図９は、本発明の基本的特徴による音量測定方法のブロック図を示す。図１０ａは、重み付けパワー測定装置または方法の模式的機能ブロック図である。図１０ｂは、心理オーディオに基く測定装置または方法の模式的機能ブロック図である。図１２ａは、本発明の特徴による重み付けパワー測定装置またはプロセスの模式的機能ブロック図である。図１２ｂは、本発明の特徴による心理オーディオに基く測定装置またはプロセスの模式的機能ブロック図である。図１３は、たとえば低ビットレートコードオーディオのような、ＭＤＣＴ領域でエンコードされたオーディオの音量を測定する本発明の特徴を示す模式的機能ブロック図である。図１４は、図１３の配列で用いられるデコードプロセスの例を示す模式的機能ブロック図である。図１５は、低ビットレートコードオーディオの部分的デコードから得られるＳＴＭＤＣＴ係数が音量測定に用いられている本発明の特徴を示す模式的機能ブロック図である。図１６は、音量測定で使うための低ビットレートオーディオコーダで部分的デコードから得られるＳＴＭＤＣＴ係数の使用例を示す模式的機能ブロック図である。図１７は、オーディオの音量が、そのＳＴＭＤＣＴ表現から得られる音量の測定に基いて同じ表現を変更することで改良される、本発明の特徴の例を示す模式的機能ブロック図である。図１８ａは、特定の音量の固定スケーリングに対応するフィルタ応答フィルタＨ［ｋ，ｔ］を示す。図１８ｂは、図１８ａに示す応答を有するフィルタに対応する行列のグレースケール画像を示す。図１９ａは、特定の音量に適用されるＤＲＣに対応するフィルタ応答Ｈ［ｋ，ｔ］を示す。図１９ｂは、図１８ａに示す応答を有するフィルタに対応する行列

のグレースケール画像を示す。

Claims

時間サンプルの連続的な複数のブロックの改良離散コサイン変換（ＭＤＣＴ）係数によって表される時間でサンプルされたオーディオ信号の感知音量を改良する方法であって：
時間でサンプルされたオーディオ信号の感知音量をＭＤＣＴ領域で測定する工程であって、該測定する工程は、時間でサンプルされたオーディオ信号のパワースペクトルの推定を計算する工程を含み、前記測定する工程において、ヒトの音量感知あるいはそれよりも遅い積分時間に相応する平滑化時定数を有する時間平滑化が用いられて、前記パワースペクトルの推定の変動が低減される、前記測定する工程と；
前記時間でサンプルされたオーディオ信号の感知音量を改良する工程であって、該改良する工程は、少なくとも部分的に前記測定する工程に応答するものであり、前記改良する工程は、時間及び周波数に依存するゲインＧ［ｂ，ｔ］を用いて、前記ＭＤＣＴ領域において、連続的な複数のブロックのＭＤＣＴ係数をゲイン改良する工程を含み、該ゲイン改良する工程は、前記ＭＤＣＴ係数の複数の周波数帯域を周波数軸方向にフィルタする工程を含み、１つ以上の周波数帯域をゲイン改良するときに、前記フィルタする工程により生じる周波数帯域から周波数帯域へのゲインの変化が、クリティカル帯域フィルタの応答の滑らかさという意味において滑らかであり、前記ＭＤＣＴ係数をゲイン改良する工程により生成される人為的影響が低減される、前記感知音量を改良する工程とを備える；
方法。
前記感知音量を改良する工程は、基準パワーの関数でもある；
請求項１に記載の方法。
前記平滑化時定数は、周波数に依存する；
請求項１に記載の方法。
請求項１ないし３のいずれか１項に記載の方法のすべての工程を実施するようになされた装置。
請求項１ないし３のいずれか１項に記載の方法をコンピュータに実施させる、コンピュータ可読媒体に記憶されたコンピュータプログラム。