JP5827442B2 - オーディオ信号におけるラウドネス変化をレベリングするシステム及び方法 - Google Patents

Description

本開示は、概して信号処理に関し、より具体的にはオーディオ信号におけるラウドネス変化をレベリングする（ｌｅｖｅｌ）システム及び方法に関する。

多くの場合、特にテレビジョン放送ネットワークに関しては、ラウドネスレベリング（ｌｏｕｄｎｅｓｓ ｌｅｖｅｌｉｎｇ）すなわちオーディオ信号の音量が大きい（ｌｏｕｄ）セクションと大きくない（ｓｏｆｔ）セクション間の幅を自動的に縮小すること望ましい。オーサリングが悪いと、テレビジョン番組、広告、またはその両方で音の大きさレベルの変化が大きくなり、音の大きさレベルが大きく異なる番組や広告が続くことが多い。テレビジョンの視聴者は、こうした変化を補正するためテレビジョンやサウンド再生システムのボリュームコントロールを頻繁に調節するが、視聴者の反応時間は速くなく、うるさいと感じることがある。また、幾つかの番組（映画など）のダイナミックレンジは非常に広い。こうしたレンジは家庭での視聴には広すぎることが多く、会話を聞くのに必要なボリュームポジションにしておくと、サウンドエフェクトや音楽のときに音が非常に大きいレベルになってしまい、家族等のじゃまになることがある。

既存のラウドネスレベリング方法はコンプレッサ法とリミッター法を含む。これらの方法は、オーディオ信号レベルまたはパワーを時間的に積分するものである。積分時間が短ければ短いほど、アルゴリズムは速く測定ができ、ラウドネスの短期的変動を調整できる。積分時間が長ければ長いほど、平均ラウドネスはより大きく影響されるが、短期的変動が残る。これらの方法は、一般的に、オーディオ信号全体を、すなわち一度に全周波数を調整するゲインにより動作する。これにより、「ｂｒｅａｔｈｉｎｇ」や「ｐｕｍｐｉｎｇ」などの可聴アーティファクトが生じることがある。より最近になって、例えば、特許文献１に記載されたものなど、ラウドネス測定と調整をする音響心理学的方法が開発されている。特許文献１はここにその全体を参照援用する。これらのアルゴリズムは、スペクトル分析と人間の聴覚のモデルとを用い、周波数によって変化し、測定されるラウドネスレベルによって変化する方法でオーディオを調整する。これらの方法は、ミリ秒から秒の時間スケールで短期的にラウドネスを調節するにはうまくいく。特許文献２には、ラウドネスの長期算術平均を推定するように構成された第１セクションと、ラウドネスのショートバーストを抑制するように構成された第２セクションとを含むテレビジョンデバイスが記載されている。特許文献３には、知覚されるラウドネスを計算及び調整する方法が記載されている。特許文献４には、オーディオラウドネスを制御するシステムと方法が記載されている。特許文献５には、番組の境界においてラウドネスの一貫性を改善する方法が記載されている。特許文献６には、適応的ラウドネスレベリングの方法が記載されている。特許文献７には、ラウドネスベースの音響イベント検出を用いるオーディオゲイン制御が記載されている。

ラウドネスレベルとは別に、オーディオ信号の知覚ラウドネス（ｐｅｒｃｅｉｖｅｄ ｌｏｕｄｎｅｓｓ）を客観的に測定する方法もある。例には、Ａ−、Ｂ−、及びＣ−加重パワー測定、及び非特許文献１及び特許文献１に記載されているようなラウドネスの音響心理学的モデルとが含まれる。加重パワー測定は、入力オーディオ信号を取り、知覚的により敏感な周波数を強調し、知覚的にあまり敏感でない周波数は逆強調する既知のフィルタを適用し、フィルタされた信号のパワーを所定時間にわたり平均することにより、動作する。最近開発されたＩＴＵ−Ｒ ＢＳ．１７７０−２ 客観的ラウドネス測定標準は、Ｂ−加重と同様の加重フィルタを用い、最終的な平均パワー計算から、音が大きくないまたは無音のオーディオ信号部分を除去する。

音響心理学的方法は、一般的に、もっと複雑であり、人間の耳の働きをうまくモデル化することを目的としている。かかる音響心理学的方法は、信号を、耳の周波数応答と感度をまねる周波数帯域に分割し、周波数及び時間的マスキングなどの音響心理学的現象及び信号強度が可変の非線形なラウドネス知覚を考慮しながら、かかる帯域を操作、集積する。かかる方法すべての目的は、オーディオ信号の主観的印象に密接に一致する数値的測定をすることである。これらの方法は、一般的に、オーディオ信号の長さが３０秒以上であり、一般的には数分から数時間であるオーディオ信号の長期的知覚ラウドネスの測定に有用である。多年にわたり、これらの客観的測定アルゴリズムの開発と受容には主観的なテスト、すなわち客観的アルゴリズムの測定と人の聴覚との比較が伴ってきた。

最近、ブロードキャストされるテレビジョンオーディオ信号の、特にコマーシャルに対して、ラウドネスを維持する必要性が増大している。この必要性は、Ｆｅｄｅｒａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｍｍｉｓｓｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ． ＦＣＣ １１−８４，‘Ｎｏｔｉｃｅ ｏｆ Ｐｒｏｐｏｓｅｄ Ｒｕｌｅｍａｋｉｎｇ： Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｃｏｍｍｅｒｃｉａｌ Ａｄｖｅｒｔｉｓｅｍｅｎｔ Ｌｏｕｄｎｅｓｓ Ｍｉｔｉｇａｔｉｏｎ （ＣＡＬＭ） Ａｃｔ’などの政府規制により惹起されている。放送事業者は、平均ラウドネスとダイナミクスが分かっているきちんとオーサリングされたコンテンツと、平均ラウドネスが分かっておらずダイナミクスが広い可能性がある未知のコンテンツとの併せ持っているので、テレビジョン視聴者に送られるリアルタイムオーディオ信号と合ったラウドネスレベリング装置を頻繁に用いる。しかし、ラウドネスレベラー（ｌｏｕｄｎｅｓｓ ｌｅｖｅｌｅｒｓ）は、一般的に、オーディオ信号をレベル調整する時にアーティファクトを最小化する短期的振る舞いに最適化されており、結果として、長時間測定したときに、レベリングされたオーディオ信号には必ずしも一貫性がない。すなわち、例えば３０秒以上レベリングされたオーディオのセクションの測定ラウドネスには一貫性がない。
［関連出願との相互参照］

この出願は、２０１２年４月１２日出願の米国特許仮出願第６１／６２３，２５３号及び２０１２年１２月１９日出願の米国特許仮出願第６１／７３９，５４５号の優先権を主張するものであり、上記文献はそれぞれ全体をここに参照援用する。

米国特許出願公開第２００７／００９２０８９ Ａ１号 米国特許出願公開第２０１０／００４６７６５ Ａ１号 米国特許出願公開第２００７／０２９１９５９ Ａ１号 米国特許出願公開第２００８／０２５３５８６ Ａ１号 米国特許出願公開第２０１０／０２７２２９０ Ａ１号 米国特許出願公開第２０１１／０１５０２４２ Ａ１号 国際公開第２００７／１２７０２３ Ａ１号

「Ａｃｏｕｓｔｉｃｓ−Ｍｅｔｈｏｄ ｆｏｒ ｃａｌｃｕｌａｔｉｎｇ ｌｏｕｄｎｅｓｓ ｌｅｖｅｌ」ＩＳＯ ５３２ （１９９７）

このように、レベリングされたオーディオの長期ラウドネスが既知の測定標準にマッチすることを確保しつつ、短期アーティファクトフリーラウドネスレベリングを実行できるリアルタイムレベリング方法が必要である。本発明の実施形態は、オーディオ信号におけるラウドネス変化をラベリングするシステムと方法とを提供することにより、この必要性その他を満たす。

一実施形態では、オーディオ信号におけるラウドネス変化をレベリングする方法を説明する。この方法は、前記オーディオ信号と、前記オーディオ信号の所望のラウドネスとを受け取るステップと、前記オーディオ信号からアーティファクトを除去するステップと、前記オーディオ信号の実際のラウドネスを測定するステップと、前記所望のラウドネスと、前記オーディオ信号の実際のラウドネスとの間の差分を用いてゲイン値を計算するステップと、前記ゲイン値を用いて前記オーディオ信号を修正するステップとを有する。

他の一実施形態では、オーディオ信号におけるラウドネス変化をレベリングするシステムを説明する。このシステムは、前記オーディオ信号と前記オーディオ信号の所望のラウドネスとを受け取り、前記オーディオ信号からアーティファクトを除去する短期ラウドネスレベリングモジュールと、前記オーディオ信号の実際のラウドネスを測定するように構成された長期ラウドネスレベリングモジュールと、前記所望のラウドネスと前記オーディオ信号の実際のラウドネスとの間の差分を用いてゲイン値を計算するように構成されたラウドネス・ゲイン変換モジュールと、前記ゲイン値を用いて前記オーディオ信号を修正するように構成されたオーディオ修正モジュールとを有する。一実施形態では、前記短期ラウドネスレベリングモジュール、前記長期ラウドネスレベリングモジュール、前記ラウドネス・ゲイン変換モジュール、及び前記オーディオ修正モジュールのうち少なくとも一はプロセッサに含まれる。

他の一実施形態では、コンピュータ実行可能命令を記憶したコンピュータ読み取り可能媒体であって、前記コンピュータ実行可能命令は、コンピュータに、前記オーディオ信号と、前記オーディオ信号の所望のラウドネスとを受け取るステップと、前記オーディオ信号からアーティファクトを除去するステップと、前記オーディオ信号の実際のラウドネスを測定するステップと、前記所望のラウドネスと、前記オーディオ信号の実際のラウドネスとの間の差分を用いてゲイン値を計算するステップと、前記ゲイン値を用いて前記オーディオ信号を修正するステップとを実行させる。

本発明のさらに他の態様、フィーチャ、及び利点は、本発明を実施するものと想定されるベストモードを含む、多数の例示的な実施形態と実装とを示すことにより、以下の詳細な説明から容易に明らかになる。また、本発明は、この他の実施形態も可能であり、本発明の精神と範囲から逸脱することなく、その詳細は様々な点で修正可能である。したがって、図面と説明は、事実上の例示であり、限定と見なしてはならない。

一実施形態によるリアルタイムでオーディオ信号におけるラウドネス変化をレベリングするシステムを示す機能ブロック図である。 一実施形態によるオフラインでオーディオ信号におけるラウドネス変化をレベリングするシステムを示す機能ブロック図である。 一実施形態によるリアルタイムで入力信号調整をしてラウドネス変化をレベリングするシステムを示す機能ブロック図である。 一実施形態によるオフラインで入力信号調整をしてラウドネス変化をレベリングするシステムを示す機能ブロック図である。 一実施形態によるリアルタイムで入力基準レベル調整をしてラウドネス変化をレベリングするシステムを示す機能ブロック図である。 一実施形態によるオフラインで入力基準レベル調整をしてラウドネス変化をレベリングするシステムを示す機能ブロック図である。 ここに説明する一以上の方法のどれかを機械に実行させる一組の命令を有するその機械を示す図である。

オーディオ信号におけるラウドネス変化をレベリングするシステムと方法を説明する。以下の詳細な説明では、説明を目的として、例示の実施形態を完全に理解してもらうために、多数の具体的な詳細事項を記載する。しかし、当業者には言うまでもなく、実施形態は、これらの具体的な詳細事項がなくても、または等価な構成で実施することができる。幾つかの場合には、ブロック図形式で周知の構造とデバイスを示すが、これは実施形態が不明瞭になることを避けるためである。

ここで図面を参照するが、複数の図面にわたり同じ参照数字は同一のまたは対応する部分を指示している。図１は、一実施形態によるリアルタイムでラウドネス変化をレベリングするシステムを示す機能ブロック図である。オーディオ信号１１０と、そのオーディオ信号の所望のラウドネス１４０とが、短期ラウドネスレベリングモジュール１２０に入力される。短期ラウドネスレベリングモジュール１２０は、「ｐｕｍｐｉｎｇ」や「ｂｒｅａｔｈｉｎｇ」などの可聴レベリングアーティファクトを最小化するように、オーディオ信号１１０を調整する。短期ラウドネスレベリングモジュール１２０は、これを、特許文献１に記載した方法により実現できる。特許文献１はここにその全体を参照援用する。

一実施形態では、短期ラウドネスレベリングモジュール１２０は、５ミリ秒の時間間隔のデジタルパルスコード変調（ＰＣＭ）オーディオで動作する。他の一実施形態では、短期ラウドネスレベリングモジュール１２０は、アナログシステムのように連続的に動作する。さらに他の一実施形態では、短期ラウドネスレベリングモジュール１２０は、デジタルシステムのすべてのＰＣＭサンプルで動作する。

短期ラウドネスレベリングモジュール１２０は、オーディオ信号の所望のラウドネス１４０を、入力として取る。オーディオ信号がＰＣＭ信号であるデジタルシステムにおいて、所望のラウドネス１４０は、フルスケールＰＣＭに対するデシベル（ｄＢ）単位で表される。例えば、所望のラウドネス１４０は−２４ｄＢ ＦＳ（フルスケール）である。

短期ラウドネスレベリングモジュール１２０により処理されたオーディオ信号は、長期ラウドネスレベリングモジュール１３０に渡される。長期ラウドネスレベリングモジュール１３０は、例えば、ＩＴＵ−Ｒ ＢＳ．１７７０−３ （０８／２０１２）などの客観的ラウドネス測定標準によりオーディオ信号の実際のラウドネスを測定する。長期ラウドネスレベリングモジュール１３０は、各期間に対し、すなわちオーディオ信号の実際のラウドネスが測定されるたびに、１つのラウドネス数を出力する。ラウドネス数はオーディオ信号の実際のラウドネスを表す。オーディオ信号がＰＣＭ信号であるデジタルシステムにおいて、ラウドネス数は、フルスケールＰＣＭに対するデシベル（ｄＢ）単位で表される。

長期ラウドネスレベリングモジュール１３０は、一実施形態では、例えば３０秒などの、名目的積分時間に設定される。この積分時間は、長期ラウドネスレベリングモジュール１３０が１つのラウドネス数を計算するのに用いるＰＣＭサンプルの時間間隔である。この機能は積分時間間隔より頻繁に動作する。しかし、動作するたびに、受け取ったＰＣＭサンプルの最後の「積分時間間隔」にわたる測定値を表す数を出力する。

一実施形態では、長期ラウドネスレベリングモジュール１３０は短期ラウドネスレベリングモジュール１２０と同じレートで、例えば５ミリ秒ごとに動作する。他の実施形態では、長期ラウドネスレベリングモジュール１３０は短期ラウドネスレベリングモジュール１２０より遅いまたは速いレートで動作する。例えば、長期ラウドネスレベリングモジュール１３０は、２０ミリ秒ごとに動作してもよいし、または短期ラウドネスレベリングモジュール１２０がその機能を４回実行するたびに１回動作してもよい。

長期ラウドネスレベリングモジュール１３０は、一実施形態では、ＩＴＵ−Ｒ ＢＳ．１７７０−１ （２００６−２００７）に記載されたアルゴリズムにより、ＰＣＭサンプルのブロック（一般的には、０．５秒の時間を表す）が「会話」であると分類された時のみにＰＣＭサンプルの積分を（して１つのラウドネス数を計算）する一動作モードを含む。ＩＴＵ−Ｒ ＢＳ．１７７０−１ （２００６−２００７）は、ここにその全体を参照援用する。このアプローチは、オーディオ信号の会話部分のみのラウドネス測定をゲーティング（ｇａｔｅ）する。あるいは、ラウドネス測定及び制御に対する規制要件を科している地理的領域（例えば、オランダ、ドイツ、オーストリア、フランスなど）では、長期ラウドネスレベリングモジュール１３０は、レベルベースのゲーティング法を規定しているＩＴＵ−Ｒ ＢＳ．１７７０−２ （０３／２０１１）またはＩＴＵ−Ｒ ＢＳ．１７７０−３ （０８／２０１２）のみに準拠したモードで動作できる。両文献はここにその全体を参照援用する。

ラウドネス・ゲイン変換モジュール１５０は、ラウドネス数を受け取り、それを所望のラウドネス１４０と比較する。具体的に、ラウドネス・ゲイン変換モジュール１５０は、所望のラウドネス１４０とラウドネス数との間の差分を計算して、ゲイン値を出力する。このゲインは、修正オーディオ信号１９０を生成するためオーディオ修正モジュール１７０によりレベリングされたオーディオに適用されるが、レベリングされたオーディオ信号の長期的測定値を所望のラウドネス１４０に近づける。

ゲイン値の計算は、ゲイン値が急激に変化して可聴アーティファクトを生じることを防止するレート制限を含む。これが特に重要なのは、プロセスが始まり、長期ラウドネスレベリングモジュール１３０がラウドネス数を出力するのに十分なオーディオサンプルをまだ受け取っていない時である。一実施形態では、ラウドネス・ゲイン変換モジュール１５０は、長期ラウドネスレベリングモジュール１３０と同じレートで、例えば２０ミリ秒で動作し、レベリングされたオーディオ信号に適用される実際のゲインは、２０ミリ秒ごとに計算された各ゲイン値間で線形補間される。

ゲイン値（デシベル単位）は次の式で計算できる。
Ｄ＝所望のラウドネス−ラウドネス数（ｄＢ単位） ［１］
Ｈ＝ｍａｘ（ｍｉｎ（Ｄ，Ｇｐｒｅｖ＋Ｔ），Ｇｐｒｅｖ−Ｔ） ［２］
Ｇｃｕｒｒ＝Ｇｐｒｅｖ＋ｍａｘ（ｍｉｎ（Ｄ−Ｈ，Ｒｕｐ／Ｓ），Ｒｄｏｗｎ／Ｓ） ［３］
ＧＶ＝ｍａｘ（ｍｉｎ（Ｇｃｕｒｒ，Ｌ），−Ｌ） ［４］
ここで、Ｔはヒステリシス値であり、ゲイン値を例えば０．１ｄＢ動かすため、ゲイン調整の変化はこの値を超える必要がある。Ｒｕｐは、時間あたりに許容されるゲインの最大増加であり、例えば１秒あたり０．０４ｄＢである。Ｒｄｏｗｎは、時間あたりに許容されるゲインの最大現象であり、例えば１秒あたり０．０８ｄＢである。Ｓは、１秒あたりにゲイン値が更新される回数であり、例えば１秒あたり５０回である。Ｇは、ラウドネス・ゲイン変換機能（ｌｏｕｄｎｅｓｓ ｔｏ ｇａｉｎ ｆｕｎｃｔｉｏｎ）の内部状態であり、一般的には０ｄＢに初期化される。Ｌはゲイン値に科される制限であり、例えば±４ｄＢである。ＧＶはゲイン値である。

図２は、一実施形態によるオフラインでラウドネス変化をレベリングするシステムを示す機能ブロック図である。オフラインレベリングでは、オーディオ信号全体がキャプチャされ記憶され、図１を参照して説明した方法により処理される。オーディオ信号２２１０は、短期ラウドネスレベリングモジュール１２０により処理され、メモリ２２５に格納される。長期ラウドネスレベリングモジュール１３０が、オーディオ信号または番組全体にわたり１つのラウドネス数を計算する。ラウドネス・ゲイン変換モジュール２５０は、所望のラウドネス２４０とラウドネス数との間の差として、ゲイン値を計算する。このゲイン値は、修正オーディオ信号２９０を生成するため、オーディオ修正モジュール２７０において適用される。

入力信号調整

図１、２を参照して説明したシステムに入力されるオーディオ信号は、所望のラウドネスとはかけはなれた平均レベルを有することがある。この状況では、システムは、オーディオ信号をほとんど常に一貫して増幅または減衰している。このようなオーディオ信号は、十分にオーサリング（ａｕｔｈｏｒｅｄ）されている。すなわち、ほぼ一定の平均レベルを有するが、例えば、様々なブロードキャストオーディオ装置を接続し設定する時の参照レベルのミスマッチのため、全体的なレベルはシフトされている。例えば、所望のラウドネスは−２４ｄＢ ＦＳ（ｆｕｌｌ−ｓｃａｌｅ）であり、入力オーディオ信号の平均レベルは、一貫して−３６ｄＢ ＦＳ（ｆｕｌｌ−ｓｃａｌｅ）である。かかる例では、短期ラウドネスレベリングモジュールはオーディオ信号を常に１２ｄＢ増幅している。

一実施形態では、オーディオ信号は、所望のラウドネスにすでに近ければ、システムにより調整されない。言い換えれば、システムはヌルバンド（ｎｕｌｌ−ｂａｎｄ）をインプリメントする。このように、ヌルバンド外の、すなわち所望のラウドネスより大幅に大きい（ｌｏｕｄｅｒ）か小さい（ｑｕｉｅｔｅｒ）信号だけが、修正され、信号が所望のラウドネスにレベル的に近くされる。ヌルバンドの例としては、所望のラウドネスより４ｄＢ小さいところから、所望のラウドネスより４ｄＢ大きいところの間の範囲である。

オーディオ番組が十分にオーサリングされており、単にシフトされているだけのとき、一実施形態によるスローゲイン調整を適用して、信号が短期ラウドネスレベリングモジュールに渡される前に、平均レベルが所望のラウドネスとほぼ同じになるように、オーディオ信号のレベルを動かす。このように、短期ラウドネスレベリングモジュールは、オーディオ信号にはあまり影響せず、短期的に過剰に大きい（ｌｏｕｄ）信号を減衰し、短期的に非常に小さい（ｑｕｉｅｔ）信号を増幅するだけである。

図３と図４は、一実施形態による、それぞれリアルタイム及びオフラインで入力基準レベル調整をしてラウドネス変化をレベリングするシステムを示す機能ブロック図である。オーディオ信号３１０は第１の長期ラウドネスレベリングモジュール３１３に渡される。第１の長期ラウドネスレベリングモジュール３１３はラウドネス数を出力する。オーディオ信号がＰＣＭ信号であるデジタルシステムにおいて、この数は、一般的にフルスケールＰＣＭに対するデシベル（ｄＢ）単位で表される。一実施形態では、長期ラウドネスレベリングモジュール３１３により用いられる客観的ラウドネス測定法は、図１の長期ラウドネスレベリングモジュール１３０により用いられるものと同じである。

長期ラウドネスレベリングモジュール３１３は、ノミナル積分時間、例えば１０秒に設定される。この積分時間は、モジュールが１つのラウドネス数を計算するのに用いるＰＣＭサンプルの時間である。長期ラウドネスレベリングモジュール３１３は、積分時間より頻繁に動作する。しかし、動作するたびに、受け取ったＰＣＭサンプルの最後の「積分時間」にわたる測定値を表す数を出力する。長期ラウドネスレベリングモジュール３１３は、短期ラウドネスレベリングモジュール１２０と同じレートで動作することもでき、例えば５ミリ秒で、またはそれよりも低いまたは高いレートで動作することもできる。一例では、長期ラウドネスレベリングモジュール３１３は、２０ミリ秒ごとに動作してもよいし、または短期ラウドネスレベリングモジュール１２０が４回動作するたびに１回動作してもよい。

第１のラウドネス・ゲイン変換モジュール３１４は、長期ラウドネスレベリングモジュール３１３からラウドネス数を受け取り、それを所望のラウドネス１４０と比較する。ラウドネス・ゲイン変換モジュール３１４は、所望のラウドネスとラウドネス数との間の差分を計算して、第１のゲイン値を出力する。このゲインは、第１のオーディオ修正モジュール３１７によりオーディオ信号３１０に適用され、オーディオ信号３１０の長期的測定値を所望のラウドネス１４０に近くする。

第１のゲイン値の計算は、ゲイン値が急激に変化して可聴アーティファクトを生じることを防止するレート制限を含む。これが特に重要なのは、システムが動作し始めた時である。長期ラウドネスレベリングモジュール３１３がラウドネス数を出力するのに十分なオーディオサンプルをまだ受け取っていないからである。一実施形態では、ラウドネス・ゲイン変換モジュール３１５は、長期ラウドネスレベリングモジュール３１３と同じレートで、例えば２０ミリ秒ごとに動作し、レベリングされたオーディオ信号に適用される実際のゲインは、２０ミリ秒ごとに計算された各第１のゲイン値間で線形補間される。第１のゲイン値は式１−４により計算できる。

リアルタイムレベリングでは、オーディオ信号３１０は、第１のゲイン値によりゲイン調整された後、短期ラウドネスレベリングモジュール１２０に渡され、図１を参照して説明したリアルタイムレベリングをするシステムにより処理される。すなわち、調整されたオーディオ信号は、短期ラウドネスレベリングモジュール１２０、長期ラウドネスレベリングモジュール１３０、ラウドネス・ゲイン変換モジュール１５０、及びオーディオ修正モジュール１７０に渡され、修正オーディオ信号３９１となる。

オフラインレベリングを用いる一実施形態では、長期ラウドネスレベリングモジュール３１３は、オーディオ信号全体に対して１つのラウドネス数を測定できる。オーディオ信号全体は、所望のラウドネス１４０と、長期ラウドネスレベリングモジュール３１３からの測定値との間の差分によりゲイン調整される。一端調整されると、オーディオ信号３１０は、図２を参照して説明したシステムにより処理される。すなわち、調整されたオーディオ信号は、短期ラウドネスレベリングモジュール２２０、メモリ２２５、長期ラウドネスレベリングモジュール２３０、ラウドネス・ゲイン変換モジュール２５０、及びオーディオ修正モジュール２７０に渡され、修正オーディオ信号３９２となる。

入力基準レベル

一実施形態では、図１−４を参照して説明した短期ラウドネスレベリングモジュールは、入力基準レベルと呼ばれる入力を有する。入力基準レベルは、短期ラウドネスレベリングモジュールに渡されるオーディオ信号のノミナルまたは平均レベルを示す。短期ラウドネスレベリングモジュールは２つの動作、すなわち入力基準レベルを中心とするオーディオ信号の調整またはレベリングと、所望のラウドネスと入力基準レベルとの間の差分により決められた固定ゲインの適用とを行う。

一例では、８５は−３１ｄＢフルスケール（ＦＳ）のノミナルまたは平均レベルに対応する。入力基準レベル（ＩＬ）はｄＢ単位であり、次の式５で計算できる。
ＩＲＬ＝５ −平均レベル（ｄＢ ＦＳ） ［５］
例えば、ノミナルレベルの−２０ｄＢフルスケール（ＦＳ）は、入力基準レベルの７４に対応する。

例として、デジタルＰＣＭ信号を用いると仮定すると、所望のラウドネスが−２４ｄＢ ＦＳであり、入力オーディオ信号のノミナルレベルが入力基準レベルにより−１０ｄＢ ＦＳである場合、短期ラウドネスレベリングモジュールは、（ａ）−１０ｄＢ ＦＳでないオーディオのレベリング、すなわち−１０ｄＢ ＦＳより大幅に小さいオーディオ信号部分は増幅され、−１０ｄＢより大幅に大きい部分は減衰され、（ｂ）バルクゲイン−２４−−１０＝−１４ｄＢの適用、すなわち１４ｄＢの減衰を行う。言い換えると、この例では、短期ラウドネスレベリングモジュールのヌルバンド（ｎｕｌｌ−ｂａｎｄ）が、入力基準レベルすなわち−１０ｄＢ ＦＳが中心になるように動かされる。

図５と図６は、一実施形態による、それぞれリアルタイム及びオフラインで入力基準レベル調整をしてラウドネス変化をレベリングするシステムを示す機能ブロック図である。オーディオ信号４１０は、第１の長期ラウドネスレベリングモジュール４１３に渡される。オーディオ信号がＰＣＭ信号であるデジタルシステムにおいて、この数は、一般的にフルスケールＰＣＭに対するデシベル（ｄＢ）単位で表される。一実施形態では、長期ラウドネスレベリングモジュール４１３により用いられる客観的ラウドネス測定法は、図１の長期ラウドネスレベリングモジュール１３０により用いられるものと同じである。

長期ラウドネスレベリングモジュール４１３は、ノミナル積分時間、例えば１０秒に設定される。この積分時間は、モジュールが１つのラウドネス数を計算するのに用いるＰＣＭサンプルの時間である。長期ラウドネスレベリングモジュール４１３は、積分時間より頻繁に動作する。しかし、動作するたびに、受け取ったＰＣＭサンプルの最後の「積分時間」にわたる測定値を表す数を出力する。長期ラウドネスレベリングモジュール４１３は、短期ラウドネスレベリングモジュール１２０と同じレートで動作することもでき、例えば５ミリ秒で、またはそれよりも低いまたは高いレートで動作することもできる。一例では、長期ラウドネスレベリングモジュール４１３は、２０ミリ秒ごとに動作してもよいし、または短期ラウドネスレベリングモジュール１２０が４回動作するたびに１回動作してもよい。

ラウドネス・基準レベル変換モジュール４１５は、式１−４の計算を行い、次式により、所望のラウドネス４４０を用いて、ゲイン値を入力基準レベルに変換する：
ＩＲＬ＝５４−所望のラウドネス＋ＧＶ ［６］

リアルタイムレベリングでは、オーディオ信号４１０は、入力基準レベルにより調整された後、短期ラウドネスレベリングモジュール１２０に渡され、図１を参照して説明したリアルタイムレベリングをするシステムにより処理される。すなわち、調整されたオーディオ信号は、短期ラウドネスレベリングモジュール１２０、長期ラウドネスレベリングモジュール１３０、ラウドネス・ゲイン変換モジュール１５０、及びオーディオ修正モジュール１７０に渡され、修正オーディオ信号４９１となる。

オフラインレベリングでは、オーディオ信号４１０は、入力基準レベルにより調整された後、図２を参照して説明したシステムにより処理される。すなわち、調整されたオーディオ信号は、短期ラウドネスレベリングモジュール２２０、メモリ２２５、長期ラウドネスレベリングモジュール２３０、ラウドネス・ゲイン変換モジュール２５０、及びオーディオ修正モジュール２７０に渡され、修正オーディオ信号４９２となる。

図７は、機械に、ここに説明する方法を実行させる一組の命令を実行できる、コンピュータシステム５００の形式でその機械を表す図である。別の実施形態では、機械は、スタンドアロン装置として動作し、または他のマシンに（ネットワークで）接続されていてもよい。ネットワーク展開では、機械は、サーバ・クライアント・ネットワーク環境におけるサーバまたはクライアントマシンとして、ホストマシンとして、またはピア・ツー・ピア（または分散）ネットワーク環境におけるピアマシンとして動作できる。機械は、パーソナルコンピュータ（ＰＣ）、タブレット、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、ウェブ機器、ネットワークルータ、スイッチまたはブリッジ、ゲームコンソール、テレビジョン、ＣＤプレーヤ、ＤＶＤプレーヤ、ＢＤプレーヤ、電子リーダー、またはそのマシンによる動作を指定する一組の命令を実行できる任意のマシンである。さらに、１つのマシンのみが示されていても、「機械（マシン）」との用語は、個々に、または共同して、ここに説明する方法を実行する一組の（または複数組の）命令を実行する複数のマシンの集まりを含む。

幾つかの実施形態では、コンピュータシステム５００は、プロセッサ５５０（例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、または両者など）、メインメモリ５６０（例えば、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）やラムバスＤＲＡＭ（ＲＤＲＡＭ）などのダイナミックアクセスメモリ（ＤＲＡＭ）など）、及び／またはスタティックメモリ５７０（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）を含み、これらはバス５９５を介して互いに通信する。

幾つかの実施形態では、コンピュータシステム５００はさらに、ビデオディスプレイユニット５１０（例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、エレクトロルミネッセントディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、表面伝導電子放射ディスプレイ（ＳＥＤ）、ナノクリスタルディスプレイ、３次元ディスプレイ、または陰極線管（ＣＲＴ））を有する。幾つかの実施形態では、コンピュータシステム５００は、英数字入力デバイス５１５（例えば、キーボード）、カーソル制御デバイス５２０（例えば、コントローラやマウス）、ディスクドライブユニット５３０、信号生成デバイス５４０（例えば、スピーカ）、及び／またはネットワークインタフェースデバイス５８０も有する。

ディスクドライブユニット５３０は、コンピュータ読み取り可能媒体５３４を含み、ここに説明する方法や機能を化体する１つ以上の組の命令（例えば、ソフトウェア５３６）を記憶している。ソフトウェア５３６は、コンピュータシステム５００、メインメモリ５６０及びプロセッサ５５０による実行の際には、完全にまたは少なくとも部分的に、メインメモリ５６０中に、及び／またはプロセッサ５５０中にある。プロセッサ５５０とメインメモリ５６０は、それぞれ命令５５４と５６４を有するコンピュータ読み取り可能媒体を構成する。ソフトウェア５３６は、ネットワークインタフェースデバイス５８０を介してネットワーク５９０により送受信され得る。

コンピュータ読み取り可能媒体５３４を実施形態では１つの媒体として示したが、「コンピュータ読み取り可能媒体」は、１つ以上の組の命令を記憶する、単一媒体または複数媒体（例えば、集中または分散データベース、及び／または関連するキャッシュとサーバ）を含むと解すべきである。「コンピュータ読み取り可能媒体」との用語は、そのマシンにより実行される一組の命令を記憶、エンコード、または担うことができ、そのマシンに、開示の実施形態の方法のいずれかを実行させる任意の媒体を含むと介すべきである。したがって、「コンピュータ読み取り可能媒体」との用語は、固体メモリ、光及び磁気媒体を含むが、これらに限定されない。

言うまでもなく、ここに説明したプロセスと手法は、特定の装置に本質的に関連するものではなく、コンポーネントの好適な組み合わせにより実施できる。さらに、様々なタイプの汎用デバイスを、ここに説明した教示により用いてもよい。ここに説明の方法の実行に特化した装置を構成しても都合がよい。当業者には言うまでもないが、ハードウェア、ソフトウェア、及びファームウェアの異なる多くの組み合わせが、開示の実施形態の実施のために好適である。

実施形態を具体的な例に関して説明したが、これはあらゆる点で例示であり、限定ではない。さらに、実施形態を多くの実施例と実装に関して説明したが、言うまでもなく、発明的実施形態の範囲内に留まりつつ、実施例に様々な修正や等価の構成を考えることができる。

他の実施形態は、ここに開示の実施形態の仕様とプラクティスを考慮すれば、当業者には明らかであろう。開示の実施形態の様々な態様及び／またはコンポーネントは、単独でまたは任意の組み合わせで用いることができる。仕様と実施例は単なる例示であり、開示の真の範囲と精神は特許請求の範囲に示されている。

Claims (24)

1. オーディオ信号におけるラウドネス変化をレベリングする方法であって、
   前記オーディオ信号と、前記オーディオ信号の所望のラウドネスとを受け取るステップと、
   短期積分時間を用いて前記オーディオ信号の短期ラウドネスを調節して、調節されたオーディオ信号を生成するステップであって、前記短期ラウドネスの調整は、スペクトル分析と人間の聴覚モデルとを用いて前記オーディオ信号を調整するステップを含む、ステップと、
   長期積分時間を用いて前記調整されたオーディオ信号の実際のラウドネスを測定するステップであって、前記長期積分時間は前記短期積分時間より長いステップと、
   前記所望のラウドネスと、前記オーディオ信号の実際のラウドネスとの間の差分を用いてゲイン値を計算するステップと、
   前記ゲイン値を用いて前記調整されたオーディオ信号を修正するステップとを有する、方法。
2. 前記オーディオ信号はパルス符号変調（ＰＣＭ）信号である、請求項１に記載の方法。
3. 前記調整されたオーディオ信号の実際のラウドネスは、客観的ラウドネス測定標準により測定される、請求項１に記載の方法。
4. 前記調整されたオーディオ信号の実際のラウドネスは、調整されたオーディオ信号が会話のみを含む時に測定される、請求項１に記載の方法。
5. 前記調整されたオーディオ信号の実際のラウドネスは間欠的に測定される、請求項１に記載の方法。
6. 前記調整されたオーディオ信号を記憶するステップをさらに有し、前記調整されたオーディオ信号の実際のラウドネスは前記調整されたオーディオ信号全体にわたり測定される、請求項１に記載の方法。
7. 前記オーディオ信号の短期ラウドネスを調整する前に、前記所望のラウドネスに等しい平均ラウドネスを有するように、前記オーディオ信号を調整するステップをさらに有する、請求項１に記載の方法。
8. 前記オーディオ信号の短期ラウドネスを調整する前に、前記所望のラウドネスと前記オーディオ信号の平均ラウドネスとの間の差分に等しい固定ゲインを前記オーディオ信号に適用するステップをさらに有する、請求項１に記載の方法。
9. オーディオ信号におけるラウドネス変化をレベリングするシステムであって、
   前記オーディオ信号と前記オーディオ信号の所望のラウドネスとを受け取り、短期積分時間を用いて前記オーディオ信号の短期ラウドネスを調節して、調節されたオーディオ信号を生成するように構成され、前記短期ラウドネスの調整は、スペクトル分析と人間の聴覚モデルとを用いて前記オーディオ信号を調整することを含む、短期ラウドネスレベリングモジュールと、
   長期積分時間を用いて、前記調整されたオーディオ信号の実際のラウドネスを測定するように構成された、前記長期積分時間は前記短期積分時間より長い、長期ラウドネスレベリングモジュールと、
   前記所望のラウドネスと前記調整されたオーディオ信号の実際のラウドネスとの間の差分を用いてゲイン値を計算するように構成されたラウドネス・ゲイン変換モジュールと、
   前記ゲイン値を用いて前記調整されたオーディオ信号を修正するように構成されたオーディオ修正モジュールとを有する、システム。
10. 前記短期ラウドネスレベリングモジュール、前記長期ラウドネスレベリングモジュール、前記ラウドネス・ゲイン変換モジュール、及び前記オーディオ修正モジュールのうち少なくとも一はプロセッサに含まれる、請求項９に記載のシステム。
11. 前記オーディオ信号はパルス符号変調（ＰＣＭ）信号である、請求項９に記載のシステム。
12. 前記長期ラウドネスレベリングモジュールは、客観的ラウドネス測定標準により前記調整されたオーディオ信号の実際のラウドネスを測定するように構成されている、請求項９に記載のシステム。
13. 前記長期ラウドネスレベリングモジュールは、前記オーディオ信号が会話のみを含む時、前記調整されたオーディオ信号の実際のラウドネスを測定するように構成されている、請求項９に記載のシステム。
14. 前記長期ラウドネスレベリングモジュールは、間欠的に前記調整されたオーディオ信号の実際のラウドネスを測定するように構成されている、請求項９に記載のシステム。
15. メモリをさらに有し、
    前記長期ラウドネスレベリングモジュールは、前記調整されたオーディオ信号全体にわたる前記調整されたオーディオ信号の実際のラウドネスを測定するように構成されている、請求項９に記載のシステム。
16. 前記所望のラウドネスと前記オーディオ信号の平均ラウドネスとの間の差分に等しいゲインを前記オーディオ信号に適用するように構成されたラウドネス・基準レベル変換モジュールをさらに有する、請求項９に記載のシステム。
17. コンピュータ実行可能命令を記憶したコンピュータ読み取り可能媒体であって、前記コンピュータ実行可能命令は、コンピュータに、
    前記オーディオ信号と、前記オーディオ信号の所望のラウドネスとを受け取るステップと、
    短期積分時間を用いて前記オーディオ信号の短期ラウドネスを調節して、調節されたオーディオ信号を生成するステップであって、前記短期ラウドネスの調整は、スペクトル分析と人間の聴覚モデルとを用いて前記オーディオ信号を調整するステップを含む、ステップと、
    長期積分時間を用いて前記調整されたオーディオ信号の実際のラウドネスを測定するステップであって、前記長期積分時間は前記短期積分時間より長いステップと、
    前記所望のラウドネスと、前記調整されたオーディオ信号の実際のラウドネスとの間の差分を用いてゲイン値を計算するステップと、
    前記ゲイン値を用いて前記調整されたオーディオ信号を修正するステップとを実行させる、コンピュータ読み取り可能媒体。
18. 前記オーディオ信号はパルス符号変調（ＰＣＭ）信号である、請求項１７に記載のコンピュータ読み取り可能媒体。
19. 前記調整されたオーディオ信号の実際のラウドネスは、客観的ラウドネス測定標準により測定される、請求項１７に記載のコンピュータ読み取り可能媒体。
20. 前記調整されたオーディオ信号の実際のラウドネスは、調整されたオーディオ信号が会話のみを含む時に測定される、請求項１７に記載のコンピュータ読み取り可能媒体。
21. 前記調整されたオーディオ信号の実際のラウドネスは間欠的に測定される、請求項１７に記載のコンピュータ読み取り可能媒体。
22. 前記調整されたオーディオ信号を記憶するステップをさらに有し、
    前記調整されたオーディオ信号の実際のラウドネスは、前記オーディオ信号全体にわたり測定される、
    請求項１７に記載のコンピュータ読み取り可能媒体。
23. 前記オーディオ信号の短期ラウドネスを調整する前に、前記所望のラウドネスに等しい平均ラウドネスを有するように、前記オーディオ信号を調整するステップをさらに有する、請求項１７に記載のコンピュータ読み取り可能媒体。
24. 前記オーディオ信号の短期ラウドネスを調整する前に、前記所望のラウドネスと前記オーディオ信号の平均ラウドネスとの間の差分に等しいゲインを前記オーディオ信号に適用するステップをさらに有する、請求項１７に記載のコンピュータ読み取り可能媒体。

Images