JP5622726B2 - オーディオエンコーダ、オーディオデコーダ、オーディオ信号を符号化および復号化する方法、オーディオストリームおよびコンピュータプログラム - Google Patents

オーディオエンコーダ、オーディオデコーダ、オーディオ信号を符号化および復号化する方法、オーディオストリームおよびコンピュータプログラム Download PDF

Info

Publication number
JP5622726B2
JP5622726B2 JP2011516991A JP2011516991A JP5622726B2 JP 5622726 B2 JP5622726 B2 JP 5622726B2 JP 2011516991 A JP2011516991 A JP 2011516991A JP 2011516991 A JP2011516991 A JP 2011516991A JP 5622726 B2 JP5622726 B2 JP 5622726B2
Authority
JP
Japan
Prior art keywords
spectral
value
noise
band
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011516991A
Other languages
English (en)
Other versions
JP2011527451A (ja
Inventor
ニコラウス レッテルバッハ
ニコラウス レッテルバッハ
グリルベルンハルト
ベルンハルト グリル
ギヨーム フックス
ギヨーム フックス
シュテファン ガヤーズベアガー
シュテファン ガヤーズベアガー
マルクス マルトラス
マルクス マルトラス
ハラルド ポップ
ハラルド ポップ
ユールゲン ヘレ
ユールゲン ヘレ
ヴァブニックシュテファン
シュテファン ヴァブニック
ゲラルド シューラー
ゲラルド シューラー
イェンス ヒルシュフェルト
イェンス ヒルシュフェルト
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40941986&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5622726(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ, フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2011527451A publication Critical patent/JP2011527451A/ja
Application granted granted Critical
Publication of JP5622726B2 publication Critical patent/JP5622726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明に係る実施形態は、入力オーディオ信号の変換ドメイン表現に基づいてオーディオストリームを提供するエンコーダに関する。本発明に係る更なる実施形態は、符号化されたオーディオストリームに基づいてオーディオ信号の復号化された表現を提供するデコーダに関する。本発明に係る更なる実施形態は、オーディオ信号を符号化およびオーディオ信号を復号化する方法を提供する。本発明に係る更なる実施形態は、オーディオストリームを提供する。本発明に係る更なる実施形態は、オーディオ信号を符号化するおよび復号化するコンピュータプログラムを提供する。
一般的に言って、本発明に係る実施形態はノイズ充填に関する。
オーディオ符号化のコンセプトは、しばしばオーディオ信号を周波数ドメインにおいて符号化する。例えば、いわゆる「高度オーディオ符号化」（ＡＡＣ）コンセプトは、音響心理学的なモデルを考慮に入れて、異なるスペクトルビン（または周波数ビン）の内容を符号化する。この目的のためには、異なるスペクトルビンのための強度情報は、符号化される。しかしながら、異なるスペクトルビンの強度の符号化に用いられる分解能は、異なるスペクトルビンの音響心理学的関連性に従って適応される。このように、低い音響心理学的関連性にあるとして考慮されたいくつかのスペクトルビンは、低い音響心理学的関連性にあるまたはその支配的な数にあると考慮されたスペクトルビンのいくつかがゼロに量子化されるように、非常に低い強度分解能によって符号化される。スペクトルビンの強度をゼロに量子化することは、量子化されたゼロ値が非常にビットを節約する方法で符号化することができるという利点をもたらし、ビットレートをできる限り小さく保つのに役立つ。にもかかわらず、音響心理学的モデルが、スペクトルビンが低い音響心理学的関連性にあることを示す場合であっても、ゼロに量子化されているスペクトルビンは、しばしば聞き取り可能なアーチフェクトに結果としてなる。
それ故に、オーディオエンコーダとオーディオデコーダの両方において、ゼロに量子化されているスペクトルビンを取扱いたいという願望がある。
変換ドメインオーディオ符号化システムにおいて、また音声コーダにおいて、ゼロに符号化されたスペクトルビンを取り扱う異なるアプローチが知られている。
例えば、ＭＰＥＧ―４「ＡＡＣ」（高度オーディオ符号化）は、知覚的ノイズ置換（ＰＮＳ）のコンセプトを用いる。知覚的ノイズ置換は、完全なスケールファクタバンドにノイズのみを充填する。ＭＰＥＧ―４ ＡＡＣに関する詳細は、例えば、国際標準ＩＳＯ／ＩＥＣ１４４９６-３（情報技術−視聴覚オブジェクトの符号化−パート３：オーディオ）に見られる。さらにまた、ＡＭＲ−ＷＢ＋音声コーダは、ランダムノイズベクトルを有するゼロに量子化されているベクトル量子化ベクトル（ＶＱベクトル）を置換し、各複合スペクトル値は、一定の振幅を有するがランダムな位相を有する。振幅は、ビットストリームによって送信される１つのノイズ値によって制御される。ＡＭＲ−ＷＢ＋音声コーダに関する詳細は、例えば、「第３世代パートナーシップ・プロジェクト、技術仕様書グループサービスとシステム状況、オーディオコーデック処理関数、拡張適応マルチレートワイドバンド（ＡＭＲ−ＷＢ＋）コーデック、変換符号化関数（リリース６）」と題された技術仕様書に見ることができ、「３ＧＰＰ ＴＳ２６．２９０ Ｖ６．３．０（２００５年６月）−技術仕様書」としても知られている。
更に、特許文献１は音声符号化コンセプトを記載する。この刊行物は、聞き取り可能であるが、知覚的関連性が少ないオリジナルのオーディオ信号（聞き取リ可能な）からの情報の選択された周波数バンドは符号化される必要はないがノイズ充填パラメータによって置換することができる手段を記載する。知覚的により関連するコンテンツを有するそれらの信号バンドは、対照的に、完全に符号化される。符号化ビットは、受信された信号の周波数スペクトルにおいて空隙を残すことのないこの方法で保存される。ノイズ充填パラメータは、問題のバンド内のＲＭＳ信号値の尺度であり、問題の周波数バンドにおいて注入するノイズの量を示すために、復号化アルゴリズムによって受信端で用いられる。
更なるアプローチは、デコーダにおいて、送信されたスペクトルの音調を考慮に入れてノイズ注入を提供する。
しかしながら、従来のコンセプトは、一般に、ノイズ充填の細分性に関して低い分解能を備え、通常は聴覚インプレッションを劣化させるか、または比較的大きな量のノイズ充填のサイド情報を必要とし、余分なビットレートを必要とするという問題をもたらす。
上記に鑑みて、達成可能な聴覚インプレッションと必要なビットレートの間の改良されたトレードオフを提供する改良されたノイズ充填のコンセプトに対するニーズがある。
欧州特許第１３９５９８０号明細書
本発明に係る実施形態は、入力オーディオ信号の変換ドメイン表現に基づいてオーディオストリームを提供するエンコーダを構築する。エンコーダは、個別のバンドゲイン情報（たとえば、個別のスケールファクタ）が利用可能な入力オーディオ信号の複数の周波数バンドにわたって（たとえば、複数のスケールファクタバンドに対して）、マルチバンド量子化誤差を決定するように構成された量子化誤差演算器を備える。エンコーダは、オーディオストリームが周波数バンドのオーディオコンテンツを記述する情報およびマルチバンド量子化誤差を記述する情報を備えるように、オーディオストリームを提供するように構成されたオーディオストリーム提供器を備える。
上記エンコーダは、マルチバンド量子化誤差情報の使用が、比較的少ない量のサイド情報に基づいて良好な聴覚インプレッションを得る可能性をもたらすという発見に基づいている。特に、個別のバンドゲイン情報が利用可能な複数の周波数バンドをカバーするマルチバンドの量子化誤差情報の使用は、バンドゲイン情報に依存して、マルチバンド量子化誤差に基づくデコーダ側でのノイズ値のスケーリングを可能とする。したがって、バンドゲイン情報は、通常は周波数バンドの音響心理学的な関連性または周波数バンドに適用される量子化精度に相関しているので、マルチバンド量子化誤差情報は、サイド情報として識別され、サイド情報のビットレートコストを低く保ちながら良好な聴覚インプレッションを提供する充填ノイズの合成を可能にする。
好ましい実施形態において、エンコーダは、異なる周波数バンドの音響心理学的関連性に依存して、バンドゲイン情報によって反映される異なる量子化精度を用いて変換ドメイン表現の異なる周波数バンドのスペクトル成分（例えばスペクトル係数）を量子化し、量子化されたスペクトル成分を取得するように構成された量子化器を備える。また、オーディオストリーム提供器は、オーディオストリームがバンドゲイン情報を記述する情報（例えばスケールファクタの形で）を備えるように、またオーディオストリームがマルチバンド量子化誤差を記述する情報を備えるように、オーディオストリームを提供するように構成される。
好ましい実施形態において、量子化誤差演算器は、スペクトル成分のバンドゲイン情報に依存して、整数値量子化の前に実行されるスケーリングが考慮されるように、量子化ドメインにおける量子化誤差を決定するように構成される。量子化ドメインにおける量子化誤差を考慮することによって、マルチバンド量子化誤差を算出するときに、スペクトルビンの音響心理学的関連性が考慮される。例えば、小さな知覚的関連性の周波数バンドに対して、絶対量子化誤差（非量子化ドメインにおいて）が大きいように、量子化は粗くてよい。対照的に、高い音響心理学的関連性のスペクトルバンドに対して、量子化は精細であり、非量子化ドメインにおける量子化誤差は小さい。意味のあるマルチバンド量子化誤差情報を得るように、高い音響心理学的関連性の周波数バンドにおける量子化誤差を、低い音響心理学的関連性と同等とするために、好ましい実施形態において、量子化誤差は（非量子化ドメインにおいてよりもむしろ）量子化ドメインにおいて演算される。
別の好ましい実施形態では、エンコーダは、ゼロに量子化されている（例えば、周波数バンドのすべてのスペクトルビンがゼロに量子化されているような）周波数バンドのバンドゲイン情報（例えばスケールファクタ）を、ゼロに量子化されている周波数バンドのエネルギーとマルチバンド量子化誤差のエネルギーの間の比率を表わす値にセットするように構成される。ゼロに量子化されている周波数バンドのスケールファクタを明確な値にセットすることによって、ノイズのエネルギーが少なくともゼロに量子化されている周波数バンドのオリジナルの信号エネルギにほぼ等しいように、ゼロに量子化されている周波数バンドにノイズを充填することが可能である。エンコーダにおいてスケールファクタを適応させることによって、デコーダは、複雑な例外処理（通常は、付加的なシグナリングを必要とする）の必要がないように、ゼロに量子化されている周波数バンドをゼロに量子化されない他のいかなる周波数バンドと同様に取り扱うことができる。むしろ、バンドゲイン情報（例えばスケールファクタ）を適応することによって、バンドゲイン値とマルチバンド量子化誤差情報の組み合せが、充填ノイズの便利な決定を可能にする。
好ましい実施形態において、量子化誤差演算器は、完全にゼロに量子化されている周波数バンドを避けながら、少なくとも一つの非ゼロ値に量子化されている周波数成分（例えば周波数ビン）を備える、複数の周波数バンドにわたるマルチバンド量子化誤差を決定するように構成される。完全にゼロに量子化されている周波数バンドが演算から省略される場合、マルチバンド量子化誤差情報は、特に意味のあることが分かっている。完全にゼロに量子化されている周波数バンドにおいて、量子化は通常は非常に粗いので、このような周波数バンドから取得される量子化誤差情報は通常は特に意味がない。むしろ、音響心理学的により関連した周波数バンドにおける量子化誤差は、完全にはゼロに量子化されず、デコーダ側での人間の聴覚に適応されたノイズ充填を可能とする、より意味のある情報を提供する。
本発明に係る実施形態は、オーディオ信号の周波数バンドのスペクトル成分を表わす符号化されたストリームに基づいてオーディオ信号の復号化表現を提供するデコーダを構築する。デコーダは、共通のマルチバンドノイズ強度値に基づいて個別の周波数バンドゲイン情報（例えば、スケールファクタ）が関係付けられた複数の周波数バンドのスペクトル成分（例えば、スペクトルライン値または、さらに一般的にいえば、スペクトルビン値）にノイズを導入するように構成されたノイズ充填器を備える。
デコーダは、単一のマルチバンドノイズ強度値は、個別の周波数バンド情報が異なる周波数バンドに関係付けられている場合に、ノイズ充填に対して良好な結果で適用することができるという発見に基づいている。したがって、例えば、単一の共通のマルチバンドノイズ強度値が、個別の周波数バンドゲイン情報と組み合せを取り入れられたとき、人間の音響心理学に適合する方法でノイズを導入するための充分な情報を提供するように、異なる周波数バンドに導入されるノイズの個々のスケーリングが周波数バンドゲイン情報に基づいて可能である。このように、本願明細書に記載されるコンセプトは、量子化された（しかしリスケーリングされていない）ドメインにおいてノイズ充填を適用することを可能とする。デコーダにおいて加えられるノイズは、（サイド情報を越えて、いずれにせよ周波数バンドの音響心理学的関連性に従って周波数バンドの非ノイズオーディオコンテンツをスケーリングするために必要な）付加的サイド情報を必要とすることなく、バンドの音響心理学的関連性によってスケーリングすることができる。
好ましい実施形態において、ノイズ充填器は、プレスペクトルビンに基づいて、周波数バンドの個々のスペクトルビンにノイズを導入するべきかどうかを、それぞれの個々のスペクトルビンがゼロに量子化されているか否かに依存して選択的に決定するように構成される。したがって、必要なサイド情報の量を非常に小さく保ちながら、非常に精細なノイズ充填の細分性を得ることが可能である。実際に、ノイズ充填に関して優れた細分性を依然として有しながら、いかなる周波数バンド特定ノイズ充填サイド情報を送信することも必要としない。例えば、前記周波数バンドの単一のスペクトルライン（または単一のスペクトルビン）のみが非ゼロ強度値に量子化されている場合であっても、周波数バンドに対してバンドゲインファクタ（例えばスケールファクタ）を送信することを通常は必要とする。
このように、周波数バンドの少なくとも一つのスペクトルライン（またはスペクトルビン）が、非ゼロ強度に量子化されている場合、スケールファクタ情報は、ノイズ充填に対して、追加コストなし（ビットレートに関して）で利用可能であるということができる。しかしながら、本発明の発見によれば、少なくとも一つの非ゼロスペクトルビン強度値が存在するような周波数バンドに適当なノイズ充填を得るために、周波数バンド特定ノイズ情報を転送する必要はない。むしろ、音響心理学的に良好な結果は、周波数バンド特定の周波数バンドゲイン情報（例えばスケールファクタ）と組み合わせたマルチバンドノイズ強度値を用いることによって取得できることが分かっている。このように、周波数バンド特定ノイズ充填情報にビットを浪費する必要はない。むしろ、このマルチバンドノイズ充填情報は、人間の聴覚予想によく適合する周波数バンド特定ノイズ充填情報を得るためにいずれにしろ送信される周波数バンドゲイン情報と組み合わせることができるので、単一のマルチバンドノイズ強度値の送信で充分である。
他の好ましい実施形態として、ノイズ充填器は、周波数ドメインオーディオ信号表現の第１の周波数バンドの異なるオーバーラップまたは非オーバーラップ周波数部分を表わす複数のスペクトルビン値を受信し、周波数ドメインオーディオ信号表現の第２の周波数バンドの異なるオーバーラップまたは非オーバーラップ周波数部分を表わす複数のスペクトルビン値を受信するように構成される。更に、ノイズ充填器は、複数の周波数バンドの第１の周波数バンドの一つ以上のスペクトルビン値を、その大きさがマルチバンドノイズ強度値によって決定される第１のスペクトルビンノイズ値と置換するように構成される。加えて、ノイズ充填器は、第２の周波数バンドの一つ以上のスペクトルビン値を、第１のスペクトルビンノイズ値と同じ大きさを有する第２のスペクトルビンノイズ値と置換するように構成される。デコーダ、また、第１および第２のスペクトルビンノイズ値と置換されたスペクトルビン値が異なる周波数バンドゲイン値でスケーリングされるように、第１のスペクトルビンノイズ値と置換されたスペクトルビン値、第１の周波数バンドのオーディオコンテンツを表わす第１の周波数バンドの置換されないスペクトルビン値が第１の周波数バンドゲイン値でスケーリングされるように、そして第２のスペクトルビンノイズ値と置換されたスペクトルビン値、第２の周波数バンドのオーディオコンテンツを表わす第２の周波数バンドの置換されないスペクトルビン値が第２の周波数バンドゲイン値でスケーリングされるように、第１の周波数バンドのスペクトルビン値を第１の周波数バンドゲイン値でスケーリングし、第１の周波数バンドのスケーリングされたスペクトルビン値を取得し、第２の周波数バンドのスペクトルビン値を第２の周波数バンドゲイン値でスケーリングし、第２の周波数バンドのスケーリングされたスペクトルビン値を取得するように構成されたスケーラを備える。
本発明に係る実施形態において、ノイズ充填器は、オプションとして、与えられた周波数バンドがゼロに量子化されている場合に、当該与えられた周波数バンドの周波数バンドゲイン値をノイズオフセット値を用いて選択的に修正するように構成される。したがって、ノイズオフセットが、サイド情報ビットを最小化するために役立つ。この最小化に関して、スケールファクタ（scf） の符号化は、引き続くスケールファクタ（scf） の差分のハフマン符号化を用いて実行されることに留意すべきである。小さな差分は、最も短いコードを取得する（一方、より大きな差分は、より大きなコードを取得する）。ノイズオフセットは、従来のスケールファクタ（ゼロに量子化されないバンドのスケールファクタ）からノイズスケールファクタへの遷移およびその逆において「平均差分」を最小化し、サイド情報に対するビット要求を最適化する。これは、含まれるラインは ＞＝１でないが、平均量子化誤差ｅ（通常は０＜ｅ＜０．５）に対応するので、通常は「ノイズスケールファクタ」は従来のスケールファクタより大きいという事実による。
好ましい実施形態において、ノイズ充填器は、予め定められたスペクトルビンインデックスより上に最低スペクトルビン係数を有し、予め定められたスペクトルビンインデックスより下に最低スペクトルビン係数を有する周波数バンドのスペクトルビン値が影響されないように残している周波数バンドに対してのみ、ゼロに量子化されているスペクトルビンのスペクトルビン値を、大きさがマルチバンドノイズ強度値に依存しているスペクトルビンノイズ値で置換し、置換されたスペクトルビン値を取得するように構成される。加えて、ノイズ充填器は、好ましくは、与えられた周波数バンドが完全にゼロに量子化されている場合に、予め定められたスペクトルビンインデックスより上に最低スペクトルビン係数を有する周波数バンドに対して、与えられた周波数バンドに対するバンドゲイン値（例えばスケールファクタ値）をノイズオフセット値に依存して選択的に修正するように構成される。好ましくは、ノイズ充填は、予め定められたスペクトルビンインデックスより上に実行されるだけである。ノイズオフセットは、好ましくはゼロに量子化されているバンドに適用されるだけであり、好ましくは予め定められたスペクトルビンインデックスより下に適用されない。さらに、デコーダは、好ましくは、選択的に修正されたまたは修正されないバンドゲイン値を選択的に置換されたまたは置換されないスペクトルビン値に適用し、オーディオ信号を表わすスケーリングされたスペクトル情報を取得するように構成されたスケーラを備える。このアプローチを用いて、デコーダは、ノイズ充填によってシビアに劣化されない非常にバランスのよい聴覚インプレッションに到達する。下部の周波数バンドにおけるノイズ充填は聴覚インプレッションの望ましくない劣化をもたらすので、ノイズ充填は（予め定められたスペクトルビンより上に最低スペクトルビン係数を有する）上部の周波数バンドにのみ適用される。他方では、上部の周波数バンドにおけるノイズ充填を実行することは好ましい。場合によっては、下部のスケールファクタバンド（sfb） は、（上部のスケールファクタバンドより）精細に量子化されることに留意すべきである。
本発明に係る他の実施形態は、入力オーディオ信号の変換ドメイン表現に基づいてオーディオストリームを提供する方法を構築する。
本発明に係る他の実施形態は、符号化されたオーディオストリームに基づいてオーディオ信号の復号化表現を提供する方法を構築する。
本発明に係る更なる実施形態は、前述の方法の一つ以上を実行するためのコンピュータプログラムを構築する。
本発明に係る更なる実施形態は、オーディオ信号を表わすオーディオストリームを構築する。オーディオストリームは、オーディオ信号のスペクトル成分の強度を記述する、異なる周波数バンドにおいて異なる量子化精度によって量子化されたスペクトル情報を備える。オーディオストリームは、また、複数の周波数バンドにわたるマルチバンド量子化誤差を記載し、異なる量子化精度を考慮するノイズレベル情報を備える。上記で説明したように、このようなストリームは、オーディオコンテンツの効率的な復号化を可能とし、達成可能な聴覚インプレッションと必要なビットレートの間の良好なトレードオフが得られる。
本発明の一実施形態に係るエンコーダの概略ブロック図を示す。 本発明の他の実施形態に係るエンコーダの概略ブロック図を示す。 本発明の一実施形態に係る拡張高度オーディオ符号化（ＡＡＣ）の概略ブロック図（上部）を示す。 本発明の一実施形態に係る拡張高度オーディオ符号化（ＡＡＣ）の概略ブロック図（下部）を示す。 本発明の一実施形態に係る拡張高度オーディオ符号化（ＡＡＣ）の概略ブロック図を示す。 オーディオ信号の符号化のために実行されるアルゴリズムの疑似コードプログラムリストを示す。 オーディオ信号の符号化のために実行されるアルゴリズムの疑似コードプログラムリストを示す。 本発明の一実施形態に係るデコーダの概略ブロック図を示す。 本発明の他の実施形態に係るデコーダの概略ブロック図を示す。 本発明の一実施形態に係る拡張ＡＡＣ（高度オーディオ符号化）の概略ブロック図を示す。 本発明の一実施形態よる拡張ＡＡＣ（高度オーディオ符号化）の概略ブロック図を示す。 図７の拡張ＡＡＣデコーダにおいて実行することができる逆量子化の数学的表現を示す。 図７の拡張ＡＡＣデコーダにおいて実行することができる逆量子化のアルゴリズムの疑似コードプログラムリストを示す。 逆量子化のフローチャート表現を示す。 図７の拡張ＡＡＣデコーダにおいて用いることができるノイズ充填器およびリスケーラの概略ブロック図を示す。 図７に示されたノイズ充填器または図９に示されたノイズ充填器によって実行することができるアルゴリズムの疑似プログラムコード表現を示す。 図１０ａの疑似プログラムコードの要素の符号を示す。 図７のノイズ充填器または図９のノイズ充填器において実装することができる方法のフローチャートを示す。 図１１の方法の図解説明を示す。 図７に示されたノイズ充填器または図９に示されたノイズ充填器によって実行することができるアルゴリズムの疑似プログラムコード表現を示す。 図７に示されたノイズ充填器または図９に示されたノイズ充填器によって実行することができるアルゴリズムの疑似プログラムコード表現を示す。 本発明の一実施形態に係るオーディオストリームのビットストリーム要素の表現を示す。 本発明の一実施形態に係るオーディオストリームのビットストリーム要素の表現を示す。 本発明の一実施形態に係るオーディオストリームのビットストリーム要素の表現を示す。 本発明の一実施形態に係るオーディオストリームのビットストリーム要素の表現を示す。 本発明の他の実施形態に係るビットストリームのグラフィック表現を示す。
１．エンコーダ
１．１ 図１に係るエンコーダ
図１は、本発明の実施形態に係る入力オーディオ信号の変換ドメイン表現に基づいてオーディオストリームを提供するエンコーダの概略ブロック図を示す。
図１のエンコーダ１００は、量子化誤差演算器１１０およびオーディオストリーム提供器１２０を備える。量子化誤差演算器１１０は、第１の周波数バンドゲイン情報が利用可能な第１の周波数バンドに関する情報１１２および第２の周波数バンドゲイン情報が利用可能な第２の周波数バンドに関する情報１１４を受信するように構成される。量子化誤差演算器は、個別のバンドゲイン情報が利用可能な入力オーディオ信号の複数の周波数バンド上のマルチバンド量子化誤差を決定するように構成される。例えば、量子化誤差演算器１１０は、第１の周波数バンドおよび第２の周波数バンド上のマルチバンド量子化誤差を情報１１２、１１４を用いて決定するように構成される。したがって、量子化誤差演算器１１０は、マルチバンド量子化誤差を記述する情報１１６をオーディオストリーム提供器１２０に提供するように構成される。オーディオストリーム提供器１２０は、また、第１の周波数バンドを記述する情報１２２および第２の周波数バンドを記述する情報１２４を受信するように構成される。加えて、オーディオストリーム提供器１２０は、オーディオストリーム１２６が情報１１６の表現、そしてまた第１の周波数バンドおよび第２の周波数バンドのオーディオコンテンツの表現を備えるように、オーディオストリーム１２６を提供するように構成される。
したがって、エンコーダ１００は、ノイズ充填を用いて周波数バンドのオーディオコンテンツの効率的な復号化を可能とする情報コンテンツを備えるオーディオストリーム１２６を提供する。特に、エンコーダによって提供されるオーディオストリーム１２６は、ビットレートとノイズ充填符号化のフレキシビリティの間の良好なトレードオフをもたらす。
１．２ 図２に係るエンコーダ
１．２．１ エンコーダの概要
以下に、国際規格ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）、情報技術−オーディオ・ビジュアルオブジェクトの符号化−パート３：オーディオ、サブパート４：一般的オーディオ符号化−ＡＡＣ、ツインＶＱ、ＢＳＡＣに記載されたオーディオエンコーダに基づく、本発明の一実施形態に係る改良されたオーディオコーダが記載される。
図２に係るオーディオエンコーダ２００は、特に、ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）、パート３：オーディオ、サブパート４、第４．１節に記載されているオーディオエンコーダに基づいている。しかしながら、オーディオエンコーダ２００は、ＩＳＯ／ＩＥＣ１４４９４−３：２００５（Ｅ）のオーディオエンコーダの厳密な機能を実装する必要はない。
オーディオエンコーダ２００は、例えば、入力時間信号２１０を受信し、それに基づいて符号化されたオーディオストリーム２１２を提供するように構成することができる。信号処理パスは、オプションのダウンサンプラ２２０、オプションのＡＡＣゲイン制御２２２、ブロック・スイッチング・フィルタバンク２２４、オプションの信号処理２２６、拡張ＡＡＣエンコーダ２２８およびビットストリームペイロードフォーマッタ２３０を備えることができる。しかしながら、エンコーダ２００は、通常は音響心理学的モデル２４０を備える。
非常に単純なケースにおいて、エンコーダ２００は、ブロックスイッチング／フィルタバンク２２４、拡張ＡＡＣエンコーダ２２８、ビットストリームペイロードフォーマッタ２３０および音響心理学的モデル２４０のみを備え、他の構成要素（特に構成要素２２０、２２２、２２６）は単にオプションであると考えるべきである。
単純なケースにおいて、ブロックスイッチング／フィルタバンク２２４は、入力時間信号２１０（オプションとしてダウンサンプラ２２０によってダウンサンプルされ、オプションとしてＡＡＣゲイン制御器２２２によってゲインにおいてスケーリングされた）を受信し、それに基づいて周波数ドメイン表現２２４ａを提供する。周波数ドメイン表現２２４ａは、例えば、入力時間信号２１０のスペクトルビンの強度（例えば振幅またはエネルギー）を記述する情報を備えることができる。例えば、ブロックスイッチング／フィルタバンク２２４は、修正離散コサイン変換（ＭＤＣＴ）を実行し、入力時間信号２１０から周波数ドメイン値を導き出すように構成することができる。周波数ドメイン表現２２４ａは、異なる周波数バンドに論理的に分割することができ、「スケールファクタバンド」としても示される。例えば、ブロックスイッチング／フィルタバンク２２４は、多数の異なる周波数ビンに対して、スペクトル値（周波数ビン値としても示される）を提供するとみなされる。周波数ビンの数は、とりわけ、フィルタバンク２２４に入力される窓の長さによって決定され、またサンプリング（ビット）レートに依存する。しかしながら、周波数バンドまたはスケールファクタバンドは、ブロックスイッチング／フィルタバンクによって提供されるスペクトル値のサブセットを定義する。スケールファクタバンドの定義に関する詳細は、当業者に公知であり、ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）、パート３、サブパート４にも記載されている。
拡張ＡＡＣエンコーダ２２８は、ブロックスイッチング／フィルタバンク２２４によって、入力時間信号２１０（またはそれの前処理されたバージョン）に基づいて、入力情報２２８ａとして提供されるスペクトル値２２４ａを受信する。図２から分かるように、拡張ＡＡＣエンコーダ２２８の入力情報２２８ａは、オプションのスペクトル処理２２６の一つ以上の処理ステップを用いてスペクトル値２２４ａから導き出すことができる。スペクトル処理２２６のオプションの前処理ステップに関する詳細に対して、ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）およびそこで参照された更なる規格が参照される。
拡張ＡＡＣエンコーダ２２８は、複数のスペクトルビンに対してスペクトル値の形で入力情報２２８ａを受信し、それに基づいて、スペクトルの量子化され、ノイズレスに符号化された表現２２８ｂを提供するように構成される。この目的のため、拡張ＡＡＣエンコーダ２２８は、例えば、音響心理学的モデル２４０を用いて入力オーディオ信号２１０（またはそれの前処理されたバージョン）から導き出された情報を用いることができる。一般的に言って、拡張ＡＡＣエンコーダ２２８は、スペクトル入力情報２２８ａの異なる周波数バンド（またはスケールファクタバンド）の符号化に対してどの精度を適用すべきかを決定するために、音響心理学的モデル２４０によって提供される情報を用いることができる。このように、拡張ＡＡＣエンコーダ２２８は、一般に、異なる周波数バンドに対するその量子化精度を、入力時間信号２１０の特定の特性に、そしてまた利用可能なビット数に適応することができる。このように、拡張ＡＡＣエンコーダは、例えば、量子化され、ノイズレスに符号化されたスペクトルを表わす情報が適当なビットレート（または平均ビットレート）を備えるように、その量子化精度を調整することができる。
ビットストリームペイロードフォーマッタ２３０は、予め定められた構文に従って、量子化され、ノイズレスに符号化されたスペクトルを表わす情報２２８ｂを符号化されたオーディオストリーム２１２に含むように構成される。
ここで記載されたエンコーダ要素の機能に関する更なる詳細について、ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）（その付録４．Ｂを含む）、およびまたＩＳＯ／ＩＥＣ１３８１８−７：２００３が参照される。
更に、ＩＳＯ／ＩＥＣ１３８１８−７：２００５、サブ条項Ｃ１〜Ｃ９が参照される。
さらにまた、用語に関しては、ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）、パート３：オーディオ、サブパート１：メインが特に参照される。
加えて、ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）、パート３：オーディオ、サブパート４：一般的なオーディオ符号化（ＧＡ）−ＡＡＣ、ツインＶＱ、ＢＳＡＣが特に参照される。
１．２．２ エンコーダ詳細
以下に、エンコーダに関する詳細が、図３ａ、３ｂ、４ａおよび４ｂを参照して記載される。
図３ａおよび３ｂは、本発明の一実施形態に係る拡張ＡＡＣエンコーダの概略ブロック図を示す。拡張ＡＡＣエンコーダは、２２８で示され、図２の拡張ＡＡＣエンコーダ２２８の代わりをすることができる。拡張ＡＡＣエンコーダ２２８は、入力情報２２８ａとして、スペクトルラインの大きさベクトルを受信するように構成され、スペクトルラインの大きさベクトルは、時には mdct_line (0..1023) で示される。拡張ＡＡＣエンコーダ２２８は、また、ＭＤＣＴレベルの最大許容誤差エネルギーを記述するコーデックスレショルド情報２２８ｃを受信する。コーデックスレショルド情報２２８ｃは、通常は、異なるスケールファクタバンドに対して個別に提供され、音響心理学的モデル２４０を用いて生成される。コーデックスレショルド情報２２８ｃは、時には xmin (sb) で示され、パラメータ sb は、スケールファクタバンドの依存性を示す。拡張ＡＡＣエンコーダ２２８は、また、スペクトルラインの大きさベクトル２２８ａによって表現されるスペクトルを符号化するために利用可能なビット数を記述するビット数情報２２８ｄを受信する。例えば、ビット数情報２２８ｄは、平均ビット情報（mean_bits で示される）および付加的ビット情報（more_bits で示される）を備えることができる。拡張ＡＡＣエンコーダ２２８は、また、例えば、スケールファクタバンドの数と幅を記述するスケールファクタバンド情報２２８ｅを受信するように構成される。
拡張ＡＡＣエンコーダは、x_quant (0..1023) で示される、スペクトルラインの量子化値のベクトル３１２を提供するように構成されたスペクトル値量子化器３１０を備える。スペクトル値量子化器３１０は、スケーリングを含み、また、各スケールファクタバンドに対して一つのスケールファクタと、さらには共通のスケールファクタ情報を表わすことができるスケールファクタ情報３１４を提供するように構成される。更に、スペクトル値量子化器３１０は、スペクトル値の大きさのベクトル２２８ａを量子化するために用いられるビット数を記述することができるビット使用情報３１６を提供するように構成することができる。実際、スペクトル値量子化器３１０は、ベクトル２２８ａの異なるスペクトル値を、異なるスペクトル値の音響心理学的関連性に依存する異なる精度で量子化するように構成される。この目的のため、スペクトル値量子化器３１０は、ベクトル２２８ａのスペクトル値を、スケールファクタバンドに依存する異なるスケールファクタを用いてスケーリングし、結果として生じたスケーリングされたスペクトル値を量子化する。通常は、音響心理学的に重要なスケールファクタバンドに関係付けられたスペクトル値は、音響心理学的に重要なスケールファクタバンドのスケーリングされたスペクトル値が大きな値の範囲をカバーするように、大きいスケールファクタでスケーリングされる。対照的に、音響心理学的により重要でないスケールファクタバンドのスペクトル値は、音響心理学的により重要でないスケールファクタバンドのスケーリングされたスペクトル値がより小さな値の範囲のみをカバーするように、より小さいスケールファクタによってスケーリングされる。スケーリングされたスペクトル値は、次に、例えば、整数値に量子化される。この量子化において、音響心理学的により重要でないスケールファクタバンドのスペクトル値は小さいスケールファクタのみによってスケーリングされるので、音響心理学的により重要でないスケールファクタバンドのスケーリングされたスペクトル値の多くはゼロに量子化される。
その結果、音響心理学的により関連したスケールファクタバンドのスペクトル値は、（前記より関連したスケールファクタバンドのスケーリングされたスペクトルラインは、大きな値の範囲、そしてそれ故に多くの量子化ステップをカバーするので）高精度で量子化され、その一方で、音響心理学的により重要でないスケールファクタバンドのスペクトル値は、（前記より重要でないスケールファクタバンドのスケーリングされたスペクトル値は、より小さな値の範囲をカバーし、そしてそれ故により異ならない量子化ステップに量子化されるので）より低い量子化精度で量子化される。
スペクトル値量子化器３１０は、通常は、コーデックスレショルド２２８ｃおよびビット数情報２２８ｄを用いて適当なスケールファクタを決定するように構成される。通常は、スペクトル値量子化器３１０は、また、適当なスケールファクタを単独で決定するように構成される。スペクトル値量子化器３１０の可能な実施態様に関する詳細は、ＩＳＯ／ＩＥＣ１４４９６−３：２００１、第４章Ｂ．１０に記載されている。加えて、スペクトル値量子化器の実施態様は、ＭＰＥＧ４符号化技術において当業者にとって周知である。
拡張ＡＡＣエンコーダ２２８は、また、例えば、スペクトル値の大きさのベクトル２２８ａ、スペクトルラインの量子化値のベクトル３１２、およびスケールファクタ情報３１４を受信するように構成されたマルチバンド量子化誤差演算器３３０を備える。
マルチバンド量子化誤差演算器３３０は、例えば、ベクトル２２８ａのスペクトル値の量子化されないスケーリングされたバージョン（例えば、非線形スケーリングオペレーションとスケールファクタを用いてスケーリングされた）と、スペクトル値のスケーリングされ、量子化されたバージョン（例えば、非線形スケーリングオペレーションとスケールファクタを用いてスケーリングされ、「整数」丸めオペレーションを用いて量子化された）と間の偏差を決定するように構成される。加えて、マルチバンド量子化誤差演算器３３０は、複数のスケールファクタバンド上の平均量子化誤差を演算するように構成することができる。マルチバンド量子化誤差演算器３３０は、好ましくは、量子化ドメインにおける（より正確に言うと音響心理学的にスケーリングされたドメインにおける）マルチバンド量子化誤差を、音響心理学的に関連するスケールファクタバンドにおける量子化誤差が、音響心理学的により関連しないスケールファクタバンドにおける量子化誤差と比較したときに重み付けにおいて強調されるように、演算することに留意すべきである。マルチバンド量子化誤差演算器のオペレーションに関する詳細は、図４ａおよび４ｂを参照して、引き続いて記載される。
拡張ＡＡＣエンコーダ２２８は、スペクトル値量子化器３１０によって提供される量子化値のベクトル３１２およびスケールファクタ情報３１４と、マルチバンド量子化誤差演算器３３０によって提供されるマルチバンド量子化誤差情報３３２を受信するように構成されたスケールファクタ適応器３４０を備える。
スケールファクタ適応器３４０は、「ゼロに量子化されている」スケールファクタバンド、すなわちすべてのスペクトル値（またはスペクトルライン）がゼロに量子化されているスケールファクタバンドを識別するように構成される。完全にゼロに量子化されているこのようなスケールファクタバンドに対して、スケールファクタ適応器３４０は、それぞれのスケールファクタを適応させる。例えば、スケールファクタ適応器３４０は、完全にゼロに量子化されているスケールファクタバンドのスケールファクタを、それぞれのスケールファクタバンドの残余エネルギー（量子化前の）とマルチバンド量子化誤差３３２のエネルギーの間の比率を表わす値にセットすることができる。したがって、スケールファクタ適応器３４０は、適応されたスケールファクタ３４２を提供する。スペクトル値量子化器３１０によって提供されるスケールファクタと、スケールファクタ適応器によって提供される適応されたスケールファクタの両方が、文献においておよびまた本願のなかで「スケールファクタ (sb)」、「scf[band]」、「sf[g][sfb]」、「scf[g][sfb]」で示されることに留意すべきである。スケールファクタ適応器３４０のオペレーションに関する詳細は、図４ａおよび４ｂを参照して、引き続いて記載される。
拡張ＡＡＣエンコーダ２２８は、また、例えば、ＩＳＯ／ＩＥＣ１４４９６−３：２００１、４．Ｂ．１１章において説明されているノイズレス符号化３５０を備える。端的に言えば、ノイズレス符号化３５０は、スペクトルラインの量子化値のベクトル３１２（「スペクトルの量子化値」としても示される）、スケールファクタの整数表現３４２（スペクトル値量子化器３１０によって提供されるような、またはスケールファクタ適応器３４０によって適応されるような）、およびまたマルチバンド量子化誤差演算器３３０によって提供されるノイズ充填パラメータ３３２（例えば、ノイズレベル情報の形における）を受信する。
ノイズレス符号化３５０は、スペクトル係数符号化３５０ａを備え、スペクトルラインの量子化値３１２を符号化し、スペクトルラインの量子化された符号化値３５２を提供する。スペクトル係数符号化に関する詳細は、例えば、ＩＳＯ／ＩＥＣ１４４９６−３：２００１の４．Ｂ．１１．２、４．Ｂ．１１．３、４．Ｂ．１１．４および４．Ｂ．１１．６章に記載されている。ノイズレス符号化３５０は、また、スケールファクタの整数表現３４２を符号化するスケールファクタ符号化３５０ｂを備え、符号化されたスケールファクタ情報３５４を取得する。ノイズレス符号化３５０は、また、一つ以上のノイズ充填パラメータ３３２を符号化するためのノイズ充填パラメータ符号化３５０ｃを備え、一つ以上の符号化されたノイズ充填パラメータ３５６を取得する。従って、拡張ＡＡＣエンコーダは、量子化され、ノイズレスに符号化されたスペクトルを記述する情報を提供し、この情報はスペクトルラインの量子化された符号化値、符号化されたスケールファクタ情報、および符号化されたノイズ充填パラメータ情報を備える。
以下に、図４ａおよび４ｂを参照して、発明の拡張ＡＡＣエンコーダ２２８のキー要素であるマルチバンド量子化誤差演算器３３０およびスケールファクタ適応器３４０の機能が説明される。この目的のため、図４ａは、マルチバンド量子化誤差演算器３３０およびスケールファクタ適応器３４０によって実行されるアルゴリズムのプログラムリストを示す。
図４ａの疑似コードのライン１〜１２によって表されるアルゴリズムの第１パートは、マルチバンド量子化誤差演算器３３０によって実行される平均量子化誤差の演算を備える。平均量子化誤差の演算は、例えば、ゼロに量子化されているものを除いて、すべてのスケールファクタバンド上で実行される。スケールファクタバンドが完全にゼロに量子化されている（すなわち、スケールファクタバンドのすべてのスペクトルラインがゼロに量子化されている）場合は、前記スケールファクタバンドは、平均量子化誤差の演算に対してスキップされる。しかしながら、スケールファクタバンドが完全にゼロに量子化されていない（すなわち、ゼロに量子化されていない少なくとも一つのスペクトルラインを備える）場合は、前記スケールファクタバンドのすべてのスペクトルラインは、平均量子化誤差の演算に対して考慮される。平均量子化誤差は、量子化ドメインにおいて（または、より正確に言うと、スケーリングされたドメインにおいて）演算される。平均誤差への貢献度の演算は、図４ａの疑似コードの第７行に見ることができる。特に、第７行は、平均誤差への単一のスペクトルラインの貢献度を示し、平均化はすべてのスペクトルライン上で実行される（ここで、nLines は、全部の考慮されるラインの数を示す）。
疑似コードの第７行に見られるように、平均誤差へのスペクトルラインの貢献度は、量子化されないでスケーリングされたスペクトルラインの大きさ値と量子化されてスケーリングされたスペクトルラインの大きさ値の差の絶対値（「fabs」−オペレータ）である。量子化されないでスケーリングされたスペクトルラインの大きさ値において、大きさ値「line」（それは、mdct_line に等しくてもよい）は、べき関数（ pow(line, 0.75) = line0.75 ）を用いて、およびスケールファクタ（例えばスペクトル値量子化器３１０によって提供されるスケールファクタ３１４）を用いて、非線形にスケーリングされる。量子化されてスケーリングされたスペクトルラインの大きさ値の演算において、スペクトルラインの大きさ値「line」は、上述のべき関数を用いておよび上述のスケールファクタを用いて、非線形にスケーリングすることができる。この非線形および線形のスケーリングの結果は、整数オペレータ「(INT)」を用いて量子化することができる。疑似コードの第７行に示されたような演算を用いて、音響心理学的により重要なおよび音響心理学的により重要でない周波数バンド上の量子化の異なるインパクトが考慮される。
（平均）マルチバンド量子化誤差（avgError） の演算に続いて、平均量子化誤差は、疑似コードの第１３行および第１４行に示されたように、オプションとして量子化することができる。ここで示されたようなマルチバンド量子化誤差の量子化は、量子化誤差がビット効率的な方法で表わすことができるように、量子化誤差の予想される値の範囲および統計的特性に特に適応される点に留意すべきである。しかしながら、マルチバンド量子化誤差の他の量子化を適用することもできる。
第１５〜２５行において表されたアルゴリズムの第３パートは、スケールファクタ適応器３４０によって実行することができる。アルゴリズムの第３パートは、完全にゼロに量子化されているスケールファクタ周波数バンドのスケールファクタを、良い聴覚インプレッションをもたらす単純なノイズ充填を可能とする明確な値にセットするのに役立つ。アルゴリズムの第３パートは、オプションとして、ノイズレベル（例えばマルチバンド量子化誤差３３２によって表された）の逆量子化を備える。アルゴリズムの第３パートは、また（ゼロに量子化されないスケールファクタバンドのスケールファクタが影響されないように残しながら）ゼロに量子化されているスケールファクタバンドに対する置換スケールファクタ値の演算を備える。例えば、特定のスケールファクタバンド（「band」）に対する置換スケールファクタ値は、図４ａのアルゴリズムの第２０行に示された式を用いて演算される。この式において、「(INT)」は整数オペレータを表わし、「2.f」は浮動小数点表現における数「２」を表わし、「log」は対数オペレータを示し、「energy」は（量子化前の）考慮中のスケールファクタバンドのエネルギーを示し、「(float)」は浮動小数点オペレータを示し、「sfbWidth」はスペクトルライン（またはスペクトルビン）に関する特定のスケールファクタバンドの幅を示し、「noiseVal」はマルチバンド量子化誤差を記述するノイズ値を示す。従って、置換スケールファクタは、考慮中の特定のスケールファクタバンドの周波数ビン毎の平均エネルギー（energy/sfbWidth） とマルチバンド量子化誤差のエネルギー（noiseVal2） の間の比率を記述する。
１．２．３ エンコーダの結論
本発明に係る実施形態は、新型のノイズレベル演算を有するエンコーダを構築する。ノイズレベルは、量子化ドメインにおいて平均量子化誤差に基づいて演算される。
量子化ドメインにおいて量子化誤差を演算することは、例えば、異なる周波数バンド（スケールファクタバンド）の音響心理学的関連性が考慮されるので、重要な利点をもたらす。量子化ドメインにおけるライン毎の（すなわちスペクトルライン毎のまたはスペクトルビン毎の）量子化誤差は、通常は［−０．５；０．５］（１量子化レベル）の範囲にあり、 ０．２５の平均絶対誤差（通常１より大きい標準的に分散された入力値に対して）を有する。マルチバンド量子化誤差に関する情報を提供するエンコーダを用いた、量子化ドメインにおけるノイズ充填の利点は、引き続いて記載されるように、エンコーダにおいて利用することができる。
エンコーダにおけるノイズレベル演算およびノイズ置換検出は、次のステップを備えることができる。
・ノイズ置換によってデコーダにおいて知覚的に等価に再生することができるスペクトルバンドを検出し、マークする。
例えば、音調またはスペクトル平坦度尺度は、この目的のために照合することができる。
・平均量子化誤差（それはゼロに量子化されないすべてのスケールファクタバンド上で演算することができる）を演算し、量子化する。
・（デコーダが）導入したノイズがオリジナルのエネルギーにマッチするように、ゼロに量子化されているバンドに対してスケールファクタ(scf) を演算する。
適当なノイズレベルの量子化は、マルチバンド量子化誤差を記述する情報を移送するために必要なビット数を作り出すのを助けることができる。例えば、ノイズレベルは、人間の音量感覚を考慮して、対数ドメインにおいて８量子化レベルに量子化することができる。例えば、図４ｂに示されたアルゴリズムを用いることができ、ここで「(INT)」は整数オペレータを示し、「LD」は２を底とする対数オペレータを示し、「meanLineError」は周波数ライン毎の量子化誤差を示す。「min(.,.)」は最小値オペレータを示し、「max(.,.)」は最大値オペレータを示す。
２．デコーダ
２．１ 図５に係るデコーダ
図５は、本発明の一実施形態に係るデコーダの概略ブロック図を示す。デコーダ５００は、符号化されたオーディオ情報を、例えば、符号化されたオーディオストリーム５１０の形で受信し、それに基づいて、オーディオ信号の復号化表現を、例えば、第１の周波数バンドのスペクトル成分５２２および第２の周波数バンドのスペクトル成分５２４に基づいて提供するように構成される。デコーダ５００は、第１の周波数バンドゲイン情報が関係付けられた第１の周波数バンドのスペクトル成分の表現５２２および第２の周波数バンドゲイン情報が関係付けられた第２の周波数バンドのスペクトル成分の表現５２４を受信するように構成されたノイズ充填器５２０を備える。更に、ノイズ充填器５２０は、マルチバンドノイズ強度値の表現５２６を受信するように構成される。更に、ノイズ充填器は、共通のマルチバンドノイズ強度値５２６に基づいて、個別の周波数バンドゲイン情報（例えばスケールファクタの形の）が関係付けられた複数の周波数バンドのスペクトル成分に（例えばスペクトルライン値またはスペクトルビン値に）ノイズを導入するように構成される。例えば、ノイズ充填器５２０は、第１の周波数バンドのノイズに影響されたスペクトル成分５１２を取得するために第１の周波数バンドのスペクトル成分５２２にノイズを導入し、また更に第２の周波数バンドのノイズに影響されたスペクトル成分５１４を取得するために第２の周波数バンドのスペクトル成分５２４にノイズを導入するように構成することができる。
単一のマルチバンドノイズ強度値５２６によって記述されたノイズを、異なる周波数バンドゲイン情報が関係付けられた異なる周波数バンドのスペクトル成分に適用することによって、周波数バンドゲイン情報によって表された異なる周波数バンドの異なる音響心理学的関連性を考慮して、非常に微調整された方法でノイズを導入することができる。このように、デコーダ５００は、非常に小さい（ビット効率的な）ノイズ充填サイド情報に基づいて、時間調整されたノイズ充填を実行することができる。
２．２ 図６に係るデコーダ
２．２．１ デコーダの概要
図６は、本発明の一実施形態に係るデコーダ６００の概略ブロック図を示す。
デコーダ６００は、国際規格が参照されるように、ＩＳＯ／ＩＥＣ１４４９６．３：２００５（Ｅ）において開示されたデコーダと類似している。デコーダ６００は、符号化されたオーディオストリーム６１０を受信し、それに基づいて、出力時間信号６１２を提供するように構成される。符号化されたオーディオストリームは、ＩＳＯ／ＩＥＣ１４４９６．３：２００５（Ｅ）に記載されているいくつかのまたはすべての情報を備えることができ、付加的にマルチバンドノイズ強度を記述する情報を備えることができる。デコーダ６００は、更に、そのうちのいくつかが以下において詳細に記載される符号化されたオーディオパラメータを、符号化されたオーディオストリーム６１０から抽出するように構成されたビットストリームペイロードデフォーマッタ６２０を備える。デコーダ６００は、更に、図７ａ、７ｂ、８ａ〜８ｃ、９、１０ａ、１０ｂ、１１、１２、１３ａ、１３ｂを参照してその機能が詳細に記載される拡張高度オーディオ符号化（ＡＡＣ）デコーダ６３０を備える。拡張ＡＡＣデコーダ６３０は、例えば、量子化され、符号化されたスペクトルライン情報、符号化されたスケールファクタ情報および符号化されたノイズ充填パラメータ情報を備える入力情報６３０ａを受信するように構成される。例えば、拡張ＡＡＣデコーダ６３０の入力情報６３０ａは、図２を参照して記載された拡張ＡＡＣエンコーダ２２０ａによって提供される出力情報２２８ｂと同じとすることができる。
拡張ＡＡＣデコーダ６３０は、入力情報６３０ａに基づいて、複数の周波数ビン（例えば、１０２４の周波数ビン）に対して、例えば、スケーリングされ、逆量子化されたスペクトルライン値の形で、スケーリングされ、逆量子化されたスペクトルの表現６３０ｂを提供するように構成することができる。
オプションとして、デコーダ６００は、例えば、ツインＶＱスペクトルデコーダおよび／またはＢＳＡＣスペクトルデコーダのような、いくつかのケースにおいて拡張ＡＡＣスペクトルデコーダ６３０の代わりに用いることができる付加的なスペクトルデコーダを備えることができる。
デコーダ６００は、オプションとして、ブロックスイッチング／フィルタバンク６４０の入力情報６４０ａを取得するために、拡張ＡＡＣデコーダ６３０の出力情報６３０ｂを処理するように構成されたスペクトル処理６３６を備えることができる。オプションのスペクトル処理６３６は、ＩＳＯ／ＩＥＣ１４４９３．３：２００５（Ｅ）およびそこで参照された文献に記載されているＭ／Ｓ、ＰＮＳ、予測、強度、長期予測、従属スイッチ結合、ＴＮＳの機能の一つ以上またはさらにすべてを備えることができる。しかしながら、スペクトル処理６３６が省略される場合は、拡張ＡＡＣデコーダ６３０の出力情報６３０ｂは、ブロックスイッチング／フィルタバンク６４０の入力情報６４０ａとして役立つことができる。このように、拡張ＡＡＣデコーダ６３０は、出力情報６３０ｂとして、スケーリングされた逆量子化スペクトルを提供することができる。ブロックスイッチング／フィルタバンク６４０は、（オプションとして前処理された）逆量子化スペクトルを入力情報６４０ａとして用い、それに基づいて、一つ以上の時間復元されたオーディオ信号を出力情報６４０ｂとして提供する。フィルタバンク／ブロック-スイッチングは、例えば、エンコーダにおいて（例えば、ブロックスイッチング／フィルタバンク２２４において）実行された逆周波数マッピングを適用するように構成することができる。例えば、フィルタバンクによって逆修正離散コサイン変換（ＩＭＤＣＴ）を用いることができる。例えば、ＩＭＤＣＴは、１２０、１２８、４８０、５１２、９６０または１０２４の１つのセット、または、３２または２５６スペクトル係数の４つのセットのいずれかをサポートするように構成することができる。
詳細に関して、例えば、国際規格ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）が参照される。デコーダ６００は、オプションとして、ＡＡＣゲイン制御６５０、ＳＢＲデコーダ６５２および独立スイッチ結合６５４を更に備え、ブロックスイッチング／フィルタバンク６４０の出力信号６４０ｂから出力時間信号６１２を導き出すことができる。
しかしながら、ブロックスイッチング／フィルタバンク６４０の出力信号６４０ｂは、また、機能６５０、６５２、６５４の非存在下で、出力時間信号６１２として役立つことができる。
２．２．２ 拡張ＡＡＣデコーダの詳細
以下に、拡張ＡＡＣデコーダに関する詳細が、図７ａおよび７ｂを参照して記載される。図７ａおよび７ｂは、図６のビットストリームペイロードデフォーマッタ６２０と組み合わせた図６のＡＡＣデコーダ６３０の概略ブロック図を示す。
ビットストリームペイロードデフォーマッタ６２０は、例えば、オーディオコーダの生データブロックである「ac_raw_data_block」と名付けられた構文要素を備える符号化オーディオデータストリームを備えることができる復号化オーディオストリーム６１０を受信する。しかしながら、ビットストリームペイロードデフォーマッタ６２０は、量子化され、ノイズレスに符号化されたスペクトル、または、量子化され、算術的に符号化されたスペクトルライン情報６３０ａａ（例えば、ac_spectral_data として示される）、スケールファクタ情報６３０ａｂ（例えば、scale_factor_data として示される）およびノイズ充填パラメータ情報６３０ａｃを備える表現を、拡張ＡＡＣデコーダ６３０に提供するように構成される。ノイズ充填パラメータ情報６３０ａｃは、例えば、ノイズオフセット値（noise_offset で示される）およびノイズレベル値（noise_level で示される）を備える。
拡張ＡＡＣデコーダに関して、拡張ＡＡＣデコーダ６３０は、国際規格ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）のＡＡＣデコーダと、前記規格の詳細な説明に参照されるように非常に類似している点に留意すべきである。
拡張ＡＡＣデコーダ６３０は、スケールファクタ情報６３０ａｂを受信し、それに基づいて、スケールファクタの復号化整数表現７４２（ sf[g] [sfb] または scf[g] [sfb] としても示される）を提供するように構成されたスケールファクタデコーダ７４０（スケールファクタノイズレスデコーディングツールとしても示される）を備える。スケールファクタデコーダ７４０に関して、ＩＳＯ／ＩＥＣ１４４９６−３：２００５、４．６．２および４．６．３が参照される。スケールファクタの復号化整数表現７４２は、オーディオ信号の異なる周波数バンド（スケールファクタバンドとしても示される）が量子化される量子化精度を反映している点に留意すべきである。より大きいスケールファクタは、対応するスケールファクタバンドが高い精度で量子化されていることを示し、より小さいスケールファクタは、対応するスケールファクタバンドが低い精度で量子化されていることを示す。
拡張ＡＡＣデコーダ６３０は、また、量子化され、エントロピー符号化された（例えばハフマン符号化されたまたは算術符号化された）スペクトルライン情報６３０ａａを受信し、それに基づいて、一つ以上のスペクトル（例えば x_ac_quant または x_quant として示される）の量子化値７５２を提供するように構成されたスペクトルデコーダ７５０を備える。スペクトルデコーダに関して、例えば、上述の国際規格の４．６．３が参照される。しかしながら、当然スペクトルデコーダの代替実施態様を適用することができる。例えば、ＩＳＯ／ＩＥＣ１４４９６−３：２００５のハフマンデコーダは、スペクトルライン情報６３０ａａが算術的に符号化されている場合は、算術デコーダによって置き換えることができる。
拡張ＡＡＣデコーダ６３０は、更に、均一でない逆量子化器とすることができる逆量子化器７６０を備える。例えば、逆量子化器７６０は、スケーリングされない逆量子化スペクトル値７６２（例えば、x_ac_invquant または x_invquant で示される）を提供することができる。例えば、逆量子化器７６０は、ＩＳＯ／ＩＥＣ１４４９６−３：２００５、４．６．２に記載された機能を備えることができる。代替として、逆量子化器７６０は、図８ａ〜８ｃを参照して記載された機能を備えることができる。
拡張ＡＡＣデコーダ６３０は、また、スケールファクタの復号化整数表現７４２をスケールファクタデコーダ７４０から、スケーリングされない逆量子化スペクトル値７６２を逆量子化器７６０から、ノイズ充填パラメータ情報６３０ａｃをビットストリームペイロードデフォーマッタ６２０から、それぞれ受信するノイズ充填器７７０（ノイズ充填ツールとしても示される）を備える。ノイズ充填器は、それに基づいて、ここで sf[g] [sfb] または scf[g] [sfb] でも示されるスケールファクタの修正された（通常は整数に）表現７７２を提供するように構成される。ノイズ充填器７７０は、また、入力情報に基づいて、x_ac_invquant または x_invquant としても示されるスケーリングされない逆量子化スペクトル値７７４を提供するように構成される。ノイズ充填器の機能に関する詳細は、図９、１０ａ、１０ｂ、１１、１２、１３ａおよび１３ｂを参照して、引き続いて記載される。
拡張ＡＡＣデコーダ６３０は、また、スケールファクタ７７２の修正されない整数表現およびスケーリングされない逆量子化スペクトル値７７４を受信し、それに基づいて、x_rescal としても示すことができ、拡張ＡＡＣデコーダ６３０の出力情報６３０ｂとして役立つことができるスケーリングされた逆量子化スペクトル値７８２を提供するように構成されたリスケーラ７８０を備える。リスケーラ７８０は、例えば、ＩＳＯ／ＩＥＣ１４４９６−３：２００５、４．６．２．３．３に記載されているような機能を備えることができる。
２．２．３ 逆量子化
以下に、逆量子化器７６０の機能が、図８ａ、８ｂおよび８ｃを参照して記載される。図８ａは、量子化スペクトル値７５２からスケーリングされない逆量子化スペクトル値７６２を導き出す式の表現を示す。図８ａの代替式において、「sign(.)」は符号オペレータを示し、「.」は絶対値オペレータを示す。図８ｂは、逆量子化器７６０の機能を表わす疑似プログラムコードを示す。これから分るように、図８ａに示された数学的マッピングルールによる逆量子化は、すべての窓グループ（実行変数ｇによって示される）に対して、すべてのスケールファクタバンド（実行変数 sfb によって示される）に対して、すべての窓（実行インデックス win によって示される）およびすべてのスペクトルライン（またはスペクトルビン）（実行変数 bin によって示される）に対して、実行される。図８ｃは、図８ｂのアルゴリズムのフローチャート表現を示す。予め定められた最大スケールファクタバンド（ max_sfb によって示される）の下のスケールファクタバンドに対して、スケーリングされていない逆量子化スペクトル値は、スケーリングされていない量子化スペクトル値の関数として取得される。非線形逆量子化ルールが適用される。
２．２．４ ノイズ充填器
２．２．４．１ 図９〜１２に係るノイズ充填器
図９は、本発明の一実施形態に係るノイズ充填器９００の概略ブロック図を示す。ノイズ充填器９００は、例えば、図７ａおよび７ｂを参照して記載されたノイズ充填器７７０の代わりをすることができる。ノイズ充填器９００は、周波数バンドゲイン値とみなすことができるスケールファクタの復号化整数表現７４２を受信する。ノイズ充填器９００は、また、スケーリングされていない逆量子化スペクトル値７６２を受信する。更に、ノイズ充填器９００は、例えば、ノイズ充填パラメータ noise_value および noise_offset を備えるノイズ充填パラメータ情報６３０ａｃを受信する。ノイズ充填器９００は、更に、スケールファクタの修正された整数表現７７２およびスケーリングされていない逆量子化スペクトル値７７４を提供する。ノイズ充填器９００は、スペクトルライン（またはスペクトルビン）がゼロに量子化されているか（そして、おそらくは、更なるノイズ充填要求を満たすか）どうかを判定するように構成されたゼロ量子化スペクトルライン検出器９１０を備える。この目的のため、ゼロ量子化スペクトルライン検出器９１０は、スケーリングされていない逆量子化スペクトル７６２を入力情報として直接受信する。ノイズ充填器９００は、更に、ゼロ量子化スペクトルライン検出器９１０の判定に依存して、入力情報７６２のスペクトル値をスペクトルライン置換値９２２によって置換するように構成された選択的スペクトルライン置換器９２０を備える。このように、ゼロ量子化スペクトルライン検出器９１０が入力情報７６２の特定のスペクトルラインが置換値によって置換されるべきであることを示している場合に、選択的スペクトルライン置換器９２０は、出力情報７７４を取得するために特定のスペクトルラインをスペクトルライン置換値９２２で置換する。さもなければ、選択的スペクトルライン置換器９２０は、出力情報７７４を取得するために特定のスペクトルライン値を変化なしで転送する。ノイズ充填器９００、また、入力情報７４２のスケールファクタを選択的に修正するように構成された選択的スケールファクタ修正器９３０を備える。例えば、選択的スケールファクタ修正器９３０は、ゼロに量子化されているスケールファクタ周波数バンドのスケールファクタを、「noise_offset」で示される予め定められた値によって増やすように構成される。このように、出力情報７７２において、ゼロに量子化されている周波数バンドのスケールファクタは、対応するスケールファクタ値と比較されるときに、入力情報７４２の範囲内で増やされる。対照的に、ゼロに量子化されないスケールファクタ周波数バンドの対応するスケールファクタ値は、入力情報７４２においておよび出力情報７７２において同じである。
スケールファクタ周波数バンドがゼロに量子化されているかどうか判定するために、ノイズ充填器９００は、また、「enable scale factor modification」信号または入力情報７６２に基づくフラグ９４２を提供することによって、選択的スケールファクタ修正器９３０を制御するように構成されたゼロ量子化バンド検出器９４０を備える。例えば、ゼロ量子化バンド検出器９４０は、スケールファクタバンドのすべての周波数ビン（スペクトルビンとしても示される）がゼロに量子化されている場合に、スケールファクタの増加の必要を示す信号またはフラグを、選択的スケールファクタ修正器９３０に提供することができる。
選択的スケールファクタ修正器は、また、ここで完全にゼロに量子化されているスケールファクタバンドのスケールファクタを入力情報７４２にかかわりなく予め定められた値にセットするように構成された選択的スケールファクタ置換器の形をとることができるという点に留意すべきである。
以下に、リスケーラ７８０の機能をとることができるリスケーラ９５０が記載される。リスケーラ９５０は、ノイズ充填器によって提供されたスケールファクタの修正された整数表示７７２およびノイズ充填器によって提供されたスケーリングされていない逆量子化スペクトル値７７４を受信するように構成される。リスケーラ９５０は、スケールファクタバンド毎のスケールファクタの一つの整数表現を受信し、スケールファクタバンド毎の一つのゲイン値を提供するように構成されたスケールファクタゲイン演算器９６０を備える。例えば、スケールファクタゲイン演算器９６０は、ｉ番目のスケールファクタバンドに対するスケールファクタの修正された整数表現７７２に基づいて、ｉ番目の周波数バンドに対するゲイン値９６２を演算するように構成することができる。このように、スケールファクタゲイン演算器９６０は、異なるスケールファクタバンドに対する個々のゲイン値を提供する。リスケーラ９５０は、また、ゲイン値９６２およびスケーリングされていない逆量子化スペクトル値７７４を受信するように構成された乗算器９７０を備える。スケーリングされていない逆量子化スペクトル値７７４の各々は、スケールファクタ周波数バンド（sfb）に関係付けられている点に留意すべきである。したがって、乗算器９７０は、スケーリングされていない逆量子化スペクトル値７７４の各々を、同じスケールファクタバンドに関連付けられた対応するゲイン値でスケーリングするように構成される。言い換えれば、与えられたスケールファクタバンドに関係付けられているすべてのスケーリングされていない逆量子化スペクトル値７７４は、与えられたスケールファクタバンドに関係付けられたゲイン値でスケーリングされる。したがって、異なるスケールファクタバンドに関係付けられているスケーリングされていない逆量子化スペクトル値は、通常は異なるスケールファクタバンドに関係付けられている異なるゲイン値によってスケーリングされる。
このように、異なるスケーリングされていない逆量子化スペクトル値は、関係付けられているスケールファクタバンドに依存して異なるゲイン値によってスケーリングされる。
疑似プログラムコード表現
以下に、ノイズ充填器９００の機能が、疑似プログラムコード表現（図１０ａ）および対応する凡例（図１０ｂ）を示す図１０ａおよび１０ｂを参照して記載される。コメントは「--」で始まる。
図１０の疑似コードプログラムリストによって表されたノイズ充填アルゴリズムは、ノイズレベル表現（noise_level）からノイズ値（noiseVal）を導き出すステップの第１パート（ライン１〜８）を備える。加えて、ノイズオフセット（noise_offset）が導き出される。ノイズレベルからノイズ値を導き出すステップは、非線形スケーリングを備え、ノイズレベルは次式に従って演算される。
noiseVal = 2((noise_level-14)/3)
加えて、レンジシフトされたノイズオフセット値が正および負の値をとることができるように、ノイズオフセット値のレンジシフトが実行される。
アルゴリズムの第２パート（第９〜２９行）は、スケーリングされていない逆量子化スペクトル値のスペクトルライン置換値による選択的置換およびスケールファクタの選択的修正の役割を果たす。疑似プログラムコードから分かるように、アルゴリズムは、すべての利用可能な窓グループに対して実行することができる（第９〜２９行の for ループ）。加えて、ゼロと最大スケールファクタバンド（max_sfb）の間のすべてのスケールファクタバンドは、たとえ処理が異なるスケールファクタバンドに対して異なる場合であっても、処理することができる（第１０行と第２８行の間のｆｏｒループ）。一つの重要な側面は、スケールファクタバンドがゼロに量子化されていることが発見されない限り、通常はスケールファクタバンドはゼロに量子化されているとみなされるという事実である（第１１行を与える）。しかしながら、スケールファクタバンドがゼロに量子化されているか否かのチェックは、開始周波数ライン（swb_offset[sfb]）が予め定められたスペクトル係数インデックス（noiseFillingStartOffset）より上にあるスケールファクタバンドに対してのみ実行される。第１３行と第２４行の間の条件つきルーチンは、スケールファクタバンド sfb の最低スペクトル係数のインデックスがノイズ充填開始オフセットより大きい場合にのみ実行される。対照的に、最低スペクトル係数（swb_offset[sfb]）のインデックスが予め定められた値（noiseFillingStartOffset）より小さいかまたは等しいあらゆるスケールファクタバンドに対して、そのバンドは実際のスペクトルライン値から独立してゼロに量子化されていないと仮定される（第２４ａ、２４ｂおよび２４ｃ行を参照）。
しかしながら、特定のスケールファクタバンドの最低スペクトル係数のインデックスは、予め定められた値（noiseFillingStartOffset）より大きく、次に特定のスケールファクタバンドは、特定のスケールファクタバンドのすべてのスペクトルラインがゼロに量子化されている場合にのみ、ゼロに量子化されているとみなされる（スケールファクタバンドの単一のスペクトルビンがゼロに量子化されていない場合に、フラグ「band_quantized_to_zero」が第１５行と第２２行の間の for ループによってリセットされる）。
結果的に、デフォルトで初期的にセットされる（第１１行）フラグ「band_quantized_to_zero」が第１２行と第２４行の間のプログラムコードの実行中に削除されない場合、与えられたスケールファクタバンドのスケールファクタは、ノイズオフセットを用いて修正される。上記したように、フラグのリセットは、最低スペクトル係数のインデックスが予め定められた値（noiseFillingStartOffset）より上にあるスケールファクタバンドに対してのみ起こる。さらにまた、図１０ａのアルゴリズムは、スペクトルラインがゼロに量子化されている場合に、スペクトルライン値のスペクトルライン置換値による置換を備える（第１６行の条件および第１７行の置換操作）。しかしながら、前記置換は、最低スペクトル係数のインデックスが予め定められた値（noiseFillingStartOffset）より上にあるスケールファクタバンドに対してのみ実行される。低いスペクトル周波数バンドに対しては、ゼロに量子化されているスペクトル値の置換スペクトル値による置換は省略される。
置換値は、アルゴリズムの第１パートにおいて演算されたノイズ値（noiseVal）にランダムまたは疑似ランダム符号が加えられるという簡素な方法で演算することができる点に更に留意すべきである（第１７行を与える）。
図１０ｂは、疑似プログラムコードのより良好な理解を容易にするために、図１０ａの疑似プログラムコードにおいて用いられる関連するシンボルの凡例を示しているという点に留意すべきである。
ノイズ充填器の機能の重要な側面は、図１１において図示されている。これから分かるように、ノイズ充填器の機能は、オプションとしてノイズレベルに基づいてノイズ値を演算するステップ１１１０を備える。
ノイズ充填器の機能は、また、置換されたスペクトルライン値を取得するために、ゼロに量子化されているスペクトルラインのスペクトルライン値をノイズ値に依存してスペクトルライン置換値によって置換するステップ１１２０を備える。しかしながら、置換するステップ１１２０は、予め定められたスペクトル係数インデックスより上の最低スペクトル係数を有するスケールファクタバンドに対してのみ実行される。ノイズ充填器の機能は、また、スケールファクタバンドがゼロに量子化されている場合であって、その場合にのみ、バンドスケールファクタをノイズオフセット値に依存して修正するステップ１１３０を備える。しかしながら、修正するステップ１１３０は、予め定められたスペクトル係数インデックスより上の最低スペクトル係数を有するスケールファクタバンドに対する形で実行される。
ノイズ充填器は、また、予め定められたスペクトル係数インデックスの下の最低スペクトル係数を有するスケールファクタバンドに対して、スケールファクタバンドがゼロに量子化されているかどうかから独立して、バンドスケールファクタが影響されないように残す機能を備える。
さらにまた、リスケーラは、スケーリングされた逆量子化スペクトルを取得するために、修正されないまたは修正されたバンドスケールファクタ（いずれも利用可能である）を、置換されないまたは置換されたスペクトルライン値（いずれも利用可能である）に適用する機能１１５０を備える。
図１２は、図１０ａ、１０ｂ、１１を参照して記載されたコンセプトの概略表現を示す。特に、異なる機能は、スケールファクタバンド開始ビンに依存して表される。
２．２．４．２ 図１３ａおよび１３ｂに係るノイズ充填器
図１３ａおよび１３ｂは、ノイズ充填器７７０の代替実施態様において実行することができるアルゴリズムの疑似コードプログラムリストを示す。図１３ａは、ノイズ充填パラメータ情報６３０ａｃによって表わすことができるノイズ情報から、ノイズ値（ノイズ充填器の範囲内の使用のための）を導き出すアルゴリズムを記載する。
平均量子化誤差は、ほとんどの時間ほぼ０．２５であるので、noiseVal の範囲［０、０．５］は、むしろ大きく、最適化することができる。
図１３ｂは、ノイズ充填器７７０によって形成することができるアルゴリズムを表わす。図１３ｂのアルゴリズムは、ノイズ値（「noiseValue」または「noiseVal」で示される−第１〜４行）を決定する第１部分を備える。アルゴリズムの第２部分は、スケールファクタの選択的修正（第７〜９行）およびスペクトルライン値のスペクトルライン置換値による選択的置換（第７〜９行）を備える。
しかしながら、図１３ｂのアルゴリズムによれば、スケールファクタ（scf）は、バンドがゼロ量子化されているときはいつでもノイズオフセット（noise_offset）を用いて修正される（第７行を参照）。本実施形態において、低い周波数バンドと高い周波数バンドの間で差異は生じない。
さらにまた、ノイズは、ゼロに量子化されているスペクトルラインに、（ラインが特定の予め定められたスレショルド「noiseFillingStartOffset」より上にある場合に）高い周波数バンドに対してのみ導入される。
２．２．５ デコーダの結論
要約すると、本発明に係るデコーダの実施形態は、以下の機能の一つ以上を備えることができる。
・「ノイズ充填開始ライン」（固定されたオフセットまたは開始周波数を表わすラインでもよい）から開始して、すべてのゼロを置換値で置換する。
・置換値は、量子化ドメインにおいて指示されたノイズ値（ランダムな符号を有する）であり、次にこの「置換値」を、実際のスケールファクタバンドに対して送信されたスケールファクタ「scf」でスケーリングする。
・「ランダムな」置換値は、また、例えばノイズ分布または送られたノイズレベルで重み付けられた一組の代替値から導き出すことができる。
３．オーディオストリーム
３．１ 図１４ａおよび１４ｂに係るオーディオストリーム
以下に、本発明の一実施形態に係るオーディオストリームが記載される。以下に、いわゆる「ｕｓａｃビットストリームペイロード」が記載される。「ｕｓａｃビットストリームペイロード」は、図１４ａから分かるように、一つ以上の単一チャンネル（ペイロード「single_channel_element ()）および／または一つ以上のチャンネルペア（channel_pair_element ()）を表わすために、ペイロード情報を担持する。単一のチャンネル情報（single_channel_element ()）は、図１４ｂから分かるように、他のオプションの情報の中に、周波数ドメインチャンネルストリーム（fd_channel_stream）を備える。
チャンネルペア情報（channel_pair_element）は、図１４ｃから分かるように、付加的要素に加えて、複数個の、例えば、二つの周波数ドメインチャンネルストリーム（fd_channel_stream）を備える。
周波数ドメインチャンネルストリームのデータコンテンツは、例えば、ノイズ充填が用いられるか否かに依存することができる（それは、ここで示されない信号データ部分において信号を送るようにしてもよい）。以下においては、ノイズ充填が用いられると仮定される。このケースにおいて、周波数ドメインチャンネルストリームは、例えば、図１４ｄに示されるデータ要素を備える。例えば、ＩＳＯ／ＩＥＣ １４４９６−３：２００５において定義されたように、グローバルゲイン情報（global_gain）が存在してもよい。さらに、本願明細書に記載されているように、周波数ドメインチャンネルストリームは、ノイズオフセット情報（noise_offset）およびノイズレベル情報（noise_level）を備えることができる。ノイズオフセット情報は、例えば、３ビットを用いて符号化することができ、ノイズレベル情報は、例えば、５ビットを用いて符号化することができる。
加えて、周波数ドメインチャンネルストリームは、本願明細書に記載され、またＩＳＯ／ＩＥＣ１４４９６−３において定義されているように、符号化されたスケールファクタ情報（scale_factor_data ()）および算術的に符号化されたスペクトルデータ（AC_spectral_data ()）を備える。
オプションとして、周波数ドメインチャンネルストリームは、また、ＩＳＯ／ＩＥＣ１４４９６−３において定義されているように、時間的ノイズ整形データ（tns_data) ()）を備える。
当然、周波数ドメインチャンネルストリームは、必要であれば他の情報を備えることができる。
３．２ 図１５に係るオーディオストリーム
図１５は、個々のチャンネル（individual_channel_stream ()）を表わすチャンネルストリームの構文の概略表現を示す。
個々のチャンネルストリームは、例えば８ビットを用いて符号化されたグローバルゲイン情報（global_gain）、例えば５ビットを用いて符号化されたノイズオフセット情報（noise_offset）、および例えば３ビットを用いて符号化されたノイズレベル情報（noise_level）を備えることができる。
個々のチャンネル・ストリームは、更に、セクションデータ（section_data ()）、スケールファクタデータ（scale_factor_data ()）、およびスペクトルデータ（spectral_data ()）を備える。
加えて、個々のチャンネルストリームは、図１５から分かるように、更なるオプションの情報を備えることができる。
３．３ オーディオストリームの結論
上記を要約するために、本発明に係るいくつかの実施形態において、以下のビットストリーム構文要素が用いられる。
・スケールファクタを送信するために必要なビットを最適化するためのノイズスケールファクタオフセットを示す値、
・ノイズレベルを示す値、および／または
・ノイズ置換に対して異なる形態から選択するためのオプションの値（固定値の代りの均一に分布したノイズまたは一つの代りの多数の離散値）
４．結 論
低ビットレート符号化において、ノイズ充填は次の二つの目的に用いることができる。
・低ビットレートオーディオ符号化におけるスペクトル値の粗い量子化は、多くのスペクトルラインがゼロに量子化されるかもしれないので、逆量子化の後に非常にまばらなスペクトルに導くかもしれない。まばらに生成されたスペクトルは、シャープまたは不安定（バーディ）に聞こえる復号化信号に結果としてなる。デコーダにおいてゼロにされたラインを「小さい」値で置換することによって、これらの非常に明白なアーチファクトを明白な新たなノイズアーチファクトを加えることなくマスクまたは低減することが可能である。
・オリジナルのスペクトルにおいてノイズのような信号部分がある場合、これらのノイズの多い信号部分の知覚的に等価な表現は、デコーダにおいて、ノイズの多い信号部分のエネルギーのようなパラメトリック情報のみに基づいて再生することができる。パラメトリック情報は、符号化された波形を送信するために必要なビット数と比較して、より少ないビットで送信することができる。
本願明細書に記載された新しく提案されたノイズ充填符号化スキームは、上記の目的を単一のアプリケーションに効率的に組み込む。
比較として、ＭＰＥＧ−４オーディオにおいて、知覚的ノイズ置換（ＰＮＳ）は、ノイズのような信号部分のパラメータ化された情報のみを送信し、デコーダにおいてこれらの信号部分を知覚的に等価に再生するために用いられる。
更なる比較として、ＡＭＲ−ＷＢ＋において、ゼロに量子化されているベクトル量子化ベクトル（ＶＱ−ベクトル）は、各複素スペクトル値が固定振幅を有するが、ランダム位相を有するランダムノイズベクトルで置換される。振幅は、ビットストリームで送信された一つのノイズ値によって制御される。
しかしながら、比較コンセプトは、重要な不利益を提供する。ＰＮＳは、完全なスケールファクタバンドをノイズで充填するために用いることができるだけであるのに対して、ＡＭＲ−ＷＢ＋は、ゼロに量子化されている信号の大部分から結果として生じている復号化信号におけるアーチファクトをマスクしようとするだけである。対照的に、提案されたノイズ充填符号化スキームは、ノイズ充填の両方の局面を単一のアプリケーションに効率的に組合せる。
ある側面では、本発明は、ノイズレベル演算の新たな形を備える。ノイズレベルは、平均量子化誤差に基づいて量子化ドメインにおいて演算される。
量子化ドメインにおける量子化誤差は、量子化誤差の他の形と異なる。量子化ドメインにおけるライン毎の量子化誤差は、平均絶対誤差０．２５で範囲［−０．５、０．５］（１量子化レベル）にある（通常１より大きい普通に分散された入力値に対して）。
以下に、量子化ドメインにおけるノイズ充填のいくつかの利点が要約される。量子化ドメインにおいてノイズを付加する利点は、デコーダにおいて付加されるノイズは、与えられたバンドにおける平均エネルギーだけでなく、バンドの音響心理学的関連性によってもスケーリングされるという事実である。
通常、知覚的に最も関連性のある（音の）バンドは、これらのバンドにおいて多数の量子化レベル（１より大きい量子化値）が用いられることを意味する最も正確に量子化されたバンドである。ここで、これらのバンドにおける平均量子化誤差のレベルでノイズを加えることは、このようなバンドの知覚に非常に限られた影響を有するだけである。
知覚的に関連性がなくまたはよりノイズのようなバンドは、より低い数の量子化レベルで量子化することができる。バンドにおいてずっと多いスペクトルラインがゼロに量子化されるにも拘らず、結果として生じる平均量子化誤差は、精細に量子化されたバンドに対するものと同じであるが（両バンドにおいて通常の分散量子化誤差と仮定して）、バンドにおける相対誤差はずっと高い。
これらの粗く量子化されたバンドにおいて、ノイズ充填は、粗い量子化によるスペクトルホールに起因するアーチファクトを知覚的にマスクするのを助ける。
量子化ドメインにおけるノイズ充填の考慮は、上記のエンコーダおよび上記のデコーダによっても得ることができる。
５．実施変形例
特定の実施態様要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施態様は、その上に格納された電気的に読取可能な制御信号を有し、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。
本発明に係るいくつかの実施形態は、電気的に読取可能な制御信号を有し、本願明細書に記載された方法の一つが実行されるようにプログラム可能なコンピュータシステムと協働することができるデータキャリアを備える。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに本願明細書に記載された方法の一つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリア上に格納することもできる。
他の実施形態は、機械読取可能な媒体に格納された、本願明細書に記載された方法の一つを実行するコンピュータプログラムを備える。
言い換えれば、発明の方法の実施形態は、それ故、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の一つを実行するプログラムコードを有するコンピュータプログラムである。
発明の方法の更なる実施形態は、それ故、本願明細書に記載された方法の一つを実行するためのコンピュータプログラムを備えたデータキャリア（またはデジタル記録媒体、またはコンピュータ読取可能な媒体）である。
発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の一つを実行するためのコンピュータプログラムを表わすデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。
更なる実施形態は、本願明細書に記載されている方法の一つを実行するように構成され、または適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。
更なる実施形態は、本願明細書に記載された方法の一つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。

Claims (17)

  1. 入力オーディオ信号の変換ドメイン表現（１１２；１１４；２２８ａ）に基づいて、オーディオストリーム（１２６；２１２）を提供するエンコーダであって、
    個別のバンドゲイン情報（２２８ａ）が利用可能な前記入力オーディオ信号の複数の周波数バンドにわたるマルチバンド量子化誤差パラメータ（１１６；３３２）を決定するように構成されたマルチバンド量子化誤差演算器（１１０；３３０）と、
    前記オーディオストリームが前記周波数バンドのオーディオコンテンツを記述する情報と前記マルチバンド量子化誤差パラメータを記述する情報を備えるように、前記オーディオストリーム（１２６；２１２）を提供するように構成されたオーディオストリーム提供器（１２０；２３０）と、
    を備えたエンコーダ（１００；２２８）。
  2. 前記マルチバンド量子化誤差演算器（１１０；３３０）は、個別のバンドゲイン情報が利用可能な複数の周波数バンドにわたる平均量子化誤差を、個別のバンドゲイン情報が利用可能な複数の周波数バンドをカバーするように演算するように構成された、
    請求項１に記載のエンコーダ（１００；２２８）。
  3. 前記エンコーダは、前記入力オーディオ信号の変換ドメイン表現（２２８ａ）の異なる周波数バンドのスペクトル成分を、前記異なる周波数バンドの音響心理学的関連性（２２８ｃ）に依存して、異なる量子化精度を用いて量子化し、量子化されたスペクトル成分を取得するように構成された量子化器（３１０）を備え、前記異なる量子化精度は、前記バンドゲイン情報によって反映され、
    前記オーディオストリーム提供器（１２０；２３０）は、前記オーディオストリームが前記バンドゲイン情報を記述する情報を備え、前記マルチバンド量子化誤差パラメータを記述する情報を備えるように、前記オーディオストリームを提供するように構成された、
    請求項１または２に記載のエンコーダ（１００；２２８）。
  4. 前記量子化器（３１０）は、前記バンドゲイン情報に依存して、前記スペクトル成分のスケーリングを実行し、前記スケーリングされたスペクトル成分の整数値量子化を実行するように構成され、
    前記マルチバンド量子化誤差演算器（３３０）は、前記整数値量子化の前に実行される前記スペクトル成分のスケーリングが前記マルチバンド量子化誤差パラメータにおいて考慮されるように、量子化ドメインにおいて前記マルチバンド量子化誤差パラメータ（３３２）を決定するように構成された、
    請求項３に記載のエンコーダ（１００；２２８）。
  5. 前記エンコーダは、完全にゼロに量子化されている周波数バンドのバンドゲイン情報を、完全にゼロに量子化されている前記周波数バンドのエネルギーと前記マルチバンド量子化誤差パラメータのエネルギーの間の比率を表わす値にセットするように構成された、請求項１ないし４のいずれかに記載のエンコーダ（１００；２２８）。
  6. 前記マルチバンド量子化誤差演算器（３３０）は、スペクトル成分が完全にゼロに量子化されている周波数バンドを回避しながらそれぞれが少なくとも一つの非ゼロ値に量子化されているスペクトル成分を備える複数の周波数バンドにわたる前記マルチバンド量子化誤差パラメータ（３３２）を決定するように構成された、請求項１ないし５のいずれかに記載のエンコーダ（１００；２２８）。
  7. 符号化されたオーディオストリーム（５１０；６１０）に基づいて、オーディオ信号の周波数バンドのスペクトル成分を表わすオーディオ信号の復号化表現（５１２、５１４；６３０ｂ）を提供するデコーダであって、
    個別のバンドゲイン情報が関連付けられた複数の周波数バンドのスペクトル成分に、共通のマルチバンドノイズ強度値（５２６）に基づいてノイズを導入するように構成された、ノイズ充填器（５２０；７７０）を備えた、デコーダ（５００；６００）。
  8. 前記デコーダは、前記個別のバンドゲイン情報とスケーリングされない逆量子化スペクトル値（７７４）の表現を受信し、それに基づいてスケーリングされた逆量子化スペクトル値（７８２）を提供するように構成されたリスケーラ（７８０）を備えた、請求項７に記載のデコーダ（５００；６００）。
  9. 前記ノイズ充填器（５２０；７７０）は、それぞれの個別のスペクトルビンがゼロに量子化されているか否かに依存して、周波数バンドの個々のスペクトルビンにノイズを導入するかどうかをスペクトルビン毎ベースで選択的に決定するように構成された、請求項７または８に記載のデコーダ（５００；６００）。
  10. 前記ノイズ充填器（５２０；７７０）は、周波数ドメインオーディオ信号の第１の周波数バンドの異なるオーバーラップまたは非オーバーラップ周波数部分を表わす複数のスペクトルビン値（５２２）を受信し、前記周波数ドメインオーディオ信号の第２の周波数バンドの異なるオーバーラップまたは非オーバーラップ周波数部分を表わす複数のスペクトルビン値（５２４）を受信し、
    前記複数の周波数バンドの前記第１の周波数バンドの一つ以上のスペクトルビン値を、大きさが前記マルチバンドノイズ強度値（５２６）によって決定される第１のスペクトルビンノイズ値で置換し、前記複数の周波数バンドの前記第２の周波数バンドの一つ以上のスペクトルビン値を、前記第１のスペクトルビンノイズ値と同じ大きさを有する第２のスペクトルビンノイズ値で置換するように構成され、
    前記デコーダは、前記第１および第２のスペクトルビンノイズ値で置換されたスペクトルビン値が異なるバンドゲイン値でスケーリングされるように、
    前記第１のスペクトルビンノイズ値で置換されたスペクトルビン値と、前記第１の周波数バンドのオーディオコンテンツを表わす前記第１の周波数バンドの置換されないスペクトルビン値が、第１のバンドゲイン値でスケーリングされ、前記第２のスペクトルビンノイズ値で置換されたスペクトルビン値と、前記第２の周波数バンドのオーディオコンテンツを表わす前記第２の周波数バンドの置換されないスペクトルビン値が、第２のバンドゲイン値でスケーリングされるように、
    前記複数の周波数バンドの前記第１の周波数バンドのスペクトルビン値を前記第１のバンドゲイン値でスケーリングして前記第１の周波数バンドのスケーリングされたスペクトルビン値を取得し、前記複数の周波数バンドの前記第２の周波数バンドのスペクトルビン値を前記第２のバンドゲイン値でスケーリングして前記第２の周波数バンドのスケーリングされたスペクトルビン値を取得するように構成されたスケーラ（７８０）を備えた、
    請求項７ないし９のいずれかに記載のデコーダ（５００；６００）。
  11. 前記ノイズ充填器（５２０；７７０）は、与えられた周波数バンドがゼロに量子化されている場合に、前記与えられた周波数バンドのバンドゲイン値を、ノイズオフセット値を用いて選択的に修正するように構成された、請求項７ないし１０のいずれかに記載のデコーダ（５００；６００）。
  12. 前記ノイズ充填器（５２０；７７０）は、予め定められたスペクトルビンインデックスより上に最低スペクトルビンインデックスを有し、予め定められたスペクトルビンインデックスより下に最低スペクトルビンインデックスを有する周波数バンドのスペクトルビン値が影響されないように残している周波数バンドに対してのみ、ゼロに量子化されているスペクトルビンのスペクトルビン値を、大きさが前記マルチバンドノイズ強度値（５２６）に依存するスペクトルビンノイズ値で置換し、置換されたスペクトルビン値を取得するように構成され、
    前記ノイズ充填器は、与えられた周波数バンドが完全にゼロに量子化されている場合に、予め定められたスペクトルビンインデックスより上に最低スペクトルビンインデックスを有する周波数バンドに対して、前記与えられた周波数バンドのバンドゲイン値を、ノイズオフセット値に依存して選択的に修正するように構成され、
    前記デコーダは、選択的に修正されたまたは修正されないバンドゲイン値を、選択的に置換されたまたは置換されないスペクトルビン値に適用し、前記オーディオ信号を表わすスケーリングされたスペクトル情報を取得するように構成されたスケーラ（７７０）を更に備えた、
    請求項７ないし１１のいずれかに記載のデコーダ（５００；６００）。
  13. 前記デコーダは、複数の周波数バンドに対するスペクトルビン値の量子化され、エントロピー符号化された表現（６３０ａａ）を備えたオーディオストリームであって、複数のスペクトルビン値が前記複数の周波数バンドの第１の周波数バンドに関係付けられ、複数のスペクトルビン値が前記複数の周波数バンドの第２の周波数バンドに関係付けられた、オーディオストリーム（６１０）と、
    バンドゲイン値の符号化された表現であって、第１のバンドゲイン値が前記第１の周波数バンドに関係付けられ、第２のバンドゲイン値が前記第２の周波数バンドに関係付けられた、バンドゲイン値の符号化された表現（６３０ａｂ）と、
    前記マルチバンドノイズ強度値の符号化された表現（６３０ａｃ）と、
    を受信するように構成され、
    前記デコーダは、前記スペクトルビン値の量子化され、エントロピー符号化された表現に基づいて、量子化されたスペクトルビン値の復号化表現（７５２）を提供するように構成されたスペクトルデコーダ（７５０）を備え、
    前記デコーダは、前記スペクトルビン値の量子化された復号化表現（７５２）を逆量子化し、前記スペクトルビン値の逆量子化された復号化表現（７６２）を取得するように構成された逆量子化器（７６０）を備え、
    前記デコーダは、前記スペクトルゲイン値の符号化された表現（６３０ａｂ）を復号化し、前記スペクトルゲイン値の復号化表現（７４２）を取得するように構成されたスケールファクタデコーダ（７４０）を備え、
    前記ノイズ充填器（７７０）は、マルチ周波数バンドのゼロに逆量子化されたスペクトルビン値を、同一の大きさのスペクトルビン置換値で選択的に置換し、マルチ周波数バンドの置換されたスペクトルビン値を取得するように構成され、
    前記デコーダは、第１の周波数バンドのいくつかのスペクトルビン値が前記逆量子化器によって提供されたオリジナルの逆量子化され、復号化されたスペクトルビン値であり、いくつかのスペクトルビン値がスペクトルビン置換値である、前記第１の周波数バンドのすべてのスペクトルビン値のセットを、前記第１の周波数バンドと関係付けられたスケールファクタの復号化表現でスケーリングし、前記第１の周波数バンドのスケーリングされたスペクトルビン値のセットを取得し、第２の周波数バンドのいくつかのスペクトルビン値が前記逆量子化器によって提供されたオリジナルの逆量子化され、復号化されたスペクトルビン値であり、いくつかのスペクトルビン値がスペクトルビン置換値である、前記第２の周波数バンドのすべてのスペクトルビン値のセットを、前記第２の周波数バンドと関係付けられたスケールファクタの復号化表現でスケーリングし、前記第２の周波数バンドのスケーリングされたスペクトルビン値のセットを取得するように構成されたスケーラ（７８０）を備えた、
    請求項７ないし１２のいずれかに記載のデコーダ（５００；６００）。
  14. 入力オーディオ信号の変換ドメイン表現（１１２；１１４；２２８ａ）に基づいてオーディオストリーム（１２６；２１２）を提供する方法であって、
    個別のバンドゲイン情報が利用可能な複数の周波数バンドにわたるマルチバンド量子化誤差パラメータを決定するステップと、
    前記オーディオストリームが前記周波数バンドのオーディオコンテンツを記述する情報と前記マルチバンド量子化誤差パラメータを記述する情報を備えるように、前記オーディオストリームを提供するステップと、
    を備えた、オーディオストリームを提供する方法。
  15. 符号化されたオーディオストリーム（５１０；６１０）に基づいてオーディオ信号の復号化表現（５１２；５１４；６３０ｂ）を提供する方法であって、
    個別のバンドゲイン情報が関係付けられた複数の周波数バンドのスペクトル成分に、共通のマルチバンドノイズ強度値に基づいて、ノイズを導入するステップを備えた、
    オーディオ信号の復号化表現を提供する方法。
  16. コンピュータプログラムがコンピュータ上で動作するときに、コンピュータに請求項１４または１５に記載された方法を実行させるためのコンピュータプログラム。
  17. オーディオ信号を表わすオーディオストリーム（５１０；６１０）のデータ構造であって、前記オーディオストリームのデータ構造は、
    前記オーディオ信号のスペクトル成分の強度を記述するスペクトル情報であって、前記スペクトル情報は、異なる周波数バンドにおける異なる量子化精度で量子化されたスペクトル情報と、
    前記異なる量子化精度を考慮して、複数の周波数バンドにわたるマルチバンド量子化誤差パラメータを記述するノイズレベル情報と、
    を備え、
    コンピュータが前記オーディオストリームに基づいて前記オーディオ信号の復号化表現を提供することを可能とするものであって、前記復号化表現の提供は、個別のバンドゲイン情報が関係付けられた複数の周波数バンドのスペクトル成分に、前記ノイズレベル情報に基づいて、ノイズを導入するステップを備える、
    オーディオストリームのデータ構造。
JP2011516991A 2008-07-11 2009-06-25 オーディオエンコーダ、オーディオデコーダ、オーディオ信号を符号化および復号化する方法、オーディオストリームおよびコンピュータプログラム Active JP5622726B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7987208P 2008-07-11 2008-07-11
US61/079,872 2008-07-11
US10382008P 2008-10-08 2008-10-08
US61/103,820 2008-10-08
PCT/EP2009/004602 WO2010003556A1 (en) 2008-07-11 2009-06-25 Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program

Publications (2)

Publication Number Publication Date
JP2011527451A JP2011527451A (ja) 2011-10-27
JP5622726B2 true JP5622726B2 (ja) 2014-11-12

Family

ID=40941986

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011516991A Active JP5622726B2 (ja) 2008-07-11 2009-06-25 オーディオエンコーダ、オーディオデコーダ、オーディオ信号を符号化および復号化する方法、オーディオストリームおよびコンピュータプログラム
JP2011516997A Active JP5307889B2 (ja) 2008-07-11 2009-06-26 ノイズ充填装置、ノイズ充填パラメータ演算装置、ノイズ充填パラメータを提供する方法、オーディオ信号のノイズ充填されたスペクトル表現を提供する方法、それに対応するコンピュータプログラムおよび符号化されたオーディオ信号

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011516997A Active JP5307889B2 (ja) 2008-07-11 2009-06-26 ノイズ充填装置、ノイズ充填パラメータ演算装置、ノイズ充填パラメータを提供する方法、オーディオ信号のノイズ充填されたスペクトル表現を提供する方法、それに対応するコンピュータプログラムおよび符号化されたオーディオ信号

Country Status (22)

Country Link
US (9) US9043203B2 (ja)
EP (7) EP2304719B1 (ja)
JP (2) JP5622726B2 (ja)
KR (4) KR101518532B1 (ja)
CN (2) CN102089808B (ja)
AR (2) AR072482A1 (ja)
AT (1) ATE535903T1 (ja)
AU (2) AU2009267459B2 (ja)
BR (6) BRPI0910811B1 (ja)
CA (2) CA2730361C (ja)
CO (2) CO6341671A2 (ja)
EG (1) EG26480A (ja)
ES (5) ES2526767T3 (ja)
HK (2) HK1157045A1 (ja)
MX (2) MX2011000382A (ja)
MY (2) MY178597A (ja)
PL (3) PL2304719T3 (ja)
PT (1) PT2304719T (ja)
RU (2) RU2519069C2 (ja)
TW (2) TWI417871B (ja)
WO (2) WO2010003556A1 (ja)
ZA (2) ZA201100085B (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009267459B2 (en) * 2008-07-11 2014-01-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
US8364471B2 (en) * 2008-11-04 2013-01-29 Lg Electronics Inc. Apparatus and method for processing a time domain audio signal with a noise filling flag
US8553897B2 (en) 2009-06-09 2013-10-08 Dean Robert Gary Anderson Method and apparatus for directional acoustic fitting of hearing aids
US8879745B2 (en) * 2009-07-23 2014-11-04 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Method of deriving individualized gain compensation curves for hearing aid fitting
US9101299B2 (en) * 2009-07-23 2015-08-11 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Hearing aids configured for directional acoustic fitting
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US9117458B2 (en) * 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9208792B2 (en) * 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012037515A1 (en) 2010-09-17 2012-03-22 Xiph. Org. Methods and systems for adaptive time-frequency resolution in digital data coding
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012053150A1 (ja) * 2010-10-18 2012-04-26 パナソニック株式会社 音声符号化装置および音声復号化装置
WO2012122299A1 (en) 2011-03-07 2012-09-13 Xiph. Org. Bit allocation and partitioning in gain-shape vector quantization for audio coding
WO2012122303A1 (en) 2011-03-07 2012-09-13 Xiph. Org Method and system for two-step spreading for tonal artifact avoidance in audio coding
WO2012122297A1 (en) * 2011-03-07 2012-09-13 Xiph. Org. Methods and systems for avoiding partial collapse in multi-block audio coding
TWI480860B (zh) 2011-03-18 2015-04-11 Fraunhofer Ges Forschung 音訊編碼中之訊框元件長度傳輸技術
EP2705516B1 (en) * 2011-05-04 2016-07-06 Nokia Technologies Oy Encoding of stereophonic signals
CA2966987C (en) * 2011-06-30 2019-09-03 Samsung Electronics Co., Ltd. Apparatus and method for generating bandwidth extension signal
JP6190373B2 (ja) * 2011-10-24 2017-08-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ信号ノイズ減衰
US8942397B2 (en) 2011-11-16 2015-01-27 Dean Robert Gary Anderson Method and apparatus for adding audible noise with time varying volume to audio devices
JP5942463B2 (ja) * 2012-02-17 2016-06-29 株式会社ソシオネクスト オーディオ信号符号化装置およびオーディオ信号符号化方法
US20130282372A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
CN103778918B (zh) * 2012-10-26 2016-09-07 华为技术有限公司 音频信号的比特分配的方法和装置
CN105976824B (zh) * 2012-12-06 2021-06-08 华为技术有限公司 信号解码的方法和设备
ES2613651T3 (es) 2013-01-29 2017-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Cuantificación de señales de audio adaptativas por tonalidad de baja complejidad
MX346927B (es) 2013-01-29 2017-04-05 Fraunhofer Ges Forschung Énfasis de bajas frecuencias para codificación basada en lpc (codificación de predicción lineal) en el dominio de frecuencia.
PT3451334T (pt) 2013-01-29 2020-06-29 Fraunhofer Ges Forschung Conceito de preenchimento de ruído
BR112015025009B1 (pt) 2013-04-05 2021-12-21 Dolby International Ab Unidades de quantização e quantização inversa, codificador e decodificador, métodos para quantizar e dequantizar
US9947335B2 (en) * 2013-04-05 2018-04-17 Dolby Laboratories Licensing Corporation Companding apparatus and method to reduce quantization noise using advanced spectral extension
WO2014179021A1 (en) * 2013-04-29 2014-11-06 Dolby Laboratories Licensing Corporation Frequency band compression with dynamic thresholds
KR101895198B1 (ko) 2013-05-24 2018-09-07 돌비 인터네셔널 에이비 오디오 인코더 및 디코더
MY169132A (en) * 2013-06-21 2019-02-18 Fraunhofer Ges Forschung Method and apparatus for obtaining spectrum coefficients for a replacement frame of an audio signal, audio decoder, audio receiver and system for transmitting audio signals
US9530422B2 (en) 2013-06-27 2016-12-27 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
EP2830065A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
EP2830058A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frequency-domain audio coding supporting transform length switching
EP2830060A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling in multichannel audio coding
EP3048609A4 (en) 2013-09-19 2017-05-03 Sony Corporation Encoding device and method, decoding device and method, and program
RU2642386C2 (ru) * 2013-10-03 2018-01-24 Долби Лабораторис Лайсэнзин Корпорейшн Адаптивное генерирование рассеянного сигнала в повышающем микшере
CN105814630B (zh) * 2013-10-22 2020-04-28 弗劳恩霍夫应用研究促进协会 用于音频设备的组合动态范围压缩和引导截断防止的构思
PT3285255T (pt) 2013-10-31 2019-08-02 Fraunhofer Ges Forschung Descodificador de áudio e método para fornecer uma informação de áudio descodificada utilizando uma ocultação de erro baseada num sinal de excitação no domínio de tempo
JP6306177B2 (ja) 2013-10-31 2018-04-04 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 時間ドメイン励振信号を修正するエラーコンシールメントを用いて、復号化されたオーディオ情報を提供する、オーディオデコーダおよび復号化されたオーディオ情報を提供する方法
CA2925037C (en) 2013-12-02 2020-12-01 Huawei Technologies Co., Ltd. Encoding method and apparatus
RU2667627C1 (ru) 2013-12-27 2018-09-21 Сони Корпорейшн Устройство и способ декодирования и программа
CN110619884B (zh) * 2014-03-14 2023-03-07 瑞典爱立信有限公司 音频编码方法和装置
JPWO2015151451A1 (ja) * 2014-03-31 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法、復号方法、およびプログラム
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980801A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
EP2980792A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
CN106716524B (zh) * 2014-09-30 2021-10-22 索尼公司 发送装置、发送方法、接收装置和接收方法
US20160173808A1 (en) * 2014-12-16 2016-06-16 Psyx Research, Inc. System and method for level control at a receiver
WO2016142002A1 (en) * 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TW202242853A (zh) * 2015-03-13 2022-11-01 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016162283A1 (en) * 2015-04-07 2016-10-13 Dolby International Ab Audio coding with range extension
US9454343B1 (en) 2015-07-20 2016-09-27 Tls Corp. Creating spectral wells for inserting watermarks in audio signals
US9311924B1 (en) 2015-07-20 2016-04-12 Tls Corp. Spectral wells for inserting watermarks in audio signals
US9626977B2 (en) 2015-07-24 2017-04-18 Tls Corp. Inserting watermarks into audio signals that have speech-like properties
US10115404B2 (en) 2015-07-24 2018-10-30 Tls Corp. Redundancy in watermarking audio signals that have speech-like properties
CN116312576A (zh) 2015-10-08 2023-06-23 杜比国际公司 声音或声场的压缩hoa表示的解码方法和装置
CN116052696A (zh) 2015-10-08 2023-05-02 杜比国际公司 用于压缩声音或声场表示的分层编解码
US10142742B2 (en) 2016-01-01 2018-11-27 Dean Robert Gary Anderson Audio systems, devices, and methods
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
KR102067044B1 (ko) * 2016-02-17 2020-01-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 과도 프로세싱을 향상시키기 위한 사후 프로세서, 사전 프로세서, 오디오 인코더, 오디오 디코더, 및 관련 방법
US10146500B2 (en) 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
EP3382704A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal
EP3396670B1 (en) * 2017-04-28 2020-11-25 Nxp B.V. Speech signal processing
JP7214726B2 (ja) * 2017-10-27 2023-01-30 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム
WO2019091576A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
US11264014B1 (en) * 2018-09-23 2022-03-01 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
US11694708B2 (en) * 2018-09-23 2023-07-04 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
EP3864762A4 (en) * 2018-10-08 2022-06-15 Telefonaktiebolaget LM Ericsson (publ) DETERMINING THE TRANSMISSION POWER OF A NETWORK ANTENNA
WO2020164753A1 (en) 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
WO2020183219A1 (en) * 2019-03-10 2020-09-17 Kardome Technology Ltd. Speech enhancement using clustering of cues
WO2020207593A1 (en) * 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program
US20200402522A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
US11361776B2 (en) 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US11538489B2 (en) 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
CN112037802B (zh) * 2020-05-08 2022-04-01 珠海市杰理科技股份有限公司 基于语音端点检测的音频编码方法及装置、设备、介质
US11545172B1 (en) * 2021-03-09 2023-01-03 Amazon Technologies, Inc. Sound source localization using reflection classification
CN114900246B (zh) * 2022-05-25 2023-06-13 中国电子科技集团公司第十研究所 噪声基底估计方法、装置、设备及存储介质

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703505A (en) * 1983-08-24 1987-10-27 Harris Corporation Speech data encoding scheme
US4956871A (en) 1988-09-30 1990-09-11 At&T Bell Laboratories Improving sub-band coding of speech at low bit rates by adding residual speech energy signals to sub-bands
JPH0934493A (ja) 1995-07-20 1997-02-07 Graphics Commun Lab:Kk 音響信号符号化装置、音響信号復号装置および音響信号処理装置
US6092041A (en) 1996-08-22 2000-07-18 Motorola, Inc. System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder
US5797120A (en) * 1996-09-04 1998-08-18 Advanced Micro Devices, Inc. System and method for generating re-configurable band limited noise using modulation
US5924064A (en) * 1996-10-07 1999-07-13 Picturetel Corporation Variable length coding using a plurality of region bit allocation patterns
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
US6167133A (en) * 1997-04-02 2000-12-26 At&T Corporation Echo detection, tracking, cancellation and noise fill in real time in a communication system
US6240386B1 (en) * 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
US7124079B1 (en) * 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
JP3804902B2 (ja) 1999-09-27 2006-08-02 パイオニア株式会社 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
MXPA02010770A (es) * 2001-03-02 2004-09-06 Matsushita Electric Ind Co Ltd Aparato para codificar y aparato para descodificar.
US6876968B2 (en) * 2001-03-08 2005-04-05 Matsushita Electric Industrial Co., Ltd. Run time synthesizer adaptation to improve intelligibility of synthesized speech
ES2260426T3 (es) * 2001-05-08 2006-11-01 Koninklijke Philips Electronics N.V. Codificacion de audio.
JP4506039B2 (ja) 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100462611B1 (ko) * 2002-06-27 2004-12-20 삼성전자주식회사 하모닉 성분을 이용한 오디오 코딩방법 및 장치
JP4218271B2 (ja) * 2002-07-19 2009-02-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
DE10236694A1 (de) 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
KR100477699B1 (ko) * 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
JP4849466B2 (ja) * 2003-10-10 2012-01-11 エージェンシー フォー サイエンス， テクノロジー アンド リサーチ デジタル信号をスケーラブルビットストリームにエンコードする方法、及びスケーラブルビットストリームをデコードする方法
US7723474B2 (en) 2003-10-21 2010-05-25 The Regents Of The University Of California Molecules that selectively home to vasculature of pre-malignant dysplastic lesions or malignancies
US7436786B2 (en) * 2003-12-09 2008-10-14 International Business Machines Corporation Telecommunications system for minimizing the effect of white noise data packets for the generation of required white noise on transmission channel utilization
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
DE102004007200B3 (de) * 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
JPWO2005081229A1 (ja) * 2004-02-25 2007-10-25 松下電器産業株式会社 オーディオエンコーダ及びオーディオデコーダ
CN1954365B (zh) * 2004-05-17 2011-04-06 诺基亚公司 使用不同编码模型的音频编码
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US7873515B2 (en) * 2004-11-23 2011-01-18 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
KR100707173B1 (ko) * 2004-12-21 2007-04-13 삼성전자주식회사 저비트율 부호화/복호화방법 및 장치
US7885809B2 (en) * 2005-04-20 2011-02-08 Ntt Docomo, Inc. Quantization of speech and audio coding parameters using partial information on atypical subsequences
KR101295729B1 (ko) * 2005-07-22 2013-08-12 프랑스 텔레콤 비트 레이트­규모 가변적 및 대역폭­규모 가변적 오디오디코딩에서 비트 레이트 스위칭 방법
JP4627737B2 (ja) * 2006-03-08 2011-02-09 シャープ株式会社 デジタルデータ復号化装置
WO2007122614A2 (en) * 2006-04-21 2007-11-01 Galtronics Ltd. Twin ground antenna
JP4380669B2 (ja) * 2006-08-07 2009-12-09 カシオ計算機株式会社 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、及び、プログラム
US7275936B1 (en) * 2006-09-22 2007-10-02 Lotes Co., Ltd. Electrical connector
US8275611B2 (en) * 2007-01-18 2012-09-25 Stmicroelectronics Asia Pacific Pte., Ltd. Adaptive noise suppression for digital speech signals
WO2008108082A1 (ja) * 2007-03-02 2008-09-12 Panasonic Corporation 音声復号装置および音声復号方法
PT2571024E (pt) * 2007-08-27 2014-12-23 Ericsson Telefon Ab L M Frequência de transição adaptativa entre preenchimento de ruído e extensão da largura de banda
HUE047607T2 (hu) * 2007-08-27 2020-05-28 Ericsson Telefon Ab L M Eljárás és eszköz hangjel észlelési spektrális dekódolására, beleértve a spektrális lyukak kitöltését
US8554551B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
AU2009267459B2 (en) * 2008-07-11 2014-01-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012053150A1 (ja) 2010-10-18 2012-04-26 パナソニック株式会社 音声符号化装置および音声復号化装置

Also Published As

Publication number Publication date
TWI417871B (zh) 2013-12-01
ES2422412T3 (es) 2013-09-11
US20170309283A1 (en) 2017-10-26
EP4372745A1 (en) 2024-05-22
KR20110039245A (ko) 2011-04-15
EP3246918B1 (en) 2023-06-14
CA2730536A1 (en) 2010-01-14
ZA201100085B (en) 2011-10-26
ES2955669T3 (es) 2023-12-05
WO2010003556A1 (en) 2010-01-14
BRPI0910522A2 (pt) 2020-10-20
JP5307889B2 (ja) 2013-10-02
BRPI0910811A2 (pt) 2020-11-03
BRPI0910811B1 (pt) 2021-09-21
US20240096337A1 (en) 2024-03-21
EP4372744A1 (en) 2024-05-22
RU2011104006A (ru) 2012-08-20
ES2526767T3 (es) 2015-01-15
KR101706009B1 (ko) 2017-02-22
US20240096338A1 (en) 2024-03-21
AU2009267468B2 (en) 2012-03-15
AR072482A1 (es) 2010-09-01
JP2011527455A (ja) 2011-10-27
BR122021003726B1 (pt) 2021-11-09
AU2009267459B2 (en) 2014-01-23
CO6280569A2 (es) 2011-05-20
PL2304719T3 (pl) 2017-12-29
KR20110040829A (ko) 2011-04-20
ZA201100091B (en) 2011-10-26
CO6341671A2 (es) 2011-11-21
EP3246918C0 (en) 2023-06-14
CA2730361C (en) 2017-01-03
US20110173012A1 (en) 2011-07-14
EP4235660A3 (en) 2023-09-13
CN102089808B (zh) 2014-02-12
TW201007696A (en) 2010-02-16
US8983851B2 (en) 2015-03-17
EG26480A (en) 2013-12-02
RU2512103C2 (ru) 2014-04-10
ES2642906T3 (es) 2017-11-20
PL3246918T3 (pl) 2023-11-06
RU2011102410A (ru) 2012-07-27
US20170004839A1 (en) 2017-01-05
US20110170711A1 (en) 2011-07-14
CA2730536C (en) 2014-12-02
CN102089808A (zh) 2011-06-08
ATE535903T1 (de) 2011-12-15
BR122021003097B1 (pt) 2021-11-03
MX2011000359A (es) 2011-02-25
CN102089806A (zh) 2011-06-08
US11024323B2 (en) 2021-06-01
KR101518532B1 (ko) 2015-05-07
AU2009267468A1 (en) 2010-01-14
AR072497A1 (es) 2010-09-01
HK1157045A1 (en) 2012-06-22
CA2730361A1 (en) 2010-01-14
TWI492223B (zh) 2015-07-11
MX2011000382A (es) 2011-02-25
US10629215B2 (en) 2020-04-21
KR20140036042A (ko) 2014-03-24
EP2304720B1 (en) 2011-11-30
HK1160285A1 (en) 2012-08-10
CN102089806B (zh) 2012-12-05
WO2010003565A1 (en) 2010-01-14
US20210272577A1 (en) 2021-09-02
ES2374640T3 (es) 2012-02-20
EP2304719A1 (en) 2011-04-06
JP2011527451A (ja) 2011-10-27
TW201007697A (en) 2010-02-16
RU2519069C2 (ru) 2014-06-10
KR20160004403A (ko) 2016-01-12
BR122021003142B1 (pt) 2021-11-03
EP3246918A1 (en) 2017-11-22
EP4235660A2 (en) 2023-08-30
EP2304720A1 (en) 2011-04-06
EP4235660B1 (en) 2024-06-19
MY155785A (en) 2015-11-30
AU2009267459A1 (en) 2010-01-14
KR101251790B1 (ko) 2013-04-08
US9043203B2 (en) 2015-05-26
PT2304719T (pt) 2017-11-03
US20150112693A1 (en) 2015-04-23
MY178597A (en) 2020-10-16
EP4375998A1 (en) 2024-05-29
US11869521B2 (en) 2024-01-09
KR101582057B1 (ko) 2015-12-31
US9711157B2 (en) 2017-07-18
PL2304720T3 (pl) 2012-04-30
BR122021003752B1 (pt) 2021-11-09
EP2304719B1 (en) 2017-07-26
US9449606B2 (en) 2016-09-20
US20140236605A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
JP5622726B2 (ja) オーディオエンコーダ、オーディオデコーダ、オーディオ信号を符号化および復号化する方法、オーディオストリームおよびコンピュータプログラム
CA2871268C (en) Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
AU2013273846B2 (en) Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130321

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140403

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140922

R150 Certificate of patent or registration of utility model

Ref document number: 5622726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250