JP7297803B2 - 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 - Google Patents

低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 Download PDF

Info

Publication number
JP7297803B2
JP7297803B2 JP2021034012A JP2021034012A JP7297803B2 JP 7297803 B2 JP7297803 B2 JP 7297803B2 JP 2021034012 A JP2021034012 A JP 2021034012A JP 2021034012 A JP2021034012 A JP 2021034012A JP 7297803 B2 JP7297803 B2 JP 7297803B2
Authority
JP
Japan
Prior art keywords
signal
noise
bitstream
decoder
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021034012A
Other languages
English (en)
Other versions
JP2021092816A (ja
Inventor
フッハス,ギローム
ロンバード,アンソニー
ラベリー,エマニュエル
デーラ,ステファン
レコンテ,ジェレミー
ディーツ,マルチン
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2021092816A publication Critical patent/JP2021092816A/ja
Application granted granted Critical
Publication of JP7297803B2 publication Critical patent/JP7297803B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Noise Elimination (AREA)

Description

本発明は、オーディオ信号処理に関し、特に、ノイズの多いスピーチの符号化とオーディオ信号に対するコンフォートノイズ付加とに関するものである。
コンフォートノイズ生成器は、通常、オーディオ信号、特にスピーチを含むオーディオ信号の不連続的な伝送(DTX)において用いられる。このようなモードでは、オーディオ信号はまず、ボイス活性度検出部(VAD)によって活性フレームと不活性フレームとに分類される。VADの一例は、非特許文献1の中に見出すことができる。VADの結果に基づき、活性スピーチフレームだけが基準ビットレートで符号化され、伝送される。背景ノイズだけが存在するような長いポーズ期間中は、ビットレートが低減されるか又はゼロにされ、背景ノイズが挿話的にかつパラメトリック的に符号化される。そのため、平均ビットレートは有意に低減される。ノイズは、不活性フレームの期間中に復号器側でコンフォートノイズ生成器(CNG)によって生成される。例えば、非特許文献2に記載のスピーチコーダAMR-WBと非特許文献1に記載のITU G.718とは、DTXモードにおいて両方が作動される可能性を持つ。
スピーチの符号化、特に低ビットレートにおけるノイズの多いスピーチの符号化は、アーチファクトをもたらす傾向がある。スピーチコーダは通常、背景ノイズが存在する場所ではもはや当てはまらなくなるようなスピーチ生成モデルに基づいている。そのような場合、符号化効率は低下し、復号化されたオーディオ信号の品質も低下する。更に、ノイズの多いスピーチを取り扱う場合には、スピーチ符号化の幾つかの特徴が特に混乱する可能性がある。確かに、低ビットレートにおいては、符号化パラメータの粗い量子化が、経時的にいくらかの揺らぎ(fluctuation)を生じさせ、その揺らぎは、定常的な背景ノイズの上にスピーチを符号化するときに知覚的な不快感を生じさせる。
ノイズ低減は、スピーチの了解度を向上させ、背景ノイズが存在する場合のコミュニケーションを改善させるための公知の技術である。それはまた、スピーチ符号化の中でも採用されてきた。例えば、コーダG.718は、スピーチピッチのような幾つかの符号化パラメータを推論するためのノイズ低減を用いている。ノイズ低減の技術はまた、オリジナル信号の代わりに強化された信号を符号化するという可能性も有する。その場合、復号化された信号において、スピーチはノイズレベルと比較してより優勢なものとなる。しかしながら、スピーチは通常、より劣化し又は不自然な音をもたらしてしまう。なぜなら、ノイズ低減がスピーチ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音的ノイズアーチファクトをも引き起こす可能性があるからである。
本発明の目的は、オーディオ信号処理の改善された概念を提供することである。本発明の目的は、請求項1に記載の復号器と、請求項21に記載の符号器と、請求項22に記載のシステムと、請求項23又は24に記載の方法と、請求項25に記載のビットストリームと、請求項26に記載のコンピュータプログラムとによって達成される。
1つの態様において、本発明は、符号化済みのオーディオビットストリームを処理するよう構成された復号器を提供し、その復号器は、
ビットストリームから復号化済みオーディオ信号を導出するよう構成されたビットストリーム復号器であって、その復号化済みオーディオ信号が少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器と、
復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するよう構成されたノイズ推定装置と、
ノイズ推定信号からコンフォートノイズ信号を導出するよう構成されたコンフォートノイズ生成装置と、
復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合してオーディオ出力信号を得るよう構成された結合部と、を含む。
ビットストリーム復号器は、オーディオ情報を含むデジタルデータストリームである、オーディオビットストリームを復号化できる装置又はコンピュータプログラムであってもよい。復号化処理の結果として、デジタルの復号化済みオーディオ信号が生成され、これがA/D変換器へと供給されてアナログのオーディオ信号が生成され、その信号が次にラウドスピーカへと供給されて可聴信号が生成されてもよい。
復号化済みオーディオ信号は所謂フレームへと分割され、これらフレームの各々が、ある時間区間に関連するオーディオ情報を含んでいる。そのようなフレームは、活性フレームと不活性フレームとに分類されてもよく、活性フレームとは、スピーチや音楽などのオーディオ情報の所望の成分を含むフレームであり、一方、不活性フレームとは、オーディオ情報の如何なる所望の成分をも含まないフレームである。不活性フレームは通常、音楽やスピーチなどの所望の成分が存在しないようなポーズ期間中に発生する。したがって、不活性フレームは通常は背景ノイズだけを含む。
オーディオ信号の不連続な伝送(DTX)においては、不活性フレームの期間中、符号器はビットストリーム内にオーディオ信号を伝送しないので、ビットストリームを復号化することによって、復号化済みオーディオ信号の活性フレームだけが取得される。
オーディオ信号の非不連続な伝送(non-DTX)においては、ビットストリームを復号化することによって、活性フレーム及び不活性フレームが取得される。
ビットストリーム復号器によりビットストリームを復号化することで取得されるフレームは、復号化済みフレームと呼ばれる。
ノイズ推定装置は、復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するよう構成されている。更に、コンフォートノイズ生成装置は、ノイズ推定信号からコンフォートノイズ信号を導出するよう構成されている。ノイズ推定信号は、復号化済みオーディオ信号内にパラメトリック形式で含まれているノイズの特性に関する情報を含む信号であってもよい。コンフォートノイズ信号とは、復号化済みオーディオ信号に含まれたノイズに対応する人工的なオーディオ信号である。これらの特徴により、ビットストリーム内の背景ノイズに関する如何なるサイド情報も必要とせずに、コンフォートノイズが実際の背景ノイズのように聴こえることができる。
結合部は、復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合して、オーディオ出力信号を取得するよう構成されている。その結果、オーディオ出力信号は、人工的ノイズを含む復号化済みフレームを含む。復号化済みフレーム内の人工的ノイズにより、特にビットストリームが低ビットレートで伝送される場合に、オーディオ出力信号内のアーチファクトをマスキングできるようになる。それは、通常観測される揺らぎを平滑化し、その一方で、優勢な符号化アーチファクトをマスキングする。
先行技術とは対照的に、本発明は、復号化済みフレームに対して人工的なコンフォートノイズを付加するという原理を適用する。本発明の概念は、DTX及び非DTXの両方のモードにおいて適用可能である。
本発明は、低ビットレートで符号化されかつ伝送されるノイズの多いスピーチの品質を向上させる方法を提供する。低ビットレートでは、ノイズの多いスピーチ、即ち背景ノイズと一緒に録音されたスピーチの符号化は、通常、明瞭なスピーチの符号化ほど効率的でない。復号化された合成信号は、通常、アーチファクトを持つ傾向にある。2つの異なる種類の音源、即ちノイズとスピーチとは、単一音源モデルに依存する1つの符号化スキームによって効率的に符号化され得ない。本発明は、復号器側において背景ノイズをモデル化しかつ合成する概念を提供し、サイド情報を極少量しか必要としないか又は全く必要としない。このことは、背景ノイズのレベル及びスペクトル形状を復号器側で推定し、かつコンフォートノイズを人工的に生成することによって達成される。生成されたノイズは、復号化済みオーディオ信号と結合され、符号化アーチファクトのマスキングを可能にする。
更に、本発明の概念は、符号器側において適用されるノイズ低減手法と組み合わせることができる。ノイズ低減は信号対ノイズ比(SNR)レベルを改善し、後続のオーディオ符号化の性能を向上させる。復号化済みオーディオ信号内のノイズの消失量は、次に復号器側でコンフォートノイズによって補償される。しかし、それは通常、より劣化した又は不自然に聴こえるものである。なぜなら、ノイズ低減がオーディオ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音ノイズアーチファクトを引き起こし得るからである。本発明の一つの特徴は、そのような不快な歪みを、復号器側でコンフォートノイズを付加することによりマスキングすることである。ノイズ低減手法を使用する場合、コンフォートノイズの付加はSNRを劣化させない。更に、コンフォートノイズが、ノイズ低減技術で典型的に生じる悩ましい楽音ノイズの大部分を隠蔽する。
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み活性フレームに拡張するものである。
本発明の好ましい一実施形態において、復号化済みフレームは不活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
本発明の好ましい一実施形態において、ノイズ推定装置は、復号化済みオーディオ信号内のノイズのレベルとスペクトル形状とを含む分析信号を生成するよう構成されたスペクトル分析装置と、その分析信号に基づいてノイズ推定信号を生成するよう構成されたノイズ推定生成装置と、を含む。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置は、ノイズ推定信号に基づいて周波数ドメインのコンフォートノイズ信号を生成するよう構成されたノイズ生成部と、その周波数ドメインのコンフォートノイズ信号に基づいてコンフォートノイズ信号を生成するよう構成されたスペクトル合成部と、を含む。
本発明の好ましい一実施形態において、復号器は、第1操作モード又は第2操作モードへとニ者択一的に復号器を切り替えるよう構成されたスイッチ装置を含み、第1操作モードにおいてはコンフォートノイズ信号が結合部へと供給され、一方、第2操作モードにおいてはコンフォートノイズ信号が結合部に供給されない。これらの特徴により、人工的なコンフォートノイズが不要な状況下では人工的なコンフォートノイズの使用を中止させることが可能になる。
本発明の好ましい一実施形態において、復号器は、スイッチ装置を自動的に制御するよう構成された制御装置を含み、その制御装置は、復号化済みオーディオ信号の信号対ノイズ比に依存してスイッチ装置を制御するよう構成されたノイズ検出部を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへと切り替えられる。これらの特徴により、コンフォートノイズは、ノイズの多いスピーチシナリオにおいてだけトリガーされることができ、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比の閾値が定義され使用されてもよい。
本発明の好ましい一実施形態において、制御装置は、ビットストリーム内に含まれた、復号化済みオーディオ信号の信号対ノイズ比に対応するサイド情報を受信し、かつ、ノイズ検出信号を生成するよう構成されたサイド情報受信部を含み、ノイズ検出部はそのノイズ検出信号に依存してスイッチ装置を制御する。これらの特徴により、受信されたビットストリームを生成及び/又は処理する外部装置によって実行された信号分析に基づいて、スイッチ装置を制御することが可能になる。その外部装置は、特に、ビットストリームを生成している符号器であってもよい。
本発明の好ましい一実施形態において、復号化済みオーディオ信号の信号対ノイズ比に対応するサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成される。一般的に、専用ビットとは、それ単独で、又は他の専用ビットと共に、定義された情報を含む1つのビットのことである。ここでは、専用ビットは、信号対ノイズ比が所定の閾値より上か下かを示してもよい。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを決定するよう構成された所望信号エネルギー推定部と、復号化済みオーディオ信号のノイズのエネルギーを決定するよう構成されたノイズエネルギー推定部と、所望信号のエネルギー及びノイズのエネルギーに基づいて復号化済みオーディオ信号の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部と、を含み、スイッチ装置はこの制御装置によって決定された信号対ノイズ比に依存して切り替えられる。この場合、ビットストリーム内のサイド情報は必要でない。所望信号のエネルギーは通常、復号化済み信号のノイズのエネルギーより大きいので、所望信号のエネルギーとノイズのエネルギーとを含む復号化済みオーディオ信号の全エネルギーによって、復号化済みオーディオ信号の所望信号のエネルギーの粗い推定が得られる。この理由により、信号対ノイズ比は、復号化済みオーディオ信号の全エネルギーを復号化済み信号のノイズのエネルギーで除算することにより、近似的に計算されてもよい。
本発明の好ましい一実施形態において、ビットストリームは活性フレームと不活性フレームとを含み、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを活性フレームの期間中に決定し、復号化済みオーディオ信号のノイズのエネルギーを不活性フレームの期間中に決定するよう構成されている。これにより、信号対ノイズ比を推定するときの高度な正確性が容易な方法で達成され得る。
本発明の好ましい一実施形態において、ビットストリームは活性フレームと不活性フレームとを含み、復号器はサイド情報受信部を含み、そのサイド情報受信部は、現在のフレームが活性か不活性かを示すビットストリーム内のサイド情報に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。この特徴により、活性フレーム又は不活性フレームはそれぞれ、計算労力なく識別され得る。
本発明の好ましい一実施形態において、現在のフレームが活性か不活性かを示すサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成される。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号の所望信号のエネルギーを分析信号に基づいて決定するよう構成されている。この場合、通常はノイズ推定の目的で計算されるべき分析信号が再使用されることができ、その結果、複雑さが低減され得る。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号のノイズのエネルギーをノイズ推定信号に基づいて決定するよう構成されている。そのような実施形態においては、典型的にはコンフォートノイズ生成の目的で計算されるべきノイズ推定信号が再使用されることができ、その結果、複雑さが更に低減され得る。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置は、目標コンフォートノイズレベル信号に基づいてコンフォートノイズ信号を生成するよう構成されている。付加されるコンフォートノイズのレベルは、了解度と品質を保存するために制限される必要がある。この点については、事前に決定された目標ノイズレベルを示す目標ノイズ信号を使用してコンフォートノイズをスケールすることで達成可能である。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号は、ビットストリームのビットレートに依存して調整される。典型的に、復号化済みオーディオ信号は、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、そのソースモデルの符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、目標コンフォートノイズレベル信号は、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整されてもよい。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号は、ビットストリームに適用されたノイズ低減法によって引き起こされたノイズ減衰レベルに依存して調整される。この特徴により、符号器内のノイズ低減モジュールによって引き起こされたノイズ減衰が補償され得る。
本発明の好ましい一実施形態において、ランダムノイズw(k)の周波数ドメインのコンフォートノイズ信号のエネルギーは、目標コンフォートノイズレベル信号に依存して調整される。その目標コンフォートノイズレベル信号は目標コンフォートノイズレベルgtarを示し、各周波数kについて次式の通りである。
Figure 0007297803000001
ここで、
Figure 0007297803000002
は、周波数kにおける復号化済みオーディオ信号のノイズのエネルギーの推定値であり、ノイズ推定生成装置によって供給されたものである。これらの特徴により、出力信号の了解度及び品質が向上され得る。
本発明の好ましい実施形態において、復号器は更なるビットストリーム復号器を含み、前記ビットストリーム復号器とその更なるビットストリーム復号器とは異なるタイプのものであり、復号器はスイッチを含み、そのスイッチは、ビットストリーム復号器からの復号化済み信号、又は更なるビットストリーム復号器からの復号化済み信号のいずれかを、ノイズ推定装置と結合部とに供給するよう構成されている。ビットストリーム復号器を使用する場合と同様に、更なるビットストリーム復号器を使用する場合でも、コンフォートノイズの付加が実行されるので、ビットストリーム復号器と更なるビットストリーム復号器とを切り替えるときの遷移アーチファクトは最小化され得る。例えば、ビットストリーム復号器は代数符号励振線形予測(ACELP)ビットストリーム復号器であってもよく、他方、更なるビットストリーム復号器は変換ベースのコア(TCX)ビットストリーム復号器であってもよい。
本発明は更に、オーディオビットストリームを生成するよう構成されたオーディオ信号処理符号器を提供し、その符号器は、
オーディオ入力信号に対応する符号化済みオーディオ信号を生成し、その符号化済みオーディオ信号からビットストリームを導出するよう構成されたビットストリーム符号器と、
所望信号エネルギー推定部により決定されたオーディオ信号の所望信号のエネルギーと、ノイズエネルギー推定部により決定されたオーディオ入力信号のノイズのエネルギーとに基づいて、オーディオ入力信号の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部を有する、信号分析部と、
ノイズ低減済みオーディオ信号を生成するよう構成されたノイズ低減装置と、
オーディオ入力信号の決定された信号対ノイズ比に依存して、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれかを、これら各信号を符号化するために、ビットストリーム符号器に対して供給するよう構成されたスイッチ装置であって、ビットストリーム符号器は、オーディオ入力信号又はノイズ低減済みオーディオ信号のどちらが符号化されているかを示すサイド情報を、ビットストリーム内で伝送するよう構成されている、スイッチ装置と、を含む。
ビットストリーム符号器は、オーディオ情報を含むデジタルデータ信号であるオーディオ信号を符号化できる装置またはコンピュータプログラムであってもよい。符号化処理の結果、デジタルビットストリームが生成され、それがデジタルデータリンクを介して遠位の復号器へと伝送されてもよい。
オーディオ入力信号はビットストリーム符号器によって直接的に符号化される。ビットストリーム符号器は、スピーチ符号器であってもよいし、スピーチコーダACELPと変換ベースのオーディオコーダTCXとの間を切り替える低遅延のスキームであってもよい。ビットストリーム符号器は、オーディオ入力信号を符号化し、さらにそのオーディオ信号を復号化するために必要なビットストリームを生成する役割を担う。これと並行して、入力信号は、信号分析器と称される何らかのモジュールによって分析される。好ましい一実施形態において、その信号分析はG.718において使用されているものと同じである。信号分析は、スペクトル分析装置と、それに続くノイズ推定生成装置とにより構成されている。オリジナル信号と推定されたノイズとの両方のスペクトルがノイズ低減モジュールに入力される。ノイズ低減は、周波数ドメインにおいて背景ノイズレベルを減衰させる。その低減量は、目標減衰レベルによって与えられる。強化された時間ドメイン信号(ノイズ低減済みオーディオ信号)は、スペクトル合成の後で生成される。その信号は、幾つかの特徴、即ち活性フレームと不活性フレームとを区別するためにVADにより活用されるピッチ安定度など、を推論するために使用される。その分類の結果は、符号器モジュールによってさらに利用されてもよい。好ましい実施形態において、特定の符号化モードが不活性フレームを取り扱うために使用される。このようにして、復号器は、専用ビットを必要とせずに、ビットストリームからVADフラグを推論できる。
ノイズのない状態(明瞭なスピーチ又は明瞭な音楽)における不要な歪みを回避するために、ノイズ低減はノイズの多いスピーチの場合にのみ適用され、その他の場合には迂回される。ノイズが多い信号とノイズが無い信号との間の区別は、ノイズと所望信号(スピーチ又は音楽)との両者の長期間エネルギーを推定することで達成される。活性フレームの期間中は、長期間エネルギーは入力フレームエネルギーの一次の自己回帰フィルタリングにより計算され、一方で不活性フレームの期間中は、長期間エネルギーはノイズ推定モジュールの出力を使用して計算される。このようにして信号対ノイズ比の推定が計算されることができ、その推定はノイズの長期間エネルギーに対するスピーチ又は音楽の長期間エネルギーの比として定義される。信号対ノイズ比が所定の閾値を下回る場合、そのフレームはノイズの多いスピーチとして認識され、その他の場合には明瞭なスピーチとして分類される。ビットストリーム符号器は、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されているため、復号器は、目標コンフォートノイズレベル信号を、符号器の操作モードに対して自動的に調整することができる。
本発明の好ましい一実施形態において、活性フレームの期間中に、長期間のスピーチ/音楽エネルギー推定だけが更新される。不活性フレームの期間中には、ノイズエネルギー推定だけが更新される。
本発明は更に、オーディオ信号処理復号器とオーディオ信号処理符号器とを含むシステムを提供し、その復号器は特許請求の範囲に従って設計されており、及び/又はその符号器は特許請求の範囲に従って設計されている。
本発明の他の態様は、オーディオビットストリームを復号化する方法を提供し、その方法は、
ビットストリームから復号化済みオーディオ信号を導出するステップであって、その復号化済みオーディオ信号が少なくとも1つの復号化済みフレームを含む、ステップと、
復号化済みオーディオ信号内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号を生成するステップと、
ノイズ推定信号からコンフォートノイズ信号を導出するステップと、
復号化済みオーディオ信号の復号化済みフレームとコンフォートノイズ信号とを結合してオーディオ出力信号を得るステップと、
を含む。
本発明は、オーディオビットストリームを生成するためのオーディオ信号符号化の方法を更に提供し、その方法は、
オーディオ入力信号の所望信号の決定されたエネルギーとオーディオ入力信号のノイズの決定されたエネルギーとに基づいて、オーディオ入力信号の信号対ノイズ比を決定するステップと、
ノイズ低減済みオーディオ信号を生成するステップと、
オーディオ入力信号と対応する符号化済みオーディオ信号を生成するステップであって、オーディオ入力信号の決定された信号対ノイズ比に依存して、オーディオ入力信号とノイズ低減済みオーディオ信号とのいずれかを符号化するステップと、
符号化済みオーディオ信号からビットストリームを導出するステップと、
オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を、ビットストリーム内で伝送するステップと、
を含む。
本発明は、更に、上述の方法に従って生成されたビットストリームを提供する。特許請求の範囲に記載のビットストリームは、オーディオ入力信号又はノイズ低減済みオーディオ信号のいずれが符号化されているかを示すサイド情報を含む。
本発明の更なる態様は、コンピュータ又はプロセッサ上で作動するときに、本発明の方法を実行するコンピュータプログラムを提供する。
本発明の好ましい実施形態を、添付の図を参照しながら以下に説明する。
本発明に係る復号器の第1実施例を示す。 本発明に係る復号器の第2実施例を示す。 先行技術に係る符号器を示す。 本発明に係る符号器の第1実施例を示す。 本発明に係る符号器の第2実施例を示す。 本発明に係るビットストリームのフレームフォーマットの一実施例を示す。
図1は、本発明に係る復号器1の第1実施例を示す。復号器1は、符号化済みビットストリームBSを処理するよう構成され、復号器1は、
ビットストリームBSから復号化済みオーディオ信号DSを導出するよう構成されたビットストリーム復号器2であって、復号化済みオーディオ信号DSが少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器2と、
復号化済みオーディオ信号DS内のノイズNのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号NEを生成するよう構成されたノイズ推定装置3と、
ノイズ推定信号NEからコンフォートノイズ信号CNを導出するよう構成されたコンフォートノイズ生成装置4と、
復号化済みオーディオ信号DSの復号化済みフレームとコンフォートノイズ信号CNとを結合してオーディオ出力信号OSを得るよう構成された結合部5と、
を含む。
ビットストリーム復号器2は、オーディオ情報を含むデジタルデータストリームであるオーディオビットストリームBSを復号化できる装置又はコンピュータプログラムであってもよい。復号化処理の結果としてデジタル復号化済みオーディオ信号DSが生成され、この信号がA/D変換器へと供給されてアナログオーディオ信号が生成され、その信号が次にラウドスピーカへと供給されて、可聴信号が生成されてもよい。
復号化済みオーディオ信号DSは所謂フレームを含み、これらフレームの各々がある時間に関するオーディオ情報を含んでいる。そのようなフレームは、活性フレームと不活性フレームとに分類されてもよく、活性フレームとは、スピーチや音楽などのオーディオ情報の所望の成分WS(所望信号WSとも呼ばれる)を含むフレームであり、一方、不活性フレームとは、オーディオ情報の如何なる所望の成分をも含まないフレームである。不活性フレームは通常はポーズの期間中に発生し、そこでは音楽やスピーチなどの所望の成分は存在しない。したがって、不活性フレームは通常は背景ノイズNだけを含む。
ノイズ推定装置3は、復号化済みオーディオ信号DS内のノイズのレベル及び/又はスペクトル形状の推定を含むノイズ推定信号NEを生成するよう構成されている。更に、コンフォートノイズ生成装置4は、ノイズ推定信号NEからコンフォートノイズ信号CNを導出するよう構成されている。ノイズ推定信号NEは、復号化済みオーディオ信号DS内にパラメトリック形式で含まれているノイズNの特性に関する情報を含む信号であってもよい。コンフォートノイズ信号CNとは、復号化済みオーディオ信号DS内に含まれるノイズNに対応する人工的なオーディオ信号である。これらの特徴により、背景ノイズNに関するビットストリームBS内のサイド情報を何も必要とせずに、コンフォートノイズCNが実際の背景ノイズNのように聴こえることができる。
結合部5は、復号化済みオーディオ信号DSの復号化済みフレームとコンフォートノイズ信号CNとを結合して、オーディオ出力信号OSを取得するよう構成されている。その結果、オーディオ出力信号OSは、人工的ノイズCNを含む復号化済みフレームを含む。復号化済みフレーム内の人工的ノイズCNにより、特にビットストリームBSが低ビットレートで伝送される場合に、オーディオ出力信号OS内のアーチファクトをマスキングできるようになる。
先行技術とは対照的に、本発明は、復号化済みの活性フレーム又は不活性フレームに対して人工的なコンフォートノイズCNを付加するという原理を適用する。本発明の概念は、DTX及び非DTXの両方のモードに適用可能である。
本発明は、低ビットレートで符号化されかつ伝送されるノイズの多いスピーチの品質を向上させる方法を提供する。低ビットレートでは、ノイズの多いスピーチ、即ち背景ノイズNとともに録音されたスピーチの符号化は、通常、明瞭なスピーチWSの符号化ほど効率的でない。復号化された合成信号は、通常、アーチファクトを持つ傾向にある。2つの異なる種類の音源、即ちノイズNとスピーチWSとは、単一音源モデルに依存する1つの符号化スキームによって効率的に符号化され得ない。本発明は、復号器側において背景ノイズNをモデル化しかつ合成し、サイド情報を極少量しか必要としないか又は全く必要としないような概念を提供する。これは、背景ノイズNのレベル及びスペクトル形状を復号器側で推定し、かつコンフォートノイズCNを人工的に生成することによって達成される。その生成されたノイズCNは、復号化済みオーディオ信号DSと結合されて、復号化済みフレーム内の符号化アーチファクトをマスキングすることを可能にする。
更に、前記概念は、符号器側において適用されるノイズ低減スキームと組み合わせることができる。ノイズ低減により信号対ノイズ比(SNR)のレベルが改善し、後続のオーディオ符号化の性能を向上させる。復号化済みオーディオ信号DS内のノイズNの消失量は、復号器側でコンフォートノイズCNによって補償される。しかし、それは通常、より劣化した又は不自然に聴こえるものである。なぜなら、ノイズ低減がオーディオ成分を歪ませ、符号化アーチファクトに加えて、可聴の楽音的ノイズアーチファクトを引き起こし得るからである。本発明の一つの特徴は、そのような不快な歪みを、復号器側でコンフォートノイズCNを付加することでマスクすることである。ノイズ低減スキームを使用する場合、コンフォートノイズの付加はSNRを劣化させない。更に、コンフォートノイズは、ノイズ低減技術では典型的に生じる悩ましい楽音ノイズの大部分を隠蔽する。
本発明の好ましい一実施形態において、復号化済みフレームは活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み活性フレームに拡張するものである。
本発明の好ましい一実施形態において、復号化済みフレームは不活性フレームである。この特徴は、コンフォートノイズの付加の原理を復号化済み不活性フレームに拡張するものである。
本発明の好ましい一実施形態において、ノイズ推定装置3は、復号化済みオーディオ信号DS内のノイズのレベル及びスペクトル形状を含む分析信号ASを生成するよう構成されたスペクトル分析装置6と、その分析信号ASに基づいてノイズ推定信号NEを生成するよう構成されたノイズ推定生成装置7と、を含む。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置4は、ノイズ推定信号NEに基づいて周波数ドメインのコンフォートノイズ信号FDを生成するよう構成されたノイズ生成部8と、その周波数ドメインのコンフォートノイズ信号FDに基づいてコンフォートノイズ信号CNを生成するよう構成されたスペクトル合成部9と、を含む。
本発明の好ましい一実施形態において、復号器1は、第1操作モード又は第2操作モードへとニ者択一的に復号器1を切り替えるよう構成されたスイッチ装置10を含み、第1操作モードにおいてはコンフォートノイズ信号CNが結合部へと供給され、第2操作モードにおいてはコンフォートノイズ信号CNが結合部5に供給されない。これらの特徴により、コンフォートノイズCNの不要な状況下での人工的なコンフォートノイズCNの使用を中止させることが可能になる。
本発明の好ましい一実施形態において、復号器1は、スイッチ装置10を自動的に制御するよう構成された制御装置11を含み、その制御装置11は、復号化済みオーディオ信号DSの信号対ノイズ比に依存してスイッチ装置10を制御するよう構成されたノイズ検出部12を含み、復号器は、信号対ノイズ比が低い状況下では第1操作モードへ切り替えられ、信号対ノイズ比が高い状況下では第2操作モードへ切り替えられる。これらの特徴により、コンフォートノイズCNの使用は、ノイズの多いスピーチシナリオにおいてだけトリガーされてもよい。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。信号対ノイズ比が低い状況と信号対ノイズ比が高い状況とを区別する目的で、信号対ノイズ比についての閾値が定義され使用されてもよい。
本発明の好ましい一実施形態において、制御装置11は、ビットストリームBS内に含まれた、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号NDを生成するよう構成されたサイド情報受信部13を含み、ノイズ検出部12はそのノイズ検出信号NDに依存してスイッチ装置10を切り替える。これらの特徴により、受信されたビットストリームBSを生成及び/又は処理する外部装置によってなされた信号分析に基づいて、スイッチ装置10を制御することが可能になる。その外部装置は、特に、ビットストリームBSを生成している符号器であってもよい。
本発明の好ましい一実施形態において、復号化済みオーディオ信号DSの信号対ノイズ比に対応するサイド情報は、ビットストリームBS内の少なくとも1つの専用ビットから構成される。一般的に、専用ビットとは、それ単独で、又は他の専用ビットと共に、定義された情報を含む1つのビットのことである。ここでは、専用ビットは、信号対ノイズ比が所定の閾値より上か下かを示してもよい。
本発明の好ましい一実施形態において、コンフォートノイズ生成装置4は、目標コンフォートノイズレベル信号TNLに基づいてコンフォートノイズ信号CNを生成するよう構成されている。付加されるコンフォートノイズCNのレベルは、了解度と品質を保存するために制限されるべきである。この点については、予め決定された目標ノイズレベルを示す目標ノイズ信号TNLを使用してコンフォートノイズCNをスケールすることで達成可能である。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号TNLは、ビットストリームBSのビットレートに依存して調整される。典型的に、復号化済みオーディオ信号DSは、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、そのソースモデルの符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、目標コンフォートノイズレベル信号TNLは、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整されてもよい。
本発明の好ましい一実施形態において、目標コンフォートノイズレベル信号TNLは、ビットストリームBSに適用されたノイズ低減法によって引き起こされるノイズ減衰レベルに依存して調整される。この特徴により、符号器内のノイズ低減モジュールによって引き起こされるノイズ減衰は、補償され得る。
本発明の好ましい一実施形態において、ランダムノイズw(k)の周波数ドメインのコンフォートノイズ信号FDのエネルギーは、目標コンフォートノイズレベル信号TNLに依存して調整される。その目標コンフォートノイズレベル信号TNLは目標コンフォートノイズレベルgtarを示し、各周波数kについて次式の通りである。
Figure 0007297803000003
ここで、
Figure 0007297803000004
は、ノイズ推定生成装置7によって供給された、周波数kにおける復号化済みオーディオ信号DSのノイズNのエネルギーの推定値である。これらの特徴により、出力信号OSの了解度及び品質が改善され得る。
図2は本発明にかかる復号器1の第2実施例を示す。この復号器1の第2実施例は、第1実施例の復号器1に基づいている。以下では、第1実施例との相違点だけを説明する。
本発明の好ましい一実施形態において、制御装置は、復号化済みオーディオ信号DSの所望信号WSのエネルギーを決定するよう構成された所望信号エネルギー推定部14と、復号化済みオーディオ信号DSのノイズNのエネルギーを決定するよう構成されたノイズエネルギー推定部15と、所望信号WSのエネルギーに基づきまたノイズNのエネルギーにも基づいて復号化済みオーディオ信号DSの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部16と、を含み、スイッチ装置10は制御装置11によって決定された信号対ノイズ比に依存して切り替えられる。この場合、信号対ノイズ比に関するビットストリーム内のサイド情報は必要でない。従って、第1実施例におけるサイド情報受信部13も必要でない。
本発明の好ましい一実施形態において、ビットストリームBSは活性フレームと不活性フレームとを含み、制御装置11は、復号化済みオーディオ信号DSの所望信号WSのエネルギーを活性フレームの期間中に決定し、復号化済みオーディオ信号DSのノイズNのエネルギーを不活性フレームの期間中に決定するよう構成されている。これにより、信号対ノイズ比を推定するときの高度な正確性が容易な方法で達成され得る。
本発明の好ましい一実施形態において、ビットストリームBSは活性フレームと不活性フレームとを含み、復号器1はサイド情報受信部17を含み、そのサイド情報受信部17は、ビットストリーム内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。この特徴により、活性フレーム又は不活性フレームはそれぞれ、計算労力なく識別され得る。
本発明の好ましい一実施形態において、サイド情報受信部17は、スイッチ17aを制御するよう構成されてもよく、そのスイッチ17aは、所望信号エネルギー推定部14の出力信号OW、又はノイズエネルギー推定部15の出力信号ONのいずれかを択一的に信号対ノイズ比推定部16へと供給し、その場合、所望信号エネルギー推定部14の出力信号OWは活性フレームの期間中に信号対ノイズ比推定部16へと供給され、ノイズエネルギー推定部15の出力信号ONは不活性フレームの期間中に信号対ノイズ比推定部16へと供給される。これらの特徴により、信号対ノイズ比は容易かつ正確な方法で計算され得る。
本発明の好ましい一実施形態において、制御装置11は、分析信号ASに基づいて復号化済みオーディオ信号の所望信号のエネルギーを決定するよう構成されている。この場合、通常はノイズ推定の目的で計算されるべき分析信号ASが再使用されて、複雑さが軽減されてもよい。
本発明の好ましい一実施形態において、制御装置11は、復号化済みオーディオ信号DSのノイズNのエネルギーを、ノイズ推定信号NEに基づいて決定するよう構成されている。このような実施形態においては、典型的にはコンフォートノイズ生成の目的で計算されるべきノイズ推定信号NEが再使用されて、複雑さが更に軽減されてもよい。
本発明の好ましい実施形態において、復号器1は更なるビットストリーム復号器(図示せず)を含み、前記ビットストリーム復号器2とその更なるビットストリーム復号器とは異なるタイプであり、復号器1はスイッチ(図示せず)を含み、そのスイッチは、ノイズ推定装置3と結合部5とに対し、ビットストリーム復号器2からの復号化済み信号DS、又は更なるビットストリーム復号器からの復号化済み信号のいずれかを供給するよう構成されている。ビットストリーム復号器2を使用する場合と同様に、更なるビットストリーム復号器を使用する場合でも、コンフォートノイズ付加が実行されるので、ビットストリーム復号器2と更なるビットストリーム復号器とを切り替えるときの遷移アーチファクトが最小化され得る。例えば、ビットストリーム復号器2は代数符号励振線形予測(ACELP)のビットストリーム復号器であってもよく、一方、更なるビットストリーム復号器は変換ベースのコア(TCX)ビットストリーム復号器であってもよい。
本発明の復号器1は、図1及び図2に示されており、そこではコンフォートノイズの付加が周波数ドメインで盲目的に実行される。実際の背景ノイズNのように聞こえるコンフォートノイズCNを得るために、ノイズ推定装置3が復号器1において使用され、何らのサイド情報をも必要とせずに背景ノイズNのレベル及びスペクトル形状を決定する。
コンフォートノイズ生成装置4は、ノイズの多いスピーチシナリオにおいてだけトリガーされる。即ち、明瞭なスピーチ又は明瞭な音楽の状況においてはトリガーされない。その区別は符号器内で実行される検出に基づいてもよい。この場合、その決定は専用ビットを使用して伝送されるべきである。対照的に、好ましい実施形態においては、符号器内で使用されるノイズ推定装置に類似するノイズ推定生成装置7が適用される。その装置は、VAD決定に依存して、ノイズNのエネルギーと、スピーチ及び/又は音楽などの所望信号WSのエネルギーとのいずれかの長期間推定を別個に採用することで、長期間の信号対ノイズ比を推定する。VAD決定は、ACELPモード及びTCXモードのインデックスから直接的に推定されてもよい。実際のところ、信号が不活性のスピーチ/音楽フレーム、即ち背景ノイズだけを有するフレームであるとき、TCX及びACELPは、TCX-NA及びACELP-NAと呼ばれる特定のモードにおいてそれぞれ作動することができる。ACELP及びTCXの他の全てのモードは、活性フレームに関連する。それ故、ビットストリーム内における専用のVADビットの存在は省略され得る。
付加されるコンフォートノイズのレベルは、了解度と品質を保存するために制限されるべきである。それ故、コンフォートノイズは予め決定された目標ノイズレベルに到達するまでスケールされる。コンフォートノイズ付加後の目標ノイズ振幅レベルをgtarで示す場合、ランダムノイズw(k)のエネルギーEwは各周波数kについて次式のように調整される。
Figure 0007297803000005
ここで、
Figure 0007297803000006
は周波数kにおいて復号化されたオーディオ出力内に存在するノイズエネルギーの推定値を示し、ノイズ推定モジュールによって出力されたものである。
典型的に、復号化済みオーディオ信号DSは、特に符号化アーチファクトが最も激しい低ビットレートにおいて、オリジナル入力信号よりも高い信号対ノイズ比を示す。スピーチ符号化におけるノイズレベルのこのような減衰は、入力としてスピーチを有することを想定しているソースモデルパラダイムに起因する。その他の場合には、ソースモデル符号化は全く適切ではなく、非スピーチ成分の全体エネルギーを再生できないであろう。それ故、図3に示された符号器を用いる本発明の第1の態様において、目標コンフォートノイズレベルgtarは、符号化プロセスによって固有に導入されたノイズ減衰を大まかに補償するために、ビットレートに依存して調整される。
図4及び図5に示された符号器を用いる本発明の第2の態様について、目標コンフォートノイズレベルgtarは、追加的に、符号器内のノイズ低減モジュールによって引き起こされるノイズ減衰を考慮に入れなければならない。
更に、本明細書で説明されるコンフォートノイズの付加によれば、全てのフレーム上にコンフォートノイズを均一に付加することで、一つの符号化タイプ(例えばACELP)から別のタイプ(例えばTCX)への遷移アーチファクトを平滑化することが可能になる。
図3は、図1及び図2に示された復号器と組み合わせて使用し得る、従来技術に係る符号器を示す。
入力信号ISはビットストリーム符号器20によって直接的に符号化される。ビットストリーム符号器20はスピーチコーダであってもよく、又は、スピーチコーダACELPと変換ベースのオーディオコーダTCXとの間を切り替える低遅延スキームであってもよい。ビットストリーム符号器20は、信号ISを符号化する信号符号器21と、復号器1において復号化済み信号DSを生成するために必要なビットストリームBSを生成するビットストリーム生成部22とを含む。これと並行して、入力信号ISは信号分析器23と称されるモジュールによって分析され、そのモジュールはノイズ推定装置24を含む。好ましい一実施形態において、ノイズ推定装置24は、G.718において使用されるものと同じである。それは、スペクトル分析装置25と、後続のノイズ推定生成装置26とにより構成されている。オリジナル信号ISのスペクトルSIと推定されたノイズのスペクトルNIとは、ノイズ低減モジュール27に入力される。ノイズ低減モジュール27は、強化された周波数ドメイン信号FSにおける背景ノイズレベルを減衰させる。その低減量は、目標減衰レベル信号TASによって与えられる。強化された時間ドメイン信号(ノイズ低減済みオーディオ信号)TSは、スペクトル合成装置28によって実行されるスペクトル合成の後で生成される。信号TSは、活性フレームと不活性フレームとを区別するために信号活性度検出部29により活用されるピッチ安定度などの、幾つかの特徴を推論するために使用される。その分類の結果は、符号器モジュール18によってさらに利用されてもよい。好ましい実施形態において、特定の符号化モードが不活性フレームを取り扱うために使用される。このようにして、復号器1は、専用ビットを必要とせずに、ビットストリームから信号活性度フラグ(VADフラグ)を推論できる。
図4は本発明にかかる符号器18の第1実施形態を示す。図4に示された符号器18は図3に示された符号器18に基づいている。
図4の符号器18は、オーディオビットストリームBSを生成するよう構成され、符号器18は、
オーディオ入力信号ISに対応する符号化済みオーディオ信号ESを生成し、その符号化済みオーディオ信号ESからビットストリームBSを導出するよう構成されたビットストリーム符号器20と、
所望信号エネルギー推定部31により決定されたオーディオ入力信号ISの所望信号WSのエネルギーと、ノイズエネルギー推定部32により決定されたオーディオ入力信号ISのノイズNのエネルギーとに基づいて、オーディオ入力信号ISの信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部33を有する、信号分析部30と、
ノイズ低減済みオーディオ信号TSを生成するよう構成されたノイズ低減装置27、28と、
オーディオ入力信号ISの決定された信号対ノイズ比に依存して、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれかを、それぞれの信号IS、TSを符号化するために、ビットストリーム符号器20に対して供給するよう構成されたスイッチ装置35であって、ビットストリーム符号器20は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのどちらが符号化されているかを示すサイド情報を、ビットストリームの中で伝送するよう構成されている、スイッチ装置35と、を含む。
ビットストリーム符号器20は、オーディオ情報を含むデジタルデータ信号であるオーディオ信号を符号化できる装置またはコンピュータプログラムであってもよい。符号化処理の結果、デジタルビットストリームが生成され、それがデジタルデータリンクを介して遠位の復号器へと伝送されてもよい。
本発明の一実施形態の符号器部分を図4に示す。図3と比較した主な相違点は、ノイズ低減の出力、即ち強化された信号TSを符号化するという事実から生まれる。ノイズのない状態(明瞭なスピーチ又は明瞭な音楽)における不要な歪みを回避するために、ノイズ低減はノイズの多いスピーチの場合にのみ適用され、それ以外の場合には迂回される。ノイズが多い信号とノイズが無い信号との間の区別は、所望信号エネルギー推定部31により所望信号WS(スピーチ又は音楽)の長期間エネルギーを推定すること、及びノイズ推定部32によりノイズNの長期間エネルギーを推定することとによって達成される。この目的のため、所望信号エネルギー推定部31は、スペクトル分析装置25により供給される入力信号ISについてのスペクトル信号SIを受信する。さらに、ノイズエネルギー推定部は、ノイズ推定生成装置26により供給される入力信号ISについてのノイズ推定信号NIを受信する。活性フレームの期間中には、長期間スピーチ/音楽エネルギー推定WEだけが更新される。不活性フレームの期間中には、ノイズエネルギー推定NEだけが更新される。活性フレームの期間中は、長期間エネルギーは入力フレームエネルギーの一次の自己回帰フィルタリングにより計算され、一方で不活性フレームの期間中は、長期間エネルギーはノイズ推定モジュールの出力を使用して計算される。このようにして、信号対ノイズ比信号RSを信号対ノイズ比推定部33により計算することができ、その信号はノイズNの長期間エネルギーに対するスピーチ又は音楽WSの長期間エネルギーの比を含む。信号対ノイズ比信号RSはノイズ検出部34に供給され、その検出部は、現在のフレームがノイズの多いオーディオ信号を含むか又は明瞭なオーディオ信号を含むかについて決定する。信号対ノイズ比信号RSが所定の閾値を下回る場合、そのフレームはノイズの多いスピーチと認識され、その他の場合には明瞭なスピーチとして分類される。
分類の結果は、ノイズフラグ信号NFとして出力され、これはスイッチ35を制御するために使用される。更に、ノイズフラグ信号NFはビットストリーム符号器20へと供給される。ビットストリーム符号器20は、ノイズフラグ信号NFに基づいて、ビットストリーム内にサイド情報を生成しかつ伝送するよう構成されており、そのサイド情報は、オーディオ入力信号IS又はノイズ低減済みオーディオ信号TSのいずれが符号化されているかを示す。このフラグを復号化することで、復号器は、復号化済み信号DSをノイズの多い信号又は明瞭な信号として分類する必要なく、目標ノイズレベルを自動的に調整できる。
図5は、本発明にかかる符号器18の第2の実施形態を示す。図5に示された符号器18は、図4に示された符号器に基づいている。以下に追加的な特徴について説明する。図5では、信号分析部30は、入力信号ISについてのノイズ低減済みオーディオ信号TSとノイズ推定信号NIとを受け取る、信号活性度検出部36を含む。信号活性度検出部36は、上記2つの信号に基づいて、活性フレームと不活性フレームとを区別するよう構成されている。信号活性度検出部は信号活性度信号SAを生成し、その信号活性度信号SAは、一方では、ビットストリームBSを信号活性度に適合させる目的でビットストリーム符号器20へと送信され、他方では、スイッチ37を切り替えるために使用される。このスイッチ37は、信号対ノイズ比推定部33に対し、所望信号エネルギー信号WE又はノイズエネルギー信号ENを択一的に供給するよう構成されている。
図6は、本発明にかかるビットストリームBSのフレームフォーマットFFの一実施形態を示す。このフレームフォーマットFFに従うフレームは、0からnまでの位置に配置された複数ビットを有する信号ベクトルSVを含む。n+1の位置には、そのフレームが活性フレームか不活性フレームかを示す活性度フラグAFである1ビットが配置されている。更に、n+2の位置には、そのフレームがノイズの多い信号又は明瞭な信号を含むかを示すノイズフラグNFである1ビットが配置される。n+3の位置には、パディングビットPBが配置されている。
本発明の好ましい一実施形態において、現在フレームが活性であるか不活性であるかを示すサイド情報は、ビットストリーム内の少なくとも1つの専用ビットから構成されている。
要約すると、本発明の一態様においては、オリジナル信号が符号化され、復号器1において、人工的に生成されたコンフォートノイズCNによって付加される前にオリジナル信号が復号化される。コンフォートノイズ生成装置4は、サイド情報を全く必要としないか、又は極少量しか必要としない。第1実施形態において、コンフォートノイズ生成装置4はサイド情報を全く必要とせず、全ての処理は盲目的に実行される。その好ましい実施形態において、コンフォートノイズ生成装置4は、VAD情報(活性フレームと不活性フレームとの分類結果)をビットストリームBSから復元する必要があり、そのVAD情報は、ビットストリーム内に既に存在することができ、他の目的にも使用可能である。図1に示す実施形態において、復号器1は、明瞭なスピーチとノイズの多いスピーチを区別するノイズフラグを符号器18から要求する。更に、コンフォートノイズ生成装置4の駆動を助成し得る、パラメトリック的に符号化されたいかなる種類の情報をも想定することができる。
本発明の他の態様において、ノイズ低減が最初にオリジナル信号ISに対して適用され、強化された信号TSがビットストリーム符号器20へと送られて、符号化されかつ送信される。復号化の最終段階において、人工的に生成されたコンフォートノイズCNが、復号化された(強化された)信号DSに付加される。符号器においてノイズ低減のために使用された目標減衰レベルは、復号器におけるCNGモジュールと共有される固定値である。それ故、目標減衰レベルは明示的に伝送される必要がない。
これまで装置を説明する文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全ては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路等のハードウエア装置により(を使用して)実行されても良い。幾つかの実施形態においては、最も重要な方法ステップの内の1つ又は複数のステップはそのような装置によって実行されても良い。
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,ブルーレイ,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどの非一時的記憶媒体を使用して実行することができる。従って、そのデジタル記憶媒体はコンピュータ読み取り可能であっても良い。
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には有形であり、及び/又は非一時的である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるよう構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを受信機へと(例えば電子的または光学的に)転送するよう構成された装置またはシステムを含む。受信機は、例えばコンピュータ、携帯デバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えばコンピュータプログラムを受信機へと転送するためのファイルサーバを備えてもよい。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
-備考-
[請求項1]
符号化済みのオーディオビットストリーム(BS)を処理するよう構成された復号器(1)であって、
前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するよう構成されたビットストリーム復号器(2)であって、前記復号化済みオーディオ信号(DS)が少なくとも1つの復号化済みフレームを含む、ビットストリーム復号器(2)と、
前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するよう構成されたノイズ推定装置(3)と、
前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するよう構成されたコンフォートノイズ生成装置(4)と、
前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを結合して、オーディオ出力信号(OS)を得るよう構成された結合部(5)と、
を含む復号器(1)。
[請求項2]
前記復号化済みフレームが活性フレームである、請求項1に記載の復号器。
[請求項3]
前記復号化済みフレームが不活性フレームである、請求項1又は2に記載の復号器。
[請求項4]
前記ノイズ推定装置(3)は、前記復号化済みオーディオ信号(DS)内の前記ノイズ(N)のレベル及びスペクトル形状を含む分析信号(AS)を生成するよう構成されたスペクトル分析装置(6)と、前記分析信号(AS)に基づいてノイズ推定信号(NE)を生成するよう構成されたノイズ推定生成装置(7)とを含む、請求項1乃至3のいずれか一項に記載の復号器。
[請求項5]
前記コンフォートノイズ生成装置(4)は、前記ノイズ推定信号(NE)に基づいて周波数ドメインのコンフォートノイズ信号(FD)を生成するよう構成されたノイズ生成部(8)と、前記周波数ドメインのコンフォートノイズ信号(FD)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されたスペクトル合成部(9)とを含む、請求項1乃至4のいずれか一項に記載の復号器。
[請求項6]
前記復号器(1)は、第1操作モード又は第2操作モードへと択一的に前記復号器を切り替えるよう構成されたスイッチ装置(10)を含み、前記第1操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給され、前記第2操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給されない、請求項1乃至5のいずれか一項に記載の復号器。
[請求項7]
前記復号器(1)は、前記スイッチ装置(10)を自動的に制御するよう構成された制御装置(11)を含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の信号対ノイズ比に依存して前記スイッチ装置(10)を制御するよう構成されたノイズ検出部(12)を含み、前記復号器(1)は、信号対ノイズ比が低い状況下では前記第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では前記第2操作モードへと切り替えられる、請求項6に記載の復号器。
[請求項8]
前記制御装置(11)は、前記ビットストリーム(BS)内に含まれた、前記復号化済みオーディオ信号(DS)の前記信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号(ND)を生成するよう構成されたサイド情報受信部(13)を含み、前記ノイズ検出部(12)は、前記ノイズ検出信号(ND)に依存して前記スイッチ装置(10)を切り替える、請求項7に記載の復号器。
[請求項9]
前記復号化済みオーディオ信号(DS)の信号対ノイズ比に対応するサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成される、請求項8に記載の復号器。
[請求項10]
前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の所望信号(WS)のエネルギーを決定するよう構成された所望信号エネルギー推定部(14)と、前記復号化済みオーディオ信号(DS)のノイズ(N)のエネルギーを決定するよう構成されたノイズエネルギー推定部(15)と、前記所望信号(WS)のエネルギーと前記ノイズ(N)のエネルギーとに基づいて前記復号化済みオーディオ信号(DS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(16)と、を含み、前記制御装置(11)によって決定された前記信号対ノイズ比に依存して前記スイッチ装置(10)が切り替えられる、請求項7乃至9のいずれか一項に記載の復号器。
[請求項11]
前記ビットストリームは活性フレームと不活性フレームとを含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを前記活性フレームの期間中に決定し、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを前記不活性フレームの期間中に決定するよう構成されている、請求項7乃至10のいずれか一項に記載の復号器。
[請求項12]
前記ビットストリームは活性フレームと不活性フレームとを含み、前記復号器(1)はサイド情報受信部(17)を含み、前記サイド情報受信部(17)は、前記ビットストリーム(BS)内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、前記活性フレームと前記不活性フレームとを区別するよう構成されている、請求項1乃至11のいずれか一項に記載の復号器。
[請求項13]
前記現在のフレームが活性か不活性かを示すサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成されている、請求項12に記載の復号器。
[請求項14]
前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを、前記分析信号(AS)に基づいて決定するよう構成されている、請求項4及び請求項7乃至13のいずれか一項に記載の復号器。
[請求項15]
前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを、前記ノイズ推定信号(NE)に基づいて決定するよう構成されている、請求項7乃至14のいずれか一項に記載の復号器。
[請求項16]
前記コンフォートノイズ生成装置(4)は、目標コンフォートノイズレベル信号(TNL)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されている、請求項1乃至15のいずれか一項に記載の復号器。
[請求項17]
前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)のビットレートに依存して調整される、請求項16に記載の復号器。
[請求項18]
前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)に適用されたノイズ低減方法によって引き起こされたノイズ減衰レベルに依存して調整される、請求項15又は17に記載の復号器。
[請求項19]
前記周波数ドメインのコンフォートノイズ信号(FD)の周波数帯域kのエネルギーEw(k)は、前記目標コンフォートノイズレベル信号(TNL)に依存して調整され、前記目標コンフォートノイズレベル信号(TNL)は目標コンフォートノイズレベルgtarを示し、各周波数帯域kについて、
[数4]
Figure 0007297803000007
であり、ここで、
Figure 0007297803000008
は、前記ノイズ推定生成装置(7)によって供給された、前記周波数帯域kにおける前記復号化済みオーディオ信号(DS)の前記ノイズNのエネルギーの推定を示す、請求項16乃至18のいずれか一項に記載の復号器。
[請求項20]
前記復号器(1)は更なるビットストリーム復号器を含み、前記ビットストリーム復号器(2)と前記更なるビットストリーム復号器とは異なるタイプのものであり、前記復号器(1)はスイッチを含み、そのスイッチは、前記ビットストリーム復号器(2)からの前記復号化済み信号(DS)、又は前記更なるビットストリーム復号器からの復号化済み信号のいずれかを、前記ノイズ推定装置(3)と前記結合部(5)とに供給するよう構成されている、請求項1乃至19のいずれか一項に記載の復号器。
[請求項21]
オーディオビットストリーム(BS)を生成するよう構成された符号器(18)であって、
オーディオ入力信号(IS)に対応する符号化済みオーディオ信号(ES)を生成し、前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するよう構成されたビットストリーム符号器(20)と、
所望信号エネルギー推定部(31)により決定された前記オーディオ入力信号(IS)の所望信号のエネルギーとノイズエネルギー推定部(32)により決定された前記オーディオ入力信号(IS)のノイズのエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(33)を有する、信号分析部(30)と、
ノイズ低減済みオーディオ信号(TS)を生成するよう構成されたノイズ低減装置(27,28)と、
前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のいずれかを、それぞれの信号(IS,TS)を符号化するために、前記ビットストリーム符号器(20)に対して供給するよう構成されたスイッチ装置(35)であって、前記ビットストリーム符号器(20)は、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を前記ビットストリーム(BS)内で伝送するよう構成されている、スイッチ装置(35)と、
を含む符号器(18)。
[請求項22]
復号器(1)と符号器(18)とを含むシステムであって、前記復号器(1)が請求項1乃至19のいずれか一項に記載のように設計され、及び/又は前記符号器(18)が請求項21に記載のように設計されている、システム。
[請求項23]
オーディオビットストリーム(BS)を復号化する方法であって、
前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するステップであって、前記復号化済みオーディオ信号(DS)が少なくとも1つの復号化済みフレームを含むステップと、
前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するステップと、
前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するステップと、
前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを結合して、オーディオ出力信号(OS)を得るステップと、
を含む方法。
[請求項24]
オーディオビットストリーム(BS)を生成するためのオーディオ信号符号化の方法であって、
オーディオ入力信号(IS)の所望信号(WS)の決定されたエネルギーと前記オーディオ入力信号(IS)のノイズ(N)の決定されたエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するステップと、
ノイズ低減済みオーディオ信号(TS)を生成するステップと、
前記オーディオ入力信号(IS)と対応する符号化済みオーディオ信号(ES)を生成するステップであって、前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)と前記ノイズ低減済みオーディオ信号(TS)とのいずれかを符号化するステップと、
前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するステップと、
前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を、前記ビットストリーム(BS)内で伝送するステップと、
を含む方法。
[請求項25]
請求項24に記載の方法に従って生成されたビットストリーム。
[請求項26]
コンピュータ又はプロセッサ上で作動したときに、請求項23又は24の方法を実行するためのコンピュータプログラム。
1 復号器
2 ビットストリーム復号器
3 ノイズ推定装置
4 コンフォートノイズ生成装置
5 結合部
6 スペクトル分解装置
7 ノイズ推定生成装置
8 ノイズ生成部
9 スペクトル合成部
10 スイッチ装置
11 制御装置
12 ノイズ検出部
13 サイド情報受信部
14 所望信号エネルギー推定部
15 ノイズエネルギー推定部
16 信号対ノイズ比推定部
17 サイド情報受信部
17a スイッチ
18 符号器
19 信号分析部
20 ビットストリーム符号器
21 信号符号器
22 ビットストリーム生成部
23 信号分析部
24 ノイズ推定装置
25 スペクトル分析装置
26 ノイズ推定生成部
27 ノイズ低減モジュール
28 スペクトル合成装置
29 信号活性度検出部
30 信号分析部
31 所望信号エネルギー推定部
32 ノイズエネルギー推定部
33 信号対ノイズ比推定部
34 ノイズ検出部
35 スイッチ
36 信号活性度検出部
37 スイッチ
BS 符号化済みオーディオビットストリーム
DS 復号化済みオーディオ信号
NE ノイズ推定信号
N ノイズ
CN コンフォートノイズ
OS オーディオ出力信号
AS 分析信号
FD 周波数ドメインのコンフォートノイズ信号
ND ノイズ検出信号
TNL 目標コンフォートノイズレベル
IS 入力信号
ES 符号化済み信号
OW 所望信号エネルギー推定部の出力信号
ON ノイズエネルギー推定部の出力信号
SI 入力信号についてのスペクトル信号
NI 入力信号についてのノイズ推定信号
TAS 目標減衰信号
FS 強化された周波数ドメイン信号
TS ノイズ低減済みオーディオ信号
AD 活性度検出部信号
WE 所望信号エネルギー信号
EN ノイズエネルギー信号
RS 信号対ノイズ比信号
NF ノイズフラグ
SA 信号活性度信号
FF フレームフォーマット
SV 信号ベクトル
AF 活性度フラグ
NF ノイズフラグ信号
PB パディングビット

Claims (25)

  1. 符号化済みのオーディオビットストリーム(BS)を処理するよう構成された復号器(1)であって、
    前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するよう構成されたビットストリーム復号器(2)であって、前記復号化済みオーディオ信号(DS)が1つ以上の復号化済みフレームを含む、ビットストリーム復号器(2)と、
    前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するよう構成されたノイズ推定装置(3)と、
    前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するよう構成されたコンフォートノイズ生成装置(4)であって、前記コンフォートノイズ信号(CN)は前記復号化済みオーディオ信号(DS)内の符号化アーチファクトをマスキングするための人工的ノイズである、コンフォートノイズ生成装置(4)と、
    前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを前記復号器(1)の非不連続な動作モードにおいて結合してオーディオ出力信号(OS)を得るよう構成され、前記オーディオ出力信号(OS)内の前記復号化済みフレームが人工的ノイズを含むようにする、結合部(5)と、
    を含む復号器(1)。
  2. 前記1つ以上の復号化済みフレームが活性フレームを含む、請求項1に記載の復号器。
  3. 前記1つ以上の復号化済みフレームが不活性フレームを含む、請求項1又は2に記載の復号器。
  4. 前記ノイズ推定装置(3)は、前記復号化済みオーディオ信号(DS)内の前記ノイズ(N)のレベル及びスペクトル形状を含む分析信号(AS)を生成するよう構成されたスペクトル分析装置(6)と、前記分析信号(AS)に基づいてノイズ推定信号(NE)を生成するよう構成されたノイズ推定生成装置(7)とを含む、請求項1乃至3のいずれか一項に記載の復号器。
  5. 前記コンフォートノイズ生成装置(4)は、前記ノイズ推定信号(NE)に基づいて周波数ドメインのコンフォートノイズ信号(FD)を生成するよう構成されたノイズ生成部(8)と、前記周波数ドメインのコンフォートノイズ信号(FD)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されたスペクトル合成部(9)とを含む、請求項1乃至4のいずれか一項に記載の復号器。
  6. 前記復号器(1)は、第1操作モード又は第2操作モードへと択一的に前記復号器を切り替えるよう構成されたスイッチ装置(10)を含み、前記第1操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給され、前記第2操作モードにおいては前記コンフォートノイズ信号(CN)が前記結合部(5)へ供給されない、請求項1乃至5のいずれか一項に記載の復号器。
  7. 前記復号器(1)は、前記スイッチ装置(10)を自動的に制御するよう構成された制御装置(11)を含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の信号対ノイズ比に依存して前記スイッチ装置(10)を制御するよう構成されたノイズ検出部(12)を含み、前記復号器(1)は、信号対ノイズ比が低い状況下では前記第1操作モードへと切り替えられ、信号対ノイズ比が高い状況下では前記第2操作モードへと切り替えられる、請求項6に記載の復号器。
  8. 前記制御装置(11)は、前記ビットストリーム(BS)内に含まれた、前記復号化済みオーディオ信号(DS)の前記信号対ノイズ比に対応するサイド情報を受信し、ノイズ検出信号(ND)を生成するよう構成されたサイド情報受信部(13)を含み、前記ノイズ検出部(12)は、前記ノイズ検出信号(ND)に依存して前記スイッチ装置(10)を切り替える、請求項7に記載の復号器。
  9. 前記復号化済みオーディオ信号(DS)の信号対ノイズ比に対応するサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成される、請求項8に記載の復号器。
  10. 前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の所望信号(WS)のエネルギーを決定するよう構成された所望信号エネルギー推定部(14)と、前記復号化済みオーディオ信号(DS)のノイズ(N)のエネルギーを決定するよう構成されたノイズエネルギー推定部(15)と、前記所望信号(WS)のエネルギーと前記ノイズ(N)のエネルギーとに基づいて前記復号化済みオーディオ信号(DS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(16)と、を含み、前記制御装置(11)によって決定された前記信号対ノイズ比に依存して前記スイッチ装置(10)が切り替えられる、請求項7乃至9のいずれか一項に記載の復号器。
  11. 前記ビットストリームは活性フレームと不活性フレームとを含み、前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを前記活性フレームの期間中に決定し、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを前記不活性フレームの期間中に決定するよう構成されている、請求項7乃至10のいずれか一項に記載の復号器。
  12. 前記ビットストリームは活性フレームと不活性フレームとを含み、前記復号器(1)はサイド情報受信部(17)を含み、前記サイド情報受信部(17)は、前記ビットストリーム(BS)内の現在のフレームが活性か不活性かを示すサイド情報に基づいて、前記活性フレームと前記不活性フレームとを区別するよう構成されている、請求項1乃至11のいずれか一項に記載の復号器。
  13. 前記現在のフレームが活性か不活性かを示すサイド情報は、前記ビットストリーム(BS)内の少なくとも1つの専用ビットから構成されている、請求項12に記載の復号器。
  14. 前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記所望信号(WS)のエネルギーを、前記分析信号(AS)に基づいて決定するよう構成されている、請求項4及び請求項7乃至13のいずれか一項に記載の復号器。
  15. 前記制御装置(11)は、前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーを、前記ノイズ推定信号(NE)に基づいて決定するよう構成されている、請求項7乃至14のいずれか一項に記載の復号器。
  16. 前記コンフォートノイズ生成装置(4)は、目標コンフォートノイズレベル信号(TNL)に基づいて前記コンフォートノイズ信号(CN)を生成するよう構成されている、請求項1乃至15のいずれか一項に記載の復号器。
  17. 前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)のビットレートに依存して調整される、請求項16に記載の復号器。
  18. 前記目標コンフォートノイズレベル信号(TNL)は、前記ビットストリーム(BS)に適用されたノイズ低減方法によって引き起こされたノイズ減衰レベルに依存して調整される、請求項15又は17に記載の復号器。
  19. 前記周波数ドメインのコンフォートノイズ信号(FD)の周波数帯域kのエネルギーE(k)は、前記目標コンフォートノイズレベル信号(TNL)に依存して調整され、前記目標コンフォートノイズレベル信号(TNL)は目標コンフォートノイズレベルgtarを示し、各周波数帯域kについて、
    Figure 0007297803000009
    であり、ここで、
    Figure 0007297803000010
    は、前記ノイズ推定生成装置(7)によって供給された、前記周波数帯域kにおける前記復号化済みオーディオ信号(DS)の前記ノイズ(N)のエネルギーの推定を示す、請求項16乃至18のいずれか一項に記載の復号器。
  20. 前記復号器(1)は更なるビットストリーム復号器を含み、前記ビットストリーム復号器(2)と前記更なるビットストリーム復号器とは異なるタイプのものであり、前記復号器(1)はスイッチを含み、そのスイッチは、前記ビットストリーム復号器(2)からの前記復号化済み信号(DS)、又は前記更なるビットストリーム復号器からの復号化済み信号のいずれかを、前記ノイズ推定装置(3)と前記結合部(5)とに供給するよう構成されている、請求項1乃至19のいずれか一項に記載の復号器。
  21. オーディオビットストリーム(BS)を生成するよう構成された符号器(18)であって、
    オーディオ入力信号(IS)に対応する符号化済みオーディオ信号(ES)を生成し、前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するよう構成されたビットストリーム符号器(20)と、
    所望信号エネルギー推定部(31)により決定された前記オーディオ入力信号(IS)の所望信号(WS)のエネルギーとノイズエネルギー推定部(32)により決定された前記オーディオ入力信号(IS)のノイズ(N)のエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するよう構成された信号対ノイズ比推定部(33)を有し、前記信号対ノイズ比推定部(33)は、活性フレームの期間中に前記オーディオ入力信号(IS)の前記所望信号(WS)の前記エネルギーのみが決定され、不活性フレームの期間中に前記オーディオ入力信号(IS)の前記ノイズ(N)の前記エネルギーのみが決定されるように構成されている、信号分析部(30)と、
    前記オーディオ入力信号(IS)の前記ノイズ(N)を減衰させることによってノイズ低減済みオーディオ信号(TS)を生成するよう構成されたノイズ低減装置(27,28)と、
    前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のいずれかを、それぞれの信号(IS,TS)を符号化するために、前記ビットストリーム符号器(20)に対して供給するよう構成されたスイッチ装置(35)であって、前記ビットストリーム符号器(20)は、前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を前記ビットストリーム(BS)内で伝送するよう構成されている、スイッチ装置(35)と、
    を含む符号器(18)。
  22. 復号器(1)と符号器(18)とを含むシステムであって、前記復号器(1)が請求項1乃至19のいずれか一項に記載のように設計され、及び/又は前記符号器(18)が請求項21に記載のように設計されている、システム。
  23. オーディオビットストリーム(BS)を復号化する方法であって、
    前記ビットストリーム(BS)から復号化済みオーディオ信号(DS)を導出するステップであって、前記復号化済みオーディオ信号(DS)が少なくとも1つの復号化済みフレームを含むステップと、
    前記復号化済みオーディオ信号(DS)内のノイズ(N)のレベル及び/又はスペクトル形状の推定を含むノイズ推定信号(NE)を生成するステップと、
    前記ノイズ推定信号(NE)からコンフォートノイズ信号(CN)を導出するステップであって、前記コンフォートノイズ信号(CN)が前記復号化済みオーディオ信号(DS)内の符号化アーチファクトをマスキングするための人工的ノイズである、ステップと、
    前記復号化済みオーディオ信号(DS)の前記復号化済みフレームと前記コンフォートノイズ信号(CN)とを復号器(1)の非不連続な動作モードにおいて結合して、オーディオ出力信号(OS)を得るステップであって、前記オーディオ出力信号(OS)内の前記復号化済みフレームが人工的ノイズを含むようにする、ステップと、
    を含む方法。
  24. オーディオビットストリーム(BS)を生成するためのオーディオ信号符号化の方法であって、
    オーディオ入力信号(IS)の所望信号(WS)の決定されたエネルギーと前記オーディオ入力信号(IS)のノイズ(N)の決定されたエネルギーとに基づいて、前記オーディオ入力信号(IS)の信号対ノイズ比を決定するステップであって、活性フレームの期間中に前記オーディオ入力信号(IS)の前記所望信号(WS)の前記エネルギーのみが決定され、不活性フレームの期間中に前記オーディオ入力信号(IS)の前記ノイズ(N)の前記エネルギーのみが決定される、ステップと、
    前記オーディオ入力信号(IS)の前記ノイズ(N)を減衰させることによってノイズ低減済みオーディオ信号(TS)を生成するステップと、
    前記オーディオ入力信号(IS)と対応する符号化済みオーディオ信号(ES)を生成するステップであって、前記オーディオ入力信号(IS)の決定された信号対ノイズ比に依存して、前記オーディオ入力信号(IS)と前記ノイズ低減済みオーディオ信号(TS)とのいずれかを符号化するステップと、
    前記符号化済みオーディオ信号(ES)から前記ビットストリーム(BS)を導出するステップと、
    前記オーディオ入力信号(IS)又は前記ノイズ低減済みオーディオ信号(TS)のどちらが符号化されているかを示すサイド情報(NF)を、前記ビットストリーム(BS)内で伝送するステップと、
    を含む方法。
  25. コンピュータ又はプロセッサ上で作動したときに、請求項23又は24の方法を実行するためのコンピュータプログラム。
JP2021034012A 2012-12-21 2021-03-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 Active JP7297803B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261740883P 2012-12-21 2012-12-21
US61/740,883 2012-12-21
JP2018000043A JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018000043A Division JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Publications (2)

Publication Number Publication Date
JP2021092816A JP2021092816A (ja) 2021-06-17
JP7297803B2 true JP7297803B2 (ja) 2023-06-26

Family

ID=49883094

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015548606A Active JP6335190B2 (ja) 2012-12-21 2013-12-19 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP2018000043A Active JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP2021034012A Active JP7297803B2 (ja) 2012-12-21 2021-03-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015548606A Active JP6335190B2 (ja) 2012-12-21 2013-12-19 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
JP2018000043A Active JP6849619B2 (ja) 2012-12-21 2018-01-04 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Country Status (20)

Country Link
US (3) US10147432B2 (ja)
EP (1) EP2936486B1 (ja)
JP (3) JP6335190B2 (ja)
KR (2) KR101692659B1 (ja)
CN (2) CN111145767B (ja)
AR (1) AR094279A1 (ja)
AU (1) AU2013366552B2 (ja)
BR (1) BR112015014217B1 (ja)
CA (2) CA2948015C (ja)
ES (1) ES2688021T3 (ja)
HK (1) HK1217244A1 (ja)
MX (1) MX366279B (ja)
MY (1) MY178710A (ja)
PL (1) PL2936486T3 (ja)
PT (1) PT2936486T (ja)
RU (1) RU2633107C2 (ja)
SG (1) SG11201504899XA (ja)
TW (1) TWI553629B (ja)
WO (1) WO2014096280A1 (ja)
ZA (1) ZA201505191B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY178710A (en) 2012-12-21 2020-10-20 Fraunhofer Ges Forschung Comfort noise addition for modeling background noise at low bit-rates
EP2980801A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
EP2980790A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for comfort noise generation mode selection
US10958695B2 (en) * 2016-06-21 2021-03-23 Google Llc Methods, systems, and media for recommending content based on network conditions
CN108012148B (zh) * 2018-01-16 2023-12-22 吉林省广播电视研究所(吉林省新闻出版广电局科技信息中心) 广播电视音频质量实时监测并自动切换的装置及方法
CA3134792A1 (en) * 2019-04-15 2020-10-22 Dolby International Ab Dialogue enhancement in audio codec
US11146607B1 (en) * 2019-05-31 2021-10-12 Dialpad, Inc. Smart noise cancellation
KR20220034102A (ko) * 2019-07-08 2022-03-17 보이세지 코포레이션 오디오 스트림에 있어서의 메타데이터를 코딩하고 가요성 객체간 및 객체내 비트레이트 적응화를 위한 방법 및 시스템
GB2596138A (en) * 2020-06-19 2021-12-22 Nokia Technologies Oy Decoder spatial comfort noise generation for discontinuous transmission operation
CA3215225A1 (en) * 2021-04-29 2022-11-03 Vladimir Malenovsky Method and device for multi-channel comfort noise injection in a decoded sound signal
US11915698B1 (en) * 2021-09-29 2024-02-27 Amazon Technologies, Inc. Sound source localization

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003522964A (ja) 1998-05-11 2003-07-29 コネクサント システムズ, インコーポレイテッド 背景ノイズが共存する符号化音声の品質を向上させるためのシステムおよび方法
JP2005114890A (ja) 2003-10-06 2005-04-28 Alpine Electronics Inc オーディオ信号圧縮装置
JP2007065636A (ja) 2005-08-31 2007-03-15 Motorola Inc 音声通信システムにおいて快適雑音を生成する方法および装置
WO2011049515A1 (en) 2009-10-19 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and voice activity detector for a speech encoder
JP2011516901A (ja) 2008-01-28 2011-05-26 クゥアルコム・インコーポレイテッド 受信機を使用するコンテキスト抑圧のためのシステム、方法、および装置
WO2012055016A1 (en) 2010-10-25 2012-05-03 Voiceage Corporation Coding generic audio signals at low bitrates and low delay
JP6849619B2 (ja) 2012-12-21 2021-03-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537509A (en) 1990-12-06 1996-07-16 Hughes Electronics Comfort noise generation for digital communication systems
CA2483322C (en) * 1991-06-11 2008-09-23 Qualcomm Incorporated Error masking in a variable rate vocoder
US5630016A (en) 1992-05-28 1997-05-13 Hughes Electronics Comfort noise generation for digital communication systems
US5657422A (en) * 1994-01-28 1997-08-12 Lucent Technologies Inc. Voice activity detection driven noise remediator
FI101439B1 (fi) 1995-04-13 1998-06-15 Nokia Telecommunications Oy Transkooderi, jossa on tandem-koodauksen esto
EP0756267A1 (en) 1995-07-24 1997-01-29 International Business Machines Corporation Method and system for silence removal in voice communication
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
JP3252782B2 (ja) * 1998-01-13 2002-02-04 日本電気株式会社 モデム信号対応音声符号化復号化装置
US6424938B1 (en) * 1998-11-23 2002-07-23 Telefonaktiebolaget L M Ericsson Complex signal activity detection for improved speech/noise classification of an audio signal
RU2237296C2 (ru) 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
US8583427B2 (en) * 1999-11-18 2013-11-12 Broadcom Corporation Voice and data exchange over a packet based network with voice detection
US20070110042A1 (en) 1999-12-09 2007-05-17 Henry Li Voice and data exchange over a packet based network
JP2001318694A (ja) * 2000-05-10 2001-11-16 Toshiba Corp 信号処理装置、信号処理方法および記録媒体
US6873604B1 (en) 2000-07-31 2005-03-29 Cisco Technology, Inc. Method and apparatus for transitioning comfort noise in an IP-based telephony system
US6615169B1 (en) 2000-10-18 2003-09-02 Nokia Corporation High frequency enhancement layer coding in wideband speech codec
US6807525B1 (en) 2000-10-31 2004-10-19 Telogy Networks, Inc. SID frame detection with human auditory perception compensation
US7539615B2 (en) * 2000-12-29 2009-05-26 Nokia Siemens Networks Oy Audio signal quality enhancement in a digital network
US20030120484A1 (en) * 2001-06-12 2003-06-26 David Wong Method and system for generating colored comfort noise in the absence of silence insertion description packets
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
CA2392640A1 (en) * 2002-07-05 2004-01-05 Voiceage Corporation A method and device for efficient in-based dim-and-burst signaling and half-rate max operation in variable bit-rate wideband speech coding for cdma wireless systems
JP4089347B2 (ja) * 2002-08-21 2008-05-28 沖電気工業株式会社 音声復号装置
EP1550108A2 (en) 2002-10-11 2005-07-06 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
GB0326263D0 (en) * 2003-11-11 2003-12-17 Nokia Corp Speech codecs
CA2454296A1 (en) 2003-12-29 2005-06-29 Nokia Corporation Method and device for speech enhancement in the presence of background noise
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US7454010B1 (en) 2004-11-03 2008-11-18 Acoustic Technologies, Inc. Noise reduction and comfort noise gain control using bark band weiner filter and linear attenuation
JP4551817B2 (ja) * 2005-05-20 2010-09-29 Okiセミコンダクタ株式会社 ノイズレベル推定方法及びその装置
PL1897085T3 (pl) 2005-06-18 2017-10-31 Nokia Technologies Oy System i sposób adaptacyjnej transmisji parametrów szumu łagodzącego w czasie nieciągłej transmisji mowy
ES2356492T3 (es) * 2005-07-22 2011-04-08 France Telecom Método de conmutación de tasa de transmisión en decodificación de audio escalable en tasa de transmisión y ancho de banda.
US20070064681A1 (en) * 2005-09-22 2007-03-22 Motorola, Inc. Method and system for monitoring a data channel for discontinuous transmission activity
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8744844B2 (en) * 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US8032370B2 (en) * 2006-05-09 2011-10-04 Nokia Corporation Method, apparatus, system and software product for adaptation of voice activity detection parameters based on the quality of the coding modes
KR101041895B1 (ko) * 2006-08-15 2011-06-16 브로드콤 코포레이션 패킷 손실 후 디코딩된 오디오 신호의 시간 워핑
CN101149921B (zh) * 2006-09-21 2011-08-10 展讯通信(上海)有限公司 一种静音检测方法和装置
US9966085B2 (en) * 2006-12-30 2018-05-08 Google Technology Holdings LLC Method and noise suppression circuit incorporating a plurality of noise suppression techniques
WO2008108721A1 (en) * 2007-03-05 2008-09-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for controlling smoothing of stationary background noise
RU2441286C2 (ru) * 2007-06-22 2012-01-27 Войсэйдж Корпорейшн Способ и устройство для обнаружения звуковой активности и классификации звуковых сигналов
US8090588B2 (en) * 2007-08-31 2012-01-03 Nokia Corporation System and method for providing AMR-WB DTX synchronization
US8139777B2 (en) 2007-10-31 2012-03-20 Qnx Software Systems Co. System for comfort noise injection
JP5323091B2 (ja) * 2008-01-04 2013-10-23 インターデイジタル パテント ホールディングス インコーポレイテッド 進化した無線システムにおいて回線交換音声アプリケーションのデータレートを制御する方法
DE102008009719A1 (de) 2008-02-19 2009-08-20 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen
US20090222268A1 (en) 2008-03-03 2009-09-03 Qnx Software Systems (Wavemakers), Inc. Speech synthesis system having artificial excitation signal
CN101483495B (zh) * 2008-03-20 2012-02-15 华为技术有限公司 一种背景噪声生成方法以及噪声处理装置
CN101335000B (zh) 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置
KR101414412B1 (ko) * 2008-05-09 2014-07-01 노키아 코포레이션 오디오 신호의 인코딩 장치, 오디오 신호의 디코딩 장치, 오디오 신호의 인코딩 방법, 스케일러블 인코딩 오디오 신호의 디코딩 방법, 인코더, 디코더, 전자기기 및 컴퓨터 판독가능한 기록 매체
PL2410520T3 (pl) * 2008-07-11 2019-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodery sygnałów audio, sposoby kodowania sygnału audio i programy komputerowe
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
MX2011003824A (es) 2008-10-08 2011-05-02 Fraunhofer Ges Forschung Esquema de codificacion/decodificacion de audio conmutado de resolucion multiple.
ES2825032T3 (es) 2009-06-23 2021-05-14 Voiceage Corp Cancelación de solapamiento de dominio de tiempo directo con aplicación en dominio de señal original o ponderado
CA2777073C (en) * 2009-10-08 2015-11-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping
PT2491559E (pt) * 2009-10-19 2015-05-07 Ericsson Telefon Ab L M Método e estimador de fundo para a detecção de actividade de voz
AU2010309838B2 (en) * 2009-10-20 2014-05-08 Dolby International Ab Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation
CN102063905A (zh) * 2009-11-13 2011-05-18 数维科技(北京)有限公司 一种用于音频解码的盲噪声填充方法及其装置
US8379151B2 (en) * 2010-03-24 2013-02-19 Floreat, Inc. Synchronization of audio and video streams
HUE053127T2 (hu) * 2010-12-24 2021-06-28 Huawei Tech Co Ltd Eljárás és berendezés hang aktivitás adaptív detektálására egy bemeneti audiójelben
CN102136271B (zh) * 2011-02-09 2012-07-04 华为技术有限公司 舒适噪声生成器、方法及回声抵消装置
AU2012217162B2 (en) 2011-02-14 2015-11-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise generation in audio codecs
US20120237048A1 (en) * 2011-03-14 2012-09-20 Continental Automotive Systems, Inc. Apparatus and method for echo suppression
WO2012169133A1 (ja) * 2011-06-09 2012-12-13 パナソニック株式会社 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法
WO2014035328A1 (en) * 2012-08-31 2014-03-06 Telefonaktiebolaget L M Ericsson (Publ) Method and device for voice activity detection
CA2894625C (en) * 2012-12-21 2017-11-07 Anthony LOMBARD Generation of a comfort noise with high spectro-temporal resolution in discontinuous transmission of audio signals
US9106196B2 (en) * 2013-06-20 2015-08-11 2236008 Ontario Inc. Sound field spatial stabilizer with echo spectral coherence compensation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003522964A (ja) 1998-05-11 2003-07-29 コネクサント システムズ, インコーポレイテッド 背景ノイズが共存する符号化音声の品質を向上させるためのシステムおよび方法
JP2005114890A (ja) 2003-10-06 2005-04-28 Alpine Electronics Inc オーディオ信号圧縮装置
JP2007065636A (ja) 2005-08-31 2007-03-15 Motorola Inc 音声通信システムにおいて快適雑音を生成する方法および装置
JP2011516901A (ja) 2008-01-28 2011-05-26 クゥアルコム・インコーポレイテッド 受信機を使用するコンテキスト抑圧のためのシステム、方法、および装置
WO2011049515A1 (en) 2009-10-19 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and voice activity detector for a speech encoder
WO2012055016A1 (en) 2010-10-25 2012-05-03 Voiceage Corporation Coding generic audio signals at low bitrates and low delay
JP6849619B2 (ja) 2012-12-21 2021-03-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加

Also Published As

Publication number Publication date
AR094279A1 (es) 2015-07-22
ES2688021T3 (es) 2018-10-30
MX2015007854A (es) 2016-02-05
US10339941B2 (en) 2019-07-02
JP6335190B2 (ja) 2018-05-30
RU2015129782A (ru) 2017-01-27
JP2016500453A (ja) 2016-01-12
CA2948015C (en) 2018-03-20
JP2021092816A (ja) 2021-06-17
PL2936486T3 (pl) 2018-12-31
WO2014096280A1 (en) 2014-06-26
CA2895391A1 (en) 2014-06-26
KR101692659B1 (ko) 2017-01-03
MY178710A (en) 2020-10-20
CN105210148B (zh) 2020-06-30
US10147432B2 (en) 2018-12-04
CN111145767B (zh) 2023-07-25
JP6849619B2 (ja) 2021-03-24
CN105210148A (zh) 2015-12-30
AU2013366552A1 (en) 2015-07-16
ZA201505191B (en) 2016-07-27
CA2948015A1 (en) 2014-06-26
KR20150107751A (ko) 2015-09-23
KR20170001751A (ko) 2017-01-04
TWI553629B (zh) 2016-10-11
AU2013366552B2 (en) 2017-03-02
EP2936486B1 (en) 2018-07-18
BR112015014217A2 (pt) 2018-06-26
RU2633107C2 (ru) 2017-10-11
PT2936486T (pt) 2018-10-19
EP2936486A1 (en) 2015-10-28
CA2895391C (en) 2019-08-06
US10789963B2 (en) 2020-09-29
US20180342253A1 (en) 2018-11-29
JP2018084834A (ja) 2018-05-31
BR112015014217B1 (pt) 2021-11-03
HK1217244A1 (zh) 2016-12-30
MX366279B (es) 2019-07-03
SG11201504899XA (en) 2015-07-30
KR102167541B1 (ko) 2020-10-19
CN111145767A (zh) 2020-05-12
US20200013417A1 (en) 2020-01-09
TW201432671A (zh) 2014-08-16
US20150364144A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
JP7297803B2 (ja) 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加
US10964334B2 (en) Audio decoder and method for providing a decoded audio information using an error concealment modifying a time domain excitation signal
US10262662B2 (en) Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal
KR20170132854A (ko) 오디오 인코더 및 오디오 신호를 인코딩하는 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220601

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R150 Certificate of patent or registration of utility model

Ref document number: 7297803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150