JP6990306B2 - 一時的ノイズシェーピング - Google Patents

一時的ノイズシェーピング Download PDF

Info

Publication number
JP6990306B2
JP6990306B2 JP2020524877A JP2020524877A JP6990306B2 JP 6990306 B2 JP6990306 B2 JP 6990306B2 JP 2020524877 A JP2020524877 A JP 2020524877A JP 2020524877 A JP2020524877 A JP 2020524877A JP 6990306 B2 JP6990306 B2 JP 6990306B2
Authority
JP
Japan
Prior art keywords
filter
filtering
tns
encoder device
impulse response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020524877A
Other languages
English (en)
Other versions
JP2021502597A (ja
Inventor
ラヴェッリ・エマニュエル
ルツキー・マンフレッド
シュネル・マーカス
チェカリンスキー・アレクサンダー
マルコビッチ・ゴラン
ガイアスバーガー・ステファン
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2021502597A publication Critical patent/JP2021502597A/ja
Application granted granted Critical
Publication of JP6990306B2 publication Critical patent/JP6990306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0224Processing in the time domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)
  • Error Detection And Correction (AREA)
  • Noise Elimination (AREA)

Description

本明細書の実施例は、特に一時的ノイズシェーピング(TNS)を実行するための符号化および復号装置に関する。
以下の先行技術文書は先行技術である。
[1]ユルゲン・ヘール、ジェイムス D.ジョンストン「一時的ノイズシェーピング(TNS)の使用による知覚オーディオコーダの性能の向上」。Audio Engineering Society大会101。Audio Engineering Society、1996年。
[2]ユルゲン・ヘール、ジェイムス D.ジョンストン「高品質の知覚オーディオコーディングのための継続的な信号適応フィルタバンク」。信号処理のオーディオおよび音響への応用、1997年。1997 IEEE ASSPワークショップ、IEEE、1997年。
[3]ユルゲン・ヘール「知覚オーディオコーディングにおける一時的ノイズシェーピング、量子化、およびコーディング手法:チュートリアル概要」。Audio Engineering Society会議:第17回国際会議:高品質オーディオコーディング。Audio Engineering Society、1999年。
[4]ユルゲン・ハインリッヒ・ヘール「周波数領域でのLPC予測による時間領域での知覚ノイズシェーピング」。米国特許第5,781,888.14号明細書、1998年7月。
[5]ユルゲン・ハインリッヒ・ヘール「時間エンベロープシェーピングを使用した拡張されたジョイントステレオコーディング方法」。米国特許第5,812,971.22号明細書、1998年9月。
[6]3GPP TS26.403「汎用オーディオコーデックのオーディオ処理機能;拡張aacPlus汎用オーディオコーデック;エンコーダ仕様;Advanced Audio Coding(AAC)パーツ」。
[7]ISO/IEC14496-3:2001「情報技術-視聴覚オブジェクトのコーディング-パート3:オーディオ」。
[8]3GPP TS26.445「拡張音声サービス(EVS)のコーデック;詳細なアルゴリズムの説明」。
一時的ノイズシェーピング(TNS)は、90年代に開発された変換ベースのオーディオコーダ用のツールである(会議文書[1-3]および特許[4-5])。それ以来、MPEG-2 AAC、MPEG-4 AAC、3GPP E-AAC-Plus、MPEG-D USAC、3GPP EVS、MPEG-H 3Dオーディオなどの主要なオーディオコーディング標準に統合されている。
TNSは次のように簡単に説明できる。エンコーダ側で、量子化前に、線形予測LPを使用して周波数領域(FD)で信号をフィルタリングして、時間領域で信号が平坦化されるようにする。デコーダ側で、逆量子化後に、逆予測フィルタを使用して周波数領域で信号をフィルタリングして、時間領域で量子化ノイズが整形されて信号によってマスクされるようにする。
TNSは、カスタネットなど鋭い起音を含む信号の、いわゆるプリエコーアーティファクトを減らすのに効果的である。これは、例えば、会話のような一連の疑似定常インパルス状信号を含む信号にも役立つ。
TNSは通常、比較的高いビットレートで動作するオーディオコーダで使用される。低ビットレートで動作するオーディオコーダで使用すると、TNSはアーティファクトを発生させ、オーディオコーダの品質を低下させることがある。これらのアーティファクトは、クリックのようなまたはノイズのようなものであり、ほとんどの場合、音声信号または音調音楽信号で発生する。
本文書の実施例は、その利点を維持しながらTNSの欠陥を抑制または低減することを可能にする。
以下のいくつかの実施例では、低ビットレートのオーディオコーディング用に改善されたTNSを得ることができる。
米国特許第5,781,888.14号明細書 米国特許第5,812,971.22号明細書
Herre,Juergen,James D.Johnston,"Enhancing the performance of perceptual audio coders by using temporal noise shaping(TNS)" Herre,Juergen,James D.Johnston,"Continuously signal-adaptive filterbank for high-quality perceptual audio coding" Herre,Juergen,"Temporal noise shaping,quantization and coding methods in perceptual audio coding:A tutorial introduction" 3GPP TS 26.403;General audiocodec audio processing functions;Enhanced aacPlus general audio codec;Encoder specification;Advanced Audio Coding(AAC)part ISO/IEC 14496-3:2001;Information technology-Coding of audio-visual objects-Part 3:Audio 3GPP TS 26.445;Codec for Enhanced Voice Services(EVS);Detailed algorithmic description
実施例によれば、エンコーダ装置が提供され、エンコーダ装置は、
複数のフレームを含む情報信号に対して線形予測LPフィルタリングを実行するための一時的ノイズシェーピングTNSツール、および
TNSツールを制御するように構成されたコントローラを含み、これによりTNSツールは、
インパルス応答のエネルギーが高い第1のフィルタによるLPフィルタリング、および
インパルス応答のエネルギーが第1のフィルタのインパルス応答よりも低い第2のフィルタによるLPフィルタリングを実行し、ここで第2のフィルタは恒等フィルタではなく、
コントローラは、フレームメトリクスに基づいて、第1のフィルタによるフィルタリングと第2のフィルタによるフィルタリングとの間で選択するように構成される。
他のフレームへの影響を最小限に抑えながら、問題のあるフレームのアーティファクトを削除することが可能であることが指摘されている。
TNS動作を単にオン/オフにする代わりに、欠陥を減らしながらTNSツールの利点を維持することが可能である。したがって、インテリジェントなリアルタイムのフィードバックベースの制御は、フィルタリングを回避するのではなく、必要に応じてフィルタリングを減らすだけで得られる。
実施例によれば、コントローラは、
フィルタのインパルス応答エネルギーが低減された第2のフィルタを得るために、第1のフィルタを修正するようにさらに構成される。
したがって、必要に応じて、インパルス応答エネルギーが低減された第2のフィルタを作成することができる。
実施例によれば、コントローラは、
第2のフィルタを得るために、少なくとも1つの調整係数を第1のフィルタに適用するようにさらに構成される。
第1のフィルタをインテリジェントに修正することにより、TNSをオン/オフにする動作を単純に実行するだけでは達成できないフィルタリングステータスを作成できる。完全なフィルタリングとフィルタリングなしとの間の少なくとも1つの中間ステータスが取られる。この中間ステータスは、必要に応じて呼び出されると、有利な特性を維持しながらTNSの欠点を減らすことができる。
実施例によれば、コントローラは、
少なくともフレームメトリクスに基づいて、少なくとも1つの調整係数を定義するようにさらに構成される。
実施例によれば、コントローラは、
TNSフィルタリングの実行とTNSフィルタリングの非実行との間の選択に使用されるTNSフィルタリング決定閾値に基づいて、少なくとも1つの調整係数を定義するようにさらに構成される。
実施例によれば、コントローラは、
フレームメトリクスの線形関数を使用して少なくとも1つの調整係数を定義するようにさらに構成され、線形関数は、フレームメトリクスの増加が調整係数および/またはフィルタのインパルス応答エネルギーの増加に対応するようなものである。
したがって、さまざまなメトリクスについて、さまざまな調整係数を定義して、各フレームに最も適切なフィルタパラメータを得ることができる。
実施例によれば、コントローラはさらに、調整係数を次のように定義するように構成される。
Figure 0006990306000001
ここで、
Figure 0006990306000002
はTNSフィルタリング決定閾値、
Figure 0006990306000003
はフィルタリングタイプ決定閾値、
Figure 0006990306000004
はフレームメトリクス、
Figure 0006990306000005
は固定値である。
TNSに起因するアーティファクトは、予測利得が特定の間隔にあるフレームで発生し、この間隔は、ここでは、TNSフィルタリング決定閾値
Figure 0006990306000006
より高く、フィルタリング決定閾値
Figure 0006990306000007
より低い値のセットとして定義される。メトリクスが予測利得であり、
Figure 0006990306000008
および
Figure 0006990306000009
であり、TNSによって引き起こされるアーティファクトが1.5から2の間で発生する場合がある。したがって、いくつかの実施例では、
Figure 0006990306000010
でフィルタリングを減らすことにより、これらの欠陥を克服できる。
実施例によれば、コントローラは、第2のフィルタのパラメータを得るために、
Figure 0006990306000011
を適用することにより、第1のフィルタのパラメータを修正するようにさらに構成され、ここで、
Figure 0006990306000012
は第1のフィルタのパラメータ、
Figure 0006990306000013

Figure 0006990306000014
であるような調整係数、
Figure 0006990306000015
は第2のフィルタのパラメータ、Kは第1のフィルタの次数である。
これは、インパルス応答エネルギーが第1のフィルタのインパルス応答エネルギーに対して減少するように、第2のフィルタのパラメータを得るための簡単であるが有効な手法である。
実施例によれば、コントローラはさらに、予測利得、情報信号のエネルギー、および/または予測誤差の少なくとも1つからフレームメトリクスを得るように構成される。
これらのメトリクスにより、第2のフィルタでフィルタ処理する必要のあるフレームを、第1のフィルタでフィルタ処理する必要のあるフレームから簡単かつ確実に区別できる。
実施例によれば、フレームメトリクスは、次のように計算される予測利得を含む。
Figure 0006990306000016
ここで、
Figure 0006990306000017
は情報信号のエネルギーに関連する項で、
Figure 0006990306000018
は予測誤差に関連する項である。
実施例によれば、コントローラは、
情報信号の少なくとも予測利得の減少および/またはエネルギーの減少に対して第2のフィルタのインパルス応答エネルギーが減少し、および/または少なくとも予測誤差の増加に対して第2のフィルタのインパルス応答エネルギーが減少するように構成される。
実施例によれば、コントローラは、
フレームメトリクスがフィルタリングタイプ決定閾値(例えば、thresh2)よりも低い場合に第1のフィルタでフィルタリングが実行されるように、フレームメトリクスをフィルタリングタイプ決定閾値と比較するように構成される。
したがって、信号を第1のフィルタを使用してフィルタリングするべきか、第2のフィルタを使用してフィルタリングするべきかを自動的に確立することは容易である。
実施例によれば、コントローラは、
フレームメトリクスに基づいて、フィルタリングの実行とフィルタリングの非実行との間で選択するように構成される。
したがって、適切でない場合、TNSフィルタリングをまったく完全に回避することも可能である。
実施例では、(2つの異なる閾値との比較を実行することにより)同じメトリクスが2回使用される場合があり、それは第1のフィルタと第2のフィルタとの間での決定、およびフィルタリングの実行と非実行との間での決定の両方である。
実施例によれば、コントローラは、
フレームメトリクスがTNSフィルタリング決定閾値よりも低い場合にTNSフィルタリングを回避することを選択するように、フレームメトリクスをTNSフィルタリング決定閾値と比較するように構成される。
実施例によれば、装置は、
TNSによって得られた反射係数またはその量子化バージョンを備えたビットストリームを準備するビットストリームライターをさらに含み得る。
これらのデータは、例えば、デコーダに記憶および/または送信され得る。
実施例によれば、エンコーダ側およびデコーダ側を含むシステムが提供され、エンコーダ側は、上記および/または以下のようなエンコーダ装置を含む。
実施例によれば、複数のフレームを含む情報信号に対して一時的ノイズシェーピングTNSフィルタリングを実行するための方法が提供され、方法は、
-フレームメトリクスに基づいて、フレームごとに、インパルス応答のエネルギーが高い第1のフィルタによるフィルタリングと、インパルス応答のエネルギーが第1のフィルタ(14a)のインパルス応答のエネルギーよりも低い第2のフィルタによるフィルタリングとの間で選択するステップであって、第2のフィルタは恒等フィルタではない、ステップと、
-第1のフィルタと第2のフィルタとの間での選択によるフィルタリングを使用してフレームをフィルタリングするステップと、を含む。
実施例によれば、プロセッサによって実行されたときに、プロセッサに上記および/または以下の方法のステップの少なくともいくつかを実行させ、および/または上記および/または以下のシステム、および/または上記および/または以下の装置を実装させる命令を記憶する非一時的記憶装置が提供される。
実施例によるエンコーダ装置を示す。 実施例によるデコーダ装置を示す。 実施例による方法を示す。 実施例による技術を示す。 実施例による方法を示す。 実施例による方法を示す。 実施例による方法を示す。 実施例によるエンコーダ装置を示す。 実施例によるデコーダ装置を示す。 実施例によるエンコーダ装置を示す。 実施例によるエンコーダ装置を示す。 実施例による信号の変化を示す。 実施例による信号の変化を示す。 実施例による信号の変化を示す。
図1は、エンコーダ装置10を示す。エンコーダ装置10は、オーディオ信号などの情報信号を処理(および送信および/または記憶)するためのものであり得る。情報信号は、時間的に連続するフレームに分割することができる。各フレームは、例えば、周波数領域FDで表すことができ。FD表現は、それぞれ特定の周波数での一連のビンであり得る。FD表現は、周波数スペクトルであり得る。
エンコーダ装置10は、とりわけ、FD情報信号13(X(n))に対してTNSフィルタリングを実行するための一時的ノイズシェーピングTNSツール11を含み得る。エンコーダ装置10は、とりわけ、TNSコントローラ12を含み得る。TNSコントローラ12は、TNSツール11が(例えば、一部のフレームについて)少なくとも1つの高インパルス応答エネルギー線形予測(LP)フィルタリングを使用して、および(例えば、一部の他のフレームについて)少なくとも1つの高インパルス応答エネルギーLPフィルタリングを使用してフィルタリングを実行するように、TNSツール11を制御するように構成され得る。TNSコントローラ12は、フレームに関連するメトリクス(フレームメトリクス)に基づいて、高インパルス応答エネルギーLPフィルタリングと低インパルス応答エネルギーLPフィルタリングとの間で選択を実行するように構成される。第1のフィルタのインパルス応答のエネルギーは、第2のフィルタのインパルス応答のエネルギーよりも高い。
FD情報信号13(X(n))は、例えば、時間領域TDから周波数領域FDへフレームの表現を変換した修正離散コサイン変換MDCTツール(または修正離散サイン変換MDSTなど)から得ることができる。
TNSツール11は、例えば、第1のフィルタ14aのパラメータであり得る線形予測(LP)フィルタパラメータ14(a(k))のグループを使用して信号を処理し得る。TNSツール11は、第2のフィルタ15aのパラメータであり得るパラメータ14’(a(k))も含み得る(第2のフィルタ15aは、第1のフィルタ14aのインパルス応答と比較してより低いエネルギーのインパルス応答を有し得る)。パラメータ14’は、パラメータ14の重み付けバージョンとして理解することができ、第2のフィルタ15aは、第1のフィルタ14aから導出されるものとして理解することができる。パラメータは、とりわけ、以下のパラメータ、すなわちLPコーディングLPC係数、反射係数RC、係数rc(k)またはその量子化バージョンrc(k)、アークサイン反射係数ASRC、対数面積比LAR、線スペクトルペアLSP、および/または線スペクトル周波数LS、または他の種類のそのようなパラメータの1つ以上を含み得る。実施例では、フィルタ係数の任意の表現を使用できる。
TNSツール11の出力は、FD情報信号13(X(n))のフィルタリングされたバージョン15(X(n))であり得る。
TNSツール11の別の出力は、反射係数rc(k)(またはその量子化バージョンrc(k))などの出力パラメータ16のグループであり得る。
コンポーネント11および12の下流で、ビットストリームコーダは、出力15および16を、(例えば、ワイヤレス、例えば、ブルートゥース(登録商標)などのプロトコルを使用して)送信および/または(例えば、大容量メモリ記憶装置に)記憶できるビットストリームに符号化できる。
TNSフィルタリングは、一般にゼロとは異なる反射係数を提供する。TNSフィルタリングは、一般に入力とは異なる出力を提供する。
図2は、TNSツール11の出力(またはその処理されたバージョン)を利用することができるデコーダ装置20を示す。デコーダ装置20は、とりわけ、TNSデコーダ21およびTNSデコーダコントローラ22を含み得る。コンポーネント21および22は、協働して、合成出力23
Figure 0006990306000019
)を得ることができる。TNSデコーダ21は、例えば、デコーダ装置20によって得られた情報信号のデコードされた表現25(またはその処理されたバージョン
Figure 0006990306000020
)を入力され得る。TNSデコーダ21は、入力(入力26として)中の反射係数rc(k)(またはその量子化バージョンrc(k))を得ることができる。反射係数rc(k)またはrc(k)は、エンコーダ装置10によって出力16で提供される反射係数rc(k)またはrc(k)の復号バージョンであり得る。
図1に示されるように、TNSコントローラ12は、とりわけ、フレームメトリクス17(例えば、予測利得またはpredGain)に基づいてTNSツール11を制御することができる。例えば、TNSコントローラ12は、少なくとも高インパルス応答エネルギーLPフィルタリングおよび/または低インパルス応答エネルギーLPフィルタリングの間で、および/またはフィルタリングと非フィルタリングとの間で選択することによりフィルタリングを実行することができる。高インパルス応答エネルギーLPフィルタリングおよび低インパルス応答エネルギーLPフィルタリングとは別に、実施例によれば、少なくとも1つの中間インパルス応答エネルギーLPフィルタリングが可能である。
図1の参照番号17’は、TNSコントローラ12からTNSツール14に提供される情報、コマンド、および/または制御データを指す。例えば、メトリクス17に基づく決定(例えば、「第1のフィルタを使用する」または「第2のフィルタを使用する」)は、TNSツール14に提供されてもよい。フィルタの設定も、TNSツール14に提供されてもよい。例えば、第1のフィルタ14aを修正して第2のフィルタ15aを得るように、調整係数(
Figure 0006990306000021
)をTNSフィルタに提供することができる。
メトリクス17は、例えば、フレーム内の信号のエネルギーに関連するメトリクスであってもよい(例えば、メトリクスは、エネルギーが高いほど、メトリクスが高くなるようなものであってもよい)。メトリクスは、例えば、予測誤差に関連するメトリクスであってもよい(例えば、メトリクスは、予測誤差が高いほど、メトリクスが低くなるようなものであってもよい)。メトリクスは、例えば、予測誤差と信号のエネルギーとの間の関係に関連する値であってもよい(例えば、メトリクスは、エネルギーと予測誤差との間の比率が高くなるほど、メトリクスが高くなるようなものであってもよい)。メトリクスは、例えば、現在のフレームの予測利得、または現在のフレームの予測利得に関連する、またはそれに比例する(例えば、予測利得が高くなるほど、メトリクスが高くなる)値であってもよい。フレームメトリクス(17)は、信号の時間エンベロープの平坦性に関連してもよい。
TNSによるアーティファクトは、予測利得が低い場合にのみ(または少なくとも一般的に)発生することが指摘されている。したがって、予測利得が高い場合、TNSによって引き起こされる問題は発生せず(または発生しにくい)、完全なTNS(例えば、高インパルス応答エネルギーLP)を実行することが可能である。予測利得が非常に低い場合は、TNSをまったく実行しない(フィルタリングしない)ことが望ましい。予測利得が中間の場合、インパルス応答エネルギーが低い線形予測フィルタリングを使用して(例えば、LP係数または他のフィルタリングパラメータおよび/または反射係数に重み付けして、および/またはインパルス応答のエネルギーが低いフィルタを使用して)TNSの影響を減らすことが望ましい。高インパルス応答エネルギーLPフィルタリングと低インパルス応答エネルギーLPフィルタリングは、高インパルス応答エネルギーLPフィルタリングが、低インパルス応答エネルギーLPフィルタリングよりも高いインパルス応答エネルギーを引き起こすように定義されているという点で、互いに異なる。フィルタは、一般にインパルス応答エネルギーによって特徴付けられるため、インパルス応答エネルギーでフィルタを識別することができる。高インパルス応答エネルギーLPフィルタリングは、低インパルス応答エネルギーLPフィルタリングで使用されるフィルタよりもインパルス応答エネルギーが高いフィルタを使用することを意味する。
したがって、本実施例では、TNS動作は、
-メトリクス(例えば、予測利得)が高い(例えば、フィルタリングタイプの決定閾値を超えている)場合、高インパルス応答エネルギーLPフィルタリングを実行する
-メトリクス(例えば、予測利得)が中間(例えば、TNSフィルタリング決定閾値とフィルタリングタイプ決定閾値との間)である場合、低インパルス応答エネルギーLPフィルタリングを実行する、および
-メトリクス(例えば、予測利得)が低い(例えば、TNSフィルタリング決定閾値未満)場合、TNSフィルタリングを実行しないというように計算できる。
高インパルス応答エネルギーLPフィルタリングは、例えば、インパルス応答エネルギーが高い第1のフィルタを使用して得ることができる。低インパルス応答エネルギーLPフィルタリングは、例えば、インパルス応答エネルギーが低い第2のフィルタを使用して得ることができる。第1および第2のフィルタは、線形時不変(LTI)フィルタであり得る。
実施例では、第1のフィルタは、フィルタパラメータa(k)(14)を使用して記述され得る。実施例では、第2のフィルタは、(例えば、TNSコントローラ12によって得られるような)第1のフィルタの修正バージョンであり得る。第2のフィルタ(低インパルス応答エネルギーフィルタ)は、第1のフィルタのフィルタパラメータを(例えば、
Figure 0006990306000022
であるようなパラメータ
Figure 0006990306000023
または
Figure 0006990306000024
を使用して、ここでkは
Figure 0006990306000025
であるような自然数であり、
Figure 0006990306000026
は第1のフィルタの次数となるような自然数である)ダウンスケーリングすることで得ることができる。
したがって、実施例では、フィルタパラメータが得られると、メトリクスに基づいて、低インパルス応答エネルギーフィルタリングが必要であると判断された場合、第1のフィルタのフィルタパラメータを修正(例えば、ダウンスケール)して、低インパルス選択エネルギーフィルタに使用される第2のフィルタのフィルタパラメータを得る。
図3は、エンコーダ装置10で実施され得る方法30を示す。
ステップS31で、フレームメトリクス(例えば、予測利得17)が得られる。
ステップS32で、フレームメトリクス17がTNSフィルタリング決定閾値または第1の閾値(一部の例では1.5であり得る)よりも高いかどうかがチェックされる。メトリクスの例として、予測利得があり得る。
S32で、フレームメトリクス17が第1の閾値(thresh)よりも低いことが確認された場合、S33でフィルタリング動作は実行されない(恒等フィルタが使用されていると言うことが可能であり、恒等フィルタは、出力と入力が同じフィルタである)。例えば、X(n)=X(n)(TNSツール11の出力15は入力13と同じ)であり、および/または反射係数rc(k)(および/またはそれらの量子化バージョンrc(k))も0に設定される。したがって、デコーダ装置20の動作(および出力)は、TNSツール11の影響を受けない。したがって、S33では、第1のフィルタも第2のフィルタも使用されない場合がある。
S32でフレームメトリクス17がTNSフィルタリング決定閾値または第1の閾値(閾値)より大きいことが確認された場合、ステップS34で、フレームメトリクスをフィルタリングタイプ決定閾値または第2の閾値(thresh2、これは第1の閾値より大きくなる場合があり、例えば2)と比較することにより第2のチェックが実行され得る。
S34でフレームメトリクス17がフィルタリングタイプ決定閾値または第2の閾値(thresh2)より低いことが確認された場合、S35で低インパルス応答エネルギーLPフィルタリングが実行される(例えば、インパルス応答エネルギーが低い第2のフィルタが使用され、第2のフィルタは恒等フィルタではない)。
S34でフレームメトリクス17がフィルタリングタイプ決定閾値または第2の閾値(thresh2)より大きいことが確認された場合、S36で高インパルス応答エネルギーLPフィルタリングが実行される(例えば、応答エネルギーが低エネルギーフィルタよりも高い第1のフィルタが使用される)。
方法30は、後続のフレームについて繰り返されてもよい。
実施例では、低インパルス応答エネルギーLPフィルタリング(S35)は、フィルタパラメータ14(a(k))が、例えば、異なる値(例えば、高インパルス応答エネルギーLPフィルタリングは単一の重みに基づくことができ、低インパルス応答エネルギーLPフィルタリングは1より小さい重みに基づくことができる)で重み付けされ得る点で高インパルス応答エネルギーLPフィルタリング(S36)とは異なり得る。実施例において、低インパルス応答エネルギーLPフィルタリングは、低インパルス応答エネルギーLPフィルタリングを実行することにより得られる反射係数16が、高インパルス応答エネルギーLPフィルタリングを実行することにより得られる反射係数によって引き起こされる低減よりも高いインパルス応答エネルギーの低減を引き起こし得るという点で、高インパルス応答エネルギーLPフィルタリングとは異なり得る。
したがって、ステップS36で高インパルス応答エネルギーフィルタリングを実行する間、第1のフィルタは、フィルタパラメータ14(a(k))(したがって、第1のフィルタパラメータである)に基づいて使用される。ステップS35で低インパルス応答エネルギーフィルタリングを実行する間、第2のフィルタが使用される。第2のフィルタは、第1のフィルタのパラメータを修正することにより(例えば、1未満の重みで重み付けすることにより)得ることができる。
ステップS31~S32~S34のシーケンスは、他の実施例では異なっていてもよく、例えば、S34はS32に先行してもよい。ステップS32および/またはS34の1つは、一部の例ではオプションであり得る。
実施例では、第1および/または第2の閾値の少なくとも1つは固定であり得る(例えば、メモリ要素に記憶される)。
実施例において、低インパルス応答エネルギーフィルタリングは、LPフィルタパラメータ(例えば、LPC係数または他のフィルタリングパラメータ)および/または反射係数、または反射係数を得るために使用される中間値を調整することにより、フィルタのインパルス応答を低減することにより得ることができる。例えば、1(重み)未満の係数が、LPフィルタパラメータ(例えば、LPC係数または他のフィルタリングパラメータ)および/または反射係数、または反射係数を得るために使用される中間値に適用されてもよい。
実施例において、調整(および/またはインパルス応答エネルギーの低減)は、
Figure 0006990306000027
であって(またはこれに関して)もよく、ここで
Figure 0006990306000028
はフィルタリングタイプ決定閾値であり(および例えば、2の場合がある)、
Figure 0006990306000029
はTNSフィルタリング決定閾値であり(および1.5の場合がある)、
Figure 0006990306000030
は定数(例えば、0.8と0.9の間の0.85など、0.7と0.95の間の値)である
Figure 0006990306000031
値を使用して、LPC係数(または他のフィルタパラメータ)および/または反射係数をスケーリングできる。frameMetricsはフレームメトリクスである。
実施例では、式は
Figure 0006990306000032
であってもよく、ここで
Figure 0006990306000033
はフィルタリングタイプ決定閾値であり(および例えば、2の場合がある)、
Figure 0006990306000034
はTNSフィルタリング決定閾値であり(および1.5の場合がある)、
Figure 0006990306000035
は定数(例えば、0.8と0.9の間の0.85など、0.7と0.95の間の値)である
Figure 0006990306000036
値を使用して、LPC係数(または他のフィルタパラメータ)および/または反射係数をスケーリングできる。predGainは、例えば、予測利得であり得る。
式から、
Figure 0006990306000037
より低いがそれに近い(例えば1.999)frameMetrics(または
Figure 0006990306000038
)により、インパルス応答エネルギーが減少して弱くなる(例えば
Figure 0006990306000039
)ことがわかる。したがって、低インパルス応答エネルギーLPフィルタリングは、複数の異なる低インパルス応答エネルギーLPフィルタリングのうちの1つであってもよく、それぞれは、例えば、フレームメトリクスの値に従って、異なる調整パラメータ
Figure 0006990306000040
によって特徴付けられる。
低インパルス応答エネルギーLPフィルタリングの例では、メトリクスの異なる値が異なる調整を引き起こすことがある。例えば、高予測利得は
Figure 0006990306000041
の高い値に関連付けられ、インパルス応答エネルギーの減少は第1のフィルタに対して関連付けられ得る。
Figure 0006990306000042
は、
Figure 0006990306000043
に依存する線形関数と見なすことができる。
Figure 0006990306000044
の増加は
Figure 0006990306000045
の増加を引き起こし、インパルス応答エネルギーの減少を弱める。
Figure 0006990306000046
が減少すると
Figure 0006990306000047
も減少し、それに応じてインパルス応答エネルギーも減少する。
したがって、同じ信号の後続のフレームは、異なる方法でフィルタリングされ得る。
-一部のフレームは第1のフィルタを使用してフィルタ処理でき(高インパルス応答エネルギーフィルタリング)、フィルタパラメータ(14)は維持される。
-他の一部のフレームは、第2のフィルタを使用してフィルタ処理でき(低インパルス応答エネルギーフィルタリング)、第1のフィルタは、低インパルス応答エネルギーの第2のフィルタを得るために修正され(例えば、フィルタパラメータ14が修正されている)、第1のフィルタに対してインパルス応答エネルギーを減少させる。
-他の一部のフレームも、第2のフィルタを使用してフィルタ処理できる(低インパルス応答エネルギーフィルタリング)が、(フレームメトリクスの値が異なるため)調整は異なる。
したがって、各フレームについて、特定の第1のフィルタを(例えば、フィルタパラメータに基づいて)定義することができ、第2のフィルタは、第1のフィルタのフィルタパラメータを修正することにより展開することができる。
図3Aは、TNSフィルタリング動作を実行するために協働するコントローラ12およびTNSブロック11の例を示す。
フレームメトリクス(例えば、予測利得)17が得られ、(例えば、比較器10aにおいて)TNSフィルタリング決定閾値18aと比較されてもよい。フレームメトリクス17がTNSフィルタリング決定閾値18a(thresh)より大きい場合、フレームメトリクス17をフィルタリングタイプ決定閾値18bと(例えば、比較器12aにおいて)比較することが(例えば、セレクタ11aによって)許可される。フレームメトリクス17がフィルタリングタイプ決定閾値18bより大きい場合、インパルス応答が高エネルギー(例えば、
Figure 0006990306000048
)を有する第1のフィルタ14aが作動される。フレームメトリクス17がフィルタリングタイプ決定閾値18bより低い場合、インパルス応答が低エネルギー(例えば、
Figure 0006990306000049
)を有する第2のフィルタ15aが作動される(要素12bは、比較器12aによって出力されたバイナリ値の否定を示す)。インパルス応答が高エネルギーを有する第1のフィルタ14aは、高インパルス応答エネルギーでフィルタリングを実行してもよくS36、インパルス応答が低エネルギーを有する第2のフィルタ15aは、低インパルス応答エネルギーでフィルタリングを実行してもよいS35。
図3Bおよび3Cは、それぞれ(例えば、それぞれステップS36およびS35に対して)第1および第2のフィルタ14aおよび15aを使用するための方法36および35を示す。
方法36は、フィルタパラメータ14を得るステップS36aを含み得る。方法36は、第1のフィルタ14aのパラメータを使用してフィルタリング(例えば、S36)を実行するステップS36bを含み得る。ステップS35bは、フレームメトリクスがフィルタリングタイプ決定閾値を超えているという決定(例えば、ステップS34)においてのみ実行されてもよい(例えば、ステップS35)。
方法35は、第1のフィルタ14aのフィルタパラメータ14を得るステップS35aを含み得る。方法35は、(例えば、閾値threshおよびthresh2の少なくとも1つならびにフレームメトリクスを使用することにより)調整係数
Figure 0006990306000050
を定義するステップS35bを含み得る。方法35は、第1のフィルタ14aに対してインパルス応答エネルギーが低い第2のフィルタ15aを得るために第1のフィルタ14aを修正するステップ35cを含み得る。特に、第1のフィルタ14aは、第2のフィルタのパラメータを得るために、第1のフィルタ14aのパラメータ14に(例えば、S35bで得られるような)調整係数
Figure 0006990306000051
を適用することにより修正され得る。方法35は、(例えば、方法30のS35の)第2のフィルタを用いたフィルタリングが実行されるステップS35dを含み得る。ステップS35a、S35b、およびS35cは、フレームメトリクスがフィルタリングタイプ決定閾値未満であるという決定(例えば、ステップS34)において実行されてもよい(例えば、ステップS35)。
図4は、単一の方法40を形成し得る方法40’(エンコーダ側)および方法40’’(デコーダ側)を示す。方法40’および40’’は、方法40’に従って動作するデコーダが方法40’’に従って動作するデコーダにビットストリームを(例えば、ブルートゥース(登録商標)を使用して無線で)送信することができるという点で何らかの関わりがあることがある。
方法40のステップ(シーケンスa)-b)-c)-d)-1)-2)-3)-e-f)およびシーケンスS41’~S49’で示される)について、以下で説明する。
a)ステップS41’:MDCT(またはMDST)スペクトル(FD値)の自己相関を処理でき、例えば、
Figure 0006990306000052
であり、ここで
Figure 0006990306000053
は、LPフィルタの次数である(例えば、
Figure 0006990306000054
)。ここでは、
Figure 0006990306000055
はTNSツール11に入力されたFD値であり得る。例えば、
Figure 0006990306000056
はインデックス
Figure 0006990306000057
を有する周波数に関連付けられたビンを指してもよい。
b)ステップS42’:自己相関はラグウィンドウ処理できる。
Figure 0006990306000058
ラグウィンドウ関数の例は、例えば
Figure 0006990306000059
であってもよく、ここで
Figure 0006990306000060
はウィンドウパラメータである(例えば、
Figure 0006990306000061
)。
c)ステップS43’:LPフィルタ係数は、例えば次のようなレビンソン・ダービン再帰手順を使用して推定することができる。
Figure 0006990306000062
Figure 0006990306000063
Figure 0006990306000064
Figure 0006990306000065
Figure 0006990306000066
Figure 0006990306000067
Figure 0006990306000068
Figure 0006990306000069
Figure 0006990306000070
ここで
Figure 0006990306000071
は推定されたLPC係数(または他のフィルタリングパラメータ)、
Figure 0006990306000072
は対応する反射係数、
Figure 0006990306000073
は予測誤差である。
d)ステップS44’:現在のフレームでTNSフィルタリングをオン/オフにする決定(ステップS44’またはS32)は、例えば、予測利得などのフレームメトリクスに基づいてもよい。
Figure 0006990306000074
の場合、TNSフィルタリングをオンにする
ここで予測利得は
Figure 0006990306000075
で計算され、
Figure 0006990306000076
は閾値である(例えば、
Figure 0006990306000077
)。
1)ステップS45’:重み付け係数
Figure 0006990306000078
は、(例えば、ステップS45’で)以下によって得ることができる。
Figure 0006990306000079
ここで
Figure 0006990306000080
は第2の閾値(例えば、
Figure 0006990306000081
)、
Figure 0006990306000082
は最小重み付け係数(例えば、
Figure 0006990306000083
)である。
Figure 0006990306000084
は、例えば、フィルタリングタイプ決定閾値であり得る。
Figure 0006990306000085
である場合、第1のフィルタ14aが使用される。
Figure 0006990306000086
である場合、第2のフィルタ15aが使用される(例えば、ステップS35b)。
2)ステップS46’:LPC係数(または他のフィルタリングパラメータ)は、係数
Figure 0006990306000087
を使用して(例えば、ステップS46’で)重み付けすることができる。
Figure 0006990306000088
Figure 0006990306000089
は累乗である(例えば、
Figure 0006990306000090
)。
3)ステップS47’:重み付けされたLPC係数(または他のフィルタリングパラメータ)は、例えば、以下の手順(ステップS47’)を使用して反射係数に変換することができる。
Figure 0006990306000091
Figure 0006990306000092
Figure 0006990306000093
Figure 0006990306000094
Figure 0006990306000095
Figure 0006990306000096
e)ステップS48’:TNSがオンの場合(例えば、S32での決定の結果として)、反射係数は、例えば、アークサイン領域でのスカラー均一量子化を使用して量子化され得る(ステップS48’)。
Figure 0006990306000097
Figure 0006990306000098
ここで
Figure 0006990306000099
はセルの幅(例えば、
Figure 0006990306000100
)であり、
Figure 0006990306000101
は最も近い整数への丸め関数である。
Figure 0006990306000102
は量子化器の出力インデックスであり、例えば算術エンコーディングを使用して符号化される。
Figure 0006990306000103
は量子化された反射係数である。
f)ステップS49’:TNSがオンの場合、MDCT(またはMDST)スペクトルは、量子化された反射係数およびラティスフィルタ構造を使用してフィルタ処理される(ステップS49’)。
Figure 0006990306000104
Figure 0006990306000105
Figure 0006990306000106
Figure 0006990306000107
Figure 0006990306000108
Figure 0006990306000109
Figure 0006990306000110
ビットストリームは、デコーダに送信され得る。ビットストリームは、情報信号(例えば、オーディオ信号)のFD表現とともに、上記のTNS動作(TNS分析)を実行することにより得られる反射係数などの制御データも含み得る。
方法40’’(デコーダ側)は、ステップg)(S41’’)およびh)(S42’’)を含むことができ、TNSがオンの場合、量子化反射係数が復号され、量子化MDCT(またはMDST)スペクトルがフィルタリングされて戻される。次の手順を使用できる。
Figure 0006990306000111
Figure 0006990306000112
Figure 0006990306000113
Figure 0006990306000114
Figure 0006990306000115
Figure 0006990306000116
Figure 0006990306000117
エンコーダ装置50の例(エンコーダ装置10を具現化し、および/または方法30および40’の動作の少なくとも一部を実行することができる)が図5に示されている。
エンコーダ装置50は、入力信号(例えば、オーディオ信号であり得る)を符号化するための複数のツールを含み得る。例えば、MDCTツール51は、情報信号のTD表現をFD表現に変換することができる。スペクトルノイズシェーパSNSツール52は、例えば、ノイズシェーピング分析(例えば、スペクトルノイズシェーピングSNS分析)を実行し、LPC係数または他のフィルタリングパラメータ(例えば、a(k)、14)を取り出すことができる。TNSツール11は上記のようなものであってもよく、コントローラ12によって制御され得る。TNSツール11は、(例えば、方法30または40’に従って)フィルタリング動作を実行し、情報信号のフィルタリングされたバージョンと反射係数のバージョンの両方を出力することができる。量子化ツール53は、TNSツール11によって出力されたデータの量子化を実行することができる。算術コーダ54は、例えば、エントロピーコーディングを提供することができる。ノイズレベルツール55’は、信号のノイズレベルを推定するために使用することもできる。ビットストリームライター55は、(例えばブルートゥース(登録商標)を使用して、例えば無線で)送信されおよび/または記憶され得る入力信号に関連するビットストリームを生成することができる。
(入力信号の帯域幅を検出することができる)帯域幅検出器58’も使用することができる。これは、信号のアクティブスペクトルに関する情報を提供する場合がある。この情報は、一部の例では、コーディングツールを制御するためにも使用できる。
エンコーダ装置50はまた、例えば、TD表現がダウンサンプラツール56によってダウンサンプリングされた後に、入力信号のTD表現で入力され得る長期ポストフィルタリングツール57を含み得る。
デコーダ装置60の例(デコーダ装置20を具現化し、および/または方法40’’の動作の少なくとも一部を実行することができる)が図6に示されている。
デコーダ装置60は、(例えば、装置50によって準備されるような)ビットストリームを読み取ることができるリーダ61を含み得る。デコーダ装置60は、例えば、デコーダによって提供されるような、FDにおけるデジタル表現(復元されたスペクトル)を用いて、例えば、エントロピー復号、残差復号、および/または算術復号を実行し得る算術残差デコーダ61aを含み得る。デコーダ装置60は、例えば、ノイズフィリングツール62およびグローバル利得ツール63を含み得る。デコーダ装置60は、TNSデコーダ21およびTNSデコーダコントローラ22を含み得る。装置60は、例えば、SNSデコーダツール65を含み得る。デコーダ装置60は、情報信号のデジタル表現をFDからTDに変換するための逆MDCT(またはMDST)ツール65’を含み得る。長期ポストフィルタリングは、TDのLTPFツール66によって実行できる。帯域幅情報68は、例えば、一部のツール(例えば、62および21)に適用された帯域幅検出器58’から得ることができる。
上記の装置の動作の例がここに提供される。
一時的ノイズシェーピング(TNS)は、変換の各ウィンドウ内の量子化ノイズの時間形状を制御するためにツール11によって使用されてもよい。
実施例では、TNSが現在のフレームでアクティブな場合、MDCTスペクトル(またはMDSTスペクトルまたは他のスペクトルまたは他のFD表現)ごとに最大2つのフィルタを適用できる。複数のフィルタを適用したり、特定の周波数範囲でTNSフィルタリングを実行したりすることができる。一部の例では、これはオプションにすぎない。
各構成のフィルタ数と、各フィルタの開始および停止周波数を次の表に示す
Figure 0006990306000118
開始および停止周波数などの情報は、例えば、帯域幅検出器58’から信号で伝えられてもよい。
NBは狭帯域、WBは広帯域、SSWBはセミスーパー広帯域、SWBはスーパー広帯域、FBはフル広帯域である。
TNSエンコードの手順を以下で説明する。第一に、分析は、各TNSフィルタの反射係数のセットを推定してもよい。次に、これらの反射係数を量子化してもよい。そして最後に、MDCTスペクトル(またはMDSTスペクトルまたは他のスペクトルまたは他のFD表現)は、量子化された反射係数を使用してフィルタ処理されてもよい。
以下で説明する完全なTNS分析は、TNSフィルタ
Figure 0006990306000119
ごとに繰り返され、
Figure 0006990306000120
である(num_tns_filtersは上の表で提供されている)。
正規化された自己相関関数は、(例えば、ステップS41’で)以下のように計算され、それぞれについて
Figure 0006990306000121
である。
Figure 0006990306000122
ここで
Figure 0006990306000123
および
Figure 0006990306000124
ここで
Figure 0006990306000125
および
Figure 0006990306000126
は上の表に示されている。
正規化された自己相関関数は、例えば次のようにラグウィンドウ処理(例えば、S42’で)できる。
Figure 0006990306000127
上記のレビンソン・ダービン再帰を使用して(例えば、ステップS43’で)、LPC係数または他のフィルタリングパラメータ
Figure 0006990306000128
および/または予測誤差
Figure 0006990306000129
を得ることができる。
現在のフレームでTNSフィルタ
Figure 0006990306000130
をオン/オフにする決定は、予測利得に基づいている。
Figure 0006990306000131
の場合、TNSフィルタ
Figure 0006990306000132
をオンにする。
ここで例えば、
Figure 0006990306000133
であり、予測利得は、例えば次のように得られる。
Figure 0006990306000134
以下に説明する追加のステップは、TNSフィルタ
Figure 0006990306000135
がオンになっている場合(例えば、ステップS32の結果が「はい」の場合)にのみ実行される。
重み付け係数
Figure 0006990306000136
は次のように計算される
Figure 0006990306000137
ここで
Figure 0006990306000138

Figure 0006990306000139
および
Figure 0006990306000140
LPC係数または他のフィルタリングパラメータは、係数
Figure 0006990306000141
を使用して(例えば、ステップS46で)重み付けされる。
Figure 0006990306000142
重み付けされたLPC係数または他のフィルタリングパラメータは、例えば、以下のアルゴリズムを使用して、(例えば、ステップS47’で)反射係数に変換され得る。
Figure 0006990306000143
Figure 0006990306000144
Figure 0006990306000145
Figure 0006990306000146
Figure 0006990306000147
Figure 0006990306000148
ここで
Figure 0006990306000149
は、TNSフィルタ
Figure 0006990306000150
の最終的な推定反射係数である。
TNSフィルタ
Figure 0006990306000151
がオフにされる場合(例えば、ステップS32のチェックでの結果が「NO」)、反射係数は単に0に設定され得る、すなわち
Figure 0006990306000152
例えば、ステップS48’で実行されるような量子化プロセスがここで議論される。
各TNSフィルタ
Figure 0006990306000153
について、得られた反射係数は、例えば、アークサイン領域でスカラー均一量子化を使用して量子化できる。
Figure 0006990306000154
および
Figure 0006990306000155
ここで
Figure 0006990306000156
および
Figure 0006990306000157
は、例えば、最も近い整数への丸め関数である。
Figure 0006990306000158
は量子化器の出力インデックスであってもよく、
Figure 0006990306000159
は量子化された反射係数であってもよい。
量子化された反射係数の次数は、
Figure 0006990306000160
を使用して計算され、
Figure 0006990306000161
および
Figure 0006990306000162
の場合、
Figure 0006990306000163
Figure 0006990306000164
を実行する。
現在のフレームでTNSによって消費されたビットの総数は、次のように計算できる。
Figure 0006990306000165
ここで
Figure 0006990306000166
および
Figure 0006990306000167
Figure 0006990306000168
および
Figure 0006990306000169
の値は、表で提供される場合がある。
MDCT(またはMDST)スペクトル
Figure 0006990306000170
(図1の入力15)は、次の手順を使用してフィルタ処理できる。
Figure 0006990306000171
Figure 0006990306000172
Figure 0006990306000173
Figure 0006990306000174
Figure 0006990306000175
Figure 0006990306000176
Figure 0006990306000177
Figure 0006990306000178
ここで
Figure 0006990306000179
は、TNSフィルタ処理されたMDCT(またはMDST)スペクトル(図1の出力15)である。
デコーダで実行される動作(例えば、20、60)を参照すると、量子化された反射係数は、各TNSフィルタ
Figure 0006990306000180
について以下を使用して得られる。
Figure 0006990306000181
ここで
Figure 0006990306000182
は、量子化器の出力インデックスである。
次に、TNSデコーダ21に提供される(例えば、グローバル利得ツール63から得られるような)MDCT(またはMDST)スペクトル
Figure 0006990306000183
は、以下のアルゴリズムを使用してフィルタリングされ得る。
Figure 0006990306000184
Figure 0006990306000185
Figure 0006990306000186
Figure 0006990306000187
Figure 0006990306000188
Figure 0006990306000189
Figure 0006990306000190
Figure 0006990306000191
ここで
Figure 0006990306000192
は、TNSデコーダの出力である。
6.発明に関する議論
上記で説明したように、TNSはアーティファクトを発生させ、オーディオコーダの品質を低下させることがある。これらのアーティファクトは、クリックのようなまたはノイズのようなものであり、ほとんどの場合、音声信号または音調音楽信号で発生する。
TNSによって生成されるアーティファクトは、予測利得predGainが低く、閾値threshに近いフレームでのみ発生することが観察された。
閾値を上げると問題を簡単に解決できると考えることができる。しかし、ほとんどのフレームでは、実は予測利得が低い場合でも、TNSをオンにすることは有益である。
我々が提案する解決策は、同じ閾値を維持し、予測利得が低い場合にTNSフィルタを調整して、インパルス応答エネルギーを減らすことである。
この調整を実施するには多くの方法がある(これは、例えば、LPフィルタパラメータを減らすことでインパルス応答エネルギーの減少が得られる場合など、「減衰」と呼ばれることもある)。重み付けを使用することを選択でき、例えば、重み付けは
Figure 0006990306000193
とすることができ、
Figure 0006990306000194
はエンコーダステップc)で計算されたLPフィルタパラメータ(例えば、LPC係数)であり、
Figure 0006990306000195
は重み付けLPフィルタパラメータである。調整(重み付け)係数
Figure 0006990306000196
は予測利得に応じて作成され、低い予測利得に対してはインパルス応答エネルギーの高削減(
Figure 0006990306000197
)が適用され、例えば、高い予測利得に対してはインパルス応答エネルギーの削減はない(
Figure 0006990306000198
)。
提案した解決策は、他のフレームへの影響を最小限に抑えながら、問題のあるフレームのすべてのアーティファクトを削除するのに非常に効果的であることが証明された。
ここで、図8(1)~8(3)を参照することができる。図は、オーディオ信号のフレーム(実線)と、対応するTNS予測フィルタの周波数応答(破線)を示している。
図8(1):カスタネット信号
図8(2):ピッチパイプ信号
図8(3):音声信号
予測利得は、信号の時間エンベロープの平坦性に関連している(例えば、参考文献[2]のセクション3または参考文献[3]のセクション1.2を参照)。
低い予測利得は傾向的に平坦な時間エンベロープを意味し、高い予測利得は非常に平坦でない時間エンベロープを意味する。
図8(1)は、予測利得が非常に低い(predGain=1.0)場合を示している。これは、非常に定常的なオーディオ信号の場合に対応し、時間エンベロープは平坦である。この場合、predGain=1<thresh(例えば、thresh=1.5)であり、フィルタリングは実行されない(S33)。
図8(2)は、予測利得が非常に高い(12.3)場合を示している。これは強くて鋭い起音の場合に対応し、時間エンベロープは非常に平坦でない。この場合、predGain=12.3>thresh2(threh2=2)であり、S36で、高インパルス応答エネルギーフィルタリングが実行される。
図8(3)は、threshとthresh2との間の予測利得が、例えば1.5~2.0(第1の閾値よりは高く、第2の閾値よりは低い)場合を示している。これは、少し平坦でない時間エンベロープの場合に対応する。この場合、thresh<predGain<thresh2であり、S35で、インパルス応答エネルギーが低い第2のフィルタ15aを使用して、低インパルス応答エネルギーフィルタリングが実行される。
7.その他の例
図7は、エンコーダ装置10または50を実装し、および/または方法30および/または40’の少なくとも一部のステップを実行することができる装置110を示す。装置110は、プロセッサ111と、プロセッサ111によって実行されたときにプロセッサ111にTNSフィルタリングおよび/または分析を実行させることができる命令を記憶する非一時的メモリユニット112とを含むことができる。装置110は、入力情報信号(例えば、オーディオ信号)を得ることができる入力ユニット116を含むことができる。したがって、プロセッサ111は、TNSプロセスを実行することができる。
図8は、デコーダ装置20または60を実装し、および/または方法40’を実行することができる装置120を示す。装置120は、プロセッサ121と、プロセッサ121によって実行されたときにプロセッサ121にとりわけTNS合成動作を実行させることができる命令を記憶する非一時的メモリユニット122とを含むことができる。装置120は、FD内の情報信号(例えば、オーディオ信号)の復号された表現を得ることができる入力ユニット126を含むことができる。したがって、プロセッサ121は、例えばTDにおける情報信号の復号された表現を得るためのプロセスを実行することができる。この復号された表現は、出力ユニット127を使用して外部ユニットに提供することができる。出力ユニット127は、例えば、(例えば、Bluetoothなどの無線通信を使用して)外部デバイスおよび/または外部記憶スペースと通信するための通信ユニットを含むことができる。プロセッサ121は、オーディオ信号の復号された表現をローカル記憶スペース128に記憶することができる。
実施例において、システム110および120は、同じデバイスであり得る。
特定の実装要件に応じて、実施例はハードウェアで実装できる。実装は、フロッピーディスク、デジタル多用途ディスク(DVD)、ブルーレイディスク、コンパクトディスク(CD)、読み取り専用メモリ(ROM)、プログラム可能読み取り専用メモリ(PROM)、消去可能プログラム可能読み取り専用メモリ(EPROM)、電気的消去可能プログラム可能読み取り専用メモリ(EEPROM)、またはフラッシュメモリなど、電子的に読み取り可能な制御信号が記憶され、それぞれの方法が実行されるようにプログラム可能コンピュータシステムと協働する(または協働することができる)デジタル記憶媒体を使用して実行できる。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
一般に、実施例は、プログラム命令を有するコンピュータプログラム製品として実装することができ、プログラム命令は、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法の1つを実行するように動作する。プログラム命令は、例えば、機械可読媒体に記憶されてもよい。
他の実施例は、機械可読キャリアに記憶された、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含む。つまり、本方法の実施例はしたがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラム命令を有するコンピュータプログラムである。
したがって、本方法のさらなる実施例は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含む、またはそれが記録されたデータキャリア媒体(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア媒体、デジタル記憶媒体、または記録された媒体は、無形で一時的な信号ではなく、有形および/または非一時的なものである。
さらなる実施例は、本明細書に記載の方法の1つを実行する処理ユニット、例えばコンピュータ、またはプログラム可能な論理デバイスを含む。
さらなる実施例は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
さらなる実施例は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的または光学的に)転送する装置またはシステムを含む。受信側は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信側に転送するためのファイルサーバを含んでもよい。
一部の実施例では、プログラム可能な論理デバイス(例えば、フィールド・プログラマブル・ゲート・アレイ)を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。一部の実施例では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載の方法の1つを実行するためにマイクロプロセッサと協働してもよい。一般に、方法は、任意の適切なハードウェア装置によって実行され得る。
上記の例は、上記で説明した原理を例示するものである。本明細書に記載の配置および詳細の修正および変更は、明らかであることを理解されたい。したがって、本明細書の実施例の説明として提示される特定の詳細によってではなく、以下の特許請求の範囲によって制限されることが意図されている。

Claims (22)

  1. エンコーダ装置(10、50、110)であって、
    複数のフレームを含む情報信号(13)に対して線形予測LPフィルタリング(S33、S35、S36)を実行するための一時的ノイズシェーピングTNSツール(11)、および
    前記TNSツール(11)を制御するように構成されたコントローラ(12)を含み、これにより前記TNSツール(11)は、
    インパルス応答のエネルギーが高い第1のフィルタ(14a)によるLPフィルタリング(S36)、および
    インパルス応答のエネルギーが低い第2のフィルタ(15a)によるLPフィルタリング(S35)を実行し、ここで前記第2のフィルタ(15a)は恒等フィルタではなく、
    前記コントローラ(12)は、フレームメトリクス(17)に基づいて、前記第1のフィルタ(14a)によるフィルタリング(S36)と前記第2のフィルタ(15a)によるフィルタリング(S35)との間で選択(S34)するように構成され、
    前記コントローラ(1)は、
    記インパルス応答エネルギーが低減された前記第2のフィルタ(15a)を得るために、前記第1のフィルタ(14a)を修正するようにさらに構成される、エンコーダ装置(10、50、110)。
  2. 前記コントローラ(1)は、
    前記第2のフィルタ(15a)を得るために、調整係数を前記第1のフィルタ(14a)に適用(S45’)するようにさらに構成される、請求項1に記載のエンコーダ装置。
  3. 調整係数を使用して前記第1のフィルタ(14a)のパラメータ(14)の振幅を修正することによって前記第2のフィルタ(15a)を得るために、前記第1のフィルタ(14a)を修正するように構成される、請求項2に記載のエンコーダ装置。
  4. 前記コントローラ(1)は、
    前記第1のフィルタ(14a)によるフィルタリング(S36)と前記第2のフィルタ(15a)によるフィルタリング(S35)との間の選択(S32)に使用されるフィルタリングタイプ決定閾値(18b)に基づいて、前記調整係数を定義(S45’)するようにさらに構成される、請求項2または3に記載のエンコーダ装置。
  5. 前記コントローラ(1)は、
    少なくとも前記フレームメトリクス(17)に基づいて、前記調整係数を定義する(S45’)するようにさらに構成される、請求項2または3または4に記載のエンコーダ装置。
  6. 前記コントローラ(1)は、
    TNSフィルタリングの実行(S34、S35)とTNSフィルタリングの非実行(S33)との間の選択(S32)に使用されるTNSフィルタリング決定閾値(18)に基づいて、前記調整係数を定義(S45’)するようにさらに構成される、請求項2から5のいずれか一項に記載のエンコーダ装置。
  7. 前記コントローラ(1)は、
    前記フレームメトリクス(17)の線形関数を使用して前記調整係数を定義(S45’)するようにさらに構成され、前記線形関数は、前記フレームメトリクスの増加が前記調整係数および/または前記インパルス応答エネルギーの増加に対応するようなものである、請求項2から6のいずれか一項に記載のエンコーダ装置。
  8. 前記調整係数を
    Figure 0006990306000199
    と定義するように構成され、ここで、
    Figure 0006990306000200
    は前記TNSフィルタリング決定閾値(18a)、
    Figure 0006990306000201
    は前記フィルタリングタイプ決定閾値(18b)、
    Figure 0006990306000202
    は前記フレームメトリクス(17)、
    Figure 0006990306000203
    は固定値である、請求項4に従属する場合の請求項に記載のエンコーダ装置。
  9. 前記第2のフィルタ(15a)の前記パラメータを得るために、
    Figure 0006990306000204
    を適用することにより、前記第1のフィルタ(14a)の前記パラメータ(14)を修正するように構成され、
    ここで、
    Figure 0006990306000205
    は前記第1のフィルタ(14a)のパラメータ(14)、
    Figure 0006990306000206

    Figure 0006990306000207
    であるような前記調整係数、
    Figure 0006990306000208
    は前記第2のフィルタ(15a)の前記パラメータ、Kは前記第1のフィルタ(14a)の次数である、請求項に記載のエンコーダ装置。
  10. 前記コントローラ(1)は、
    予測利得、前記情報信号のエネルギー、および/または予測誤差の少なくとも1つから前記フレームメトリクス(17)を得るようにさらに構成される、請求項1から9のいずれか一項に記載のエンコーダ装置。
  11. 前記フレームメトリクスは、
    Figure 0006990306000209
    のように計算される予測利得を含み、ここで、
    Figure 0006990306000210
    は前記情報信号のエネルギーに関連する項で、
    Figure 0006990306000211
    は予測誤差に関連する項である、請求項1から10のいずれか一項に記載のエンコーダ装置。
  12. 前記コントローラは、
    前記情報信号の少なくとも予測利得の減少および/またはエネルギーの減少に対して前記第2のフィルタのインパルス応答エネルギーが減少し、および/または少なくとも前記予測誤差の増加に対して前記第2のフィルタのインパルス応答エネルギーが減少するように構成される、請求項10または11に記載のエンコーダ装置。
  13. 前記コントローラ(1)は、
    前記フレームメトリクス(17)がフィルタリングタイプ決定閾値(18b)よりも低い場合に前記第1のフィルタ(1a)によりフィルタリング(S36)が実行されるように、前記フレームメトリクス(17)を前記フィルタリングタイプ決定閾値(18b)と比較(S34)するようにさらに構成される、請求項1から12のいずれか一項に記載のエンコーダ装置。
  14. 前記コントローラ(1)は、
    前記フレームメトリクス(17)に基づいてフィルタリングの実行(S35、S36)とフィルタリングの非実行(S33)との間で選択(S32、S44’)するようにさらに構成される、請求項1から13のいずれか一項に記載のエンコーダ装置。
  15. 前記コントローラ(1)は、
    前記フレームメトリクス(17)がTNSフィルタリング決定閾値(18a)よりも低い場合にTNSフィルタリングを回避する(S33)ことを選択するように、前記フレームメトリクス(17)を前記TNSフィルタリング決定閾値(18a)と比較(S32、S44’)するようにさらに構成される、請求項14に記載のエンコーダ装置。
  16. 前記TNSツール(11)によって得られた反射係数(16)またはその量子化バージョンを備えたビットストリームを準備するビットストリームライター
    をさらに含む、請求項1から15のいずれか一項に記載のエンコーダ装置。
  17. ラメータ(14)は、LPコーディング、LPC、係数、およびフィルタ係数の任意の他の表現の間で選択される、請求項に記載のエンコーダ装置。
  18. 前記情報信号はオーディオ信号である、請求項1から17のいずれか一項に記載のエンコーダ装置。
  19. 前記コントローラ(1)は、前記インパルス応答エネルギーが低減された前記第2のフィルタ(15a)を得るために、前記第1のフィルタ(14a)を修正するようにさらに構成される、請求項1から18のいずれか一項によるエンコーダ装置。
  20. 前記フレームメトリクス(17)は、前記情報信号の時間エンベロープの平坦性に関連する、請求項1から19のいずれか一項に記載のエンコーダ装置。
  21. 複数のフレームを含む情報信号に対して一時的ノイズシェーピングTNSフィルタリングを実行するための方法(30、40’)であって、
    フレームごとに、フレームメトリックに基づいて、第1のフィルタ(14a)によるフィルタリングと、インパルス応答のエネルギーが低い第2のフィルタ(15a)によるフィルタリングとの間で選択(S34)するステップであって、前記第2のフィルタ(15a)は恒等フィルタではない、ステップと、
    前記第1のフィルタ(14a)によるフィルタリングと前記第2のフィルタ(15a)によるフィルタリングとの間で選択した前記フィルタリングを使用して前記フレームをフィルタリングするステップと、
    記インパルス応答エネルギーが低減された前記第2のフィルタ(15a)を得るために、前記第1のフィルタ(14a)を修正するステップと、を含む、方法(30、40’)。
  22. プロセッサ(111、121)によって実行されたときに、前記プロセッサに請求項21に記載の方法を実行させる命令を記憶する、非一時的記憶装置。
JP2020524877A 2017-11-10 2018-11-06 一時的ノイズシェーピング Active JP6990306B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17201094.4 2017-11-10
EP17201094.4A EP3483880A1 (en) 2017-11-10 2017-11-10 Temporal noise shaping
PCT/EP2018/080339 WO2019091978A1 (en) 2017-11-10 2018-11-06 Temporal noise shaping

Publications (2)

Publication Number Publication Date
JP2021502597A JP2021502597A (ja) 2021-01-28
JP6990306B2 true JP6990306B2 (ja) 2022-01-12

Family

ID=60301908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524877A Active JP6990306B2 (ja) 2017-11-10 2018-11-06 一時的ノイズシェーピング

Country Status (18)

Country Link
US (1) US11127408B2 (ja)
EP (2) EP3483880A1 (ja)
JP (1) JP6990306B2 (ja)
KR (1) KR102428419B1 (ja)
CN (1) CN111587456B (ja)
AR (1) AR113480A1 (ja)
AU (1) AU2018363699B2 (ja)
BR (1) BR112020009104A2 (ja)
CA (1) CA3081781C (ja)
ES (1) ES2905911T3 (ja)
MX (1) MX2020004789A (ja)
PL (1) PL3707712T3 (ja)
PT (1) PT3707712T (ja)
RU (1) RU2740074C1 (ja)
SG (1) SG11202004204UA (ja)
TW (1) TWI701658B (ja)
WO (1) WO2019091978A1 (ja)
ZA (1) ZA202002520B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7426971B2 (ja) 2015-03-31 2024-02-02 株式会社プロテリアル 窒化珪素系セラミックス集合基板

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643713B (zh) * 2021-10-13 2021-12-24 北京百瑞互联技术有限公司 一种蓝牙音频编码方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007525718A (ja) 2004-03-01 2007-09-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャネル信号を処理する装置および方法
WO2009066869A1 (en) 2007-11-21 2009-05-28 Electronics And Telecommunications Research Institute Frequency band determining method for quantization noise shaping and transient noise shaping method using the same
JP2010500631A (ja) 2006-08-15 2010-01-07 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション サイド情報なしの時間的ノイズエンベロープの自由な整形
US20110145003A1 (en) 2009-10-15 2011-06-16 Voiceage Corporation Simultaneous Time-Domain and Frequency-Domain Noise Shaping for TDAC Transforms

Family Cites Families (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (de) 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
US5012517A (en) 1989-04-18 1991-04-30 Pacific Communication Science, Inc. Adaptive transform coder having long term predictor
US5233660A (en) 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
JPH05281996A (ja) 1992-03-31 1993-10-29 Sony Corp ピッチ抽出装置
IT1270438B (it) 1993-06-10 1997-05-05 Sip Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
JP3402748B2 (ja) 1994-05-23 2003-05-06 三洋電機株式会社 音声信号のピッチ周期抽出装置
DE69619284T3 (de) 1995-03-13 2006-04-27 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Erweiterung der Sprachbandbreite
US5781888A (en) * 1996-01-16 1998-07-14 Lucent Technologies Inc. Perceptual noise shaping in the time domain via LPC prediction in the frequency domain
WO1997027578A1 (en) 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging
US5812971A (en) 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
JPH1091194A (ja) 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
AU9404098A (en) 1997-09-23 1999-04-12 Voxware, Inc. Scalable and embedded codec for speech and audio signals
US6507814B1 (en) 1998-08-24 2003-01-14 Conexant Systems, Inc. Pitch determination using speech classification and prior pitch estimation
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6735561B1 (en) * 2000-03-29 2004-05-11 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US7099830B1 (en) * 2000-03-29 2006-08-29 At&T Corp. Effective deployment of temporal noise shaping (TNS) filters
US7395209B1 (en) 2000-05-12 2008-07-01 Cirrus Logic, Inc. Fixed point audio decoding system and method
US7020605B2 (en) * 2000-09-15 2006-03-28 Mindspeed Technologies, Inc. Speech coding system with time-domain noise attenuation
US7353168B2 (en) 2001-10-03 2008-04-01 Broadcom Corporation Method and apparatus to eliminate discontinuities in adaptively filtered signals
US6785645B2 (en) 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7433824B2 (en) 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
JP4287637B2 (ja) 2002-10-17 2009-07-01 パナソニック株式会社 音声符号化装置、音声符号化方法及びプログラム
US7181019B2 (en) 2003-02-11 2007-02-20 Koninklijke Philips Electronics N. V. Audio coding
KR20030031936A (ko) 2003-02-13 2003-04-23 배명진 피치변경법을 이용한 단일 음성 다중 목소리 합성기
CA2529851A1 (en) 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. Receiving apparatus, sending apparatus and transmission system
ATE486348T1 (de) 2003-06-30 2010-11-15 Koninkl Philips Electronics Nv Verbesserung der qualität von dekodierten audio mittels hinzufügen von geräusch
US7983909B2 (en) 2003-09-15 2011-07-19 Intel Corporation Method and apparatus for encoding audio data
US7009533B1 (en) 2004-02-13 2006-03-07 Samplify Systems Llc Adaptive compression and decompression of bandlimited signals
CA3026267C (en) 2004-03-01 2019-04-16 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
DE102004009949B4 (de) 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
EP1722359B1 (en) 2004-03-05 2011-09-07 Panasonic Corporation Error conceal device and error conceal method
EP1864283B1 (en) 2005-04-01 2013-02-13 Qualcomm Incorporated Systems, methods, and apparatus for highband time warping
US7546240B2 (en) 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
US7805297B2 (en) 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
US9123350B2 (en) 2005-12-14 2015-09-01 Panasonic Intellectual Property Management Co., Ltd. Method and system for extracting audio features from an encoded bitstream for audio classification
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US8781842B2 (en) 2006-03-07 2014-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Scalable coding with non-casual predictive information in an enhancement layer
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
EP2030199B1 (en) 2006-05-30 2009-10-28 Koninklijke Philips Electronics N.V. Linear predictive coding of an audio signal
US8015000B2 (en) 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
FR2905510B1 (fr) 2006-09-01 2009-04-10 Voxler Soc Par Actions Simplif Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe
CN101140759B (zh) 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
DE102006049154B4 (de) 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
JPWO2008072701A1 (ja) 2006-12-13 2010-04-02 パナソニック株式会社 ポストフィルタおよびフィルタリング方法
FR2912249A1 (fr) 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
EP2015293A1 (en) 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
JP5618826B2 (ja) 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
JP4928366B2 (ja) 2007-06-25 2012-05-09 日本電信電話株式会社 ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体
JP4572218B2 (ja) 2007-06-27 2010-11-04 日本電信電話株式会社 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体
EP2183851A1 (fr) 2007-08-24 2010-05-12 France Telecom Codage/decodage par plans de symboles, avec calcul dynamique de tables de probabilites
ES2375192T3 (es) 2007-08-27 2012-02-27 Telefonaktiebolaget L M Ericsson (Publ) Codificación por transformación mejorada de habla y señales de audio.
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
BRPI0818927A2 (pt) 2007-11-02 2015-06-16 Huawei Tech Co Ltd Método e aparelho para a decodificação de áudio
AU2008344134B2 (en) 2007-12-31 2011-08-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
JPWO2009122757A1 (ja) * 2008-04-04 2011-07-28 パナソニック株式会社 ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
CN102057424B (zh) 2008-06-13 2015-06-17 诺基亚公司 用于经编码的音频数据的错误隐藏的方法和装置
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2346030B1 (en) 2008-07-11 2014-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, method for encoding an audio signal and computer program
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
KR101227729B1 (ko) 2008-07-11 2013-01-29 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 샘플 오디오 신호의 프레임을 인코딩하기 위한 오디오 인코더 및 디코더
WO2010031049A1 (en) 2008-09-15 2010-03-18 GH Innovation, Inc. Improving celp post-processing for music signals
BRPI0914056B1 (pt) 2008-10-08 2019-07-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificação/decodificação de áudio comutado multi-resolução
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
MX2011007925A (es) 2009-01-28 2011-08-17 Dten Forschung E V Fraunhofer Ges Zur Foeerderung Der Angewan Codificador de audio, decodificador de audio, información de audio codificada, métodos para la codificación y decodificación de una señal de audio y programa de computadora.
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
FR2944664A1 (fr) 2009-04-21 2010-10-22 Thomson Licensing Dispositif et procede de traitement d'images
US8428938B2 (en) 2009-06-04 2013-04-23 Qualcomm Incorporated Systems and methods for reconstructing an erased speech frame
US8352252B2 (en) 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
KR20100136890A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
ES2441069T3 (es) * 2009-10-08 2014-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador multimodo para señal de audio, codificador multimodo para señal de audio, procedimiento y programa de computación que usan un modelado de ruido en base a linealidad-predicción-codificación
WO2011048098A1 (en) 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using a detection of a group of previously-decoded spectral values
KR101414305B1 (ko) 2009-10-20 2014-07-02 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 저 지연 애플리케이션들에서 사용하기 위한 오디오 신호 인코더, 오디오 신호 디코더, 오디오 콘텐츠의 인코딩된 표현을 제공하는 방법, 오디오 콘텐츠의 디코딩된 표현을 제공하는 방법 및 컴퓨터 프로그램
US8207875B2 (en) 2009-10-28 2012-06-26 Motorola Mobility, Inc. Encoder that optimizes bit allocation for information sub-parts
US7978101B2 (en) 2009-10-28 2011-07-12 Motorola Mobility, Inc. Encoder and decoder using arithmetic stage to compress code space that is not fully utilized
KR101761629B1 (ko) 2009-11-24 2017-07-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2011086067A1 (en) 2010-01-12 2011-07-21 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding and decoding an audio information, and computer program obtaining a context sub-region value on the basis of a norm of previously decoded spectral values
US20110196673A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
FR2961980A1 (fr) * 2010-06-24 2011-12-30 France Telecom Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique
EP3079153B1 (en) 2010-07-02 2018-08-01 Dolby International AB Audio decoding with selective post filtering
EP4131258A1 (en) 2010-07-20 2023-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio decoding method, audio encoder, audio encoding method and computer program
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
SG192748A1 (en) 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Linear prediction based coding scheme using spectral domain noise shaping
US9270807B2 (en) 2011-02-23 2016-02-23 Digimarc Corporation Audio localization using audio signal encoding and recognition
KR101767175B1 (ko) 2011-03-18 2017-08-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 코딩에서의 프레임 요소 길이 전송
CN103620675B (zh) 2011-04-21 2015-12-23 三星电子株式会社 对线性预测编码系数进行量化的设备、声音编码设备、对线性预测编码系数进行反量化的设备、声音解码设备及其电子装置
US8891775B2 (en) * 2011-05-09 2014-11-18 Dolby International Ab Method and encoder for processing a digital stereo audio signal
FR2977439A1 (fr) 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
FR2977969A1 (fr) 2011-07-12 2013-01-18 France Telecom Adaptation de fenetres de ponderation d'analyse ou de synthese pour un codage ou decodage par transformee
EP2772909B1 (en) * 2011-10-27 2018-02-21 LG Electronics Inc. Method for encoding voice signal
KR101672025B1 (ko) 2012-01-20 2016-11-02 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 사인곡선 대체를 이용하여 오디오 인코딩 및 디코딩하기 위한 장치 및 방법
EP2834814B1 (en) 2012-04-05 2016-03-02 Huawei Technologies Co., Ltd. Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder
US20130282372A1 (en) 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
PL2874149T3 (pl) 2012-06-08 2024-01-29 Samsung Electronics Co., Ltd. Sposób i urządzenie do ukrywania błędu ramki oraz sposób i urządzenie do dekodowania audio
GB201210373D0 (en) 2012-06-12 2012-07-25 Meridian Audio Ltd Doubly compatible lossless audio sandwidth extension
FR2992766A1 (fr) * 2012-06-29 2014-01-03 France Telecom Attenuation efficace de pre-echos dans un signal audionumerique
CN102779526B (zh) 2012-08-07 2014-04-16 无锡成电科大科技发展有限公司 语音信号中基音提取及修正方法
US9406307B2 (en) 2012-08-19 2016-08-02 The Regents Of The University Of California Method and apparatus for polyphonic audio signal prediction in coding and networking systems
US9293146B2 (en) 2012-09-04 2016-03-22 Apple Inc. Intensity stereo coding in advanced audio coding
CN107731237B (zh) 2012-09-24 2021-07-20 三星电子株式会社 时域帧错误隐藏设备
US9401153B2 (en) 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
RU2660605C2 (ru) * 2013-01-29 2018-07-06 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Концепция заполнения шумом
FR3001593A1 (fr) 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
SG10201700846UA (en) 2013-02-05 2017-03-30 Ericsson Telefon Ab L M Method and apparatus for controlling audio frame loss concealment
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
MX352092B (es) 2013-06-21 2017-11-08 Fraunhofer Ges Forschung Aparato y método para mejorar el ocultamiento del libro de códigos adaptativo en la ocultación similar a acelp empleando una resincronización de pulsos mejorada.
EP2830056A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
MY181965A (en) 2013-10-18 2021-01-15 Fraunhofer Ges Forschung Coding of spectral coefficients of a spectrum of an audio signal
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
TR201802303T4 (tr) 2013-10-31 2018-03-21 Fraunhofer Ges Forschung Frekans alanında zamansal ön şekillendirilmiş gürültü eklenmesiyle ses bant genişliği uzatma.
SG10201609186UA (en) 2013-10-31 2016-12-29 Fraunhofer Ges Forschung Audio Decoder And Method For Providing A Decoded Audio Information Using An Error Concealment Modifying A Time Domain Excitation Signal
CN105723455B (zh) 2013-11-13 2020-01-24 弗劳恩霍夫应用研究促进协会 用于编码音频信号的编码器、音频发送系统和用于确定校正值的方法
GB2524333A (en) 2014-03-21 2015-09-23 Nokia Technologies Oy Audio signal payload
US9396733B2 (en) 2014-05-06 2016-07-19 University Of Macau Reversible audio data hiding
NO2780522T3 (ja) 2014-05-15 2018-06-09
EP2963649A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using horizontal phase correction
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980798A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Harmonicity-dependent controlling of a harmonic filter tool
EP2980799A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal using a harmonic post-filter
EP2980796A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an audio signal, audio decoder, and audio encoder
EP2988300A1 (en) 2014-08-18 2016-02-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Switching of sampling rates at audio processing devices
CN104269173B (zh) * 2014-09-30 2018-03-13 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法
EP3067887A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US9886963B2 (en) 2015-04-05 2018-02-06 Qualcomm Incorporated Encoder selection
JP6422813B2 (ja) 2015-04-13 2018-11-14 日本電信電話株式会社 符号化装置、復号装置、これらの方法及びプログラム
US9978400B2 (en) 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US9837089B2 (en) 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
KR20170000933A (ko) 2015-06-25 2017-01-04 한국전기연구원 시간 지연 추정을 이용한 풍력 터빈의 피치 제어 시스템
US9830921B2 (en) 2015-08-17 2017-11-28 Qualcomm Incorporated High-band target signal control
US9978381B2 (en) 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
US10283143B2 (en) 2016-04-08 2019-05-07 Friday Harbor Llc Estimating pitch of harmonic signals
CN107945809B (zh) 2017-05-02 2021-11-09 大连民族大学 一种复调音乐多音高估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007525718A (ja) 2004-03-01 2007-09-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャネル信号を処理する装置および方法
JP2010500631A (ja) 2006-08-15 2010-01-07 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション サイド情報なしの時間的ノイズエンベロープの自由な整形
WO2009066869A1 (en) 2007-11-21 2009-05-28 Electronics And Telecommunications Research Institute Frequency band determining method for quantization noise shaping and transient noise shaping method using the same
US20110145003A1 (en) 2009-10-15 2011-06-16 Voiceage Corporation Simultaneous Time-Domain and Frequency-Domain Noise Shaping for TDAC Transforms

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7426971B2 (ja) 2015-03-31 2024-02-02 株式会社プロテリアル 窒化珪素系セラミックス集合基板

Also Published As

Publication number Publication date
JP2021502597A (ja) 2021-01-28
AR113480A1 (es) 2020-05-06
WO2019091978A1 (en) 2019-05-16
ES2905911T3 (es) 2022-04-12
CN111587456B (zh) 2023-08-04
SG11202004204UA (en) 2020-06-29
EP3707712B1 (en) 2021-12-01
ZA202002520B (en) 2021-10-27
AU2018363699B2 (en) 2020-11-19
CA3081781A1 (en) 2019-05-16
EP3483880A1 (en) 2019-05-15
CA3081781C (en) 2022-10-04
PT3707712T (pt) 2022-02-15
US11127408B2 (en) 2021-09-21
PL3707712T3 (pl) 2022-03-28
AU2018363699A1 (en) 2020-05-21
CN111587456A (zh) 2020-08-25
KR20200090793A (ko) 2020-07-29
EP3707712A1 (en) 2020-09-16
US20200265850A1 (en) 2020-08-20
BR112020009104A2 (pt) 2020-10-20
TWI701658B (zh) 2020-08-11
KR102428419B1 (ko) 2022-08-02
TW201923754A (zh) 2019-06-16
RU2740074C1 (ru) 2021-01-11
MX2020004789A (es) 2020-08-13

Similar Documents

Publication Publication Date Title
AU2014225223B2 (en) Device and method for reducing quantization noise in a time-domain decoder
US11854561B2 (en) Low-frequency emphasis for LPC-based coding in frequency domain
KR102105044B1 (ko) 낮은 레이트의 씨이엘피 디코더의 비 음성 콘텐츠의 개선
TWI642053B (zh) 用以編碼音訊信號之音訊編碼器、用以編碼音訊信號之方法、及考量上頻帶中所檢出尖峰頻譜區域的電腦程式
JP2019511738A (ja) ハイブリッドコンシールメント方法:オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ
JP6990306B2 (ja) 一時的ノイズシェーピング
KR102099293B1 (ko) 오디오 인코더 및 오디오 신호를 인코딩하는 방법
CN111344784B (zh) 控制编码器和/或解码器中的带宽
KR102426050B1 (ko) 피치 지연 선택
Vaillancourt et al. New post-processing techniques for low bit rate celp codecs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211203

R150 Certificate of patent or registration of utility model

Ref document number: 6990306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150