JP6289508B2 - ノイズフィリング概念 - Google Patents
ノイズフィリング概念 Download PDFInfo
- Publication number
- JP6289508B2 JP6289508B2 JP2015555679A JP2015555679A JP6289508B2 JP 6289508 B2 JP6289508 B2 JP 6289508B2 JP 2015555679 A JP2015555679 A JP 2015555679A JP 2015555679 A JP2015555679 A JP 2015555679A JP 6289508 B2 JP6289508 B2 JP 6289508B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- noise
- spectral
- audio signal
- tonality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 claims description 310
- 238000001228 spectrum Methods 0.000 claims description 261
- 230000006870 function Effects 0.000 claims description 169
- 230000005236 sound signal Effects 0.000 claims description 134
- 238000000034 method Methods 0.000 claims description 52
- 238000007493 shaping process Methods 0.000 claims description 46
- 238000013139 quantization Methods 0.000 claims description 30
- 230000001419 dependent effect Effects 0.000 claims description 23
- 230000011664 signaling Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000008707 rearrangement Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 230000007774 longterm Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 239000000945 filler Substances 0.000 description 49
- 230000007704 transition Effects 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000000873 masking effect Effects 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229940035637 spectrum-4 Drugs 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/012—Comfort noise or silence coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Noise Elimination (AREA)
- Stereo-Broadcasting Methods (AREA)
- Stereophonic System (AREA)
Description
1.残差領域または重み付けされた領域において。残差領域または重み付けされた領域における整形は、図1〜図14に関して上に広範囲に記載されている。
2.LPCを用いるスペクトル整形またはFDNS(LPCの振幅特性を用いる変換領域における整形)は、図13および図14に関して記載されている。スペクトルは、スケールファクタ(AACにおけるような)を用いて、または、図9〜図12に関して記載されるように完全なスペクトルを整形するための他のいかなるスペクトル整形方法を用いて、整形され得る。
3.より少ない数のビットを用いるTNS(時間ノイズ整形)を用いる任意の整形は、図9〜図12に関して簡潔に記載されている。
・LTPゲイン
・スペクトル再配置イネーブルドフラグ([6]を参照)
・TNSイネーブルドフラグ
・ノイズフィリング開始インデックスは、スペクトル量子化の結果に適応され得るが、特定の範囲に制限される。
・スペクトル傾斜は、知覚的なノイズ整形からスペクトル傾斜を弱めるために、挿入されたノイズにおいて導入され得る。
・ノイズフィリング開始インデックスの上の全てのゼロ量子化された線は、ノイズに置き換えられる。
・トランジション関数によって、挿入されたノイズは、ゼロに量子化されないスペクトル線の近くで減衰される。
・トランジション関数は、入力信号の瞬時特性に依存している。
・ノイズフィリング開始インデックス、スペクトル傾斜およびトランジション関数の適応は、デコーダにおいて利用できる情報に基づくことができる。
ノイズフィリングレベルを除いて、付加サイド情報の必要がない。
[1] B. G. G. F. S. G. M. M. H. P. J. H. S. W. G. S. J. H. Nikolaus Rettelbach, "Noise Filler, Noise Filling Parameter Calculator Encoded Audio Signal Representation, Methods and Computer Program". Patent US 2011/0173012 A1.
[2] Extended Adaptive Multi-Rate-Wideband (AMR-WB+) codec, 3GPP TS 26.290 V6.3.0, 2005-2006.
[3] B. G. G. F. S. G. M. M. H. P. J. H. S. W. G. S. J. H. Nikolaus Rettelbach, "Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program". Patent WO 2010/003556 A1.
[4] M. M. N. R. G. F. J. R. J. L. S. W. S. B. S. D. C. H. R. L. P. G. B. B. J. L. K. K. H. Max Neuendorf, "MPEG Unified Speech and Audio Coding - The ISO/MPEG Standard for High-Efficiency Audio Coding of all Content Types," in 132nd Convertion AES, Budapest, 2012. Also appears in the Journal of the AES, vol. 61, 2013.
[5] M. M. M. N. a. R. G. Guillaume Fuchs, "MDCT-Based Coder for Highly Adaptive Speech and Audio Coding," in 17th European Signal Processing Conference (EUSIPCO 2009), Glasgow, 2009.
[6] H. Y. K. Y. M. T. Harada Noboru, "Coding Mmethod, Decoding Method, Coding Device, Decoding Device, Program, and Recording Medium". Patent WO 2012/046685 A1.
Claims (24)
- オーディオ信号の調性に依存する方法で前記オーディオ信号のスペクトル(34)にノイズフィリングを実行するように構成される装置であって、前記装置は、前記スペクトル(34)が符号化される(164)データストリーム内の線形予測係数(162)を介してシグナリングされる線形予測スペクトルエンベロープ、または、前記スペクトル(34)が符号化される前記データストリームにおいてシグナリングされるスケールファクタバンド(110)に関するスケールファクタ(112)を介して制御されるスペクトル的に変化する信号適応量子化ステップサイズを用いて、前記ノイズフィリングの後に導き出された前記スペクトル(34)を逆量子化する(132;174)ように構成され、
前記装置は、
連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにその絶対傾きが前記調性に否定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
前記連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにそのスペクトル幅(54、56)が前記調性に肯定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
第1の積分が、前記連続したスペクトルゼロ部分(40)にわたって1の積分に正規化され、そして、第2の積分fが、前記連続したスペクトルゼロ部分(40)の外側のクォーター(a、d)にわたって前記調性に否定的に依存する、一定のまたは単一モードの関数(48、50)
を用いてスペクトル整形されるノイズで前記オーディオ信号のスペクトル(34)の連続したスペクトルゼロ部分(40)をフィリングするように構成される、装置。 - オーディオ信号の調性に依存する方法で前記オーディオ信号のスペクトル(34)にノイズフィリングを実行するように構成される装置であって、前記装置は、
前記スペクトル(34)が符号化される(164)データストリーム内の線形予測係数(162)を介してシグナリングされる線形予測スペクトルエンベロープ、または、前記スペクトル(34)が符号化される前記データストリームにおいてシグナリングされるスケールファクタバンド(110)に関するスケールファクタ(112)を介して制御されるスペクトル的に変化する信号適応量子化ステップサイズを用いて、前記ノイズフィリングの後に導き出された前記スペクトル(34)を逆量子化し(132;174)、
前記オーディオ信号のスペクトルの連続したスペクトルゼロ部分を識別し(70)、さらに、識別された前記連続したスペクトルゼロ部分に前記ノイズフィリングを適用し、さらに
関数がそれぞれの連続したスペクトルゼロ部分に限られるようにそれぞれの連続したスペクトルゼロ部分の幅に依存して、さらに、前記オーディオ信号の前記調性が増加する場合に、前記関数が前記それぞれの連続したスペクトルゼロ部分の内側でよりコンパクトになりさらに前記それぞれの連続したスペクトルゼロ部分の外側のエッジから離間されるように前記オーディオ信号の前記調性に依存して、設定される(80)関数でスペクトル整形されるノイズで、前記オーディオ信号のスペクトルの連続したスペクトルゼロ部分をそれぞれフィリングするように構成される、装置。 - 前記装置は、前記スペクトルがスペクトル的にグローバルな方法で符号化される前記データストリームにおいてシグナリングされるスカラーグローバルなノイズレベルを用いて、前記連続したスペクトルゼロ部分にフィリングされる前記ノイズをスケーリングするように構成される、請求項1または請求項2に記載の装置。
- 前記装置は、ランダムな若しくは疑似ランダムなプロセスを用いてまたはパッチングを用いて、前記連続したスペクトルゼロ部分にフィリングされる前記ノイズを生成するように構成される、請求項1ないし請求項3のいずれかに記載の装置。
- 前記装置は、前記データストリームへ符号化される符号化パラメータから前記調性を導き出すように構成される、請求項1ないし請求項4のいずれかに記載の装置。
- 前記装置は、前記符号化パラメータがLTP(長期予測)またはTNS(時間ノイズ整形)イネーブルメントフラグまたはゲイン、および/またはスペクトル再配置イネーブルメントフラグであるように構成され、前記スペクトル再配置イネーブルメントフラグは、前記データストリーム内で再配置プリスクリプションをさらに送信するとともに量子化されたスペクトル値がスペクトル的に再配置される符号化オプションをシグナリングする、請求項5に記載の装置。
- 前記装置は、前記オーディオ信号のスペクトルの高周波スペクトル部分に前記ノイズフィリングの実行を限るように構成される、請求項1ないし請求項6のいずれかに記載の装置。
- 前記装置は、前記データストリームにおける明確なシグナリングに対応する前記高周波スペクトル部分の低周波開始位置を設定するように構成される、請求項7に記載の装置。
- 前記装置は、前記ノイズフィリングを実行する際に、前記オーディオ信号のスペクトルを符号化するために用いられるプリエンファシスによって生じるスペクトル傾斜を弱めるためにスペクトルローパスフィルタの伝達関数に近い、そのレベルが低周波から高周波への低減を示すノイズで前記スペクトル(34)の連続したスペクトルゼロ部分(40)をフィリングするように構成される、請求項1ないし請求項8のいずれかに記載の装置。
- 前記装置は、前記プリエンファシスのプリエンファシスファクタに前記低減の峻度を適応させるように構成される、請求項9に記載の装置。
- 前記装置は、前記オーディオ信号のスペクトルの連続したスペクトルゼロ部分を識別し、さらに、前記関数(48、50)がそれぞれの連続したスペクトルゼロ部分に限られるようにそれぞれの連続したスペクトルゼロ部分の幅に依存して、さらに、前記オーディオ信号の前記調性が増加する場合に、前記関数が前記それぞれの連続したスペクトルゼロ部分の内側で徐々によりコンパクトになりさらに前記それぞれの連続したスペクトルゼロ部分のエッジから離間されるように前記オーディオ信号の前記調性に依存して、さらに、加えて、前記関数(48、50)のスケーリングが前記それぞれの連続したスペクトルゼロ部分のスペクトル位置に依存するように前記それぞれの連続したスペクトルゼロ部分のスペクトル位置に依存して、設定される関数で、前記連続したスペクトルゼロ部分をフィリングするように構成される、請求項1ないし請求項10のいずれかに記載の装置。
- 請求項1ないし請求項11のいずれかに記載の装置を含むノイズフィリングをサポートする、オーディオデコーダ。
- 請求項1ないし請求項11のいずれかに記載のオーディオ信号のスペクトル(34)にノイズフィリングを実行するように構成される装置、および
スペクトル知覚的な重み関数を用いて前記ノイズフィリングされたスペクトルをスペクトル整形にするように構成される周波数領域ノイズシェーパ
を含む、知覚的な変換オーディオデコーダ。 - 請求項1ないし請求項11のいずれかに記載の装置を含むノイズフィリングをサポートするオーディオエンコーダであって、前記エンコーダは、合成による分析のために、前記装置によってノイズでフィリングされたスペクトルを用いるように構成される、オーディオエンコーダ。
- ノイズフィリングをサポートするオーディオエンコーダであって、
データストリームにオーディオ信号のスペクトル(34)を量子化しさらに符号化し、さらに
連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにその絶対傾きが調性に否定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
前記連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにそのスペクトル幅(54、56)が前記調性に肯定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
第1の積分が、前記連続したスペクトルゼロ部分(40)にわたって1の積分に正規化され、そして、第2の積分fが、前記連続したスペクトルゼロ部分(40)の外側のクォーター(a、d)にわたって前記調性に否定的に依存する、一定のまたは単一モードの関数(48、50)
を用いて、
前記オーディオ信号のスペクトル(34)の連続したスペクトルゼロ部分(40)を前記オーディオ信号の前記調性に依存してスペクトル整形し、さらに、
前記オーディオ信号の前記調性に依存してスペクトル整形された、前記スペクトルの前記連続したスペクトルゼロ部分内で前記オーディオ信号のレベルを測定する
ことによって、前記オーディオ信号の前記スペクトルにノイズフィリングを実行するためのスペクトル的にグローバルなノイズフィリングレベルを、前記データストリームに設定しさらに符号化する
ように構成される、オーディオエンコーダ。 - ノイズフィリングをサポートするオーディオエンコーダであって、
データストリームにオーディオ信号のスペクトル(34)を量子化しさらに符号化し、さらに
関数がそれぞれの連続したスペクトルゼロ部分に限られるようにそれぞれの連続したスペクトルゼロ部分の幅に依存して、さらに、前記オーディオ信号の調性が増加する場合に、前記関数が前記それぞれの連続したスペクトルゼロ部分の内側でよりコンパクトになりさらに前記それぞれの連続したスペクトルゼロ部分の外側のエッジから離間されるように前記オーディオ信号の前記調性に依存して、設定される(80)関数
を用いて、
前記オーディオ信号のスペクトル(34)の連続したスペクトルゼロ部分(40)を前記オーディオ信号の前記調性に依存してスペクトル整形し、さらに、
前記オーディオ信号の前記調性に依存してスペクトル整形された、前記スペクトルの前記連続したスペクトルゼロ部分内で前記オーディオ信号のレベルを測定する
ことによって、前記オーディオ信号の前記スペクトルにノイズフィリングを実行するためのスペクトル的にグローバルなノイズフィリングレベルを、前記データストリームに設定しさらに符号化する
ように構成される、オーディオエンコーダ。 - 前記測定することは、2乗平均平方根である、請求項15または請求項16に記載のオーディオエンコーダ。
- 前記エンコーダは、線形予測スペクトルエンベロープに従ってスペクトル的に変化する信号適応量子化ステップサイズを用いて前記スペクトル(34)を量子化し、前記データストリーム内の線形予測係数(162)を介して前記線形予測スペクトルエンベロープをシグナリングし、さらに、前記データストリームに前記スペクトル(34)を符号化するように構成される、請求項15ないし請求項17のいずれかに記載のオーディオエンコーダ。
- 前記エンコーダは、スケールファクタバンド(110)に関するスケールファクタ(112)に従ってスペクトル的に変化する信号適応量子化ステップサイズを用いて前記スペクトル(34)を量子化し、前記データストリーム内の前記スケールファクタをシグナリングし、さらに、前記データストリームに前記スペクトル(34)を符号化するように構成される、請求項15ないし請求項17のいずれかに記載のオーディオエンコーダ。
- 前記オーディオ信号のスペクトルを符号化するために用いられる符号化パラメータから前記調性を導き出すように構成される、請求項15ないし請求項19のいずれかに記載のオーディオエンコーダ。
- オーディオ信号の調性に依存する方法でオーディオ信号のスペクトル(34)にノイズフィリングを実行するステップを含む方法であって、前記方法は、前記スペクトル(34)が符号化される(164)データストリーム内の線形予測係数(162)を介してシグナリングされる線形予測スペクトルエンベロープ、または、前記スペクトル(34)が符号化される前記データストリームにおいてシグナリングされるスケールファクタバンド(110)に関するスケールファクタ(112)を介して制御されるスペクトル的に変化する信号適応量子化ステップサイズを用いて、前記ノイズフィリングの後に導き出された前記スペクトル(34)を逆量子化するステップ(132;174)を含み、
前記方法は、
連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにその絶対傾きが前記調性に否定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
前記連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにそのスペクトル幅(54、56)が前記調性に肯定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
第1の積分が、前記連続したスペクトルゼロ部分(40)にわたって1の積分に正規化され、そして、第2の積分fが、前記連続したスペクトルゼロ部分(40)の外側のクォーター(a、d)にわたって前記調性に否定的に依存する、一定のまたは単一モードの関数(48、50)
を用いてスペクトル整形されるノイズで前記オーディオ信号のスペクトル(34)の連続したスペクトルゼロ部分(40)をフィリングするステップを含む、方法。 - ノイズフィリングをサポートするオーディオ符号化のための方法であって、前記方法は、データストリームにオーディオ信号のスペクトル(34)を量子化しさらに符号化するステップ、および、
連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにその絶対傾きが調性に否定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
前記連続したスペクトルゼロ部分(40)の内側(52)で最大値を取りさらにそのスペクトル幅(54、56)が前記調性に肯定的に依存する外側に立ち下がるエッジ(58、60)を有する関数(48、50)、または
第1の積分が、前記連続したスペクトルゼロ部分(40)にわたって1の積分に正規化され、そして、第2の積分fが、前記連続したスペクトルゼロ部分(40)の外側のクォーター(a、d)にわたって前記調性に否定的に依存する、一定のまたは単一モードの関数(48、50)
を用いて、
前記オーディオ信号のスペクトル(34)の連続したスペクトルゼロ部分(40)を前記オーディオ信号の前記調性に依存してスペクトル整形し、さらに、
前記オーディオ信号の前記調性に依存してスペクトル整形された、前記スペクトルの前記連続したスペクトルゼロ部分内で前記オーディオ信号のレベルを測定すること
によって、前記オーディオ信号の前記スペクトルにノイズフィリングを実行するためのスペクトル的にグローバルなノイズフィリングレベルを、前記データストリームに設定しさらに符号化するステップを含む、
方法。 - ノイズフィリングをサポートするオーディオ符号化のための方法であって、前記方法は、データストリームにオーディオ信号のスペクトル(34)を量子化しさらに符号化するステップ、および、
関数がそれぞれの連続したスペクトルゼロ部分に限られるようにそれぞれの連続したスペクトルゼロ部分の幅に依存して、さらに、前記オーディオ信号の調性が増加する場合に、前記関数が前記それぞれの連続したスペクトルゼロ部分の内側でよりコンパクトになりさらに前記それぞれの連続したスペクトルゼロ部分の外側のエッジから離間されるように前記オーディオ信号の前記調性に依存して、設定される(80)関数
を用いて、
前記オーディオ信号のスペクトル(34)の連続したスペクトルゼロ部分(40)を前記オーディオ信号の前記調性に依存してスペクトル整形し、さらに、
前記オーディオ信号の前記調性に依存してスペクトル整形された、前記スペクトルの前記連続したスペクトルゼロ部分内で前記オーディオ信号のレベルを測定すること
によって、前記オーディオ信号の前記スペクトルにノイズフィリングを実行するためのスペクトル的にグローバルなノイズフィリングレベルを、前記データストリームに設定しさらに符号化するステップを含む、
方法。 - コンピュータ上で実行されるときに、請求項21、請求項22または請求項23に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361758209P | 2013-01-29 | 2013-01-29 | |
US61/758,209 | 2013-01-29 | ||
PCT/EP2014/051630 WO2014118175A1 (en) | 2013-01-29 | 2014-01-28 | Noise filling concept |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016505171A JP2016505171A (ja) | 2016-02-18 |
JP2016505171A5 JP2016505171A5 (ja) | 2016-11-10 |
JP6289508B2 true JP6289508B2 (ja) | 2018-03-07 |
Family
ID=50029035
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015555679A Active JP6289508B2 (ja) | 2013-01-29 | 2014-01-28 | ノイズフィリング概念 |
JP2015555680A Active JP6158352B2 (ja) | 2013-01-29 | 2014-01-28 | 知覚的な変換オーディオ符号化におけるノイズフィリング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015555680A Active JP6158352B2 (ja) | 2013-01-29 | 2014-01-28 | 知覚的な変換オーディオ符号化におけるノイズフィリング |
Country Status (21)
Country | Link |
---|---|
US (4) | US9524724B2 (ja) |
EP (6) | EP3761312A1 (ja) |
JP (2) | JP6289508B2 (ja) |
KR (6) | KR101897092B1 (ja) |
CN (5) | CN105190749B (ja) |
AR (2) | AR094678A1 (ja) |
AU (2) | AU2014211543B2 (ja) |
BR (2) | BR112015017748B1 (ja) |
CA (2) | CA2898024C (ja) |
ES (4) | ES2709360T3 (ja) |
HK (2) | HK1218345A1 (ja) |
MX (2) | MX345160B (ja) |
MY (2) | MY185164A (ja) |
PL (4) | PL3471093T3 (ja) |
PT (4) | PT2951818T (ja) |
RU (2) | RU2631988C2 (ja) |
SG (2) | SG11201505893TA (ja) |
TR (2) | TR201902394T4 (ja) |
TW (2) | TWI529700B (ja) |
WO (2) | WO2014118175A1 (ja) |
ZA (2) | ZA201506266B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6082126B2 (ja) * | 2013-01-29 | 2017-02-15 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. | 音声信号を合成するための装置及び方法、デコーダ、エンコーダ、システム及びコンピュータプログラム |
RU2631988C2 (ru) | 2013-01-29 | 2017-09-29 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Заполнение шумом при аудиокодировании с перцепционным преобразованием |
EP3483881A1 (en) | 2013-11-13 | 2019-05-15 | Fraunhofer Gesellschaft zur Förderung der Angewand | Encoder for encoding an audio signal, audio transmission system and method for determining correction values |
EP2980792A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an enhanced signal using independent noise-filling |
EP2980795A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
EP2980794A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
DE102016104665A1 (de) | 2016-03-14 | 2017-09-14 | Ask Industries Gmbh | Verfahren und Vorrichtung zur Aufbereitung eines verlustbehaftet komprimierten Audiosignals |
US10146500B2 (en) | 2016-08-31 | 2018-12-04 | Dts, Inc. | Transform-based audio codec and method with subband energy smoothing |
TW202341126A (zh) | 2017-03-23 | 2023-10-16 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
EP3483880A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
EP3759917A1 (en) * | 2018-02-27 | 2021-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | A spectrally adaptive noise filling tool (sanft) for perceptual transform coding of still and moving images |
US10950251B2 (en) * | 2018-03-05 | 2021-03-16 | Dts, Inc. | Coding of harmonic signals in transform-based audio codecs |
CN112735449B (zh) * | 2020-12-30 | 2023-04-14 | 北京百瑞互联技术有限公司 | 优化频域噪声整形的音频编码方法及装置 |
CN113883672B (zh) * | 2021-09-13 | 2022-11-15 | Tcl空调器(中山)有限公司 | 噪音类型识别方法、空调器及计算机可读存储介质 |
WO2023117144A1 (en) * | 2021-12-23 | 2023-06-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for spectrotemporally improved spectral gap filling in audio coding using a tilt |
TW202345142A (zh) * | 2021-12-23 | 2023-11-16 | 弗勞恩霍夫爾協會 | 在音訊寫碼中使用傾斜用於頻譜時間改善頻譜間隙填充之方法及設備 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5040217A (en) * | 1989-10-18 | 1991-08-13 | At&T Bell Laboratories | Perceptual coding of audio signals |
US5692102A (en) * | 1995-10-26 | 1997-11-25 | Motorola, Inc. | Method device and system for an efficient noise injection process for low bitrate audio compression |
US6167133A (en) | 1997-04-02 | 2000-12-26 | At&T Corporation | Echo detection, tracking, cancellation and noise fill in real time in a communication system |
SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
KR100871999B1 (ko) * | 2001-05-08 | 2008-12-05 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 코딩 |
US7447631B2 (en) | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
CA2454296A1 (en) * | 2003-12-29 | 2005-06-29 | Nokia Corporation | Method and device for speech enhancement in the presence of background noise |
CA2457988A1 (en) * | 2004-02-18 | 2005-08-18 | Voiceage Corporation | Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization |
AU2006208529B2 (en) * | 2005-01-31 | 2010-10-28 | Microsoft Technology Licensing, Llc | Method for weighted overlap-add |
KR100707186B1 (ko) * | 2005-03-24 | 2007-04-13 | 삼성전자주식회사 | 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체 |
US8332216B2 (en) * | 2006-01-12 | 2012-12-11 | Stmicroelectronics Asia Pacific Pte., Ltd. | System and method for low power stereo perceptual audio coding using adaptive masking threshold |
US7953595B2 (en) | 2006-10-18 | 2011-05-31 | Polycom, Inc. | Dual-transform coding of audio signals |
KR101291672B1 (ko) * | 2007-03-07 | 2013-08-01 | 삼성전자주식회사 | 노이즈 신호 부호화 및 복호화 장치 및 방법 |
CN101303855B (zh) * | 2007-05-11 | 2011-06-22 | 华为技术有限公司 | 一种舒适噪声参数产生方法和装置 |
US9653088B2 (en) | 2007-06-13 | 2017-05-16 | Qualcomm Incorporated | Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding |
ES2858423T3 (es) * | 2007-08-27 | 2021-09-30 | Ericsson Telefon Ab L M | Método y dispositivo para el llenado de huecos espectrales |
US9269372B2 (en) * | 2007-08-27 | 2016-02-23 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive transition frequency between noise fill and bandwidth extension |
US8527265B2 (en) * | 2007-10-22 | 2013-09-03 | Qualcomm Incorporated | Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs |
BRPI0818927A2 (pt) * | 2007-11-02 | 2015-06-16 | Huawei Tech Co Ltd | Método e aparelho para a decodificação de áudio |
ATE518224T1 (de) * | 2008-01-04 | 2011-08-15 | Dolby Int Ab | Audiokodierer und -dekodierer |
CN101335000B (zh) * | 2008-03-26 | 2010-04-21 | 华为技术有限公司 | 编码的方法及装置 |
KR101400535B1 (ko) * | 2008-07-11 | 2014-05-28 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 시간 워프 활성 신호의 제공 및 이를 이용한 오디오 신호의 인코딩 |
WO2010003563A1 (en) | 2008-07-11 | 2010-01-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder for encoding and decoding audio samples |
BR122021003726B1 (pt) * | 2008-07-11 | 2021-11-09 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio. |
WO2010040522A2 (en) | 2008-10-08 | 2010-04-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. | Multi-resolution switched audio encoding/decoding scheme |
ES2441069T3 (es) | 2009-10-08 | 2014-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decodificador multimodo para señal de audio, codificador multimodo para señal de audio, procedimiento y programa de computación que usan un modelado de ruido en base a linealidad-predicción-codificación |
EP2489041B1 (en) * | 2009-10-15 | 2020-05-20 | VoiceAge Corporation | Simultaneous time-domain and frequency-domain noise shaping for tdac transforms |
MX2012004648A (es) * | 2009-10-20 | 2012-05-29 | Fraunhofer Ges Forschung | Codificacion de señal de audio, decodificador de señal de audio, metodo para codificar o decodificar una señal de audio utilizando una cancelacion del tipo aliasing. |
CN102063905A (zh) * | 2009-11-13 | 2011-05-18 | 数维科技(北京)有限公司 | 一种用于音频解码的盲噪声填充方法及其装置 |
CN102194457B (zh) * | 2010-03-02 | 2013-02-27 | 中兴通讯股份有限公司 | 音频编解码方法、系统及噪声水平估计方法 |
US8924222B2 (en) * | 2010-07-30 | 2014-12-30 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coding of harmonic signals |
US9208792B2 (en) * | 2010-08-17 | 2015-12-08 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for noise injection |
JP5612698B2 (ja) * | 2010-10-05 | 2014-10-22 | 日本電信電話株式会社 | 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 |
MX2013009305A (es) * | 2011-02-14 | 2013-10-03 | Fraunhofer Ges Forschung | Generacion de ruido en codecs de audio. |
DK2975611T3 (en) * | 2011-03-10 | 2018-04-03 | Ericsson Telefon Ab L M | FILLING OF UNCODED SUBVECTORS IN TRANSFORM CODED AUDIO SIGNALS |
TWI576829B (zh) * | 2011-05-13 | 2017-04-01 | 三星電子股份有限公司 | 位元配置裝置 |
DE102011106033A1 (de) * | 2011-06-30 | 2013-01-03 | Zte Corporation | Verfahren und System zur Audiocodierung und -decodierung und Verfahren zur Schätzung des Rauschpegels |
AU2012276367B2 (en) * | 2011-06-30 | 2016-02-04 | Samsung Electronics Co., Ltd. | Apparatus and method for generating bandwidth extension signal |
CN102208188B (zh) * | 2011-07-13 | 2013-04-17 | 华为技术有限公司 | 音频信号编解码方法和设备 |
RU2631988C2 (ru) | 2013-01-29 | 2017-09-29 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Заполнение шумом при аудиокодировании с перцепционным преобразованием |
-
2014
- 2014-01-28 RU RU2015136502A patent/RU2631988C2/ru active
- 2014-01-28 CN CN201480006656.2A patent/CN105190749B/zh active Active
- 2014-01-28 KR KR1020157022497A patent/KR101897092B1/ko active IP Right Grant
- 2014-01-28 ES ES14701991T patent/ES2709360T3/es active Active
- 2014-01-28 PL PL18206224T patent/PL3471093T3/pl unknown
- 2014-01-28 EP EP20192419.8A patent/EP3761312A1/en active Pending
- 2014-01-28 RU RU2015136505A patent/RU2660605C2/ru active
- 2014-01-28 KR KR1020177028123A patent/KR101926651B1/ko active IP Right Grant
- 2014-01-28 EP EP18199319.7A patent/EP3451334B1/en active Active
- 2014-01-28 KR KR1020167019945A patent/KR101877906B1/ko active IP Right Grant
- 2014-01-28 ES ES18199319T patent/ES2796485T3/es active Active
- 2014-01-28 CA CA2898024A patent/CA2898024C/en active Active
- 2014-01-28 PL PL18199319T patent/PL3451334T3/pl unknown
- 2014-01-28 MY MYPI2015001882A patent/MY185164A/en unknown
- 2014-01-28 CN CN201910419597.6A patent/CN110197667B/zh active Active
- 2014-01-28 CN CN201480019092.6A patent/CN105264597B/zh active Active
- 2014-01-28 EP EP20164371.5A patent/EP3693962A1/en active Pending
- 2014-01-28 AU AU2014211543A patent/AU2014211543B2/en active Active
- 2014-01-28 CN CN201910419610.8A patent/CN110189760B/zh active Active
- 2014-01-28 BR BR112015017748-4A patent/BR112015017748B1/pt active IP Right Grant
- 2014-01-28 PT PT14701991T patent/PT2951818T/pt unknown
- 2014-01-28 CA CA2898029A patent/CA2898029C/en active Active
- 2014-01-28 CN CN201910420349.3A patent/CN110223704B/zh active Active
- 2014-01-28 SG SG11201505893TA patent/SG11201505893TA/en unknown
- 2014-01-28 JP JP2015555679A patent/JP6289508B2/ja active Active
- 2014-01-28 PL PL14701991T patent/PL2951818T3/pl unknown
- 2014-01-28 EP EP14701753.7A patent/EP2951817B1/en active Active
- 2014-01-28 EP EP18206224.0A patent/EP3471093B1/en active Active
- 2014-01-28 KR KR1020157022827A patent/KR101757347B1/ko active IP Right Grant
- 2014-01-28 WO PCT/EP2014/051630 patent/WO2014118175A1/en active Application Filing
- 2014-01-28 TR TR2019/02394T patent/TR201902394T4/tr unknown
- 2014-01-28 SG SG11201505915YA patent/SG11201505915YA/en unknown
- 2014-01-28 WO PCT/EP2014/051631 patent/WO2014118176A1/en active Application Filing
- 2014-01-28 MY MYPI2015001884A patent/MY172238A/en unknown
- 2014-01-28 PT PT14701753T patent/PT2951817T/pt unknown
- 2014-01-28 AU AU2014211544A patent/AU2014211544B2/en active Active
- 2014-01-28 ES ES18206224T patent/ES2834929T3/es active Active
- 2014-01-28 BR BR112015017633-0A patent/BR112015017633B1/pt active IP Right Grant
- 2014-01-28 PL PL14701753T patent/PL2951817T3/pl unknown
- 2014-01-28 PT PT182062240T patent/PT3471093T/pt unknown
- 2014-01-28 KR KR1020167019944A patent/KR101778217B1/ko active IP Right Grant
- 2014-01-28 PT PT181993197T patent/PT3451334T/pt unknown
- 2014-01-28 EP EP14701991.3A patent/EP2951818B1/en active Active
- 2014-01-28 MX MX2015009600A patent/MX345160B/es active IP Right Grant
- 2014-01-28 TR TR2019/02849T patent/TR201902849T4/tr unknown
- 2014-01-28 MX MX2015009601A patent/MX343572B/es active IP Right Grant
- 2014-01-28 KR KR1020167019946A patent/KR101778220B1/ko active IP Right Grant
- 2014-01-28 JP JP2015555680A patent/JP6158352B2/ja active Active
- 2014-01-28 ES ES14701753T patent/ES2714289T3/es active Active
- 2014-01-29 AR ARP140100294A patent/AR094678A1/es active IP Right Grant
- 2014-01-29 TW TW103103519A patent/TWI529700B/zh active
- 2014-01-29 TW TW103103524A patent/TWI536367B/zh active
- 2014-01-29 AR ARP140100295A patent/AR094679A1/es active IP Right Grant
-
2015
- 2015-07-28 US US14/811,748 patent/US9524724B2/en active Active
- 2015-07-29 US US14/812,354 patent/US9792920B2/en active Active
- 2015-08-27 ZA ZA2015/06266A patent/ZA201506266B/en unknown
- 2015-08-27 ZA ZA2015/06269A patent/ZA201506269B/en unknown
-
2016
- 2016-06-03 HK HK16106324.6A patent/HK1218345A1/zh unknown
- 2016-06-03 HK HK16106322.8A patent/HK1218344A1/zh unknown
-
2017
- 2017-09-07 US US15/698,442 patent/US10410642B2/en active Active
-
2019
- 2019-07-26 US US16/523,588 patent/US11031022B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6289508B2 (ja) | ノイズフィリング概念 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20150928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6289508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |