JP6239007B2 - オーディオエンコーダ、オーディオデコーダ、符号化されたオーディオ情報を生成する方法、復号されたオーディオ情報を生成する方法、コンピュータプログラム及び信号適応帯域幅拡張を用いる符号化表現 - Google Patents
オーディオエンコーダ、オーディオデコーダ、符号化されたオーディオ情報を生成する方法、復号されたオーディオ情報を生成する方法、コンピュータプログラム及び信号適応帯域幅拡張を用いる符号化表現 Download PDFInfo
- Publication number
- JP6239007B2 JP6239007B2 JP2015555682A JP2015555682A JP6239007B2 JP 6239007 B2 JP6239007 B2 JP 6239007B2 JP 2015555682 A JP2015555682 A JP 2015555682A JP 2015555682 A JP2015555682 A JP 2015555682A JP 6239007 B2 JP6239007 B2 JP 6239007B2
- Authority
- JP
- Japan
- Prior art keywords
- bandwidth extension
- information
- audio
- audio information
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 81
- 238000004590 computer program Methods 0.000 title claims description 18
- 230000003044 adaptive effect Effects 0.000 title description 4
- 230000003595 spectral effect Effects 0.000 claims description 104
- 230000002123 temporal effect Effects 0.000 claims description 23
- 238000001228 spectrum Methods 0.000 claims description 22
- 238000009527 percussion Methods 0.000 claims description 12
- 230000011664 signaling Effects 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 description 26
- 238000013139 quantization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000001965 increasing effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
入力されたオーディオの高周波数コンテンツ(例えば、高周波数部分)が低周波数オーディオ(例えば、オーディオコンテンツの低周波数部分)からさほど良く復元され得ない場合にのみ、誘導式の帯域幅拡張を用い、即ち、20ミリ秒当たり(例えば、オーディオフレーム当たり)数ビットのサイド情報を伝送し、
ブラインド帯域幅拡張、即ち、スペクトル重心、エネルギー、傾斜、符号化されたフィルタ係数、その他等の低周波数コアの特徴(例えば、復元された低周波数部分の特徴)からの高周波数成分の(例えば、高周波数部分の)古典的な復元、を用い、
サイド情報のベクトル量子化の代わりにスカラを利用することにより、かつフーリエ変換及び自己相関及び/又はフィルタ計算等の大量のデータポイントが関与する演算を回避することによって、極めて低い計算複雑性を示し、
音楽だけでなくあらゆるタイプの音声でうまく機能するように、入力される信号特性に対して強固であり、即ち、静かな環境における成人音声等の特定の入力信号に対して最適化されたものではない。
Claims (37)
- 入力されたオーディオ情報(110;210)に基づいて、符号化されたオーディオ情報(112;212)を生成するためのオーディオエンコーダ(100;200)であって、
低周波数部分の符号化表現(122;222)を得るために、前記入力されたオーディオ情報の低周波数部分を符号化するように構成された低周波数エンコーダ(120;220)と、
前記入力されたオーディオ情報に基づいて帯域幅拡張情報(132;232)を生成するように構成された帯域幅拡張情報プロバイダ(130;230)と、を備え、
該オーディオエンコーダは、帯域幅拡張情報を、選択的に、前記符号化されたオーディオ情報へ信号に適応して包含するように構成されており、
該オーディオエンコーダは、前記入力されたオーディオ情報の部分のうち帯域幅拡張パラメータが前記低周波数部分に基づいては十分な又は所望される精度で推定され得ない部分を識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の部分のうち前記検出器によって識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するように構成されているオーディオエンコーダ(100;200)。 - 該オーディオエンコーダは、前記入力されたオーディオ情報の部分のうち十分な又は所望される品質で復号され得ない部分を、前記低周波数部分の前記符号化表現に基づいて、かつブラインド帯域幅拡張を用いて識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の部分のうち前記検出器によって識別された部分に関して、帯域幅拡張情報を選択的に前記符号化されたオーディオ情報へ包含するように構成されている請求項1に記載のオーディオエンコーダ(100;200)。 - 該オーディオエンコーダは、前記入力されたオーディオ情報の部分を、前記部分が時間的な静止部分であるかどうかに依存して、かつ前記部分が低域通過特性を有するかどうかに依存して識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の部分のうち前記検出器によって低域通過特性を有する時間的な静止部分として識別された部分に関して、帯域幅拡張情報を前記符号化されたオーディオ情報へ包含することを選択的に省略するように構成されている請求項1又は2に記載のオーディオエンコーダ(100;200)。 - 前記検出器は、前記入力されたオーディオ情報の部分を、前記部分が発声音声を含むかどうかに依存して、及び/又は前記部分が環境雑音を含むかどうかに依存して、及び/又は前記部分が打楽器使用のない音楽を含むかどうかに依存して識別するように構成されている請求項3に記載のオーディオエンコーダ(100;200)。
- 該オーディオエンコーダは、前記入力されたオーディオ情報の部分を、低周波数部分のスペクトル包絡線と高周波数部分のスペクトル包絡線との差分が予め決められた差分の大きさ以上であるかどうかに依存して識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の前記検出器によって識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するように構成されている請求項1から4のいずれか一項に記載のオーディオエンコーダ(100;200)。 - 前記検出器は、前記部分が無声音を含むかどうかに依存して部分を識別するように構成され、及び/又は、前記検出器は、前記部分が打楽器音を含むかどうかに依存して部分を識別するように構成されている請求項5に記載のオーディオエンコーダ(100;200)。
- 該オーディオエンコーダは、前記入力されたオーディオ情報の部分のスペクトル傾斜を決定するように、かつ前記入力されたオーディオ情報の部分を、前記決定されたスペクトル傾斜が一定又は可変の傾斜しきい値以上であるかどうかに依存して識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の前記検出器によって識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するように構成されている請求項1から6のいずれか一項に記載のオーディオエンコーダ(100;200)。 - 前記検出器は、さらに、前記入力されたオーディオ情報の部分のゼロ交差レートを決定し、かつ前記入力されたオーディオ情報の部分を、前記決定されたゼロ交差レートが一定もしくは可変のゼロ交差レートしきい値以上であるかどうか、又は前記ゼロ交差レートがゼロ交差レートの変化しきい値を超える時間的変化を含むかどうかに依存しても識別するように構成されている請求項7に記載のオーディオエンコーダ(100;200)。
- 前記検出器(240)は、識別される信号部分と識別されない信号部分との間の遷移回数を減らすべく、前記入力されたオーディオ情報の信号部分を識別するためにヒステリシスを適用するように構成されている請求項2から8のいずれか一項に記載のオーディオエンコーダ(100;200)。
- 該オーディオエンコーダは、前記入力されたオーディオ情報の高周波数部分のスペクトル包絡線を表すパラメータを前記符号化されたオーディオ情報へ信号に適応して前記帯域幅拡張情報として選択的に包含するように構成されている請求項1から9のいずれか一項に記載のオーディオエンコーダ(100;200)。
- 前記低周波数エンコーダは、6kHzから7kHzまでの範囲内に存在する最大周波数までの周波数を含む前記入力されたオーディオ情報の低周波数部分を符号化するように構成され、かつ、
該オーディオエンコーダは、前記符号化されたオーディオ表現へ、300Hzから500Hzまでの間の帯域幅を有する高周波数信号部分の強度を記述する3つから5つまでの間のパラメータを選択的に包含するように構成されている請求項1から10のいずれか一項に記載のオーディオエンコーダ(100;200)。 - 該オーディオエンコーダは、前記符号化されたオーディオ表現へ、4つの高周波数信号部分の強度を記述する4つのスカラ量子化されたパラメータを選択的に包含するように構成され、前記高周波数信号部分は、前記低周波数部分より上の周波数範囲を網羅している請求項11に記載のオーディオエンコーダ(100;200)。
- 該オーディオエンコーダは、前記符号化されたオーディオ表現へ、スペクトル的に隣接する周波数部分の間のエネルギー又は強度の関係を記述する複数のパラメータを選択的に包含するように構成され、前記パラメータのうちの1つは、第1の帯域幅拡張の高周波数部分と低周波数部分との間のエネルギーもしくは強度の割合、又は差分を記述し、かつ前記パラメータのうちの他のパラメータは、他の帯域幅拡張高周波数部分の間のエネルギーもしくは強度の割合、又は差分を記述する請求項11又は12に記載のオーディオエンコーダ(100;200)。
- 符号化されたオーディオ情報(410;510)に基づいて、復号されたオーディオ情報(412;512)を生成するためのオーディオデコーダ(400;500)であって、
低周波数部分の復号表現(422;522)を得るために、前記低周波数部分の符号化表現を復号するように構成された低周波数デコーダ(420;520)と、
オーディオコンテンツの部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報に包含されていない部分に関してはブラインド帯域幅拡張を用いて帯域幅拡張信号(432;532)を得るように、かつオーディオコンテンツの部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報に包含されている部分に関してはパラメータ誘導の帯域幅拡張を用いて前記帯域幅拡張信号を得るように構成された帯域幅拡張(430;530)と、を備えており、
該オーディオデコーダは、ブラインド帯域幅拡張を用いるか又はパラメータ誘導の帯域幅拡張を用いるかを、帯域幅拡張モードを信号伝達するフラグを評価することなく、前記低周波数部分の前記符号化表現に基づいて決定するように構成されているオーディオデコーダ(400;500)。 - 該オーディオデコーダは、フレーム毎に、前記帯域幅拡張信号を、ブラインド帯域幅拡張を用いて得るか又はパラメータ誘導の帯域幅拡張を用いて得るかを決定するように構成されている請求項14に記載のオーディオデコーダ(400;500)。
- 該オーディオデコーダは、連続したオーディオコンテンツ片内でブラインド帯域幅拡張の使用とパラメータ誘導帯域幅拡張の使用とを切り替えるように構成されている請求項14又は15に記載のオーディオデコーダ(400;500)。
- 該オーディオデコーダは、前記オーディオコンテンツの異なる部分について、前記符号化されたオーディオ情報に含まれるフラグを評価し、ブラインド帯域幅拡張を用いるか又はパラメータ誘導の帯域幅拡張を用いるかを決定するように構成されている請求項14から16のいずれか一項に記載のオーディオデコーダ(400;500)。
- 該オーディオデコーダは、ブラインド帯域幅拡張を用いるか又はパラメータ誘導の帯域幅拡張を用いるかを、前記低周波数部分の前記復号表現の1つ以上の特徴に基づいて決定するように構成されている請求項14から17のいずれか一項に記載のオーディオデコーダ(400;500)。
- 該オーディオデコーダは、ブラインド帯域幅拡張を用いるか又はパラメータ誘導の帯域幅拡張を用いるかを、線形予測係数に基づいて、及び/又は前記低周波数部分の前記復号表現の時間領域統計に基づいて決定するように構成されている請求項14から18のいずれか一項に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、前記帯域幅拡張信号を、前記低周波数部分の前記復号表現の1つ以上の特徴を用いて、及び/又は入力されたオーディオコンテンツの時間的部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報へ包含されない時間的部分に関する前記低周波数デコーダの1つ以上のパラメータを用いて得るように構成されている請求項14から19のいずれか一項に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、前記帯域幅拡張信号を、前記入力されたオーディオコンテンツの時間的部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報へ包含されない時間的部分に関する、スペクトル重心情報を用いて、及び/又はエネルギー情報を用いて、及び/又は傾斜情報を用いて、及び/又はフィルタ係数を用いて得るように構成されている請求項20に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、前記帯域幅拡張信号を、入力されたオーディオコンテンツの時間的部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報へ包含されない時間的部分に関する、スペクトル重心情報を用いて、及び/又はエネルギー情報を用いて、及び/又は傾斜情報を用いて、及び/又はフィルタ係数を用いて得るように構成されている請求項14から19のいずれか一項に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、前記帯域幅拡張信号を、前記オーディオコンテンツの時間的部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報へ包含される時間的部分に関する高周波数部分のスペクトル包絡線を記述するビットストリームパラメータを用いて得るように構成されている請求項14から22のいずれか一項に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、前記帯域幅拡張信号を得るために、300Hzから500Hzまでの間の帯域幅を有する高周波数信号部分の強度を記述する3つから5つまでの間のビットストリームパラメータを評価するように構成されている請求項23に記載のオーディオデコーダ(400;500)。
- 高周波数信号部分の強度を記述する前記3つから5つまでの間のビットストリームパラメータは、オーディオフレーム当たり6ビットから15ビットまでの間の帯域幅拡張スペクトル成形パラメータが存在するように、2又は3ビットの分解能でスカラ量子化される請求項24に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、ブラインド帯域幅拡張からパラメータ誘導の帯域幅拡張へ切り替える場合、及び/又はパラメータ誘導の帯域幅拡張からブラインド帯域幅拡張へ切り替える場合に、前記帯域幅拡張信号のエネルギーの平滑化を実行するように構成されている請求項14から25のいずれか一項に記載のオーディオデコーダ(400;500)。
- 前記帯域幅拡張は、オーディオコンテンツの部分のうち、ブラインド帯域幅拡張が適用される部分に続いてパラメータ誘導の帯域幅拡張が適用される部分に対して、前記帯域幅拡張信号の高周波数部分を減衰させるように構成され、かつ、
前記帯域幅拡張は、オーディオコンテンツの部分のうち、パラメータ誘導の帯域幅拡張が適用される部分に続いてブラインド帯域幅拡張が適用される部分に対して、前記帯域幅拡張信号の高周波数部分の減衰を減らすか又はレベルを上げるように構成されている請求項26に記載のオーディオデコーダ(400;500)。 - 入力されたオーディオ情報に基づいて符号化されたオーディオ情報を生成するための方法(600)であって、
低周波数部分の符号化表現を得るために前記入力されたオーディオ情報の前記低周波数部分を符号化するステップ(610)と、
前記入力されたオーディオ情報に基づいて帯域幅拡張情報を生成するステップ(620)と、を含み、
帯域幅拡張情報は、選択的に、前記符号化されたオーディオ情報へ信号に適応して包含され、
該方法は、前記入力されたオーディオ情報の部分のうち帯域幅拡張パラメータが前記低周波数部分に基づいては十分な又は所望される精度で推定され得ない部分を識別するステップを含み、かつ、
該方法は、前記入力されたオーディオ情報の識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するステップを含んでいる方法(600)。 - 符号化されたオーディオ情報に基づいて復号されたオーディオ情報を生成するための方法(700)であって、
低周波数部分の復号表現を得るために前記低周波数部分の符号化表現を復号するステップ(710)と、
オーディオコンテンツの部分のうち帯域幅拡張パラメータが前記符号化されたオーディオ情報へ包含されていない部分に関してブラインド帯域幅拡張を用いて帯域幅拡張信号を得るステップ(720)と、
前記オーディオコンテンツの部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報に包含されている部分に関して、パラメータ誘導の帯域幅拡張を用いて前記帯域幅拡張信号を入手するステップ(730)と、を含み、
該方法は、ブラインド帯域幅拡張を用いるか又はパラメータ誘導の帯域幅拡張を用いるかを、帯域幅拡張モードを信号伝達するフラグを評価することなく、前記低周波数部分の前記符号化表現に基づいて決定するステップを含んでいる方法(700)。 - コンピュータプログラムがコンピュータ上で実行されると、請求項28又は29に記載の方法を実行するためのコンピュータプログラム。
- 入力されたオーディオ情報(110;210)に基づいて、符号化されたオーディオ情報(112;212)を生成するためのオーディオエンコーダ(100;200)であって、
低周波数部分の符号化表現(122;222)を得るために、前記入力されたオーディオ情報の低周波数部分を符号化するように構成された低周波数エンコーダ(120;220)と、
前記入力されたオーディオ情報に基づいて帯域幅拡張情報(132;232)を生成するように構成された帯域幅拡張情報プロバイダ(130;230)と、を備え、
該オーディオエンコーダは、帯域幅拡張情報を、選択的に、前記符号化されたオーディオ情報へ信号に適応して包含するように構成されており、
該オーディオエンコーダは、前記入力されたオーディオ情報の部分を、低周波数部分のスペクトル包絡線と高周波数部分のスペクトル包絡線との差分が予め決められた差分の大きさ以上であるかどうかに依存して識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の前記検出器によって識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するように構成されているオーディオエンコーダ(100;200)。 - 入力されたオーディオ情報(110;210)に基づいて、符号化されたオーディオ情報(112;212)を生成するためのオーディオエンコーダ(100;200)であって、
低周波数部分の符号化表現(122;222)を得るために、前記入力されたオーディオ情報の低周波数部分を符号化するように構成された低周波数エンコーダ(120;220)と、
前記入力されたオーディオ情報に基づいて帯域幅拡張情報(132;232)を生成するように構成された帯域幅拡張情報プロバイダ(130;230)と、を備え、
該オーディオエンコーダは、帯域幅拡張情報を、選択的に、前記符号化されたオーディオ情報へ信号に適応して包含するように構成されており、
該オーディオエンコーダは、前記入力されたオーディオ情報の部分のスペクトル傾斜を決定するように、かつ前記入力されたオーディオ情報の部分を、前記決定されたスペクトル傾斜が一定又は可変の傾斜しきい値以上であるかどうかに依存して識別するように構成された検出器(240)を備え、かつ、
該オーディオエンコーダは、前記入力されたオーディオ情報の前記検出器によって識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するように構成されているオーディオエンコーダ(100;200)。 - 符号化されたオーディオ情報(410;510)に基づいて、復号されたオーディオ情報(412;512)を生成するためのオーディオデコーダ(400;500)であって、
低周波数部分の復号表現(422;522)を得るために、前記低周波数部分の符号化表現を復号するように構成された低周波数デコーダ(420;520)と、
オーディオコンテンツの部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報に包含されていない部分に関してはブラインド帯域幅拡張を用いて帯域幅拡張信号(432;532)を得るように、かつオーディオコンテンツの部分のうち帯域幅拡張情報が前記符号化されたオーディオ情報に包含されている部分に関してはパラメータ誘導の帯域幅拡張を用いて前記帯域幅拡張信号を得るように構成された帯域幅拡張(430;530)と、を備えており、
前記帯域幅拡張は、ブラインド帯域幅拡張からパラメータ誘導の帯域幅拡張へ切り替える場合、及び/又はパラメータ誘導の帯域幅拡張からブラインド帯域幅拡張へ切り替える場合に、前記帯域幅拡張信号のエネルギーの平滑化を実行するように構成されており、
前記帯域幅拡張は、オーディオコンテンツの部分のうち、ブラインド帯域幅拡張が適用される部分に続いてパラメータ誘導の帯域幅拡張が適用される部分に対して、前記帯域幅拡張信号の高周波数部分を減衰させるように構成され、かつ、
前記帯域幅拡張は、オーディオコンテンツの部分のうち、パラメータ誘導の帯域幅拡張が適用される部分に続いてブラインド帯域幅拡張が適用される部分に対して、前記帯域幅拡張信号の高周波数部分の減衰を減らすか又はレベルを上げるように構成されているオーディオデコーダ(400;500)。 - 入力されたオーディオ情報に基づいて符号化されたオーディオ情報を生成するための方法(600)であって、
低周波数部分の符号化表現を得るために前記入力されたオーディオ情報の前記低周波数部分を符号化するステップ(610)と、
前記入力されたオーディオ情報に基づいて帯域幅拡張情報を生成するステップ(620)と、を含み、
帯域幅拡張情報は、選択的に、前記符号化されたオーディオ情報へ信号に適応して包含され、
該方法は、前記入力されたオーディオ情報の部分を、低周波数部分のスペクトル包絡線と高周波数部分のスペクトル包絡線との差分が予め決められた差分の大きさ以上であるかどうかに依存して識別するステップを含み、かつ、
該方法は、前記入力されたオーディオ情報の識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するステップを含んでいる方法(600)。 - 入力されたオーディオ情報に基づいて符号化されたオーディオ情報を生成するための方法(600)であって、
低周波数部分の符号化表現を得るために前記入力されたオーディオ情報の前記低周波数部分を符号化するステップ(610)と、
前記入力されたオーディオ情報に基づいて帯域幅拡張情報を生成するステップ(620)と、を含み、
帯域幅拡張情報は、選択的に、前記符号化されたオーディオ情報へ信号に適応して包含され、
該方法は、前記入力されたオーディオ情報の部分のスペクトル傾斜を決定するステップ、及び前記入力されたオーディオ情報の部分を、前記決定されたスペクトル傾斜が一定又は可変の傾斜しきい値以上であるかどうかに依存して識別するステップを含み、かつ、
該方法は、前記入力されたオーディオ情報の識別された部分に関して、帯域幅拡張情報を選択的に、前記符号化されたオーディオ情報へ包含するステップを含んでいる方法(600)。 - 符号化されたオーディオ情報に基づいて復号されたオーディオ情報を生成するための方法(700)であって、
低周波数部分の復号表現を得るために前記低周波数部分の符号化表現を復号するステップ(710)と、
オーディオコンテンツの部分のうち帯域幅拡張パラメータが前記符号化されたオーディオ情報へ包含されていない部分に関してブラインド帯域幅拡張を用いて帯域幅拡張信号を得るステップ(720)と、
前記オーディオコンテンツの部分のうち帯域幅拡張パラメータが前記符号化されたオーディオ情報に包含されている部分に関して、パラメータ誘導の帯域幅拡張を用いて前記帯域幅拡張信号を入手するステップ(730)と、を含み、
該方法は、ブラインド帯域幅拡張からパラメータ誘導の帯域幅拡張へ切り替える場合、及び/又はパラメータ誘導の帯域幅拡張からブラインド帯域幅拡張へ切り替える場合に、前記帯域幅拡張信号のエネルギーの平滑化を実行するステップを含んでおり、
該方法は、オーディオコンテンツの部分のうち、ブラインド帯域幅拡張が適用される部分に続いてパラメータ誘導の帯域幅拡張が適用される部分に対して、前記帯域幅拡張信号の高周波数部分を減衰させるステップを含んでおり、かつ、
該方法は、オーディオコンテンツの部分のうち、パラメータ誘導の帯域幅拡張が適用される部分に続いてブラインド帯域幅拡張が適用される部分に対して、前記帯域幅拡張信号の高周波数部分の減衰を減らすか又はレベルを上げるステップを含んでいる方法(700)。 - コンピュータプログラムがコンピュータ上で実行されると、請求項34、35又は36に記載の方法を実行するためのコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361758205P | 2013-01-29 | 2013-01-29 | |
US61/758,205 | 2013-01-29 | ||
PCT/EP2014/051641 WO2014118185A1 (en) | 2013-01-29 | 2014-01-28 | Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016509257A JP2016509257A (ja) | 2016-03-24 |
JP6239007B2 true JP6239007B2 (ja) | 2017-11-29 |
Family
ID=50029037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015555682A Active JP6239007B2 (ja) | 2013-01-29 | 2014-01-28 | オーディオエンコーダ、オーディオデコーダ、符号化されたオーディオ情報を生成する方法、復号されたオーディオ情報を生成する方法、コンピュータプログラム及び信号適応帯域幅拡張を用いる符号化表現 |
Country Status (20)
Country | Link |
---|---|
US (1) | US9646624B2 (ja) |
EP (4) | EP2951822B1 (ja) |
JP (1) | JP6239007B2 (ja) |
KR (1) | KR101771828B1 (ja) |
CN (2) | CN105264599B (ja) |
AR (2) | AR094681A1 (ja) |
AU (1) | AU2014211479B2 (ja) |
BR (1) | BR112015017753B1 (ja) |
CA (4) | CA2898637C (ja) |
ES (4) | ES2768179T3 (ja) |
HK (1) | HK1218179A1 (ja) |
MX (1) | MX347062B (ja) |
MY (1) | MY185176A (ja) |
PL (4) | PL3070713T3 (ja) |
PT (3) | PT3070713T (ja) |
RU (1) | RU2641461C2 (ja) |
SG (1) | SG11201505912QA (ja) |
TW (1) | TWI533288B (ja) |
WO (1) | WO2014118185A1 (ja) |
ZA (1) | ZA201506312B (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9886959B2 (en) * | 2005-02-11 | 2018-02-06 | Open Invention Network Llc | Method and system for low bit rate voice encoding and decoding applicable for any reduced bandwidth requirements including wireless |
KR101261677B1 (ko) * | 2008-07-14 | 2013-05-06 | 광운대학교 산학협력단 | 음성/음악 통합 신호의 부호화/복호화 장치 |
WO2014118156A1 (en) * | 2013-01-29 | 2014-08-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for synthesizing an audio signal, decoder, encoder, system and computer program |
EP2830061A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
WO2016142002A1 (en) | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal |
TWI693594B (zh) | 2015-03-13 | 2020-05-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
US10049684B2 (en) * | 2015-04-05 | 2018-08-14 | Qualcomm Incorporated | Audio bandwidth selection |
CN106294331B (zh) | 2015-05-11 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 音频信息检索方法及装置 |
EP3288031A1 (en) * | 2016-08-23 | 2018-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding an audio signal using a compensation value |
GB201620317D0 (en) * | 2016-11-30 | 2017-01-11 | Microsoft Technology Licensing Llc | Audio signal processing |
TWI807562B (zh) | 2017-03-23 | 2023-07-01 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
EP3382703A1 (en) * | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and methods for processing an audio signal |
US10650806B2 (en) * | 2018-04-23 | 2020-05-12 | Cerence Operating Company | System and method for discriminative training of regression deep neural networks |
EP3576088A1 (en) | 2018-05-30 | 2019-12-04 | Fraunhofer Gesellschaft zur Förderung der Angewand | Audio similarity evaluator, audio encoder, methods and computer program |
US11570849B2 (en) * | 2018-12-06 | 2023-01-31 | Schneider Electric Systems Usa, Inc. | Wireless instrument area network node with internal force sensor |
WO2020253941A1 (en) * | 2019-06-17 | 2020-12-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder with a signal-dependent number and precision control, audio decoder, and related methods and computer programs |
KR20210003507A (ko) * | 2019-07-02 | 2021-01-12 | 한국전자통신연구원 | 오디오 코딩을 위한 잔차 신호 처리 방법 및 오디오 처리 장치 |
WO2021261235A1 (ja) * | 2020-06-22 | 2021-12-30 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
CN112019282B (zh) * | 2020-08-13 | 2022-10-28 | 西安烽火电子科技有限责任公司 | 一种短波时变信道衰落带宽估计方法 |
CN112669860B (zh) * | 2020-12-29 | 2022-12-09 | 北京百瑞互联技术有限公司 | 一种增加lc3音频编解码有效带宽的方法及装置 |
CN113035211B (zh) * | 2021-03-11 | 2021-11-16 | 马上消费金融股份有限公司 | 音频压缩方法、音频解压缩方法及装置 |
WO2024080597A1 (ko) * | 2022-10-12 | 2024-04-18 | 삼성전자주식회사 | 오디오 비트스트림을 적응적으로 처리하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8901032A (nl) | 1988-11-10 | 1990-06-01 | Philips Nv | Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting. |
JPH0758629B2 (ja) * | 1989-08-24 | 1995-06-21 | 矢崎総業株式会社 | 端子係止具付コネクタ |
US5455888A (en) * | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
US6226616B1 (en) * | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
EP1423847B1 (en) * | 2001-11-29 | 2005-02-02 | Coding Technologies AB | Reconstruction of high frequency components |
KR101271069B1 (ko) * | 2005-03-30 | 2013-06-04 | 돌비 인터네셔널 에이비 | 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법 |
JP5129117B2 (ja) * | 2005-04-01 | 2013-01-23 | クゥアルコム・インコーポレイテッド | 音声信号の高帯域部分を符号化及び復号する方法及び装置 |
WO2006116025A1 (en) | 2005-04-22 | 2006-11-02 | Qualcomm Incorporated | Systems, methods, and apparatus for gain factor smoothing |
US7610197B2 (en) * | 2005-08-31 | 2009-10-27 | Motorola, Inc. | Method and apparatus for comfort noise generation in speech communication systems |
US7953605B2 (en) | 2005-10-07 | 2011-05-31 | Deepen Sinha | Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension |
US7835904B2 (en) * | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
KR20070115637A (ko) * | 2006-06-03 | 2007-12-06 | 삼성전자주식회사 | 대역폭 확장 부호화 및 복호화 방법 및 장치 |
US8260609B2 (en) * | 2006-07-31 | 2012-09-04 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of inactive frames |
JP5266341B2 (ja) * | 2008-03-03 | 2013-08-21 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
CN102089814B (zh) * | 2008-07-11 | 2012-11-21 | 弗劳恩霍夫应用研究促进协会 | 对编码的音频信号进行解码的设备和方法 |
PL4231290T3 (pl) * | 2008-12-15 | 2024-04-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy |
EP2239732A1 (en) | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
CN101521014B (zh) * | 2009-04-08 | 2011-09-14 | 武汉大学 | 音频带宽扩展编解码装置 |
ES2400661T3 (es) * | 2009-06-29 | 2013-04-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificación y decodificación de extensión de ancho de banda |
EP2502231B1 (en) * | 2009-11-19 | 2014-06-04 | Telefonaktiebolaget L M Ericsson (PUBL) | Bandwidth extension of a low band audio signal |
US8600737B2 (en) * | 2010-06-01 | 2013-12-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for wideband speech coding |
JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
PL2676264T3 (pl) * | 2011-02-14 | 2015-06-30 | Fraunhofer Ges Forschung | Koder audio estymujący szum tła podczas faz aktywnych |
CN102543086B (zh) * | 2011-12-16 | 2013-08-14 | 大连理工大学 | 一种基于音频水印的语音带宽扩展的装置和方法 |
-
2014
- 2014-01-28 EP EP14701755.2A patent/EP2951822B1/en active Active
- 2014-01-28 PL PL16162701T patent/PL3070713T3/pl unknown
- 2014-01-28 CA CA2898637A patent/CA2898637C/en active Active
- 2014-01-28 ES ES14701755T patent/ES2768179T3/es active Active
- 2014-01-28 MX MX2015009682A patent/MX347062B/es active IP Right Grant
- 2014-01-28 ES ES16162697.3T patent/ES2659177T3/es active Active
- 2014-01-28 ES ES16162701.3T patent/ES2664185T3/es active Active
- 2014-01-28 EP EP16162697.3A patent/EP3067890B1/en active Active
- 2014-01-28 SG SG11201505912QA patent/SG11201505912QA/en unknown
- 2014-01-28 PT PT161627013T patent/PT3070713T/pt unknown
- 2014-01-28 PT PT147017552T patent/PT2951822T/pt unknown
- 2014-01-28 PT PT161626973T patent/PT3067890T/pt unknown
- 2014-01-28 RU RU2015136792A patent/RU2641461C2/ru active
- 2014-01-28 PL PL14701755T patent/PL2951822T3/pl unknown
- 2014-01-28 WO PCT/EP2014/051641 patent/WO2014118185A1/en active Application Filing
- 2014-01-28 CN CN201480019094.5A patent/CN105264599B/zh active Active
- 2014-01-28 PL PL16162696.5T patent/PL3054446T3/pl unknown
- 2014-01-28 BR BR112015017753-0A patent/BR112015017753B1/pt active IP Right Grant
- 2014-01-28 EP EP16162696.5A patent/EP3054446B1/en active Active
- 2014-01-28 KR KR1020157023559A patent/KR101771828B1/ko active IP Right Grant
- 2014-01-28 ES ES16162696T patent/ES2959240T3/es active Active
- 2014-01-28 CN CN201910313032.XA patent/CN110111801B/zh active Active
- 2014-01-28 CA CA2985115A patent/CA2985115C/en active Active
- 2014-01-28 CA CA2985121A patent/CA2985121C/en active Active
- 2014-01-28 CA CA2985105A patent/CA2985105C/en active Active
- 2014-01-28 MY MYPI2015001890A patent/MY185176A/en unknown
- 2014-01-28 JP JP2015555682A patent/JP6239007B2/ja active Active
- 2014-01-28 AU AU2014211479A patent/AU2014211479B2/en active Active
- 2014-01-28 PL PL16162697T patent/PL3067890T3/pl unknown
- 2014-01-28 EP EP16162701.3A patent/EP3070713B1/en active Active
- 2014-01-29 TW TW103103514A patent/TWI533288B/zh active
- 2014-01-29 AR ARP140100297A patent/AR094681A1/es active IP Right Grant
-
2015
- 2015-07-28 US US14/811,727 patent/US9646624B2/en active Active
- 2015-08-28 ZA ZA2015/06312A patent/ZA201506312B/en unknown
-
2016
- 2016-05-30 HK HK16106087.3A patent/HK1218179A1/zh unknown
-
2019
- 2019-07-22 AR ARP190102058A patent/AR115823A2/es active IP Right Grant
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6239007B2 (ja) | オーディオエンコーダ、オーディオデコーダ、符号化されたオーディオ情報を生成する方法、復号されたオーディオ情報を生成する方法、コンピュータプログラム及び信号適応帯域幅拡張を用いる符号化表現 | |
US10373621B2 (en) | Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal | |
CA2984066C (en) | Audio decoder and method for providing a decoded audio information using an error concealment modifying a time domain excitation signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170106 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6239007 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |