JP6513066B2 - 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法 - Google Patents

周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法 Download PDF

Info

Publication number
JP6513066B2
JP6513066B2 JP2016246647A JP2016246647A JP6513066B2 JP 6513066 B2 JP6513066 B2 JP 6513066B2 JP 2016246647 A JP2016246647 A JP 2016246647A JP 2016246647 A JP2016246647 A JP 2016246647A JP 6513066 B2 JP6513066 B2 JP 6513066B2
Authority
JP
Japan
Prior art keywords
signal
parameter
side information
information
core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016246647A
Other languages
English (en)
Other versions
JP2017083862A (ja
Inventor
フレーデリク ナーゲル、
フレーデリク ナーゲル、
ザシャ ディッシュ、
ザシャ ディッシュ、
アンドレーアス ニーダーマイヤー、
アンドレーアス ニーダーマイヤー、
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー., フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2017083862A publication Critical patent/JP2017083862A/ja
Application granted granted Critical
Publication of JP6513066B2 publication Critical patent/JP6513066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • G10L19/265Pre-filtering, e.g. high frequency emphasis prior to encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本発明は、オーディオ符号化に関し、特に周波数拡張(frequency enhancement)、すなわちデコーダ出力信号が符号化された信号に比べてより多い数の周波数帯域数を有する状況での、オーディオ符号化に関する。このような処理には、帯域幅拡張、スペクトル複製またはインテリジェントギャップフィリング(intelligent gap filling)を含む。
現代の音声符号化システムは、広帯域(WB)デジタルオーディオ成分、すなわち7〜8kHzまでの周波数で6kbit/sの低さのビットレートの信号を符号化することができる。最も広範に取り上げられる例として、ITU−T勧告G.722.2(非特許文献1)、より最近に開発されたものでは、G.718(非特許文献4および10)およびMPEG−Dユニファイドスピーチおよびオーディオ符号化(USAC)(非特許文献8)がある。AMR−WBとしても知られるG.722.2およびG.718はともに、6.4kHzと7kHzの間の帯域幅拡張(BWE)技術を用いて、基礎となるACELPコアコーダを、知覚的により関連があるより低い周波数(特に人の可聴系が位相感応である周波数)に「集中」させることにより、特に、非常に低いビットレートで充分な品質を得られるようにする。USACエクステンデッドHE-ACC(High Efficiency Advanced Audio Coding)(xHE−AAC)プロファイルでは、拡張したスペクトル帯複製(eSBR)は、典型的には、16kbit/sで、6kHzを下回るコアコーダ帯域幅を超えるオーディオ帯域幅を拡張するために使用される。現在の最新技術のBWEプロセスは、一般に、2つの概念的アプローチに分けることができる。
ブラインドまたは人工的BWE(blind or artificial BWE)。高周波数(HF)成分が復号化された低周波数(LF)コアコーダ信号のみから再構成され、すなわちエンコーダから送信されるサイド情報を必要としない。このスキームは、16kbit/s以下で、AMR−WBおよびG.718により、かつ伝統的な狭帯域の電話音声に対して作用するいくつかの後方互換性BWEポストプロセッサにより使用される(非特許文献5、9および12(例:図15))。
誘導BWE(guided BWE)。これは、HF成分再構成のために使用されるパラメータのいくつかが、復号化されたコア信号から推定されるのではなく、サイド情報としてデコーダに送られる点が、ブラインドBWEとは異なる。AMR−WB、G.718、xHE−AACおよび他のいくつかのコーデック(非特許文献2、7および11)は、このアプローチを使用するが、ビットレートはそれほど低くない(図16)。
図15は、非特許文献12に記載されるこのようなブラインドまたは人工的帯域幅拡張を示す。図15に示すスタンドアローンの帯域幅拡張アルゴリズムは、補間手順1500、分析フィルタ1600、励起拡張1700、合成フィルタ1800、特徴抽出手順1510、包絡推定手順1520および統計モデル1530を含む。狭帯域信号の広帯域サンプルレートへの補間後、特徴ベクトルを計算する。その後、事前トレーニングした統計的隠れマルコフモデル(HMM)により、広帯域スペクトル包絡の推定値を、線形予測(LP)係数に関して決定する。これらの広帯域係数は、補間された狭帯域信号の分析フィルタリングのために使用される。得られた励起を拡張した後、逆合成フィルタを適用する。狭帯域を変更しない励起拡張の選択は、狭帯域成分に関して、明白である。
図16は、上記の刊行物に記載されるサイド情報での帯域幅拡張を示し、この帯域幅拡張は、電話帯域通過1620、サイド情報抽出ブロック1610、(ジョイント)エンコーダ1630、デコーダ1640および帯域幅拡張ブロック1650を含む。符号化および帯域幅拡張の組合せによる誤差帯域音声信号の広域拡張のためのこのシステムを図16に示す。送信側端末では、広帯域入力信号の高帯域スペクトル包絡が分析され、サイド情報が決定される。狭帯域音声信号とは別に、または一緒に、得られたメッセージmが符号化される。受信部で、デコーダサイド情報が帯域幅拡張アルゴリズム内で広帯域包絡の推定をサポートするために使用される。メッセージmは、いくつかの手順により得られる。3.4kHzから7kHzの周波数のスペクトル表示を、送信側でのみ入手可能な広帯域信号から抽出する。
このサブバンド包絡は、選択的線形予測、すなわち広帯域パワースペクトルの計算後にその上方帯域成分のIDFTおよび後続の次数8のレヴィンソン‐ダービン再帰法を行うことにより計算される。得られたサブバンドLPC係数は、ケプストラム領域へ変換され、最終的にはベクトル量子化器により、大きさM=2のコードブックで量子化される。これは、20msのフレーム長で、300ビット/sのサイド情報データレートになる。組合せ推定アプローチは、事後確率の計算を拡大し、かつ狭帯域特性への依存を再導入する。したがって、誤差を隠す改善された形が得られ、これはそのパラメータ推定に情報の複数のソースを使用する。
WBコーデックにおける特定の品質のジレンマは、典型的には10kbit/sを下回る低ビットレートで観察できる。一方、このようなレートは、中ぐらいの量のBWEデータでさえ送信を保証するにはすでに低すぎ、1kbit/s以上のサイド情報での典型的な誘導BWEシステムを不可能にする。他方で、実行可能なブラインドBWEは、コア信号から適切なパラメータ予測ができないために、少なくともスピーチや音楽素材のいくつかのタイプに対しては、かなり劣って聞こえることがわかる。これは、HFおよびLF間の相関が低い摩擦音等のいくつかの声帯音について、特に当てはまる。したがって、誘導BWEスキームのサイド情報レートを、非常に低いビットレートの符号化でさえ適応を可能にすると考えられる、1kbit/sをはるかに下回るレベルまで低減することが望ましい。
近年、マニフォルドBWE(manifold BWE)アプローチが開示されている(非特許文献1から10)。一般に、これらのすべてが、ある所与の動作ポイントでは、入力信号のその瞬間の特徴に関係なく、完全にブラインドか完全にガイドされるかのいずれかである。さらに、多くのブラインドBWEシステム(特許文献1、3、4、5、9および10)が、音楽よりもむしろ特に音声信号について最適化されており、音楽については満足の得られない結果を生じさせるかもしれない。BWE実現例の多くは比較的計算が複雑で、フーリエ変換、LPCフィルタ計算またはサイド情報のベクトル量子化を使用する(MPEG−D USACの予測ベクトル符号化(非特許文献8))。このことは、携帯機器の大多数で計算能力およびバッテリ容量が非常に限られていることを考えると、携帯通信市場における新たな符号化技術の適応において欠点になり得る。
小さなサイド情報によりブラインドBWEを拡張するアプローチが非特許文献12に提示され、図16に示される。しかしながら、このサイド情報「m」は、帯域幅拡張した周波数域のスペクトル包絡の送信に限定される。
図16に示す手順の他の問題は、一方で低帯域の特徴を利用し、他方で追加の包絡サイド情報を利用する非常に複雑な包絡線推定のやり方である。両方の入力、すなわち低帯域の特徴および追加の高帯域包絡が統計モデルに影響を与える。これにより、デコーダ側の実現が複雑になり、電力消費が増大するため、携帯機器には特に問題になる。また、追加の高帯域包絡データによってのみ影響を受けるわけではないという事実から、統計モデルの更新がさらに困難になる。
B. Bessette et al., "The Adaptive Multi-rate Wideband Speech Codec (AMR-WB)," IEEE Trans. on Speech and Audio Processing, Vol. 10, No. 8, Nov. 2002 B. Geiser et al., "Bandwidth Extension for Hierarchical Speech and Audio Coding in ITU-T Rec. G.729.1," IEEE Trans. on Audio, Speech, and Language Processing, Vol. 15, No. 8, Nov. 2007 B. Iser, W. Minker, and G. Schmidt, Bandwidth Extension of Speech Signals, Springer Lecture Notes in Electrical Engineering, Vol. 13, New York, 2008 M. Jelinek and R. Salami, "Wideband Speech Coding Advances in VMR-WB Standard," IEEE Trans. on Audio, Speech, and Language Processing, Vol. 15, No. 4, May 2007 I. Katsir, I. Cohen, and D. Malah, "Speech Bandwidth Extension Based on Speech Phonetic Content and Speaker Vocal Tract Shape Estimation," in Proc. EUSIPCO 2011, Barcelona, Spain, Sep. 2011 E. Larsen and R. M. Aarts, Audio Bandwidth Extension: Application of Psychoacoustics, Signal Processing and Loudspeaker Design, Wiley, New York, 2004 J. Maekinen et al., "AMR-WB+: A New Audio Coding Standard for 3rd Generation Mobile Audio Services," in Proc. ICASSP 2005, Philadelphia, USA, Mar. 2005 M. Neuendorf et al., "MPEG Unified Speech and Audio Coding - The ISO/MPEG Standard for High-Efficiency Audio Coding of All Content Types," in Proc. 132ndConvention of the AES, Budapest, Hungary, Apr. 2012. Also to appear in the Journal of the AES, 2013 H. Pulakka and P. Alku, "Bandwidth Extension of Telephone Speech Using a Neural Network and a Filter Bank Implementation for Highband Mel Spectrum," IEEE Trans. on Audio, Speech, and Language Processing, Vol. 19, No. 7, Sep. 2011 T. Vaillancourt et al., "ITU-T EV-VBR: A Robust 8-32 kbit/s Scalable Coder for Error Prone Telecommunications Channels," in Proc. EUSIPCO 2008, Lausanne, Switzerland, Aug. 2008 L. Miao et al., "G.711.1 Annex D and G.722 Annex B: New ITU-T Superwideband codecs," in Proc. ICASSP 2011, Prague, Czech Republic, May 2011 Bernd Geiser, Peter Jax, and Peter Vary:: "ROBUST WIDEBAND ENHANCEMENT OF SPEECH BY COMBINED CODING AND ARTIFICIAL BANDWIDTH EXTENSION", Proceedings of International Workshop on Acoustic Echo and Noise Control (IWAENC), 2005
本発明の目的は、オーディオ符号化/復号化の改善された概念を提供することである。
この目的は、請求項1に記載のデコーダ、請求項12に記載のエンコーダ、請求項14に記載の復号化方法、請求項15に記載の符号化方法、または請求項16に記載のコンピュータ読み取り可能な媒体により達成される。
本発明は、サイド情報の量をさらに低減し、さらにエンコーダ/デコーダ全体を余計に複雑にしないためには、先行技術による高帯域部分のパラメータ符号化を、周波数拡張デコーダに対して特徴抽出部とともに使用する統計モデルに実際に関連する選択サイド情報で置き換えるかまたは少なくともこれにより拡張する必要があると言う所見に基づく。統計モデルと組み合わせた特徴抽出が、特に特定の音声部分関して曖昧さを有するパラメータ表示の選択肢(parametric representation alternatives)を提供するため、実際に、デコーダ側でパラメータ生成部内の統計モデル、提供された選択肢のうちどれが最良かを制御することは、特に、帯域幅拡張のためのサイド情報が限られる非常に低いビットレートの応用においては、実際に信号の特定の特徴をパラメータ的に符号化するよりも優れていることがわかった。
このように、信号自体が、許容可能な知覚品質レベルでのHF成分の再構成を可能にしない場合は特に、小さな追加のサイド情報を伴う拡張により、符号化された信号のソースモデルを利用するブラインドBWEが改善される。したがって、この手順は、追加の情報により、符号化されたコアコーダ成分から生成されるソースモデルのパラメータを組み合わせる。これは、このようなソースモデル内で符号化することが難しいサウンドの知覚品質を増強するために特に有利である。このようなサウンドは、典型的に、HFとLF成分間に示される相関が低い。
本発明は、非常に低いビットレートのオーディオ符号化における従来技術のBWEの問題、および既存の最新技術のBWE技術の欠点に対処する。上記の品質に関するジレンマの解決法は、ブラインドおよび誘導BWEの信号適応組合せとして最小限ガイドされたBWEを提案することにより提供される。発明のBWEは、小さなサイド情報を、さもなくば問題になるであろう符号化されたサウンドをさらに区別することを可能にする信号に付加する。音声符号化においては、これは特に歯擦音または摩擦音に当てはまる。
WBコーデックにおいては、コアコーダ領域上のHF領域のスペクトル包絡が、許容可能な知覚品質でBWEを実行するために必要な最も重要なデータを表すことがわかった。スペクトル微細構造および時間包絡等のそれ以外のパラメータはすべて、復号化されたコア信号から大変正確に生成できるか、または知覚的にほとんど重要でないことが多い。しかしながら、摩擦音は、BWE信号において適切な再生を欠くことが多い。したがって、サイド情報は、「f」、「s」、「ch」および「sh」等の異なる歯擦音または摩擦音を区別する付加的情報を含む。
「t」または「tsch」等の破裂音または破擦音は、発生すると帯域幅拡張たのための他の問題がある音響情報である。
本発明は、必要な場合にのみ、このサイド情報の使用を認めて実際に送信し、統計モデルに曖昧さが予想されない場合には、このサイド情報を送信させない。
さらに、本発明の好ましい実施の形態は、フレームごと3ビット以下等の非常に少ない量のサイド情報のみを使用し、信号推定部を制御するための組み合わせられたボイスアクティビティの検知/音声/非音声検知、信号分類部により決定される異なる統計モデル、包絡推定のみならず他の帯域幅拡張ツールを意味するパラメータ表示の選択肢、帯域幅拡張パラメータの改善または既存のかつ実際に送信された帯域幅拡張パラメータへの新たなパラメータの追加を使用する。
本発明の好ましい実施の形態について、添付の図面を参照して以下に説明し、従属項にも規定する。
周波数拡張されたオーディオ信号を生成するためのデコーダを示す図である。 図1のサイド情報抽出部に関連する好ましい実現例の図である。 選択サイド情報のビット数とパラメータ表示の選択肢の数に関する表である。 パラメータ生成部において行われる好ましい手順を示す図である。 ボイスアクティビティ検知部または音声/非音声検知部により制御される信号推定部の好ましい実現例の図である。 信号分類部により制御されるパラメータ発生部の好ましい実現例を示す図である。 統計モデルの結果と関連の選択サイド情報の例を示す図である。 符号化されたコア信号および関連のサイド情報を含む典型的な符号化された信号を示す図である。 包絡推定の改善のための帯域拡張信号処理スキームを示す図である。 スペクトル帯域複製手順に関連するデコーダの他の実現例を示す図である。 付加的に送信されるサイド情報に関連するデコーダの他の実施の形態を示す図である。 符号化された信号を生成するためのエンコーダの実施の形態を示す図である。 図12の選択サイド情報生成部の実現例を示す図である。 図12の選択サイド情報生成部の他の実現例を示す図である。 先行技術のスタンドアローンの帯域幅拡張アルゴリズムを示す図である。 追加メッセージを有する送信システムの概略図である。
図1は、周波数拡張されたオーディオ信号120を生成するためのデコーダを示す。デコーダは、コア信号100から(少なくとも)1つの特徴を抽出するための特徴抽出部104を含む。一般に、特徴抽出部は、単一の特徴または複数の特徴、すなわち2以上の特徴を抽出でき、特徴抽出部により複数の特徴を抽出することが好ましい。これは、デコーダにおける特徴抽出部に当てはまるのみならず、エンコーダにおける特徴抽出部にも当てはまる。
さらに、コア信号100に関連する選択サイド情報114を抽出するためのサイド情報抽出部110を設ける。さらに、パラメータ生成部108は、特徴送信ライン112を介して特徴抽出部104に接続され、かつ選択サイド情報114を介してサイド情報抽出部110に接続される。パラメータ生成部108は、コア信号により規定されない周波数拡張されたオーディオ信号のスペクトル域を推定するためにパラメータ表示(parametric representation)を生成するよう構成される。パラメータ生成部108は、特徴112に応答していくつかのパラメータ表示の選択肢を提供し、かつ選択サイド情報114に応答してそのパラメータ表示の選択肢の1つをパラメータ表示として選択するよう構成される。デコーダは、選択部により選択されるパラメータ表示、すなわちパラメータ表示116を使用して、周波数拡張されたオーディオ信号を推定するための信号推定部118をさらに含む。
特に、特徴抽出部104は、図2に示すような復号化されたコア信号からも抽出するよう実現することができる。そこで、入力インターフェース110は、符号化された入力信号200を受けるよう構成される。この符号化された入力信号200は、インターフェース110に入力され、入力インターフェース110は、符号化されたコア信号から選択サイド情報を分離する。こうして、入力インターフェース110は、図1のサイド情報抽出部110として動作する。入力インターフェース110により出力される符号化されたコア信号201は、次にコアデコーダ124に入力され、コア信号100になり得る復号化されたコア信号を提供する。
しかしながら、代替的には、特徴抽出部は、符号化されたコア信号から、特徴を演算または抽出することもできる。典型的には、符号化されたコア信号は、周波数帯域のスケールファクタの表示またはオーディオ情報の他の表示を含む。特徴抽出の種類に応じて、オーディオ信号の符号化表示は、復号化されたコア信号を代表するものであって、特徴を抽出することができる。代替的または付加的に、特徴は完全に復号化されたコア信号のみならず、部分的に復号化されたコア信号からも抽出できる。周波数領域の符号化において、符号化された信号は、スペクトルフレームのシーケンスを含む周波数領域表示を表すものである。したがって、実際にスペクトル時間変換を行う前に、スペクトルフレームのシーケンスの復号化された表示を得るため、符号化されたコア信号を一部だけ復号化することができる。こうして、特徴抽出部104は、符号化されたコア信号か、一部復号化されたコア信号または完全に復号化されたコア信号のいずれかから特徴を抽出することができる。特徴抽出部104は、その抽出された特徴に関して、先行技術で知られるとおり実現でき、かつ特徴抽出部はたとえばオーディオ指紋またはオーディオID技術において行われるように実現され得る。
好ましくは、選択サイド情報114は、コア信号のフレームごとにNビットを含む。図3は、異なる選択肢に関する表を示す。選択サイド情報のビット数は、固定されるか、または抽出した特徴に応答して統計モデルにより付与されるパラメータ表示の選択肢の数に依拠して選択される。特徴に応答して、統計モデルにより与えられるパラメータ表示の選択肢が2つのみの場合、選択サイド情報の1ビットで十分である。統計モデルにより最大4つの表示選択肢が与えられる場合、選択サイド情報について2ビットが必要である。選択サイド情報の3ビットにより、同時に最大8つのパラメータ表示選択肢が可能になる。選択サイド情報の4ビットで、実際には、16のパラメータ表示の選択肢が可能になり、選択サイド情報の5ビットでは、32の同時のパラメータ表示の選択肢が可能である。1秒を50フレームに分割する場合、フレームごとに3ビット以下の選択サイド情報のみを使用することが好ましく、秒あたり150ビットのサイド情報レートとなる。選択サイド情報は、統計モデルが実際に表示の選択肢を提供する場合にのみ必要であると言う事実を考えると、このサイド情報レートをもっと低減することができる。このように、統計モデルがある特徴について1つの選択肢しか提供しない場合は、選択サイド情報ビットは全く不要である。一方、統計モデルが4つのパラメータ表示の選択肢のみ提供する場合は、選択サイド情報の3ビットではなく、2ビットのみが必要である。したがって、典型的な事例では、追加のサイド情報レートは、150ビット/秒を下回ることさえ可能である。
さらに、パラメータ生成部は、多くて、2に等しい量のパラメータ表示の選択肢を提供するよう構成される。他方、パラメータ生成部108がたとえば5つのパラメータ表示の選択肢しか提供しない場合でも、3ビットの選択サイド情報が必要である。
図4は、パラメータ生成部108の好ましい実現例を示す。特に、パラメータ生成部108は、図1の特徴112がステップ400で説明した統計モデルに入力されるように構成される。その後、ステップ402に説明するとおり、複数のパラメータ表示選択肢がこのモデルにより提供される。
さらに、パラメータ生成部108は、ステップ404で説明するように、サイド情報抽出部から選択サイド情報114を回収するよう構成される。その後、ステップ406で、特定のパラメータ表示の選択肢を、選択サイド情報114を使用して選択する。最終的に、ステップ408で、選択したパラメータ表示の選択肢を信号推定部118へ出力する。
好ましくは、パラメータ生成部108は、パラメータ表示の選択肢の1つを選択する場合に、パラメータ表示の選択肢の予め定義された順序(order)を使用するか、または代替的には表示の選択肢のエンコーダ信号順を使用するよう構成される。これについて、図7を参照する。図7は、統計モデルが4つのパラメータ表示の選択肢702、704、706および708を提供する結果を示す。対応の選択サイド情報コードについても示す。選択肢702は、ビットパターン712に対応する。選択肢704は、ビットパターン714に対応する。選択肢706は、ビットパターン716に対応し、かつ選択肢708はビットパターン718に対応する。こうして、パラメータ生成部108、またはたとえばステップ402が、4つの選択肢702から708を図7に示す順序で回収する場合、ビットパターン716を有する選択サイド情報は、パラメータ表示の選択肢3(参照番号706)を一意的に識別することになり、パラメータ生成部108は、この第3の選択肢を選択することになる。しかしながら、選択サイド情報ビットパターンがビットパターン712である場合には、第1の選択肢702が選択されることになる。
したがって、パラメータ表示の選択肢の予め定義された順序は、抽出された特徴に応じて、統計モデルが選択肢を実際に伝える順序になり得る。代替的には、個々の選択肢が、相違するが相互に大変接近する関連の確率を有する場合、予め定義された順序は、最も高い確率のパラメータ表示が第1に来る順序になり得る。代替的には、たとえば単一のビットにより順序を信号発信することが可能であるが、このビットでさえ節約するためには、予め規定された順序が好ましい。
次に、図9から図11を参照する。
図9にしたがう実施の形態において、本発明は、専用の音声源モデルがパラメータ抽出のために使用されるように、音声信号に特に適している。しかしながら、本発明は、音声符号化に限定されるわけではない。様々な実施の形態が、他のソースのモデルも採用し得る。
特に、選択サイド情報114は、「摩擦音情報」とも呼ばれ、これはこの選択サイド情報が、「f」、「s」または「sh」等の問題のある歯擦音や摩擦音を区別するからである。こうして、選択サイド情報は、いずれもパラメータ生成部108において行われる、包絡推定902のプロセスにおける、たとえば統計モデル904により提供される3つの問題ある選択肢のうちの1つを、明白に定義する。包絡推定により、コア信号に含まれないスペクトル部分のスペクトル包絡のパラメータ表示が得られる。
したがって、ブロック104は、図15のブロック1510に対応し得る。さらに、図15のブロック1530は、図9の統計モデル904に対応し得る。
さらに、信号推定部118は、分析フィルタ910、励起拡張ブロック112および合成フィルタ940を含む。こうして、ブロック910、912および914が、図15のブロック1600、1700および1800に対応し得る。特に、分析フィルタ910は、LPC分析フィルタである。包絡推定ブロック902は、ブロック910の結果がフィルタ励起信号になるように、分析フィルタ910のフィルタ係数を制御する。出力信号のためのデコーダ120の周波数域を有するのみならず、コアコーダにより定義されずかつ/またはコア信号のスペクトル域を超える周波数またはスぺクトル域を有する励起信号をブロック912の出力に得るために、このフィルタ励起信号は周波数に関して拡張される。こうして、デコーダの出力にオーディオ信号909がアップサンプルされ、補間部900により補間され、かつ補間された信号が信号推定部118におけるプロセスの対象となる。このように、図9の補間部900は、図15の補間部1500に対応し得る。しかしながら、図15とは対照的に、特徴抽出104は、図15に示す補間された信号に対してよりも、むしろ非補間信号を使用して行われることが好ましい。これは、非補間オーディオ信号909が、オーディオ信号の特定の時間部分に比べてサンプルの数がより少ないと言う事実により、ブロック900の出力でアップサンプルされかつ補間された信号に比べて、特徴抽出部104がより効率よく動作するので有利である。
図10は、本発明の他の実施の形態を示す図である。図9とは対照的に、図10は、図9に示す包絡推定(envelope estimate)を提供するのみならず、失われた音(missing tones)1080の発生のための情報、逆フィルタリング1040のための情報または付加すべきノイズフロア(noise floor)1020に関する情報を含む付加的なパラメータ表示を提供する統計モデル904を有する。ブロック1020および1040、スペクトル包絡発生1060および失われた音1080の手順については、HE−ACC(High Efficiency Advanced Audio Coding)に関連するMPEG−4規格に記載される。
このように、音声とは異なる他の信号も、図10に示すように符号化することができる。この場合、スペクトル包絡1060のみを符号化するだけで十分ではなく、非特許文献6で説明されるスペクトル帯域複製(SBR)技術で行われるような調性(1040)、ノイズレベル(1020)または失われたシヌソイド(1080)等のさらなるサイド情報も符号化する。
他の実施の形態を図11に示すが、サイド情報114、すなわち選択サイド情報が1100で示すSBRサイド情報に加えて使用される。こうして、たとえば検出された音声に関する情報を含む選択サイド情報が、レガシーSBRサイド情報1100に加えられる。このことは、摩擦音を含む歯擦音、破裂音または母音等の音声について高周波数成分をより正確に再生するのに役立つ。こうして、図11に示す手順は、SBRまたはBWE(帯域幅拡張)パラメータのデコーダ側での適応を行うため、付加的に送信される選択サイド情報114が、デコーダ側(音素)の分類を支持するという利点がある。したがって、図10とは対照的に、図11の実施の形態は、選択サイド情報に加えて、レガシーSBRサイド情報も提供する。
図8は、符号化された入力信号の典型的な表示である。符号化された入力信号は、後続のフレーム800、806および812からなる。各フレームが、符号化されたコア信号を有する。典型的には、フレーム800は、符号化されたコア信号として音声を有する。フレーム806は、符号化されたコア信号として音楽を有し、フレーム812も符号化されたコア信号として音声を有する。フレーム800は、典型的にはサイド情報として選択サイド情報のみを有し、SBRサイド情報は有していない。このように、フレーム800は、図9または図10に対応する。典型的には、フレーム806は、SBR情報を含むが選択サイド情報は含まない。さらに、フレーム812は符号化された音声信号を含み、フレーム800とは対照的に、フレーム812は選択サイド情報は含まない。これは、特徴抽出/統計モデルプロセスにおいて、曖昧さがエンコーダ側では見つかっていないため、選択サイド情報が不要なためである。
次に、図5を説明する。発明の帯域幅もしくは周波数拡張技術かまたは他の帯域幅拡張技術のどちらを採用すべきか決定するために、コア信号に作用するボイスアクティビティ検知部または音声/非音声検知部500を採用する。このように、ボイスアクティビティ検知部または音声/非音声検知部が声または音声を検知する場合、511で示す第1の帯域幅拡張技術BWEXT.1が使用され、これはたとえば図1、図9、図10および図11で説明したように作用する。こうして、入力512からパラメータ生成部からのパラメータが取り込まれ、スイッチ504がこれらのパラメータをブロック511へ接続するような態様で、スイッチ502および504が設定される。しかしながら、音声信号は全く示さないけれども、たとえば音楽の信号を示す状況が検知部500により検知される場合、ビットストリームからの帯域幅拡張パラメータ514は、他の帯域幅拡張技術手順513に入力されることが好ましい。このように、検知部500は、発明の帯域幅拡張技術511を採用すべきか否かを決定する。非音声信号については、コーダが、非特許文献6および8に記載されているように、ブロック513により示される他の帯域幅拡張に切り替えることができる。したがって、図5の信号推定部118は、検知部500が非ボイスアクティビティまたは非音声信号を検知した場合、異なる帯域幅拡張手順へ切り替え、かつ/または符号化した信号から抽出した異なるパラメータを使用するよう構成される。この異なる帯域幅拡張技術513については、選択側情報がビットストリーム内に存在していないほうが好ましく、かつ入力514へのスイッチ502をオフに設定することで、図5に記号で示すように使用されない。
図6は、パラメータ生成部108のもう1つの実現例を示す。パラメータ生成部108は、第1の統計モデル600および第2の統計モデル602等の複数の統計モデルを有することが好ましい。さらに、正しいパラメータ表示の選択肢を提供するように、選択サイド情報により制御されるセレクタ604が設けられる。どの統計モデルが有効かは、その入力でコア信号、すなわち特徴抽出部104に入力されるものと同じ信号を受信する付加的な信号分類部606により制御される。こうして、図10または他の図面においても、統計モデルは、符号化された成分とともに変化し得る。音声の場合、音声生成源モデルを表す統計モデルを採用する一方、たとえば信号分類部606により分類される音楽信号等の他の信号については、大きな音楽データセットに対してトレーニング済みの異なるモデルを使用する。他の統計モデルは、さらに異なる言語等について有用である。
上述のとおり、図7は、統計モデル600等の統計モデルにより得られた複数の選択肢を示す。したがって、たとえば異なる選択肢について、ブロック600の出力は、平行な線605に示すとおりである。同様に、第2の統計モデル602も、線606に示すような選択肢について等、複数の選択肢を出力することもできる。特定の統計モデルによっては、特徴抽出部104に関して大変高い確率を有する選択肢のみを出力することが好ましい。こうして、特徴に応じて、統計モデルは複数の選択できるパラメータ表示を提供し、各選択できるパラメータ表示は、他の異なる選択できるパラメータ表示の確率と等しい確率を有するか、他の選択できるパラメータ表示の確率と相違しても差は10%未満である。このように、実施の形態においては、最も確率が高いパラメータ表示、およびすべて確率が最高に一致する選択肢から確率が10%下回るだけのいくつかの他の選択できるパラメータ表示のみが出力される。
図12は、符号化された信号1212を生成するためのエンコーダを示す。エンコーダは、オリジナル信号1206を符号化して、オリジナル信号1206に比べて少ない周波数帯域に関する情報を有する符号化されたコアオーディオ信号1208を得るためのコアエンコーダ1200を含む。さらに、選択サイド情報1210(SSI - selection side information)を生成するための選択サイド情報生成部1202が設けられる。選択サイド情報1210は、オリジナル信号1206、符号化されたオーディオ信号1208または符号化されたオーディオ信号を復号化したものから抽出した特徴に応じて、統計モデルにより提供された定義されたパラメータ表示の選択肢を表示する。さらに、エンコーダは、符号化された信号1212を出力するための出力インターフェース1204を含む。符号化された信号1212は、符号化されたオーディオ信号1208および選択サイド情報1210を含む。選択サイド情報生成部1202は、図13に示すとおり実現されることが好ましい。このため、選択サイド情報生成部1202は、コアデコーダ1300を含む。ブロック1300が出力する復号化されたコア信号に対して動作する特徴抽出部1302が設けられる。特徴は、ブロック1300により出力される復号化されたコア信号により定義されない周波数拡張された信号のスペクトル域を推定するためのいくつかのパラメータ表示選択肢を発生するための統計モデル処理部1304に入力される。これらのパラメータ表示の選択肢1305はすべて、周波数拡張されたオーディオ信号1307を推定するための信号推定部1306に入力される。その後、これらの推定された周波数拡張されたオーディオ信号1307は、図12のオリジナル信号1206に周波数拡張されたオーディオ信号1307を比較するための比較部1308へ入力される。選択サイド情報生成部1202は、選択サイド情報が、最適化基準の下、オリジナル信号に最も一致する周波数拡張されたオーディオ信号を生じさせるパラメータ表示の選択肢を一意的に定義するように、選択サイド情報1210を設定するよう構成される。最適化基準は、MMSE(最小平均二乗誤差)に基づく基準、すなわちサンプルに関する差を最小にする基準でよく、好ましくは知覚されるひずみを最小化する心理音響学的基準かまたは当業者に既知の他の最適化基準でよい。
図13は、閉ループまたは合成による分析の手順を示し、一方、図14は、開ループ手順より類似する選択サイド情報1202の他の実現例を示す。図14の実施の形態において、オリジナル信号1206は、オリジナルオーディオ信号のサンプルのシーケンスのための音響情報(アノテーション等)のシーケンスを記述する選択サイド情報生成部1202のための関連するメタ情報を含む。この実施の形態において、選択サイド情報生成部1202は、メタ情報のシーケンスを抽出するためのメタデータ抽出部1400、および付加的にメタ情報のシーケンスを、オリジナルオーディオ信号に関連する選択サイド情報1210のシーケンスに変換するためにデコーダ側で使用する、統計モデルに関する知識を一般に有するメタデータ変換部を含む。メタデータ抽出部1400により抽出されたメタデータは、エンコーダにおいて破棄され、符号化された信号1212では送信されない。その代り、選択サイド情報1210は、異なる周波数成分および一般に最終的に生成される復号化された信号またはオリジナル信号1206に比べてより小さい周波数成分を有するコアエンコーダにより生成される符号化されたオーディオ信号1208とともに、符号化された信号で送信される。
選択サイド情報生成部1202により生成される選択サイド情報1210は、上記の図面に関連して説明した特徴のいずれかを有し得る。
本発明について、ブロックが実際のまたは論理ハードウェア要素を表すブロック図に関連して説明したが、本発明はコンピュータを利用する方法によっても実現可能である。後者の場合、ブロックは、対応の方法ステップを表し、これらのステップが対応の論理または物理ハードウェアブロックにより実行される機能性を表す。
装置に関連していくつかの局面について説明したが、これらの局面が対応の方法の説明をも表すことも明らかで、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップに関連して説明した局面が、対応のブロックもしくはアイテムまたは対応の装置の説明にも相当する。方法ステップの一部または全部を、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置により(またはこれを使用して)実行することができる。いくつかの実施の形態においては、最も重要な方法ステップの1つ以上をこのような装置で実行することができる。
発明の送信または符号化された信号を、デジタル記憶媒体に記憶するかまたはインターネット等の無線送信媒体もしくは有線送信媒体等の送信媒体で送信することができる。
特定の実施要件によっては、本発明の実施の形態をハードウェアまたはソフトウェアにおいて実現することができる。フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリ等、それぞれの方法が実行されるようにプラグラマブルコンピュータシステムと協働する(または協働可能な)電子的に可読な制御信号を記憶したデジタル記憶媒体を用いて実現することができる。したがって、デジタル記憶媒体はコンピュータ可読である。
本発明のいくつかの実施の形態は、ここに記載の方法の1つが実行されるようにプログラマブルコンピュータシステムと協働可能な電子的に可読な制御信号を有するデータキャリアを含む。
本発明の実施の形態は、一般に、プログラムコードを有するコンピュータプログラム製品として実現することが可能で、このプログラムコードは、コンピュータプログラム製品がコンピュータで実行されると、方法の1つを実行するよう動作する。このプログラムコードは、たとえば機械可読なキャリアに記憶してもよい。
他の実施の形態は、機械可読なキャリアに記憶されたここに記載の方法の1つを実行するためのコンピュータプログラムを含む。
したがって、言い換えれば、本発明の方法の実施の形態は、コンピュータで実行されると、ここに記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらに他の実施の形態は、ここに記載の方法の1つを実行するためのコンピュータプログラムを記録して含むデータキャリア(デジタル記憶媒体等の非一時的記憶媒体またはコンピュータ可読媒体)である。このデータキャリア、デジタル記憶媒体または記録された媒体は、典型的には有形かつ/または非一時的である。
したがって、本発明の方法のさらに他の実施の形態は、ここに記載の方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。このデータストリームまたは信号のシーケンスは、たとえば、インターネット等のデータ通信接続を経由して転送されるよう構成され得る。
さらに他の実施の形態は、たとえば、ここに記載の方法の1つを実行するよう構成または適合されたコンピュータまたはプログラマブル論理装置等の処理手段を含む。
さらに他の実施の形態は、ここに記載の方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明のさらに他の実施の形態は、ここに記載の方法の1つを実行するためのコンピュータプログラムを受信部に(たとえば電子的または光学的に)転送するよう構成される装置またはシステムを含む。この受信部は、たとえばコンピュータ、携帯装置、メモリ装置等が可能である。装置またはシステムは、たとえば受信部にコンピュータプログラムを転送するためのファイルサーバを含み得る。
いくつかの実施の形態において、プログラマブル論理装置(フィールドプログラマブルゲートアレイ等)を使用して、ここに記載の方法の機能性の一部または全部を実行することができる。いくつかの実施の形態において、フィールドプログラマブルゲートアレイは、ここに記載の方法の1つを実行するために、マイクロプロセッサと協働し得る。一般的には、これらの方法は、なんらかのハードウェア装置により実行されることが好ましい。
上記の実施の形態は、本発明の原理を説明するための例示に過ぎない。当然ながら、ここに記載の構成および詳細に対する変更および変形が、当業者には明らかになるであろう。したがって、発明は、添付の特許請求の範囲によってのみ限定され、本明細書において、説明目的で提示した特定の詳細および実施の形態の説明により限定されないことを意図する。

Claims (15)

  1. 周波数拡張されたオーディオ信号(120)を生成するためのデコーダであって、
    コア信号(100)から特徴(112)を抽出するための特徴抽出部(104)と、
    コア信号に関連する選択サイド情報(712,714,716,718)を抽出するためのサイド情報抽出部(110)と、
    コア信号(100)により定義されない周波数拡張されたオーディオ信号(120)のスペクトル域を推定するためのパラメータ表示を生成するためのパラメータ生成部(108)であって、前記パラメータ生成部(108)は、特徴(112)に応じていくつかのパラメータ表示の選択肢(702、704、706、708)を提供するよう構成され、前記パラメータ生成部(108)は、選択サイド情報(712,714,716,718)に応じて、パラメータ表示として、パラメータ表示の選択肢のうちの1つを選択するよう構成されるパラメータ生成部(108)と、
    選択されたパラメータ表示を使用して、周波数拡張されたオーディオ信号(120)を推定するための信号推定部(118)とを備え、
    前記パラメータ生成部(108)は、コア信号(100)と関連するパラメータ周波数拡張情報(1100)を受信するよう構成され、パラメータ周波数拡張情報は、個別のパラメータのグループを含み、
    前記パラメータ生成部(108)は、パラメータ周波数拡張情報に加えて、選択されたパラメータ表示を提供するよう構成され、
    選択されたパラメータ表示は、個別のパラメータのグループに含まれていないパラメータ、または個別のパラメータのグループにおいてパラメータを変更するためのパラメータ変更値を含み、
    前記信号推定部(118)は、選択されたパラメータ表示およびパラメータ周波数拡張情報(1100)を使用して、周波数拡張されたオーディオ信号を推定するよう構成される、デコーダ。
  2. 符号化されたコア信号(201)および選択サイド情報(712,714,716,718)を含む符号化された入力信号(200)を受信するための入力インターフェース(110)と、
    コア信号(100)を取得するために符号化されたコア信号を復号化するためのコアデコーダ(124)と、
    をさらに備える、請求項1に記載のデコーダ。
  3. 前記パラメータ生成部(108)は、パラメータ表示の選択肢の1つを選択する場合に、パラメータ表示の選択肢の予め定義された順序またはパラメータ表示の選択肢のエンコーダ信号発信の順序を使用するよう構成される、請求項1または請求項2に記載のデコーダ。
  4. 前記パラメータ生成部(108)は、パラメータ表示として、包絡表示を提供するよう構成され、
    前記選択サイド情報(712,714,716,718)は、複数の異なる歯擦音または摩擦音の1つを示し、
    前記パラメータ生成部(108)は、前記選択サイド情報(712,714,716,718)により特定される包絡表示を提供するよう構成される、請求項1から請求項3のいずれか1項に記載のデコーダ。
  5. 前記信号推定部(118)は、コア信号(100)を補間するための補間部(900)を含み、
    前記特徴抽出部(104)は、補間されていないコア信号(100)から特徴(112)を抽出するよう構成される、請求項1から請求項4のいずれか1項に記載のデコーダ。
  6. 前記信号推定部(118)は、
    励起信号を取得するため、コア信号または補間されたコア信号を分析するための分析フィルタ(910)と、
    コア信号(100)に含まれないスペクトル域を有する拡張された励起信号を生成するための励起拡張ブロック(912)と、
    拡張された励起信号をフィルタリングするための合成フィルタ(914)と、
    を含み、
    前記分析フィルタ(910)または前記合成フィルタ(914)は、選択されたパラメータ表示により決定される、請求項1から請求項5のいずれか1項に記載のデコーダ。
  7. 前記信号推定部(118)は、少なくともコア信号のスペクトル帯域およびパラメータ表示を使用して、コア信号に含まれないスペクトル域に対応する拡張されたスペクトル帯域を生成するためのスぺクトル帯域幅拡張処理部を含み、
    パラメータ表示は、スペクトル包絡調節(1060)、ノイズフロア付加(1020)、逆フィルタリング(1040)および失われた音の付加(1080)のうちの1以上のためのパラメータを含み、
    前記パラメータ生成部は、ひとつの特徴(112)について、複数のパラメータ表示の選択肢を提供するよう構成され、各パラメータ表示の選択肢が、スペクトル包絡調節(1060)、ノイズフロア付加(1020)、逆フィルタリング(1040)および失われた音の付加(1080)のうちの1以上のためのパラメータを有する、請求項1から請求項6のいずれか1項に記載のデコーダ。
  8. ボイスアクティビティ検知部または音声/非音声検知部(500)をさらに備え、
    前記信号推定部(118)は、前記ボイスアクティビティ検知部または音声/非音声検知部(500)がボイスアクティビティまたは音声信号を示す場合にのみ、パラメータ表示を用いて周波数拡張された信号を推定するよう構成される、請求項1から請求項7のいずれか1項に記載のデコーダ。
  9. 前記ボイスアクティビティ検知部または音声/非音声検知部(500)が非音声信号またはボイスアクティビティを有していない信号を示す場合、前記信号推定部(118)は、ある周波数拡張手順(511)から異なる周波数拡張手順(513)へ切り替わる(502、504)か、または符号化された信号から抽出した異なるパラメータ(514)を使用するよう構成される、請求項8に記載のデコーダ。
  10. コア信号(100)のフレームを分類する信号分類部(606)をさらに備え、
    前記パラメータ生成部(108)は、信号フレームが信号の第1のクラスに属すると分類される場合、第1の統計モデル(600)を使用し、フレームが第2の異なる信号のクラスに分類される場合、第2の異なる統計モデル(602)を使用するよう構成され、
    第1または第2の統計モデルは、特徴(112)に応じて、複数の選択可能なパラメータ表示(702から708)を提供するよう構成され、
    各選択可能なパラメータ表示は、異なる選択可能なパラメータ表示の確率に等しい確率、または最高の確率を有する最高に一致する選択可能なパラメータ表示の確率よりも10%だけ下回る確率を有する、請求項1から請求項9のいずれか1項に記載のデコーダ。
  11. 前記パラメータ生成部(108)が複数のパラメータ表示の選択肢を提供する場合、選択サイド情報(712,714,716,718)が符号化された信号のフレーム(800)にのみ含まれ、
    前記パラメータ生成部(108)が特徴(112)に応じて単一のパラメータ表示の選択肢のみを提供する場合、選択サイド情報(712,714,716,718)は、符号化されたオーディオ信号の異なるフレーム(812)には含まれない、請求項1から請求項10のいずれか1項に記載のデコーダ。
  12. 符号化された信号(1212)を生成するためのエンコーダであって、
    オリジナル信号(1206)と比べて少ない数の周波数帯域に関する情報を有する符号化されたオーディオ信号(1208)を取得するために、オリジナル信号(1206)を符号化するためのコアエンコーダ(1200)を含み、前記オリジナル信号は、オリジナル信号のサンプルのシーケンスについて音響情報のシーケンスを表わす関連のメタ情報を含み、
    前記エンコーダは、
    デコーダ側で使用される統計モデルにより提供される定義されたパラメータ表示の選択肢(702から708)を示す選択サイド情報(1210)のシーケンスを生成するための選択サイド情報生成部(1202)を更に含み、
    前記選択サイド情報生成部(1202)は、
    前記オリジナル信号から関連のメタ情報のシーケンスを抽出するためのメタデータ抽出部(1400)と、
    関連のメタ情報のシーケンスを選択サイド情報(1210)のシーケンスに変換するためのメタデータ変換部(1402)とを含み、
    前記メタデータ変換部(1402)は、統計モデルに関する知識を有し、
    前記エンコーダは、
    符号化された信号(1212)を出力するための出力インタフェース(1204)を更に備え、符号化された信号は、符号化されたオーディオ信号(1208)および選択サイド情報(1210)のシーケンスを含む、エンコーダ。
  13. 周波数拡張されたオーディオ信号(120)を生成するための方法であって、
    コア信号(100)から特徴(112)を抽出するステップ(104)と、
    コア信号と関連する選択サイド情報(712,714,716,718)を抽出するステップ(110)と、
    コア信号(100)により定義されない周波数拡張されたオーディオ信号(120)のスペクトル域を推定するためのパラメータ表示を生成するステップ(108)であって、いくつかのパラメータ表示の選択肢(702、704、706、708)が特徴(112)に応じて提供され、選択サイド情報(712,714,716,718)に応じて、パラメータ表示の選択肢のうちの1つがパラメータ表示として選択される、ステップ(108)と、
    選択されたパラメータ表示を使用して、周波数拡張されたオーディオ信号(120)を推定するステップ(118)とを含み、
    前記パラメータ表示を生成するステップ(108)は、コア信号(100)と関連するパラメータ周波数拡張情報(1100)を受信し、パラメータ周波数拡張情報は、個別のパラメータのグループを含み、
    前記パラメータ表示を生成するステップ(108)は、パラメータ周波数拡張情報に加えて、選択されたパラメータ表示を提供し、
    選択されたパラメータ表示は、個別のパラメータのグループに含まれていないパラメータ、または個別のパラメータのグループにおいてパラメータを変更するためのパラメータ変更値を含み、
    前記推定するステップ(118)は、選択されたパラメータ表示およびパラメータ周波数拡張情報(1100)を使用して、周波数拡張されたオーディオ信号を推定する、方法。
  14. 符号化された信号(1212)を生成する方法であって、
    オリジナル信号(1206)に比べて少ない数の周波数帯域に関する情報を有する符号化されたオーディオ信号(1208)を取得するために、オリジナル信号(1206)を符号化するステップ(1200)を含み、前記オリジナル信号は、オリジナル信号のサンプルのシーケンスについて音響情報のシーケンスを表わす関連のメタ情報を含み、
    前記方法は、
    デコーダ側で使用される統計モデルにより提供される定義されたパラメータ表示の選択肢(702から708)を示す選択サイド情報(1210)のシーケンスを生成するステップ(1202)を更に備え、
    前記選択サイド情報(1210)のシーケンスを生成するステップ(1202)は、
    前記オリジナル信号から関連のメタ情報のシーケンスを抽出するステップ(1400)と、
    統計モデルに関する知識を使用して関連のメタ情報のシーケンスを選択サイド情報(1210)のシーケンスに変換するステップ(1402)とを含み、
    前記方法は、
    符号化されたオーディオ信号(1208)および選択サイド情報(1210)のシーケンスを含む符号化された信号(1212)を出力するステップ(1204)を更に含む、方法。
  15. コンピュータまたはプロセッサで実行されるときに、請求項13または14の方法を実行するためのコンピュータプログラムが記録されたコンピュータ読み取り可能な媒体。
JP2016246647A 2013-01-29 2016-12-20 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法 Active JP6513066B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361758092P 2013-01-29 2013-01-29
US61/758,092 2013-01-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015554193A Division JP6096934B2 (ja) 2013-01-29 2014-01-28 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法

Publications (2)

Publication Number Publication Date
JP2017083862A JP2017083862A (ja) 2017-05-18
JP6513066B2 true JP6513066B2 (ja) 2019-05-15

Family

ID=50023570

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015554193A Active JP6096934B2 (ja) 2013-01-29 2014-01-28 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法
JP2016246648A Active JP6511428B2 (ja) 2013-01-29 2016-12-20 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法
JP2016246647A Active JP6513066B2 (ja) 2013-01-29 2016-12-20 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015554193A Active JP6096934B2 (ja) 2013-01-29 2014-01-28 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法
JP2016246648A Active JP6511428B2 (ja) 2013-01-29 2016-12-20 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法

Country Status (19)

Country Link
US (3) US10657979B2 (ja)
EP (3) EP2951828B1 (ja)
JP (3) JP6096934B2 (ja)
KR (3) KR101798126B1 (ja)
CN (3) CN109509483B (ja)
AR (1) AR094673A1 (ja)
AU (3) AU2014211523B2 (ja)
BR (1) BR112015018017B1 (ja)
CA (4) CA3013744C (ja)
ES (3) ES2924427T3 (ja)
HK (1) HK1218460A1 (ja)
MX (1) MX345622B (ja)
MY (1) MY172752A (ja)
RU (3) RU2676870C1 (ja)
SG (3) SG10201608643PA (ja)
TR (1) TR201906190T4 (ja)
TW (3) TWI585754B (ja)
WO (1) WO2014118155A1 (ja)
ZA (1) ZA201506313B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3008533A1 (fr) * 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
US10008214B2 (en) * 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
BR112020008216A2 (pt) * 2017-10-27 2020-10-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho e seu método para gerar um sinal de áudio intensificado, sistema para processar um sinal de áudio
KR102556098B1 (ko) * 2017-11-24 2023-07-18 한국전자통신연구원 심리음향 기반 가중된 오류 함수를 이용한 오디오 신호 부호화 방법 및 장치, 그리고 오디오 신호 복호화 방법 및 장치
CN108399913B (zh) * 2018-02-12 2021-10-15 北京容联易通信息技术有限公司 高鲁棒性音频指纹识别方法及系统
US11929085B2 (en) 2018-08-30 2024-03-12 Dolby International Ab Method and apparatus for controlling enhancement of low-bitrate coded audio
AU2021217948A1 (en) * 2020-02-03 2022-07-07 Pindrop Security, Inc. Cross-channel enrollment and authentication of voice biometrics
CN113808596A (zh) 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN112233685B (zh) * 2020-09-08 2024-04-19 厦门亿联网络技术股份有限公司 基于深度学习注意力机制的频带扩展方法及装置
KR20220151953A (ko) 2021-05-07 2022-11-15 한국전자통신연구원 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기
US20230016637A1 (en) * 2021-07-07 2023-01-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and Method for End-to-End Adversarial Blind Bandwidth Extension with one or more Convolutional and/or Recurrent Networks
CN114443891B (zh) * 2022-01-14 2022-12-06 北京有竹居网络技术有限公司 编码器的生成方法、指纹提取方法、介质及电子设备

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646961A (en) * 1994-12-30 1997-07-08 Lucent Technologies Inc. Method for noise weighting filtering
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
US8605911B2 (en) * 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
US7603267B2 (en) * 2003-05-01 2009-10-13 Microsoft Corporation Rules-based grammar for slots and statistical model for preterminals in natural language understanding system
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
WO2006022124A1 (ja) * 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. オーディオデコーダ、方法及びプログラム
CN101010985A (zh) * 2004-08-31 2007-08-01 松下电器产业株式会社 立体声信号生成装置及立体声信号生成方法
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
WO2006093003A1 (ja) * 2005-02-28 2006-09-08 Pioneer Corporation 辞書データ生成装置及び電子機器
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
KR20070003574A (ko) * 2005-06-30 2007-01-05 엘지전자 주식회사 오디오 신호 인코딩 및 디코딩 방법 및 장치
DE102005032724B4 (de) * 2005-07-13 2009-10-08 Siemens Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US20070094035A1 (en) * 2005-10-21 2007-04-26 Nokia Corporation Audio coding
US7546237B2 (en) * 2005-12-23 2009-06-09 Qnx Software Systems (Wavemakers), Inc. Bandwidth extension of narrowband speech
US7835904B2 (en) * 2006-03-03 2010-11-16 Microsoft Corp. Perceptual, scalable audio compression
JP5222279B2 (ja) * 2006-03-28 2013-06-26 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチチャネルオーディオ再構成における信号整形のための改善された方法
JP4766559B2 (ja) * 2006-06-09 2011-09-07 Kddi株式会社 音楽信号の帯域拡張方式
EP1883067A1 (en) * 2006-07-24 2008-01-30 Deutsche Thomson-Brandt Gmbh Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
CN101479787B (zh) * 2006-09-29 2012-12-26 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
ATE518224T1 (de) * 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
DE102008015702B4 (de) 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
EP2248263B1 (en) * 2008-01-31 2012-12-26 Agency for Science, Technology And Research Method and device of bitrate distribution/truncation for scalable audio coding
DE102008009719A1 (de) * 2008-02-19 2009-08-20 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen
CA2717584C (en) * 2008-03-04 2015-05-12 Lg Electronics Inc. Method and apparatus for processing an audio signal
US8578247B2 (en) * 2008-05-08 2013-11-05 Broadcom Corporation Bit error management methods for wireless audio communication channels
WO2010003539A1 (en) 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal synthesizer and audio signal encoder
EP2410522B1 (en) * 2008-07-11 2017-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal encoder, method for encoding an audio signal and computer program
EP2304723B1 (en) * 2008-07-11 2012-10-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and a method for decoding an encoded audio signal
PL2346029T3 (pl) * 2008-07-11 2013-11-29 Fraunhofer Ges Forschung Koder sygnału audio, sposób kodowania sygnału audio i odpowiadający mu program komputerowy
PT2146344T (pt) * 2008-07-17 2016-10-13 Fraunhofer Ges Forschung Esquema de codificação/descodificação de áudio com uma derivação comutável
JP5326465B2 (ja) 2008-09-26 2013-10-30 富士通株式会社 オーディオ復号方法、装置、及びプログラム
MX2011011399A (es) 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
JP5629429B2 (ja) 2008-11-21 2014-11-19 パナソニック株式会社 オーディオ再生装置及びオーディオ再生方法
EP4145446B1 (en) * 2009-01-16 2023-11-22 Dolby International AB Cross product enhanced harmonic transposition
PL3246919T3 (pl) * 2009-01-28 2021-03-08 Dolby International Ab Ulepszona transpozycja harmonicznych
CA3209167A1 (en) * 2009-03-17 2010-09-23 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
ES2400661T3 (es) * 2009-06-29 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de extensión de ancho de banda
TWI433137B (zh) * 2009-09-10 2014-04-01 Dolby Int Ab 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法
BR122021008665B1 (pt) * 2009-10-16 2022-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mecanismo e método para fornecer um ou mais parâmetros ajustados para a provisão de uma representação de sinal upmix com base em uma representação de sinal downmix e uma informação lateral paramétrica associada com a representação de sinal downmix, usando um valor médio
EP2486564B1 (en) * 2009-10-21 2014-04-09 Dolby International AB Apparatus and method for generating high frequency audio signal using adaptive oversampling
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
US9286944B2 (en) * 2009-11-04 2016-03-15 Koninklijke Philips N.V. Methods and systems for providing a combination of media data and metadata
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
WO2011106925A1 (en) * 2010-03-01 2011-09-09 Nokia Corporation Method and apparatus for estimating user characteristics based on user interaction data
PL3779981T3 (pl) * 2010-04-13 2023-10-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder audio lub wideo, dekoder audio lub wideo i powiązane sposoby przetwarzania wielokanałowych sygnałów audio lub wideo z wykorzystaniem zmiennego kierunku predykcji
KR101784031B1 (ko) * 2010-04-26 2017-10-10 선 페이턴트 트러스트 주변 블록의 통계로부터 추론되는 인트라 예측을 위한 필터링 모드
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
TWI516138B (zh) * 2010-08-24 2016-01-01 杜比國際公司 從二聲道音頻訊號決定參數式立體聲參數之系統與方法及其電腦程式產品
ES2553734T3 (es) * 2010-09-16 2015-12-11 Deutsche Telekom Ag Método y sistema para medir la calidad de transmisiones de flujos de bit de audio y vídeo sobre una cadena de transmisión
CN101959068B (zh) * 2010-10-12 2012-12-19 华中科技大学 一种视频流解码计算复杂度估计方法
UA107771C2 (en) * 2011-09-29 2015-02-10 Dolby Int Ab Prediction-based fm stereo radio noise reduction

Also Published As

Publication number Publication date
US20150332701A1 (en) 2015-11-19
TW201443889A (zh) 2014-11-16
AU2016262636B2 (en) 2018-08-30
BR112015018017A2 (ja) 2017-07-11
ZA201506313B (en) 2019-04-24
SG10201608643PA (en) 2016-12-29
TR201906190T4 (tr) 2019-05-21
BR112015018017B1 (pt) 2022-01-25
CN109346101A (zh) 2019-02-15
AU2016262638B2 (en) 2017-12-07
MX345622B (es) 2017-02-08
CA2899134C (en) 2019-07-30
AU2014211523A1 (en) 2015-09-17
CN109346101B (zh) 2024-05-24
CN109509483B (zh) 2023-11-14
JP6096934B2 (ja) 2017-03-15
TWI585755B (zh) 2017-06-01
AU2014211523B2 (en) 2016-12-22
CN109509483A (zh) 2019-03-22
CA3013756C (en) 2020-11-03
EP3203471A1 (en) 2017-08-09
TWI524333B (zh) 2016-03-01
US10186274B2 (en) 2019-01-22
CA3013744C (en) 2020-10-27
CA3013766C (en) 2020-11-03
JP2016505903A (ja) 2016-02-25
EP3203471B1 (en) 2023-03-08
US10062390B2 (en) 2018-08-28
CN105103229A (zh) 2015-11-25
EP2951828B1 (en) 2019-03-06
CN105103229B (zh) 2019-07-23
SG10201608613QA (en) 2016-12-29
ES2725358T3 (es) 2019-09-23
AU2016262636A1 (en) 2016-12-08
KR101775084B1 (ko) 2017-09-05
SG11201505925SA (en) 2015-09-29
AU2016262638A1 (en) 2016-12-08
CA3013756A1 (en) 2014-08-07
WO2014118155A1 (en) 2014-08-07
HK1218460A1 (zh) 2017-02-17
JP2017083862A (ja) 2017-05-18
US20170358311A1 (en) 2017-12-14
JP6511428B2 (ja) 2019-05-15
KR20150111977A (ko) 2015-10-06
TW201603009A (zh) 2016-01-16
JP2017076142A (ja) 2017-04-20
RU2015136789A (ru) 2017-03-03
AR094673A1 (es) 2015-08-19
CA3013766A1 (en) 2014-08-07
RU2676870C1 (ru) 2019-01-11
KR101798126B1 (ko) 2017-11-16
RU2627102C2 (ru) 2017-08-03
KR20160099120A (ko) 2016-08-19
TW201603008A (zh) 2016-01-16
US10657979B2 (en) 2020-05-19
KR20160099119A (ko) 2016-08-19
EP3196878A1 (en) 2017-07-26
EP2951828A1 (en) 2015-12-09
MY172752A (en) 2019-12-11
CA3013744A1 (en) 2014-08-07
TWI585754B (zh) 2017-06-01
MX2015009747A (es) 2015-11-06
KR101775086B1 (ko) 2017-09-05
ES2943588T3 (es) 2023-06-14
CA2899134A1 (en) 2014-08-07
ES2924427T3 (es) 2022-10-06
US20170358312A1 (en) 2017-12-14
EP3196878B1 (en) 2022-05-04
RU2676242C1 (ru) 2018-12-26

Similar Documents

Publication Publication Date Title
JP6513066B2 (ja) 周波数拡張されたオーディオ信号を生成するためのデコーダ、復号化方法、符号化された信号を生成するためのエンコーダ、およびコンパクトな選択サイド情報を使用する符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190409

R150 Certificate of patent or registration of utility model

Ref document number: 6513066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250