JP5554876B2 - ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム - Google Patents

ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
JP5554876B2
JP5554876B2 JP2013504273A JP2013504273A JP5554876B2 JP 5554876 B2 JP5554876 B2 JP 5554876B2 JP 2013504273 A JP2013504273 A JP 2013504273A JP 2013504273 A JP2013504273 A JP 2013504273A JP 5554876 B2 JP5554876 B2 JP 5554876B2
Authority
JP
Japan
Prior art keywords
frequency
frequency component
signal
parameter set
bandwidth extension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013504273A
Other languages
English (en)
Other versions
JP2013525833A (ja
Inventor
フレーデリク ナーゲル
マックス ノイエンドルフ
マルクス シュネル
マルクス ムルトルス
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2013525833A publication Critical patent/JP2013525833A/ja
Application granted granted Critical
Publication of JP5554876B2 publication Critical patent/JP5554876B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmitters (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Complex Calculations (AREA)

Description

本発明は、オーディオ処理に関連し、かつ特にブラインドおよびガイドされたものを組み合せた帯域幅拡張のための装置、方法およびコンピュータプログラムに関連する。
オーディオ信号の記憶または伝送は、厳しいビットレートの制約を受けることが多い。かつて、極低いビットレートしか使用できない時代には、コーダーは、伝送されるオーディオ帯域幅を徹底的に減らすことを余儀なくされた。現代のオーディオコーデックは、今日では、帯域幅拡張(BWE)法を使用することによって広帯域信号をコード化することが可能である。これらのアルゴリズムは、HFスペクトル領域への転置(「パッチ処理」)およびパラメータ駆動による後処理の適用により、復号化信号の波形コード化された低周波数部(LF)から生成される高周波数成分(HF)のパラメータ表現に依存する。
後処理には、エネルギーレベルを元の信号のエネルギ分布を目標とするよう適合させること(包絡線整形としても知られる)だけでなく、帯域選択性逆フィルタ処理(調性の低減)、合成ノイズフロアの付加(調性の低減)または個々のシヌソイドの付加(調性の増大)の助けを借りた転置したHF帯域における知覚調性の適合も含む。
BWEは、LFとHFとの間の相関を利用し、元のHF成分にできるだけ類似するHF情報を生成することを目的とする。このようなBWEでは、ある最高周波数Fmaxまで周波数を拡張する。それによる最高周波数の決定は、品質とビットレートのトレードオフに依存する。
特許文献1(米国特許第6680972B1号)は、スペクトル帯域複製を用いるソースコード化強化技術を開示する。エンコーダの前またはエンコーダにおける帯域幅低減に続いてデコーダにおけるスペクトル帯域複製を行う。これは、転置法をスペクトル包絡線調整と組み合せて用いることにより行われる。所与の知覚品質での低減されたビットレートまたは所与のビットレートでの改善された知覚品質が得られる。
関連技術が、非特許文献1(MPEG−4標準(ISO/IEC14496−3:2005(E)))に含まれる。特に、この標準のセクション4.6.18は、スペクトル帯域複製(SBR)ツールを含む。このツールは、復号化され帯域幅制限されたオーディオ信号のオーディオ帯域幅を拡張する。このプロセスは、使用可能な帯域幅制限された信号からのデータレートを低減し、かつエンコーダから得られるデータを制御するために、事前に切り捨てられた高調波のシーケンスを複製することに基づく。調性と雑音状成分との間の比率は、適応逆フィルタ処理ならびに雑音およびシヌソイドの付加によって維持される。エンコーダから得られる制御データは、パッチ処理された信号のスペクトル包絡線を調整するためのスペクトル包絡線調整データと、さらには調性と雑音状成分との間の比率を設定するための逆フィルタ処理データ、パッチ処理された信号に加えられる雑音に関する情報ならびに広帯域信号を生成するためのSBR動作においてパッチ処理される信号に加えられる、欠けた高調波の情報とを含む。
広帯域信号を生成する最大周波数も、低帯域高分解能信号に添付されるパラメータデータにより反映されるので、この標準化された手順では、ガイドされた帯域幅拡張のみを行う。したがって、オーディオ信号の品質を、より高い帯域幅の信号を生成することにより改善するためには、伝送されたデータのビットレートをさらに強化する追加のパラメータデータが必要である。一方で、ビットレートを伝送チャネル容量の問題で低減する場合には、エンコーダおける複製された信号の最高帯域または最高帯域のうちのいくつかについてパラメータデータを削除するかもしれない。これは、自動的にオーディオ品質の低下につながる。というのも、SBRデコーダは、ある周波数、すなわちある帯域までの高周波数部を生成するだけだからであり、それについて、入来データまたはビットストリームにパラメータデータが含まれる。したがって、ビットレートを低減すれば、オーディオ品質の低下につながり、オーディオ品質を強化すれば、ビットレートが増大する。
米国特許第6680972B1号
MPEG−4標準(ISO/IEC14496−3:2005(E))
本発明の目的は、一方で高品質を可能にし、他方で低いビットレートを実現する、改善された帯域幅拡張の概念を提供することである。
この目的は、請求項1に記載の広帯域信号を生成するための装置、請求項14に記載の広帯域信号を生成する方法、または請求項15に記載のコンピュータプログラムにより達成される。
本発明は、オーディオ品質を改善しかつ/またはビットレートを低減するために、ガイドされた帯域幅拡張動作をブラインド帯域幅拡張動作と組み合せるという知見に基づく。ブラインド帯域幅拡張動作は、そのためにパラメータを伝送しない帯域幅拡張動作である。言い換えれば、ブラインド帯域幅拡張動作では、帯域幅拡張パラメータがビットストリームで伝送された最大周波数を超える周波数に属する信号のスペクトル成分が得られることになる。
低帯域入力信号および伝送されたパラメータセットを用いてガイドされた帯域幅拡張動作を行い、第1の周波数まで伸びる第1の周波数成分を生成するための処理装置は、低帯域信号または第1の周波数成分および第2のパラメータセットを用いてブラインド帯域幅拡張動作をさらに行い、第1の周波数より高い第2の周波数まで伸びる第2の周波数成分を生成するようになっている。第2のパラメータは帯域幅拡張エンコーダから伝送されず、帯域幅拡張デコーダ側で、第1のパラメータセットまたは、第1の周波数成分のみから第2のパラメータセットを生成するためのパラメータ生成器により生成される。言い換えれば、ブラインド帯域幅拡張動作が、ガイドされた帯域幅拡張動作と同様に動作し得る。しかしながら、相違点は、帯域幅拡張動作により使用されるパラメータデータが、エンコーダ側で生成され、エンコーダからデコーダへ伝送される点である。しかしながら、ブラインド帯域幅拡張動作では、エンコーダ側でパラメータは生成されず、エンコーダからデコーダへ伝送されるのではなく、元の信号の対応の周波数成分に関する情報を使用せず、デコーダ上で入手可能な情報を用いてもっぱらデコーダ側でのみ生成される。ブラインド帯域幅拡張動作により生成される周波数成分に対応する元のオーディオ信号に関する情報は、デコーダ側では全く得られない。というのも、低帯域信号も、第1の周波数成分について伝送されたパラメータデータも第2の周波数成分に関する情報を含んでいないからである。この情報は、伝送されたパラメータデータを使用せずにデコーダ側のみで、すなわち「ブラインド」な態様で生成される。
本発明の効果は、本発明が、ガイドされた帯域幅拡張(gBWE)とブラインド帯域幅拡張(bBWE)とを組み合せることによって帯域幅が拡張された信号の知覚品質をさらに改善する点である。本発明は、高周波数成分と超高周波数成分との相関を利用することに基づき、この高周波数成分が、上記引例の現在の帯域幅拡張スキームで用いられる伝送されたパラメータデータがカバーする周波数帯域に相当する。
本発明の主題は、ガイドされたBWE(gBWE)とブラインドBWE(bBWE)とを組み合せることによりBWE信号の知覚品質をさらに改善することである。これは、高周波成分と超高周波数成分との相関を利用することにより達成される。
現在の帯域幅拡張スキームは、スペクトル帯域複製(SBR)または高調波帯域拡張(HBE)と同様に、HF成分を生成するために、まずパッチ処理動作を実行する。このパッチ処理は、クリッピング、絶対値の取得または位相ボコーダ等のいずれかの種類の非線形処理が可能である。また、単側波帯変調または内挿も組み込むことができる。生成されたパッチは、追加のパラメータの助けを借りて元のHF成分に適合される。
gBWE以外で、単純にオーディオ信号の帯域幅を拡張することを目的にするbBWE方法がある。これは、サイド情報なしで、HF雑音の挿入、クリッピング等により行うことができる。
前提技術のBWE方法を適用すると、帯域制限された信号が生成され、信号のHF成分内の冗長性を十分に利用していない。したがって、可能な限り最も効果的な帯域幅は実現されていない。ハードなローパスフィルタ処理された信号は、信号が雑音状である場合には特にローパスフィルタのカットオフ周波数のピッチで、調性があるとさらに知覚され得る。また、このようなローパスフィルタは、時間的ひずみを作り得る。
これらの問題点は、ブラインド帯域幅拡張動作が、超高周波数成分、すなわち第1の周波数より高い第2の周波数まで伸びる第2の周波数成分に対して適用されるという点で、本発明により対処される。その上で、伝送レートを低く保つために、この第2の周波数成分についてはエンコーダからデコーダへパラメーデータを伝送しないので、広帯域信号を生成するための装置によって受信されない。
したがって、提案の概念は、信号のカットオフ周波数で、急なフィルタの傾斜による調性を回避する。さらに、時間的ひずみは、これらのフィルタ特性により低減される。また、本発明により追加のまたはほんの少しのサイド情報もなしで信号の知覚帯域幅を広げることになる。基礎となる帯域幅拡張方法に加えて、後続の処理部としても適用することができる。
したがって、発明の概念は、パラメータにより駆動される帯域幅拡張スキームを使用するすべてのオーディオ用途に適し、またはオーディオ品質強化のためのデコーダ側での帯域幅拡張動作で強化されるオーディオまたはスピーチコーダーにも使用可能である。
本発明の好ましい実施例について、次に、添付の図面を参照しながら説明する。
図1aは、ガイドされた帯域幅拡張およびブラインド帯域幅拡張の概念についての異なる適用例を示す図である。 図1cは、ガイドされた帯域幅拡張およびブラインド帯域幅拡張の概念についての異なる適用例を示す図である。 図1cは、ガイドされた帯域幅拡張およびブラインド帯域幅拡張の概念についての異なる適用例を示す図である。 図2aは、第1の周波数成分を生成するためのガイドされた帯域幅拡張動作および第2の周波数成分を生成するためのブラインド帯域幅拡張動作を用いて、低帯域信号から生成される広帯域信号の周波数成分の図である。 図2bは、広帯域信号を生成するための装置の好ましい実施例の図である。 図3は、広帯域信号を生成するための装置または方法の他の好ましい実施例を示す図である。 図4は、発明の概念の好ましい実施例を実現するためのフローチャートである。
図2bは、低帯域入力信号20および第1のパラメータセット21を用いて、広帯域信号を生成するための装置を示す。第1のパラメータセットは、低帯域入力信号の最大周波数を超えかつ第1の周波数に至る周波数成分を記述する。第1の周波数を超える周波数成分を記述するパラメータは第1のパラメータセット21には含まれない。このデータを入力インタフェース22へ入力し、このインタフェースがパラメータデータ21から低帯域信号20を分離する。このデータを低帯域入力信号20および第1のパラメータセット21を使用するガイドされた帯域幅拡張動作(BWE)を行うための処理装置23へ転送して、第1の周波数まで伸びる第1の周波数成分を生成する。また、処理装置23は、低帯域入力信号もしくは第1の周波数成分および/または第2のパラメータセットを用いてブラインド帯域幅拡張動作を行い、第1の周波数より高い第2の周波数まで伸びる第2の周波数成分を生成するよう構成される。この処理装置は、第2のパラメータセットを生成するために、第1のパラメータセット21からまたは第1の周波数成分のみから第2のパラメータセットを生成するためのパラメータ生成部24を含む。第2のパラメータセットが、第1の周波数成分のみから生成される場合には、第1のパラメータセット21をパラメータ生成部に導入しない。しかしながら、パラメータ生成部24が、第2のパラメータセットを生成するために第1のパラメータデータ21を使用する場合、状況は図2bに示すようなものになる。すなわち、入力インタフェース22は、パラメータ生成部24への接続を有する。
図2aは、周波数の状況を示すための周波数チャートを示す。低帯域入力信号は、低帯域帯域幅25aしか有していない。低帯域帯域幅25aは、20Hz等の最小周波数から、4kHz等の低帯域最大周波数25bまで伸びる。伝送されたパラメータデータにカバーされかつガイドされた帯域幅拡張の概念により生成される第1の周波数成分25cは、第1の周波数25dまで伸びる。第1の周波数25dは、たとえば、12kHzなどが可能である。第2の周波数成分25eは、第2の周波数25fまで伸び、第1の周波数25dと第2の周波数25fとの間にわたる第2の周波数成分25eについては、パラメータデータはエンコーダ側で伝送も生成もされていない。具体例として、第2の周波数25fは、16kHz等が考えられる。
図2aに示すとおり、第1の周波数成分を生成するためにガイドされた帯域幅拡張動作を行い、かつ第1の周波数成分より高い周波数の第2の周波数成分を生成するためにブラインド帯域幅動作を行う。第1および第2の周波数成分は、重なっていなくてもよい。
第1の周波数成分25cおよび第2の周波数成分25dは、低帯域入力信号20とともに図2bのコンバイナ26へ伝送され、コンバイナが広帯域信号を生成する。応用によって、コンバイナは、合成フィルタバンクでもよいし、時間領域コンバイナも可能である。コンバイナ26の詳細な実装は、処理装置23の実装、すなわち、低帯域信号、第1の周波数成分および第2の周波数成分が、対応の周波数成分を有する時間領域信号として入手可能か、サブバンド信号または変換された信号、すなわち周波数表現で入手可能な信号かどうかに依存する。
図1aは、ガイドされた帯域幅拡張動作およびブラインド帯域幅拡張動作を適用する処理装置23を実現するための第1の実装例を示す。低帯域信号21が、パッチャー10の出力でパッチ処理された信号を生成するために、パッチャー10に入力される。パッチ処理動作は、基本的には低周波数部を使用し、より高い周波数部において信号を生成する。パッチ処理動作は、ガイドされた帯域幅拡張については、フィルタバンクのソース領域で隣接するサブバンドを、フィルタバンクの標的領域で隣接するサブバンドに対してパッチ処理すること、ソース領域におけるサブバンドを標的領域に調波的にパッチ処理すること、クリッピング、絶対値の取得もしくは位相ボコーダの使用、単側波帯変調または内挿を含むことが好ましい。ブラインド帯域幅拡張についてのパッチ処理動作は、第2の周波数成分に雑音を挿入するかまたは第1の周波数成分もしくは低帯域を含む信号をクリッピングしてより高いスペクトル成分を生成することを含む。
パッチ処理された信号を、整形器11へ入力し、整形器11の出力に、整形されパッチ処理された信号が得られる。そして、コンバイナ12において、低帯域信号21と整形器11が出力する整形されパッチ処理された信号とを組み合せて、コンバイナの出力に広帯域信号13を得る。
図1bは、別の実装例を示し、ここでは、パッチャー10と整形器11の順序が逆になっている。整形された低帯域信号を生成するために、整形器11は、ガイドされた帯域幅拡張処理用の第1のパラメータセットならびに第2のパラメータセットおよび/または第1の周波数成分に関する情報を使用して低帯域信号21を整形するよう構成される。整形器11の出力におけるこの整形された低帯域信号は、元の低帯域信号と同じ周波数成分を有するが、今度はパッチャー10により図2aに示す第1の周波数成分25aおよび第2の周波数成分25eを含む高周波数領域へパッチ処理される。そこで、パッチャーの出力におけるパッチ処理された信号は、パッチ処理の前に整形を行ったという事実により、すでに整形されており、これをコンバイナ12内の低帯域信号21と組み合せる。
したがって、図1bと図1aとの違いは、整形器11とパッチャー10の順序が逆である点である。
他の実装例では、パッチャーを図1aに示す低帯域信号に直接適用する。しかしながら、低帯域信号21とパッチ処理はされたがまだ未整形の信号とを組み合せて、ブロック12の出力に組合せ信号を得る。この組合せ信号は、すでに図2aの周波数成分25a,25c,25eを有するが、第1の周波数成分25cおよび第2の周波数成分25eはまだ整形されていない。そこで、組合せ信号の高周波数成分のこの整形が、コンバイナ12の後に接続される整形器11により行われる。
図1a、図1bおよび図1cにおける整形器のすべての実装例において、整形器は、ガイドされた帯域幅拡張を行うためのパラメータの第1のセットと、ブラインド帯域幅拡張を行うためのパラメータの第2のセットとを使用するが、ここで、パラメータの第2のセットは、パラメータの第1のセットおよび/または図2bに示し、図1a、図1bまたは図1cには図示しないパラメータ生成器24による第1の周波数成分から生成される。
図3は、本発明の他の好ましい実施例を示す。ビットストリーム20を、図3に図示しないエンコーダから受信する。ビットストリームを低帯域またはローパス(LP)入力信号20と、図3の「帯域幅サイド情報」(サイドインフォ)と記される第1のパラメータセット21とに分離する。ローパス入力信号20は、図1a、図1bまたは図1cのパッチャーにより示すパッチ処理を実行するための帯域幅拡張Iブロック30へ転送される。そこで、ガイドされた帯域幅拡張動作を実現するための帯域幅拡張ブロック30により生成されたパッチ処理された信号が、ビットストリームに含まれる帯域幅サイド情報21を使用するスペクトル整形を実行するためのスペクトル整形器11aへ転送される。そして、スペクトル整形ブロック11aの出力は、ガイドされた帯域幅拡張の出力信号を得るために、調性修正ブロック21へ転送される。第1の周波数成分25cをカバーする出力信号を、コンバイナ12へ転送する一方で、ブラインド帯域幅拡張IIブロック32にも転送する。帯域幅拡張IIブロック32は、この好ましい実施例においては、第1の周波数成分25cを用いてパッチ処理を行うが、帯域幅拡張IIブロック32は、低帯域信号を使用することも可能である。しかしながら、第1の周波数成分と第2の周波数成分との間のよりよい相関により、ブロック32におけるブラインド帯域幅拡張を行うために、第1の周波数成分25cを使用することが好ましい。そこで、第2の周波数成分25eでブロック11bにおいてスペクトル整形を行うが、ここで、このスペクトル整形を行うための情報が、パラメータ生成器または第1のパラメータセットから第2のパラメータセットを計算するサイドインフォ外挿ブロック24により転送される。そして、広帯域信号13を得るために、コンバイナ12において、スペクトル整形された第2の周波数成分25eを、第1の周波数成分25cおよび低帯域信号20と組み合せる。
本発明の好ましい実施例においては、ガイドされた帯域幅拡張動作に加えてブラインド帯域幅拡張動作を適用する。これについては、ブロック11aおよび31において伝送された第1のパラメータセットを使用しかつブロック11bによりエンコーダからデコーダへは伝送されない第2のパラメータセットを使用して、図3に示す。ガイドされた帯域幅拡張動作の出力を、図3のブロック32へ第1の周波数成分25cを転送することにより示すように、追加のサイド情報なしに信号の帯域幅をさらに拡張するために使用する。調性およびスペクトル形状は、信号に対してすでに適合されており、高周波数成分が超高周波数について大きく変化することはないことが予想でき、ブロック31において得られる処理済みの拡張された信号は、さらに拡張を行うためにパッチ処理される。ブラインド帯域幅拡張部については、より上部の周波数成分、すなわち第1の周波数成分を使用することが好ましいが、スペクトルの任意の部分を使用することもできる。
ブラインド帯域幅拡張については、ガイドされた帯域幅拡張に使用されたサイド情報を図示のとおりパラメータ生成器またはサイドインフォ外挿ブロック24により外挿することができる。ブラインド帯域幅拡張部分のスペクトル整形、すなわちブラインド帯域幅拡張部分の帯域ごとのエネルギまたは電力パラメータを適用することは、ブロック11bにおけるスペクトル整形に相当する。この目的のため、第2の周波数成分25eの周波数帯域について、エネルギパラメータ、すなわち周波数帯域のエネルギに依拠する測定値であるパラメータを計算する必要がある。これは、ガイドされた帯域幅拡張信号の最も高い1〜4kHzのエネルギの対数について回帰直線を規定することにより行うことができる。この回帰直線は、図2aにおいて29で示される。この外挿された線の導関数は1より小さいことが好ましい。
他の実装例では、図2aに14で示す第1の周波数成分の最も高い帯域のエネルギを測定して、第2の周波数成分25eの次の帯域41、42、43および44についてのエネルギを、1.5dBまたは3dBと言った任意の量だけ減じるようにすることができる。
したがって、第2のパラメータセットは、最小で、第2の周波数成分の帯域41〜44のエネルギ値を含む。これらのエネルギ値は、第1のパラメータセットに含まれるエネルギ値を使用して計算できるが、図2aの関連で示すとおり、第1のパラメータセットなしでも計算できる。しがたって、パラメータ生成器24は、随意にのみ第1のパラメータセットを受信しかつ回帰直線を決定するかまたは第1の周波数成分の最も高い帯域40のエネルギを決定するために第1の周波数成分を受信する。しかしながら、帯域41〜44のエネルギ値が、第1のパラメータセットのみから計算される場合、第2のパラメータセットを計算するために、第1の周波数成分は必要ない。他の実施例では、第2の周波数成分のエネルギ値を第1の周波数成分と第1のパラメータセットに含まれるエネルギ値とを組み合せたものを用いて計算することもできる。
ブラインド帯域幅拡張については、雑音フロアおよび逆フィルタ処理等の追加のパラメータは、外挿するかまたは無視することができる。ブラインド帯域幅拡張において、これらを考慮に入れない場合、ガイドされた帯域幅拡張に使用されたパラメータ、すなわち伝送されたパラメータ21も、図3の32に示すブラインド帯域幅拡張(BWEII)により処理されるスペクトル部分を制御するよう付与される。代替的には、エネルギパラメータを使用するスペクトル整形とは異なる他の整形動作を省略することができる。
図4は、フローチャートの形式で発明の概念の好ましい実装例を示す。ステップ50は、図2bの入力インタフェース22により実現され、低帯域信号と第1のパラメータセットを、伝送された信号(ビットストリーム)から抽出する。ステップ51で、低帯域信号20を使用して、低帯域信号にパッチ処理を行い、第1の周波数まで帯域幅が延びる第1のパッチ処理された信号を得る。そして、ステップ52において、ステップ51で生成した第1のパッチ処理された信号を、第1のパラメータセットを用いて整形し、図3の25cで示す調性修正ブロック31により出力される信号に対応する第1の整形された信号を得る。ステップ53は、第1のパラメータセットおよび/または第1の整形された信号を使用する第2のパラメータセットの計算を示す。ステップ54は、第1の整形された信号をパッチ処理して図2aの第2の周波数25fまで伸びる第2のパッチ処理された信号を得るところを示す。ステップ55に示すとおり、第2のパッチ信号を整形して第2の整形された信号を得て、次のステップ56で、低帯域の第1の整形された信号および第2の整形された信号を組み合せて最終的に広帯域信号13を得る。
上記のとおり、第2のパラメータセットは、第1のパラメータセットおよび/または第1の周波数成分から異なる態様で生成することができ、その場合、いくつかの実装例については、第1の周波数成分のみが使用されて、第1のパラメータセットは使用されず、他の応用では、第1のパラメータセットのみを使用して、第1の周波数成分は使用されず、かつさらに他の実装例では、第1のパラメータセットおよび第1の周波数成分を組み合せて使用する。なお、包絡線調整エネルギパラメータ以外のパラメータについては、これらのパラメータが、ブラインド帯域幅拡張動作では全く使用できないか、または、第1のパラメータセットから外挿することができ、この場合、非常に単純な外挿の方法は、第1の周波数成分25cについてエンコーダにより生成した第2の周波数成分25eにおける同じパラメータを使用する。たとえば、第1の周波数成分は20の帯域から構成され、かつ第2の周波数成分が30の帯域から構成されるとすると、第2の周波数成分の最初の20の帯域についてのパラメータは第1の周波数成分の最初の20の帯域についてのパラメータに同じになると考えられ、第2の周波数成分の残りの10の帯域に関する残り10のパラメータが、外挿により生成されるか、または調性修正がこれら残りの10の周波数帯域においては全く適用されない。
装置に関連していくつかの態様について記載したが、これらの態様が対応の方法の説明も表すことは明らかで、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップに関連して記載した態様は、対応の装置の対応のブロック、アイテムまたは特徴の説明も表す。
本発明の伝送された信号は、デジタル記憶媒体上に記憶するかまたは無線伝送媒体もしくはインターネット等の有線伝送媒体等の伝送媒体上で伝送することができる。
いくつかの実装要件によっては、本発明の実施例は、ハードウェアでもソフトウェアでも実現することができる。実装は、電子的に可読な制御信号を記憶したフロッピィディスク、DVD、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリ等のデジタル記憶媒体を使用して行うことができ、これらの信号は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する(または協働する能力がある)。
本発明のいくつかの実施例は、電子的に可読な制御信号を有する非一時的データキャリアを含み、これら信号は、プログラム可能コンピュータシステムと協働することが可能で、それによりここに記載の方法の1つが実行される。
一般に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実現可能で、コンピュータプログラム製品をコンピュータ上で実行すると、プログラムコードは、動作可能となり方法の1つが実行される。プログラムコードは、たとえば、機械可読なキャリア等に記憶してもよい。
他の実施例には、ここに記載の方法の一つを実行するための、機械可読なキャリアに記憶されたコンピュータプログラムを含む。
したがって、言い換えれば、本発明の方法の実施例は、コンピュータ上で実行される際に、ここに記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、発明の方法の他の実施例は、ここに記載の方法の1つを実行するためのコンピュータプログラムを記録したデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。
したがって、発明の方法の他の実施例は、ここに記載する方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、インターネットを介してデータ通信接続により転送されるよう構成されてもよい。
他の実施例は、ここに記載の方法の1つを実行するよう構成または適合されたコンピュータまたはプログラム可能論理装置等の処理手段を含む。
他の実施例は、ここに記載の方法の1つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
いくつかの実施例では、プログラム可能論理装置(フィールドプログラマブルゲートアレイ等)を使用してここに記載の方法の機能性のいくつかまたはすべてを実行しても良い。いくつかの実施例においては、フィールドプログラマブルゲートアレイは、ここに記載の方法の1つを実行するためにマイクロプロセッサと協働してもよい。
一般に、方法は、なんらかのハードウェア装置により実行されることが好ましい。
上記の実施例は、本発明の原則を説明するに過ぎない。当業者には、ここに記載の構成および詳細について、変形および変更が明らかであることは当然である。したがって、発明は請求の範囲によってのみ限定されることを意図し、実施例の記載および説明により提示される特定の詳細によって限定されない。

Claims (13)

  1. 低帯域入力信号(20)および低帯域入力信号(20)の最大周波数(25b)を超え、第1の周波数(25d)に至る周波数成分を記述する第1のパラメータセット(21)を使用して、広帯域信号(13)を生成するための装置であって、
    第1の周波数(25d)を超える周波数成分を記述するパラメータが、第1のパラメータセット(21)には含まれず、装置が、
    低帯域入力信号と第1のパラメータセットとを使用してガイドされた帯域幅拡張動作を行って、第1の周波数(25d)まで伸びる第1の周波数成分(25c)を生成し、かつ第1の周波数成分(25c)および第2のパラメータセットを使用してブラインド帯域幅拡張動作を行って、第1の周波数(25d)より高い第2の周波数(25f)まで伸びる第2の周波数成分(25e)を生成するための処理装置(23)を含み、
    処理装置(23)が、
    ビットストリームから第1のパラメータセット(21)と低帯域入力信号(20)とを抽出し(50)、
    第1のパラメータセットを使用する整形を含む、低帯域入力信号のパッチおよび第1のパラメータセットを使用するガイドされた帯域幅拡張を行い(51、52)、第1の整形された信号を取得し、パッチ処理が、第1の周波数成分を生成し、かつ
    第1の整形された信号のパッチ処理および第2のパラメータセットを使用してブラインド帯域幅拡張を行う(54、55)よう構成され、第1の整形された信号のパッチ処理により第2の周波数成分が生成され、
    処理装置(23)が、第1の周波数成分(25c)から第2のパラメータセットを生成するためのパラメータ生成器(24)を含み、パラメータ生成器(23)が、第1の周波数成分の整形されたスペクトル包絡線のエネルギ情報のより低い周波数から高い周波数への外挿により、第2の周波数成分の第2のパラメータセットについてスペクトル包絡線パラメータを生成するよう構成される、装置。
  2. 処理装置(23)が、第1の周波数まで伸びる第1の周波数成分および第2の周波数まで伸びる第2の周波数成分を有するパッチ処理された信号を生成するためのパッチャー(10)と、
    パッチ処理された信号を生成する前に低帯域入力信号を整形し、パッチ処理された信号を整形するかまたは整形動作を用いて、組み合わせ信号を整形するための整形器(11)と、
    整形動作前または後に低帯域入力信号とパッチ処理された信号とを組み合わせて、組み合わせ信号を得るためのコンバイナ(12)とを含み、組み合わせ信号が広帯域信号であるかまたは広帯域信号が整形動作により組み合わせ信号から生成され、
    整形器(11)が、広帯域信号の第1の周波数成分が、第1のパラメータセットを使用して整形されかつ広帯域信号の第2の周波数成分が、第1の周波数成分およびパラメータ生成器(23)により第1のパラメータセットから生成される第2のパラメータセットにより影響を受けるように、整形動作を行うよう構成される、請求項1に記載の装置。
  3. パラメータ生成器(24)が、第2の周波数成分の帯域のエネルギを、より低い周波数隣接帯域におけるエネルギに対して、予め定められた値分だけ減らすことにより外挿を行うよう構成され、
    第1の周波数成分の最も高い帯域におけるエネルギを開始値として用いる、請求項1に記載の装置。
  4. パラメータ生成器(24)が、第1の周波数成分の予め定められた部分を使用して回帰直線を計算しかつ周波数において、回帰直線を第2の周波数成分に外挿して第2の周波数成分における周波数帯域についてエネルギ―値を得ることにより外挿を行うよう構成される、請求項1に記載の装置。
  5. パラメータ生成器が、回帰直線の導関数が1より小さくなるような態様で回帰直線を計算することにより外挿を行うよう構成される、請求項4に記載の装置。
  6. 第1のパラメータセットが、あるパラメータの種類のパラメータのシーケンスを含み、このシーケンスが第1の周波数成分におけるある周波数にわたって規定され、
    パラメータ生成器(24)が、このシーケンスを第2の周波数成分に外挿して、第2のパラメータセットについて同じ種類のパラメータのシーケンスを生成するよう構成される、請求項1から請求項5のいずれかに記載の装置。
  7. 第1のパラメータセットが、さらなるパラメータの種類として、雑音パラメータ、調性パラメータまたは欠けている高調波パラメータからなるグループのうち1以上の要素を含む、請求項6に記載の装置。
  8. 処理装置(23)が、ガイドされた帯域幅拡張のための第1のパラメータセットにおける雑音パラメータおよび調性パラメータを使用し、かつブラインド帯域幅拡張においては、調性パラメータまたは雑音パラメータを使用しないよう構成され、ブラインド帯域幅拡張が、ガイドされた帯域幅拡張の結果のパッチ処理に基づく、請求項1から請求項7のいずれかに記載の装置。
  9. 低帯域入力信号が符号化される装置であって、符号化された低帯域入力信号を復号化するためのデコーダをさらに含む、請求項1から請求項8のいずれかに記載の装置。
  10. 処理装置(23)が、ガイドされた帯域幅拡張のためのパッチ処理方法として、フィルタバンクのソース領域の隣接するサブバンドをフィルタバンクの標的領域における隣接するサブバンドに対してパッチ処理すること、ソース領域におけるサブバンドを標的領域に調波的にパッチ処理すること、クリッピング、絶対値の取得もしくは位相ボコーダの使用、単側波帯変調または内挿を使用するよう構成される、請求項1から請求項9のいずれかに記載の装置。
  11. 処理装置(23)が、ブラインド帯域幅拡張のためのパッチ処理方法として、高周波数雑音の挿入またはクリッピングを使用するよう構成される、請求項1から9のいずれかに記載の装置。
  12. 低帯域入力信号(20)および低帯域入力信号(20)の最大周波数(25b)を超え、第1の周波数(25d)に至る周波数成分を記述する第1のパラメータセット(21)を使用して、広帯域信号(13)を生成するための方法であって、第1の周波数(25d)を超える周波数成分を記述するパラメータが、第1のパラメータセット(21)に含まれず、方法が、
    第1の周波数(25d)まで伸びる第1の周波数成分(25c)を生成するために、ビットストリームから第1のパラメータセット(21)と低帯域入力信号(20)とを抽出し(50)、かつ第1のパラメータセットを使用する整形を含む、低帯域入力信号のパッチ処理および第1のパラメータセットを使用するガイドされた帯域幅拡張を行い(51、52)、第1の整形された信号を取得することにより、低帯域入力信号と第1のパラメータセットとを使用して、ガイドされた帯域幅拡張動作を行うステップを含み、低帯域入力信号のパッチ処理が、第1の周波数成分を生成し、さらに
    第1の周波数(25d)より高い第2の周波数(25f)まで伸びる第2の周波数成分(25e)を生成するために、第1の整形された信号のパッチ処理および第2のパラメータセットを使用することにより第1の周波数成分(25c)および第2のパラメータセットを使用して、ブラインド帯域幅拡張動作を行うステップとを含み、第1の整形された信号のパッチ処理により第2の周波数成分が生成され、
    ブラインド帯域幅拡張動作を行うステップが、第1の周波数成分の整形されたスペクトル包絡線のエネルギ情報のより低い周波数から高い周波数への外挿により、第2の周波数成分の第2のパラメータセットについてスペクトル包絡線パラメータを生成することにより、第1の周波数成分(25c)から第2のパラメータセットを生成するステップを含む、方法。
  13. コンピュータ上で実行した際に、請求項12に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
JP2013504273A 2010-04-16 2011-04-14 ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム Active JP5554876B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US32496210P 2010-04-16 2010-04-16
US61/324,962 2010-04-16
PCT/EP2011/055889 WO2011128399A1 (en) 2010-04-16 2011-04-14 Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension

Publications (2)

Publication Number Publication Date
JP2013525833A JP2013525833A (ja) 2013-06-20
JP5554876B2 true JP5554876B2 (ja) 2014-07-23

Family

ID=44146894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013504273A Active JP5554876B2 (ja) 2010-04-16 2011-04-14 ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム

Country Status (13)

Country Link
US (1) US9805735B2 (ja)
EP (1) EP2559032B1 (ja)
JP (1) JP5554876B2 (ja)
KR (1) KR101430335B1 (ja)
CN (1) CN102947882B (ja)
AU (1) AU2011239995B2 (ja)
BR (1) BR112012026502B1 (ja)
CA (1) CA2800613C (ja)
ES (1) ES2719102T3 (ja)
MX (1) MX2012011828A (ja)
RU (1) RU2527735C2 (ja)
TR (1) TR201904117T4 (ja)
WO (1) WO2011128399A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
CN103413557B (zh) * 2013-07-08 2017-03-15 深圳Tcl新技术有限公司 语音信号带宽扩展的方法和装置
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
CN105493182B (zh) * 2013-08-28 2020-01-21 杜比实验室特许公司 混合波形编码和参数编码语音增强
US9293143B2 (en) * 2013-12-11 2016-03-22 Qualcomm Incorporated Bandwidth extension mode selection
PL3128513T3 (pl) * 2014-03-31 2019-11-29 Fraunhofer Ges Forschung Koder, dekoder, sposób kodowania, sposób dekodowania i program
KR102244612B1 (ko) 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
TWI693594B (zh) 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016180704A1 (en) 2015-05-08 2016-11-17 Dolby International Ab Dialog enhancement complemented with frequency transposition
US10157621B2 (en) * 2016-03-18 2018-12-18 Qualcomm Incorporated Audio signal decoding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
DE10046774A1 (de) 2000-09-21 2002-04-18 Bayer Ag Thermoplastische Formmassen mit speziellen Additivmischungen
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US6876968B2 (en) * 2001-03-08 2005-04-05 Matsushita Electric Industrial Co., Ltd. Run time synthesizer adaptation to improve intelligibility of synthesized speech
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
EP1423847B1 (en) * 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
SE0202770D0 (sv) * 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
KR100524065B1 (ko) * 2002-12-23 2005-10-26 삼성전자주식회사 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
JP5129117B2 (ja) 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
US8032369B2 (en) * 2006-01-20 2011-10-04 Qualcomm Incorporated Arbitrary average data rates for variable rate coders
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US20080004866A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Artificial Bandwidth Expansion Method For A Multichannel Signal
US8433582B2 (en) * 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090203395A1 (en) * 2008-02-08 2009-08-13 Sony Ericsson Mobile Communications Ab Amplitude modulation radio transmission with extended bandwidth
EP2301028B1 (en) * 2008-07-11 2012-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and a method for calculating a number of spectral envelopes
KR101239812B1 (ko) * 2008-07-11 2013-03-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 대역폭 확장 신호를 생성하기 위한 장치 및 방법
WO2010033557A2 (en) * 2008-09-17 2010-03-25 Graphic Packaging International, Inc. Construct for browning and crisping a food item in a microwave oven
US8831958B2 (en) * 2008-09-25 2014-09-09 Lg Electronics Inc. Method and an apparatus for a bandwidth extension using different schemes
EP2169665B1 (en) * 2008-09-25 2018-05-02 LG Electronics Inc. A method and an apparatus for processing a signal
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
ES2805349T3 (es) * 2009-10-21 2021-02-11 Dolby Int Ab Sobremuestreo en un banco de filtros de reemisor combinado

Also Published As

Publication number Publication date
AU2011239995B2 (en) 2014-01-16
EP2559032B1 (en) 2019-01-30
US9805735B2 (en) 2017-10-31
WO2011128399A1 (en) 2011-10-20
KR20130018847A (ko) 2013-02-25
MX2012011828A (es) 2013-02-27
CA2800613A1 (en) 2011-10-20
US20130041673A1 (en) 2013-02-14
RU2527735C2 (ru) 2014-09-10
JP2013525833A (ja) 2013-06-20
BR112012026502A8 (pt) 2018-07-03
TR201904117T4 (tr) 2019-05-21
KR101430335B1 (ko) 2014-08-13
BR112012026502B1 (pt) 2022-10-18
CN102947882A (zh) 2013-02-27
CN102947882B (zh) 2015-06-17
BR112012026502A2 (pt) 2017-12-12
EP2559032A1 (en) 2013-02-20
RU2012143970A (ru) 2014-05-27
CA2800613C (en) 2016-05-03
ES2719102T3 (es) 2019-07-08

Similar Documents

Publication Publication Date Title
JP5554876B2 (ja) ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム
JP5970014B2 (ja) オーディオエンコーダおよび帯域幅拡張デコーダ
US10522168B2 (en) Audio signal synthesizer and audio signal encoder
AU2011239995A1 (en) Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension
CA2899078C (en) Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands
AU2015203736B2 (en) Audio encoder and bandwidth extension decoder

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140529

R150 Certificate of patent or registration of utility model

Ref document number: 5554876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250