JP5192053B2 - オーディオ信号の帯域拡張のための装置及び方法 - Google Patents

オーディオ信号の帯域拡張のための装置及び方法 Download PDF

Info

Publication number
JP5192053B2
JP5192053B2 JP2010544618A JP2010544618A JP5192053B2 JP 5192053 B2 JP5192053 B2 JP 5192053B2 JP 2010544618 A JP2010544618 A JP 2010544618A JP 2010544618 A JP2010544618 A JP 2010544618A JP 5192053 B2 JP5192053 B2 JP 5192053B2
Authority
JP
Japan
Prior art keywords
signal
audio signal
frequency
filter
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010544618A
Other languages
English (en)
Other versions
JP2011511311A (ja
Inventor
フレデリック ナーゲル
サーシャ デッシュ
マックス ノイエンドルフ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40822253&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5192053(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2011511311A publication Critical patent/JP2011511311A/ja
Application granted granted Critical
Publication of JP5192053B2 publication Critical patent/JP5192053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

本発明はオーディオ信号処理に関し、特に、利用可能なデータレートが比較的小さい場合におけるオーディオ信号処理に関する。
オーディオ信号の効率的な記憶と伝送のためのデータ削減を目的とする、オーディオ信号の聴覚適応型の符号化は、多くの分野において受け入れられてきた。符号化アルゴリズムは、特に、「MP3」又は「MP4」として公知である。このために使用される符号化であり、特に最低限のビットレートを達成する時に使用される符号化は、オーディオの品質低下をもたらすが、この品質低下は多くの場合、主として伝送されるべきオーディオ信号帯域への符号器側における制限によって引き起こされるものである。
特許文献1は、オーディオ信号に対して符号器側において帯域制限を与え、オーディオ信号の低域だけを高品質のオーディオ符号器を用いて符号化するという方法を開示している。一方、オーディオ信号の高域については、非常に粗い特徴付け、即ち高域のスペクトル包絡を再現するパラメータ・セットによる特徴付けがなされるだけである。その後、復号器側において高域が合成される。この合成のために、復号化済のオーディオ信号の低域をフィルタバンクへと供給する、ハーモニックな転位(harmonic
transposition)が提案されている。低域のフィルタバンク・チャネルは高域のフィルタバンク・チャネルへと結合されるか、または「パッチ」され、各パッチ済の帯域通過信号には包絡調整が実行される。この時、特殊な解析フィルタバンクに属するこの合成フィルタバンクは、低域ではオーディオ信号の帯域通過信号を受け取り、高域ではハーモニックにパッチされた低域の包絡調整済の帯域通過信号を受け取る。この合成フィルタバンクの出力は、先に符号器から復号器へと非常に低いデータレートで送信されたオーディオ信号の、その帯域に関して拡張されたオーディオ信号である。特に、フィルタバンクの演算とフィルタバンク・ドメインでのパッチングとは、高度な演算能力を必要とすることもある。
上記の方法に代えて、帯域制限されたオーディオ信号の帯域拡張(bandwith extension)のための複雑さを低減した方法には、帯域制限によって欠損した情報を近似する目的で、低周波信号部分(LF)から高周波信号領域(HF)へのコピー機能を使用する方法もある。このような方法は、非特許文献1、非特許文献2、非特許文献3、非特許文献4及び特許文献2に開示されている。
これらの方法では、ハーモニックな転位は実行されない。代わりに、低域の連続的な帯域通過信号が高域の連続的なフィルタバンク・チャネルへと導入される。その結果、オーディオ信号の高域の粗い近似が達成される。このような信号の粗い近似は、後のステップにおいて、オリジナル信号から取得された制御情報を使用する後処理により、オリジナル信号に対して近似される。この時、MPEG−4標準にも記載されているように、例えばスケールファクタが、スペクトル包絡の適応と、逆フィルタリングと、調性(tonality)の適応及び正弦波信号部分による補足のためのノイズカーペットの追加と、に役立つ。
上述の方法以外にも、非特許文献5の中で開示された所謂「ブラインド帯域拡張」と呼ばれる方法等のさらなる方法があるが、この中ではオリジナルHF領域についての情報は全く使用されていない。さらに、非特許文献6の中で開示された所謂「人工的帯域拡張」という方法もある。
非特許文献7の中でも、ある帯域拡張の方法が開示されているが、この中では、SBR(スペクトル帯域複製)の技術に従う連続的な帯域通過信号のアップ・コピーを用いた帯域拡張のコピー操作に代えて、例えばアップサンプリングによるミラーリングを用いている。
帯域拡張のための更なる技術は、非特許文献8、非特許文献9、非特許文献10、非特許文献11、特許文献3及び特許文献4にも開示されている。
ハーモニックな帯域拡張(harmonic bandwith extension)の公知の方法には、複雑な点がある。一方、複雑さを低減した帯域拡張の方法では、品質の点で欠損が生じる。特に、低ビットレートであって、LF領域の低帯域と組合せになる場合、粗さや不快と認識されるティンバー(timber)などのアーチファクトが発生する可能性もある。この発生の理由は、近似されたHF部分は、調性(tonal)信号部分のハーモニックな関係を、互いに考慮しないコピー操作に基づいているからである。同様のことがLF部分とHF部分との間のハーモニックな関係にも当てはまり、また、HF部分それ自身の中のハーモニックな関係にも当てはまる。SBRを用いた場合、例えばLF領域と生成されたHF領域との間の境界において、粗い音響的印象が時折発生する。なぜなら、例えば図4aに示すように、LF領域からHF領域へとコピーされた調性部分は、全体的な信号の中で、LF領域の調性部分にスペクトル的に密に隣接するように配置される可能性があるからである。図4aには、401,402,403,404にピークを備えたオリジナル信号と、405,406,407,408にピークを備えたテスト信号とを示す。図4aでは境界は4250Hzであったように、調性部分をLF領域からHF領域へとコピーすることで、テスト信号内の左の2つのピークの距離は、ハーモニックなラスタの元となる基本周波数よりも小さくなり、その結果、粗さの知覚を招いてしまう。
非特許文献12に開示されるように、トーン補償された周波数グループの幅がその中央周波数が増大すると共に増大することから、異なる周波数グループ内のLF領域にある正弦波部分は、それをHF領域へとコピーすることで、同じ周波数グループ内に存在することになる可能性がある。このこともまた、図4bに見られるように、粗い聴覚的印象をもたらしてしまう。ここでは特に、LF領域をHF領域へとコピーすることで、テスト信号内にオリジナル信号よりも濃密な調性的構造をもたらすことが示されている。オリジナル信号は、参照番号410で特に示されるように、高周波領域内のスペクトルに亘って比較的均一に配分されている。対照的に、テスト信号411は、特にこの高周波領域内のスペクトルに亘って比較的不均一に配分されており、従って明確にオリジナル信号410よりも高い調性を持つ。
WO98/57436 米国特許第5,455,888号 米国特許出願08/951,029 米国特許第6,895,375号 米国特許出願6,549,884号
M.Dietz, L. Liljeryd, K. Kjorling and 0. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002 S.Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," 112th AES Convention, Munich, May 2002 T.Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002 International Standard ISO/IEC 14496-3:2001/FPDAM l, "Bandwidth Extension,"ISO/IEC, 2002 E.Larsen, R.M. Aarts, and M. Danessis, "Efficient high-frequency bandwidth extension of music and speech", In AES 112th Convention, Munich, Germany, May 2002 K.Kayhko, A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing,2001 J. Makinen et al.: AMR-WB+: a new audio coding standard for 3rd generation mobile audioservices Broadcasts, IEEE, ICASSP ’05 R.M. Aarts, E. Larsen, and O. Ouweltjes, "A unified approach to low- and high frequency bandwidth extension", AES 115th Convention, New York, USA, October 2003 E.Larsen and R.M. Aarts, "Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design", John Wiley & Sons, Ltd., 2004 E.Larsen, R.M. Aarts, and M. Danessis, "Efficient high-frequency bandwidth extension of music and speech", AES 112th Convention, Munich, May 2002 J.Makhoul, "Spectral Analysis of Speech by Linear Prediction", IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973 Zwicker,E. and H. Fastl (1999), Psychoacoustics: Facts and models. Berlin -Springerverlag "The phase Vocoder: A tutorial", Mark Dolson, Computer Music Journal, vol. 10, no. 4, pp. 14 -- 27, 1986 "New phase Vocoder techniques for pitch-shifting, harmonizing and other exotic effects", L. Laroche und M. Dolson, Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics, New Paltz, New York, October 17 - 20, 1999, pages 91 to 94 "New approaches to transient processing interphase vocoder", A. Robel, Proceeding of the 6th international conference on digital audio effects (DAFx-03), London, UK, September 8-11, 2003, pages DAFx-1 to DAFx-6 "Phase-locked Vocoder", Meller Puckette, Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustics
そこで、本発明の目的は、高品質な帯域拡張を達成すると同時に複雑さにおいては低減された信号処理を達成することであり、且つ一方で、少ない遅延と低い演算能力とで構成することができ、従って処理速度と必要メモリに関してはハードウエアの条件が低いプロセッサにも搭載できるような構成を達成することである。
この目的は、請求項1に記載の帯域拡張装置、請求項13に記載の帯域拡張方法、又は請求項14に記載のコンピュータプログラムによって達成される。
本発明の帯域拡張の概念は、1より大きな伸張係数により伸張された時間信号としてのオーディオ信号のバージョンを生成するための時間的な信号伸張と、これに続く、転位された信号を得るための時間信号のデシメーション(decimation:間引き)と、に基づくものであり、転位された信号は、その後、例えば単純な帯域通過フィルタによって濾波することで高周波信号部分を抽出し、この高周波部分に対して、振幅に関し歪又は変化を与えることにより、オリジナルの高周波部分に対する良好な近似を得るものである。代替方法として、帯域通過フィルタによる濾波は信号伸張の前に実行されても良く、その場合は、伸張後に、伸張信号の中に所望の周波数領域だけが存在することになり、伸張後の帯域濾波は省略されても良い。
一方では、ハーモニックな帯域拡張を用いた場合には、コピーまたはミラーリングの操作から発生する問題、あるいはそれら両方の問題は、ハーモニックな連続と時間信号を伸張するための信号スプレッダを使用するスペクトルの伸張とに基づいて、防止することが可能となる。他方では、時間伸張および後続のデシメーションは、ハーモニックな転位で使われている完全な解析/合成フィルタバンクよりも、単純な処理器によってさらに簡単に実行できる可能性がある。なぜなら、ハーモニックな転位では、例えば、フィルタバンクドメインにおけるパッチングをどのように行うべきかについての追加的な決定が必要だからである。
好適には、信号伸張のために1つの位相ボコーダが使用されるが、このボコーダは低い演算能力で構成される。2より大きな伸張係数による帯域拡張を達成するために、さらに複数の位相ボコーダが並行して使用されても良く、その場合は、特にリアルタイムアプリケーションにおいては帯域拡張の遅延は小さくあるべきなので、有利である。代わりに、例えばPSOLA法(Pitch Synchronous Overlap Add)など、他の信号伸張方法も使用可能である。
本発明の好適なある実施形態においては、まず最初に、LFオーディオ信号は最大周波数LFmaxを使用し位相ボコーダの助けを借りて時間方向に拡張され、即ち、信号の本来の持続時間(duration)の整数倍へと拡張される。その後、下流側のデシメータ(decimator)において、時間拡張の係数による信号のデシメーションが実行され、全体としてスペクトルの伸張がもたらされる。これがオーディオ信号の転位に相当する。最後に、結果として得られる信号は、帯域通過により、(拡張係数−1)・最大周波数LFmax〜拡張係数・最大周波数LFmaxの領域へと濾波される。代わりに、伸張とデシメーションとにより生成された個々の高周波信号に対し、最終的にはそれらが完全な高周波領域(即ちLFmaxからk*LFmaxへの領域)に亘って付加的にオーバーレイするように、帯域通過の濾波が実行されても良い。このような濾波は、ハーモニクスのより高いスペクトル密度が求められる場合に有効である。
本発明の好適なある実施形態においては、ハーモニックな帯域拡張の方法は、複数の異なる拡張係数に対し並行して実行される。この並行処理に代わる方法として、直列的に操作され中間結果がバッファされる、単一の位相ボコーダが使用されても良い。これらの方法で、いかなる帯域拡張カットオフ周波数も達成できる可能性がある。さらに他の方法として、信号の拡張は周波数方向で直接的に実行されても良い。即ち、位相ボコーダの機能的原理に対応して、特に双対演算(dual operation)により実行されても良い。
本発明の実施形態における利点として、ハーモニシティまたは基本周波数に関し、信号の解析が不要である点が挙げられる。
次に、本発明の好適な実施の形態を、添付の図面を参照しながら説明する。
オーディオ信号の帯域拡張のための、本発明の概念を示すブロック図である。 オーディオ信号の帯域拡張のための、本発明の1つの態様に従う装置を示すブロック図である。 図2aに示す概念の、過渡検出器を備えた改良型を示す。 本発明の帯域拡張の時間軸上の所定のポイントにおけるスペクトルを使用した信号処理の概略図である。 オリジナル信号と、粗い音響的印象を与えるテスト信号との比較を示す。 オリジナル信号と、他の粗い音響的印象を与えるテスト信号との比較を示す。 ある位相ボコーダのフィルタバンク構成の概略を示す。 図5aに示す1つのフィルタの詳細を示す。 図5aに示すフィルタチャネル内における、振幅信号及び周波数信号の操作を概略的に示す。 ある位相ボコーダにおける変換操作の構成を概略的に示す。 帯域拡張の過程における符号器側について概略的に示す。 オーディオ信号の帯域拡張の過程における復号器側について概略的に示す。
図1は、オーディオ信号の帯域拡張のためのある装置または方法を示す。単に例示的に図1を装置として示しているが、図1は帯域拡張のための方法を示すフローチャートとして理解されても良い。この図の中で、オーディオ信号は入力100においてこの装置に入力される。このオーディオ信号は次に信号スプレッダ(signal spreader)102に入力され、この信号スプレッダ102は、当該オーディオの1よりも大きな伸張係数により時間的に伸張された時間信号としての1つのバージョンを生成する。図1に示す実施例における伸張係数は、伸張係数入力104を介して供給される。信号スプレッダ102の出力103に存在する伸張されたオーディオ時間信号は、次にデシメータ105へと供給され、このデシメータ105は、時間的に伸張されたオーディオ時間信号103を、伸張係数104に整合するデシメーション係数によりデシメートする(間引く)よう構成されている。この点については、図1内では、点線で示されデシメータ105へと繋がる伸張係数入力104により概略的に示されている。1つの実施例においては、信号スプレッダにおける伸張係数はデシメーション係数の逆数に等しい。例えば、もし信号スプレッダ102において伸張係数2.0が適用された場合、デシメーション係数0.5によるデシーメートが実行される訳である。しかし、もしデシメーション係数2によるデシメートが実行された場合、即ち各2番目のサンプル値が省略された場合には、デシメーション係数は伸張係数と同一となる。伸張係数とデシメーション係数との間の他の比率、例えば整数の比率又は有理数の比率もまた、構成により使用可能である。しかし、最大のハーモニックな帯域拡張は、伸張係数がデシメーション係数と同一である場合か、或いはデシメーション係数の逆数に等しい場合にそれぞれ達成される。
本発明の好適な実施例においては、デシメータ105は、例えば(伸張係数2の場合に)各2番目のサンプルを省略し、その結果、デシメートされたオーディオ信号は、オリジナル・オーディオ信号100と同じ時間的長さを備えることになる。他のデシメーションアルゴリズム、例えば重み付き平均値を形成するアルゴリズム、又は過去あるいは未来からの傾向を考慮するアルゴリズムも、それぞれ使用可能である。しかし、サンプルの省略により、必要な演算能力を非常に低く抑えた単純なデシメーションを構成することができる。デシメータ105により生成されたデシメート済の時間信号106は、フィルタ107へと供給される。フィルタ107は、デシメート済のオーディオ信号106から、この実施例の装置の入力におけるオーディオ信号100の中に含まれていない周波数領域を含む帯域通過信号108を抽出するように構成されている。この実施例では、フィルタ107はデジタル帯域通過フィルタ、例えばFIR又はIIRフィルタとして構成されても良く、或いはまた、アナログ帯域通過フィルタとして構成されても良い。しかし、デジタル構成の方がより好適である。さらに、フィルタ107は次のような構成を持つことが望ましい。即ち、操作102及び105により生成された高域のスペクトル領域を抽出し、他方で、オーディオ信号100によりカバーされている低域のスペクトル領域はできるだけ抑制するという構成である。しかし、この実施例においては、フィルタ107の構成は次のようであっても良い。即ち、フィルタ107はまた、オリジナル信号100内に含まれたある帯域通過信号としての周波数を備えた信号部分を抽出し、この抽出された帯域通過信号は、オリジナル・オーディオ信号100内には含まれていなかった少なくとも1つの周波数帯域を含むように構成されても良い。
フィルタ107により出力された帯域通過信号108はディストータ(distorter)109へと入力され、このディストータ109は、帯域通過信号が所定の包絡を持つように帯域通過信号に対して歪ませる。歪みの生成に使用されるこの包絡情報は、符号器から供給されるなど、外部から入力されても良い。さらにこの包絡情報は、例えばオーディオ信号100からのブラインド外挿(blind extrapolation)による生成や、又は、オーディオ信号100の包絡と共に指標化され復号器側において記憶されたテーブルに基づく生成など、内部で生成されても良い。ディストータ109から出力され歪められた帯域信号110は、最後に結合器111へと入力される。この結合器111は、(遅延ステージは図1には示していないが)構成により遅延が与えられたオリジナル・オーディオ信号100に対し、歪められた帯域信号110を結合させ、その出力112において帯域拡張されたオーディオ信号を生成する。
他の実施例においては、ディストータ109と結合器111の順序が、図1に示す場合とは逆となる。この場合、フィルタ出力信号、即ち帯域通過信号108は直接的にオーディオ信号100と結合され、結合器111から出力された結合済信号の高域の歪みは、結合の後にディストータ109により与えられる。この実施例においては、結合済信号がある所定の包絡を持つように、ディストータが結合済信号を歪ませる。この実施例の結合器は、帯域通過信号108とオーディオ信号100とを結合させ、帯域に関して拡張されたオーディオ信号を取得する。このような、結合の後で歪みが与えられる実施例においては、ディストータ109の構成は次のようであることが望ましい。即ち、ディストータ109はオーディオ信号100又はこのオーディオ信号100から供給された結合済信号の帯域に対してそれぞれ影響を与えないようにするのが好ましい。なぜなら、オーディオ信号の低帯域は高品質の符号器により符号化されていたのであり、復号器側における高帯域の合成の際には、帯域拡張による干渉を受けるべきではないからである。
本発明の実施例を詳細に説明する前に、本発明の長所が活用される図7a,図7bを参照しながら帯域拡張のシナリオについて説明する。あるオーディオ信号が低域/高域通過結合フィルタ702の入力700へと入力される。この低域/高域通過結合フィルタは、一方では低域通過部分(LP)を含み、図7aの703で示すように、オーディオ信号700の低域通過濾波されたバージョンを生成する。この低域通過濾波されたオーディオ信号は、オーディオ符号器704により符号化される。このオーディオ符号器は、例えばMP3符号器(MPEG1レイヤ3)か、MP4符号器としても知られ、かつMPEG4標準において記載されているAAC符号器である。他のオーディオ符号器であって、帯域制限されたオーディオ信号703の透明な表示、或いは特に聴覚心理的に透明な表示を提供できる符号器も符号器704として使用されても良く、その結果、完全に符号化され、聴覚心理的に符号化され、或いは好適かつ聴覚心理的に透明に符号化されたオーディオ信号705をそれぞれ生成する。オーディオ信号の高帯域は、フィルタ702の「HP」で示す高域通過部分により出力706において出力される。オーディオ信号の高域通過部分、即ち高帯域又はHP帯域は、HP部分とも呼ばれるが、パラメータ計算器707へと入力され、このパラメータ計算器707は様々なパラメータを計算する。これらのパラメータは、例えば各聴覚心理周波数グループ又は各バークスケール(Bark scale)のバーク帯域(Bark band)のためのスケールファクタの表示を用いた、例えば高帯域706の比較的粗い分解能におけるスペクトル包絡などである。このパラメータ計算器707は、他のパラメータとして、高帯域におけるノイズカーペットを計算してもよく、その帯域毎のエネルギーは、当該帯域内の包絡のエネルギーに関係していることが望ましい。さらに、パラメータ計算器707は、他のパラメータとして、高帯域の各部分帯域の調性値(tonality measure) を計算してもよく、この値は、1つの帯域の中でスペクトルエネルギーがどのように配分されるかを示すものである。即ち、その帯域内のスペクトルエネルギーが比較的均一に配分されている場合には、非調性(non-tonal)の信号がこの帯域に存在することになり、この帯域内のエネルギーがこの帯域内のある点に比較的強く集中している場合には、むしろ調性(tonal)の信号がこの帯域に存在することになる。さらなるパラメータとして、振幅と周波数に関して高帯域内で比較的強く突出しているピークを明示的に符号化するものがある。なぜなら、この帯域拡張の概念は、高帯域内において顕著に正弦曲線を描く部分を明示的に符号化せずに再現する場合においては、そのような部分を非常に初歩的な方法でのみ再現するか、あるいは全く再現しないからである。
いずれにせよ、パラメータ計算器707は高帯域のためのパラメータ708だけを生成し、このパラメータ708には、例えば差分符号化、予測又はハフマン符号化など、量子化されたスペクトル値に対してオーディオ符号器704においても実行されるような類似のエントロピー削減方法が施されてもよい。パラメータ表示708とオーディオ信号705とは、次にデータストリーム・フォーマッタ709へと入力され、このフォーマッタ709は出力側データストリーム710を出力し、この出力側データストリーム710は、典型的には、例えばMPEG4標準に規格化されている所定のフォーマットに従うビットストリームである。
復号器側の特に本発明に関して適切と言える構成を、以下に図7bを参照しながら説明する。データストリーム710はデータストリーム解釈器(interpreter)711に入力され、この解釈器711はオーディオ信号部分705からパラメータ部分708を分割する。パラメータ部分708はパラメータ復号器712により復号化され、復号済のパラメータ713が得られる。これと並行して、オーディオ信号部分705はオーディオ復号器714により復号化され、その結果、図1においては番号100で示されたオーディオ信号が得られる。
実施例にもよるが、オーディオ信号100は第1出力715を介して出力されても良い。その結果、この出力715では、狭い帯域幅を持ち、従って品質も低いオーディオ信号が取得されるかもしれない。しかし、この品質向上のために、本発明の帯域拡張720が実行される。この帯域拡張720は例えば図1に示すように実施され、その出力側には、拡張済帯域又は広い帯域をそれぞれ有し、かつ高品質を有するオーディオ信号112を取得する。
図1に示す帯域拡張の好適な実施例であり、かつ好適には図7bにおいてはブロック712の中で使用される実施例を、図2aを参照しながら以下に説明する。図2aは、まず「オーディオ信号とパラメータ」と記載したブロック200を含み、このブロック200は、図7bにおいてはブロック711、712、714に対応しても良い。ブロック200はその出力側において、復号化されたパラメータ713と同様に出力信号100を出力し、この出力信号100は、例えば調性補正(tonality correction)109aや包絡調整109bのような様々な歪みのために使用されても良い。調性補正109aと包絡調整109bとによりそれぞれ生成又は補正された信号は、結合器111へと供給され、出力側の拡張された帯域を持つオーディオ信号112が取得される。
好適には、図1における信号スプレッダ102は、位相ボコーダ202aにより構成される。図1のデシメータ105は、好適には単純なサンプルレート変換器205aにより構成される。帯域通過済信号の抽出のためのフィルタ107は、好適には単純な帯域通過フィルタ207aにより構成される。特に、位相ボコーダ202aとサンプルレートデシメータ205aとは、伸張係数=2を用いて操作される。
好適には、位相ボコーダ202bとデシメータ205bと帯域通過フィルタ207bとから成るさらなる「列(train)」を備え、このフィルタ207bの出力においてさらなる帯域通過信号を抽出する。この帯域通過信号は、帯域通過フィルタ207aの高域カットオフ周波数とオーディオ信号100の最大周波数の3倍との間の周波数範囲を持つ。
加えて、係数kによるオーディオ信号の伸張を達成するk−位相のボコーダ202cが準備され、この時kは好適には1よりも大きな整数である。デシメータ205cが位相ボコーダ202cの下流側に連結され、係数kを用いてデシメートする。最後に、デシメートされた信号は帯域通過フィルタ207cへと入力され、この帯域通過フィルタ207cの低域カットオフ周波数は隣接する分枝の高域カットオフ周波数と同一であり、フィルタ207cの高域カットオフ周波数はオーディオ信号100の最大周波数のk倍に等しい。全ての帯域通過信号は結合器209によって結合され、この結合器209は例えば加算器として構成されても良い。代わりに、結合器209は重み付きの加算器として構成されても良く、実施例にもよるが、下流側にある要素109a及び109bとは独立して、低帯域よりも高帯域をより強く減衰させるものでも良い。加えて、図2aに示すシステムは遅延ステージ211を含み、結合器111において、例えばサンプル毎の加算などのように同期化された結合が実行されることを保証する。
図3は、図1又は図2aに示された処理の中で発生し得る様々なスペクトルの概略図である。図3の(1)に示す波形は、例えば図1内の100や図7a内の703において存在する帯域制限されたオーディオ信号を示す。この信号は、好適には信号スプレッダ102によりオリジナル信号の持続期間の整数倍へと伸張され、その後、その整数を係数としてデシメートされ、その結果、スペクトルの全体的な伸張は図3の(2)に示すような波形をもたらす。図3の(2)には、通過帯域300を有する帯域通過フィルタによって抽出されたHF部分が図示されている。図3の第3の波形(3)は、歪ませる前の帯域通過信号とオリジナル・オーディオ信号100とを結合した結合スペクトルを示す。次に、図3の波形(4)で示すように、高帯域に対しては歪みが与えられるが、可能である限り低帯域の修正は行なわれない。このようにして、図3の波形(4)で示すような拡張された帯域を有するオーディオ信号112を取得できる。
図3の(1)で示すLF信号は、最大周波数LFmaxを有する。位相ボコーダ202aはオーディオ信号の転位を実行し、転位されたオーディオ信号の最大周波数が2LFmaxとなる。この時、結果として得られた(2)で示す信号は、LFmaxから2LFmaxまでの領域へと帯域通過濾波されている。概略的に言えば、伸張係数がk(k>1)で示される時、帯域通過フィルタは(k−1)・LFmaxからk・LFmaxまでの通過帯域を持つ。図3に示す処理は、所望の最高周波数k・LFmaxが達成されるまで様々な伸張係数に対して反復され、この時k=最大拡張係数kmaxである。
次に、図5と図6とを参照しながら、本発明にかかる位相ボコーダ202a,202b,202cの好適な実施例を説明する。図5aはある位相ボコーダのフィルタバンク構成を示し、ここでは、オーディオ信号は入力500へと入力され、出力510へと出力される。具体的には、図5aに概略で示されるフィルタバンクの各チャネルは、帯域通過フィルタ501と下流側の発振器502とを有する。各チャネルから来る全ての発振器の出力信号は、例えば加算器として構成され番号503で示す結合器により結合され、出力信号が取得される。各フィルタ501は、一方では振幅信号を供給し、他方では周波数信号を供給するように構成されている。これら振幅信号と周波数信号とは時間信号であり、一方の振幅信号はフィルタ501内の時間軸における振幅の変化を示し、他方の周波数信号はフィルタ501により濾波された信号の周波数の変化を示す。
図5bはフィルタ501の概略的なセットアップを示す。図5aの各フィルタ501は図5bに示すようにセットアップされても良い。しかしこの時、2つの入力ミキサ551と加算器552とに入力される周波数fiだけはチャネル毎に異なっている。ミキサ出力信号は両方とも低域通過フィルタ553により低域通過濾波されており、これらの低域通過信号は、局部発振器周波数(LO周波数)により生成されたものであるために互いに異なっており、90度づつ位相が異なる。上側の低域通過フィルタ553は直交位相(quadrature)信号554を出力し、下側の低域通過フィルタ553は同相(in-phase)信号555を出力する。これら2つの信号、つまりI及びQは、矩形表示(rectangular representation)から振幅位相表示(magnitude phase representation)を生成する座標変換器556へと入力される。図5aのそれぞれの時間軸上の絶対値信号又は振幅信号は、出力557において出力される。位相信号は位相アンラッパ(phase unwrapper)558へと供給される。要素558の出力において、常に0〜360度の間にあるような位相値はもはや存在せず、線形的に増大する位相値が存在する。この「アンラップ」された位相値は、位相/周波数変換器559に供給される。この変換器559は、例えば単純な位相差分形成器として構成され、現時点での周波数値を得るために、現時点での位相から以前のある時点における位相を引き算する。この周波数値はフィルタチャネルiの一定周波数値fiと加算され、その結果、出力560において、時間的に変化する周波数値が取得される。出力560における周波数値は、一定成分(direct component)=fiと変動成分(alternating component)=周波数偏差とを有し、周波数偏差とは、フィルタチャネル内における信号の現時点の周波数と平均周波数fiとの間の周波数偏差を表す。
以上、図5a及び図5bを用いて説明したように、位相ボコーダはスペクトル情報と時間情報との分割を達成する。スペクトル情報は、各チャネルに周波数の一定成分を供給する特別なチャネル又は周波数fiの中にあり、他方、時間情報は周波数の偏差又は時間軸上の振幅の中に含まれる。
図5cは、本発明に従う帯域拡張のために実行される処理を示し、特に、位相ボコーダ202a内と、図5aの中で破線で区分された回路の部分で実行される処理を示す。
時間スケーリングのために、例えば各チャネル内の振幅信号A(t)又は各信号内の周波数信号f(t)が、それぞれデシメートされるか又は補間(interpolation)される。本発明にとっては有用である転位を目的として、信号A(t)及び信号f(t)の補間、即ち時間的な拡張または伸張が実行され、伸張済の信号A’(t)及び信号f’(t)が取得される。この時、図1で説明したように、補間は伸張係数104により制御される。位相値の補間、即ち加算器552により一定周波数を加算する前の値の補間により、図5aの個別の各発振器502の周波数は変化しない。しかし、全体的なオーディオ信号の時間的な変化は、係数2により遅くなる。その結果、オリジナルのピッチを有し時間的に伸張したトーン、即ちハーモニクスを備えたオリジナルの基本波がもたらされる。
図5aの全てのフィルタ帯域チャネルにおいて、図5cに示す信号処理が実行され、次に、結果として得られた時間的信号が、図1のデシメータ105又は図2aのデシメータ205aによりそれぞれ間引かれることで、オーディオ信号はオリジナルの持続時間へと縮減され、他方、全ての周波数は同時に2倍化される。その結果、係数2によるピッチ転位がもたらされるが、しかし、オリジナルオーディオ信号と同じ長さ、即ち同数のサンプルを持つオーディオ信号が取得される。
図5aで説明したフィルタ帯域の実施例に代えて、位相ボコーダの変形例が使用されても良い。この時、オーディオ信号100は、時間サンプルのシーケンスとして、FFT(高速フーリエ変換)処理器、或いはより一般的には短時間フーリエ変換処理器600へと供給される。FFT処理器600は図6に概略的に示すように構成されるが、オーディオ信号の時間ウィンドウイングを実行し、次に、FFTにより振幅スペクトルと位相スペクトルとの両方を計算するものである。この時、オーディオ信号の強くオーバーラップしている時間ブロックに関係する連続したスペクトルを計算する。
極端な場合には、全ての新たなオーディオ信号サンプルに対して1つの新たなスペクトルを計算しても良いし、例えば20番目の新たなサンプル毎に新たなスペクトルを計算しても良い。2つのスペクトル間にあるサンプルの距離aは、好適には制御器602により与えられる。制御器602は、さらにIFFT(逆高速フーリエ変換)処理器604へも出力するよう構成され、この処理器604はオーバーラップ処理を実行する。具体的には、IFFT処理器604は、ある振幅スペクトルと位相スペクトルとに基づいてスペクトル毎に1つのIFFTを実行することで、逆の短時間フーリエ変換を実行し、次に、オーバーラップ加算操作を実行し、その結果、時間ドメイン信号を得る。このオーバーラップ加算操作は、分析ウィンドウの影響を排除することになる。
2つのスペクトルがIFFT処理器604により処理される時、2つのスペクトル間の距離bにより時間信号の伸張が実行され、この距離bはFFTスペクトルの生成におけるスペクトル間の距離aよりも長い。基本的な考え方は、オーディオ信号を、単に分析FFTよりも大きな間隔を有するように逆FFTにより伸張することである。その結果、合成されたオーディオ信号内のスペクトルは、オリジナル・オーディオ信号内よりも遅い速度で変化する。
もし、ブロック606における位相再スケーリングがなかったと仮定すれば、その構成は周波数アーチファクトをもたらしてしまうだろう。例えば、単一の周波数binを考え、この周波数に対して45度ずつ連続的に位相値が変化するものとする。つまり、このフィルタ帯域内の信号は、各時間区間毎に一周期の8分の1の割合で、即ち45度ずつ、位相において増大することを意味し、ここでの時間区間とは、連続するFFTの間の時間区間である。もし、逆FFTの相互間隔がより離れているならば、45度の位相増大はより長い時間区間に亘って発生するということになる。つまり、この信号部分の周波数が意図せずに減少したことになる。このような周波数の減少というアーチファクトを防止するため、位相は、オーディオ信号が時間的に伸張された時の係数と正に同一の係数により再スケールされる。各FFTスペクトル値の位相は、このように係数b/aにより増大させられ、その結果、上述の意図しない周波数の減少を防止することができる。
図5cに示す実施例においては、図5aのフィルタバンク構成の中の各信号発振器で振幅/周波数制御信号の補間による伸張が行なわれたが、図6における伸張は、2つのFFTスペクトル間の距離よりも長い2つのIFFTスペクトル間の距離、即ちaよりも長いbにより達成される。この時、アーチファクトを防止するために、係数b/aにより位相再スケーリングが実行される。
位相ボコーダの詳細な説明に関しては、非特許文献13、非特許文献14、非特許文献15、非特許文献16、特許文献5の文献を参照されたい。
図2bは、図2aに記載のシステムの改良型を示し、オーディオ信号の現時点の時間的部分が過渡部分を含むか否かを決定する過渡検出器250を使用するものである。過渡部分とは、現実にオーディオ信号が全体的に大きく変化するという事実を意味し、例えば1つの時間的部分から後続の時間的部分への間に、オーディオ信号のエネルギーが50%以上変化する、即ち増加又は減少するという事実を意味する。しかし、この50%というしきい値は単なる一例であって、これより小さい値でも良いし、大きい値でも良い。代わりに、例えば有声音から歯擦音への会話において過渡を検出するために、エネルギー分布の変化を考慮しても良い。
オーディオ信号の過渡部分が検出された場合、ハーモニックな転位は実行されず、過渡の時間領域の間、図2bのブロック260で示すように、非ハーモニックなコピー操作か、非ハーモニックなミラー操作か、あるいは他の帯域拡張アルゴリズムへの切替が実行される。その後、もしこのオーディオ信号がもはや過渡ではないと検出された場合には、図1における要素102、105で示すように、ハーモニックな転位が再度実行される。これは、図2bにおいてはブロック270で示される。
オーディオ信号のある時間的な部分が過渡であるか非過渡であるかという事実によって時間的にオフセット状態で到着する、ブロック270の出力とブロック260の出力とは、結合器280へ供給され、この結合器280は時間に亘る帯域通過信号を出力し、この帯域通過信号は、例えば図2aのブロック109a内の調性補正へと供給されても良い。代わりに、ブロック280による結合は、例えば加算器111の後で実行されても良い。しかし、その場合には、オーディオ信号の変換ブロック全体について、過渡特性が推定される。もしフィルタバンク構成がブロック単位で作動する場合には、そのような各ブロックについて、それぞれ過渡又は非過渡の決定が行なわれる。
図2aに記載し、図5及び図6に関してより詳細に説明した、位相ボコーダ202a,202b,202cは、非過渡信号部分の処理の場合よりも過渡信号部分の処理の場合において、より多くのアーチファクトを生成することから、図2b内のブロック260で説明したような、非ハーモニックなコピー操作又はミラー操作への切替が実行される。その代わりに、例えばLarocheによる専門書である上述の非特許文献14、又は上述の特許文献5に示されるように、過渡への位相リセットもまた実行されても良い。
上述のように、スペクトルのHF部分を生成した後に、ブロック109a及び109bにおいて、スペクトル形成とノイズのオリジナル値への調整が実行される。このスペクトル形成は、例えばスケールファクタか、dB(A)-重み付きのスケールファクタか、又は線形予測の助けを借りて実行されても良く、特に線形予測の場合には、時間/周波数変換とそれに続く周波数/時間変換とが不要であるという長所がある。
本発明は、位相ボコーダを使用することで、スペクトルが周波数の増大につれて伸張し、常に整数倍の伸張により正確にハーモニックに連続するという点で有利である。そのため、LF領域のカットオフ周波数における粗さの結果は除去され、スペクトルのHF部分が余りにも密に占有されたことによる干渉は防止される。さらに、フィルタバンク・パッチング操作を必要としないような、効率的な位相ボコーダの構成も使用することができる。
上述の方法に代えて、例えばPSOLA法(Pitch Synchronous Overlap Add)など、他の信号伸張方法も使用可能である。このPSOLA法は、音声信号の記録がデータベースの中に位置する合成方法である。これら音声信号が周期的な信号である限り、基本周波数(ピッチ)の情報を持ち、各周期の開始はマークされている。この合成方法においては、これらの周期はあるウィンドウ関数を用いて所定の条件により切り離され、帯域拡張信号に対して加算されて適切な位置に合成される。この時、所望の基本周波数がデータベース・エントリの基本周波数よりも高いか低いかによって、上記周期はオリジナル内における状態よりもより緻密に、あるいはより粗い状態に、順応して結合される。音響の持続時間を調整するために、周期は無視しても良いし、2倍で出力されても良い。この方法はTD−PSOLAとも呼ばれ、このTDとは時間ドメインを意味し、この方法が時間ドメインで作動することを強調するものである。さらなる発展型として、MBROLA法(MultiBand Resynthesis OverLap Add method)がある。この方法では、データベース内のセグメントは前処理により一定の基本周波数を持つように処理され、ハーモニックの位相位置が正規化される。これにより、1つのセグメントから次のセグメントへの変化の合成において、知覚可能な干渉は少なくなり、より高い音声品質が達成される。
さらに他の実施例では、オーディオ信号は伸張の前に既に帯域通過濾波されており、その結果、伸張及びデシメーションの後の信号は、既に所望の部分を含んでおり、後続の帯域通過濾波が省略可能となる。この場合には、帯域通過フィルタは、帯域拡張の後では除去されるであろうオーディオ信号部分がこの帯域通過フィルタの出力信号の中にまだ含まれているように、設定される。つまり、帯域通過フィルタの出力信号は、伸張及びデシメーションの後にはオーディオ信号106の中に含まれていない周波数領域を含む。この周波数領域を持つ信号は、合成された高周波信号を形成する所望の信号である。この実施例では、ディストータ109は、帯域通過信号を歪ませるのではなく、帯域通過濾波済のオーディオ信号から導出された、伸張されかつデシメートされた信号を歪ませる。
さらに注目すべきは、例えばオリジナル信号と伸張された信号とをミキシングすることにより、伸張された信号はオリジナル信号の周波数領域においても役立つことがあり、そのため、「厳密な」通過帯域が必要でなくなるという点である。この伸張された信号は、この伸張された信号が周波数に関してオリジナル信号とオーバーラップするような周波数帯域内でオリジナル信号とミキシングされるのが良く、このオーバーラップした領域でオリジナル信号の特性に修正を加えることができる。
さらに注目すべきは、ディストータ109とフィルタ107との機能は、1つのフィルタブロックの中で構成されても良いし、あるいは2つのカスケードされた個別のフィルタで構成されても良い。歪みの生成は入力信号に依存して実行されるので、このフィルタブロックの振幅特性は変化し得る。しかし、その周波数特性は入力信号から独立している。
実施例によるが、図1に示すように、最初にオーディオ信号全体が伸張され、デシメートされ、次に濾波されても良く、この濾波は要素107と109との操作に対応する。歪み生成操作は濾波の後でも良いし、同時に行なわれても良い。その意味では、デジタルフィルタの形式を持つ濾波/歪み生成の結合ブロックが適切である。代わりに、(帯域通過)フィルタ(107)の前に、2つの異なるフィルタ要素を用いた歪み生成操作が実行されても良い。
さらに他の方法として、伸張の前に帯域通過濾波が実行され、デシメートの後には歪み生成操作(109)だけが続くようにしても良い。これらの機能のために2つの異なる要素を使用することが望ましい。
さらに他の方法として、また上述の変形例の全てにおいて、歪み生成は合成信号とオリジナルオーディオ信号との結合の後で実行されても良い。この歪み生成は、例えば、オリジナルオーディオ信号の周波数領域においては、濾波されるべき信号に対する影響が全くないか又は非常に小さく、しかし、拡張された周波数領域においては所望の包絡を生成するようなフィルタを用いたものでも良い。その場合にも、抽出と歪み生成のために異なる2つの要素を使用することが望ましい。
本発明の概念は、全帯域幅を使用できないあらゆるオーディオ・アプリケーションに対して適している。例えば、デジタルラジオやインターネット・ストリーミングを用いたオーディオコンテンツの普及のため、及びオーディオコミュニケーション・アプリケーションのために、本発明の概念が使用可能である。
実施条件に依るが、本発明の実施例は、ハードウエア又はソフトウエアにおいて情報信号を分析するために実現可能である。その実施の形態は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するデジタル記憶媒体、具体的にはフレキシブルディスク又はCDなどのデジタル記憶媒体を使用して実行することができる。一般に、本発明の実施形態は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、機械読取が可能なキャリアに格納された、本発明の方法を実行するプログラムコードを有するコンピュータプログラム製品として実現することができる。換言すれば、本発明の実施形態は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、前記方法を実行するように作動することができるコンピュータプログラムとして実現できる。
100 オーディオ信号
102 信号スプレッダ
104 伸張係数入力
105 デシメータ
106 デシメート済のオーディオ信号
107 フィルタ
108 歪み信号
109 ディストータ
111 結合器
112 帯域拡張されたオーディオ信号

Claims (13)

  1. オーディオ信号の帯域拡張のための装置であって、
    伸張係数2によって前記オーディオ信号を時間的に伸張し、第1の伸張信号を取得する第1の信号スプレッダと、
    伸張係数3によって前記オーディオ信号を時間的に伸張し、第2の伸張信号を取得する第2の信号スプレッダと、
    デシメーション係数2により前記第1の伸張信号をデシメートし、第1のデシメート済信号を得る第1のデシメータと、
    デシメーション係数3により前記第2の伸張信号をデシメートし、第2のデシメート済信号を得る第2のデシメータと、
    前記第1のデシメート済信号から前記オーディオ信号には含まれていない周波数領域を含む信号を抽出するための第1のフィルタ、又は、前記第1の信号スプレッダによる伸張の前に前記オーディオ信号からある信号を抽出するための第1のフィルタであって、この信号は前記第1のデシメート済信号の中に含まれていない周波数領域を含む、第1のフィルタと、
    前記第2のデシメート済信号から前記オーディオ信号には含まれていない周波数領域を含む信号を抽出するための第2のフィルタ、又は、前記第2の信号スプレッダによる伸張の前に前記オーディオ信号からある信号を抽出するための第2のフィルタであって、この信号は前記第2のデシメート済信号の中に含まれていない周波数領域を含む、第2のフィルタと、
    前記第1及び第2のフィルタによる抽出信号、前記第1及び第2のデシメート済信号、又は結合済信号を所定の包絡を有するように歪ませるディストータと、
    前記第1及び第2のフィルタによる抽出信号、前記第1及び第2のデシメート済信号、又は前記ディストータにより歪ませられた信号と、前記オーディオ信号とを結合し、拡張係数2及び拡張係数3によって前記オーディオ信号に比べて帯域拡張されたオーディオ信号を取得する結合器と、を含むことを特徴とする装置。
  2. 前記第1及び第2の信号スプレッダは、前記オーディオ信号のピッチが変化しないように前記オーディオ信号を伸張することを特徴とする、請求項1に記載の装置。
  3. 前記第1及び第2の信号スプレッダは、前記オーディオ信号の持続時間が増大し且つその伸張されたオーディオ信号の帯域幅と前記オーディオ信号の帯域幅とが等しくなるように、前記オーディオ信号を伸張することを特徴とする、請求項1又は2に記載の装置。
  4. 前記第1及び第2の信号スプレッダは位相ボコーダを有することを特徴とする、請求項1乃至3のいずれか1項に記載の装置。
  5. 前記ボコーダはフィルタバンク構成か、又はフーリエ変換構成であることを特徴とする、請求項4に記載の装置
  6. 追加の位相ボコーダ(202c)と、その下流のデシメータ(205c)と、その下流の帯域通過フィルタ(207c)とを含む追加のグループであって、伸張係数は(k)に設定され、加算器(209)に供給されても良い追加の帯域通過信号を生成するグループをさらに備えることを特徴とする、請求項1に記載の装置。
  7. 前記ディストータは、送信されたパラメータ(713)に基づいて歪みを与えることを特徴とする、請求項1乃至6のいずれか1項に記載の装置。
  8. 前記オーディオ信号の中に過渡部分が検出された時、前記第1及び第2の信号スプレッダ又は前記第1及び第2のデシメータを制御し、高域スペクトル部分を生成するための他の方法を実行する過渡検出器をさらに備えることを特徴とする、請求項1乃至7のいずれか1項に記載の装置。
  9. 前記第1及び第2のフィルタによって抽出された帯域通過信号又は前記歪ませられた帯域通過信号の調性或いはノイズを調整するための、調性/ノイズ修正モジュール(109a)をさらに備えることを特徴とする、請求項1乃至8のいずれか1項に記載の装置。
  10. 前記第1及び第2の信号スプレッダは複数のフィルタチャネルを有し、各フィルタチャネルは、時間的に変化する振幅信号(557)及び時間的に変化する周波数信号(560)を生成するためのフィルタと、これらの時間的に変化する信号により制御可能な発振器(502)とを有し、各フィルタチャネルは、前記時間的に変化する振幅信号(A(t))を補間して補間済の時間的に変化する振幅信号(A’(t))を取得する補間器、又は伸張係数(104)により前記周波数信号を補間して補間済の周波数信号を取得する補間器を有し、
    各フィルタチャネルの前記発振器(502)は、前記補間済の振幅信号又は前記補間済の周波数信号により制御されることを特徴とする、請求項1乃至9のいずれか1項に記載の装置。
  11. 前記第1及び第2の信号スプレッダは、
    前記オーディオ信号の時間サンプルのオーバーラップするブロックのための連続するスペクトルを生成するFFT処理器(600)であって、このブロックは互いの間に第1の時間間隔(a)を有しているFFT処理器と、
    周波数領域から時間領域へと連続的なスペクトルを変換して時間サンプルのオーバーラップするブロックを生成するIFFT処理器であり、このブロックは互いの間に前記第1の時間間隔(a)よりも長い第2の時間間隔(b)を有しているIFFT処理器と、
    生成されたFFTスペクトルのシーケンスのスペクトル値の位相を前記第1の時間間隔(a)と第2の時間間隔(b)との比率に従って再スケールするための位相再スケーラ(606)と、をさらに備えることを特徴とする、請求項1乃至10のいずれか1項に記載の装置。
  12. オーディオ信号の帯域拡張のための方法であって、
    伸張係数2によって前記オーディオ信号を時間的に伸張し、第1の伸張信号を取得するステップ(102)と、
    伸張係数3によって前記オーディオ信号を時間的に伸張し、第2の伸張信号を取得するステップと、
    デシメーション係数2により前記第1の伸張信号をデシメートし、第1のデシメート済信号を得るステップ(105)と、
    デシメーション係数3により前記第2の伸張信号をデシメートし、第2のデシメート済信号を得るステップと、
    前記第1のデシメート済信号(106)から前記オーディオ信号(100)には含まれていない周波数領域を含む信号を抽出するステップ、又は、前記伸張係数2による伸張(102)の前に前記オーディオ信号からある信号を抽出するステップ(107)であって、この信号は前記第1のデシメート済信号(106)の中に含まれていない周波数領域を含む、ステップと、
    前記第2のデシメート済信号から前記オーディオ信号(100)には含まれていない周波数領域を含む信号を抽出するステップ、又は、前記伸張係数3による伸張の前に前記オーディオ信号からある信号を抽出するステップであって、この信号は前記第2のデシメート済信号の中に含まれていない周波数領域を含む、ステップと、
    前記抽出された信号、前記第1及び第2のデシメート済信号、又は結合済信号を所定の包絡を有するように歪ませるステップと、
    前記抽出された信号、前記第1及び第2のデシメート済信号、又は前記歪ませられた信号と、前記オーディオ信号とを結合し、拡張係数2及び拡張係数3によって前記オーディオ信号に比べて帯域拡張されたオーディオ信号を取得するステップ(111)と、を含むことを特徴とする方法。
  13. コンピュータ請求項12に記載の方法を実行させるためのコンピュータプログラム。
JP2010544618A 2008-01-31 2009-01-20 オーディオ信号の帯域拡張のための装置及び方法 Active JP5192053B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US2512908P 2008-01-31 2008-01-31
US61/025,129 2008-01-31
DE102008015702A DE102008015702B4 (de) 2008-01-31 2008-03-26 Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
DE102008015702.3 2008-03-26
PCT/EP2009/000329 WO2009095169A1 (en) 2008-01-31 2009-01-20 Device and method for a bandwidth extension of an audio signal

Publications (2)

Publication Number Publication Date
JP2011511311A JP2011511311A (ja) 2011-04-07
JP5192053B2 true JP5192053B2 (ja) 2013-05-08

Family

ID=40822253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010544618A Active JP5192053B2 (ja) 2008-01-31 2009-01-20 オーディオ信号の帯域拡張のための装置及び方法

Country Status (18)

Country Link
US (1) US8996362B2 (ja)
EP (4) EP4102503B1 (ja)
JP (1) JP5192053B2 (ja)
KR (1) KR101164351B1 (ja)
CN (1) CN101933087B (ja)
AU (1) AU2009210303B2 (ja)
BR (1) BRPI0905795B1 (ja)
CA (1) CA2713744C (ja)
DE (1) DE102008015702B4 (ja)
DK (1) DK3264414T3 (ja)
ES (2) ES2925696T3 (ja)
HK (1) HK1248912A1 (ja)
MX (1) MX2010008378A (ja)
PL (1) PL3264414T3 (ja)
PT (1) PT3264414T (ja)
RU (1) RU2455710C2 (ja)
TW (1) TWI515721B (ja)
WO (1) WO2009095169A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47180E1 (en) * 2008-07-11 2018-12-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a bandwidth extended signal
US8880410B2 (en) * 2008-07-11 2014-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a bandwidth extended signal
PL4231290T3 (pl) 2008-12-15 2024-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
BRPI1007528B1 (pt) 2009-01-28 2020-10-13 Dolby International Ab Sistema para gerar um sinal de áudio de saída a partir de um sinal de áudio de entrada usando um fator de transposição t, método para transpor um sinal de áudio de entrada por um fator de transposição t e meio de armazenamento
RU2493618C2 (ru) 2009-01-28 2013-09-20 Долби Интернешнл Аб Усовершенствованное гармоническое преобразование
US8515768B2 (en) * 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
JP5433022B2 (ja) * 2009-09-18 2014-03-05 ドルビー インターナショナル アーベー 高調波転換
AU2010310041B2 (en) * 2009-10-21 2013-08-15 Dolby International Ab Apparatus and method for generating a high frequency audio signal using adaptive oversampling
KR102020334B1 (ko) 2010-01-19 2019-09-10 돌비 인터네셔널 에이비 고조파 전위에 기초하여 개선된 서브밴드 블록
ES2522171T3 (es) 2010-03-09 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para procesar una señal de audio usando alineación de borde de patching
PL2545551T3 (pl) 2010-03-09 2018-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Poprawiona charakterystyka amplitudowa i zrównanie czasowe w powiększaniu szerokości pasma na bazie wokodera fazowego dla sygnałów audio
KR101412117B1 (ko) 2010-03-09 2014-06-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 재생 속도 또는 피치를 변경할 때 오디오 신호에서 과도 사운드 이벤트를 처리하기 위한 장치 및 방법
EP2388780A1 (en) 2010-05-19 2011-11-23 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for extending or compressing time sections of an audio signal
MX2012001696A (es) 2010-06-09 2012-02-22 Panasonic Corp Metodo de extension de ancho de banda, aparato de extension de ancho de banda, programa, circuito integrado, y aparato de descodificacion de audio.
CN102610231B (zh) * 2011-01-24 2013-10-09 华为技术有限公司 一种带宽扩展方法及装置
ES2639646T3 (es) 2011-02-14 2017-10-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de posiciones de impulso de pistas de una señal de audio
CN103477387B (zh) 2011-02-14 2015-11-25 弗兰霍菲尔运输应用研究公司 使用频谱域噪声整形的基于线性预测的编码方案
MY166394A (en) 2011-02-14 2018-06-25 Fraunhofer Ges Forschung Information signal representation using lapped transform
KR101551046B1 (ko) 2011-02-14 2015-09-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법
KR101525185B1 (ko) 2011-02-14 2015-06-02 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 트랜지언트 검출 및 품질 결과를 사용하여 일부분의 오디오 신호를 코딩하기 위한 장치 및 방법
BR112013020482B1 (pt) 2011-02-14 2021-02-23 Fraunhofer Ges Forschung aparelho e método para processar um sinal de áudio decodificado em um domínio espectral
WO2012131438A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation A low band bandwidth extender
JP2013007944A (ja) * 2011-06-27 2013-01-10 Sony Corp 信号処理装置、信号処理方法、及び、プログラム
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
BR112013026452B1 (pt) * 2012-01-20 2021-02-17 Fraunhofer-Gellschaft Zur Förderung Der Angewandten Forschung E.V. aparelho e método para codificação e decodificação de áudio empregando substituição sinusoidal
HUE028238T2 (en) * 2012-03-29 2016-12-28 ERICSSON TELEFON AB L M (publ) Extend the bandwidth of a harmonic audio signal
EP2709106A1 (en) 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
KR101775084B1 (ko) * 2013-01-29 2017-09-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 주파수 향상 오디오 신호를 생성하는 디코더, 디코딩 방법, 인코딩된 신호를 생성하는 인코더, 및 컴팩트 선택 사이드 정보를 이용한 인코딩 방법
CN103971693B (zh) * 2013-01-29 2017-02-22 华为技术有限公司 高频带信号的预测方法、编/解码设备
MX346945B (es) * 2013-01-29 2017-04-06 Fraunhofer Ges Forschung Aparato y metodo para generar una señal de refuerzo de frecuencia mediante una operacion de limitacion de energia.
KR101463022B1 (ko) * 2013-01-31 2014-11-18 (주)루먼텍 광대역 가변 대역폭 채널 필터 및 그 필터링 방법
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
BR112016015695B1 (pt) * 2014-01-07 2022-11-16 Harman International Industries, Incorporated Sistema, mídia e método para tratamento de sinais de áudio comprimidos
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
PL3128513T3 (pl) * 2014-03-31 2019-11-29 Fraunhofer Ges Forschung Koder, dekoder, sposób kodowania, sposób dekodowania i program
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
EP3182411A1 (en) 2015-12-14 2017-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an encoded audio signal
US10074373B2 (en) * 2015-12-21 2018-09-11 Qualcomm Incorporated Channel adjustment for inter-frame temporal shift variations
US10008218B2 (en) 2016-08-03 2018-06-26 Dolby Laboratories Licensing Corporation Blind bandwidth extension using K-means and a support vector machine
EP3382703A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
EP3435376B1 (en) * 2017-07-28 2020-01-22 Fujitsu Limited Audio encoding apparatus and audio encoding method
US10872611B2 (en) * 2017-09-12 2020-12-22 Qualcomm Incorporated Selecting channel adjustment method for inter-frame temporal shift variations
WO2019081070A1 (en) * 2017-10-27 2019-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS, METHOD, OR COMPUTER PROGRAM PRODUCT FOR GENERATING ENHANCED BANDWIDTH AUDIO SIGNAL USING NEURAL NETWORK PROCESSOR
IL313348A (en) 2018-04-25 2024-08-01 Dolby Int Ab Combining high-frequency restoration techniques with reduced post-processing delay
IL278223B2 (en) 2018-04-25 2023-12-01 Dolby Int Ab Combining high-frequency audio reconstruction techniques
CN110660400B (zh) 2018-06-29 2022-07-12 华为技术有限公司 立体声信号的编码、解码方法、编码装置和解码装置
US11100941B2 (en) * 2018-08-21 2021-08-24 Krisp Technologies, Inc. Speech enhancement and noise suppression systems and methods
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
CN111786674B (zh) * 2020-07-09 2022-08-16 北京大学 一种模数转换系统模拟带宽扩展的方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH10124088A (ja) 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
JP3946812B2 (ja) * 1997-05-12 2007-07-18 ソニー株式会社 オーディオ信号変換装置及びオーディオ信号変換方法
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JPH11215006A (ja) 1998-01-29 1999-08-06 Olympus Optical Co Ltd ディジタル音声信号の送信装置及び受信装置
US20030156624A1 (en) * 2002-02-08 2003-08-21 Koslar Signal transmission method with frequency and time spreading
US6549884B1 (en) 1999-09-21 2003-04-15 Creative Technology Ltd. Phase-vocoder pitch-shifting
AU2001220988B2 (en) * 2000-03-23 2004-04-29 Interdigital Technology Corporation Efficient spreader for spread spectrum communication systems
EP1431962B1 (en) * 2000-05-22 2006-04-05 Texas Instruments Incorporated Wideband speech coding system and method
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
EP1351401B1 (en) * 2001-07-13 2009-01-14 Panasonic Corporation Audio signal decoding device and audio signal encoding device
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
JP4567412B2 (ja) * 2004-10-25 2010-10-20 アルパイン株式会社 音声再生機および音声再生方法
JP2006243043A (ja) 2005-02-28 2006-09-14 Sanyo Electric Co Ltd 高域補間装置及び再生装置
JP2006243041A (ja) * 2005-02-28 2006-09-14 Yutaka Yamamoto 高域補間装置及び再生装置
JP5129117B2 (ja) 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
JP4701392B2 (ja) 2005-07-20 2011-06-15 国立大学法人九州工業大学 高域信号補間方法及び高域信号補間装置
AU2012220369C1 (en) 2011-02-25 2017-12-14 Mobile Pipe Solutions Limited Mobile plastics extrusion plant

Also Published As

Publication number Publication date
EP4102503C0 (en) 2024-07-24
EP4102503A1 (en) 2022-12-14
ES2925696T3 (es) 2022-10-19
EP3264414A1 (en) 2018-01-03
CA2713744A1 (en) 2009-08-06
KR20110007083A (ko) 2011-01-21
RU2455710C2 (ru) 2012-07-10
EP2238591A1 (en) 2010-10-13
EP4102503B1 (en) 2024-07-24
AU2009210303B2 (en) 2011-11-10
US20110054885A1 (en) 2011-03-03
EP4425492A2 (en) 2024-09-04
CN101933087A (zh) 2010-12-29
MX2010008378A (es) 2010-08-18
ES2649012T3 (es) 2018-01-09
DE102008015702B4 (de) 2010-03-11
BRPI0905795B1 (pt) 2020-04-22
DK3264414T3 (da) 2022-08-15
WO2009095169A1 (en) 2009-08-06
EP2238591B1 (en) 2017-09-06
TWI515721B (zh) 2016-01-01
PL3264414T3 (pl) 2022-11-21
TW200939211A (en) 2009-09-16
KR101164351B1 (ko) 2012-07-09
AU2009210303A1 (en) 2009-08-06
EP3264414B1 (en) 2022-07-20
EP4425492A3 (en) 2024-10-02
HK1248912A1 (zh) 2018-10-19
JP2011511311A (ja) 2011-04-07
CN101933087B (zh) 2014-03-26
CA2713744C (en) 2015-07-14
DE102008015702A1 (de) 2009-08-06
US8996362B2 (en) 2015-03-31
BRPI0905795A2 (pt) 2017-10-31
PT3264414T (pt) 2022-09-12
RU2010131420A (ru) 2012-02-10

Similar Documents

Publication Publication Date Title
JP5192053B2 (ja) オーディオ信号の帯域拡張のための装置及び方法
US10032458B2 (en) Apparatus and method for processing an input audio signal using cascaded filterbanks
US9230558B2 (en) Device and method for manipulating an audio signal having a transient event
JP6229957B2 (ja) 音声信号を再生するための装置および方法、符号化音声信号を生成するための装置および方法、コンピュータプログラム、および符号化音声信号
RU2452044C1 (ru) Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
AU2012216538B2 (en) Device and method for manipulating an audio signal having a transient event

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120910

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5192053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250