JP3623449B2 - 符号化されたオーディオ信号中のエラーを隠蔽する方法と装置および符号化されたオーディオ信号を復号化する方法と装置 - Google Patents
符号化されたオーディオ信号中のエラーを隠蔽する方法と装置および符号化されたオーディオ信号を復号化する方法と装置 Download PDFInfo
- Publication number
- JP3623449B2 JP3623449B2 JP2000617440A JP2000617440A JP3623449B2 JP 3623449 B2 JP3623449 B2 JP 3623449B2 JP 2000617440 A JP2000617440 A JP 2000617440A JP 2000617440 A JP2000617440 A JP 2000617440A JP 3623449 B2 JP3623449 B2 JP 3623449B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral coefficients
- spectral
- subbands
- coefficients
- subband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
Description
本発明はオーディオ信号の符号化(encoding)および復号化(decoding)に関し、特にデジタル符号化されたオーディオ信号中のエラー隠蔽に関する。
【0002】
現代的なオーディオ符号器(encoders)とそれに対応するオーディオ復号器(decoders)、すなわちMPEG標準規格の一つに沿って作動する符号器と復号器が広範囲で使用されるようになった結果、符号化されたオーディオ信号を無線ネットワークまたはインターネットのような有線ネットワークを通じて伝送することが、既に非常に重要となっている。符号化されたオーディオ信号の伝送に係る伝送チャネルとして、デジタル無線(digital radio) や有線ネットワークを通じた伝送は、理想的ではない。なぜなら、符号化されたオーディオ信号が、伝送の途中で不利な影響を受ける可能性があるからである。その結果、復号器は伝送エラーをどのように扱うべきかという問題、すなわち、どのようにこれらのエラーを隠蔽するかという問題に直面することになる。エラー隠蔽の目的は、エラーの影響を受けて復号化されたオーディオ信号から引き起こされる主観的な聴覚的不快感を改善するように、伝送エラーを巧みに処理することである。
【0003】
多数のエラー隠蔽方法が既に知られている。エラー隠蔽の最も簡素なタイプは、「消音」(“muting”)による方法である。復号器がデータの欠落やエラーを認識した場合には、復号器は再生をオフにする。そして、欠落したデータはゼロ信号に置き換えられる。このようにして復号器は、伝送エラーによる、大きすぎる音や不快な音を出力することを防止できる。しかし、聴覚心理的な効果により、その結果として発生する信号エネルギーの急降下や、また復号器がエラーの無いデータを再度出力する時に発生する急上昇は、耳障りなものとなる。
【0004】
別の公知の方法で、信号エネルギーの急降下とその後の急上昇を避ける方法として、データ反復法がある。もし、例えばオーディオ信号のブロックが1つまたはそれ以上欠けている場合には、エラーの無い、すなわち無傷のデータ(intact data) が再度得られるまで、最後に伝送されて来たデータの一部がループ状に反復される。しかし、この方法は不快なデータをも生成してしまう。もしオーディオ信号の短い部分のみが反復されるならば、基本周波数が反復周波数と同一となり、オリジナルの信号がどのようなものであっても、反復された信号は機械的に聞こえる。より長い部分が反復されるならば、ある種のエコー効果が起こり、これもまた耳障りとなる。
【0005】
時間オーディオ信号(temporal audio signal) をスペクトル表現するブロック指向の変換符号器/復号器(block−oriented transform encoders/decoders)の中では、エラーを含むオーディオデータの場合でも、スペクトル値予測を実行する可能性がある。もし、1つのブロック内のスペクトル値がエラーを含むと認識された時は、それらのスペクトル値は、先行する1つまたは複数のフレームを基にして、予測される、すなわち推定されることができる。もしそのオーディオ信号が安定したものであれば、すなわち、そのオーディオ信号が信号エンベロープの中で急激な変化をしないのであれば、この予測されたスペクトル値は、所定の限度内でエラーを含むスペクトル値と対応する。もし、例えばMPEG AAC標準規格(ISO/IEC13818−7 MPEG−2 Advanced Audio Coding) を用いた方法の場合には、1つの通常ブロック、または符号化されたオーディオデータの1つのフレームは、1024個のスペクトル値を含んでいる。そのため、スペクトル値予測方法のためには、もし1つの完全なフレームが欠落した場合に全てのスペクトル値が予測できるように、復号器の中に並列処理可能な1024個の予測器が必要となるだろう。
【0006】
上記予測方法の問題は、比較的高いレベルの演算処理上の問題である。すなわち、受け取られた多数メディアまたはオーディオデータ信号のリアルタイム復号化が必要という問題であり、これを解決することは現在では不可能である。
【0007】
上記予測方法のさらに重大な欠点は、使用される変換アルゴリズム、つまり変形離散コサイン変換(MDCT modified discrete cosine transform)に起因するものである。MDCTアルゴリズムは、理想的なフーリエスペクトルを提供するのではなく、理想的なフーリエスペクトルから外れた「スペクトル」を提供するものであることは、一般的に知られている。複数の研究の報告によると、1つのサイン時間関数、例えばそのサイン関数の周波数においては単一のスペクトルラインを備えたフーリエスペクトルを持つサイン時間関数は、1つのMDCT「スペクトル」を持ち、これはそのサイン関数の周波数においては支配的なスペクトル係数を持つものであるが、さらにまた、他の周波数値においてもさらなるスペクトル係数を持つ。さらに、1つのサイン関数のMDCT「スペクトル」の高さは、各フレーム間で同一というものではなく、各フレーム毎に変化する。別の事実として、MDCT変換は、厳密に言えばエネルギー消費が大きくないことが挙げられる。以上から言えることは、MDCT変換は必ず逆MDCT変換と共に作動するが、MDCTスペクトルは、フーリエスペクトルとはかなり異なるということである。そのため、MDCTスペクトル係数のスペクトル値予測は、高い精度が求められる場合には、不適当となる。
【0008】
スペクトル値予測のさらなる欠点、特に現代的なオーディオ符号化方法に関連する欠点として、現代的なオーディオ符号化方法においては、異なるウィンドウ長またはウィンドウの形が使用される事が挙げられる。符号化されるべきオーディオ信号の中に急速な変化(過渡的変化(transients)または「アタック」) が存在する時は、1つのロングブロックに亘って「傷つけられた」複数のMDCTスペクトル係数の量子化に起因する量子化ノイズ、すなわちプリ・エコーの発現を防止する目的で、現代的な変換符号器は、過渡的なオーディオ信号、すなわち「アタック」を持つオーディオ信号に対してはショートウィンドウを使用し、周波数分解能(frequency resolution)を犠牲にして、時間的分解能(temporal resolution) を増加させる。しかしこれは、スペクトル値予測のためには、ウィンドウ長とウィンドウの形の両方を、(さらに言えば、ウィンドウ化(windowing) がショートブロックから始めてロングブロックへと変化するか、またはその逆に変化する変遷ウィンドウ(transition windows)の存在をも) 、常に考慮に入れられなければならないことを意味する。これは、スペクトル値予測の複雑さを増すことになり、演算効率にも大きく悪影響をもたらすことになるだろう。
【0009】
ドイツ特許公開DE4034017A1は、周波数符号化デジタル信号の伝送中のエラー検出方法に関する。周波数係数から、あるいは先行するフレームか時には後続のフレームから、エラー関数が形成され、この関数を基にしてエラーの発生が検出される。エラーを含む周波数係数は、後続のフレームの評価には含まれない。
【0010】
ドイツ特許公開DE19735675A1は、オーディオデータストリーム内のエラーを隠蔽する方法を開示している。まず無傷のオーディオデータのサブグループのスペクトルエネルギーが計算される。この無傷のオーディオデータのサブグループについて計算されたスペクトルエネルギーを用いて置換データのパターンを生成した後、上記サブグループに相当するオーディオデータでエラーを含むか欠落したオーディオデータのための置換データが、上記パターンに沿って生成される。
【0011】
本発明は目的は、限られた演算労力(computational effort)によって実現可能な、オーディオ信号のための、精密かつフレキシブルなエラー隠蔽の方法および装置を提供することである。
【0012】
この目的は、請求項1に記載のエラー隠蔽方法と、請求項12に記載のエラー隠蔽装置とで達成される。
【0013】
本発明のさらなる目的は、エラーに対して寛容でかつフレキシブルなオーディオ信号の復号化方法および装置を提供することである。
【0014】
この目的は、請求項10に記載の符号化されたオーディオ信号の復号化方法と、請求項13に記載の符号化されたオーディオ信号の復号化装置とで達成される。
【0015】
本発明の基礎となる知見は、以下の通りである。すなわち、スペクトル値予測の欠点は、使用される変換アルゴリズムに対する依存性と、ウィンドウの形とブロック長に対する依存性とに帰するものであり、この欠点は、「準」時間ドメイン(“quasi” time domain) の中で機能する予測を用いてエラー隠蔽を実行すれば、避けることが可能であるという発見である。そのため、望ましくは1つのロングブロックまたは複数のショートブロックに相当する1セットのスペクトル値が、サブバンドに分割される。スペクトル係数の現時点のセット(current set) のサブバンドは、その後、逆方向変換(reverse transform) を施され、そのサブバンドのスペクトル係数に相当する時間信号が得られる。スペクトル係数の次のセットのための推定値を生成するために、このサブバンドの時間信号を基にした予測が実行される。
【0016】
ここで指摘すべきことは、この予測は準時間ドメインの中で実行されるということである。なぜなら、この予測が実行される基礎となる時間信号は、符号化されたオーディオ信号の1つのサブバンドの時間信号に過ぎず、そのオーディオ信号のスペクトル全体の時間信号ではないからである。予測により生成された時間信号は、スペクトル係数の次のセットのサブバンドのための、推定の、すなわち予測のスペクトル係数を得るために、順方向変換(forward transform) が施される。もし、スペクトル係数の次のセットの中に1つあるいは複数のエラーを含むスペクトル係数があると認識された時は、そのエラーを含むスペクトル係数は、推定の、すなわち予測のスペクトル係数によって置換されることができる。
【0017】
純粋なスペクトル値予測と比較して、本発明に係るエラー隠蔽の方法では、必要とされる演算上の労力が少ない。なぜなら、スペクトル係数は既にグループ化されているので、予測は各サブバンドについて実行されるだけで良く、各スペクトル係数については必要ないからである。さらに、本発明に係る方法では、処理されるべき信号の特性を考慮に入れることができるので、高いレベルの適応性を提供する。
【0018】
本発明に係るノイズ置換(noize substition)は、特に調性信号(tonal signals) に対して良好に作用する。しかし、調性信号部分はオーディオ信号のスペクトルの低周波数帯域において出現する可能性が高く、その一方、高周波数信号部分は不安定である可能性が高い、つまりノイズが多いということが、これまでに発見されている。本発明の明細書の中では、「ノイズの多い信号部分」とは、安定した信号とはかけ離れた信号部分を意味する。しかし、これらのノイズの多い信号部分は、必ずしも古い意味でのノイズを表すものではなく、単にユーザーの信号を急速に変化させるものを意味することもある。
【0019】
演算上の労力をさらに軽減させるという目的で、本発明によれば、より低周波数の信号部分のみに予測処理を施し、より高周波数の信号部分には何の処理も施さないという場合も可能となる。換言すれば、最低またはより低いサブバンドのみに対し、逆方向変換,予測,そして順方向変換の処理を施すことも可能である。
【0020】
オーディオ信号全体を完全に時間ドメインに変換し、かつ時間オーディオ信号の全体を、いわゆる「ロングターム」予測器を用いてブロックからブロックへと予測する方法とは対照的に、本発明の上記の特徴は重要な利点を生む。なぜなら、本発明によれば、時間ドメインにおける予測の利点は、スペクトル分解(spectral decomposition)の利点と組み合わさっているからである。スペクトル分解が伴う場合にのみ、周波数に依存するオーディオ信号特性を考慮に入れることが可能となる。スペクトル係数のセットを分割することにより生成されるサブバンドの個数は、任意である。もし、サブバンドは2つだけと選択された場合には、調性(tonality)を考慮に入れる場合の利点は、そのオーディオ信号のより低周波数帯域において、明らかとなる。もし反対に、多数個のサブバンドが選択された場合には、準時間ドメイン内の予測器は、その遅延が大きくなり過ぎないように、比較的短い長さを持つだろう。個々のサブバンドは、望ましくは並列処理されるので、本発明に係る配線された集積回路(hard−wired integrated circuit)を用いた実施例では、並列に繋がった複数の予測器回路(predictor circuit)が必要となる。
【0021】
もし本発明が、異なるブロック長を用いる変換符号器と関連して使用された場合には、予測器そのものがブロック長およびウィンドウの形から独立した関係になるという利点が生まれる。さらに、逆方向変換により、MDCTとの関連で上述したように使用された変換アルゴリズムに対する依存性は、限られたものとなる。さらに、本発明のエラー隠蔽についての概念は、逆方向変換と、時間ドメインにおける予測と順方向変換とによって、正しい位相を持つ予測スペクトル係数を供給する。すなわち、スペクトル係数の先行する無傷のセットの時間信号に関連して予測されたスペクトル係数に起因する、時間信号の中の位相ジャンプは無いのである。結果として、エラーまたは欠落を持つ信号部分が、調性信号により非常に良好に置換され、通常のリスナーはほとんどの場合、エラーが起こったことさえ気が付かない。
【0022】
最後に、本発明に係る方法は、特に、ドイツ特許公開DE19735675A1に開示されたエラー隠蔽技術と合わせて採用されるのに適している。この先行技術は、ノイズが多い信号部分を置換するのに適したものである。もし、欠落を持つ1つのブロックの調性信号部分が、本発明に係る方法によって隠蔽され、かつ、もしノイズの多い信号部分が上述の公知の方法、すなわち置換されたデータと無傷のデータとの間のエネルギー類似性に基づく公知の方法によって結合されるならば、完全に欠落したブロックも、普通のリスナーには実際には聞き取れない程度まで隠蔽することができる。
【0023】
本発明の望ましい実施例を、添付図を参照しながら以下に詳細に説明する。
図1は本発明にかかるエラー隠蔽ユニットを備えた復号器を示し、
図2は図1に示されたエラー隠蔽ユニットの詳細なブロック図であり、
図3は、図1に示されたエラー隠蔽ユニットであって、さらにノイズ置換を提供し、かつ予測ゲイン(prediction gain)に従って作動するエラー隠蔽ユニットの詳細なブロック図であり、
図4は本発明にかかるエラー隠蔽の方法のフローチャートであり、
図5はMPEG−2 AAC復号器用エラー隠蔽ユニットの望ましい実施例の詳細なブロック図であり、
図6は図5の予測器の詳細なブロック図であり、
図7はAAC標準規格に従ったブロック構造の概略図である。
【0024】
図1は本発明の望ましい実施例に係る復号器のブロック図を示す。図1に示された復号器ブロック図は、標準規格MPEG−2 AAC 13818−7に定義されたMPEG−2 AAC復号器にほぼ相当する。符号化されたオーディオ信号は、スペクトルデータとサイド情報とを分離するために、まずビットストリームデマルチプレクサー(bit stream demultiplexer )100に送られる。ハフマン符号化されたスペクトル係数は、そのハフマン符号語から量子化されたスペクトル値を得るために、その後ハフマン復号器200に送られる。この量子化されたスペクトル値は、その後逆量子化器(inverse quantizer )300に送られ、それぞれのスケールファクタバンドは適切なスケールファクタによって掛け算される。本発明にかかる復号器は、上記逆量子化器300に続いて、上記標準規格に記載されたように例えばミドル/サイド段階,予測器段階(predictor stage),TNS段階などの複数の追加的な関数ユニット(functional units)を結合させることができる。
【0025】
本発明の望ましい実施例によれば、復号器は合成フィルタバンク(synthesis filter bank )400の直前にエラー隠蔽ユニット500を含み、このユニット500は本発明に従って機能し、かつビットストリームデマルチプレクサー100に入力された符号化されたオーディオ信号の中に存在する伝送エラーの影響を、確実に和らげるかあるいは全く不可聴にする。換言すれば、エラー隠蔽ユニット500により、伝送エラーは確実に隠蔽される。すなわち、合成フィルタバンクから出力される時間オーディオ信号の中では、伝送エラーは全くあるいはかすかにしか聞こえない。
【0026】
図2はエラー隠蔽ユニット500の全体ブロック図を示す。これは逆方向変換ユニット502と、推定値を生成するためのユニット504と、順方向変換ユニット506とを含む。これら逆方向変換ユニット502と順方向変換ユニット506の両方は、ブロック型ライン508を介して現時点のブロックタイプ(current block type) に従って制御されることができる。エラー隠蔽ユニット500は、さらに並列分枝(parallel branch)を含む。この分枝によって入力側のスペクトル係数は、逆方向変換ユニット502と、推定値を生成するためのユニット504と、順方向変換ユニット506とを迂回して入力から出力へと直接送られることが可能になる。この並列分枝は時間遅延ステージ510を備える。これにより、順方向変換ユニット506の後に現れる次のブロックのための推定スペクトル係数と、その次のブロックのためのエラーを含む可能性のある『実際の(real)』スペクトル係数とが、エラー置換ユニット512に対して同時に到達するよう保証される。その結果、次ブロックのための実際のスペクトル係数の中に存在するいかなるエラースペクトル係数も、その次ブロックのための推定スペクトル係数によって置き換えられることが可能になる。この、スペクトル値の置き換えは、図2においてスイッチ記号512により示される。注意すべきことは、エラー置換ユニット512は、スペクトル値レベルあるいはブロックレベルまたはセットレベルで作動することができるという点である。このエラー置換ユニット512はまた、必要に応じ、サブバンドレベルでも作動することができる。このようにして、元々含まれていたいかなるエラースペクトル係数も推定スペクトル係数によって置き換えられたスペクトル係数の次のセット、すなわち、エラーが隠蔽されたスペクトル係数の次のセットが、エラー置換ユニット512から出力される。
【0027】
ここで指摘すべきことは、図2に示されたブロック図は、エラー隠蔽ユニット500の一部しか示していないという点である。明確さを重視する意味からこのような表現が選ばれた。後に、図5においては本発明の望ましい実施例を参照しながらさらに詳細に説明するが、図2に示された回路の前方には、サブバンドに分割するためのユニットが配置されている。その反対に、エラー置換ユニット512の後方には、サブバンドへの分割を解除するためのユニットが配置されている。その結果、フィルタバンク400(図1参照)は、先行するエラー隠蔽について何も感知せずに『正規』(normal)のスペクトル係数のセットを受け取ることになる。このようにエラー隠蔽ユニット500(図1参照)は、図2を参照しながら説明された回路が複数個、すなわち各サブバンドに対して1つずつの回路を含んでいる。後で詳細に説明するが、並列回路は入力側においてはサブバンド分割のためのユニットにより接続され、出力側においてはそのサブバンド分割を解消するためのユニットにより接続される。
【0028】
現代的な変換復号器は、符号化されるべきオーディオ信号中の急速な変化に対しては、時間的分解能を増加させるためにショートウィンドウを用いることが既に指摘されている。ここでは通常、1つのロングウィンドウまたはロングブロックの中の、時間サンプル値(temporal sampled values) の個数またはスペクトル係数の個数は、1つのショートウィンドウまたはショートブロックの中の、時間サンプル値の個数またはスペクトル係数の個数の、整数倍となっている。本発明の有利な点として、推定値を生成するユニット504は、使用された変換, ブロック長, ウィンドウタイプから独立して作動することができる事が挙げられる。そのため、逆方向変換ユニット502と順方向変換ユニット506の両方は、ブロックタイプに従って制御され、その結果、同数の時間スキャン値(temporal scanned values) が常に推定値を生成するユニット504に対して入力されるかあるいはそこから出力されることになる。
【0029】
この特性は、MPEG−2 AAC標準規格の状態を示す図7を参照しながらさらに説明する。図7はロングブロック702の範囲を示す時間軸700を備えている。1つのロングブロックは2048個のサンプル値を持ち、公知のように、ウィンドウが50%の割合でオーバーラップすれば1024個のスペクトル係数を持つことになる。使用されるMDCTやウィンドウオーバーラッピングについての詳しい説明は、既に引用した標準規格の中で見つけることができる。図7においては、8個のショートブロック704も描かれており、それらはそれぞれ256個のサンプル値を持つ。これはまた、50%のオーバーラップによって128個のスペクトル係数となる。わかりやすくするために、図中のショートブロック同士のオーバーラップや、図中のロングブロックと先行する1つのロングブロックとのオーバーラップ、あるいは図中のロングブロックと先行または後続のスタートまたはストップウィンドウとのオーバーラップは、図7の中では示されていない。しかし、図7から明らかなように、1つのロングブロックの中のスペクトル係数の個数は、1つのショートブロックの中のスペクトル係数の個数の8倍に等しい。換言すれば、1つのロングブロックが持つオーディオ信号の持続時間(time duration) は、8個のショートブロックが持つ持続時間と等しい。
【0030】
図2で示されるように、逆方向変換ユニット502はブロックタイプのライン508を介して制御され、ショートブロックの対応するサブバンドの中のスペクトル係数を8回連続的に逆方向変換し、かつ結果として生じた複数の準時間信号を1つずつ連続的に並べ、推定値を生成するユニット504に対して所定の長さを持つ1つの時間信号を供給する。これとは対照的に、順方向変換ユニット506もまた、推定値を生成するユニット504から連続的に出力された値に対し、8回の連続的な順方向変換を行う。このように、この「作動サイクル(operation cycle)」のおかげで、ショートブロックの場合でもロングブロックの場合と同数のスペクトル係数が確実に出力される。エラー隠蔽ユニット500によって1つの「作動サイクル」の中に出力されるスペクトル係数は、本発明においては、推定スペクトル係数の1セットと呼ばれる。実用性の立場から、1セット内のスペクトル係数の個数は1つのロングブロック内のスペクトル係数と同じであり、さらに8個のショートブロック内のスペクトル係数の個数と同じである。ロングブロックとショートブロックとの間の割合としては、別の割合、例えば2,4,または16を選択してもよいことは自明である。通常、1つのロングブロック内のスペクトル係数の個数は、1つのショートブロック内のスペクトル係数の個数で割り切れるようになっている。しかし、何らかの理由でその通りでない場合には、予測器レベルのブロックタイプ、すなわち推定値を生成するユニット504内のブロックタイプから独立するために、1つのセット内のスペクトル係数の個数は、ロングブロックとショートブロックの最小公倍数に等しくなるだろう。
【0031】
図3は図2のエラー隠蔽ユニットの望ましい発展例を示す。この図3の例の中で重要な特性は、エラー隠蔽ユニットがノイズ置換ユニット514を備えており、エラー置換ユニット512は、予測ゲイン信号516に依存して切り替わるノイズ置換スイッチ518を介して、順方向変換ユニット506とノイズ置換ユニット514とに選択的に接続することができる点である。上記ノイズ置換ユニット514は、前述のドイツ特許公開DE19735675A1に示された方法により作動し、ノイズが多い信号の内容をできるだけ元通りに近づける。ノイズが多い信号の内容が関係するので、スペクトル係数の位相はもはや考慮されなくなり、単に1つのサブグループ内の幾つかのスペクトル係数エネルギーだけを考慮する。最後の無傷のオーディオデータの1つのサブグループ内のエネルギーに依存して、上記ノイズ置換ユニット514は、スペクトル係数の対応するサブグループを生成する。この生成されたスペクトル係数のサブグループ内のエネルギーは、先行するスペクトル係数の対応するサブグループのエネルギーと等しいか、またはそれから導き出されるものである。しかし、ノイズ置換プロセスの中で生成されるスペクトル係数の位相は、ランダムに指定される。
【0032】
ノイズ置換スイッチ518は予測ゲイン信号516により制御される。一般的に予測ゲインは、推定値を生成するユニット504の出力信号の入力信号に対する関係に依存する。もしサブバンド内での出力信号が入力信号とほぼ同一であるとわかった場合には、このサブバンド内のオーディオ信号は、比較的安定している、すなわち調性があると考えられる。もし、逆に、上記予測器の出力信号が入力信号とは明らかに相違している場合には、このサブバンド内のオーディオ信号は、比較的不安定である、すなわち非調性またはノイズが多いと考えられる。この場合には、ノイズ置換は予測よりも良い結果をもたらすことになる。なぜなら、ノイズの多い信号はそれ自体では高い信頼性を持って予測されることが不可能であるからである。ノイズ置換スイッチ518は、例えば予測ゲインが所定のしきい値を越えた場合には、順方向変換ユニット506をエラー置換ユニット512に接続し、予測ゲインがこのしきい値を越えない場合には、ノイズ置換ユニット514をエラー置換ユニット512に接続するようにして、2つの置換方法から1つの最適な方法を連結するように制御されても良い。
【0033】
本発明に係るノイズ置換方法を、以下に図4を参照しながら詳細に説明する。まず、現時点のスペクトル係数のセットが受け取られる(10)。分かりやすくするために、図4の中では、現時点のスペクトル係数のセットは、全て無傷のスペクトル係数から成るか、あるいは図2または図3に示されたエラー隠蔽方法により既に処理されているかのどちらかだと仮定する。一方では、上記現時点のスペクトル係数のセットは、フィルタバンク400(図1)により処理され、例えばラウドスピーカーに対して出力される(12)。他方では、上記現時点のスペクトル係数のセットは、次のスペクトル係数のセットを予測または推定するために使用される。これを本発明に係る方法で実現するため、上記現時点のスペクトル係数のセットはサブバンドに分割される(14)。ロングブロックの場合には、サブバンドへの分割は、それぞれのセットに対し、対応する1つの周波数帯域を持つただ1つのサブバンドを生成することで実行される。ショートブロックの場合には、現時点のスペクトル係数のセットは複数の連続する完全なスペクトルから成るであろう。その後、ステップ14において、個々の完全なスペクトルに対し対応するサブバンドが生成される。すなわち各スペクトル係数のセットに対し複数のサブバンドが生成される。
【0034】
サブバンドへの分割の後、各サブバンドについて逆方向変換が実行される(16)。ロングブロックの場合には、1つのブロック内のスペクトル係数の数と、1つのセット内のスペクトル係数の数とが同一であるので、各サブバンドに対して一回のみ逆方向変換が実行された後で、予測ステップ(18)へと進む。ショートブロックの場合には、各「ショート」スペクトルのサブバンドに対応する複数回の逆方向変換が実行され、その後全てのサブバンドを一括して予測ステップ(18)が実行される。
【0035】
予測ステップ18は、準時間ドメインの中で実行される。すなわち、各サブバンドの「時間」信号に対して実行され、次のセットのために推定のサブバンド時間信号を得る。この推定の準時間信号には、その後順方向変換の処理が施される(ステップ20)が、ここでもロングブロックについては一回だけ、ショートブロックについてはN回分の順方向変換処理が施される。このNとは、1つのショートブロックのスペクトル係数の数に対する1つのロングブロックのスペクトル係数の数の比を意味する。
【0036】
ステップ20の後で、推定のスペクトル係数は各サブバンドに対して有効となる。ステップ22においては、ステップ14で行われた分割が解消され、その結果、スペクトル係数の次のセットがステップ22の後で得られる。
【0037】
ステップ24においては、上記スペクトル係数の次のセットが復号器により受け取られる。上記次のセットは現時点のセットのサブバンドと同一の周波数帯域を含むサブバンドに分割される。そして、このセットのエラー検出が行なわれ(ステップ26)、上記次のセットの1つのスペクトル係数か、複数のスペクトル係数か、あるいは全てのスペクトル係数がエラーを含むか否かを確認する。上記エラー検出は、当業者には公知の方法、例えば1つのブロックに亘りCRCチェックサム(Cyclic Redundancy Code checksum)をチェックすることにより実行される。もし、送信されたデータに基づいて計算されたチェックサムと、データと伴に送信されたチェックサムとが相違すると検出された場合には、エラーを含むブロックのスペクトル係数に代えて、ステップ22で生成された推定のスペクトル係数を採用する事ができる。このようにして、エラーを含むスペクトル係数は、推定のスペクトル係数に置換される(ステップ28)。最後に、上記次のセットのエラーが隠蔽されたスペクトル係数は、時間サンプル値を出力できるように処理される(ステップ30)。
【0038】
図4のフローチャートは、スペクトル係数の1つのセットから次のセットへと実行される処理の概要をほぼ示している。もし図4のフローチャートが実行された場合には、ステップ12および30を実行するために、例えば単一のフィルタバンク400(図1)のみが使用されたことが自明である。同様に、ステップ10および24を実行する際には、スペクトル係数の現時点のセットを受け取り、かつスペクトル係数の次のセットを受け取るために、単一のユニットのみが必要となることも自明である。本発明に係る方法を実行する装置においては、ステップ10と24との時間的な同期性は、並列分枝の中に設けられた時間遅延ステージ510により保証される。
【0039】
図5は図2の概略ブロック図をより詳細に示すものであり、本発明に係るエラー隠蔽ユニット500を特徴とする例えばMPEG−2 AAC変換符号器のブロック図である。図2を参照しながら既に説明したように、エラー隠蔽ユニット500(図1参照)は、スペクトル係数のブロックを望ましくは32個のサブバンドに分割するためのユニット520を含む。ロングブロックの場合には、各サブバンドは32個のスペクトル係数を持つ。ショートブロックのサブバンドの周波数帯域の広さは同一なので、ショートブロックの場合には、各サブバンドは4個のスペクトル係数を持つ。完全なスペクトルを同一サイズのサブバンドに分割することは、簡素という理由で望ましい。しかし、例えば聴覚心理的な周波数グループを反映して、同一でないサブバンドに分割することも可能である。各サブバンドにはその後、逆変形離散コサイン変換(IMDCT:inverse modified discrete cosine transform)が施される。ロングブロックの場合には、IMDCTは一度だけ実行され、32個の入力値を受け取る。ショートブロックの場合には、それぞれ4個づつのスペクトル係数についてIMDCTが8回連続的に実行され、結局32個の準時間サンプル値が出力側で得られる。これらはその後、予測器504に送られ、この予測器は32個の推定の準時間サンプル値を生成し、このサンプル値はMDCT506で変換される。ロングブロックの場合には、32個の時間値(temporal values) について1回のMDCTが実行され、他方、ショートブロックの場合には、各4個づつのサンプル値について8回のMDCTが実行される。図5では0番目のサブバンドに対する1つの分枝のみが示されているが、もし全てのサブバンドが同一の長さならば、同一の分枝が各サブバンドについて存在することを指摘しておく。もし、サブバンドが異なる長さを持つ場合には、IMDCTまたはMDCTの順番は、適宜に順応させられる。実行性の観点から、並列処理は自明の選択と言える。しかし、記憶容量が十分にある場合には、サブバンドを逐次処理することも可能であることは明らかである。各サブバンドに対するMDCT506の出力値は、分割を逆転させるためのユニット、すなわち逆分割ユニット522に送られ、AAC MDCTレベルにおける望ましい実施例のための、スペクトル値の推定のセットを出力する。
【0040】
図6は予測器504をさらに詳しく示す。この望ましい実施例の予測器504の心臓部は、後方適応予測器(adaptive back-coupled predictor) であるいわゆるLMSL予測器(Least Mean Square Leaky predictor) 504aであり、n=32の長さを持つ。LMSL予測器に関する詳しい説明は、“Adaptive Signal Processing"(Bernard Widrow,Samuel Stearns著,Prentice-Hall出版,1995 年,99 頁〜) を参照されたい。上記LMSL予測器504aの前には時間遅延ステージ504bが配置される。上記予測器504はまた、入力側に並列─直列変換器(parallel-series converter) 504cを備え、出力側に直列─並列変換器504dを備えている。上記予測器504はさらに、予測ゲイン計算機504eを備え、この計算機は、予測器504aの出力信号と入力信号とを比較して、安定した信号が処理されたのか、あるいは不安定な信号が処理されたのかを判断する。出力側では、予測ゲイン計算機504eが予測ゲイン信号516を供給し、この信号516はスイッチ518(図3)を制御するために使用される。スイッチ518は、予測されたスペクトル係数と、ノイズ置換によって得られたスペクトル係数とのいずれか1つを、エラー隠蔽のために用いるよう制御されている。LMSL予測器として作動する上において、予測器504はさらに2つのスイッチ504fおよび504gを備えており、それぞれが2つのスイッチ位置を持つ。スイッチ位置「1」は、次のブロックのスペクトル係数がエラーを持たない場合に適応され、スイッチ位置「2」は、次のブロックのスペクトル係数がエラーを持つ場合に適応される。図6は、スペクトル係数にエラーが有る場合を示す。この場合、入力信号の代わりに、値0を持つ参照信号が予測器の中のスイッチ504gに供給される。他方、エラーが無いスペクトル係数(スイッチ504gのスイッチ位置は「1」)の場合には、上記並列─直列変換器の出力値は、上記LMSL予測器に対して下から供給される。
【0041】
本発明に係るエラー隠蔽方法がAAC符号器に関連して使用された場合には、対応する変換アルゴリズム(MDCTまたはIMDCT)を、全ての順方向および逆方向への変換に使用するのが望ましい選択と言える。しかし、エラー隠蔽のために、オーディオ信号をスペクトル係数を形成するために符号化した時に使用された変換方法と同じ変換方法を、逆または順方向変換のために使用することは、必ずしも必要ではない。
【0042】
スペクトルをサブバンドに分割したことにより、また、各サブバンドについて個々に変換が行われたことにより、周波数分解能よりもより低いオーダーの周波数─時間ドメイン変換が、各サブバンドについて、適切に使用される。結果として、調性信号部分(tonal signal portions) のための特別な推定値が、予測器によって中間レベルで生成される。オリジナルの周波数分解能よりもより低いオーダーの時間─周波数ドメイン変換(time−frequency domain transforms of lower order)が、順方向変換/合成として適切に使用され、同一のオーダーが、使用される周波数─時間ドメイン変換についても選択される。このようにして、本発明に係るエラー隠蔽は、オーディオ信号のスペクトル特性に関する進んだ知識を用いることにより、高い適応性を提供する。さらに、スペクトル係数のレベルではなく準時間信号の中で推定値を生成することにより、符号器の中で使用される変換方法からの独立性を提供する。もし準時間ドメインの中での予測が、調性信号部分を置換するために使用され、さらにもしノイズ置換がノイズの多いスペクトル部分のために使用されるならば、オーディオ信号のエラーの大部分が隠蔽され、たとえ完全なブロック欠落がある場合でも、実際上の可聴雑音はないという程度になる。これまでの実験によると、格別に顕著ではないテスト信号に関しては、普通のリスナー、すなわち訓練を受けていないテストリスナーは、完全なブロック欠落がある場合でも、10回のうちわずかに1回しかオーディオ信号の中に変調を聞き取らなかったという結果を示している。
【図面の簡単な説明】
【図1】本発明にかかるエラー隠蔽ユニットを備えた復号器を示す図である。
【図2】図1に示されたエラー隠蔽ユニットの詳細なブロック図である。
【図3】図1に示されたエラー隠蔽ユニットであって、さらにノイズ置換を行い、かつ予測ゲインに従って作動するエラー隠蔽ユニットの詳細なブロック図である。
【図4】本発明にかかるエラー隠蔽の方法のフローチャート図である。
【図5】MPEG−2 AAC復号器用エラー隠蔽ユニットの望ましい実施例の詳細なブロック図である。
【図6】図5の予測器の詳細なブロック図である。
【図7】AAC標準規格に従ったブロック構造の概略図である。
Claims (13)
- 符号化されたオーディオ信号中のエラーを隠蔽する方法であって、上記符号化されたオーディオ信号はスペクトル係数の連続的な複数のセットを持ち、そのうちの1セットのスペクトル係数とは1セットのオーディオサンプル値のスペクトル表現であるものにおいて、
上記スペクトル係数の現時点の1つのセットを、異なる周波数帯域を持つ少なくとも2つのサブバンドに分割するステップ(14)であって、上記少なくとも2つのサブバンドの内の1つのサブバンドは少なくとも2つのスペクトル係数を持つステップ(14)と、
上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を得るために、上記1つのサブバンドのスペクトル係数を逆方向変換するステップ(16)と、
上記現時点のセットに続く次の1つのセットのサブバンドのための推定の時間的表現を得るために、上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を使用して予測を実行するステップ(18)であって、上記次のセットのサブバンドは上記現時点のセットのサブバンドと同一の周波数帯域を持つステップ(18)と、
上記次のセットのサブバンドのための少なくとも2つの推定スペクトル係数を得るために、上記推定の時間的表現を順方向変換するステップ(20)と、
上記次のセットのサブバンドのスペクトル係数がエラーを含むか否かを決定するステップ(26)と、
上記決定するステップ(26)の結果、もしエラーを含むスペクトル係数がある場合には、上記次のセットのエラーを含むスペクトル係数を隠蔽するために、上記次のセットのサブバンドのエラーを含むスペクトル係数に代えて、上記推定スペクトル係数を使用するステップ(28)と、を含む方法。 - 請求項1に記載の方法において、
上記逆方向変換ステップ(16)において処理される上記1つのサブバンドは低周波数のスペクトル係数を持ち、上記少なくとも2つのサブバンドのうちの他のサブバンドはより高周波数のスペクトル係数を持つことを特徴とする方法。 - 請求項1または2に記載の方法において、
1セットのスペクトル係数内にあるスペクトル係数の個数は、第1長さの1つのブロック(702)内にあるスペクトル係数の個数と同一であり、第2長さの1つのブロック(704)内にあるスペクトル係数の個数のN倍に等しく、かつ上記第2長さのN個のブロック(704)は互いに連続するものであって、
上記分割ステップ(14)は、第1長さのブロックのサブバンドが第2長さのブロックのサブバンドと同じ周波数帯域を持つように実行され、その結果、第1長さのブロックの1つのサブバンドのスペクトル係数の個数が、第2長さのブロックの対応するサブバンドのスペクトル係数の個数のN倍と等しくなり、
上記逆方向変換ステップ(16)は、第2長さのN個のブロックの対応するサブバンドのスペクトル係数の時間的表現を得るために、第2長さのN個のブロックの各対応するサブバンドについて連続的に実行され、
上記予測ステップ(18)は、第2長さのN個のブロックの全ての対応するサブバンドのスペクトル係数の時間的表現を用いて実行され、さらに、
上記順方向変換ステップ(20)は、第2長さのN個のブロックの各対応するサブバンドについて連続的に実行されることを特徴とする方法。 - 請求項1乃至3のいずれかに記載の方法において、
上記分割ステップ(14)において複数のサブバンドが生成され、その全てのサブバンドが合同して、1セットのスペクトル係数内の符号化されたオーディオ信号のスペクトル表現を形成することを特徴とする方法。 - 請求項1乃至4のいずれかに記載の方法において、
上記次のセットのサブバンドのスペクトル係数がエラーを含むか否かを決定する上記決定ステップ(26)の後に、
上記スペクトル係数と上記対応する推定スペクトル係数とを比較することにより、上記スペクトル係数が符号化されたオーディオ信号の調性部分を表すか否かを決定するステップ(504e)と、
もし上記スペクトル係数が調性部分を表すと決定された場合には、上記推定スペクトル係数を使用し、もし上記スペクトル係数が非調性部分を表すと決定された場合には、次のセットのエラーを含むスペクトル係数のためのノイズ置換を行うステップ(514)と、を実行することを特徴とする方法。 - 請求項3乃至5のいずれかに記載の方法において、
上記スペクトル係数はMDCT係数であり、一方では1セットのスペクトル係数の長さは1つのロングブロックの長さに対応しかつ1024個のMDCT係数を持ち、他方では1セットのスペクトル係数は8個のショートブロックを備えかつ各々が128個のMDCT係数を持ち、
上記分割ステップ(14)において32個のサブバンドが形成され、1つのロングブロックについては各サブバンドが32個のMDCT係数を持ち、1つのショートブロックについては各サブバンドが4個のMDCT係数を持つことを特徴とする方法。 - 請求項1乃至6のいずれかに記載の方法において、望ましくはLMSL予測器である、後方適応予測器(504a)が上記予測ステップ(18)において使用されることを特徴とする方法。
- 請求項1乃至7のいずれかに記載の方法において、
上記符号化されたオーディオ信号のスペクトル係数を得るための変換に使用された変換アルゴリズムは、上記逆方向変換ステップ(16)と上記順方向変換ステップ(20)とで使用される変換アルゴリズムと同一の変換アルゴリズムであることを特徴とする方法。 - 請求項1乃至8のいずれかに記載の方法において、
上記逆方向変換ステップ(16)において使用される変換アルゴリズムは、上記順方向変換ステップ(20)で使用される変換アルゴリズムと正反対であることを特徴とする方法。 - スペクトル係数の連続的な複数のセットを持つ符号化されたオーディオ信号を復号化する方法であって、そのうちの1セットのスペクトル係数とは1セットのオーディオサンプル値のスペクトル表現であるものにおいて、
上記スペクトル係数の現時点の1つのセットを受け取るステップ(10)と、
上記スペクトル係数の現時点のセットを異なる周波数帯域を持つ少なくとも2つのサブバンドに分割するステップ(14)であって、上記少なくとも2つのサブバンドの内の1つのサブバンドは少なくとも2つのスペクトル係数を持つステップ(14)と、
上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を得るために、上記1つのサブバンドのスペクトル係数を逆方向変換するステップ(16)と、
上記現時点のセットに続く次の1つのセットのサブバンドのための推定の時間的表現を得るために、上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を使用して予測を実行するステップ(18)であって、上記次のセットのサブバンドは上記現時点のセットのサブバンドと同一の周波数帯域をもつステップ(18)と、
上記次のセットのサブバンドのための少なくとも2つの推定スペクトル係数を得るために、上記推定の時間的表現を順方向変換するステップ(20)と、
上記スペクトル係数の次のセットを受け取り、このセットを上記現時点のセットのサブバンドと同一の周波数帯域を含むサブバンドに分割するステップ(24)と、
上記次のセットのサブバンドのスペクトル係数がエラーを含むか否かを決定するステップ(26)と、
上記決定するステップ(26)の結果、もしエラーを含むスペクトル係数がある場合には、上記次のセットのエラーを含むスペクトル係数を隠蔽するために、上記次のセットのサブバンドのエラーを含むスペクトル係数に代えて上記推定スペクトル係数を使用するステップ(28)と、
オーディオサンプル値の次のセットを得るために、上記推定スペクトル係数を使用するステップ(28)で使用された上記推定スペクトル係数を用いて上記次のセットを処理するステップ(30)と、を含む方法。 - 請求項10に記載の方法において、
上記符号化されたオーディオ信号はエントロピー符号化および量子化されたものであって、上記スペクトル係数の現時点のセットまたは次のセットを受け取るステップ(10)より前に、
量子化されたスペクトル係数を得るために上記エントロピー符号化をキャンセルするステップ(200)と、
逆量子化されたスペクトル係数を得るために、上記量子化されたスペクトル係数を逆量子化するステップ(300)とを含み、
さらに、上記次のセットを処理するステップ(30)は、
上記符号化されたオーディオ信号のスペクトル係数を得るための変換に使用された変換アルゴリズムと逆の変換アルゴリズムを使用して、上記次のセットを逆方向変換するステップ(400)を含むことを特徴とする方法。 - 符号化されたオーディオ信号中のエラーを隠蔽する装置であって、上記符号化されたオーディオ信号はスペクトル係数の連続的な複数のセットを持ち、そのうちの1セットのスペクトル係数とは1セットのオーディオサンプル値のスペクトル表現であるものにおいて、
上記スペクトル係数の現時点の1つのセットを、異なる周波数帯域を持つ少なくとも2つのサブバンドに分割する(14)ためのユニット(520)であって、上記少なくとも2つのサブバンドの内の1つのサブバンドは少なくとも2つのスペクトル係数を持つユニット(520)と、
上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を得るために、上記1つのサブバンドのスペクトル係数を逆方向変換する(16)ためのユニット(502)と、
上記現時点のセットに続く次の1つのセットのサブバンドのための推定の時間的表現を得るために、上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を使用して予測を実行する(18)ためのユニット(504)であって、上記次のセットのサブバンドは上記現時点のセットのサブバンドと同一の周波数帯域をもつユニット(504)と、
上記次のセットのサブバンドのための少なくとも2つの推定スペクトル係数を得るために、上記推定の時間的表現を順方向変換(20)するためのユニット(506)と、
上記次のセットのサブバンドのスペクトル係数がエラーを含むか否かを決定する(26)ためのユニットと、
上記次のセットのエラーを含むスペクトル係数を隠蔽するために、上記次のセットのサブバンドのエラーを含むスペクトル係数に代えて、上記推定スペクトル係数を使用する(28)ためのユニット(512)と、を含むことを特徴とする装置。 - 符号化されたオーディオ信号を復号化する装置であって、上記符号化されたオーディオ信号はスペクトル係数の連続的な複数のセットを持ち、そのうちの1セットのスペクトル係数とは1セットのオーディオサンプル値のスペクトル表現であるものにおいて、
上記スペクトル係数の現時点の1つのセットを受け取る(10)ためのユニット(100)と、
上記スペクトル係数の現時点のセットを、異なる周波数帯域を持つ少なくとも2つのサブバンドに分割する(14)ためのユニット(520)であって、上記少なくとも2つのサブバンドの内の1つのサブバンドは少なくとも2つのスペクトル係数を持つユニット(520)と、
上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を得るために、上記1つのサブバンドのスペクトル係数を逆方向変換する(16)ためのユニット(502)と、
上記現時点のセットに続く次の1つのセットのサブバンドのための推定の時間的表現を得るために、上記1つのサブバンドの上記少なくとも2つのスペクトル係数の時間的表現を使用して予測を実行する(18)ためのユニット(504)であって、上記次のセットのサブバンドは上記現時点のセットのサブバンドと同一の周波数帯域を持つユニット(504)と、
上記次のセットのサブバンドのための少なくとも2つの推定スペクトル係数を得るために、上記推定の時間的表現を順方向変換(20)するためのユニット(506)と、
上記スペクトル係数の次のセットを受け取り(24)、そのセットを上記現時点のセットのサブバンドと同一の周波数帯域を含むサブバンドに分割するためのユニット(502,510)と、
上記次のセットのサブバンドのスペクトル係数がエラーを含むか否かを決定する(26)ためのユニットと、
上記次のセットのエラーを含むスペクトル係数を隠蔽するために、上記次のセットのサブバンドのエラーを含むスペクトル係数に代えて、上記推定スペクトル係数を使用する(28)ためのユニット(512)と、
オーディオサンプル値の次のセットを得るために、上記推定スペクトル係数を使用して上記次のセットを処理する(30)ためのユニットと、を含む装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19921122.1 | 1999-05-07 | ||
DE19921122A DE19921122C1 (de) | 1999-05-07 | 1999-05-07 | Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals |
PCT/EP2000/003294 WO2000068934A1 (de) | 1999-05-07 | 2000-04-12 | Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002544550A JP2002544550A (ja) | 2002-12-24 |
JP3623449B2 true JP3623449B2 (ja) | 2005-02-23 |
Family
ID=7907325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000617440A Expired - Lifetime JP3623449B2 (ja) | 1999-05-07 | 2000-04-12 | 符号化されたオーディオ信号中のエラーを隠蔽する方法と装置および符号化されたオーディオ信号を復号化する方法と装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7003448B1 (ja) |
EP (1) | EP1145227B1 (ja) |
JP (1) | JP3623449B2 (ja) |
AT (1) | ATE221244T1 (ja) |
DE (2) | DE19921122C1 (ja) |
WO (1) | WO2000068934A1 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7315815B1 (en) | 1999-09-22 | 2008-01-01 | Microsoft Corporation | LPC-harmonic vocoder with superframe structure |
DE19959038A1 (de) * | 1999-12-08 | 2001-06-28 | Bosch Gmbh Robert | Verfahren zur Dekodierung von digitalen Audiodaten |
EP1199709A1 (en) * | 2000-10-20 | 2002-04-24 | Telefonaktiebolaget Lm Ericsson | Error Concealment in relation to decoding of encoded acoustic signals |
DE10219133B4 (de) * | 2002-04-29 | 2007-02-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verschleiern eines Fehlers |
US7428684B2 (en) * | 2002-04-29 | 2008-09-23 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Device and method for concealing an error |
US7356748B2 (en) * | 2003-12-19 | 2008-04-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Partial spectral loss concealment in transform codecs |
SE527669C2 (sv) * | 2003-12-19 | 2006-05-09 | Ericsson Telefon Ab L M | Förbättrad felmaskering i frekvensdomänen |
WO2005086138A1 (ja) * | 2004-03-05 | 2005-09-15 | Matsushita Electric Industrial Co., Ltd. | エラー隠蔽装置およびエラー隠蔽方法 |
US7668712B2 (en) * | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
JP5100124B2 (ja) * | 2004-10-26 | 2012-12-19 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
KR100668319B1 (ko) * | 2004-12-07 | 2007-01-12 | 삼성전자주식회사 | 오디오 신호의 변환방법 및 장치와 오디오 신호에적응적인 부호화방법 및 장치, 오디오 신호의 역변환 방법및 장치와 오디오 신호에 적응적인 복호화 방법 및 장치 |
KR100708123B1 (ko) * | 2005-02-04 | 2007-04-16 | 삼성전자주식회사 | 자동으로 오디오 볼륨을 조절하는 방법 및 장치 |
US7831421B2 (en) * | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
US7707034B2 (en) * | 2005-05-31 | 2010-04-27 | Microsoft Corporation | Audio codec post-filter |
US7177804B2 (en) * | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
JP2006276877A (ja) * | 2006-05-22 | 2006-10-12 | Nec Corp | 変換符号化されたデータの復号方法及び変換符号化されたデータの復号装置 |
KR101291193B1 (ko) * | 2006-11-30 | 2013-07-31 | 삼성전자주식회사 | 프레임 오류은닉방법 |
ATE473605T1 (de) * | 2006-12-07 | 2010-07-15 | Akg Acoustics Gmbh | Vorrichtung zur ausblendung von signalausfällen für eine mehrkanalanordnung |
US20090048828A1 (en) * | 2007-08-15 | 2009-02-19 | University Of Washington | Gap interpolation in acoustic signals using coherent demodulation |
US8126578B2 (en) * | 2007-09-26 | 2012-02-28 | University Of Washington | Clipped-waveform repair in acoustic signals using generalized linear prediction |
EP2242032B1 (en) * | 2008-01-21 | 2013-10-02 | Nippon Telegraph and Telephone Corporation | Secure computing system, secure computing method, secure computing apparatus and program therefor |
WO2010111841A1 (zh) * | 2009-04-03 | 2010-10-07 | 华为技术有限公司 | 频域脉冲解码的预测方法和预测装置及解码器 |
JP2011257575A (ja) * | 2010-06-09 | 2011-12-22 | Cri Middleware Co Ltd | 音声処理装置、音声処理方法、プログラムおよび記録媒体 |
WO2011156905A2 (en) * | 2010-06-17 | 2011-12-22 | Voiceage Corporation | Multi-rate algebraic vector quantization with supplemental coding of missing spectrum sub-bands |
EP2458585B1 (en) * | 2010-11-29 | 2013-07-17 | Nxp B.V. | Error concealment for sub-band coded audio signals |
BR112013020588B1 (pt) | 2011-02-14 | 2021-07-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparelho e método para codificação de uma parte de um sinal de áudio utilizando uma detecção transiente e um resultado de qualidade |
MX2012013025A (es) | 2011-02-14 | 2013-01-22 | Fraunhofer Ges Forschung | Representacion de señal de informacion utilizando transformada superpuesta. |
ES2529025T3 (es) | 2011-02-14 | 2015-02-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para procesar una señal de audio decodificada en un dominio espectral |
PT2676267T (pt) | 2011-02-14 | 2017-09-26 | Fraunhofer Ges Forschung | Codificação e descodificação de posições de pulso de faixas de um sinal de áudio |
TWI484479B (zh) * | 2011-02-14 | 2015-05-11 | Fraunhofer Ges Forschung | 用於低延遲聯合語音及音訊編碼中之錯誤隱藏之裝置和方法 |
PL2676266T3 (pl) | 2011-02-14 | 2015-08-31 | Fraunhofer Ges Forschung | Układ kodowania na bazie predykcji liniowej wykorzystujący kształtowanie szumu w dziedzinie widmowej |
KR102070430B1 (ko) * | 2011-10-21 | 2020-01-28 | 삼성전자주식회사 | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 |
CN108847247B (zh) | 2013-02-05 | 2023-04-07 | 瑞典爱立信有限公司 | 音频帧丢失隐藏 |
CN105359210B (zh) | 2013-06-21 | 2019-06-14 | 弗朗霍夫应用科学研究促进协会 | Fdns应用前实现将mdct频谱衰落到白噪声的装置及方法 |
ES2760573T3 (es) | 2013-10-31 | 2020-05-14 | Fraunhofer Ges Forschung | Decodificador de audio y método para proveer una información de audio decodificada usando un ocultamiento de error que modifica una señal de excitación de dominio de tiempo |
EP3285255B1 (en) | 2013-10-31 | 2019-05-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal |
BR112017010911B1 (pt) * | 2014-12-09 | 2023-11-21 | Dolby International Ab | Método e sistema de decodificação para ocultar erros em pacotes de dados que devem ser decodificados em um decodificador de áudio baseado em transformação de cosseno discreto modificado |
US10763885B2 (en) | 2018-11-06 | 2020-09-01 | Stmicroelectronics S.R.L. | Method of error concealment, and associated device |
US10803876B2 (en) * | 2018-12-21 | 2020-10-13 | Microsoft Technology Licensing, Llc | Combined forward and backward extrapolation of lost network data |
US10784988B2 (en) | 2018-12-21 | 2020-09-22 | Microsoft Technology Licensing, Llc | Conditional forward error correction for network data |
CN111711493B (zh) * | 2020-06-16 | 2022-03-11 | 中国电子科技集团公司第三研究所 | 具有加密解密能力的水下通信设备及发射器和接收器 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5752225A (en) * | 1989-01-27 | 1998-05-12 | Dolby Laboratories Licensing Corporation | Method and apparatus for split-band encoding and split-band decoding of audio information using adaptive bit allocation to adjacent subbands |
JPH03245370A (ja) | 1990-02-22 | 1991-10-31 | Matsushita Electric Ind Co Ltd | 音声帯域分割復号化装置 |
DE4034017A1 (de) * | 1990-10-25 | 1992-04-30 | Fraunhofer Ges Forschung | Verfahren zum erkennen von fehlern bei der uebertragung von frequenzcodierten digitalen signalen |
JPH07123242B2 (ja) | 1993-07-06 | 1995-12-25 | 日本電気株式会社 | 音声信号復号化装置 |
KR970011728B1 (ko) * | 1994-12-21 | 1997-07-14 | 김광호 | 음향신호의 에러은닉방법 및 그 장치 |
JPH08328599A (ja) | 1995-06-01 | 1996-12-13 | Mitsubishi Electric Corp | Mpegオーディオ復号器 |
US5781888A (en) * | 1996-01-16 | 1998-07-14 | Lucent Technologies Inc. | Perceptual noise shaping in the time domain via LPC prediction in the frequency domain |
DE19735675C2 (de) * | 1997-04-23 | 2002-12-12 | Fraunhofer Ges Forschung | Verfahren zum Verschleiern von Fehlern in einem Audiodatenstrom |
AU4201100A (en) * | 1999-04-05 | 2000-10-23 | Hughes Electronics Corporation | Spectral phase modeling of the prototype waveform components for a frequency domain interpolative speech codec system |
-
1999
- 1999-05-07 DE DE19921122A patent/DE19921122C1/de not_active Expired - Lifetime
-
2000
- 2000-04-12 EP EP00926896A patent/EP1145227B1/de not_active Expired - Lifetime
- 2000-04-12 WO PCT/EP2000/003294 patent/WO2000068934A1/de active IP Right Grant
- 2000-04-12 AT AT00926896T patent/ATE221244T1/de active
- 2000-04-12 US US09/980,534 patent/US7003448B1/en not_active Expired - Lifetime
- 2000-04-12 JP JP2000617440A patent/JP3623449B2/ja not_active Expired - Lifetime
- 2000-04-12 DE DE50000306T patent/DE50000306D1/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP1145227B1 (de) | 2002-07-24 |
DE50000306D1 (de) | 2002-08-29 |
DE19921122C1 (de) | 2001-01-25 |
WO2000068934A1 (de) | 2000-11-16 |
US7003448B1 (en) | 2006-02-21 |
ATE221244T1 (de) | 2002-08-15 |
JP2002544550A (ja) | 2002-12-24 |
EP1145227A1 (de) | 2001-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3623449B2 (ja) | 符号化されたオーディオ信号中のエラーを隠蔽する方法と装置および符号化されたオーディオ信号を復号化する方法と装置 | |
US8473301B2 (en) | Method and apparatus for audio decoding | |
JP4413257B2 (ja) | マルチチャネル信号を処理する装置および方法 | |
KR101376762B1 (ko) | 디코더 및 대응 디바이스에서 디지털 신호의 반향들의 안전한 구별과 감쇠를 위한 방법 | |
KR970007663B1 (ko) | 신호 양자화 장치 및 방법 | |
JP4950210B2 (ja) | オーディオ圧縮 | |
US6424939B1 (en) | Method for coding an audio signal | |
KR101192241B1 (ko) | 입력 데이터 스트림의 믹싱과 그로부터 출력 데이터 스트림의 생성 | |
US6502069B1 (en) | Method and a device for coding audio signals and a method and a device for decoding a bit stream | |
US7328150B2 (en) | Innovations in pure lossless audio compression | |
Sinha et al. | Audio compression at low bit rates using a signal adaptive switched filterbank | |
US10861475B2 (en) | Signal-dependent companding system and method to reduce quantization noise | |
JP3186412B2 (ja) | 情報符号化方法、情報復号化方法、及び情報伝送方法 | |
US8886548B2 (en) | Audio encoding device, decoding device, method, circuit, and program | |
JPH0856163A (ja) | 適応的デジタルオーディオ符号化システム | |
US10170126B2 (en) | Effective attenuation of pre-echoes in a digital audio signal | |
US20100250260A1 (en) | Encoder | |
JP2020170187A (ja) | デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置 | |
US8676365B2 (en) | Pre-echo attenuation in a digital audio signal | |
JP2776277B2 (ja) | 音声符号化装置 | |
KR100686174B1 (ko) | 오디오 에러 은닉 방법 | |
JP2008129250A (ja) | Aacのためのウィンドウ切り替え方法およびm/s符号化の帯域決定方法 | |
US10332527B2 (en) | Method and apparatus for encoding and decoding audio signal | |
JP2008058727A (ja) | 音声符号化装置 | |
CA3193869A1 (en) | Method and device for audio band-width detection and audio band-width switching in an audio codec |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040525 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041124 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3623449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |