JP6490715B2 - フレーム喪失隠蔽のための方法、受信エンティティ、及びコンピュータプログラム - Google Patents

フレーム喪失隠蔽のための方法、受信エンティティ、及びコンピュータプログラム Download PDF

Info

Publication number
JP6490715B2
JP6490715B2 JP2016567382A JP2016567382A JP6490715B2 JP 6490715 B2 JP6490715 B2 JP 6490715B2 JP 2016567382 A JP2016567382 A JP 2016567382A JP 2016567382 A JP2016567382 A JP 2016567382A JP 6490715 B2 JP6490715 B2 JP 6490715B2
Authority
JP
Japan
Prior art keywords
frame
frequency
surrogate
signal
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016567382A
Other languages
English (en)
Other versions
JP2017525985A (ja
Inventor
ステファン ブルーン,
ステファン ブルーン,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル), テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2017525985A publication Critical patent/JP2017525985A/ja
Application granted granted Critical
Publication of JP6490715B2 publication Critical patent/JP6490715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Noise Elimination (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Radio Relay Systems (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)
  • Communication Control (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本開示は、音声符号化、及び、伝送誤りの場合に喪失した、消去された又は劣化した信号についての置換としての受信機における代理信号の生成に関する。ここで説明される技術は、コーデックとデコーダとの少なくともいずれかの一部でありうるが、復号器の後の信号改善モジュールにおいて実装されてもよい。本技術は、受信機における利益を伴って用いられうる。
特に、ここで提示される実施形態は、フレーム喪失の隠蔽に関し、具体的には、フレーム喪失の隠蔽のための方法、受信エンティティ、コンピュータプログラム、及びコンピュータプログラムプロダクトに関する。
多くの現代の通信システムは、フレームにおいて会話及び音声信号を送信し、これは、送信側が、まず、例えば送信パケットにおける論理ユニットとしてその後に符号化されると共に送信される例えば20〜40msの短いセグメント又はフレームを構成することを意味する。受信機は、これらのユニットのそれぞれを復号して、その後に再構成された信号サンプルの連続する系列として出力される、対応する信号フレームを再構成する。符号化の前には、一般に、マイクからの会話又は音声信号を音声サンプルの系列に変換するアナログ−デジタル(A/D)変換がある。逆に、受信の最後では、スピーカ再生のために再構成されたデジタル信号サンプルの系列を時間的に連続するアナログ信号へ変換する最終的なデジタル−アナログ(D/A)変換がある。
しかしながら、任意のこのような会話及び音声信号のための伝送システムは、伝送誤りを被りうる。これは、1つまたは数個の伝送されたフレームが受信機において再構成のために利用可能でないという状況を引き起こしうる。その場合、復号器は、消去された、すなわち利用可能でないフレームのそれぞれについて、代理信号を生成する必要がある。これは、受信機側の信号復号器の、いわゆるフレーム喪失又は誤り隠蔽部において行われる。フレーム喪失隠蔽の目的は、フレーム喪失を可能な限り聞き取れないようにし、したがって、再構成された信号品質におけるフレーム喪失の影響を可能な限り軽減することである。
音声に対する1つの新しいフレーム喪失隠蔽方法は、いわゆる「Phase ECU」である。これは、信号が音楽信号である場合に、パケット又はフレーム喪失の後に、特に高い品質の復元された音声信号を提供する方法である。フレーム喪失の例えば(統計の)特性に応じて、Phase−ECUタイプのフレーム喪失隠蔽方法の振る舞いを制御する事前のアプリケーションにおいて開示される制御方法も存在する。
フレーム喪失のバースト性が、Phase ECUのようなフレーム喪失隠蔽方法を調整することができる制御方法における1つの指標として用いられる。一般的な用語において、フレーム喪失のバースト性は、いくつかのフレーム喪失が連続して生じ、フレーム喪失隠蔽方法が、その動作について有効な直近で復号された信号部分を用いるのが難しくすることを意味する。より具体的には、通常の最先端のフレーム喪失のバースト性の指標は、観測された連続するフレーム喪失の数nである。この数は、新しいフレーム喪失のそれぞれに応じて1だけインクリメントされ、有効なフレームの受信に応じて、ゼロにリセットされるカウンタにおいて保持されうる。
フレーム喪失のバースト性に応じてPhase ECUのようなフレーム喪失隠蔽方法の具体的な適応方法は、代理フレームスペクトルZ(m)の位相又はスペクトル振幅の周波数選択的な調整であり、mは離散フーリエ変換(DFT)のような周波数領域変換の周波数インデクスである。振幅適応は、フレーム喪失バーストカウンタnが増えるとインデクスmにおける周波数変換係数を0に向けてスケーリングする減衰係数α(m)を用いて、行われる。位相適応は、インデクスmにおける周波数変換係数の、(増加するランダム位相要素θ’(m)を用いた)位相の追加のランダム化を拡大することを通じて行われる。
したがって、Phase ECUのオリジナルの代理フレームスペクトルがZ(m)=Y(m)・ejθkなどの式に従う場合、適応された代理フレームスペクトルは、Z(m)=α(m)・Y(m)・ej(θk+θ'(m))のような式に従う。
ここでは、k=1、…、Kを伴う位相θkはインデクスm及びPhase ECU方法によって特定されるK個のスペクトルピークの関数であり、Y(m)は、先に受信した音声信号のフレームの周波数領域表現(スペクトル)である。
バーストフレーム喪失の状況におけるPhase ECUの上述の適応方法の利点によらず、非常に長い喪失バーストの場合、例えば、5以上のnの場合に、なおも品質に不十分な点がある。その場合、再構成された音声信号の品質は、例えば、実行された位相のランダム化によらずに、音調のアーチファクトを被りうる。同時に、振幅の減衰を強化することは、これらの可聴性の欠点を低減しうる。しかしながら、信号の減衰は、長いフレーム喪失バーストに対して、ミュート又は信号のドロップアウトと受け取られうる。これは、このような信号が強すぎるレベルの変動に敏感であるため、この場合もやはり、例えば音楽又は会話信号の環境雑音の全体の品質に影響しうる。
したがって、改善されたフレーム喪失隠蔽に対する必要性がなおも存在する。
ここでの実施形態の目的は、効果的なフレーム喪失の隠蔽を提供することである。
第1の態様によれば、フレーム喪失隠蔽のための方法が提示される。本方法は、受信エンティティによって実行される。本方法は、失われたフレームに対する代理フレームを構成することに関連して、代理フレームに対して雑音要素を加えることを含む。雑音要素は、先に受信されたフレームにおける信号の低分解能(low-resolution)空間表現に対応する周波数特性を有する。
これは、有利に、効果的なフレーム喪失の隠蔽を提供する。
第2の態様によれば、フレーム喪失隠蔽のための受信エンティティが提示される。受信エンティティは、処理回路を有する。処理回路は、受信エンティティに一連の処理を実行させるように構成される。一連の処理は、失われたフレームに対する代理フレームを構成することに関連して、代理フレームに対して雑音要素を加えることを含む。雑音要素は、先に受信されたフレームにおける信号の低分解能空間表現に対応する周波数特性を有する。
第3の態様によれば、フレーム喪失隠蔽のためのコンピュータプログラムが提示され、コンピュータプログラムは、受信エンティティで動作するときに、受信エンティティに第1の態様による方法を実行させるコンピュータプログラムコードを含む。
第4の態様によれば、第3の態様によるコンピュータプログラムを含んだコンピュータプログラムプロダクトおよびそのコンピュータプログラムが格納されるコンピュータ読み出し可能手段が提示される。
第1、第2、第3、及び第4の態様の任意の特徴が、適切であれば、任意の他の態様に適用されうることに留意すべきである。同様に、第1の態様の任意の利点は、第2、第3、および/または第4の態様のそれぞれに、そしてその逆に、等しく適用しうる。含まれている実施形態の他の目的、特徴及び利点は、以下の詳細な開示から、添付の独立請求項及び図面から、明らかとなる。
一般に、特許請求の範囲で用いられる全ての用語は、ここで別途明示的に定義されない限り、技術分野における通常の意味に従って解釈されるべきである。「要素(element)、装置、コンポーネント、手段、ステップ等」に対する全ての参照は、明示的に別途言及されない限りは、要素、装置、コンポーネント、手段、ステップ等の少なくともいずれかの例を参照するようにオープンに解釈されるべきである。ここで開示される任意の方法のステップは、明示的に言及されない限りは、開示された正確な順序で実行される必要はない。
ここで、添付の図面を参照しながら、例として、発明の概要について説明する。
実施形態による通信システムを説明する模式図である。 実施形態による受信エンティティの機能部を示す模式図である。 実施形態による代理フレームの挿入を概略的に説明する図である。 実施形態による受信エンティティの機能部を示す模式図である。 実施形態による方法のフローチャートである。 実施形態による方法のフローチャートである。 実施形態による方法のフローチャートである。 実施形態による受信エンティティの機能部を示す模式図である。 実施形態による受信エンティティの機能モジュールを示す模式図である。 実施形態によるコンピュータ可読手段を含んだコンピュータプログラムプロダクトの一例を示す図である。
ここで、発明の概要の所定の実施形態が示されている添付の図面を参照して、発明の概要についてより十分に説明する。しかしながら、この発明の概要は、多くの異なる形式で具現化されてもよいのであってここで説明される実施形態に限定するように解釈されるべきではなく、むしろ、これらの具現化が、本開示は徹底的かつ完全であるように例として提供され、当業者に対して発明の概要の範囲を十分に伝えるだろう。説明の全体を通じて、同様の番号が同様の要素を参照する。破線で示されるステップ又は特徴は、オプションとして取り扱われるべきである。
上述のように、ここで提示される実施形態は、フレーム喪失隠蔽に関し、特に、フレーム喪失隠蔽のための方法、受信エンティティ、コンピュータプログラム、及びコンピュータプログラムプロダクトに関する。
図1は、送信(TX)エンティティ101が、チャネル102を介して受信(RX)エンティティ103と通信している通信システム100を概略的に図解している。チャネル102がTXエンティティ101によってRXエンティティ103へ送信されたフレーム又はパケットを失わせるものとする。受信エンティティは、会話又は音楽などのオーディオを復号するように動作可能であると共に、例えば通信システム100において、他のノード又はエンティティと通信するように動作可能であるものとする。受信エンティティは、コーデック、復号器、無線機器、又は固定機器でありえ、実際に、オーディオ信号のためのバーストフレームエラーを取り扱うことができることが望ましい任意の種類のユニットであってもよい。例えば、有線と無線との少なくともいずれかの通信及びオーディオの復号を実行可能なスマートフォン、タブレット、コンピュータ又は任意の他の機器でありうる。受信機エンティティは、例えば受信ノード又は受信装置と表記されうる。
図2は、フレーム喪失を処理するように構成された既知のRXエンティティ200の機能モジュールを概略的に図解している。入力ビットストリームは再構成された信号を形成するために復号器201によって復号され、フレーム喪失が検出されなかった場合、この再構成された信号がRXエンティティ200から出力として提供される。復号器201によって生成された再構成された信号は、一時記憶のためにバッファ202にも入力される。バッファリングされた再構成信号の正弦解析が正弦解析器203によって実行され、バッファリングされた再構成信号の位相展開が位相展開部204によって実行され、その後、フレームが喪失した場合にRXエンティティ200から出力される代理再構成信号を生成するために、その結果の信号が正弦波合成器205に入力される。RXエンティティ200の動作のさらなる詳細については以下で提供される。
図3は、(a)、(b)、(c)及び(d)において、フレームが喪失した場合に、代理フレームを生成して挿入する処理の4つの段階を概略的に図解している。図3(a)は、先に受信された信号301の一部を概略的に図解している。303においてウィンドウが概略的に図解されている。ウィンドウ303は、先に受信された信号301のフレーム、いわゆるプロトタイプフレーム304を抽出するために用いられ、先に受信された信号301の中間部分は、ウィンドウ303が1に等しくプロトタイプフレーム304と同一であるため可視でない。図3(b)は、図3(a)におけるプロトタイプフレームの離散フーリエ変換(DFT)を用いた振幅スペクトルを概略的に図解しており、ここでは2つの周波数ピークfk及びfk+1が特定されている。図3(c)は、生成された代理フレームの周波数スペクトルを概略的に図解しており、ここでは、ピーク周辺の相が適切に展開され、プロトタイプフレームの振幅スペクトルは保たれている。図3(d)は、挿入されている、生成された代理フレーム305を概略的に図解している。
フレーム喪失隠蔽のための上で開示した機構を考慮して、ランダム化にもかかわらず、代理フレームスペクトルの強すぎる周期性と鋭すぎるスペクトルピークによって、音調のアーチファクトが生じることが気づかれている。
また、タイプPhase ECUのフレーム喪失隠蔽の適応方法と併せて説明される機構が、周波数又は時間領域において、失われたフレームに対する代理信号を生成する他のフレーム隠蔽方法に対しても代表的であることが注目に値する。したがって、長いバーストの喪失した又は壊れたフレームの場合に、フレーム喪失隠蔽のための包括的な機構を提供することが望ましいかもしれない。
効果的なフレーム喪失隠蔽を提供することのほかに、最小の計算の複雑性を伴って、また、最小の記憶装置の要求を伴って、実装可能な機構を発見することも望ましいかもしれない。
ここで開示される実施形態の少なくとも一部は、雑音信号を伴う一次的なフレーム喪失隠蔽方法の代理信号を徐々に重ね合わせることに基づき、ここで、雑音信号の周波数特性は、先に正しく受信された信号(「良好なフレーム」)の低分解能スペクトル表現である。
ここで、実施形態に従い、受信エンティティによって実行されるようなフレーム喪失隠蔽のための方法を開示する図6のフローチャートを参照する。
受信エンティティは、ステップS208において、失われたフレームのための代理フレームスペクトルを構成することと関連して、雑音要素を、代理フレームに加算するように構成される。雑音要素は、先に受信されたフレームにおける信号の低分解能スペクトル表現に対応する周波数特性を有する。
この点において、ステップS208における加算が周波数領域で実行される場合、雑音要素は、すでに生成されている代理フレームのスペクトルに加算されるように取り扱われてもよく、したがって、雑音要素が加算されている代理フレームは、二次的な又はさらなる代理フレームとして取り扱われうる。このように、二次的な代理フレームは、一時的な代理フレームと雑音要素とからなる。これらのコンポーネントは、同様にして、周波数コンポーネントからなる。
1つの実施形態によれば、雑音要素を代理フレームに加算するステップS208は、バーストエラー長nが、第1の閾値T1を超えることを確認することを含む。第1の閾値の一例は、T1≧2と設定されるものである。
ここで、さらなる実施形態に従って、受信エンティティによって実行されるようなフレーム喪失隠蔽のための方法を開示する図7のフローチャートを参照する。
第1の好ましい実施形態によれば、失われたフレームに対する代理信号が、一次的なフレーム喪失隠蔽方法によって生成されて、雑音信号と重ねあわされる。連続したフレーム喪失の数が増えることに伴って、一次的なフレーム喪失隠蔽の代理信号が、好ましくはバーストフレーム喪失の場合の一次的なフレーム喪失隠蔽方法の弱める振る舞いに従って、徐々に減衰される。同時に、フレーム喪失隠蔽方法の弱める振る舞いによるフレームのエネルギーの損失が、先に受信された信号のフレーム、例えば最後に正しく受信されたフレームのような同様のスペクトル特性を有する雑音信号の加算を通じて補償される。
したがって、雑音要素と代理フレームのスペクトルは、雑音要素が、徐々に連続して失われたフレームの数に応じて振幅を増加させて、代理フレームのスペクトルに重ね合わされるように、連続して失われたフレームの数に依存するスケール係数を用いてスケーリングされうる。
以下でさらに開示するように、代理フレームのスペクトルは、減衰係数α(m)によって徐々に減衰される。
代理フレームのスペクトル及び雑音要素は、周波数領域で重ね合わされうる。代わりに、低分解能スペクトル表現は線形予測符号(LPC)パラメータのセットに基づき、したがって、雑音要素が時間領域で重ね合わされてもよい。どのようにLPCパラメータを適用するかのさらなる開示については以下を参照されたい。
より具体的には、一次的なフレーム喪失隠蔽方法は、上述のバースト喪失に応答して適応特性を有するPhase ECUタイプの方法でありうる。すなわち、代理フレームのコンポーネントが、Phase ECUなどの一次的なフレーム喪失隠蔽方法によって導出されうる。
その場合、一次的なフレーム喪失隠蔽方法によって生成される信号は、Z(m)=α(m)・Y(m)・ej(θk+θ'(m))のタイプであり、ここで、α(m)及びθ'(m)は、振幅減衰及び位相ランダム化の項である。すなわち、代理フレームのスペクトルは位相を有し、その位相は、ランダム位相値θ'(m)と重ね合わされうる。
また、上述のように、k=1、…、Kを伴う位相θkは、インデクスmとPhase ECU方法によって特定されるK個のスペクトルのピークとの関数であり、Y(m)は、先に受信されたオーディオ信号のフレームの周波数領域表現(スペクトル)である。
ここで示唆されるように、このスペクトルは、その後、合成されたコンポーネントβ(m)・Y'(m)・ejη(m)を生じさせる加法雑音要素β(m)・ejη(m)によって変形されてもよく、ここで、Y'(m)は、先に受信された「良好なフレーム」、すなわち少なくとも相対的に正しく受信された信号のフレームの、振幅スペクトル表現である。それにより、雑音要素に、ランダム位相値η(m)が与えられうる。
この方法において、スペクトルのインデクスmに対するスペクトル係数は、式:
Z(m)=α(m)・Y(m)・ej(θk+θ'(m))+β(m)・Y'(m)・ejη(m)
に従う。ここで、β(m)は、振幅スケーリング係数であり、η(m)はランダム位相である。したがって、加法雑音要素は、振幅スペクトルのスケーリングされたランダム位相スペクトル係数Y'(m)からなる。本発明によれば、β(m)は、一次的なフレーム喪失隠蔽の代理フレームのスペクトルのスペクトル係数Y(m)に減衰係数α(m)を適用する場合に、エネルギーの損失を補償するように選択されうる。したがって、受信エンティティは、オプションのステップS204において、β(m)が代理フレームのスペクトルに対して減衰係数α(m)を適用した結果のエネルギーの損失を補償するように、雑音要素に対する振幅スケーリング係数β(m)を決定するように構成されてもよい。
ランダム位相項が上式の2つの加算項α(m)・Y(m)・ej(θk+θ'(m))及びβ(m)・Y'(m)・ejη(m)を無相関化するという前提において、β(m)は、例えば、
β(m)=√(1−α2(m))
のように決定されうる。
鋭すぎるスペクトルのピークから生じる音調のアーチファクトを伴う上述の問題を避けるために、バーストフレーム喪失の前の信号の全体の周波数特性をなおも維持する一方で、振幅スペクトルの表現Y'(m)は、低分解能の表現である。振幅スペクトルの非常に適した低分解能表現が、先に受信された信号のフレーム、例えば正しく受信されたフレーム、「良好な」フレーム、の振幅スペクトル|Y(m)|を周波数グループに関して平均化することにより得られることが見出されている。受信エンティティは、オプションのステップS202aにおいて、先に受信されたフレームにおける信号の振幅スペクトルを周波数グループに関して平均化することにより、振幅スペクトルの低分解能表現を得るように構成されうる。低分解能スペクトル表現は、先に受信されたフレームにおける信号の振幅スペクトルに基づきうる。
k=[mk-1+1、…、mk]がmk-1+1からmkまでのDFTビン(bins)をカバーするk(k=1、…、K)番目の区間を特定するものとすると、これらの区間は、K個の周波数帯域を定義する。そして、帯域kに対する周波数グループに関しての平均化は、その帯域内でのスペクトルの係数の振幅の二乗を平均化して、その平方根を計算すること:
Figure 0006490715
によって行われうる。ここで|Ik|は、周波数グループkのサイズ、すなわち、含められる周波数ビンの数を表す。区間Ik=[mk-1+1、…、mk]は、fsがオーディオサンプリングをNが使用される周波数領域変換のブロック長を表す場合の、周波数周波数帯域Bk=[(mk-1+1)・fs/N、…、mk・fs/N]に対応することが留意されるべきである。
周波数帯域サイズ又は幅に対する例示の適切な選択は、いずれも、それらを例えば数百MHzの幅を有する等しいサイズとすることである。別の例示の方法は、周波数帯域幅を人間の聴覚に重要な帯域のサイズに従わせる、すなわち、人間の聴覚系の周波数分解能にそれらを関連付けることである。すなわち、周波数グループに関しての平均化の間に用いられるグループの幅は、人間の聴覚に重要な帯域に従いうる。これは、1kHzまでの周波数に対して周波数帯域幅を等しくし、1kHzより上では指数的にそれらを増やすことをおおよそ意味する。指数的な増加は、例えば、帯域インデクスkが増加する場合に周波数帯域を倍にすることを意味する。
低分解能な振幅スペクトル係数Y'kを計算するさらなる例示の具体的な実施形態は、先に受信された信号の多数(multitude)nの低分解能の周波数領域変換に基づくものである。したがって、受信エンティティは、オプションのステップS202bにおいて、先に受信されたフレームにおける信号の多数nの低分解能な周波数領域変換を周波数グループに関して平均化することにより、この振幅スペクトルの低分解能な表現を得るように構成されうる。nの例示の適切な選択はn=2である。
この実施形態によれば、まず、先に受信された信号のフレームの、例えばもっとも最近に受信された良好なフレームの、左部分(サブフレーム)及び右部分(サブフレーム)の二乗された振幅スペクトルが計算される。ここでのフレームは伝送に用いられるオーディオセグメント又はフレームのサイズでありえ、又は、フレームは、いくつかの他のサイズ、例えば再構成された信号から異なる長さを有する独自のフレームを構成しうるPhase ECUによって構成されて使用されるサイズでありうる。これらの低分解能の変換のブロック長Npartは、一次的なフレーム喪失隠蔽方法の元のフレームサイズの一部(例えば1/4)でありうる。そして、次に、左および右のサブフレームからの二乗されたスペクトル振幅を周波数グループに関して平均化し、最後にその平方根
Figure 0006490715
を計算することによって、周波数グループに関しての低分解能な振幅スペクトル係数が計算される。低分解能な振幅スペクトル係数Y'(m)が、その後、K個の周波数グループの代表値から得られる:
Y'(m)=Y'k、ただしm∈Ik、k=1、…、K
低分解能な振幅スペクトル係数Y'kを計算するこのアプローチに伴う様々な利点がある;2つの短い周波数領域変換の使用は、大きいブロック長の単一の周波数領域変換より、計算の複雑性の観点で好ましい。さらに、平均化は、スペクトルの推定値を安定化させる、すなわち、達成可能な品質に影響を与えうる統計上の変動を減らす。先に言及したPhase ECUコントローラと併せて本実施形態を適用する際の特定の利点は、それが、先に受信された信号のフレーム、「良好なフレーム」における一次的な状態の検出に関連するスペクトル解析に依存しうることである。これは、本発明に関連付けられた計算のオーバーヘッドをさらに減らす。
本実施形態が、K個の値のみを用いて低分解能のスペクトルを表現することを可能とし、ここでKは実質的に例えば7又は8程度に低くすることができるため、最小の記憶装置の要求を伴う機構を提供するとの目的も達成される。
さらに、雑音信号を用いた周波数グループに関しての重ね合わせが所定の度合いの低域通過特性を与える場合、長い喪失バーストの場合の再構成されたオーディオ信号の品質がさらに改善されうることが判明している。したがって、低域通過特性が、低分解能スペクトル表現に与えられうる。
このような特性は、代理信号内の不快な高周波数雑音を効果的に防ぐ。より具体的には、これは、より高い周波数に対する雑音信号の係数λ(m)を通じた追加の減衰を導入することにより達成される。上述の雑音スケーリング係数β(m)の計算と比較すると、この係数は、ここでは、
β(m)=λ(m)・√(1−α2(m))
に従って計算される。
ここで、係数λ(m)は、小さいmに対して1に等しく、大きいmに対しては1より小さくてもよい。すなわち、β(m)は、λ(m)が周波数依存の減衰係数である場合にβ(m)=λ(m)・√(1−α2(m))のように決定されうる。例えば、λ(m)は閾値より低いmに対して1に等しくてもよく、そして、λ(m)はこの閾値を上回るmに対しては1より小さくてもよい。
好ましくはスケーリング係数α(m)及びβ(m)が周波数グループに関して定数であることに留意されたい。これは、複雑度と記憶装置の要求を低減するのに役立つ。その場合、係数λは、以下の式:
βk=λk√(1−αk 2
に従って、周波数グループに関して適用される。
λkを、それが8000Hzを超える周波数帯域に対して0.1であり、4000Hz〜8000Hzの周波数帯域に対して0.5となるように設定することが有益であることも判明している。より低い周波数帯域に対して、λkは1に等しい。他の値も可能である。
雑音信号との一次的なフレーム喪失隠蔽方法の代理信号の重ね合わせを伴う提案方法の品質の利点によらず、例えば(200ms以上に対応する)n>10の非常に長いフレーム喪失バーストに対してミュート特性を実行することが有益であることがさらに判明している。したがって、受信エンティティは、オプションのステップS206において、バースト誤り長nが、少なくとも第1の閾値T1と同じ大きさの第2の閾値を超える場合に、T2長期減衰係数γをβ(m)に適用するように構成されうる。一例によれば、T2≧10である。
より詳細には、雑音信号が持続する場合、合成は、聴取者に対して耳障りでありうる。したがって、この問題を解決するために、加法雑音信号は、例えばn=10より長いバーストの喪失から始まって減衰されうる。具体的には、さらなる長期減衰係数γ(例えばγ=0.5)及び閾値threshが導入され、それを用いて、喪失バースト長nがthreshを超える場合に雑音信号が減衰される。これは、雑音スケーリング係数の以下の変形:
βγ(m)=γmax(0, n-thresh)・β(m)
を引き起こす。その変形によって得られる特性は、nが閾値を超える場合に、雑音信号がγn-threshを用いて減衰させられることである。例として、n=20(400ms)、及び、γ=0.5並びにT2=thresh=10とすると、雑音信号は約1/1000にスケールダウンさせられる。
上述の実施形態におけるように、本処理は周波数グループに関して行われうることに、再度留意すべきである。
まとめると、少なくとも一部の実施形態によれば、Z(m)は代理フレームのスペクトルを表現し、このスペクトルは、プロトタイプフレーム、すなわち、先に受信された信号のフレームのスペクトルY(m)に基づいて、Phase ECUなどの一次的なフレーム喪失隠蔽方法の使用によって生成される。
長い喪失バーストに対して、説明されるコントローラを用いたオリジナルのPhase ECUは、本質的に、このスペクトルを減衰させ、位相をランダム化する。非常に大きいnに対して、これは、生成された信号が完全にミュートされることを意味する。
ここで開示されるように、この減衰は、適切な量のスペクトル的にシェイピングした雑音を加算することによって補償される。したがって、n>5であっても、信号のレベルは基本的には不変である。きわめて長い喪失バースト、例えばn>10に対しては、実施形態は、この加法雑音を減衰させる/ミュートすることを含む。
さらなる実施形態によれば、加法低分解能雑音信号のスペクトルY'(m)は、LPCパラメータのセットによって表現されることができ、したがって、この場合のスペクトルは、これらのLPCパラメータを係数として伴うLPC合成のスペクトルに対応する。一次的PLC手法がPhase ECUタイプのものではなく、例えば時間領域において動作する方法である場合に、このような実施形態が好適でありうる。また、その場合、加法低分解能雑音信号スペクトルY'(m)に対応する時間信号は、このLPC係数を伴う合成フィルタを通じて白色雑音をフィルタリングすることにより、時間領域において生成されることが好ましいかもしれない。
ステップS208におけるような代理フレームへの雑音要素の加算は、例えば、周波数領域または時間領域もしくはさらなる等価の信号領域のいずれかにおいて、実行されうる。例えば、その中で一次的なフレーム喪失隠蔽方法が動作しうる直交ミラーフィルタ(QMF)又はサブバンドフィルタ領域などの信号領域が存在する。このような場合、これらの信号領域において、説明した低分解能雑音信号スペクトルY'(m)に対応する加法雑音信号を生成することが好適でありうる。雑音信号が加算される信号領域の違いは別として、上述の実施形態は適用可能なままである。
ここで、1つの特定の実施形態に従って受信エンティティによって実行されるようなフレーム喪失隠蔽のための方法を開示する図5のフローチャートを参照する。
動作S101において、雑音要素が決定されうる。ここで、雑音要素の周波数特性は、先に受信された信号のフレームの低分解能スペクトル表現である。雑音要素は、例えば、β(m)が振幅スケーリング係数でありη(m)がランダム位相でありえ、Y'(m)が先に受信された「良好なフレーム」の振幅スペクトルでありうる場合に、β(m)・Y'(m)・ejη(m)のように構成され、表記されうる。
オプションの動作S103において、失われた又は誤っているフレームの数(n)が閾値を超えているか否かが判定されうる。閾値は、例えば、8、9、10又は11フレームでありうる。nが閾値より低い場合、動作S104において、雑音要素が代理フレームのスペクトルZに加算される。代理フレームのスペクトルZは、例えばPhase ECUなどの一次的なフレーム喪失隠蔽方法によって導出されうる。失われたフレームの数nが閾値を超える場合、減衰係数γが雑音要素に適用されうる。減衰係数は、所定の周波数範囲内において定数でありうる。減衰係数γを適用した場合、雑音要素は、動作S104において、代理フレームのスペクトルZに加算されうる。
ここで説明される実施形態は、図4、8及び9を参照して後述する受信エンティティ又は受信ノードにも関する。受信エンティティについては、不必要な繰り返しを避けるために手短に説明する。
受信エンティティは、ここで説明される実施形態の1つ以上を実行するように構成されうる。
図4は、実施形態による受信エンティティ400の機能モジュールを概略的に開示している。受信エンティティ400は、信号パス410に沿って受信された信号においてフレーム喪失を検出するように構成されるフレーム喪失検出器401を有する。フレーム喪失検出器は、低分解能表現生成器402及び代理フレーム生成器403にインタフェース接続する。低分解能表現生成器402は、先に受信されたフレームにおける信号の低分解能スペクトル表現を生成するように構成される。代理フレーム生成器403は、Phase ECUなどの既知の機構に従って、代理フレームを生成するように構成される。機能ブロック404及び405は、上述のスケーリング係数β、γ及びαを用いた、低分解能表現生成器402及び代理フレーム生成器403によって生成される信号のスケーリングをそれぞれ表している。機能ブロック406及び407は、このようにスケーリングされた信号を、上述の位相値η及びθ'を用いて重ね合わせることを表している。機能ブロック408は、このように生成された雑音要素を代理フレームに加算するための加算器を表している。機能ブロック409は、失われたフレームを生成された代理フレームで置き換えるための、フレーム喪失検出器401によって制御されるスイッチを表している。上述のように、ステップS208における加算などの動作が実行されうる多数の領域が存在する。したがって、任意の上述の機能ブロックは、これらの領域のいずれかでの動作を実行するように構成されうる。
以下では、バーストフレーム誤りの対処のための上述の方法の実行を可能とするように適合された例示の受信エンティティ800について、図8を参照しながら説明する。
ここで示唆されるソリューションに主として関連する受信エンティティの部分は、破線によって囲まれる構成801として図解されている。受信エンティティのその構成及び場合によっては他の部分は、上述の、そして図5、6、7において図解される手順の1つ以上の実行を可能とするように適合されている。受信エンティティ800は、受信エンティティが動作可能な通信標準又はプロトコルに従う無線と有線との少なくともいずれかの通信のための従来の手段を有すると考えてもよい通信部802を介して、他のエンティティと通信するように図解されている。構成と受信エンティティとの少なくともいずれかは、さらに、例えば会話と音楽の少なくともいずれかなどのオーディオのデコーディングに関する信号処理などの、例えば普通の受信エンティティ機能を提供するための他の機能部807を有しうる。
受信エンティティのその構成部分は、以下のように実装されるか説明されるかのいずれかでありうる:
本構成は、プロセッサなどの処理手段803及び命令を記憶するためのメモリ804を含む。メモリは、処理手段によって実行される場合に受信エンティティ又は構成にここで開示されるような方法を実行させる、コンピュータプログラム805の形式の命令を含む。
受信エンティティ800の別の実施形態を図9に示す。図9は、オーディオ信号をデコードするように動作可能な受信エンティティ900を図解している。
構成901は、以下のように実装されるか概略的に説明されるかの少なくともいずれかでありうる。構成901は、先に受信された信号のフレームの低分解能スペクトル表現の周波数特性を用いて雑音要素を決定するように構成され、振幅スケーリング係数を決定するための決定部903を有しうる。本構成は、さらに、その雑音要素を代理フレームのスペクトルに加算するように構成される加算部904を有しうる。本構成は、さらに、先に受信されたフレームにおける信号の振幅スペクトルの低分解能表現を取得するように構成される取得部910を有しうる。本構成は、さらに、長期減衰係数を適用するように構成される適用部911を有しうる。受信エンティティは、例えば雑音要素に対するスケーリング係数β(m)を決定するために構成されるさらなるユニット907を有しうる。受信エンティティ900は、さらに、通信部802のような機能性を伴う送信器(TX)908及び受信器(RX)909を有する通信部902を有する。受信エンティティ900は、さらに、メモリ804のような機能性を伴うメモリ906を有する。
上述の構成におけるユニット又はモジュールは、例えば、プロセッサもしくはマイクロプロセッサと適切なソフトウェアおよびそれを記憶するためのメモリ、上述の動作を実行するように構成された、そして例えば図8において図解された、プログラマブル論理デバイス(PLD)又は他の電子コンポーネント又は処理回路、の1つ以上により、実装されうる。すなわち、上述の構成におけるユニット又はモジュールは、アナログ回路とデジタル回路との組み合わせと、例えばメモリに記憶されたソフトウェアおよび/又はファームウェアを伴って構成される1つ以上のプロセッサと、の少なくともいずれかによって実装されうる。1つ以上のこれらのプロセッサ及び他のデジタルハードウェアは、単一の特定用途向け集積回路(ASIC)に含まれてもよく、又はいくつかのプロセッサ及び様々なデジタルハードウェアは、個別にパッケージングされるにしてもシステムオンチップ(SoC)にアセンブルされるにしても、いくつかの別個のコンポーネントに分散されてもよい。
図10は、コンピュータ可読手段1001を有するコンピュータプログラムプロダクト1000の例を示している。このコンピュータ可読手段1001に、コンピュータプログラム1002が記憶されることができ、このコンピュータプログラム1002は、処理回路803及び通信部802及び記憶媒体804などのそれに動作可能に接続されるエンティティ及びデバイスに、ここで説明される実施形態に従う方法を実行させることができる。このように、コンピュータプログラム1002とコンピュータプログラムプロダクト1001との少なくともいずれかは、ここで開示された任意のステップを実行するための手段を提供しうる。
図10の例では、コンピュータプログラムプロダクト1001は、CD(コンパクトディスク)又はDVD(デジタル多目的ディスク)又はブルーレイディスクなどの光学ディスクとして図解されている。コンピュータプログラムプロダクト1001は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM)、又は電気的に消去可能なプログラマブル読み出し専用メモリ(EEPROM)などのメモリとして、そして、より具体的には、USB(ユニバーサルシリアルバス)メモリ又はコンパクトフラッシュメモリなどのフラッシュメモリなど、外部メモリにおけるデバイスの不揮発記憶媒体として具現化されうる。このように、ここではコンピュータプログラム1002が描画された光学ディスク上のトラックとして概略的に示されているが、コンピュータプログラム1002は、コンピュータプログラムプロダクト1001に適した任意の方法で記憶されうる。
可能な特徴及び実施形態のいくつかの定義について、図5のフローチャートを部分的に参照して、概説する。
フレーム喪失隠蔽を改善する又はバーストフレーム誤りの対処のための受信エンティティによって実行される方法であって、代理フレームのスペクトルZを構成することと関連して、
雑音要素を代理フレームのスペクトルZに加算すること(動作104)を含み、ここで、雑音要素の周波数特性は先に受信された信号のフレームの低分解能スペクトル表現である、方法。
可能な実施形態において、低分解能スペクトル表現は、先に受信された信号のフレームの振幅スペクトルに基づく。振幅スペクトルの低分解能表現は、例えば先に受信された信号のフレームの振幅スペクトルを周波数グループに関して平均化することにより、取得されうる。代わりに、振幅スペクトルの低分解能表現は、多数nの先に受信された信号の低分解能周波数領域変換に基づいてもよい。
可能な実施形態において、低分解能スペクトル表現は、線形予測符号化(LPC)パラメータのセットに基づく。
代理フレームのスペクトルZが減衰係数α(m)によって徐々に減衰させられる可能な実施形態において、本方法は、雑音要素のための振幅スケーリング係数β(m)を、β(m)が減衰係数α(m)の適用の結果として生じるエネルギーの損失を補償するように、決定することを含む。β(m)は、例えば、
β(m)=√(1−α2(m))
のように決定されうる。
可能な実施形態において、β(m)は、β(m)=λ(m)√(1−α2(m))のように導出され、ここで係数λ(m)は、雑音信号の所定の周波数、例えばより高い周波数に対する減衰係数である。λ(m)は、小さいmに対して1に等しく、大きいmに対して1より小さくてもよい。
可能な実施形態において、スケーリング係数α(m)及びβ(m)は、周波数グループに関して定数である。
可能な実施形態において、方法は、バースト誤り長が閾値を超えた場合に減衰係数(γ)を適用すること(動作103)を含む。
代理フレームのスペクトルZは、Phase ECUなどの一次的なフレーム喪失隠蔽方法によって導出されうる。
異なる実施形態が、任意の適切な方法で組み合わせられうる。
以下では、用語「Phase ECU」について明示的に言及しないが、フレーム喪失隠蔽方法Phase ECUの事例的な実施形態の情報を提供する。ここでは、Phase ECUについては、雑音要素を加算する前のZの導出のための、一次的なフレーム喪失隠蔽方法の観点で言及している。
ここで説明される後の実施形態の概要は、
−先に受信され又は再構成されたオーディオ信号の少なくとも一部の、オーディオ信号の正弦波成分の周波数を特定することを含んだ正弦解析を実行することと、
−先に受信され又は再構成されたオーディオ信号のセグメントであって、失われたフレームに対する代理フレームを生成するためにプロトタイプフレームとして用いられるセグメントに、正弦波モデルを適用することと、
−対応する特定された周波数に応答して、失われたオーディオフレームのタイムインスタンスに至るまでのプロトタイプフレームの正弦波要素の時間展開を含む代理フレームを生成することと、
による失われたオーディオフレームの隠蔽を含む。
正弦解析
実施形態に係るフレーム喪失隠蔽は、先に受信された又は再構成されたオーディオ信号の一部の正弦解析を含む。この正弦解析の目的は、その信号の主たる正弦波成分すなわち正弦曲線の周波数を発見することである。これにより、根底にある前提は、オーディオ信号が正弦波モデルによって生成されたこと、又はそれが限られた数の個別の正弦波からなること、すなわち、それが以下の種類の複数の正弦波信号であることである:
Figure 0006490715
この等式において、Kは、信号が構成されると仮定される正弦曲線の数である。インデクスk=1…Kを有する正弦曲線のそれぞれについて、akは振幅であり、fkは周波数であり、φkは位相である。サンプリング周波数がfsによって表記されており、時間離散信号サンプルの時間インデクスは、nによってs(n)で表記されている。
正弦曲線の厳密な周波数を可能な限り発見することは有益であり、又は、非常に重要でありうる。理想的な正弦波信号は、線周波数fkの線スペクトルを有しうるところ、その真の値を発見するには、原理的に無限の測定時間が必要となる。したがって、ここで説明される実施形態による制限解析で用いられる信号セグメントに対応する短い測定期間に基づいては、それらは推定することしかできないため、実際には、これらの周波数を発見するのは困難である。この信号セグメントを、以下では、解析フレームと呼ぶ。別の困難性は、信号が実際には時変である場合があり、これが上式のパラメータの測定が時間に対して変動することを意味することである。したがって、一方では測定をより正確にする長い解析フレームを用いることが望ましく、他方では起こりうる信号の変動により良く対処するために、短い測定期間が必要となるであろう。良好なトレードオフは、例えば20〜40msのオーダの解析フレーム長を用いることである。
好ましい実施形態によると、正弦曲線の周波数fkは、解析フレームの周波数領域解析によって特定される。この目的で、解析フレームは、例えば、DFT(離散フーリエ変換)又はDCT(離散コサイン変換)又は同様の周波数領域変換を用いて、周波数領域に変換される。解析フレームのDFTが用いられる場合、離散周波数インデクスmにおけるスペクトルX(m)は、
Figure 0006490715
によって与えられる。この式において、w(n)は、長さLの解析フレームが抽出されて重み付けされるウィンドウ関数を表しており、jは虚数単位であり、eは指数関数である。
通常のウィンドウ関数は、n∈[0…L−1]に対して1に等しく他の場合は0の矩形ウィンドウである。先に受信されたオーディオ信号の時間インデクスが、時間インデクスn=0…L−1によってプロトタイプフレームが参照されるように設定されるものとする。スペクトル解析により適しうる他のウィンドウ関数は、例えば、ハミング、ハニング、カイザー、又はブラックマンである。
他のウィンドウ関数は、ハミングウィンドウと矩形ウィンドウの組み合わせである。このようなウィンドウは、長さL1のハミングウィンドウの左半分のような立ち上がりエッジと、長さL1のハミングウィンドウの右半分のような立ち下がりエッジと、その立ち上がり及び立ち下がりエッジの間の長さL−L1に対して1に等しいウィンドウを有しうる。
ウィンドウイングされた解析フレームの振幅スペクトルのピーク|X(m)|は、要求される正弦は周波数fkの近似を構成する。しかしながら、この近似の精度はDFTの周波数間隔によって制限される。ブロック長LのDFTを用いると、精度はfs/2Lに制限される。
その一方で、この精度のレベルは、ここで説明される実施形態による方法の範囲において低すぎるかもしれず、以下の考察の結果に基づいて、改善された精度を得る事ができる。
ウィンドウイングされた解析フレームのスペクトルは、正弦波モデル信号の線スペクトルS(Ω)を用いてウィンドウ関数のスペクトルの畳み込みによって与えられ、その後、DFTの格子点でサンプリングされる:
Figure 0006490715
この式において、δは、ディラックのデルタ関数を表しており、シンボル*は、畳み込み操作を表している。正弦波モデル信号のスペクトル表現を用いて、これは、
Figure 0006490715
と書くことができる。したがって、サンプリングされたスペクトルは、m=0…L−1を伴って、
Figure 0006490715
によって与えられる。これに基づいて、解析フレームの振幅スペクトルにおいて観測されるピークは、K個の正弦曲線を伴うウィンドウイングされた正弦波信号から生じ、ここで、真の正弦曲線周波数がそのピークの近傍で発見される。したがって、正弦波成分の周波数の特定は、さらに、使用される周波数領域変換に関するスペクトルのピークの近傍における周波数の特定を含みうる。
kが観測されたk番目のピークのDFTインデクス(格子点)であるものとすると、対応する周波数は、f'k=mk・fs/Lであり、これは、真の正弦波周波数fkの近似として取り扱われうる。真の正弦曲線周波数fkは、区間[(mk−1/2)・fs/L,(mk+1/2)・fs/L]の区間内にあると想定されうる。
明確性のため、ウィンドウ関数のスペクトルの正弦波モデル信号の線スペクトルのスペクトルとの畳み込みが、ウィンドウ関数スペクトルの周波数シフトされた複数のバージョンの重ね合わせとして理解されうること、それによりシフト周波数が正弦曲線の周波数であることが留意される。この重ね合わせは、その後、DFTの格子点においてサンプリングされる。
上述の議論に基づいて、真の正弦波周波数のより良好な近似値が、使用される周波数領域変換の周波数分解能より大きくなるようにサーチの分解能を増やすことによって、発見されてもよい。
このように、正弦波成分の周波数の特定は、好ましくは、使用される周波数変換の周波数分解能より高い分解能を用いて実行され、その特定は、さらに、補間を含みうる。
正弦曲線の周波数fkのより良好な近似値を発見する一例における好適な例は、放物線補間を適用することである。1つのアプローチは、ピークを囲むDFT振幅スペクトルの格子点を通過する放物線を適合させ、その放物線の極大値に属する個別の周波数を計算することであり、放物線の次数の例示の適切な選択は2である。より詳細には、以下の手順が適用されうる。
1)ウィンドウイングされた解析フレームのDFTのピークを特定する。ピークの探索は、ピークの数Kと、そのピークの対応するDFTインデクスとを導出する。ピークの探索は、通常、DFT振幅スペクトルまたは対数DFT振幅スペクトル上でなされうる。
2)対応するDFTインデクスmkを有する各ピークk(k=1…K)に対して、logが対数演算子を表すとするときに、3つの点{P1;P2;P3}={(mk−1、log(|X(mk−1)|);(mk、log(|X(mk)|);(mk+1、log(|X(mk+1)|)}を通過する放物線を適合させる。これは、
Figure 0006490715
によって定められる放物線の放物線係数bk(0)、bk(1)、bk(2)をもたらす。
3)K個の放物線のそれぞれについて、f'k=m'k・fs/Lが正弦曲線周波数fkに対する近似値として用いられる場合の、その放物線がその最大値を有する値qに対応する補間周波数インデクスm'kを計算する。
正弦波モデルの適用
実施形態にかかるフレーム喪失隠蔽処理を実行するための正弦波モデルの適用は、以下のように説明されうる。
符号化された信号の所与のセグメントを、対応する符号化された情報が利用可能でないため、すなわち、フレームが失われたために、復号器によって再構成できない場合、このセグメントに先立つ信号の利用可能な部分が、プロトタイプフレームとして使用されうる。n=0…N−1のy(n)が利用できず、それに対して代理フレームz(n)が生成されなければならないセグメントであり、n<0のy(n)が利用可能な先に復号された信号である場合、長さL及び開始インデクスn-1の利用可能な信号のプロトタイプフレームが、ウィンドウ関数w(n)を用いて抽出され、例えばDFTを用いて、周波数領域に変換される:
Figure 0006490715
ウィンドウ関数は、正弦解析における上述のウィンドウ関数の1つでありうる。好ましくは、計算の複雑性を抑えるために、周波数変換されたフレームは、正弦解析の間に用いられるものと同一であるべきである。
次のステップにおいて、正弦波モデルの仮定が適用される。正弦波モデルの仮定に従って、プロトタイプフレームのDFTは、以下のように書くことができる:
Figure 0006490715
この式については、解析部分においても使用されたものであり、上で詳細に説明している。
次に、使用されるウィンドウ関数のスペクトルが、ゼロに近い周波数範囲においてのみ十分な寄与をすることが実現される。ウィンドウ関数の振幅スペクトルは、ゼロに近い及びその他の小さい周波数(サンプリング周波数の半分に対応する−πからπまでの正規化周波数の範囲内)に対して大きい。したがって、近似値として、ウィンドウスペクトルW(m)がある区間に対してのみ非ゼロであることが想定される。
M=[−mmin、mmax]であり、mmin及びmmaxは小さい正数である。具体的には、ウィンドウ関数スペクトルの近似値は、各kに対して、上の式におけるシフトされたウィンドウスペクトルの寄与が厳密にオーバーラップしないように、使用される。したがって、上の式において、各周波数インデクスに対して、最大値においてのみ、1つの加数からの、すなわち、1つのシフトされたウィンドウスペクトルからの寄与が存在する。これは、上の式が以下の近似式まで縮小することを意味する:
非負のm∈Mk及び各kに対して、
Figure 0006490715
である。
ここで、Mkは、整数間隔を表し、Mk=[round(fk・L/fs)−mmin, k、round(fk・L/fs)+mmax, k]であり、mmin, k及びmmax, kは、間隔がオーバーラップしないような上述の制約を満たす。mmin, k及びmmax, kの適切な選択は、それらを小さい整数値、例えばδ=3に設定することである。その一方で、2つの隣接する正弦曲線周波数fk及びfk+1に関連するDFTインデクスが2δより小さい場合、δは、間隔がオーバーラップしないことを確実にするように、floor((round(fk+1・L/fs)−round(fk・L/fs))/2)に設定される。関数floor(・)は、関数変数に対して、それ以下の最も近い整数である。
本実施形態にかかる次のステップは、上の式に従って正弦波モデルを適用して、時間においてK個の正弦曲線を展開することである。プロトタイプフレームの時間インデクスと比較して、消えたセグメントの時間インデクスがn-1サンプルだけ異なる仮定は、正弦曲線の位相がθk=2πfk-1/fsだけ進むことを意味する。
したがって、展開された正弦波モデルDFTスペクトルは、
Figure 0006490715
によって与えられる。
近似値であって、それによってシフトされたウィンドウ関数のスペクトルがオーバーラップしない近似値を再度適用することによって、非負のm∈Mk及び各kに対して、Y'0=(ak/2)・W(2π(m/L−fk/fs))・ej(φk+θk)が与えられる。
プロトタイプフレームのDFT Y-1(m)を、展開された正弦波モデルのDFT Y0(m)と、近似値を用いて比較すると、位相が各m∈Mkに対してθk=2π・fk-1/fsだけシフトされる一方で振幅スペクトルが変化しないままであることが分かる。
したがって、代理フレームは、非負のm∈Mk及び各kに対して、Z(m)=Y(m)・ejθkとする場合の、z(n)=IDFT{Z(m)}によって計算されうる。
特定の実施形態は、いずれの間隔Mkにも属しないDFTインデクスに対する位相ランダム化に対処する。上述のように、間隔Mk(k=1…K)は、それらが厳格にオーバーラップしないように、設定されなければならず、それは、間隔のサイズを制御するあるパラメータδを用いて行われる。2つの隣接する正弦曲線の周波数距離に関してδが小さいことがありうる。したがって、その場合、2つの間隔の間にギャップがあることが起こる。このため、対応するDFTインデクスmに対して、上述の式Z(m)=Y(m)・ejθkに従って、位相シフトが定義されない。この実施形態による適切な選択は、これらのインデクスに対する位相をランダム化し、関数rand(・)があるランダム数を返す場合に、Z(m)=Y(m)・ej2πrand(・)を与えることである。
1つのステップにおいて、先に受信されたまたは再構成されたオーディオ信号の一部の正弦解析が実行され、ここで、正弦解析は、オーディオ信号の正弦波成分、すなわち正弦曲線の周波数を特定することを含む。次に、1つのステップにおいて、先に受信されたまたは再構成されたオーディオ信号のセグメントに正弦波モデルが適用され、ここで、失われたオーディオフレームに対する代理フレームを生成するために、プロトタイプフレームとしてこのセグメントが用いられ、1つのステップにおいて、対応する特定された周波数に応答して、失われたオーディオフレームに対する代理フレームが生成され、これは、失われたオーディオフレームの時間インスタンスまでのプロトタイプフレームの正弦波成分すなわち正弦曲線の時間展開を含む。
更なる実施形態によれば、オーディオ信号が有限数の別個の正弦波成分からなり、正弦解析が周波数領域で実行されるものとする。さらに、正弦波成分の周波数の特定は、使用される周波数変換に関するスペクトルのピークの近傍の周波数を特定することを含みうる。
例示の実施形態によれば、正弦波成分の周波数の特定が、使用される周波数変換の分解能より高い分解能を用いて実行され、その特定は、さらに、例えば放物線タイプの補間を含みうる。

例示の実施形態によれば、方法は、ウィンドウ関数を用いて先に受信された又は再構成された利用可能な信号からプロトタイプフレームを抽出することを含み、抽出されたプロトタイプフレームは、周波数領域に変換されうる。
更なる実施形態は、近似されたウィンドウ関数スペクトルの厳格にオーバーラップしない部分から代理フレームのスペクトルが構成されるように、ウィンドウ関数のスペクトルの近似を含む。
更なる例示の実施形態によれば、方法は、各正弦波成分の周波数に応じて、また、失われたオーディオフレームとプロトタイプフレームとの間の時間差に応じて、正弦波成分の位相を進めることによって、プロトタイプフレームの周波数スペクトルの正弦波成分を時間展開することと、正弦波周波数fk及び失われたオーディオフレームとプロトタイプフレームとの時間差に比例する位相シフトによって、正弦波kの近傍における間隔Mkに含まれるプロトタイプフレームのスペクトル係数を変更することとを含む。
更なる実施形態は、特定された正弦曲線に属しないプロトタイプフレームのスペクトル係数の位相をランダム位相だけ変更すること、または、特定された正弦曲線の近傍に関する間隔のいずれにも含まれないプロトタイプフレームのスペクトル係数の位相をランダム値だけ変更することを含む。
実施形態は、さらに、プロトタイプフレームの周波数スペクトルの逆周波数変換を含む。
より具体的には、更なる実施形態に係るオーディオフレーム喪失隠蔽方法は、以下のステップを含む:
1)利用可能な、先に合成された信号のセグメントを解析し、正弦波モデルの構成正弦波周波数fkを取得する。
2)利用可能な先に合成された信号からプロトタイプフレームy-1を抽出し、そのフレームのDFTを計算する。
3)正弦波周波数fkとプロトタイプフレームと代理フレームとの間の時間アドバンスn-1とに応じて、各正弦曲線kに対する位相シフトθkを計算する。
4)各正弦曲線kに対して、正弦曲線周波数fkの周囲の近傍に関するDFTインデクスに対して選択的にθkを用いて、プロトタイプフレームDFTの位相を進める。
5)4)で得られたスペクトルの逆DFTを計算する。
上述の実施形態は、さらに、以下の仮定によって説明されうる:
a)信号が有限数の正弦曲線によって表現可能である仮定。
b)代理フレームは、より早いある瞬間と比較して、時間において展開されたこれらの正弦曲線によって十分に良好に表現される仮定。
c)代理フレームのスペクトルを、周波数シフトされたウィンドウ関数スペクトルのオーバーラップしない部分によって、作り上げることができ、シフト周波数は正弦曲線周波数であるような、ウィンドウ関数のスペクトルの近似の仮定。
Phase ECUの更なる作りこみに関する情報が以下提示される:
ここで説明される実施形態の概要は、以下、
−先に受信され又は再構成されるオーディオ信号の少なくとも一部の、オーディオ信号の正弦波成分の周波数を特定することを含んだ正弦解析を実行することと、
−失われたフレームに対する代理フレームを生成するために、プロトタイプフレームとして用いられるセグメントであって、先に受信され又は再構成されるオーディオ信号のセグメントに正弦波モデルを適用することと、
−失われたオーディオフレームに対する代理フレームを生成することであって、これは対応する特定された周波数に基づく、失われたオーディオフレームのタイムインスタンスまでのプロトタイプフレームの正弦波成分の時間展開を含み、
−周波数の特定において、メインローブ近似とハーモニックエンハンスメントとフレーム間エンハンスメントとの少なくとも1つを含んだ向上した周波数推定の少なくとも1つと、オーディオ信号の調性に応じた代理フレームの生成の適合と、を実行することと、
によって失われたオーディオフレームを隠蔽することを含む。
ここで説明される実施形態は、向上した周波数推定を含む。これは、例えば、メインローブ近似、ハーモニックエンハンスメント、またはフレーム間エンハンスメントを用いて実装されてもよく、それらの3つの選択肢の実施形態について後述する。
メインローブ近似
上述の放物線補間を伴う1つの制限は、使用される放物線はウィンドウ関数の振幅スペクトル|W(Ω)|のメインローブの形状を近似しないことから生じる。ソリューションとして、この実施形態は、ピークを取り囲むDFT振幅スペクトルの格子点を通じて|W(2π・q/L)|のメインローブを近似する関数P(q)を適合させ、関数の極大値に属しない個別の周波数を計算する。関数P(q)は、ウィンドウ関数の周波数シフトされた振幅スペクトル|W(2π・(q−q')/L)|と同一でありうる。しかしながら、計算を簡単にするために、むしろ、例えば関数の極大値の簡単な計算を可能とする多項式であるべきである。以下の詳細な手順が適用される:
1.ウィンドウイングされた解析フレームのDFTのピークを特定する。ピークの探索は、ピークの数Kとピークの対応するDFTインデクスを導出する。ピークの探索は、通常、DFT振幅スペクトル又は対数DFT振幅スペクトルにおいてなされうる。
2.所与の間隔(q1、q2)に対して、ウィンドウ関数の振幅スペクトル|W(2π・q/L)|又は対数振幅スペクトルlog|W(2π・q/L)|を近似する関数P(q)を導出する。
3.対応するDFTインデクスを有する(k=1…Kでの)各ピークkに対して、ウィンドウイングされた正弦波信号のスペクトルの予想される真のピークを囲む2つのDFT格子点を通じて、mkを周波数シフトされた関数P(q−q'k)に合わせる。したがって、対数振幅スペクトルで操作する場合に対して、|X(mk−1)|が|X(mk+1)|より大きい場合は点{P1;P2}={(mk−1、log(|X(mk−1)|));(mk、log(|X(mk)|))}を通じて、その他の場合は点{P1;P2}={(mk、log(|X(mk)|));(mk+1、log(|X(mk+1)|))}を通じて、P(q−q'k)を適合させる。対数ではなく線形の振幅スペクトルで操作する別の例に対して、|X(mk−1)|が|X(mk+1)|より大きい場合は点{P1;P2}={(mk−1、|X(mk−1)|);(mk、|X(mk)|)}を通じて、その他の場合は点{P1;P2}={(mk、|X(mk)|);(mk+1、|X(mk+1)|)}を通じて、P(q−q'k)を適合させる。P(q)は、簡単のため、次数が2又は4のいずれかの多項式が選ばれうる。これは、ステップ2における近似値を単純な線形退行計算に、そしてq'kの計算を簡単にする。間隔(q1、q2)は、固定されるとともにすべてのピークに対して同一の、例えば(q1、q2)=(−1、1)のように、または適応的に選択されうる。
適応的なアプローチにおいて、関数P(q−q'k)が、関連するDFT格子点{P1;P2}の範囲内でウィンドウ関数スペクトルのメインローブを適合させるように、間隔が選択されうる。
4.ウィンドウイングされた正弦波信号の連続スペクトルがピークを有すると期待されるK個の周波数シフトパラメータq'kのそれぞれに対して、正弦曲線周波数fkに対する近似値として、f'k=q'k・fs/Lを計算する。
周波数推定のハーモニックエンハンスメント
送信信号は、ハーモニックであってもよく、これは、その信号がある基本周波数f0の整数倍の周波数を有する正弦波からなることを意味する。これは、信号が、声に出した会話又はある楽器の持続されている音調に対するように非常に周期的である場合である。これは、実施形態の正弦波モデルの周波数は独立ではないが、ハーモニックな関係を有するとともにある基本周波数から生じることを意味する。このハーモニックな特性を考慮することによって、結果として、正弦波成分の周波数の解析を大きく向上させることができ、この実施形態は、以下の手順を含む:
1.信号がハーモニックであるかを確認する。これは、例えば、フレームの喪失に先立って信号の周期性を評価することによって行われうる。1つの簡単な方法は、信号の自己相関解析を実行することである。あるタイムラグτ>0に対するこのような自己相関関数の最大値をインジケータとして用いることができる。この最大の値が所与の閾値を超える場合、その信号はハーモニックと見なされうる。そして、対応するタイムラグτは、基本周波数f0=fs/τに関連する信号の周期に対応する。
多くの線形予測会話符号化方法は、適応コードブックを用いたいわゆるオープン又はクローズドループのピッチ予測又はCELP(符号励振線形予測)符号化を適用する。このような符号化方法によって得られるピッチ利得及び関連付けられたピッチラグパラメータもまた、信号がハーモニックである場合に、タイムラグに対して、それぞれ、有用なインジケータである。
更なる方法について以下説明する:
2.整数範囲1…Jmaxの範囲内の各ハーモニックインデクスjに対して、ハーモニック周波数fj=jf0の近傍の範囲内の解析フレームの(対数)DFT振幅スペクトルにおいてピークがあるか否かを確認する。fjの近傍は、デルタがDFTの周波数分解能fs/Lに対応するfjの周囲のデルタの範囲、すなわち、間隔[j・f0−fs/(2・L)、j・f0+fs/(2・L)]として定められうる。
対応する推定された正弦波周波数f'kを伴うこのようなピークが存在する場合、f'kをf''k=j・f0によって入れ替える。
上で与えた手順に対して、信号がハーモニックであるかの確認及び基本周波数の導出を黙示的に、また、場合によっては、ある別個の方法からのインジケータを必ずしも用いずに繰り返す方法で、行う可能性がある。このような技術の例は、以下のように与えられる:
候補値のセット{f0,1…f0,P}中の各f0,Pに対して、f'kを入れ替えないが、ハーモニック周波数すなわちf0,Pの整数倍の周囲の近傍の範囲内にどれだけ多くのDFTピークが存在するかをカウントして、上述の手順2を適用する。そのハーモニック周波数において又はその周囲で最も多くのピークが得られた基本周波数f0,Pmaxを特定する。このピークの最多数が所与の閾値を超える場合、信号は、ハーモニックであると仮定される。その場合、f0,Pmaxが、その後それを用いて向上した正弦波周波数f''kをもたらす手順2が実行される、基本周波数であると仮定されうる。その一方で、より好ましい選択肢は、まず、ハーモニック周波数に一致することが分かったf'kピーク周波数に基づいて、基本周波数推定値f0を最適化することである。周波数f'k(m)(m=1…M)におけるM個のスペクトルのピークのあるセットと一致することが分かったM個の倍音、すなわち、ある基本周波数の整数倍{n1…nM}のセットを仮定して、その後、基礎的な(最適化された)基本周波数推定値f0, optがハーモニック周波数とスペクトルピーク周波数との間の誤差を最小化するように計算されうる。最小化されるべき誤差が平均二乗誤差E2=Σm=1 M(nm・f0−f'k(m))2である場合、最適化された基本周波数推定値は、f0=(Σm=1 Mm・f'k(m))/Σm=1 Mm 2として計算される。
候補値の初期セット{f0, 1…f0, P}は、DFTピークの周波数又は推定された正弦波周波数f'kから得ることができる。
周波数推定のフレーム間エンハンスメント
この実施形態によれば、推定された正弦波周波数f'kの精度が、それらの一時的な展開を考慮することによって向上させられる。したがって、複数の解析フレームからの正弦波周波数の推定値が、例えば平均化または予測を用いて合成される。平均化または予測に先立って、推定されたスペクトルのピークを個別の同じ基礎的な正弦曲線につなげるピーク追跡が適用される。
正弦波モデルの適用
実施形態にかかるフレーム喪失隠蔽処理を実行するための正弦波モデルの適用は、以下のように説明されうる。
符号化された信号の所与のセグメントを、対応する符号化された情報が利用可能でないため、すなわち、フレームが失われたために、復号器によって再構成できない場合、このセグメントに先立つ信号の利用可能な部分が、プロトタイプフレームとして使用されうる。n=0…N−1のy(n)が利用できず、それに対して代理フレームz(n)が生成されなければならないセグメントであり、n<0のy(n)が利用可能な先に復号された信号である場合、長さL及び開始インデクスn-1の利用可能な信号のプロトタイプフレームが、ウィンドウ関数w(n)を用いて抽出され、例えばDFTを用いて、周波数領域に変換される:
Figure 0006490715
ウィンドウ関数は、正弦解析における上述のウィンドウ関数の1つでありうる。好ましくは、計算の複雑性を抑えるために、周波数変換されたフレームは、正弦解析の間に用いられるものと同一であるべきであり、これは、解析フレームとプロトタイプフレームとが、同様にそれらのそれぞれの周波数変換が同一であることを意味する。
次のステップにおいて、正弦波モデルの仮定が適用される。正弦波モデルの仮定に従って、プロトタイプフレームのDFTは、以下のように書くことができる:
Figure 0006490715
この式については、解析部分においても使用されたものであり、上で詳細に説明している。
次に、使用されるウィンドウ関数のスペクトルが、ゼロに近い周波数範囲においてのみ十分な寄与をすることが実現される。上述のように、ウィンドウ関数の振幅スペクトルは、ゼロに近い及びその他の小さい周波数(サンプリング周波数の半分に対応する−πからπまでの正規化周波数の範囲内)に対して大きい。したがって、近似値として、ウィンドウスペクトルW(m)は間隔M=[−mmin、mmax]に対してのみ非ゼロであり、mmin及びmmaxは小さい正数であることが想定される。具体的には、ウィンドウ関数スペクトルの近似値は、各kに対して、上の式におけるシフトされたウィンドウスペクトルの寄与が厳密にオーバーラップしないように、使用される。したがって、上の式において、各周波数インデクスに対して、最大値においてのみ、1つの加数からの、すなわち、1つのシフトされたウィンドウスペクトルからの寄与が存在する。これは、上の式が以下の近似式まで縮小することを意味する:
非負のm∈Mk及び各kに対して、
Figure 0006490715
である。
ここで、Mkは、整数間隔を表し、Mk=[round(fk・L/fs)−mmin, k、round(fk・L/fs)+mmax, k]であり、mmin, k及びmmax, kは、間隔がオーバーラップしないような上述の制約を満たす。mmin, k及びmmax, kの適切な選択は、それらを小さい整数値δに、例えばδ=3に設定することである。その一方で、2つの隣接する正弦曲線周波数fk及びfk+1に関連するDFTインデクスが2δより小さい場合、δは、間隔がオーバーラップしないことを確実にするように、floor((round(fk+1・L/fs)−round(fk・L/fs))/2)に設定される。関数floor(・)は、関数変数に対して、それ以下の最も近い整数である。
本実施形態にかかる次のステップは、上の式に従って正弦波モデルを適用して、時間においてK個の正弦曲線を展開することである。プロトタイプフレームの時間インデクスと比較して、消えたセグメントの時間インデクスがn-1サンプルだけ異なる仮定は、正弦曲線の位相がθk=2πfk-1/fsだけ進むことを意味する。
したがって、展開された正弦波モデルDFTスペクトルは、
Figure 0006490715
によって与えられる。
近似値であって、それによってシフトされたウィンドウ関数のスペクトルがオーバーラップしない近似値を再度適用することによって、非負のm∈Mk及び各kに対して、Y'0=(ak/2)・W(2π(m/L−fk/fs))・ej(φk+θk)が与えられる。
プロトタイプフレームのDFT Y-1(m)を、展開された正弦波モデルのDFT Y0(m)と、近似値を用いて比較すると、位相が各m∈Mkに対してθk=2π・fk-1/fsだけシフトされる一方で振幅スペクトルが変化しないままであることが分かる。
したがって、代理フレームは、非負のm∈Mk及び各kに対して、Z(m)=Y(m)・ejθkとする場合の、z(n)=IDFT{Z(m)}によって計算されうる。ここで、IDFTは逆DFTを表す。
特定の実施形態は、いずれの間隔Mkにも属しないDFTインデクスに対する位相ランダム化に対処する。上述のように、間隔Mk(k=1…K)は、それらが厳格にオーバーラップしないように、設定されなければならず、それは、間隔のサイズを制御するあるパラメータδを用いて行われる。2つの隣接する正弦曲線の周波数距離に関してδが小さいことがありうる。したがって、その場合、2つの間隔の間にギャップがあることが起こる。このため、対応するDFTインデクスmに対して、上述の式Z(m)=Y(m)・ejθkに従って、位相シフトが定義されない。この実施形態による適切な選択は、これらのインデクスに対する位相をランダム化し、関数rand(・)があるランダム数を返す場合に、Z(m)=Y(m)・ej2πrand(・)を与えることである。
信号の調性に応じて区間Mkのサイズを適応させる実施形態について、以下、説明する。
本発明の1つの実施形態は、信号の調性に応じて、間隔Mkのサイズを適応させることを含む。この適応は、例えばメインローブ推定、ハーモニックエンハンスメント、またはフレーム間エンハンスメントを用いる上述の向上した周波数推定と組み合わせられてもよい。しかしながら、代わりに、信号の調性に応じた間隔Mkのサイズの適応は、先立つ向上した周波数推定を用いずに実行されてもよい。
間隔Mkのサイズを最適化することが、再構成された信号の品質に対して有益であることが分かっている。具体的には、信号が非常に調性のある場合、すなわち、明確かつ区別されるスペクトルのピークを有する場合、間隔はより大きくあるべきである。これは、例えば、信号が明確な周期性を有してハーモニックである場合である。信号がより広いスペクトルの最大値を有して、よりはっきりしないスペクトル構造を有する他の場合、小さい間隔を用いることがよりよい品質をもたらすことが分かっている。このことは、信号の特性に従って間隔のサイズが適合させられることに応じて、さらなる改善をもたらす。1つの実現は、調整又は周期性検出器を用いることである。この検出器が信号を調整ありと特定した場合、間隔のサイズを制御するδパラメータは、相対的に大きい値に設定される。その他の場合、δパラメータは、相対的により小さい値に設定される。
先に受信されたまたは再構成されたオーディオ信号の一部の正弦解析が実行され、ここで、正弦解析は、1つのステップにおいて、そのオーディオ信号の正弦波成分の、すなわち正弦曲線の、周波数を特定することを含む。1つのステップにおいて、先に受信されたまたは再構成されたオーディオ信号のセグメントであって、失われたオーディオフレームに対する代理フレームを生成するためのプロトタイプフレームとして用いられるセグメントに正弦波モデルが適用され、1つのステップにおいて、対応する特定された周波数に応じて、失われたオーディオフレームの時間インスタンスまでのプロトタイプフレームの正弦波成分の、すなわち正弦曲線の時間展開を含んで、その失われたオーディオフレームに対する代理フレームが生成される。しかしながら、正弦波成分の周波数を特定するステップと代理フレームを生成するステップとの少なくともいずれかは、さらに、周波数の特定における向上した周波数推定と、オーディオ信号の調性に応じた代理フレームの生成の適合との少なくとも1つを実行することを含みうる。向上した周波数推定は、メインローブ近似、ハーモニックエンハンスメント、及びフレーム間エンハンスメントの少なくとも1つを含む。
さらなる実施形態によれば、オーディオ信号が制限された数の個別の正弦波成分からなることが仮定される。
例示の実施形態によれば、方法は、ウィンドウ関数を用いて先に受信されたまたは再構成された利用可能な信号からプロトタイプフレームを抽出することを含み、抽出されたプロトタイプフレームは、周波数領域表現へと変換されうる。
第1の選択肢の実施形態によれば、向上した周波数推定は、ウィンドウ関数に関する振幅スペクトルのメインローブの形状を近似することを含み、さらに、1つ以上のスペクトルのピーク(k)及び解析フレームに関連する対応する離散周波数変換インデクスmkを識別してもよく;ウィンドウ関数に関する振幅スペクトルを近似する関数P(q)を導出すること、および、各ピーク(k)に対して、対応する離散周波数変換インデクスmkを用いて、解析フレームに関する仮定される正弦波モデル信号の連続するスペクトルの予想される真のピークを囲む離散周波数変換の2つの格子点を通じて周波数シフトされた関数P(q−qk)を適合させることを含む。
第2の選択肢の実施形態によれば、向上した周波数推定は、オーディオ信号がハーモニックであるかを判定することと、信号がハーモニックである場合に基本周波数を導出することとを含んだハーモニックエンハンスメントである。判定は、オーディオ信号の自己相関解析を実行することと、クローズドループピッチ予測の結果、例えばピッチ利得を用いることとの少なくとも1つを含みうる。導出するステップは、クローズドループピッチ予測のさらなる結果、例えばピッチラグを使用することを含みうる。さらに、第2の代替の実施形態によれば、導出するステップは、ハーモニックインデクスjに対して、このハーモニックインデクス及び基本周波数に関するハーモニック周波数の近傍の範囲内に振幅スペクトルにおけるピークが存在するかを確認することを含んでもよく、ここで、振幅スペクトルは、特定するステップに関連付けられる。
第3の選択肢の実施形態によれば、向上した周波数推定は、2つ以上のオーディオ信号フレームからの特定された周波数を合成することを含んだフレーム間エンハンスメントである。合成は、平均化と予測との少なくともいずれかを含み、ピーク追跡が平均化と予測との少なくともいずれかの前に適用されうる。
実施形態によれば、オーディオ信号の調性に応じた適合は、オーディオ信号の調性に応じて、正弦波成分kの近傍に位置する間隔Mkのサイズを適合させることを含む。さらに、間隔のサイズの適合は、比較的より明白なスペクトルピークを有するオーディオ信号に対する間隔のサイズを増やし、比較的より広範なスペクトルピークを有するオーディオ信号に対する間隔のサイズを減らすことを含みうる。
実施形態による方法は、正弦波成分の周波数に応じて、かつ、失われたオーディオフレームとプロトタイプフレームとの間の時間差に応じて、この正弦波成分の位相を進めることによってプロトタイプフレームの周波数スペクトルの正弦波成分を時間展開することを含みうる。正弦波周波数fk及び失われたオーディオフレームとプロトタイプフレームとの間の時間差に比例する位相シフトだけ正弦曲線kの近傍に位置する間隔Mkに含まれるプロトタイプフレームのスペクトル係数を変更することをさらに含みうる。
スペクトル係数の上述の変更の後のプロトタイプフレームの周波数スペクトルの逆周波数変換を含んでもよい。
より具体的には、更なる実施形態に係るオーディオフレーム喪失隠蔽方法は、以下のステップを含みうる:
1)利用可能な、先に合成された信号のセグメントを解析し、正弦波モデルの構成正弦波周波数fkを取得する。
2)利用可能な先に合成された信号からプロトタイプフレームy-1を抽出し、そのフレームのDFTを計算する。
3)正弦波周波数fkとプロトタイプフレームと代理フレームとの間の時間アドバンスn-1とに応じて、各正弦曲線kに対する位相シフトθkを計算する。ここで、間隔のサイズMkは、オーディオ信号の調性に応じて、適合されていてもよい。
4)各正弦曲線kに対して、正弦曲線周波数fkの周囲の近傍に関するDFTインデクスに対して選択的にθkを用いて、プロトタイプフレームDFTの位相を進める。
5)4)で得られたスペクトルの逆DFTを計算する。
上述の実施形態は、さらに、以下の仮定によって説明されうる:
d)信号が有限数の正弦曲線によって表現可能である仮定。
e)代理フレームは、より早いある瞬間と比較して、時間において展開されたこれらの正弦曲線によって十分に良好に表現される仮定。
f)代理フレームのスペクトルを、周波数シフトされたウィンドウ関数スペクトルのオーバーラップしない部分によって、作り上げることができ、シフト周波数は正弦曲線周波数であるような、ウィンドウ関数のスペクトルの近似の仮定。
以下は、先に言及されたPhase ECUのための制御方法に関する。
フレーム喪失隠蔽方法の適応化
上で実行されるステップがフレーム喪失隠蔽動作の適応を示唆する条件を示している場合、代理フレームのスペクトルの計算が変形される。
代理フレームのスペクトルの本来の計算が、式Z(m)=Y(m)・ejθkに従って行われる一方で、ここでは、振幅と位相の両方を変更する適応が導入される。振幅は2つの係数α(m)及びβ(m)を伴うスケーリングを用いて変更され、位相は加法位相要素θ'(m)を用いて変更される。これは、代理フレームの以下の変更された計算をもたらす:
Z(m)=α(m)・β(m)・Y(m)・ej(θk+θ'(m))
α(m)=1、β(m)=1、及びθ'(m)=0である場合、元の(適応されていない)フレーム喪失隠蔽方法が用いられることに留意すべきである。したがって、これらの各値はデフォルトである。
振幅適応を用いる一般的な目的は、フレーム喪失隠蔽方法の聴くことができるアーチファクトを避けることである。このようなアーチファクトは、瞬間的な音の繰り返しから生じる音楽的な、又は調性のある音、又は奇妙な音でありうる。一方、このようなアーチファクトは、その回避が説明された適応の目的である品質劣化を引き起こしうる。このような適応に対する適切な方法は、代理フレームの振幅スペクトルを適切な度合いに変更することである。
ここで、隠蔽方法の変形の実施形態について説明する。振幅の適応は、好ましくは、バースト誤りカウンタnburstが、ある閾値thrburst、例えばthrburst=3を超える場合に行われる。その場合、1より小さい値が減衰係数に用いられ、例えばα(m)=0.1である。
その一方で、度合いを徐々に増やして減衰を実行することが有益であることが分かっている。これを完遂する1つの好ましい実施形態は、フレームごとの減衰における対数増加を特定する対数パラメータatt_per_frameを定めることである。そして、バーストカウンタが閾値を超えた場合に、徐々に増加する減衰係数は、
α(m)=10c・att_per_frame・(n_burst-thr_burst)
によって計算される。ここで、定数cは、例えばデシベル(dB)においてパラメータatt_per_frameを特定することを可能とする、単なるスケーリング定数である。
追加の好ましい適応は、信号が音楽であると推定されるか会話であると推定されるかのインジケータに応じて行われる。会話コンテンツと比較して音楽コンテンツに対しては、閾値thrburstを増やすこと及びフレームごとに減衰を減らすことが好ましい。これは、より低い程度のフレーム喪失隠蔽方法の適応を実行することと等価である。この種の適応の背景は、一般的に、音楽が、会話と比べてより長い喪失バーストに対して敏感でないことである。したがって、本来の、すなわち、変更されていないフレーム喪失隠蔽方法が、少なくとも連続的で多数のフレーム喪失に対して、なおもこの場合に適切である。
振幅減衰係数に関する隠蔽方法のさらなる適応は、好ましくは、インジケータRl/r, band(k)又は代わりにRl/r(m)又はRl/rが閾値を超えたことに基づいて過渡変化が検出された場合に、行われる。その場合、適切な適応動作は、2つの係数の積α(m)・β(m)によって全体の減衰が制御されるように、第2の振幅減衰係数β(m)を変更することである。
β(m)は、過渡変化が示されたことに応じて設定される。オフセットが検出された場合、係数β(m)は、好ましくは、そのオフセットのエネルギーの減少を反映するように選択される。適切な選択は、β(m)を検出された利得の変化に設定することであり、
m∈Ik、k=1…Kに対して、β(m)=√Rl/r, band(k)
である。オンセットが検出された場合、代理フレームにおけるエネルギーの増加を制限することが有益であることが分かっている。その場合、係数を例えば1のある固定値に設定することができ、これは、減衰も増幅もないことを意味する。
上では、振幅減衰係数が好ましくは周波数選択性を適用されること、すなわち、各周波数帯域に対して別個に計算される係数を伴うことに気づかれるべきである。帯域アプローチが用いられない場合、対応する振幅減衰係数は、アナログの方法で取得されうる。そして、周波数選択性の過渡変化の検出がDFTビンレベルで用いられる場合、β(m)は各DFTビンに対して個別に設定されうる。又は、周波数選択性の過渡変化の指標が全く使用されない場合、β(m)は、すべてのmに対して全域で同一でありうる。
振幅減衰係数の更なる好ましい適応は、加法位相要素θ'(m)を用いた位相の変更と併せて行われる。所与のmに対してこのような位相変更が用いられる場合、減衰係数β(m)は、さらに減少させられる。好ましくは、位相変更の度合いまでも考慮される。位相変更が中庸なだけである場合、β(m)は、少しだけスケールダウンされるが、一方で、位相変更が強い場合、β(m)は、より大きい度合いまでスケールダウンされる。
位相適応を導入することを用いる一般的な目的は、その後に品質劣化を引き起こすであろう、生成された代理フレームにおける強すぎる調性又は信号周期を避けることである。このような適応に対する適切な方法は、位相を適切な度合いまでランダム化すること又はディザすることである。
このような位相ディザリングは、ある制御係数θ'(m)=a(m)・rand(・)を用いてスケーリングされる加法位相要素θ'(m)がランダム値に設定される場合に完遂される。
関数rand(・)により得られるランダム値は、例えば、ある疑似乱数生成器によって生成される。ここで、間隔[0、2π]の範囲内のランダム数を提供することが仮定される。
常識におけるスケーリング係数a(m)は、その分だけ元の位相θkがディザリングされる度合いを制御する。以下の実施形態は、スケーリング係数の制御を用いて位相適応に対処する。スケーリング係数の制御は、上述の振幅変更係数の制御のようにアナログの方法で行われる。
第1の実施形態によれば、スケーリング係数a(m)は、バースト喪失カウンタに応答して適応される。バースト喪失カウンタnburstがある閾値thrburst、例えばthrburst=3を超える場合に、0より大きい値、例えばa(m)=0.2が用いられる。
一方で、徐々に度合いを増やしながらディザリングを実行することが有益であることが分かっている。これを完遂する1つの好ましい実施形態は、フレームごとのディザリングにおける増加を特定するパラメータdith_increase_per_frameを定義することである。そして、バーストカウンタが閾値を超える場合、徐々に増加するディザリング制御係数は、
a(m)=dith_increase_per_frame・(nburst−thrburst
によって計算される。なお、上式において、a(m)は、完全な位相ディザリングが達成される最大値1に制限されなければならない。
なお、位相ディザリングを初期化するのに用いられるバースト喪失閾値thrburstは、振幅減衰に用いられるものと同じ閾値でありうる。しかしながら、これらの閾値を別個の最適値に設定することによって、より良好な品質を得ることができ、これは、一般的に、これらの閾値が異なりうることを意味する。
追加の好ましい適応は、信号が音楽であると推定されたか会話であると推定されたかのインジケータに応答して行われる。会話コンテンツと比較して音楽コンテンツに対しては、会話と比較して音楽に対する位相ディザリングが連続してより多くのフレームが失われた場合にのみ行われることを意味する、閾値thrburstを増やすことが好ましい。これは、音楽に対するより低い程度のフレーム喪失隠蔽方法の適応を実行することと等価である。この種の適応の背景は、音楽が、一般的に、会話よりも長い喪失バーストに対してセンシティブでないことである。したがって、元の、すなわち、変更されていないフレーム喪失隠蔽方法が、少なくとも連続的な多数の喪失フレームに対して、好ましいままである。
さらなる好ましい実施形態は、過渡変化が検出されたことに応答して移動ディザリングを適応させることである。その場合、より強い度合いの移動ディザリングを、過渡変化そのビンに対して示されているDFTビンm、対応する周波数帯域の又は全フレームのDFTビンに用いることができる。
説明される手順の一部は、ハーモニック信号及び特に音声会話に対するフレーム喪失隠蔽方法の最適化を取り扱う。
上述のような向上した周波数推定を用いる方法が実現されない場合、音声会話信号の品質を最適化するフレーム喪失隠蔽方法に対する別の適応の可能性は、特に音楽及び会話を含んで生成されたオーディオ信号ではなく会話に対して設計されるとともに最適化された、ある他のフレーム喪失隠蔽方法に切り替えることである。その場合、音声会話信号を含むことを示すインジケータは、上述の手順とは異なる別の会話に最適化されたフレーム喪失隠蔽手順を選択するために用いられる。
まとめると、相互動作するユニット又はモジュールの選択及びユニットの命名は例示的な目的のためだけのものであり、開示された処理動作を実行することを可能とする複数の別の方法において構成されうることが理解されるべきである。
また、本開示において説明されるユニット又はモジュールは、論理エンティティとして取り扱われるべきであり、別個の物理エンティティとして取り扱われる必要はないことが留意されるべきである。ここで開示される技術の範囲は、当業者に明らかになりうる他の実施形態を含み、したがって、本開示の範囲は限定されるべきでないことが理解されよう。
単数形での要素への参照は、明示的にそのように言及されない限りは、「1つ及び1つのみ」を意味することは意図されておらず、むしろ「1つ以上」を意味する。当業者に知られている上述の実施形態の要素に対するすべての構造的および機能的等価物は、ここでは参照によって明確に取り込まれ、これにより、包含されることが意図される。さらに、機器又は方法は、ここで開示される技術によって解決されることが求められている問題のそれぞれ及びすべてに対処する必要はなく、これにより、包含される。
先の説明では、説明の目的であって限定の目的ではなく、開示される技術の完全な理解を与えるために、特定のアーキテクチャ、インタフェース、技術等の特定の詳細について説明した。しかしながら、開示された技術が、これらの特定の詳細から離れた他の実施形態及び/または実施形態の組み合わせにおいて実現されうることは、当業者に明らかであろう。すなわち、当業者は、ここで明示的に説明され又は示されていないが、開示された技術の原理を具現化する様々な構成を案出することができるだろう。いくつかの例では、周知の機器及び方法の詳細な説明については、不必要な詳細を用いて開示される技術の説明が不明瞭とならないように、省略されている。開示される技術の原理、態様、及び実施形態を記載するここでのすべての説明及びその特定の例は、その構造的および機能的等価物を含むことが意図されている。さらに、このような等価物は、現在知られている等価物及び将来に開発される等価物、例えば、構造によらずに同一の機能を実行する開発された任意の要素を含むことが意図されている。
このように、例えば、当業者には、ここでの図面が、技術の原理とこのようなコンピュータまたはプロセッサが明示的に図面において示されていなくても、コンピュータ可読媒体において実質的に提示されるとともにコンピュータまたはプロセッサによって実行されうる様々な処理との少なくともいずれかを具現化する、説明される回路又は他の機能部の概略図を提示することができることが理解されるだろう。
機能ブロックを含む様々な要素の機能は、回路ハードウェアおよび/またはコンピュータ可読媒体に記憶されたコーディングされた命令の形式のソフトウェアを実行可能なハードウェアなどのハードウェアを通じて提供されうる。したがって、このような機能及び説明された機能ブロックは、ハードウェア実装されるか、コンピュータ実装されるかの少なくともいずれか、したがって機械実装されると理解されるべきである。
上述の実施形態は、本発明の数少ない説明のための例として理解されるべきである。当業者には、様々な変形、組み合わせ及び変更が、本発明の範囲から離れることなく、実施形態に対してなされうることが理解されるだろう。特に、技術的に可能な場合に、異なる実施形態における異なる部分が他の構成において組み合されうる。
発明の概要について、数少ない実施形態を参照して上述した。しかしながら、当業者であればすでに理解しているように、上で開示さるものではない他の実施形態が、添付の特許請求の範囲によって規定されるように、発明の概要の範囲内において、等しく可能である。

Claims (27)

  1. 受信エンティティ(103、200、400、800、900)によって実行される、フレーム喪失隠蔽のための方法であって、
    失われたフレームに対して代理フレームを構成するのに関連して、雑音要素を当該代理フレームに加算すること(S104、S208)を含み、
    前記雑音要素は、先に受信されたフレームにおける信号の低分解能スペクトル表現に対応する周波数特性を有し、当該低分解能スペクトル表現は、前記先に受信されたフレームにおける前記信号の周波数領域の分解能を低くすることにより得られ
    前記雑音要素および前記代理フレームは、連続して失われたフレームの数に応じて前記雑音要素が振幅を増加しながら前記代理フレームに徐々に重ね合わされるように、当該連続して失われたフレームの数に依存するスケール係数を用いてスケーリングされる、
    ことを特徴とする方法。
  2. 前記代理フレームのスペクトル及び前記雑音要素は、周波数領域において重ね合わされる、
    ことを特徴とする請求項に記載の方法。
  3. 前記低分解能スペクトル表現は、前記先に受信されたフレームにおける前記信号の振幅スペクトルに基づく、
    ことを特徴とする請求項1又は2に記載の方法。
  4. 前記先に受信されたフレームにおける前記信号の前記振幅スペクトルを周波数グループに関して平均化することにより、前記振幅スペクトルの前記低分解能スペクトル表現を取得する(S202a)ことをさらに含む、
    ことを特徴とする請求項に記載の方法。
  5. 前記先に受信されたフレームにおける前記信号の多数nの低分解能な周波数領域変換を周波数グループに関して平均化することにより、前記振幅スペクトルの前記低分解能スペクトル表現を取得する(S202b)ことをさらに含む、
    ことを特徴とする請求項に記載の方法。
  6. 前記周波数グループに関しての平均化の間に用いられるグループ幅は、人間の聴覚に重要な帯域に従う、
    ことを特徴とする請求項又はに記載の方法。
  7. 前記低分解能スペクトル表現は、線形予測符号化(LPC)のパラメータに基づく、
    ことを特徴とする請求項1からのいずれか1項に記載の方法。
  8. 前記雑音要素の前記代理フレームへの前記加算は、時間領域において実行される、
    ことを特徴とする請求項1からのいずれか1項に記載の方法。
  9. 前記代理フレームは、減衰係数α(m)によって徐々に減衰させられ、ここで、mは前記代理フレームの周波数領域変換の周波数インデクスであり、α(m)は前記代理フレームのm番目の周波数領域要素をスケーリングする、
    ことを特徴とする請求項からのいずれか1項に記載の方法。
  10. 前記代理フレームは位相を有し、当該位相はランダム位相値θ'(m)と重ね合わされる、
    ことを特徴とする請求項に記載の方法。
  11. 前記雑音要素に対するスケーリング係数β(m)を、β(m)が前記減衰係数α(m)を前記代理フレームに適用することによって生じるエネルギーの損失を補償するように、決定すること(S204)をさらに含む、
    ことを特徴とする請求項又は1に記載の方法。
  12. 前記雑音要素の周波数領域変換の位相に、ランダム位相値η(m)が与えられる、
    ことを特徴とする請求項1に記載の方法。
  13. β(m)は、
    β(m)=√(1−α2(m))
    のように決定される、
    ことを特徴とする請求項11又は12に記載の方法。
  14. β(m)は、λ(m)が周波数依存の減衰係数である場合にβ(m)=λ(m)・√(1−α2(m))のように決定される、
    ことを特徴とする請求項11又は12に記載の方法。
  15. λ(m)は閾値より低いmに対して1に等しく、λ(m)は当該閾値を上回るmに対して1より小さい、
    ことを特徴とする請求項1に記載の方法。
  16. 低域通過特性が前記低分解能スペクトル表現に与えられる、
    ことを特徴とする請求項1から1のいずれか1項に記載の方法。
  17. 前記減衰係数α(m)及び前記スケーリング係数β(m)は、周波数グループに関して定数である、
    ことを特徴とする請求項1から1のいずれか1項に記載の方法。
  18. バースト誤り長nが第1の閾値(T1)を超えることが確認されることを条件として、前記雑音要素前記代理フレームへ加算される
    ことを特徴とする請求項1から1のいずれか1項に記載の方法。
  19. T1≧2である、ことを特徴とする請求項18に記載の方法。
  20. 前記第1の閾値以上の第2の閾値(T2)を前記バースト誤り長nが超える場合、長期減衰係数γをβ(m)に適用すること(S103、S206)をさらに含む、
    ことを特徴とする請求項11から15のいずれか1項に従属する請求項18又は19に記載の方法。
  21. T2≧10である、ことを特徴とする請求項2に記載の方法。
  22. 前記代理フレームのコンポーネントは、Phase ECUのような一次的なフレーム喪失隠蔽方法によって導出される、
    ことを特徴とする請求項1から2のいずれか1項に記載の方法。
  23. フレーム喪失隠蔽のための受信エンティティ(103、200、400、800、900)であって、前記受信エンティティは処理回路(803)を含み、前記処理回路は、
    失われたフレームに対する代理フレームを構成することに関連して、雑音要素を当該代理フレームに加算すること、
    を含んだ一連の処理を前記受信エンティティに実行させるように構成され、
    前記雑音要素は、先に受信されたフレームにおける信号の低分解能スペクトル表現に対応する周波数特性を有し、当該低分解能スペクトル表現は、前記先に受信されたフレームにおける前記信号の周波数領域の分解能を低くすることにより得られ
    前記雑音要素および前記代理フレームは、連続して失われたフレームの数に応じて前記雑音要素が振幅を増加しながら前記代理フレームに徐々に重ね合わされるように、当該連続して失われたフレームの数に依存するスケール係数を用いてスケーリングされる、
    ことを特徴とする受信エンティティ。
  24. 前記一連の処理を記憶する記憶媒体(804)をさらに有し、
    前記処理回路は、前記記憶媒体から前記一連の処理を取得して、前記受信エンティティに当該一連の処理を実行させるように構成される、
    ことを特徴とする請求項2に記載の受信エンティティ。
  25. 前記一連の処理は、一連の実行可能な命令として提供される、
    ことを特徴とする請求項2又は2に記載の受信エンティティ。
  26. フレーム喪失隠蔽のためのコンピュータプログラム(805、1002)であって、前記コンピュータプログラムは、受信エンティティ(103、200、400、800、900)の処理回路(803)において実行される場合に、当該受信エンティティに、
    失われたフレームに対する代理フレームを構成することに関連して、雑音要素を当該代理フレームに加算させる(S104、S208)、
    コンピュータコードを含み、
    前記雑音要素は、先に受信されたフレームにおける信号の低分解能スペクトル表現に対応する周波数特性を有し、当該低分解能スペクトル表現は、前記先に受信されたフレームにおける前記信号の周波数領域の分解能を低くすることにより得られ
    前記雑音要素および前記代理フレームは、連続して失われたフレームの数に応じて前記雑音要素が振幅を増加しながら前記代理フレームに徐々に重ね合わされるように、当該連続して失われたフレームの数に依存するスケール係数を用いてスケーリングされる、
    ことを特徴とするコンピュータプログラム。
  27. 請求項26に記載のコンピュータプログラム(805、1002)が記憶されるコンピュータ可読記憶媒体
JP2016567382A 2014-06-13 2015-06-08 フレーム喪失隠蔽のための方法、受信エンティティ、及びコンピュータプログラム Active JP6490715B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462011598P 2014-06-13 2014-06-13
US62/011,598 2014-06-13
PCT/SE2015/050662 WO2015190985A1 (en) 2014-06-13 2015-06-08 Burst frame error handling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019034610A Division JP6714741B2 (ja) 2014-06-13 2019-02-27 バーストフレーム誤り処理

Publications (2)

Publication Number Publication Date
JP2017525985A JP2017525985A (ja) 2017-09-07
JP6490715B2 true JP6490715B2 (ja) 2019-03-27

Family

ID=53502813

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016567382A Active JP6490715B2 (ja) 2014-06-13 2015-06-08 フレーム喪失隠蔽のための方法、受信エンティティ、及びコンピュータプログラム
JP2019034610A Active JP6714741B2 (ja) 2014-06-13 2019-02-27 バーストフレーム誤り処理
JP2020098857A Active JP6983950B2 (ja) 2014-06-13 2020-06-05 バーストフレーム誤り処理

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019034610A Active JP6714741B2 (ja) 2014-06-13 2019-02-27 バーストフレーム誤り処理
JP2020098857A Active JP6983950B2 (ja) 2014-06-13 2020-06-05 バーストフレーム誤り処理

Country Status (12)

Country Link
US (5) US9972327B2 (ja)
EP (3) EP3155616A1 (ja)
JP (3) JP6490715B2 (ja)
CN (3) CN111292755B (ja)
BR (1) BR112016027898B1 (ja)
DK (1) DK3664086T3 (ja)
ES (2) ES2785000T3 (ja)
MX (3) MX2018015154A (ja)
PL (1) PL3367380T3 (ja)
PT (1) PT3664086T (ja)
SG (2) SG10201801910SA (ja)
WO (1) WO2015190985A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292755B (zh) * 2014-06-13 2023-08-25 瑞典爱立信有限公司 突发帧错误处理
CN108922551B (zh) * 2017-05-16 2021-02-05 博通集成电路(上海)股份有限公司 用于补偿丢失帧的电路及方法
AU2020210905A1 (en) * 2019-01-23 2021-09-02 Sound Genetics, Inc. Systems and methods for pre-filtering audio content based on prominence of frequency content

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3601074B2 (ja) * 1994-05-31 2004-12-15 ソニー株式会社 信号処理方法及び信号処理装置
FI97182C (fi) * 1994-12-05 1996-10-25 Nokia Telecommunications Oy Menetelmä vastaanotettujen huonojen puhekehysten korvaamiseksi digitaalisessa vastaanottimessa sekä digitaalisen tietoliikennejärjestelmän vastaanotin
US6952668B1 (en) 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
EP1098297A1 (en) * 1999-11-02 2001-05-09 BRITISH TELECOMMUNICATIONS public limited company Speech recognition
EP1195745B1 (en) * 2000-09-14 2003-03-19 Lucent Technologies Inc. Method and apparatus for diversity control in multiple description voice communication
JP2002229593A (ja) 2001-02-06 2002-08-16 Matsushita Electric Ind Co Ltd 音声信号復号化処理方法
DE10130233A1 (de) * 2001-06-22 2003-01-02 Bosch Gmbh Robert Verfahren zur Störverdeckung bei digitaler Audiosignalübertragung
WO2003023763A1 (en) 2001-08-17 2003-03-20 Broadcom Corporation Improved frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
JP2003099096A (ja) 2001-09-26 2003-04-04 Toshiba Corp オーディオ復号処理装置及びこの装置に用いられる誤り補償装置
US20040122680A1 (en) * 2002-12-18 2004-06-24 Mcgowan James William Method and apparatus for providing coder independent packet replacement
CA2475282A1 (en) * 2003-07-17 2005-01-17 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through The Communications Research Centre Volume hologram
US7546508B2 (en) * 2003-12-19 2009-06-09 Nokia Corporation Codec-assisted capacity enhancement of wireless VoIP
WO2005086138A1 (ja) * 2004-03-05 2005-09-15 Matsushita Electric Industrial Co., Ltd. エラー隠蔽装置およびエラー隠蔽方法
CN1906663B (zh) * 2004-05-10 2010-06-02 日本电信电话株式会社 声学信号分组通信方法、传送方法、接收方法、及其设备和程序
KR100708123B1 (ko) * 2005-02-04 2007-04-16 삼성전자주식회사 자동으로 오디오 볼륨을 조절하는 방법 및 장치
KR100612889B1 (ko) * 2005-02-05 2006-08-14 삼성전자주식회사 선스펙트럼 쌍 파라미터 복원 방법 및 장치와 그 음성복호화 장치
US7930176B2 (en) * 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
CN101115051B (zh) * 2006-07-25 2011-08-10 华为技术有限公司 音频信号处理方法、系统以及音频信号收发装置
EP2054878B1 (en) * 2006-08-15 2012-03-28 Broadcom Corporation Constrained and controlled decoding after packet loss
JP2008058667A (ja) * 2006-08-31 2008-03-13 Sony Corp 信号処理装置および方法、記録媒体、並びにプログラム
CN101046964B (zh) * 2007-04-13 2011-09-14 清华大学 基于重叠变换压缩编码的错误隐藏帧重建方法
JP2009063928A (ja) * 2007-09-07 2009-03-26 Fujitsu Ltd 補間方法、情報処理装置
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
KR100998396B1 (ko) * 2008-03-20 2010-12-03 광주과학기술원 프레임 손실 은닉 방법, 프레임 손실 은닉 장치 및 음성송수신 장치
US8718804B2 (en) * 2009-05-05 2014-05-06 Huawei Technologies Co., Ltd. System and method for correcting for lost data in a digital audio signal
US8428959B2 (en) * 2010-01-29 2013-04-23 Polycom, Inc. Audio packet loss concealment by transform interpolation
US8321216B2 (en) * 2010-02-23 2012-11-27 Broadcom Corporation Time-warping of audio signals for packet loss concealment avoiding audible artifacts
ES2960089T3 (es) * 2012-06-08 2024-02-29 Samsung Electronics Co Ltd Procedimiento y aparato para la ocultación de errores de trama y procedimiento y aparato para la decodificación de audio
JP6434411B2 (ja) * 2012-09-24 2018-12-05 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
ES2603827T3 (es) 2013-02-05 2017-03-01 Telefonaktiebolaget L M Ericsson (Publ) Método y aparato para controlar la ocultación de pérdida de trama de audio
US9478221B2 (en) 2013-02-05 2016-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced audio frame loss concealment
ES2597829T3 (es) 2013-02-05 2017-01-23 Telefonaktiebolaget Lm Ericsson (Publ) Ocultación de pérdida de trama de audio
CN103456307B (zh) * 2013-09-18 2015-10-21 武汉大学 音频解码器中帧差错隐藏的谱代替方法及系统
CN111292755B (zh) * 2014-06-13 2023-08-25 瑞典爱立信有限公司 突发帧错误处理

Also Published As

Publication number Publication date
EP3664086A1 (en) 2020-06-10
JP6983950B2 (ja) 2021-12-17
JP2020166286A (ja) 2020-10-08
CN111312261A (zh) 2020-06-19
US20160284356A1 (en) 2016-09-29
MX2018015154A (es) 2021-07-09
MX361844B (es) 2018-12-18
JP6714741B2 (ja) 2020-06-24
SG10201801910SA (en) 2018-05-30
EP3367380B1 (en) 2020-01-22
EP3367380A1 (en) 2018-08-29
EP3664086B1 (en) 2021-08-11
WO2015190985A1 (en) 2015-12-17
US11100936B2 (en) 2021-08-24
CN111292755B (zh) 2023-08-25
US20230368802A1 (en) 2023-11-16
US10529341B2 (en) 2020-01-07
US20200118573A1 (en) 2020-04-16
BR112016027898B1 (pt) 2023-04-11
BR112016027898A8 (pt) 2021-07-13
CN106463122A (zh) 2017-02-22
US9972327B2 (en) 2018-05-15
ES2785000T3 (es) 2020-10-02
JP2019133169A (ja) 2019-08-08
US11694699B2 (en) 2023-07-04
US20180182401A1 (en) 2018-06-28
EP3155616A1 (en) 2017-04-19
US20210350811A1 (en) 2021-11-11
CN111292755A (zh) 2020-06-16
BR112016027898A2 (pt) 2017-08-15
ES2897478T3 (es) 2022-03-01
SG11201609159PA (en) 2016-12-29
PT3664086T (pt) 2021-11-02
CN111312261B (zh) 2023-12-05
PL3367380T3 (pl) 2020-06-29
DK3664086T3 (da) 2021-11-08
MX2021008185A (es) 2022-12-06
JP2017525985A (ja) 2017-09-07
MX2016014776A (es) 2017-03-06
CN106463122B (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
JP6698792B2 (ja) オーディオフレーム損失のコンシールメントを制御する方法及び装置
US20210350811A1 (en) Burst frame error handling

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190227

R150 Certificate of patent or registration of utility model

Ref document number: 6490715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250