JP6687599B2 - Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理 - Google Patents

Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理 Download PDF

Info

Publication number
JP6687599B2
JP6687599B2 JP2017504685A JP2017504685A JP6687599B2 JP 6687599 B2 JP6687599 B2 JP 6687599B2 JP 2017504685 A JP2017504685 A JP 2017504685A JP 2017504685 A JP2017504685 A JP 2017504685A JP 6687599 B2 JP6687599 B2 JP 6687599B2
Authority
JP
Japan
Prior art keywords
frame
digital signal
encoded
segment
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017504685A
Other languages
English (en)
Other versions
JP2017523471A (ja
Inventor
ジュリアン・フォール
ステファーヌ・ラゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2017523471A publication Critical patent/JP2017523471A/ja
Application granted granted Critical
Publication of JP6687599B2 publication Critical patent/JP6687599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、デジタル信号のエンコード/デコードの分野に関し、特に、フレーム喪失訂正に関する。
本発明は、交互するまたは組み合わされた音声および音楽を含み得る音のエンコード/デコードに有利に適合する。
低ビットレートの音声を効率的にコード化するために、CELP(「Code Excited Linear Prediction(符号励振線形予測)」)技術が推奨される。音楽を効率的にコード化するために、変換コーディング技術が推奨される。
CELPエンコーダは、予測コーダである。それらの目的は、声道をモデル化するための短期的線形予測、発声された期間中、声帯の振動をモデル化するための長期的予測、および、モデル化されなかった「イノベーション」を表すために、固定コードブック(ホワイトノイズ、代数励振)から由来する励振のような様々な要素を使用して音声再生をモデル化することである。
MPEG AAC、AAC-LD、AAC-ELD、またはITU-T G.722.1付録Cなどの変換コーダは、変換領域内の信号を圧縮するために、批判的にサンプルされた変換を使用する。「批判的にサンプルされた変換」という用語は、変換領域内の係数の数が、分析された各フレーム内の時間領域サンプルの数に等しい変換を称するために使用される。
組み合わされた音声/音楽を含む信号の効率的なコーディングのための1つの解決策は、少なくとも2つのコーディングモード、すなわち、CELPタイプである一方と、変換タイプである他方とのうち、経時的に最良の技術を選択することである。
これは、たとえば、コーデック3GPP AMR-WB+およびMPEG USAC(「Unified Speech Audio Coding」)のためのケースである。AMR-WB+およびUSACのためのターゲットアプリケーションは、会話ではなく、アルゴリズム遅れに関する厳格な制約のない配信および記憶サービスに対応する。
RM0(Reference Model 0)と呼ばれるUSACコーデックの初期バージョンは、M. Neuendorfらによる寄稿である「A Novel Scheme for Low Bitrate Unified Speech and Audio Coding- MPEG RM0」、2009年5月7日〜10日、第126回AES会議、に記述されている。このRM0コーデックは、多数のコーディングモードを交互し、
・音声信号の場合、AMR-WB+コーディングに由来する2つの異なるモード、すなわち、
- ACELPモード、
- FFT変換を使用するMDCT変換(AMR-WB+コーデックとは異なる)を使用する、wLPT(「weighted Linear Predictive Transform」)と呼ばれるTCX(「Transform Coded Excitation」)モード、を備えるLPD(「Linear Predictive Domain」)モード。
・音楽信号の場合、1024のサンプルを使用するタイプMPEG AAC(「Advanced Audio Coding」)のMDCT(「Modified Discrete Cosine Transform」)によるコーディングを使用するFD(「Frequency Domain」)モード。
USACコーデックでは、各モード(ACELP、TCX、FD)が、特定の「シグニチャ」(アーティファクトの観点から)を有し、FDモードとLPDモードが異なるタイプ、すなわち、FDモードは、信号領域における変換コーディングに基づく一方、LPDモードは、適切に管理されるべきフィルタメモリを備える知覚的に重み付けられた領域において線形予測コーディングを使用するということを認識して、LPDモードとFDモードとの間の遷移は、モード間の切り替えにおける誤りのない十分な品質を保証するために重要である。USAC RM0コーデックにおけるモード間の切り替えの管理は、J. Lecomteらによる寄稿である「Efficient cross-fade windows for transitions between LPC-based and non-LPC based audio coding」、2009年5月7日〜10日、第126回AES会議、に詳述されている。その寄稿において説明されているように、主な困難は、LPDモードからFDモードおよびその逆における遷移にある。我々は、ACELPからFDへの遷移のケースのみを本明細書で議論する。
その機能を適切に理解するために、我々は、その実施の典型例を使用してMDCT変換コーディングの原理を検討する。
エンコーダでは、MDCT変換は典型的に3つのステップに分割される。その信号は、MDCTコーディングの前に、M個のサンプルからなるフレームへ細分割される。
・本明細書において長さ2Mの「MDCTウィンドウ」と称されるウィンドウによって信号を重み付けるステップ。
・長さMのブロックを形成するために時間領域(「時間領域エイリアシング」)において折り重ねるステップ。
・長さMのDCT(「Discrete Cosine Transform(離散コサイン変換)」)変換。
MDCTウィンドウは、本明細書において「クォータ」と呼ばれる、等しい長さM/2の4つの隣接した部分へ分割される。
信号は、分析ウィンドウによって乗され、その後、時間領域エイリアシングが実行される。第1のクォータ(ウィンドウ)は、第2のクォータ上に折り重ねられ(言い換えると、時間反転およびオーバラップされ)、第4のクォータは、第3のクォータ上に折り重ねられる。
特に、別のクォータ上の1つのクォータの時間領域エイリアシングは、以下の方式で行われる。第2のクォータの第1のサンプルへ(または、から)加えられた(引かれた)第1のクォータの最後のサンプルまで、第1のクォータの第1のサンプルが、第2のクォータの最後のサンプルへ(または、から)加えられ(引かれ)、第1のクォータの第2のサンプルが、第2のクォータの最後の前のサンプルへ(または、から)加えられ(引かれ)るという具合である。
よって、我々は、4つのクォータから、2つのラップしたクォータを取得する。各サンプルは、エンコードされるべき信号の2つのサンプルの線形結合の結果である。この線形結合は、時間領域エイリアシングを含む。
2つのラップしたクォータは、その後、DCT変換後、統合的にエンコードされる(タイプIV)。次のフレームについて、先行フレームの第3および第4のクォータは、その後、ウィンドウの半分までシフトされ(50%オーバラップ)、その後、現在のフレームの第1および第2のクォータになる。ラップ後、先行フレームにおけるものと同じサンプルの同じペアの第2の線形結合が送信されるが、異なる重みを持つ。
デコーダでは、逆DCT変換後、我々は、これらラップされた信号のデコードバージョンを取得する。2つの連続したフレームは、同じクォータの2つの異なるオーバラップの結果を含む。これは、サンプルの各ペアについて、異なるが既知の重みを有する2つの線形結合の結果を我々が有することを意味する。よって、入力信号のデコードバージョンを取得するために、連立方程式が解かれ、よって、時間領域エイリアシングが、2つの連続してデコードされたフレームの使用によって除去され得る。
上述した連立方程式を解くことは、一般に、折り重なりを取り消し、思慮深く選択された合成ウィンドウによって乗じられ、その後、共通部分をオーバラップ追加することによって、暗黙的になされ得る。このオーバラップ追加はまた、2つの連続してデコードされたフレーム間のスムーズな(量子化誤りによる不連続なしの)遷移を保証し、クロスフェードとして有効に動作する。第1のクォータまたは第4のクォータのためのウィンドウが、各サンプルに関するゼロにおける場合、我々は、ウィンドウのその部分における時間領域エイリアシングなしで、MDCT変換を有する。そのようなケースでは、スムーズな遷移は、MDCT変換によって提供されず、たとえば外部クロスフェードのような他の手段によってなされねばならない。
特に、DCT変換の定義、変換されるべきブロックを折り重ねる方式(たとえば、1つのブロックが、左および右において折り重ねられたクォータへ適用される符号を反転し得るか、または、第1および第4のクォータ上に第2および第3の各々のクォータを折り重ね得る)等に関して、MDCT変換の変形実施が存在することが注目されるべきである。これら変形は、ウィンドウ化、時間領域エイリアシング、その後の変換、および最終的なウィンドウ化、折り重ね、およびオーバラップ追加によるサンプルブロックの減少によって、MDCT分析合成の原理を変えない。
CELPコーディングとMDCTコーディングとの間の遷移におけるアーティファクトを回避するために、本願において参照によって本願に組み込まれる国際特許出願WO2012/085451は、遷移フレームをコーディングするための方法を提供する。遷移フレームは、予測コーディングによってエンコードされた先行フレームに後続する変換によってエンコードされた現在のフレームとして定義される。前記新規の方法によれば、遷移フレームの一部、たとえば、12.8kHzにおけるコアCELPコーディングのケースにおける5ミリ秒のサブフレームと、16kHzにおけるコアCELPコーディングのケースにおける各々4ミリ秒の2つの追加CELPフレームは、先行フレームの予測コーディングよりもより限定された予測コーディングによってエンコードされる。
限定された予測コーディングは、たとえば、線形予測フィルタの係数のような予測コーディングによってエンコードされた先行フレームの安定なパラメータを使用するステップと、遷移フレームにおける追加サブフレームのための少数の最小パラメータのみをコーディングするステップとからなる。
先行フレームは、変換コーディングとともにエンコードされなかったので、このフレームの第1の部分において時間領域エイリアシングを取り消すことは不可能である。上記引用された特許出願WO2012/085451はさらに、通常折り重ねられた第1のクォータにおける時間領域エイリアシングを有さないようにMDCTウィンドウの前半を修正するステップを提案する。それはさらに、デコードされたCELPフレームと、デコードされたMDCTフレームとの間のオーバラップ追加(「クロスフェード」とも呼ばれる)の一部を、分析/合成ウィンドウの係数を変化させながら、統合するステップを提案する。前記特許出願の図4eを参照して示すように、(点と長点とが交互する)破線は、MDCTエンコードの折り重なり線(上図)と、MDCTデコードの非折り重なり線(下図)とに対応する。上図では、太線は、エンコーダに入る新たなサンプルのフレームを分離する。新たなMDCTフレームのエンコードは、このように定義された新たな入力サンプルのフレームが完全に利用可能である場合に始まり得る。エンコーダにおけるこれら太線は、現在のフレームではなく、各フレームのために新たに到来するサンプルのブロックに対応し、現在のフレームは、実際は、先読みに対応して5ミリ秒遅れていることに注目することが重要である。下図では、太線は、デコーダ出力においてデコードされたフレームを分離する。
エンコーダでは、遷移ウィンドウは、折り重なり点までゼロである。したがって、折り重ねられたウィンドウの左側の係数は、非折り重なりウィンドウのものと同一になるであろう。折り重なり点と、CELP遷移サブフレーム(TR)の終了との間の部分は、sin(半)ウィンドウに相当する。デコーダでは、広げられた後、信号に、同じウィンドウが適用される。折り重なり点と、MDCTフレームの先頭との間のセグメントでは、ウィンドウの係数は、sin2のタイプのウィンドウに相当する。デコードされたCELPサブフレームと、MDCTからの信号との間のオーバラップ追加を達成するために、CELPサブフレームのオーバラップ部分にcos2のタイプのウィンドウを適用し、MDCTフレームとともに後者を加えることが十分である。この方法は、完全な再構築を提供する。
しかしながら、エンコードされたオーディオ信号フレームは、エンコーダとデコーダとの間のチャネルにおいて喪失され得る。
既存のフレーム喪失訂正技術は、しばしば、使用されているコーディングのタイプに高く依存する。
たとえばCELPなどの、予測技術に基づく音声コーディングのケースでは、フレーム喪失訂正は、しばしば、音声モデルに結び付けられる。たとえば、ITU-T G.722.2規格は、2003年7月のバージョンにおいて、喪失パケットを減衰させながら、長期予測ゲインを延長し、LPCフィルタのA(z)係数を表す周波数スペクトルライン(「Immittance Spectral Frequency(イミタンススペクトル周波数)」、略してISF)を、それぞれの平均に向かわせながら延長することによって、喪失パケットを置換することを提案する。ピッチ期間も繰り返される。固定コードブック寄与は、ランダムな値で満たされる。そのような変換方法またはPCMデコーダの応用は、デコーダにおけるCELP分析を必要とする。これは、顕著な追加の複雑さをもたらすであろう。さらに、CELPデコードにおけるフレーム喪失訂正のより進化した方法は、8および12キロビット/秒のレートのみならず、AMR-WBと相互利用可能なデコードレートに関して、ITU-T G.718規格に記述されていることにも注目されたい。
別の解決策は、ITU-T G.711規格に表されている。その解決策は変換コーダを記述しており、「付録I」セクションにおいて議論されているその変換コーダに対するフレーム喪失訂正アルゴリズムは、既にデコードされた信号におけるピッチ期間を発見するステップと、既にデコードされた信号と、繰り返された信号との間にオーバラップ追加を適用することによってそれを繰り返すステップとからなる。このオーバラップ追加は、オーディオアーティファクトを消去するが、それを実施するために、(オーバラップ追加の持続時間に対応する)デコーダにおける追加時間を必要とする。
変換コーディングのケースでは、フレーム喪失を訂正するための一般的な技術は、受信された最後のフレームを繰り返すことである。そのような技術は、標準化された様々なエンコーダ/デコーダ(特にG.719、G.722.1およびG.722.1C)において実施される。たとえば、G.722.1デコーダのケースでは、50%のオーバラップとsinウィンドウとを用いたMDCT変換に等価なMLT変換(「Modulated Lapped Transform」)が、フレームの単純な繰り返しに関連するアーティファクトを消去するために、最後の喪失フレームと、繰り返されたフレームとの間の十分に緩やかな遷移を保証する。
そのような技術に対してコストはほとんどかからないが、その主な欠陥は、フレーム喪失の直前の信号と、繰り返された信号との間の不整合である。これは、MLT変換のために使用されるウィンドウが低遅延ウィンドウである場合におけるケースのように、2つのフレーム間のオーバラップの持続時間が小さいのであれば、顕著なオーディオアーティファクトをもたらし得るフレーズ不連続という結果になる。
既存の技術では、フレームが失われた場合、適切なPLC(packet loss concealment)アルゴリズムを使用して、デコーダにおいて、置換フレームが生成される。一般に、パケットは多数のフレームを含み得るので、PLCという用語は曖昧であり得、本明細書では、現在の喪失フレームの訂正を示すために使用される。たとえば、CELPフレームが正しく受信されデコードされた後、後続するフレームが喪失されると、CELPコーディングのために適切なPLCに基づく置換フレームが使用され、CELPコーダのメモリを活用する。MDCTフレームが正しく受信されデコードされた後、次のフレームが喪失されたのであれば、MDCTコーディングのために適切なPLCに基づく置換フレームが生成される。
CELPフレームとMDCTフレームとの間の遷移、および、遷移フレームはCELPサブフレーム(直接的に先行するCELPフレームと同じサンプリング周期である)と、「左」折り重ねをキャンセルアウトする修正MDCTウィンドウを備えるMDCTフレームとから構成されることを考慮したコンテキストでは、既存の技術が解決策を提供しない状況がある。
第1の状況では、前のCELPフレームが正しく受信およびデコードされ、現在の遷移フレームが喪失され、次のフレームがMDCTフレームである。このケースでは、CELPフレームの受信後、PLCアルゴリズムは、喪失フレームが遷移フレームであることを知らず、したがって、置換CELPフレームを生成する。したがって、以前に説明されたように、次のMDCTフレームの最初の折り重ねられた部分は補償されず、2つのタイプのエンコーダ間の時間は、(遷移フレームとともに喪失された)遷移フレームに含まれるCELPサブフレームで満たされ得ない。周知の解決策は、この状況に対処しない。
第2の状況では、12.8kHzにおける前のCELPフレームが、正しく受信およびデコードされ、16kHzにおける現在のCELPフレームが喪失され、次のフレームが遷移フレームである。その後、PLCアルゴリズムは、12.8kHzである最後に正しく受信されたフレームの周波数においてCELPフレームを生成し、(16kHzにおいて喪失したCELPフレームのCELPパラメータを使用して部分的にエンコードされた)遷移CELPサブフレームはデコードされ得ない。
国際特許出願WO2012/085451
M. Neuendorfら、「A Novel Scheme for Low Bitrate Unified Speech and Audio Coding - MPEG RM0」、2009年5月7日〜10日、第126回AES会議 J. Lecomteら、「Efficient cross-fade windows for transitions between LPC-based and non-LPC based audio coding」、2009年5月7日〜10日、第126回AES会議 ITU-T G.718規格、パラグラフ7.11.1.2「ISF estimation and interpolation」および7.11.1.7「Spectral envelope concealment, synthesis, and updates」 ITU-T G.722.2規格、付録I、パラグラフ1.5.2.3.3 パラグラフ7.11.1.3「Extrapolation of future pitch」、7.11.1.4「Construction of the periodic part of the excitation」、7.11.1.15「Glottal pulse resynchronization in low-delay」、7.11.1.6「Construction of the random part of excitation」
本発明は、この状況を改善することを目的とする。
この目的のために、本発明の第1の態様は、予測コーディングおよび変換コーディングを使用してエンコードされたデジタル信号をデコードするための方法であって、
- 予測コーディングパラメータのセットによってエンコードされた、デジタル信号の先行フレームを予測デコードするステップと、
- エンコードされたデジタル信号の現在のフレームの喪失を検出するステップと、
- 先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、現在のフレームのための置換フレームを生成するステップと、
- 先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、デジタル信号の追加セグメントを生成するステップと、
- デジタル信号のこの追加セグメントを一時的に記憶するステップと
を備える方法に関する。
よって、置換CELPフレームが生成される場合には常に、デジタル信号の追加セグメントが利用可能である。先行フレームの予測デコードは、正しく受信されたCELPフレームの予測デコード、または、CELPのために適切なPLCアルゴリズムによる置換CELPフレームの生成をカバーする。
この追加セグメントは、フレーム喪失のケースにおいてでさえ、CELPコーディングと変換コーディングとの間の遷移を可能にする。
確かに、上述された第1の状況では、次のMDCTフレームへの遷移は、追加セグメントによって提供され得る。以下に記述されるように、追加セグメントは、取り消されていない時間領域エイリアシングを含む領域におけるクロスフェードによって、このMDCTフレームの最初の折り重ねられた部分を補償するために、次のMDCTフレームへ追加され得る。
上述された第2の状況では、遷移フレームのデコードは、追加セグメントの使用によって可能となる。遷移CELPサブフレームをデコードすることが可能ではない(16kHzにおいてコーディングされた先行フレームのCELPパラメータが利用不可能)のであれば、以下に記述されるように、それを追加セグメントで置換することが可能である。
さらに、フレーム喪失管理および遷移に関連する計算は、時間的に拡散する。生成された各置換CELPフレームについて、追加セグメントが生成され、記憶される。したがって、後続する遷移の検出を待つことなく、フレーム喪失が検出された場合に、遷移セグメントが生成される。よって、この遷移は、各フレーム喪失とともに予想される。これは、新たな正しいフレームが受信されデコードされたときに、「複雑さスパイク」を管理する必要性を回避する。
1つの実施形態では、この方法はさらに、
- 変換によってエンコードされた少なくとも1つのセグメントを備えるエンコードされたデジタル信号の次のフレームを受信するステップと、
- デジタル信号の追加セグメントと、変換によってエンコードされたセグメントとをオーバラップ追加するサブステップを備える、次のフレームをデコードするステップとを備える。オーバラップ追加サブステップは、出力信号をクロスフェードすることを可能とする。そのようなクロスフェードは、(「リンギングノイズ」などの)音アーティファクトの発生を低減し、信号エネルギにおける整合性を保証する。
別の実施形態では、次のフレームが、変換コーディングによって全体的にエンコードされ、喪失された現在のフレームは、予測コーディングによってエンコードされた先行フレームと、変換コーディングによってエンコードされた次のフレームとの間の遷移フレームである。
あるいは、先行フレームが、第1の周波数において動作するコア予測コーダを介した予測コーディングによってエンコードされる。この変形では、次のフレームは、第1の周波数とは異なる第2の周波数において動作するコア予測コーダを介した予測コーディングによってエンコードされた少なくとも1つのサブフレームを備える遷移フレームである。この目的のために、次の遷移フレームは、使用されているコア予測コーディングの周波数を示すビットを備え得る。
よって、遷移CELPサブフレームにおいて使用されるCELPコーディング(12.8または16kHz)のタイプは、遷移フレームのビットストリームにおいて示され得る。よって、本発明は、遷移CELPサブフレームと先行CELPフレームとの間のCELPエンコード/デコードにおける周波数差の検出を可能にするために、遷移フレームへ体系的なインジケーション(1ビット)を追加する。
別の実施形態では、線形的な重み付けを適用する以下の式を適用することによって、オーバラップ追加が与えられる。
Figure 0006687599
ここで、
rは、生成された追加セグメントの長さを表す係数であり、
iは、0とL/rとの間の、次のフレームのサンプルの時間であり、
Lは、次のフレームの長さであり、
S(i)は、サンプルiに関する、追加後の次のフレームの振幅であり、
B(i)は、サンプルiに関する、変換によってデコードされたセグメントの振幅であり、
T(i)は、サンプルiに関する、デジタル信号の追加セグメントの振幅である。したがって、オーバラップ追加は、実施することが簡単な線形結合および演算を使用して行われ得る。よって、これら計算のために使用されるプロセッサに少ない負荷しかかけずに、デコードのために必要な時間が低減される。あるいは、他の形式のクロスフェードが、本発明の原理を変更せずに実施され得る。
1つの実施形態では、予測によって置換フレームを生成するステップはさらに、
デコーダの内部メモリを更新するステップを備え、予測によってデジタル信号の追加セグメントを生成するステップは、
- 置換フレームの予測による生成中に更新されたデコーダのメモリから、テンポラリメモリへコピーするステップと、
- テンポラリメモリを使用して、デジタル信号の追加セグメントを生成するステップと
からなるサブステップを備え得る。
よって、デコーダの内部メモリは、追加セグメントの生成のために更新されない。その結果、追加の信号セグメントの生成は、次のフレームがCELPフレームであるケースにおいて、次のフレームのデコードにインパクトを与えない。
確かに、次のフレームがCELPフレームであれば、デコーダの内部メモリは、置換フレーム後、デコーダのステータスに対応しなければならない。
1つの実施形態では、予測によってデジタル信号の追加セグメントを生成するステップは、
- 先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、追加フレームを生成するステップと、
- 追加フレームのセグメントを抽出するステップとからなるサブステップを備える。
この実施形態では、デジタル信号の追加セグメントは、追加フレームの前半に対応する。置換CELPフレームの生成のために使用される一時的な計算データが、追加CELPフレームの生成のために直接的に利用可能であるので、この方法の効率はさらに向上される。典型的には、一時的な計算データが記憶されるレジスタおよびキャッシュは、更新される必要はなく、追加CELPフレームの生成のためにこれらデータを直接的に再使用することが可能となる。
本発明の第2の態様は、プロセッサによって実行されたときに本発明の第1の態様による方法を実施するための命令を備えるコンピュータプログラムを提供する。
本発明の第3の態様は、予測コーディングおよび変換コーディングを使用してエンコードされたデジタル信号のためのデコーダであって、
- デジタル信号の現在のフレームの喪失を検出するための検出ユニットと、
- 以下の動作を実行するように構成されたプロセッサを備える予測デコーダと
を備え、その動作は、
*予測コーディングパラメータのセットによってコーディングされた、デジタル信号の先行フレームを予測デコードし、
*先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、現在のフレームのための置換フレームを生成し、
*先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、デジタル信号の追加セグメントを生成し、
*このデジタル信号の追加セグメントを、テンポラリメモリに一時的に記憶することである、デコーダを提供する。
1つの実施形態では、本発明の第3の態様に従うデコーダはさらに、以下の動作を実行するように構成されたプロセッサを備えた変換デコーダをさらに備え、その動作は、
*変換によってエンコードされた少なくとも1つのセグメントを備えるエンコードされたデジタル信号の次のフレームを受信し、
*デジタル信号の追加セグメントと、変換によってエンコードされたセグメントとの間のオーバラップ追加のサブステップを備える、次のフレームをデコードすることである。
エンコーダにおいて、本発明は、遷移サブフレームをコーディングするために使用されるCELPコアに関する情報を提供するビットの遷移フレームへの挿入を備え得る。
本発明の他の特徴および利点が、以下の詳細説明および添付図面を検討して明らかになるであろう。
本発明の1つの実施形態に従うオーディオデコーダを例示する図である。 本発明の1つの実施形態に従う図1のオーディオデコーダなどのオーディオデコーダのCELPデコーダを例示する図である。 本発明の1つの実施形態に従う図1のオーディオデコーダによって実施されるデコード方法のステップを例示する図である。 本発明の1つの実施形態に従うコンピューティングデバイスを例示する図である。
図1は、本発明の1つの実施形態に従うオーディオデコーダ100を例示する。
オーディオエンコーダの構成は図示されていない。しかしながら、本発明に従ってデコーダによって受信されたエンコードされたデジタルオーディオ信号は、特許出願WO2012/085451に記述されているエンコーダなどの、CELPフレーム、MDCTフレーム、およびCELP/MDCT遷移フレームの形式でオーディオ信号をエンコードするように適合されたエンコーダから由来し得る。この目的のために、変換によってコーディングされた遷移フレームはさらに、予測コーディングによってコーディングされたセグメント(たとえば、サブフレーム)を備え得る。エンコーダはさらに、使用されているCELPコアの周波数を識別するために、遷移フレームへビットを追加し得る。CELPコーディングの例は、任意のタイプの予測コーディングに適用可能な説明を例示するために提供される。同様に、MDCTコーディングの例は、任意のタイプの変換コーディングに適用可能な説明を例示するために提供される。
デコーダ100は、エンコードされたデジタルオーディオ信号を受信するためのユニット101を備える。デジタル信号は、CELPフレーム、MDCTフレーム、およびCELP/MDCT遷移フレームの形式でエンコードされる。本発明の変形では、本発明の原理を変更することなく、CELPおよびMDCT以外のモードが可能であり、他のモードの組合せが可能である。さらに、CELPコーディングは、別のタイプの予測コーディングによって置換され得、MDCTコーディングは、別のタイプの変換コーディングによって置換され得る。
デコーダ100はさらに、現在のフレームが、CELPフレーム、MDCTフレーム、または遷移フレームであるかを、一般には、単に、ビットストリームを読み、エンコーダから受信したインジケーションを解釈することによって判定するために適合された分類ユニット102を備える。現在のフレームの分類に依存して、フレームは、CELPデコーダ103またはMDCTデコーダ104へ送信され得る(または、遷移フレームのケースでは両方であり、CELP遷移サブフレームが、以下に記述するデコードユニット105へ送信される)。それに加えて、現在のフレームが適切に受信された遷移フレームであり、CELPコーディングが少なくとも2つの周波数(12.8および16kHz)において生じ得る場合、分類ユニット102は、追加CELPサブフレームにおいて使用されるCELPコーディングのタイプを判定し得る。このコーディングタイプは、エンコーダから出力されたビットレートで示される。
CELPデコーダ構成103の例が、図2を参照して図示される。
逆多重化機能を含み得る受信ユニット201は、現在のフレームのためのCELPコーディングパラメータを受信するように適合される。これらパラメータは、励振を生成することができるデコードユニット202へ送信される励振パラメータ(たとえば、ゲインベクトル、固定コードブックベクトル、適応コードブックベクトル)を含み得る。それに加えて、CELPコーディングパラメータは、たとえば、LSFまたはISFとして表されるLPC係数を含み得る。LPC係数は、LPC係数をLPC合成フィルタ205へ提供するように適合されたデコードユニット203によってデコードされる。
ユニット202によって生成された励振によって励振される合成フィルタ205は、ディエンファシスフィルタ206(1/(1-αz-1)の形式の関数、ここで、たとえばα=0.68)へ送信されるデジタル信号フレーム(または、一般に、サブフレーム)を合成する。ディエンファシスフィルタの出力において、CELPデコーダ103は、ITU-T G.718規格に記述されたものに類似の低周波数後処理(バスポストフィルタ207)を含み得る。CELPデコーダ103はさらに、出力周波数(MDCTデコーダ104の出力周波数)において合成された信号の再サンプリング208と、出力インターフェース209とを備える。本発明の変形では、CELP合成の追加の後処理は、再サンプリング前または後に実施され得る。
それに加えて、コーディング前にデジタル信号が高周波数帯域と低周波数帯域とに分割された場合、CELPデコーダ103は、高周波数デコードユニット204を備え得る。低周波数信号は、上述したユニット202〜208によってデコードされる。CELP合成は、
- 励振をデコードするために使用される状態、
- 合成フィルタ205のメモリ、
- ディエンファシスフィルタ206のメモリ、
- 後処理メモリ207、
- 再サンプリングユニット208のメモリなどのCELPエンコーダの内部状態を更新するステップ(または内部メモリを更新するステップ)を含み得る。
図1を参照して示すように、デコーダはさらに、フレーム喪失管理ユニット108およびテンポラリメモリ107を備える。
遷移フレームをデコードするために、デコーダ100はさらに、受信した信号のオーバラップ追加によって遷移フレームをデコードするために、MDCTデコーダ104から出力されたCELP遷移サブフレームおよび変換デコード遷移フレームを受信するように適合されたデコードユニット105を備える。デコーダ100はさらに、出力インターフェース106を備え得る。
本発明に従うデコーダ100の動作は、本発明の実施形態に従う方法のステップを図示する図である図3を参照することによってより良く理解されるであろう。
ステップ301では、エンコードされたデジタルオーディオ信号の現在のフレームが、受信ユニット101によってエンコーダから受信され得るか、または、受信され得ない。オーディオ信号の先行フレームは、適切に受信されデコードされたフレーム、または、置換フレームであると考えられる。
ステップ302では、エンコードされた現在のフレームが失われたか、または、受信ユニット101によって受信されたかが検出される。
エンコードされた現在のフレームが実際に受信されているのであれば、分類ユニット102は、ステップ303において、エンコードされた現在のフレームがCELPフレームであるか否かを判定する。
エンコードされた現在のフレームがCELPフレームであれば、この方法は、CELPデコーダ103によって、エンコードされたCELPフレームをデコードし、再サンプリングするステップ304を備える。CELPデコーダ103の上述した内部メモリは、その後、ステップ305において更新され得る。ステップ306では、デコードされ再サンプリングされた信号が、デコーダ100から出力される。現在のフレームの励振パラメータおよびLPC係数は、メモリ107に記憶され得る。
エンコードされた現在のフレームがCELPフレームではない場合、現在のフレームは、変換コーディングによってエンコードされた少なくとも1つのセグメント(MDCTフレームまたは遷移フレーム)を備える。その後、ステップ307は、エンコードされた現在のフレームが、MDCTフレームであるか否かをチェックする。MDCTフレームであれば、現在のフレームは、ステップ308においてMDCTデコーダ104によってデコードされ、デコードされた信号が、ステップ306においてデコーダ100から出力される。
しかしながら、現在のフレームがMDCTフレームではないのであれば、それは、ステップ306において、デコーダ100からの出力としてデジタル信号を取得するために、CELP遷移サブフレームと、MDCT変換によってエンコードされた現在のフレームとの両方をデコードし、CELPデコーダとMDCTデコーダとからの信号をオーバラップ追加することによって、ステップ309においてデコードされた遷移フレームである。
現在のサブフレームが喪失された場合、ステップ310において、受信されデコードされた先行フレームがCELPフレームであったか否かが判定される。CELPフレームでないのであれば、フレーム喪失管理ユニット108において実施される、MDCTのために適合されたPLCアルゴリズムが、ステップ311においてデジタル出力信号を取得するために、MDCTデコーダ104によってデコードされたMDCT置換フレームを生成する。
最後に正しく受信されたフレームがCELPフレームであれば、CELPのために適合されたPLCアルゴリズムは、ステップ312において、置換CELPフレームを生成するために、フレーム喪失管理ユニット108およびCELPデコーダ103によって実施される。
PLCアルゴリズムは、以下のステップを含み得る。
- ステップ313において、メモリに記憶されたLSF予測数量詞(これは、たとえばタイプARまたはMAであり得る)を更新しながら、先行フレームのLSFパラメータに基づくLSFパラメータとLPCフィルタとの内挿による推定。ISFパラメータのケースのためのフレーム喪失のケースにおけるLPCパラメータの推定の例示的な実施は、ITU-T G.718規格のパラグラフ7.11.1.2「ISF estimation and interpolation」および7.11.1.7「Spectral envelope concealment, synthesis, and updates」に与えられる。あるいは、ITU-T G.722.2規格、付録Iのパラグラフ1.5.2.3.3に記述された推定もまた、MAタイプ数量詞のケースにおいて使用され得る。
- ステップ313において、次のフレームのために、先行フレームの適合ゲインおよび固定ゲインに基づく励振を推定し、これら値を更新する。励振の例示的な推定は、パラグラフ7.11.1.3「Extrapolation of future pitch」、7.11.1.4「Construction of the periodic part of the excitation」、7.11.1.15「Glottal pulse resynchronization in low-delay」、7.11.1.6「Construction of the random part of excitation」に記述されている。固定コードブックベクトルは、典型的に、ランダム信号によって各サブフレームにおいて置換される一方、適合コードブックは、外挿されたピッチを使用し、先行フレームからのコードブックゲインは、典型的に、最後に受信されたフレームにおける信号のクラスに従って減衰されている。あるいは、ITU-T G.722.2規格、付録Iに記述された励振の推定もまた使用され得る。
- ステップ313において、励振および更新された合成フィルタ205に基づいて信号を合成し、先行フレームのための合成メモリを使用して、先行フレームのための合成メモリを更新する。
- ステップ313において、ディエンファシスユニット206を使用することによる、および、ディエンファシスユニット206のメモリを更新することによる、合成信号のディエンファシス。
- オプションで、ステップ313において、後処理メモリを更新しながら、合成信号を後処理するステップ207。後処理は、フレーム喪失訂正中は無効とされ得ることに注目されたい。なぜなら、後処理が使用する情報は、単純に外挿され、信頼性が低いからである。このケースでは、受信された次のフレームとの通常の動作を可能にするために、後処理メモリは未だに更新されるべきである。
- ステップ313においてフィルタメモリ208を更新しながら、再サンプリングユニット208によって出力周波数において合成信号を再サンプリングするステップ。
内部メモリを更新するステップは、CELP予測によってエンコードされる可能な次のフレームのシームレスなデコードを可能にする。ITU-T G.718規格では、フレーム喪失訂正後に受信されたフレームをデコードする場合、合成エネルギの回復および制御のための技術も(たとえば、節7.11.1.8および7.11.1.8.1において)使用されることに注目されたい。この態様は、本発明のスコープ外であるので、本明細書では考慮されない。
ステップ314では、この方式で更新されたメモリは、テンポラリメモリ107へコピーされ得る。デコードされた置換CELPフレームは、ステップ315においてデコーダから出力される。
ステップ316では、本発明に従う方法は、デジタル信号の追加セグメントの予測による生成を提供し、CELPのために適合されたPLCアルゴリズムを活用する。ステップ316は、以下のサブステップを備え得る。
- メモリに記憶されたLSF数量詞を更新することなく、先行CELPフレームのLSFパラメータに基づく、LSFパラメータの内挿およびLPCフィルタによる推定。内挿による推定は、上述されたように(メモリに記憶されたLSF数量詞を更新することなく)置換フレームの内挿による推定に関して同じ方法を使用して実施され得る。
- 次のフレームのためのこれら値を更新することなく、適合ゲインおよび先行CELPフレームの固定ゲインに基づく励振の推定。励振は、(適合ゲインおよび固定ゲイン値を更新することなく)置換フレームのための励振の決定に関して同じ方法を使用して決定され得る。
- 励振および再計算された合成フィルタ205に基づいて、および、先行フレームのための合成メモリを使用して、信号セグメント(たとえば、半フレームまたはサブフレーム)を合成するステップ。
- ディエンファシスユニット206を使用することによって合成された信号をディエンファシスするステップ。
- オプションで、後処理メモリ207を使用することによって合成された信号を後処理するステップ。
- 再サンプリングメモリ208を使用して、再サンプリングユニット208によって、出力周波数において合成された信号を再サンプリングするステップ。
これらステップの各々について、本発明は、これらステップを実行する前に、各ステップにおいて修正されたCELPデコード状態を、一時的な変数に記憶するステップを提供し、これによって、あらかじめ決定された状態が、一時的なセグメントの生成後、これら記憶された値へ戻され得るようになることに注目することが重要である。
生成された追加の信号セグメントは、ステップ317においてメモリ107に記憶される。
ステップ318では、デジタル信号の次のフレームが、受信ユニット101によって受信される。ステップ319は、次のフレームがMDCTフレームであるか遷移フレームであるかをチェックする。
そのようなケースではないのであれば、次のフレームはCELPフレームであり、それは、ステップ320においてCELPデコーダ103によってデコードされる。ステップ316において合成された追加のセグメントは使用されず、メモリ107から削除され得る。
次のフレームがMDCTフレームまたは遷移フレームであれば、それは、ステップ322においてMDCTデコーダ104によってデコードされる。並行して、メモリ107に記憶された追加のデジタル信号セグメントが、ステップ323において管理ユニット108によって取得され、デコードユニット105へ送信される。
次のフレームがMDCTフレームであれば、取得された追加の信号セグメントは、ユニット103が、ステップ324において、次のMDCTフレームの第1の部分を正しくデコードするために、オーバラップ追加を実行することを可能にする。たとえば、追加セグメントが、サブフレームの半分である場合、0と1との間の線形ゲインが、オーバラップ追加中に、MDCTフレームの前半へ適用され得、1と0との間の線形ゲインが、追加信号セグメントへ適用される。この追加信号セグメントがなければ、MDCTデコードは、量子化誤差による不連続という結果になり得る。
次のフレームが遷移フレームである場合、我々は、以下に見られるような2つのケースを区別する。遷移フレームのデコードは、「遷移フレーム」としての現在のフレームの分類のみならず、多数のCELPコーディングレートが可能である場合、CELPコーディングのタイプを示すインジケーション(12.8または16kHz)にも依存することを思い出して頂きたい。したがって、
- 先行CELPフレームが、第1の周波数(たとえば、12.8kHz)においてコアコーダによってエンコードされ、遷移CELPサブフレームが、第2の周波数(たとえば、16kHz)においてコアコーダによってエンコードされたのであれば、遷移サブフレームはデコードされ得ず、追加信号セグメントが、デコードユニット105に対して、ステップ322のMDCTデコードの結果得られた信号とのオーバラップ追加を実行することを可能にする。たとえば、追加セグメントがサブフレームの半分である場合、0と1との間の線形ゲインが、オーバラップ追加中に、MDCTフレームの前半へ適用され得、1と0との間の線形ゲインが、追加信号セグメントへ適用される。
- 先行CELPフレームと遷移CELPサブフレームとが同じ周波数においてコアコーダによってエンコードされたのであれば、遷移フレームをデコードしたMDCTデコーダ104から由来するデジタル信号とのオーバラップ追加のために、遷移CELPサブフレームが、デコードユニット105によってデコードされ使用され得る。
追加信号セグメントとデコードされたMDCTフレームのオーバラップ追加は、以下の式によって与えられ得る。
Figure 0006687599
ここで、
- rは、生成された追加セグメントの長さを表す係数であり、この長さは、L/rに等しい。値rに制限はない。これは、追加信号セグメントと、デコードされた遷移MDCTフレームとの間の十分なオーバラップを可能にするように選択されるであろう。たとえば、rは、2に等しくなり得る。
- iは、0とL/rとの間の、次のフレームのサンプルに対応する時間であり、
- Lは、次のフレームの長さ(たとえば、20ミリ秒)であり、
- S(i)は、サンプルiに関する、追加後の次のフレームの振幅であり、
- B(i)は、サンプルiに関する、変換によってデコードされたセグメントの振幅であり、
- T(i)は、サンプルiに関する、デジタル信号の追加セグメントの振幅である。
オーバラップ追加後に取得されたデジタル信号は、ステップ325においてデコーダから出力される。
先行CELPフレームに続く現在のフレームの喪失がある場合、本発明は、置換フレームに加えて、追加セグメントの生成を提供する。いくつかのケースでは、特に、次のフレームがCELPフレームであれば、前記追加セグメントは使用されない。しかしながら、先行フレームのコーディングパラメータは再使用されるので、計算は、何ら追加の複雑性をもたらさない。対照的に、次のフレームが、MDCTフレームであるか、または、先行するCELPフレームをエンコードするために使用されるコア周波数とは異なるコア周波数におけるCELPサブフレームを伴う遷移フレームである場合、生成され記憶された追加信号セグメントは、次のフレームのデコードを可能にする。これは、先行技術の解決先では可能ではない。
図4は、CELPコーダ103およびMDCTコーダ104へ統合され得る例示的なコンピューティングデバイス400を表す。
デバイス400は、(CELPコーダ103またはMDCTコーダ104によって実施される)上述した方法のステップの実施を可能にする命令を記憶するためのランダムアクセスメモリ404およびプロセッサ403を備える。デバイスはまた、方法の適用後に保持されるべきデータを記憶するための大容量記憶装置405を備える。デバイス400はさらに、デジタル信号のフレームを受信すること、および、デコードされた信号フレームを送信することが各々意図されている入力インターフェース401および出力インターフェース406を備える。
デバイス400はさらに、デジタル信号プロセッサ(DSP)402を備え得る。
DSP402は、これらフレームを周知の方式でフォーマット、復調、および増幅するために、デジタル信号フレームを受信する。
本発明は、例として上述された実施形態に限定されず、他の変形まで及ぶ。
上記で我々は、デコーダが個別のエンティティである実施形態を記述した。もちろん、そのようなデコーダは、モバイル電話、コンピュータなどの任意のタイプの大型デバイスへ組み込まれ得る。
それに加えて、我々は、デコーダのための特定のアーキテクチャを提案する実施形態を記述した。これらのアーキテクチャは、例示的な目的のためにのみ提供される。これら構成要素の異なる構成、および、これら構成要素の各々に割り当てられたタスクの異なる分散も可能である。
100 オーディオデコーダ
101 受信ユニット
102 分類ユニット
103 CELPデコーダ
104 MDCTデコーダ
105 デコードユニット
106 出力インターフェース
107 メモリ
108 フレーム喪失管理ユニット
201 受信ユニット
202 デコードユニット
203 デコードユニット
204 高周波数デコードユニット
205 LPC合成フィルタ
206 ディエンファシスフィルタ
207 後処理メモリ
208 再サンプリングユニット
209 出力インターフェース
400 コンピューティングデバイス
401 入力インターフェース
402 デジタル信号プロセッサ
403 プロセッサ
404 ランダムアクセスメモリ
405 大容量記憶装置
406 出力インターフェース

Claims (8)

  1. 予測コーディングおよび変換コーディングを使用してエンコードされたデジタル信号をデコードするための方法であって、
    - 予測コーディングパラメータのセットによってエンコードされた、前記デジタル信号の先行フレームを予測デコードするステップ(304)と、
    - 前記エンコードされたデジタル信号の現在のフレームの喪失を検出する(302)と、
    - 前記先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、前記現在のフレームのための置換フレームを生成するステップ(312)と、
    - 前記先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、デジタル信号の追加セグメントを生成するステップ(316)と、
    - デジタル信号の前記追加セグメントを一時的に記憶するステップ(317)と、
    - 変換によってエンコードされた少なくとも1つのセグメントを備えるエンコードされたデジタル信号の次のフレームを受信するステップ(318)と、
    - デジタル信号の前記追加セグメントと、変換によってエンコードされた前記セグメントとをオーバラップ追加するサブステップを備える、前記次のフレームをデコードするステップ(322; 323; 324)と
    を備え、
    前記オーバラップ追加は、以下の式を適用することによって与えられ、
    Figure 0006687599
     - rは、前記生成された追加セグメントの長さを表す係数であり、
    - iは、0とL/rとの間の、前記次のフレームのサンプルに対応する時間であり、
    - Lは、前記次のフレームの長さであり、
    - S(i)は、サンプルiに関する、追加後の前記次のフレームの振幅であり、
    - B(i)は、サンプルiに関する、変換によってデコードされた前記セグメントの振幅であり、
    - T(i)は、サンプルiに関する、デジタル信号の前記追加セグメントの振幅である、方法。
  2. 前記次のフレームが、変換コーディングによって全体的にエンコードされ、
    前記喪失された現在のフレームは、予測コーディングによってエンコードされた前記先行フレームと、変換コーディングによってエンコードされた前記次のフレームとの間の遷移フレームである、請求項1に記載の方法。
  3. 前記先行フレームは、第1の周波数において動作するコア予測コーダを介した予測コーディングによってエンコードされ、
    前記次のフレームは、前記第1の周波数とは異なる第2の周波数において動作するコア予測コーダを介した予測コーディングによってエンコードされた少なくとも1つのサブフレームを備える遷移フレームである、請求項1に記載の方法。
  4. 前記次のフレームは、使用されている前記コア予測コーディングの周波数を示すビットを備える、請求項3に記載の方法。
  5. 予測によって前記置換フレームを生成する前記ステップはさらに、デコーダの内部メモリを更新するステップ(313)を備え、
    予測によってデジタル信号の追加セグメントを生成する前記ステップは、
    - 前記置換フレームを予測によって生成する前記ステップ中に更新された前記デコーダのメモリから、テンポラリメモリ(107)へコピーするステップ(314)と、
    - 前記テンポラリメモリを使用して、デジタル信号の前記追加セグメントを生成するステップ(316)とからなるサブステップを備える、請求項1から4のいずれか一項に記載の方法。
  6. 予測によってデジタル信号の追加セグメントを生成する前記ステップは、
    - 前記先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、追加フレームを生成するステップと、
    - 前記追加フレームのセグメントを抽出するステップとからなるサブステップを備え、
    デジタル信号の前記追加セグメントは、前記追加フレームの前半に対応する、請求項1から5のいずれか一項に記載の方法。
  7. プロセッサによって実行されたときに請求項1から6のいずれか一項に記載の方法を実施するための命令を備えるコンピュータプログラム。
  8. 予測コーディングおよび変換コーディングを使用してエンコードされたデジタル信号のためのデコーダであって、
    - 前記デジタル信号の現在のフレームの喪失を検出するための検出ユニット(108)と、
    - 以下の動作を実行するように構成されたプロセッサを備える予測デコーダ(103)とを備え、前記動作は、
    *予測コーディングパラメータのセットによってコーディングされた、前記デジタル信号の先行フレームを予測デコードし、
    *前記先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、前記現在のフレームのための置換フレームを生成し、
    *前記先行フレームをエンコードする少なくとも1つの予測コーディングパラメータから、予測によって、デジタル信号の追加セグメントを生成し、
    *デジタル信号の前記追加セグメントを、テンポラリメモリ(107)に一時的に記憶することであり、
    前記デコーダは、以下の動作を実行するように構成されたプロセッサを備えた変換デコーダ(104)をさらに備え、前記動作は、
    *変換によってエンコードされた少なくとも1つのセグメントを備えるエンコードされたデジタル信号の次のフレームを受信し、
    *変換によって前記次のフレームをデコードすることであり、
    前記デコーダはさらに、デジタル信号の前記追加セグメントと、変換によってコーディングされた前記セグメントとの間のオーバラップ追加を実行するように構成されたプロセッサを備えるデコードユニット(105)を備え、
    前記オーバラップ追加は、以下の式を適用することによって与えられ、
    Figure 0006687599
     - rは、前記生成された追加セグメントの長さを表す係数であり、
    - iは、0とL/rとの間の、前記次のフレームのサンプルに対応する時間であり、
    - Lは、前記次のフレームの長さであり、
    - S(i)は、サンプルiに関する、追加後の前記次のフレームの振幅であり、
    - B(i)は、サンプルiに関する、変換によってデコードされた前記セグメントの振幅であり、
    - T(i)は、サンプルiに関する、デジタル信号の前記追加セグメントの振幅である、デコーダ。
JP2017504685A 2014-07-29 2015-07-27 Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理 Active JP6687599B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1457356 2014-07-29
FR1457356A FR3024582A1 (fr) 2014-07-29 2014-07-29 Gestion de la perte de trame dans un contexte de transition fd/lpd
PCT/FR2015/052075 WO2016016567A1 (fr) 2014-07-29 2015-07-27 Gestion de la perte de trame dans un contexte de transition fd/lpd

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020022302A Division JP7026711B2 (ja) 2014-07-29 2020-02-13 Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理

Publications (2)

Publication Number Publication Date
JP2017523471A JP2017523471A (ja) 2017-08-17
JP6687599B2 true JP6687599B2 (ja) 2020-04-22

Family

ID=51894139

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017504685A Active JP6687599B2 (ja) 2014-07-29 2015-07-27 Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理
JP2020022302A Active JP7026711B2 (ja) 2014-07-29 2020-02-13 Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020022302A Active JP7026711B2 (ja) 2014-07-29 2020-02-13 Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理

Country Status (8)

Country Link
US (2) US10600424B2 (ja)
EP (1) EP3175444B1 (ja)
JP (2) JP6687599B2 (ja)
KR (1) KR102386644B1 (ja)
CN (2) CN106575505B (ja)
ES (1) ES2676834T3 (ja)
FR (1) FR3024582A1 (ja)
WO (1) WO2016016567A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
KR102547480B1 (ko) * 2014-12-09 2023-06-26 돌비 인터네셔널 에이비 Ｍｄｃｔ-도메인 에러 은닉
KR101754702B1 (ko) * 2015-09-03 2017-07-07 유신정밀공업 주식회사 밴드 스프링을 구비한 호스 클램프
US11647241B2 (en) * 2019-02-19 2023-05-09 Sony Interactive Entertainment LLC Error de-emphasis in live streaming
US20220172733A1 (en) * 2019-02-21 2022-06-02 Telefonaktiebolaget Lm Ericsson (Publ) Methods for frequency domain packet loss concealment and related decoder

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969193A (en) * 1985-08-29 1990-11-06 Scott Instruments Corporation Method and apparatus for generating a signal transformation and the use thereof in signal processing
US6006174A (en) * 1990-10-03 1999-12-21 Interdigital Technology Coporation Multiple impulse excitation speech encoder and decoder
US5907822A (en) * 1997-04-04 1999-05-25 Lincom Corporation Loss tolerant speech decoder for telecommunications
WO1999050828A1 (en) * 1998-03-30 1999-10-07 Voxware, Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
BR0009262A (pt) * 1999-03-05 2002-02-05 Toshiba Kk Toshiba Corp Aparelho de codificação de vìdeo e aparelho de decodificação de vìdeo
US6952668B1 (en) * 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
JP2003209845A (ja) * 2002-01-11 2003-07-25 Mitsubishi Electric Corp 画像符号化集積回路
US7536305B2 (en) * 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
JP4331928B2 (ja) * 2002-09-11 2009-09-16 パナソニック株式会社 音声符号化装置、音声復号化装置、及びそれらの方法
WO2004084182A1 (en) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Decomposition of voiced speech for celp speech coding
US20040199276A1 (en) * 2003-04-03 2004-10-07 Wai-Leong Poon Method and apparatus for audio synchronization
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
US20060088093A1 (en) * 2004-10-26 2006-04-27 Nokia Corporation Packet loss compensation
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US8155965B2 (en) * 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
US20080215340A1 (en) * 2005-05-25 2008-09-04 Su Wen-Yu Compressing Method for Digital Audio Files
FR2888699A1 (fr) * 2005-07-13 2007-01-19 France Telecom Dispositif de codage/decodage hierachique
CN101310329A (zh) * 2005-10-18 2008-11-19 诺基亚公司 用于重新同步分组音频流的方法和装置
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US7805297B2 (en) * 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
CN101331539A (zh) * 2005-12-15 2008-12-24 汤姆逊许可公司 用于互联网协议语音的包丢失恢复方法和设备
US8024192B2 (en) * 2006-08-15 2011-09-20 Broadcom Corporation Time-warping of decoded audio signal after packet loss
CN101366080B (zh) * 2006-08-15 2011-10-19 美国博通公司 一种更新解码器的状态的方法和系统
JP2010503881A (ja) 2006-09-13 2010-02-04 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 音声・音響送信器及び受信器のための方法及び装置
PT2102619T (pt) * 2006-10-24 2017-05-25 Voiceage Corp Método e dispositivo para codificação de tramas de transição em sinais de voz
CN101833954B (zh) * 2007-06-14 2012-07-11 华为终端有限公司 一种实现丢包隐藏的方法和装置
CN101325537B (zh) * 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8607127B2 (en) 2007-09-21 2013-12-10 France Telecom Transmission error dissimulation in a digital signal with complexity distribution
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
CN101471073B (zh) * 2007-12-27 2011-09-14 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN101588341B (zh) * 2008-05-22 2012-07-04 华为技术有限公司 一种丢帧隐藏的方法及装置
WO2010000303A1 (en) * 2008-06-30 2010-01-07 Nokia Corporation Speech decoder with error concealment
EP2311034B1 (en) * 2008-07-11 2015-11-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding frames of sampled audio signals
KR101261677B1 (ko) * 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
US8463603B2 (en) * 2008-09-06 2013-06-11 Huawei Technologies Co., Ltd. Spectral envelope coding of energy attack signal
FR2936898A1 (fr) * 2008-10-08 2010-04-09 France Telecom Codage a echantillonnage critique avec codeur predictif
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
JP2012516462A (ja) * 2009-01-28 2012-07-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ オーディオエンコーダ、オーディオデコーダ、符号化されたオーディオ情報、オーディオ信号を符号化および復号化する方法およびコンピュータ・プログラム
JP4977157B2 (ja) * 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
US20110046761A1 (en) * 2009-08-19 2011-02-24 Paul Frederick Titchener Recorded Media Enhancement Method
RU2591011C2 (ru) * 2009-10-20 2016-07-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Кодер аудиосигнала, декодер аудиосигнала, способ кодирования или декодирования аудиосигнала с удалением алиасинга (наложения спектров)
US8442837B2 (en) * 2009-12-31 2013-05-14 Motorola Mobility Llc Embedded speech and audio coding using a switchable model core
US8321216B2 (en) * 2010-02-23 2012-11-27 Broadcom Corporation Time-warping of audio signals for packet loss concealment avoiding audible artifacts
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
ES2968927T3 (es) * 2010-07-08 2024-05-14 Fraunhofer Ges Forschung Decodificador que utiliza cancelación del efecto de solapamiento hacia delante
EP2619758B1 (en) * 2010-10-15 2015-08-19 Huawei Technologies Co., Ltd. Audio signal transformer and inverse transformer, methods for audio signal analysis and synthesis
FR2969805A1 (fr) * 2010-12-23 2012-06-29 France Telecom Codage bas retard alternant codage predictif et codage par transformee
EP4243017A3 (en) * 2011-02-14 2023-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method decoding an audio signal using an aligned look-ahead portion
US9037456B2 (en) * 2011-07-26 2015-05-19 Google Technology Holdings LLC Method and apparatus for audio coding and decoding
DE102011088519A1 (de) * 2011-12-14 2013-06-20 Metabowerke Gmbh Stator für einen Elektromotor sowie Verfahren zur Herstellung eines Stators für einen Elektromotor
US9043201B2 (en) * 2012-01-03 2015-05-26 Google Technology Holdings LLC Method and apparatus for processing audio frames to transition between different codecs
US9053699B2 (en) * 2012-07-10 2015-06-09 Google Technology Holdings LLC Apparatus and method for audio frame loss recovery
US9123328B2 (en) 2012-09-26 2015-09-01 Google Technology Holdings LLC Apparatus and method for audio frame loss recovery
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
CN103854649B (zh) * 2012-11-29 2018-08-28 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
EP2951814B1 (en) * 2013-01-29 2017-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low-frequency emphasis for lpc-based coding in frequency domain
CA2916150C (en) * 2013-06-21 2019-06-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method realizing improved concepts for tcx ltp
CN103456307B (zh) * 2013-09-18 2015-10-21 武汉大学 音频解码器中帧差错隐藏的谱代替方法及系统
US10390034B2 (en) * 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015131330A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
US20150264357A1 (en) * 2014-03-11 2015-09-17 Stmicroelectronics S.R.L. Method and system for encoding digital images, corresponding apparatus and computer program product
CN105099949A (zh) * 2014-04-16 2015-11-25 杜比实验室特许公司 基于对延迟抖动和对话动态的监视的抖动缓冲器控制
EP2980797A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, method and computer program using a zero-input-response to obtain a smooth transition

Also Published As

Publication number Publication date
ES2676834T3 (es) 2018-07-25
CN106575505B (zh) 2021-06-01
JP2017523471A (ja) 2017-08-17
EP3175444B1 (fr) 2018-04-11
KR102386644B1 (ko) 2022-04-14
WO2016016567A1 (fr) 2016-02-04
JP2020091496A (ja) 2020-06-11
US10600424B2 (en) 2020-03-24
US11475901B2 (en) 2022-10-18
US20170213561A1 (en) 2017-07-27
FR3024582A1 (fr) 2016-02-05
CN113571070B (zh) 2023-09-29
JP7026711B2 (ja) 2022-02-28
KR20170037661A (ko) 2017-04-04
CN113571070A (zh) 2021-10-29
EP3175444A1 (fr) 2017-06-07
US20200175995A1 (en) 2020-06-04
CN106575505A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
JP7026711B2 (ja) Ｆｄ／ｌｐｄ遷移コンテキストにおけるフレーム喪失管理
RU2667029C2 (ru) Аудиодекодер и способ обеспечения декодированной аудиоинформации с использованием маскирования ошибки, модифицирующего сигнал возбуждения во временной области
US9218817B2 (en) Low-delay sound-encoding alternating between predictive encoding and transform encoding
RU2678473C2 (ru) Аудиодекодер и способ обеспечения декодированной аудиоинформации с использованием маскирования ошибки на основании сигнала возбуждения во временной области
RU2432625C2 (ru) Синтез потерянных блоков цифрового аудиосигнала с коррекцией питч-периода
US11158332B2 (en) Determining a budget for LPD/FD transition frame encoding
RU2741518C1 (ru) Кодирование и декодирование аудиосигналов
KR20130133846A (ko) 정렬된 예견 부를 사용하여 오디오 신호를 인코딩하고 디코딩하기 위한 장치 및 방법
KR102388687B1 (ko) 변환 코딩/디코딩으로부터 예측 코딩/디코딩으로의 천이
KR101409305B1 (ko) 정보의 부재 시에 디코더측에서의 여기를 생성하기 위한 과유성음화의 감쇄

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200402

R150 Certificate of patent or registration of utility model

Ref document number: 6687599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250