JP6426626B2 - 信号復号の間のフレーム損失訂正の改善 - Google Patents

信号復号の間のフレーム損失訂正の改善 Download PDF

Info

Publication number
JP6426626B2
JP6426626B2 JP2015555770A JP2015555770A JP6426626B2 JP 6426626 B2 JP6426626 B2 JP 6426626B2 JP 2015555770 A JP2015555770 A JP 2015555770A JP 2015555770 A JP2015555770 A JP 2015555770A JP 6426626 B2 JP6426626 B2 JP 6426626B2
Authority
JP
Japan
Prior art keywords
signal
frame
spectral components
segment
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015555770A
Other languages
English (en)
Other versions
JP2016511432A (ja
Inventor
ジュリアン・フォーレ
ステファーヌ・ラゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2016511432A publication Critical patent/JP2016511432A/ja
Application granted granted Critical
Publication of JP6426626B2 publication Critical patent/JP6426626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/093—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0016—Codebook for LPC parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)

Description

本発明は、信号訂正に関し、詳しくは、デコーダにおいて、信号を受信する際にこのデコーダによりフレーム損失が生じる場合の信号訂正に関する。
信号は、連続的なフレームに分割された一連のサンプルという形式を有しており、「フレーム」とは、複数のサンプルから構成された信号セグメントを意味するものと理解される(信号が、たとえばITU-TのG.711規格によるコーデックにおけるように、信号が一連のサンプルという形式を有する場合には、1つのフレームが単一のサンプルで構成される、という実装例があり得る)。
本発明は、デジタル信号処理の分野に属しており、より詳しくは、それに限られることはないが、オーディオ信号の符号化/復号の分野に属する。フレーム損失は、符号器と復号器とを用いる通信(リアルタイムの伝送によるか、または、後の伝送のための記憶によるか、のいずれか)がチャネル状態(たとえば、無線上の問題、アクセスネットワークの輻輳など)が原因で混乱するときに、生じる。
この場合、デコーダは、そのデコーダの内部で利用可能な情報(たとえば、既に復号された信号や、先行するフレームにおいて受信されたパラメータ)を用いることにより、行方不明になっている信号の代わりに、再構築された信号を用いることを試みるため、フレーム損失の訂正(または、「マスク」)機構を用いる。この技術を用いると、チャネルのパフォーマンスが低下している場合でも、よいサービス品質が維持され得る。
フレーム損失の訂正技術は、ほとんどの場合、用いられている符号化のタイプに大きく左右される。
CELP(「符号励振線形予測」(Code Excited Linear Prediction))タイプの技術に基づく音声信号の符号化の場合には、フレーム損失訂正は、特に、CELPモデルを利用する。たとえば、ITU-TのG.722.2規格による符号化では、失われたフレーム(または「パケット」)を置き換えるためのソリューションは、減衰器による長期ゲイン予測の利用を延長すること、そしてまた、それぞれのISF(「イミタンススペクトル周波数」(Immittance Spectral Frequency))パラメータの利用を、それらをそれぞれの平均に近づかせることにより延長すること、によって構成される。また、音声信号のピッチ(「LTPラグ」と称されるパラメータ)も、反復される。さらに、この「イノベーション」を特徴付けるパラメータに対するランダム値(CELF符号化における励振)が、デコーダに供給される。
このタイプの方法を、変換による符号化またはPCMもしくはADPCMタイプの波形の符号化に適用するには、デコーダにおいて、通過する信号にCELPタイプのパラメータ解析を行うことが必要になるが、これにより追加的な複雑性がもたらされるということが、既に注意されるべきである。
波形符号器に対応するITU-TのG.711規格では、(この規格の本文の付録Iに記載がある)フレーム損失訂正処理に関する有益な例は、既に復号された音声信号におけるピッチ周期を見つけること、および、既に復号された信号と(マスクによって再構築された)反復された信号との間の回復-加算(「オーバラップ-加算」(overlap-add))によって、最後のピッチ周期を反復すること、から構成される。この処理を用いると、オーディオアーチファクトを「平滑化」することが可能であるが、デコーダにおける追加的な遅延(回復時間に対応する遅延)が必要になる。
変換による符号化の場合におけるフレーム損失を置き換えるために最も用いられる技術は、受信された最後のフレームにおいて復号されたスペクトルを反復することで構成される。たとえば、ITU-TのG.722.1規格による符号化の場合には、50%の回復と正弦形状解析/合成ウィンドウとを備えた修正離散コサイン変換(MDCT)と同等のMLT(「修正直交変換」(modified lapped transform))は、スペクトルの単純な反復に関係するアーチファクトを平滑化するために、最後の失われたフレームと反復されたフレームとの間に、十分に低速の遷移を提供するように機能するが、典型的には、複数のフレームが失われている場合には、反復されたスペクトルはゼロに設定される。
好都合であることに、このマスク法は、追加的な遅延を必要とせず、その理由は、この方法が、(MLT変換に起因する時間エイリアシングにより)ある種の「クロスフェード」を行うために、再構築された信号と過去の信号との間における回復-加算を利用するからである。それは、リソースコストが非常に低い技術を代表している。
しかし、それには、フレームの損失の直前の信号と反復された信号との間の時間的不整合に関係する短所が存在する。この結果として、(特に、「短期遅延」と称されるMDCTフレームが用いられるときにそうであるように)2つのフレームと関連する信号の間の回復時間が短縮される場合に著しいオーディオアーチファクトを生じさせる可能性がある、位相不連続性(または不整合)が生じるのである。短期的な回復状況は、短期遅延MLT変換の場合の図1Bに図解されているのであるが、これは、G.722.1規格に従って長い正弦ウィンドウが用いられる(よって、長い回復時間ZRAを、非常に進行型の変調と共に、提供する)図1Aに図解されている通常の状況と対照的である。短期遅延ウィンドウによる変調は、図1Bに示されているように、短期回復ゾーンZRBのために可聴性の位相オフセットを生成するように思われる。
この場合には、ピッチサーチ(G.711の付録Iの規格による復号の場合)とMDCT変換のウィンドウによって生成された回復-加算とを組み合わせたソリューションが実装され得る場合でも、それは、特に周波数成分の間の位相シフトに関係するオーディオアーチファクトを除去するのに十分でない。
本発明は、この状況を改善することを目的とする。
この目的のため、本発明は、連続的なフレームに分散された一連のサンプルを含む信号を処理するための方法を提案するのであるが、この方法は、復号において失われた少なくとも1つの信号フレームを置換するために、前記信号の復号の間に実装される。より詳しくは、この方法は、
a)デコーダに利用可能である有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチするステップと、
b)セグメントのスペクトル成分を決定するために、セグメントのスペクトルを解析するステップと、
c)合成された信号をスペクトル成分の少なくとも一部から構築することにより、失われたフレームに対する少なくとも1つの置換フレームを合成するステップと、
を含む。
本明細書において、「フレーム」とは、少なくとも1つのサンプルのブロックであると理解される。ほとんどのコーデックにおいて、これらのフレームは、いくつかのサンプルから構築される。しかし、特に、たとえばG.711規格によるPCM(「パルス符号変調」)タイプのいくつかのコーデックにおいては、信号は単に一連のサンプルから構築されている(つまり、本発明の意味での1つの「フレーム」は、ただ1つのサンプルを含む)。したがって、本発明は、このタイプのコーデックにも適用され得る。
たとえば、有効な信号は、フレーム損失の前に受信された最後の有効なフレームから構築され得る。フレーム損失の後に受信されたそれに続く1つまたは複数のフレームもまた、用いられ得る(ただし、そのような実装例は、復号の遅延を生じさせる)。有効な信号からの用いられるサンプルは、フレームから直接のものであり得るし、そして、メモリに対応し変換からのものであり得るし、典型的には、回復を伴う変換によるMLTまたはMDCT型の複合の場合にはエイリアシングを含む。
本発明は、フレーム損失の訂正に対する有益なソリューションを提供するのであるが、これは、特に、追加的なデコーダ遅延が禁止される場合であって、たとえば、変換によるデコーダが、置換信号(substitution signal)と時間的展開(temporal unfolding)から生じる信号との間に十分に大きな重なり合いを有していないウィンドウと共に、用いられるときである(MDCTまたはMLTのための短い遅延のウィンドウのための典型的な場合は、図1Bに示されている)。本発明は、回復に関して特別な効果を有するのであるが、これは、これらの直近の有効なフレームからのスペクトル配色を備えた合成された信号を構築するために、受信された直近の有効なフレームにわたってスペクトル成分を用いることによる。しかし、本発明は、もちろん、任意のタイプの符号化/復号(変換による、CELP、PCMなど)に適用される。
ある実施形態では、この方法は、有効な信号における相関によって1つの反復周期をサーチするステップを含んでおり、上述されたセグメントの長さは、少なくとも1つの反復周期を含む。
そのような「反復周期」は、発話された音声信号(信号の基本周波数の逆数)の場合には、たとえばピッチ周期に対応する。しかし、信号は、また、基本周波数と関連する全体的調性(overall tonality)と、また、上述した反復周期に対応し得る基本周期とをたとえば有する音楽信号からの場合もあり得る。
たとえば、信号の調性と関係する周期を求める反復周期のサーチが、用いられ得る。たとえば、第1のメモリバッファは、有効に受信された直近の複数のサンプルから構築することが可能であり、そして、2番目に大きなサイズのバッファは、第1のバッファからのサンプルにその連続において最もよく対応する第2のバッファからのいくつかのサンプルを求めて、相関によりサーチすることが可能である。第2のバッファから識別されたこれらのサンプルと第1のバッファからのサンプルとの間の時間的オフセットが、反復周期またはこの反復周期の整数倍を(相関サーチの精細度に従って)構成し得る。反復周期の整数倍を取ることによって本発明の実装例が劣化することはない、ということに注意すべきであるが、その理由は、この場合には、スペクトル解析が、ただ1つの周期ではなく複数の周期に及ぶ長さにわたって行われるに過ぎないからであり、これが解析の精細度を高めることに貢献するのである。
よって、スペクトル解析が行われる信号の長さは、下記のように決定され得る:
(信号の調性が明らかに識別可能である場合には)反復周期に対応する長さ;
動作に関する実施形態において後述されるように、所定の閾値よりも大きな第1の相関結果を相関が与える場合には、複数の反復周期に対応する長さ(たとえば、ピッチサイクル);
そのような調性が識別可能でない(信号が本質的にノイズで構成されている)場合には、任意の信号の長さ(たとえば、サンプルの数十倍)。
特定の実施形態では、上述の反復周期は、予め設定された閾値を相関が超える長さに対応する。よって、この実装例では、信号の長さは、この時間に対する所定の閾値を相関がいったん超えると、識別される。そのように識別された長さは、上述した全体的調性の周波数と関連する1つまたは複数の周期に対応する。そのような実装例では、単一ではなく複数のピッチ周期(たとえば、2から5の間のピッチ周期)が現実に検出される場合であっても、相関によるサーチの複雑性を(たとえば、60または70%の相関閾値を設定することによって)有利に制限することが可能である。第1に、相関サーチの複雑性がより低くなる。第2に、複数の周期にわたるスペクトル解析がより精細になり、その結果、スペクトル成分がより精細に解析される。
(たとえば、高速フーリエ変換すなわちFFTによる)セグメント解析によってスペクトル成分を取得することに関し、この方法は、これらのスペクトル成分と関連するそれぞれのフェーズを決定するステップをさらに含み、合成された信号の構築はスペクトル成分のフェーズを含む。信号の構築は、後で検討されるように、ほとんどの自然な場合には後続の有効なフレームである、直近の有効なフレームへの合成された信号の接続を最適化するために、これらのフェーズを組み入れる。
また、特定の実装例では、この方法は、スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含み、合成された信号の構築は、(合成された信号の構築においてそれらを考察するために)スペクトル成分のこれらの振幅を含む。
特定の実装例では、合成された信号の構築のために、解析から生じる成分を選択することが可能である。たとえば、この方法が、スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含む実装例では、最高の振幅のスペクトル成分が、合成された信号の構築のために選択され得る。よって、補完例または変形例として、その振幅が周波数スペクトルにおけるピークを形成するようなスペクトル成分が選択され得る。
スペクトル成分の単一の部分が選択される場合には、特定の実装例では、合成された信号の構築のために選択されなかったスペクトル成分との関係でのエネルギの損失を補償するために、合成された信号にノイズが追加され得る。
ある実装例では、上述のノイズは、セグメントからの信号と合成された信号との間の(時間的に)重み付けされた残余(weighted residue)によって取得される。それは、たとえば、回復を伴う変換による符号化/復号のコンテキストにおけるように、回復ウィンドウによって重み付けされ得る。
セグメントのスペクトル解析は、好ましくは長さが2^kである高速フーリエ変換(FFT)による正弦解析を含み、ここで、kはlog2(P)以上であり、Pは信号セグメントにおけるサンプルの個数である。そのような実装例は、後述されるように、処理の複雑性を低下させるように機能する。FFT変換に対する可能性のある代替例として、たとえば変調複素重複変換(Modulated Complex Lapped Transform)(MCLT)タイプの変換など、他の変換も可能であることに注意すべきである。
特に、スペクトル解析は、以下のものを提供することができる。
ceil(x)がx以上の整数を表すものとして、2^ceil(log2(P))個のサンプルを含む第2のセグメントを取得するための、セグメントからのサンプルの補間;
第2のセグメントのフーリエ変換の計算;
スペクトル成分を決定した後に、その成分と関連する周波数の識別と、前記周波数を再サンプリングの関数として修正して再サンプリングすることによる、合成された信号の構築。
本発明は、回復を伴う変換による復号のコンテキストにおいて、優れた応用を有するが、いかなる意味でも、それに限定されることはない。そのようなコンテキストでは、合成された信号が少なくとも2つのフレームの長さにわたって構築され(反復され)、それにより、単一のフレームを超える時間的エイリアシングを含む部分にも及ぶことは、有益であり得る。
特定の実装例では、合成された信号は、2つのフレームの長さと再サンプリングフィルタによって導入される遅延に対応する追加的な長さとにわたって、構築され得る(特に、上述された、再サンプリングが提供される実装例において)。
いくつかの実装例では、ジッタバッファを管理することが、有利であり得る。ジッタバッファ管理と協働してフレーム損失訂正が行われる場合には、本発明は、合成された信号の長さを適応させることによって、そのような状況においても適用され得る。
ある実装例では、この方法は、有効なフレームからの信号を高周波帯域と低周波帯域とに分離するステップをさらに含み、スペクトル成分は低周波帯域において選択される。そのような実装例では、処理の複雑性を低周波帯域にほぼ限定することが可能であるが、その理由は、高周波は、スペクトルの豊かさを、合成された信号にほとんどもたらすことがなく、より単純に反復され得るからである。
この実装例では、置換フレームは、下記のものの加算によって合成され得る。
低周波帯域において選択されたスペクトル成分から構築された第1の信号、および
高周波帯域におけるフィルタリングからの第2の信号。
なお、ここで、第2の信号は、少なくとも1つの有効な半フレームとその一時的に折り曲げられたバージョン(temporally folded version thereof)とを連続的に複製することによって取得される。
本発明は、また、この方法を実装するための命令を含むコンピュータプログラムにも向けられている(たとえば、図2の一般的概略図は一般的なブロック図であり得るのであり、ある一定の実施形態においては、図5および/または図8からの特定のブロック図であり得る)。
本発明は、また、連続的なフレームに分散された一連のサンプルを含む信号を復号するためのデバイスであり、少なくとも1つの失われた信号フレームを置き換えるための手段を備えているデバイスであって、
a)デコーダに利用可能な有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチする手段と、
b)セグメントのスペクトル成分を決定するために、セグメントのスペクトルを解析する手段と、
c)合成された信号をスペクトル成分の少なくとも一部から構築することにより、失われたフレームに対する少なくとも1つの置換フレームを合成する手段と、
を備えているデバイスにも及ぶ。
そのようなデバイスは、たとえば、典型的には通信端末におけるプロセッサとおそらくは作業メモリというハードウェア形態を取り得る。
本発明の他の効果および特徴は、本発明の実装例に関する以下の詳細な説明を読み、次の図面を参照することで、明らかになるであろう。
MLT変換に関する従来型のウィンドウを用いた回復の図示である。 図1Aの表現との比較における、小さな遅延ウィンドウを用いた回復の図示である。 本発明の意味における一般的処理の例の図示である。 基本周期に対応する信号セグメントの決定の図示である。 この実装例における相関サーチオフセットを伴う、基本周期に対応する信号セグメントの決定の図示である。 信号セグメントのスペクトル解析の実施形態の図示である。 複数の失われたフレームを置き換える有効なフレームを高周波においてコピーするための実装例の図示である。 合成ウィンドウによる重み付けを用いた、失われたフレームからの信号再構成の図示である。 本発明の意味における方法を信号の復号に適用する例の図示である。 本発明の意味における方法を実装するための手段を備えたデバイスの概略図である。
本発明の意味における処理が、図2に示されている。それは、デコーダとして実装される。このデコーダは、任意のタイプのものであり得るが、その理由は、全体として、処理が、符号化/復号化の性質とは独立であるからである。記載されている例では、処理は、受信されたオーディオ信号に適用される。しかし、処理は、より一般的に、時間ウィンドウイングおよび変換(temporal windowing and transformation)によって解析される任意のタイプの信号に適用可能であり、回復-加算による合成の間に、ハーモナイゼーションが1つまたは複数の置換フレームと共に提供される。
図2の第1の処理ステップS1の間に、N個のオーディオサンプルが、メモリバッファ(たとえば、FIFOタイプ)に、連続的に記憶される。次に、オーディオバッファb(n)を、たとえば、47msの信号から構築することが可能であり、これは、たとえばFs=32kHzによって与えられているサンプリング周波数Fsにおいては、それぞれが20msでは、たとえば、2.35=47/20個のオーディオフレームである。これらのサンプルは、既に復号されているためにフレーム損失訂正処理の時点でアクセス可能なサンプルに対応する。合成されるべきこの第1のサンプルが時間インデクスNを伴うサンプルである場合には(1つまたは複数の連続的な失われたフレームに関して)、オーディオバッファb(n)は、時間インデクスが0からN-1であるN個の先行するサンプルに対応する。変換によるコーダの場合には、オーディオバッファは、過去のフレームにおいて既に復号された(したがって、修正不可能な)サンプルに対応する。追加的な遅延をデコーダに追加することが可能な場合には(たとえば、D個のサンプル)、バッファは、デコーダに利用可能なサンプルの一部だけを含み得るのであって、たとえば直近のD個のサンプルを、(図2のステップS10における)回復-加算のために残す。
フィルタリングステップS2では、次に、オーディオバッファb(n)が、低周波帯域LFBと高周波帯域HFBとの2つの周波数帯域に分離され、分離周波数はFcと書かれ、たとえばFc=4kHzである。好ましくは、このフィルタリングは、遅延をもたらさない。先に定義されたオーディオバッファのサイズは、好ましくは、この周波数Fcを用いて、N'=NFc/Feに対応する。
低周波帯域に適用されるステップS3は、次に、周波数Fcを用いて再サンプリングされたバッファb(n)の内部においてルーピング点と基本周期(またはピッチ周期)と対応するセグメントPとを求めることで構成される。この目的のために、ある実装例では、正規化された相関corr(n)が、次の間で計算される。すなわち、
(たとえば、6msの長さに対して)このセグメントNsのサイズがN'-NsとN'-1との間に含まれるようなバッファのターゲットセグメント(図3における参照符号CIB)と、
サンプル0とサンプルNcとの間の位置を占めるサンプルにおいて開始するサイズがNcのスライディングセグメント(ただし、Nc>N'-Nsであり、Ncはたとえば35msの長さに対応する)との間であり、Corr(n)は次の数式で計算される。
Figure 0006426626
図3を参照すると、時間インデクスn=mcであるサンプルに対して最大の相関が見いだされる場合には、1つのピッチ周期を有しておりインデクスn=pbであるルーピングポイントはサンプルmc+Nsに対応し、p(n)という記号で表され図3において後に続くセグメントは、サンプルn=pbとサンプルn=N'-1との間で定義されているサイズP=N'-Ns-mcのピッチ周期に対応する。
スライドするサーチセグメントは、図3に示されているように、ターゲットセグメントに先行する。特に、ターゲットセグメントの最初のサンプルは、サーチセグメントの最後のセグメントに対応する。ターゲットセグメントCIBとの最大の相関がサーチセグメントの早くにインデクスポイントmcにおいて配置されている場合には、(たとえば、同じ正弦強度を有する)少なくとも1つのピッチ周期が、時間インデクスポイントmcと時間インデクスmc+Pを有するサンプルとの間で経過する。同様にして、少なくとも1つのピッチ周期が、インデクスmc+Nsを有するサンプル(ルーピングポイント、インデクスpb)とバッファN'の最後のサンプルとの間で経過する。
この実装例の変形例は、バッファの自動相関で構成されており、これは、バッファにおいて識別された平均周期Pを見つけることになる。この場合、合成に用いられるセグメントは、バッファの直近のP個のサンプルを含む。しかし、長いセグメントに対する自動相関計算は複雑になることがあり得るのであって、上述した単純な相関よりも、より多くのコンピュータ資源を必要とすることがあり得る。
さらに、この実装例の別の変形例は、必ずしもサーチセグメントの全体にわたる最大限の相関を求めてサーチを行うのではなく、単にそのターゲットとなるセグメントにおける相関が(たとえば70%である)選択された閾値を超えるようなセグメントをサーチすることで構成される。そのような実装例は、正確には単一のピッチ周期Pを与えることはない(そうではなくて、複数の連続的な周期であり得る)が、サーチセグメント全体に及ぶ最大の相関を求めるサーチと関連する複雑性は、(複数のピッチ周期を有する)長い合成されたセグメントの処理と同様の、またはそれよりもさらに多くのリソースを必要とする。
以下では、単一のピッチ周期Pが信号の合成のために用いられると仮定されるのであるが、しかし、この処理の原理は複数の基本周期に及ぶように延長するセグメントにも同様に適用されるということに留意すべきである。FFT変換の精度と結果的に得られるスペクトル成分の豊富さとに関しては、複数のピッチ周期の場合の方が、よりよい結果が得られる。
バッファに含まれるオーディオ信号に過渡現象(transients)(オーディオ信号における非常に短い継続時間の強度ピーク)が存在し得る場合には、たとえば訂正サーチをオフセットすることにより、相関サーチ領域を適応させることが可能である(たとえば、図4の例に示されているようにオーディオバッファの開始後の典型的には20msの時点で開始させることによって、または、その過渡現象の終了後に開始する時間領域において相関サーチを実行することによって)。
S4に続くステップは、セグメントp(n)をサインの和に分解することで構成される。従来的には、信号をサインの和に分解することは、その信号の長さに対応する時間にわたってその信号の離散フーリエ変換(すなわちDFT)を計算することで構成される。そのようにして、信号を構成する正弦成分のそれぞれの周波数、位相および振幅が得られる。本発明の特定の実施形態では、複雑性を減少させるために、この解析は、長さ2^k(ただし、ここで、kはlog2(P)以上である)の高速フーリエ変換を用いて行われる。
この特定の実施形態では、ステップS4は、図5に示されている次の3つの動作に分解される。
セグメントp(n)からのサンプルが、ceil(x)がx以上の整数を表す場合に、
Figure 0006426626
であるP'個のサンプルで構成されるセグメントp'(n)を得られるように、補間される動作S41(たとえば、これに限定されることはないが、1次または3次のスプライン型補間を用い得る);
P'(n)のFFT変換の計算すなわちΠ(k)=FFT(P'(n))を行う動作S42;および
FFT変換に基づき、正弦成分の位相φ(k)および振幅A(k)が直接に得られ、ただし周波数は0から1の間で正規化されており下記の数式3によって与えられる、動作S43。
Figure 0006426626
図2のステップS5では、正弦成分が、最も顕著(most significant)な成分のみが維持されるように選択される。ある特定の実施形態では、成分の選択は次の通りに行われる。
第1に、A(k)>A(k-1)かつ下記の数式4の関係が成り立つように、振幅A(k)を選択する。
次に、選択されたピークの累積的な振幅が半分のスペクトルの累積的な振幅の少なくともx%(たとえば、x=70%)となるように、この第1の選択による振幅の中から、たとえば振幅が減少する順に、成分を選択する。
Figure 0006426626
合成をより複雑でなくするために、追加的に、成分の個数を(たとえば、20個に)制限することも可能である。あるいは、予め設定された個数の最大のピークについて、サーチを行うことが可能である。
もちろん、スペクトル成分を選択する方法は、上で提示された例に限定されない。変形例が存在し得る。特に、その方法は、信号の合成に有益なスペクトル成分を識別するのに用いられる任意の基準に基づくことがあり得る(たとえば、マスクに関係する主観的な基準(subjective criteria)や信号の調和度(harmoniousness)に関する基準など)。
次のステップS6は、正弦波の合成(sinusoidal synthesis)に関する。ある実装例では、このステップは、失われたフレームのサイズ(T)と少なくとも等しい長さを有するセグメントs(n)を生成することで構成される。ある特定の実施形態では、(フレーム損失の訂正によって)合成された信号とフレームが再び正しく受信されている後続の有効なフレームから復号された信号との間で「クロスフェード」型の音声ミキシングが(遷移(transition)として)実行できるように、2つのフレーム(たとえば40ms)に等しい長さが生成される。
フレームの再サンプリング(サンプルの長さはLFで表されるとする)を予測するために、合成されるサンプルの個数を、再サンプリングフィルタのサイズ(LF)の半分だけ増加させることが可能である。合成された信号s(n)は、kをステップS5で選択されたK個の成分のインデクスとして、下記の数式5に示されるように、選択された正弦成分の和として計算される。この正弦波の合成を行うためには、複数の従来型の方法を用いることができる。
Figure 0006426626
図2のステップS7は、低周波帯域におけるある一定の周波数成分の削除に関係するエネルギ損失を補償するために、ノイズを注入することで構成される。ある特定の実施形態は、nが区間[0,P-1]に属するとして、ピッチp(n)における対応するセグメントと合成された信号s(n)との間の残余r(n)=p(n)-s(n)を計算することで構成される。サイズPであるこの残余は、下記の数5のサイズに到達するまで、反復される。次に、信号s(n)は、信号r(n)と混合される(加算されるのであるが、重み付けを伴う場合もある)。
Figure 0006426626
もちろん、(自然な背景ノイズを得るための)ノイズ生成方法は上述した例に限定されず、複数の変形例が可能である。たとえば、(元のスペクトルから選択されたスペクトル成分を除去することによって)周波数領域における残余を計算し、逆変換によって背景ノイズを得ることも可能である。
並列的に、ステップS8は、単に信号を反復することによって高周波帯域を処理することで構成されている。たとえば、それは、フレームTの長さを反復することを含み得る。より高度な実装例では、HFBの合成は、図6に示されているように、フレーム損失前の直近のT'個のサンプルを取り(たとえば、T'=N/2)、それらを時間的に折り曲げ、そして、それらを折り曲げることなく反復することによって、得られる。好都合であることに、このような実装例では、フレームの始点と終点とを同じラウドネスに配置することによって、可聴的なアーチファクトが排除され得る。
特定の実施形態では、サイズT'のフレームを、高周波帯域においてコンテンツが特に活気に満ちているときにある一定のアーチファクトを回避するために、重み付けすることが可能である。この重み付け(図6では、Wとして参照されている)は、たとえば、長さT/2のフレームの始点と終点とにおける1msの正弦ハーフウィンドウという形式を取り得る。連続的なフレームが重なり合う場合もあり得る。
ステップS9では、信号が、その元の周波数Fcにおいて低周波帯域を再サンプリングし、高周波帯域におけるステップS8の反復からの信号にそれを加算することにより、合成される。
ステップS10では、回復-加算がなされ、フレーム損失前の信号と合成された信号との間の連続性を保証するように機能する。たとえば、低遅延変換による符号化の場合には、MDCT変換のエイリアシングされた部分(エイリアシングされ残っている部分)の始点と(たとえば、通常のようにMDCT変換に関するウィンドウのための時間的エイリアシング軸を備えている)ウィンドウの4分の3マークとの間に、L個のサンプルが配置されている。図7を参照すると、これらのサンプルには、MDCT変換の合成ウィンドウW1が既に及んでいる。回復ウィンドウをそれらに適用することが可能になるためには、これらのサンプルは、(デコーダから既に知られている)ウィンドウW1によって除算され、ウィンドウW2によって乗算される。よって、以上で説明されたステップS1からS9の実装例によって合成された信号S(n)は、下記の数式7のように書かれる。そして、回復関数は、これに限定されるわけではないが、下記の数式8のように書かれる。
Figure 0006426626
Figure 0006426626
既に説明されたように、デコーダにおける遅延が許される場合には、この遅延時間は、回復-加算に適した任意の重み付けを用いることにより、合成された部分を伴う回復を行うために用いられ得る。
もちろん、本発明は、上述された実施形態に限定されることはなく、他の変形例にも拡張される。
よって、たとえば、ステップS2における高周波帯域と低周波帯域との分離は、オプションである。ある実施形態の変形例では、(ステップS1における)バッファからの信号は、2つのサブバンドに分離されないのであるが、ステップS3からステップS10は、依然として、上述されたものと同一である。しかし、低周波だけにおけるスペクトル成分の処理が、その複雑性を限定するように、うまく機能する。
本発明は、フレーム損失の場合の会話デコーダとして、実装され得る。実質的には、本発明は、復号回路において、典型的には電話端末において、実装され得る。その目的のためには、そのような回路CIRは、図9に示されているように、プロセッサPROCを含み得る、または、プロセッサPROCに接続され得るのであって、本発明に従い上述の方法を実行するためのコンピュータプログラム命令を用いてプログラムされた作業メモリMEMを含み得る。
たとえば、本発明は、リアルタイムの、変換によるデコーダとして、実装され得る。図8を参照すると、デコーダは、フレームバッファにおいてオーディオフレームを取得するために、リクエストを送出する(ステップS81)。フレームが入手可能(テストからの出力がOK)である場合には、変換された領域における信号を取得するために、デコーダがフレームを復号し(S82)、逆変換IMDCT(S83)を実行し、これは「エイリアシングされた」時間サンプルを取得するように機能するのであるが、エイリアシングのない時間サンプルを得るために、(合成ウィンドウによる)最終ウィンドウイングおよび回復ステップS84に進み、そして、返却のためのデジタルアナログコンバータに送られる。
フレームがない(テストからの出力がKO)ときには、次に、デコーダは、本発明の意味でのフレーム損失訂正方法において、既に復号された信号と、さらには先行するフレームからの「エイリアシングされた」部分も用いる(ステップS85)。
ZRA 回復時間
ZRB 短期回復ゾーン

Claims (16)

  1. 連続的なフレームに分散された一連のサンプルを含む信号を処理するための方法であって、復号において失われた少なくとも1つの信号フレームを置換するために、前記信号の復号の間に実装され、
    a)デコーダに利用可能である有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチするステップ(S3)と、
    b)前記信号セグメントのスペクトル成分を決定するために、前記信号セグメントのスペクトルを解析するステップ(S4)と、
    c)合成された信号を前記スペクトル成分の少なくとも一部から構築することにより、前記失われたフレームに対する少なくとも1つの置換フレームを合成するステップ(S6)と、
    を含む方法。
  2. 前記有効な信号における相関によって反復周期をサーチするステップを含んでおり、前記信号セグメントの前記長さは少なくとも1つの反復周期を含む、請求項1に記載の方法。
  3. 前記反復周期は、前記相関が予め設定された閾値を超える長さに対応する、請求項2に記載の方法。
  4. 前記スペクトル成分と関連するそれぞれのフェーズを決定するステップをさらに含み、前記合成された信号の前記構築は前記スペクトル成分の前記フェーズを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含み、前記合成された信号の前記構築は前記スペクトル成分の前記振幅を含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記スペクトル成分と関連するそれぞれの振幅を決定するステップをさらに含み、最高の振幅スペクトル成分が前記合成された信号の前記構築のために選択される(S5)、請求項1から5のいずれか一項に記載の方法。
  7. 前記合成された信号の構築のために選択されなかったスペクトル成分との関係でエネルギの損失を補償するために、前記合成された信号にノイズが追加される(S7)、請求項1から6のいずれか一項に記載の方法。
  8. 前記ノイズは、前記信号セグメントからの前記信号と前記合成された信号との間の重み付けされた残余によって取得される、請求項7に記載の方法。
  9. 前記信号セグメントのスペクトル解析は、好ましくは長さが2^kである高速フーリエ変換による正弦解析を含み、ここで、kはlog2(P)以上であり、Pは前記信号セグメントにおけるサンプルの個数である、請求項1から8のいずれか一項に記載の方法。
  10. 前記スペクトルを解析する前記ステップは、
    ceil(x)がx以上の整数を表すものとして、2^ceil(log2(P))個のサンプルを含む第2の信号セグメントを取得するために、前記信号セグメントからサンプルを補間する(S41)ステップと、
    前記第2の信号セグメントのフーリエ変換を計算する(S42)ステップと、
    前記スペクトル成分を決定した後で、前記スペクトル成分と関連する周波数を識別し、前記周波数を再サンプリングの関数として修正して再サンプリングすることによって、前記合成された信号を構築するステップと、
    を含む、請求項9に記載の方法。
  11. 回復を用いた変換による復号のコンテキストにおいて適用され、前記合成された信号は少なくとも2つのフレームの長さにわたって構築される、請求項1から10のいずれか一項に記載の方法。
  12. 前記合成された信号は、2つのフレームの長さと再サンプリングフィルタによって導入される遅延に対応する追加的な長さとにわたって構築される、請求項10または11に記載の方法。
  13. 前記有効なフレームからの信号を高周波帯域と低周波帯域とに分離するステップ(S2)をさらに含み、前記スペクトル成分は前記低周波帯域において選択される、請求項1から12のいずれか一項に記載の方法。
  14. 前記置換フレームは、前記低周波帯域において選択されたスペクトル成分から構築された第1の信号と、前記高周波帯域におけるフィルタリングからの第2の信号との加算によって合成され、
    前記第2の信号は、有効な半フレームと前記有効な半フレームが時間的に折り曲げられたバージョンとを連続的に複製すること(S8)によって取得される、請求項13に記載の方法。
  15. 請求項1から14のいずれか1項に記載の方法を実装するための命令を含むコンピュータプログラム。
  16. 連続的なフレームに分散された一連のサンプルを含む信号を復号するためのデバイスであって、少なくとも1つの失われた信号フレームを置き換えるための手段(MEM、REOC)を備え、
    a)デコーダに利用可能である有効な信号において、前記有効な信号の関数として設定された周期に対応する長さの信号セグメントをサーチする(S3)手段と、
    b)前記信号セグメントのスペクトル成分を決定するために、前記信号セグメントのスペクトルを解析する(S4)手段と、
    c)合成された信号を前記スペクトル成分の少なくとも一部から構築することにより、前記失われたフレームに対する少なくとも1つの置換フレームを合成する(S6)手段と、
    を備えるデバイス。
JP2015555770A 2013-01-31 2014-01-30 信号復号の間のフレーム損失訂正の改善 Active JP6426626B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1350845 2013-01-31
FR1350845A FR3001593A1 (fr) 2013-01-31 2013-01-31 Correction perfectionnee de perte de trame au decodage d'un signal.
PCT/FR2014/050166 WO2014118468A1 (fr) 2013-01-31 2014-01-30 Correction perfectionnée de perte de trame au décodage d'un signal

Publications (2)

Publication Number Publication Date
JP2016511432A JP2016511432A (ja) 2016-04-14
JP6426626B2 true JP6426626B2 (ja) 2018-11-21

Family

ID=48901064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015555770A Active JP6426626B2 (ja) 2013-01-31 2014-01-30 信号復号の間のフレーム損失訂正の改善

Country Status (11)

Country Link
US (1) US9613629B2 (ja)
EP (1) EP2951813B1 (ja)
JP (1) JP6426626B2 (ja)
KR (1) KR102398818B1 (ja)
CN (1) CN105122356B (ja)
BR (1) BR112015018102B1 (ja)
CA (1) CA2899438C (ja)
FR (1) FR3001593A1 (ja)
MX (1) MX350634B (ja)
RU (1) RU2652464C2 (ja)
WO (1) WO2014118468A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3020732A1 (fr) * 2014-04-30 2015-11-06 Orange Correction de perte de trame perfectionnee avec information de voisement
FR3023646A1 (fr) * 2014-07-11 2016-01-15 Orange Mise a jour des etats d'un post-traitement a une frequence d'echantillonnage variable selon la trame
CN108922551B (zh) * 2017-05-16 2021-02-05 博通集成电路（上海）股份有限公司 用于补偿丢失帧的电路及方法
CA3061833C (en) 2017-05-18 2022-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Managing network device
US10663040B2 (en) 2017-07-27 2020-05-26 Uchicago Argonne, Llc Method and precision nanopositioning apparatus with compact vertical and horizontal linear nanopositioning flexure stages for implementing enhanced nanopositioning performance
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
CN109525373B (zh) * 2018-12-25 2021-08-24 荣成歌尔科技有限公司 数据处理方法、数据处理装置和播放设备
US11705136B2 (en) * 2019-02-21 2023-07-18 Telefonaktiebolaget Lm Ericsson Methods for phase ECU F0 interpolation split and related controller
WO2020249380A1 (en) * 2019-06-13 2020-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Time reversed audio subframe error concealment

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6754630B2 (en) * 1998-11-13 2004-06-22 Qualcomm, Inc. Synthesis of speech from pitch prototype waveforms by time-synchronous waveform interpolation
US6138089A (en) * 1999-03-10 2000-10-24 Infolio, Inc. Apparatus system and method for speech compression and decompression
US7054453B2 (en) * 2002-03-29 2006-05-30 Everest Biomedical Instruments Co. Fast estimation of weak bio-signals using novel algorithms for generating multiple additional data frames
KR100954668B1 (ko) * 2003-04-17 2010-04-27 주식회사 케이티 손실 전/후 패킷정보를 이용한 패킷손실 은닉 방법
JP2006174028A (ja) * 2004-12-15 2006-06-29 Matsushita Electric Ind Co Ltd 音声符号化方法、音声復号化方法、音声符号化装置および音声復号化装置
FR2907586A1 (fr) * 2006-10-20 2008-04-25 France Telecom Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch.
CA2666546C (en) * 2006-10-24 2016-01-19 Voiceage Corporation Method and device for coding transition frames in speech signals
US20110022924A1 (en) * 2007-06-14 2011-01-27 Vladimir Malenovsky Device and Method for Frame Erasure Concealment in a PCM Codec Interoperable with the ITU-T Recommendation G. 711
WO2010086342A1 (en) * 2009-01-28 2010-08-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an input audio information, method for decoding an input audio information and computer program using improved coding tables
US9031834B2 (en) * 2009-09-04 2015-05-12 Nuance Communications, Inc. Speech enhancement techniques on the power spectrum
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder

Also Published As

Publication number Publication date
CA2899438A1 (fr) 2014-08-07
US20150371647A1 (en) 2015-12-24
MX2015009964A (es) 2016-06-02
WO2014118468A1 (fr) 2014-08-07
CN105122356A (zh) 2015-12-02
FR3001593A1 (fr) 2014-08-01
CN105122356B (zh) 2019-12-20
US9613629B2 (en) 2017-04-04
EP2951813B1 (fr) 2016-12-07
CA2899438C (fr) 2021-02-02
EP2951813A1 (fr) 2015-12-09
MX350634B (es) 2017-09-12
RU2015136540A (ru) 2017-03-06
KR20150113161A (ko) 2015-10-07
KR102398818B1 (ko) 2022-05-17
JP2016511432A (ja) 2016-04-14
BR112015018102A2 (pt) 2017-07-18
RU2652464C2 (ru) 2018-04-26
BR112015018102B1 (pt) 2022-03-22

Similar Documents

Publication Publication Date Title
JP6426626B2 (ja) 信号復号の間のフレーム損失訂正の改善
RU2575993C2 (ru) Основанная на линейном предсказании схема кодирования, использующая формирование шума в спектральной области
RU2507572C2 (ru) Звуковое кодирующее устройство и декодер для кодирования декодирования фреймов квантованного звукового сигнала
RU2414010C2 (ru) Трансформация шкалы времени кадров в широкополосном вокодере
RU2638748C2 (ru) Гармоническое преобразование, усовершенствованное перекрестным произведением
RU2647634C2 (ru) Коррекция потери кадров путем внедрения взвешенного шума
US20230008547A1 (en) Audio frame loss concealment
KR20020022257A (ko) 캡스트럼 분석을 이용한 하모닉 노이즈 음성 부호화기 및부호화 방법
KR20160045917A (ko) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치
KR20110139294A (ko) 오디오 신호 조작 장치 및 방법
RU2016121172A (ru) Аудиодекодер и способ обеспечения декодированной аудиоинформации с использованием маскирования ошибки на основании сигнала возбуждения во временной области
KR102510685B1 (ko) 오디오 신호 디코더에서의 개선된 주파수 대역 확장
US20150371641A1 (en) Enhanced audio frame loss concealment
JP6584431B2 (ja) 音声情報を用いる改善されたフレーム消失補正
CN117940994A (zh) 基于长期预测和/或谐波后置滤波生成预测频谱的处理器
EP4120257A1 (en) Coding and decocidng of pulse and residual parts of an audio signal
Bayer Time Warped Filter Banks and their Application for Frame Based Processing of Harmonic Audio Signals
WO2021032719A1 (en) Multi-lag format for audio coding
Purnhagen Very low bit rate parametric audio coding
CODERS Charalampos Papanastasiou and Prof. Costas S. Xydeas

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R150 Certificate of patent or registration of utility model

Ref document number: 6426626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250