JP5400963B2 - 修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法 - Google Patents

修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法 Download PDF

Info

Publication number
JP5400963B2
JP5400963B2 JP2012519872A JP2012519872A JP5400963B2 JP 5400963 B2 JP5400963 B2 JP 5400963B2 JP 2012519872 A JP2012519872 A JP 2012519872A JP 2012519872 A JP2012519872 A JP 2012519872A JP 5400963 B2 JP5400963 B2 JP 5400963B2
Authority
JP
Japan
Prior art keywords
frame
mdct
frequency point
phase
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012519872A
Other languages
English (en)
Other versions
JP2012533094A (ja
Inventor
呉鳴
林志斌
彭科
▲トウ▼崢
蘆晶
邱小軍
黎家力
陳国明
袁浩
劉開文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2012533094A publication Critical patent/JP2012533094A/ja
Application granted granted Critical
Publication of JP5400963B2 publication Critical patent/JP5400963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明はオーディオ復号分野に関し、具体的に無遅延、低複雑さのMDCT (Modified Discrete Cosine Transform、修正離散コサイン変換)ドメインのオーディオフレーム損失補償器及び補償方法に関する。
ネットワーク通信において、パケット技術が十分に幅広くアプリケーションされ、各種の形式の情報、例えば音声或いはオーディオ等のデータは符号化された後、パケット技術を採用してネットワークにおいて伝送し、例えばVoIP（ネットワーク電話）等である。情報送信側の送信容量が制限され、または予定遅延時間内にパケット情報フレームが受信側バッファエリアに到達しなく、またはネットワークの輻輳等による音声オーディオフレーム情報が損失し、復号側に合成音声オーディオの品質が急激に低下することを引き起こすため、いくつかの技術を採用してフレーム損失のデータを補償する必要がある。フレーム損失補償器はフレーム損失による音声オーディオ品質の下降の現象を軽減する技術である。従来、フレーム損失の補償の技術が多いが、これらのフレーム損失の補償技術における大部分が音声のフレーム損失補償だけに適用し、オーディオのフレーム損失補償に対して関連の技術が少ない。
従来のオーディオフレーム損失補償方法は最も簡単であるのは前のフレームのMDCT信号を繰り返し或いはミュート静音の代替の方法を採用し、該方法は簡単で且つ遅延がないが、補償効果が著しくなく、他の補償方式、例えばGAPES（ギャップデータ振幅位相の推定技術）はMDCT係数をDSTFT（Discrete Short-Time Fourier Transform、離散短時間フーリエ変換）係数に転化し、該方法の演算の複雑さが高く、メモリの消耗が多く、3GPPはノイズシェーピング挿入技術を採用してオーディオフレーム損失補償を行い、該方法の擬似雑音信号の補償効果がよく、マルチ高調波オーディオ信号への補償効果が極めて悪い。
以上のように、開示されたオーディオフレーム損失補償技術の大部分の効果が著しくなくまたは演算の複雑さが高く且つ遅延時間が長い。
本発明は補償効果がよく、複雑さが低く且つ無遅延であるMDCTドメインオーディオフレーム損失補償器及び補償方法を提供することを解決しようとする技術問題とする。
上述問題を解決するために、本発明は修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測される予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームにおける修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、ここで、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数を修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcとを含む。
前記の方法はさらに、前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む特徴を備えてもよい。
前記の方法はさらに、前記該現在損失フレームのタイプを判断するステップは、
現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であることを含む特徴を備えてもよい。
前記の方法はさらに、前記ステップaにおいて、前記予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む特徴を備えてもよい。
前記の方法はさらに、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得することは、具体的に、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れることとを含み、
ここで、前記kが非負の整数である特徴を備えてもよい。
前記の方法はさらに、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
前記の方法はさらに、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
、ここで、
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数である特徴を備えてもよい。
前記の方法はさらに、前記ステップaにおいて、前記の第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、予測待ちの周波数点に対して、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得ることと、該L2フレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得て、ここで、L2>1であることを含む特徴を備えてもよい。
前記の方法はさらに、L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
、前記
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、前記
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相である特徴を備えてもよい。
前記の方法はさらに、L2>2である際に、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得る特徴を備えてもよい。
前記の方法はさらに、前記ステップaにおいて、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得る特徴を備えてもよい。
前記の方法はさらに、前記ステップbにおいて、第p-1フレームのMDCT係数値の半分を採用して第pフレームのMDCT係数値とする特徴を備えてもよい。
本発明はさらに、修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、ここで、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
上述フレーム損失補償器はさらに、前記フレーム損失補償器はフレームタイプ検出モジュールをさらに含み、ここで、
前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記フレームタイプ検出モジュールが、次のように現在損失フレームのタイプを判断し、現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であるように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される特徴を備えてもよい。
前記フレーム損失補償器は、
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、ここで、kが非負の整数であるように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
前記フレーム損失補償器は、前記周波数点集合生成ユニットが、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
、ここで、
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数であるように設置される特徴を備えてもよい。
前記フレーム損失補償器は、
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームにおける対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、ここで、
前記位相予測サブユニットは、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記位相予測サブユニットが、L2＝2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
、ここで、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、前記
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、前記
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相であるように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記位相予測サブユニットが、L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールが、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るように設置される特徴を備えてもよい。
前記フレーム損失補償器は、前記第2補償モジュールが、第p-1フレームのMDCT係数値の半分を採用して第pフレームにおける前記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される特徴を備えてもよい。
本発明が提出するMDCTドメインオーディオフレーム損失補償器及び補償方法は、非マルチ高調波フレームに対して、現在損失フレーム的MDCT係数がその前の複数のフレームのMDCT係数値を用いて計算して得られ、マルチ高調波フレームに対して、それがMDCT-MDSTドメインでの特性を利用して現在損失フレームのMDCT係数を取り得る。従来技術に対して、本発明が無遅延、計算量メモリ量が小さく、実現しやすい等のメリットを有する。
本発明におけるフレーム順序模式図である。 本発明におけるMDCTドメインのオーディオフレーム損失補償方法のフローチャートである。 本発明におけるマルチ高調波/非マルチ高調波フレームの判断フローチャートである。 本発明におけるマルチ高調波フレームのフレーム損失補償方法のフローチャートである。 本発明の実施例1におけるマルチ高調波フレーム損失補償MDCT係数の計算方法のフローチャートである。 本発明におけるMDCTドメインのオーディオフレーム損失補償器ブロック図である。 本発明のほかの実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。 本発明のまた他の実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
本発明は、高調波信号がMDCT-MDSTドメインでの位相が線形を呈する特徴を利用し、現在損失フレームの前の複数のフレームの情報を用いて予測し、現在損失フレームのMDCT-MDSTドメインの位相と振幅を取り得て、さらに、現在損失フレームのMDCT係数を取り得て、現在損失フレームのMDCT係数によって現在損失フレームの時間領域信号を取り得る主な思想とする。
本発明はMDCTドメインのオーディオフレーム損失補償方法を提案し、図2に示すように、以下のステップを含む。
ステップS1、復号側に現在フレームのデータパケットが損失することを発見すると、該現在フレームを現在損失フレームと称し、該現在損失フレームのタイプを判断し、現在損失フレームが非マルチ高調波フレームであると、ステップS2を実行し、ではないと、ステップS3を実行し、
ここで、該現在損失フレームのタイプを判断するには現在損失フレームの前のKフレームのMDCT係数によって判断し、図3に示すように、
1a)現在損失フレームの前のKフレームにおけるそれぞれのフレームに対して、該フレームのスペクトラムフラットネスを計算し、そのスペクトラムフラットネスが1つの予め設置したしきいより小さい際に、該フレームが主にマルチ高調波からなり、マルチ高調波定常状態信号フレームであると考えることと、
1b) 上記前のKフレームにおいてマルチ高調波定常状態信号フレームの数目がK0フレームより小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、ないと、マルチ高調波フレーム（例えば音楽フレーム）であると考え、ここで、K0<=K 、K0、Kが予め設置された値であることを含む。
本発明は、現在損失フレームのタイプを判断するには図3に示すような方法に限られなく、他の方法によって判断してもよく、例えば、ゼロ交差レートによって判断し、本発明がこれに限られない。
ステップS2、現在損失フレームが非マルチ高調波フレームであると判断し、1つのフレーム内のすべての周波数点に対して、現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、次に、ステップS4を実行する。
例えば、現在損失フレームの1つ前のフレームのMDCT係数値の半分または他の割合を採用して現在損失フレームのMDCT係数値とする。
ステップS3、現在損失フレームがマルチ高調波フレームであると判断し、無遅延マルチ高調波フレーム損失補償アルゴリズムで推定して現在損失フレームのMDCT係数を取り得て、図4に示すように、具体的に、
3a）第pフレームのデータパケットが損失すると、即ち現在損失フレームが第pフレームであり、第pフレームの前にL1フレームを取ることを含む。
該L1フレームにおいて第p-1フレームを含む際に、現在損失フレームの前フレームにおいて復号して得たMDCT係数によって、FMDST (Fast Modified Discrete Sine Transform、高速修正離散サイン変換)アルゴリズムで該L1フレームにおいて第p-1フレームの以外のL1-1フレームのMDST（Modified Discrete Sine Transform、修正離散サイン変換）係数を取り得る。該L1-1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、ここで、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
該L1フレームには第p-1フレームを含まない際に、現在損失フレームの前フレームにおいて復号して得たMDCT係数によって、FMDSTアルゴリズムで該L1フレームのMDST係数を取り得て、該L1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、ここで、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
ここで、MDST係数を計算する方法は次の通りである。
第p-1フレームと第p-2フレームのMDCT係数によって逆MDCT変換して第p-2フレームの時間領域信号を取り得て、第p-2フレームと第p-3フレームのMDCT係数によって逆MDCT変換して第p-3フレームの時間領域信号を取り得て、以上の通りであり、
第p-2フレームと第p-3フレームの時間領域信号によってFMDSTアルゴリズムで第p-2フレームのMDST係数を取り得て、第p-3フレームと第p-4フレームの時間領域信号によってFMDSTアルゴリズムで第p-3フレームのMDST係数を取り得て、以上の通りである。
ここで、第pフレーム、第p-1フレーム等の各フレームの順序は図1に示す。
3b）上記L1フレームに対して毎フレームのピーク周波数点集合を求める。
このL1フレームには第p-1フレームを含むと、
第p-1フレームに対して、第p-1フレームのMDCT係数によって第p-1フレームにおいて各周波数点的パワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、
第p-1フレームの以外のそれぞれのフレームに対して、該フレームのMDCT-MDSTドメイン複素数信号によって該フレームにおいて各周波数点のパワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、ここで、ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
このL1フレームには第p-1フレームを含まないと、
該L1フレームにおけるそれぞれのフレームに対して、いずれもそのMDCT-MDSTドメイン複素数信号によって該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得する。
このL1個の集合における周波数点数が同様でまたは異なってもよい。
他の方式でこのL1個の集合を取得しても良く、例えば、それぞれのフレームに対して直接にパワーが1つの設定された閾値より大きいピーク周波数点からなる集合を取って、それぞれのフレームが取った閾値は同様でまたは異なってもよい。
3c）L1>1であると、仮にこのL1個の周波数点集合がS1,…,SL1と言われ、集合における対応の周波数点数がN1,…,NL1であると、1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±k（kが非負の整数であり、普通にk＝0または1を取る）において同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
L1＝1であると、仮にこの周波数点集合がS1と言われ、その対応の周波数点数がN1であり、ピーク周波数点集合S1におけるそれぞれのピーク周波数点 mi（i=1…N1）に対して、mi, mi±1,…,mi±k kが非負の整数であり、普通にk＝0または1を取る）をいずれも周波数点集合SCに入れる。
ステップ3a、3b及びステップ3cの以上部分を実行しなくてもよく、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
3d）第p-1フレームの前にL2（L2>1）フレームを取って、該L2フレームを取り得るMDCT-MDSTドメイン複素数信号（具体的な計算方法はステップ3aにおける方法と同様である）を計算する。周波数点集合SCにおけるそれぞれの周波数点に対して、該L2フレームにおけるMDCT-MDSTドメインでの位相を用いて予測し、現在損失フレームにおけるMDCT-MDSTドメインでの位相を取り得て、該L2フレームにおけるMDCT-MDSTドメインでの振幅を用いて予測し、現在損失フレームにおけるMDCT-MDSTドメインでの振幅を取り得て、現在損失フレームの位相と振幅によってさらに現在損失フレームにおける対応の上記それぞれの周波数点でのMDCT係数を取り得る。
L2＝2であると、周波数点集合SCにおけるすべての周波数点に対して、それぞれの予測される予測待ちの周波数点を選択したこの2つのフレームにおける該周波数点での位相を用いて線形外挿し、現在損失フレームにおける該周波数点でのMDCT-MDSTドメイン複素数信号位相を取り得て、この2つのフレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームにおける該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該2つのフレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームにおける該周波数点でのMDCT-MDSTドメインの振幅とする。
線形外挿の1つの方法は次の通りである。
L2＝2である際に、第t1フレーム、第t2フレームでこの2つのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測される予測待ちの周波数点mに対して、
、上記
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、前記
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相である。
L2>2であると、集合SCにおけるすべての周波数点に対して、それぞれの予測待ちの周波数点にこのL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形フィットを行い、現在損失フレームにおける該周波数点でのMDCT-MDSTドメインの複素数信号位相を取り得て、このL2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームにおける該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該L2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームにおける該周波数点でのMDCT-MDSTドメインの振幅とする。
3e）上記周波数点集合SCの他の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する。例えば、現在損失フレームの1つ前のフレームのMDCT係数値の半分を現在損失フレームのMDCT係数値とする。
本発明の他の実施例において、ステップS3では、ステップ3aの前に、「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」ステップを実行し、次に、ステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップしてステップS4に進入しても良く、或いは、ステップ3dの前に「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」こと実行し、次に、ステップ3dを実行した後ステップ3eをスキップしてステップS4に進入してもよい。
他の変形を加えてもよく、例えば、ステップ3eはステップ3cの後ステップS4の前に実行すればよく、即ち周波数点集合SCを取り得た後実行できる。
ステップS4、上記現在損失フレームにおけるすべての周波数点でのMDCT係数にIMDCT（Inverse MDCT、修正離散コサイン逆変換）変換を行い、現在損失フレームの時間領域信号を取り得る。
上述実施例は以下のように変化しても良く、先に初期補償を行い、即ち先に1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレーム的のMDCT係数値を用いて第pフレームのMDCT係数値を計算し、さらに、現在損失フレームのタイプを判断し、現在損失フレームのタイプによって異なるステップを実行し、非マルチ高調波フレームであると、直接にステップS4を実行し、マルチ高調波フレームであると、ステップS3におけるステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップして直接にステップS4を実行してもよい。
以下で、2つの具体的な実施例を参照して本発明についてさらに説明する。
[実施例1]
ステップ110、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ120を実行し、ではないと、ステップ130を実行し、
具体的な判断方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、スペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考え、スペクトラムフラットネスの計算方法は次の通りである。
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
ここで、
は第iフレーム信号振幅の幾何平均であり、
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームにおける周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
ステップ120、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの1つ前のフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
次に、ステップ140を実行する。
ステップ130、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ140を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は図5に示すように、第pフレームのデータパケットが損失する際に、
まず、1つのフレーム内のすべての周波数点に第p-1フレームにおける該周波数点でのMDCT係数値の半分を用いて第pフレームにおける該周波数点でのMDCT係数値とし、式(2)に示すように、
次に、現在損失フレームの前フレームにおいて復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレームと第p-3フレームのMDST係数sp-2(m)とsp-3(m) を取り得る。取り得た第p-2フレームと第p-3フレームのMDST係数及び第p-2フレームと第p-3フレームのMDCT係数cp-2(m)及びcp-3(m)をMDCT-MDSTドメインの複素数信号に組成し、
ここで、jが虚数符号である。
第p-2フレームと第p-3フレームにおいて各周波数点のパワーを計算し、第p-2フレームと第p-3フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3に組成する。
第p-1フレームのMDCT係数によって第p-1フレームにおける各周波数点のパワーを推定する。
ここで、
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、ほかには同様である。
第p-1フレームにおいてパワーが最大での前10個のピーク周波数点mi p-1,i=1…10を求める。該フレームにおけるピーク周波数点数Np-1が10より小さいと、該フレームにおけるすべてのピーク周波数点mi p-1,i=1…Np-1を取る。
それぞれのmi p-1に対して、mi p-1、mi p-1±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-1フレームのピーク周波数点の集合に加える）に同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属すると、下式（6）−（11）によって第pフレームにおける周波数点mi p-1、mi p-1±1（mi p-1、mi p-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mi p-1、mi p-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
、Aは位相と振幅をそれぞれ表す。例えば、
は第pフレームにおける周波数点mでの位相であり、
は第p-2フレームにおける周波数点mでの位相であり、
は第p-3フレームにおける周波数点mでの位相であり、
は第pフレームにおける周波数点mでの振幅であり、Ap-2(m)は第p-2フレームにおける周波数点mでの振幅であり、他には同様である。
従って、補償して取り得た第pフレームにおける周波数点mでのMDCT係数は、
すべてのmi p-1、mi p-1±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定する。
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定してもよい。
ステップ140、現在損失フレームがすべての周波数点でのMDCT係数をIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
[実施例2]
ステップ210、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ220を実行し、ではないと、ステップ230を実行し、
現在損失フレームが非マルチ高調波フレームであるか或いはマルチ高調波フレームであるかを具体的に判断する方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、それぞれのフレームに対して、該フレームのスペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考える。その中、の計算方法は次の通りである。
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
ここで、
は第iフレーム信号振幅の幾何平均であり、
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームにおける周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
ステップ220、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの1つ前のフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
次に、ステップ240を実行する。
ステップ230、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ240を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は、第pフレームのデータパケットが損失する際に、現在損失フレームの前フレームが復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数sp-2(m)、sp-3(m) 及びsp-4(m) を取り得る。取り得た第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数と第p-2フレーム、第p-3フレーム及び第p-4フレームのMDCT係数cp-2(m)、cp-3(m) 及びcp-4(m) をMDCT-MDSTドメインの複素数信号に組成し、
ここで、jが虚数符号である。
第p-2フレーム、第p-3フレーム及び第p-4フレームにおいて各周波数点のパワーを計算し、第p-2フレーム、第p-3フレーム及び第p-4フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3,mp-4に組成する。
周波数点集合mp-4におけるそれぞれの周波数点mi p-4に対して、mi p-4、mi p-4±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-4フレームのピーク周波数点の集合に加える）においてに同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属する周波数点が存在すると、下式（18）−（27）によって第pフレームにおける周波数点mi p-1、mi p-1±1（mi p-1、mi p-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mi p-1、mi p-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
、Aは位相と振幅をそれぞれ表す。例えば、
は第pフレームにおける周波数点mでの位相であり、
は第p-2フレームにおける周波数点mでの位相であり、
は第p-3フレームにおける周波数点mでの位相であり、
は第pフレームにおける周波数点mでの振幅であり、Ap-2(m)は第p-2フレームにおける周波数点mでの振幅であり、他には同様である。
以下で、最小二乗法で異なるフレームにおける同一の周波数点での位相の線形フィット関数
を求め、
ここで、xがフレーム番号を表し、a0,a1が求めたい線形フィット関数の係数を表す。
最小二乗準則でフィット誤差を測定する方法によって、方程式
からa0,a1を解する。他の実施例において、最小二乗準則と異なるほかの準則でフィット誤差を測定し、フィット係数を推定する。解したa0,a1によれば第pフレームにおける周波数点mでの位相
を推定して取り得ることができ、
従って、補償して取り得た第pフレームにおける周波数点mでのMDCT係数が
であり、
すべてのmi p-4、mi p-4±1において同時に集合mp-2,mp-3に属する周波数点が存在すると、SCで上記のすべての式(18)-(28)によって補償する周波数点からなる集合を表し、1つのフレーム内における周波数点集合SCの外での周波数点に現在損失フレームの1つ前のフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とする。
すべてのmi p-4、mi p-4±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内のすべての周波数点を式(18)-(28)によってMDCT係数を推定する。
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(18)-(28)によってMDCT係数を推定してもよい。
ステップ240、現在損失フレームにおけるすべての周波数点でのMDCT係数にIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
本発明はさらにMDCTドメインのオーディオフレーム損失補償器を提供し、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、図6に示すように、ここで、
上記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールを指示して補償し、マルチ高調波フレームであると、上記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
上記非マルチ高調波フレーム損失補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をIMDCTモジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、上記予測待ちの周波数点集合におけるそれぞれの周波数点に第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、上記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
上記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るように設置される。
上記マルチ高調波フレーム損失補償モジュールは予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレーム的MDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合を取得し、或いは、直接に1つのフレーム内のすべての周波数点を上記周波数点集合に入れる。
上記第2補償モジュールは、1つのフレーム内に上記予測待ちの周波数点集合以外の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信し、さらに、上記第2補償モジュールは第p-1フレームのMDCT係数値の半分を用いて第pフレームにおける上記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される。
上記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットと係数生成ユニットをさらに含み、ここで、
上記周波数点集合生成ユニットは、予測待ちの周波数点集合S C を生成するように設置され、
上記係数生成ユニットは、第p-1フレームの前のL2フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおいて周波数点集合SCに属する各周波数点の位相と振幅を取り得て、上記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて、第pフレームにおける対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、L2>1であるように設置される。
上記周波数点集合生成ユニットは、次のように予測待ちの周波数点集合SCを生成し、上記第pフレームの前の複数のフレームをL1フレームとし、上記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなる集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であり、
上記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mj mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れるように設置され、
ここで、kが非負の整数である。上記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
上記L1フレームには第p-1フレームを含む際に、上記周波数点集合生成ユニットが、第p-1フレームにおける各周波数点のパワーは次のように計算し、
、ここで、
は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数である。
上記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットをさらに含み、ここで、
上記位相予測サブユニットは、予測待ちの周波数点に選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
上記振幅予測サブユニットは、該L2フレームにおける1つのフレームの該周波数点のMDCT-MDSTドメインでの振幅から第pフレームにおける該周波数点のMDCT-MDSTドメインでの振幅を取り得るように設置される。
L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点mに対して、
、上記
は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、上記
は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相である。
L2>2である際に、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を線形フィットし、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得る。
上記IMDCTモジュールは、上記現在損失フレームにおけるすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
図6に示すように、MDCTドメインのオーディオフレーム損失補償器は変更しても良く、図7に示すように、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、第2補償モジュールとフレームタイプ検出モジュールはマルチ高調波フレーム損失補償モジュールに接続し、マルチ高調波フレーム損失補償モジュールがIMDCTモジュールに接続し、ここで、
上記第2補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームにおける予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点に第2補償モジュールから取り得たMDCT係数を用いて第pフレームにおける該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置される。
他の各モジュール機能は図6には各モジュールと同様で、ここで説明しない。
図8に示すように、本発明のもう1つのMDCTドメインのオーディオフレーム損失補償器ブロック図であり、ここで、MDCTドメインのオーディオフレーム損失補償器は非マルチ高調波フレーム損失補償モジュール、フレームタイプ検出モジュール、マルチ高調波フレーム損失補償モジュール及びIMDCTモジュールを備え、ここで、
上記非マルチ高調波フレーム損失補償モジュールは、損失フレームを検出する際に、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をフレームタイプ検出モジュールに送信するように設置され、
上記フレームタイプ検出モジュールは、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールから受信したMDCT係数をIMDCTモジュールに送信し、マルチ高調波フレームであると、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームにおける予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点にフレームタイプ検出モジュールから取り得たMDCT係数を用いて第pフレームにおける該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
上記IMDCTモジュールは、上記現在損失フレームにおけるすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
本発明が提案するフレーム損失補償方法及びフレーム損失補償器は、
リアルタイムかつ双方向の通信、例えば、無線、IP会議テレビ及びリアルタイム放送サービスのIPTV、モバイルストリーミングメディア、モバイルTV等の分野のオーディオフレーム損失補償問題に適用でき、トランスポートストリームの誤り耐性の能力を向上するようにする。本発明は補償操作によって音声オーディオネットワーク伝送のパケット損失による音質の下降をよく避け、パケット損失後の音声オーディオ品質の快適度を向上し、良好な主観的な聴覚効果を取得することができる。
従来技術に比べ、本発明が提案するMDCTドメインのオーディオフレーム損失補償器及び補償方法は、無遅延、計算量メモリ量が小さく、実現やすい等のメリットを有する。

Claims (24)

  1. 修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
    現在損失フレームが第pフレームである際に、予測される予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームにおける修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、ここで、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
    1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算するステップbと、
    第pフレームのすべての周波数点でのMDCT係数に修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcを含むオーディオフレーム損失補償方法。
  2. 前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む請求項1に記載の方法。
  3. 現在損失フレームのタイプを判断するステップは、
    現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であることを含む請求項2に記載の方法。
  4. 前記ステップaにおいて、前記予測待ちの周波数点集合を取得するステップはさらに、
    第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む請求項1に記載の方法。
  5. 第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得するステップは、
    前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合が対応する周波数点数がN1,…,NL1であることと、
    前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、
    存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
    同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、
    ここで、前記kが非負の整数であることを含む請求項4に記載の方法。
  6. 前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項5に記載の方法。
  7. 前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
    、ここで、
    は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数である請求項5に記載の方法。
  8. 前記ステップaにおいて第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得ること、及び
    該L2フレームにおいて1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得て、ここで、L2>1であることを含む請求項1〜7のいずれか１項に記載の方法。
  9. L2＝2である際に、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
    下記公式
    によって第pフレームのMDCT-MDSTドメインの位相を取り得て、
    ここで、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが予測される予測待ちの周波数点であり、
    は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、
    は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相であることを含む請求項8に記載の方法。
  10. L2>2である際に、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
    前記予測待ちの周波数点に対して、第p-1フレームの前のL2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得ることを含む請求項8に記載の方法。
  11. 第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得するステップは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて前記予測待ちの周波数点集合SCを取得することを含み、
    第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るステップは、
    前記周波数点集合SCにおけるそれぞれの周波数点に第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得ることを含む請求項4に記載の方法。
  12. 第pフレームの前の複数のフレームのMDCT係数を用いて第pフレームにおける該周波数点でのMDCT係数を計算するステップは、
    第pフレームのMDCT係数の値を第p-1フレームのMDCT係数の値の二分の一にすることを含む請求項1〜7のいずれか１項に記載の方法。
  13. 修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、
    前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測される予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を用いて第pフレームにおける前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
    前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームにおける該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
    前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される修正離散コサイン変換ドメインのオーディオフレーム損失補償器。
  14. フレームタイプ検出モジュールをさらに含み、前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される請求項13に記載のフレーム損失補償器。
  15. 前記フレームタイプ検出モジュールは、次のように現在損失フレームのタイプを判断し、現在損失フレームの前のKフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数がK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数がK0より大きいと、現在損失フレームがマルチ高調波フレームであり、ここで、K0<=K、K0、Kが自然数であるように設置される請求項14に記載のフレーム損失補償器。
  16. 前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって前記予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される請求項13に記載のフレーム損失補償器。
  17. 前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて前記予測待ちの周波数点集合SCを取得し、
    前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
    前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
    Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、ここで、kが非負の整数であるように設置される請求項16に記載のフレーム損失補償器。
  18. 前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項17に記載のフレーム損失補償器。
  19. 前記周波数点集合生成ユニットは、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
    、ここで、
    は第p-1フレームにおける周波数点mでのパワーであり、cp-1(m)は第p-1フレームにおける周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームにおける周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームにおける周波数点m−1でのMDCT係数であるように設置される請求項17に記載のフレーム損失補償器。
  20. 前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームにおけるMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームにおける対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、ここで、L2>1であるように設置され、
    前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、
    前記位相予測サブユニットは、予測される予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
    前記振幅予測サブユニットは、該L2フレームにおける1つのフレームにおける該周波数点でのMDCT-MDSTドメインの振幅から第pフレームにおける該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
  21. 前記位相予測サブユニットは、L2＝2である際に、下記の公式
    によって第pフレームのMDCT-MDSTドメインの位相を予測し、
    ここで、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが前記予測待ちの周波数点であり、
    は第pフレームにおける周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
    は第t1フレームにおける周波数点mのMDCT-MDSTドメインでの位相であり、
    は第t2フレームにおける周波数点mのMDCT-MDSTドメインでの位相であるように設置される請求項20に記載のフレーム損失補償器。
  22. L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、前記予測待ちの周波数点に対して、選択した該L2フレームにおける該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームにおける該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される請求項20に記載のフレーム損失補償器。
  23. 前記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて前記予測待ちの周波数点集合を取得し、及び該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームにおけるMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームにおけるMDCT-MDSTドメインでの位相と振幅を取り得るように設置される請求項16に記載のフレーム損失補償器。
  24. 前記第2補償モジュールは、第pフレームにおける前記予測待ちの周波数点集合の以外の周波数点のMDCT係数の値を第p-1フレームのMDCT係数の値の二分の一にするように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
JP2012519872A 2009-07-16 2010-02-25 修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法 Active JP5400963B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910158577.4A CN101958119B (zh) 2009-07-16 2009-07-16 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CN200910158577.4 2009-07-16
PCT/CN2010/070740 WO2011006369A1 (zh) 2009-07-16 2010-02-25 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法

Publications (2)

Publication Number Publication Date
JP2012533094A JP2012533094A (ja) 2012-12-20
JP5400963B2 true JP5400963B2 (ja) 2014-01-29

Family

ID=43448911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012519872A Active JP5400963B2 (ja) 2009-07-16 2010-02-25 修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法

Country Status (8)

Country Link
US (1) US8731910B2 (ja)
EP (1) EP2442304B1 (ja)
JP (1) JP5400963B2 (ja)
CN (1) CN101958119B (ja)
BR (1) BR112012000871A2 (ja)
HK (1) HK1165076A1 (ja)
RU (1) RU2488899C1 (ja)
WO (1) WO2011006369A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PE20130216A1 (es) 2010-05-21 2013-02-27 Incyte Corp Formulacion topica para un inhibidor de jak
AU2012217216B2 (en) 2011-02-14 2015-09-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result
MY159444A (en) 2011-02-14 2017-01-13 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Encoding and decoding of pulse positions of tracks of an audio signal
PL3471092T3 (pl) 2011-02-14 2020-12-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekodowanie pozycji impulsów ścieżek sygnału audio
SG192746A1 (en) 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Apparatus and method for processing a decoded audio signal in a spectral domain
CN102959620B (zh) 2011-02-14 2015-05-13 弗兰霍菲尔运输应用研究公司 利用重迭变换的信息信号表示
ES2534972T3 (es) 2011-02-14 2015-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predicción lineal basada en esquema de codificación utilizando conformación de ruido de dominio espectral
AU2012217153B2 (en) 2011-02-14 2015-07-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding and decoding an audio signal using an aligned look-ahead portion
CN103534754B (zh) 2011-02-14 2015-09-30 弗兰霍菲尔运输应用研究公司 在不活动阶段期间利用噪声合成的音频编解码器
CA2827000C (en) 2011-02-14 2016-04-05 Jeremie Lecomte Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)
WO2013060223A1 (zh) * 2011-10-24 2013-05-02 中兴通讯股份有限公司 语音频信号的丢帧补偿方法和装置
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
CN106409299B (zh) * 2012-03-29 2019-11-05 华为技术有限公司 信号编码和解码的方法和设备
CN103854649B (zh) * 2012-11-29 2018-08-28 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
SG11201510513WA (en) * 2013-06-21 2016-01-28 Fraunhofer Ges Forschung Method and apparatus for obtaining spectrum coefficients for a replacement frame of an audio signal, audio decoder, audio receiver and system for transmitting audio signals
CN107818789B (zh) * 2013-07-16 2020-11-17 华为技术有限公司 解码方法和解码装置
CN108364657B (zh) 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
PL3355305T3 (pl) 2013-10-31 2020-04-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem maskowania błędów modyfikującego sygnał pobudzenia w dziedzinie czasu
PL3288026T3 (pl) 2013-10-31 2020-11-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem ukrywania błędów na bazie sygnału pobudzenia w dziedzinie czasu
CN105225666B (zh) 2014-06-25 2016-12-28 华为技术有限公司 处理丢失帧的方法和装置
EP3230980B1 (en) 2014-12-09 2018-11-28 Dolby International AB Mdct-domain error concealment
US9978400B2 (en) * 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US10504525B2 (en) * 2015-10-10 2019-12-10 Dolby Laboratories Licensing Corporation Adaptive forward error correction redundant payload generation
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
CN111383643B (zh) * 2018-12-28 2023-07-04 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机
CN111883147B (zh) * 2020-07-23 2024-05-07 北京达佳互联信息技术有限公司 音频数据处理方法、装置、计算机设备及存储介质
CN113838477B (zh) * 2021-09-13 2024-08-02 上海兆言网络科技有限公司 音频数据包的丢包恢复方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
US6980933B2 (en) * 2004-01-27 2005-12-27 Dolby Laboratories Licensing Corporation Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients
JP4536621B2 (ja) * 2005-08-10 2010-09-01 株式会社エヌ・ティ・ティ・ドコモ 復号装置、および復号方法
JP2007080923A (ja) * 2005-09-12 2007-03-29 Oki Electric Ind Co Ltd 半導体パッケージの形成方法及び半導体パッケージを形成するための金型
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
KR100792209B1 (ko) * 2005-12-07 2008-01-08 한국전자통신연구원 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
JPWO2008007698A1 (ja) 2006-07-12 2009-12-10 パナソニック株式会社 消失フレーム補償方法、音声符号化装置、および音声復号装置
US8015000B2 (en) * 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
USRE50132E1 (en) * 2006-10-25 2024-09-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio subband values and apparatus and method for generating time-domain audio samples
JP2008261904A (ja) * 2007-04-10 2008-10-30 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置、符号化方法および復号化方法
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101471073B (zh) * 2007-12-27 2011-09-14 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
EP2242047B1 (en) * 2008-01-09 2017-03-15 LG Electronics Inc. Method and apparatus for identifying frame type
CN101308660B (zh) 2008-07-07 2011-07-20 浙江大学 一种音频压缩流的解码端错误恢复方法

Also Published As

Publication number Publication date
BR112012000871A2 (pt) 2017-08-08
CN101958119B (zh) 2012-02-29
EP2442304A1 (en) 2012-04-18
EP2442304B1 (en) 2016-05-11
CN101958119A (zh) 2011-01-26
US8731910B2 (en) 2014-05-20
JP2012533094A (ja) 2012-12-20
WO2011006369A1 (zh) 2011-01-20
RU2488899C1 (ru) 2013-07-27
EP2442304A4 (en) 2015-03-25
US20120109659A1 (en) 2012-05-03
HK1165076A1 (zh) 2012-09-28

Similar Documents

Publication Publication Date Title
JP5400963B2 (ja) 修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法
US8170226B2 (en) Acoustic echo cancellation and adaptive filters
EP3537436B1 (en) Frame loss compensation method and apparatus for voice frame signal
CN103854649B (zh) 一种变换域的丢帧补偿方法及装置
JP4320033B2 (ja) 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体
CN101471073B (zh) 一种基于频域的丢包补偿方法、装置和系统
TW200838176A (en) Signal-to-noise ratio (SNR) determination in the time domain
TR201911006T4 (tr) Konuşma/ses sinyal işleme yöntemi ve cihazı.
CN101826892A (zh) 回声消除器
CN103035248A (zh) 音频信号编码方法和装置
JP2010055024A (ja) 信号補正装置
JP2023533364A (ja) ステレオオーディオ信号遅延推定方法および装置
US9070372B2 (en) Apparatus and method for voice processing and telephone apparatus
WO2012106963A1 (zh) 干扰和噪声消除方法及装置
KR101971268B1 (ko) 오디오 코딩 방법 및 관련 장치
AU2018331317A1 (en) Selecting channel adjustment method for inter-frame temporal shift variations
WO2013017018A1 (zh) 一种进行语音自适应非连续传输的方法及装置
TWI334710B (en) Mehod of calculating signal-to-noise ratio(snr), communication apparatus, communication system, and article comprising a computer-readable storage medium having stored thereon instructions
JP2012177828A (ja) ノイズ検出装置、ノイズ低減装置及びノイズ検出方法
KR20110050560A (ko) 채널 예측 시스템, 무선 통신 장치 및 채널 예측 방법
Cai et al. Multimedia services in wireless internet: modeling and analysis
JP5216809B2 (ja) 通話品質推定方法、通話品質推定装置および通話品質推定システム
Banerjee et al. Partial DCT-based energy efficient compression algorithm for wireless multimedia sensor network
CN116368565A (zh) 使用噪声信号比的误差隐藏单元中的噪声抑制逻辑
Singh et al. Real time analysis of VoIP system under pervasive environment through spectral parameters

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131025

R150 Certificate of patent or registration of utility model

Ref document number: 5400963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250