JP4744438B2 - エラー隠蔽装置およびエラー隠蔽方法 - Google Patents

エラー隠蔽装置およびエラー隠蔽方法 Download PDF

Info

Publication number
JP4744438B2
JP4744438B2 JP2006510676A JP2006510676A JP4744438B2 JP 4744438 B2 JP4744438 B2 JP 4744438B2 JP 2006510676 A JP2006510676 A JP 2006510676A JP 2006510676 A JP2006510676 A JP 2006510676A JP 4744438 B2 JP4744438 B2 JP 4744438B2
Authority
JP
Japan
Prior art keywords
frame
error
replacement
subband
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006510676A
Other languages
English (en)
Other versions
JPWO2005086138A1 (ja
Inventor
道代 後藤
チュン オエイ テオ
スア ホン ネオ
幸司 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006510676A priority Critical patent/JP4744438B2/ja
Publication of JPWO2005086138A1 publication Critical patent/JPWO2005086138A1/ja
Application granted granted Critical
Publication of JP4744438B2 publication Critical patent/JP4744438B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本発明は、送信、配信、および記憶媒体において、損失または破損したデジタル信号（エラー）の隠蔽技術に関する。
情報のパケットまたはフレームを送信する場合には、有線あるいは無線のいずれの手段を経由する場合でも、これらのパケットの一部が損失または破損する可能性がある。たとえ帯域幅が増強され、ネットワークまたは伝送技術が改良されたとしても、このような損失は完全には回避することができない。
音声・パケットまたはオーディオ・パケットが損失または破損した場合、結果として、耳に聞こえるアーティファクト、オーディオ品質の劣化、聞き取れないオーディオ・コンテンツをもたらすことになる。こうした劣化は、リアルタイムのストリーミング中または伝送中には特に不快なものである。
このような劣化を最小限に抑えるため、エラー隠蔽が行われる。この基本的な考えは、エラー・データを一部の合成データまたは生成データで置き換えることである。エラー隠蔽の目的は、その名称が示すように、送信、受信、保存、符号化処理、または復号処理中のデータ損失またはデータ破損から生じるエラーを隠す、すなわち、これをマスクして最善の場合にはエラーが認識されないか、または少なくともエラーがあまり顕著にならないようにすることである。
音声データおよびオーディオ・データを対象とするエラー隠蔽には、多数の方式と技術がある。送信側支援型のものもあれば、受信側ベース型のものもある。送信側支援型の方法では、送信側が損失または破損した情報を再送信するか、または損失データを回復できるように送信情報に誤り訂正情報を埋め込む。受信側ベース型の方法では、損失データの隠蔽を処理するにあたって送信側からの情報を必要としない。これは、損失または破損したデータを有益な情報に置き換えることによって機能させるためであり、この情報は通常は損失または破損した部分を推定したものとなっている。これらの置換データは、送信側の支援を受けることなく受信側で生成される。
受信側ベース型のエラー隠蔽には、さまざまな技術がある。簡単な方法は、ミューティングとデータ反復である。ミューティングは単に、エラー・データを、エラー・データと同じ時間長の無音またはゼロ値に置き換える。一方、データ反復は単に、エラー・データを最新の非エラー・データに置き換える。
データ補間技術（例えば、非特許文献１参照）を使用すれば、前述の簡単な方法よりも優れた結果をもたらすことができる。これは、エラー・データに隣接する非エラー・データから補間を行うことにより、置換データの再構成を試みる。
さらに、より複雑な方法もある。それは、音声またはオーディオのコーデックのあるタイプに対して最適化されているという点で、コーデック従属型である。これは、コーデック・パラメータを派生するオーディオ圧縮アルゴリズムの知識を利用して、損失データを置き換えるためのデータを再生成する。
図1は、ミューティング、複製、および補間の各種エラー隠蔽処理を組み入れたエラー隠蔽技術の手順を示すフローチャートである。
オーディオ・データのフレームを受信すると、ST101ではこれがエラー・フレームであるかどうかを検査する。これがエラー・フレームではない場合、受信データは、おそらくST107の補間処理中での将来の使用に備え、ST102においてメモリに保存される。受信フレームが、ST101においてエラー・フレームとして検出された場合、ST103およびST105において一連の決定が行われ、システム内に遅延が許容されるのであれば、以前または将来の非エラー・フレームに基づいて、現行エラー・フレームにどのエラー隠蔽技術を適用することが最適であるかを判定する。ST103において、現行エラー・フレームをミュートすることが適切であるかどうかを検査する。ミューティングが選択された場合、現行エラー・フレームはST104においてゼロ・データ・フレームに置き換えられる。すなわち、現行エラー・フレームは無音に置き換えられる。ミューティングがこのエラー・フレームにとって適切ではない場合、ST105においてこのフレームに補間を実行できるかどうか検査する。たとえばバースト・エラーの場合またはバッファの後のデータに遅延がない場合のように、補間が適していない場合には、ST106において最後の非エラー・フレームが現行エラー・フレームで繰り返される。ST105において補間が選択された場合は、ST102で保存されているデータを使用し、ST107において補間処理が実行される。
I. Kauppinen他著「Audio Signal Extrapolation - Theory and Applications」Proc. of 5th Int. Conf. on Digital Audio Effect、2000年9月
送信側ベースのエラー隠蔽方式は、再送信がさらに長い遅延の原因となり、しかもエラー回復のための埋込情報が伝送オーバーヘッドを増大させるという問題がある。これらの状態は、リアルタイムの通信または伝送システムなどのアプリケーションには適していない。
受信側ベースの場合には、再送または送信側からの追加情報を必要とはしないが、受信側において演算処理の負荷が増大するなどそれぞれ短所も備えている。しかし、通常、受信側端末には対応できる十分な能力があるため、演算処理の増大は通常取るに足らないものである。もう1つの利点は、再送の遅延およびオーバーヘッドがないため、リアルタイム・システムにより一層適しているという点である。しかし、上記の技術に示されているような簡単な受信側ベースのエラー隠蔽技術では、優れたエラー隠蔽結果をもたらすことはできない。
ミューティングは、受信信号を突然消失させてしまい、その結果音響レベルに急激な変化を生じるという問題がある。ミューティングを使用する場合にバースト・エラーが発生すると、長期間にわたる無音の原因となる。さらにこれは、一定したエラーが受信される場合には、「ぎくしゃくした」響きにもなる。
反復または複製は、エコー効果をもたらすという問題がある。この効果は、長期間にわたるバースト・エラーがある場合には減退する。また、隣接するフレームの信号特性を考慮せずにフレームがただ置き換えられているために境界不連続の問題があり、耳障りな「クリック」ノイズ・アーティファクトが発生する問題もある。しかし、これは単一のフレーム・エラーに対してはミューティングの場合をわずかに上回る隠蔽結果をもたらす。ただし、依然としてバースト・エラーに対しては、効果を奏し難い。
補間もまた、境界不連続の問題が原因となり「クリック」ノイズ・アーティファクトを生じさせるという問題がある。隠蔽の品質は、単一のフレーム・エラーに対しては、ミューティングおよび複製の場合に比べて優れているが、バースト・エラーに対しては大幅に減退する。これらの技術は簡単かつ容易に実施できるが、満足のゆく隠蔽結果を得ることはできない。
コーデック依存方式は、より優れた結果をもたらすが、汎用性の点ではまだ十分とはいえない。通常、これを使用できるのは、特定のアプリケーションあるいは特定の音声またはオーディオ・コーデックのみである。特定のコーデックによって使用されるパラメータを予測することで、多数のコーデック依存方式が圧縮ドメインで機能している。通常、そのような方式には、さらに高い演算処理コストも必要になる。
よって、本発明の目的は、エラー隠蔽による影響を可能な限り目立たせない音声信号またはオーディオ信号のエラー隠蔽技術を提供することである。
本発明は、音声データまたはオーディオ・データを異なる特性で分類し、エラー・データを隠蔽するための置換データを生成する適切な手段を適用する。
図2は、本発明に係るエラー隠蔽装置の主要な構成を示している。
音声データまたはオーディオ・データは、記憶媒体（あるいは有線または無線ネットワーク経由の伝送システム）200から受信するなど、さまざまな媒体を通じて供給することができる。これらのデータは、フレームまたはパケットにまとめられ、通常は圧縮形式をとる。パケットが受信されると、再生に適した非圧縮オーディオ形式のフレームにパケットをデコードするため、適切な音声またはオーディオ用デコーダ250が使用される。すべての段階において検証が行われ、受信されたパケットが損失または破損していないこと、および受信パケットのデコーディングにエラーがないことを確認する。いずれかの段階でエラーが発生している場合には、エラー・フレームを隠蔽するようエラー隠蔽処理部300に通知される。
本発明に係るエラー隠蔽処理部300の内部構成は、図3のブロック図に示されている。
すべてのフレームに対し、それがエラー・フレームであるか、または非エラー・フレームであるかを通知するための信号が送られる。通知信号検出部301は、この信号を検出し、入力データのフレームに関して取るべき処置を判断する。非エラー・フレームの場合は、サンプル保存部302において保存され、同じデータのフレームが再生または保存に備えて送出される。保存されたデータは、音声検出部303、過渡信号検出部305、および外挿処理部307において、将来エラー・フレームが発生した場合に使用される。エラー・フレームの場合、音声検出部303は、それが音声信号であるか非音声信号であるかの判断を、先行する非エラー・データのフレームに対し実行する。音声フレームの場合、音声複製処理部304が使用されて、ピッチ計算および複製を行うことによって、エラー・フレームを隠蔽するための置換フレームが生成される。非音声フレームの場合、過渡信号検出部305において、過渡信号の検出が実行され、それがアタック信号であるか否かが判断される。次に、過渡信号検出部305は、フィルタバンク分析部306のために、過渡信号を含んでいる領域として適切な領域（以下、過渡領域という）を先行非エラー・フレームの中から選択する。フィルタバンク分析部306は、フィルタバンク分析によって、N個のサブバンドを生成する。これらのサブバンドは、帯域幅の等しいものであっても、等しくないものであってもよい。これらのサブバンドはそれぞれ、外挿処理部307を経て、エラー隠蔽のためのサブバンド・サンプルが外挿され、現行エラー・フレームに対する置換サブバンド・データが生成される。フィルタバンク合成部308は、外挿処理部307で生成されたサブバンド・データと共に合成フィルタバンクを使用して、生成データのフレームを形成するためのサブバンド・データを再構築する。生成されたデータは、サンプル保存部302で保存されて送出される前に、フレーム境界不連続の問題および信号レベルの不一致の問題を解決するために、ポストプロセス部309に送られる。
外挿処理部307の内部構成は、図4のブロック図に示されている。
信号全体への重大な寄与があるかどうか判断するため、第1検査部401において、各サブバンドに対し第1の検査が実行される。重要ではないと見なされたサブバンドについては、外挿は行われないが、代わりに無音置換部402においてゼロに置き換えられる。重要と見なされたサブバンドについては、フィルタ係数算出部403において、外挿フィルタに使用されるフィルタ係数が算出される。これらのサブバンドには、サブバンドがどの程度周期性を有していて予測可能であるか（以下、予測可能性レベルという）を判断するため、第2検査部404において第2の検査も行われる。周期性がなく予測不可能と分類されたサブバンドの場合、このサブバンドはノイズに類似したものと見なされるので、サブバンド置換部407は、このサブバンド・データをノイズ置換の手段によりノイズ・データに置き換えるか、または、このサブバンド・データを同じ先行フレームに含まれるサブバンドに置き換える。周期性があり予測可能と分類されたサブバンドの場合、フィルタ次数調整部405において、外挿フィルタのフィルタ次数が第2検査部404で導出された予測可能性レベルに基づいて調整される。これらのサブバンドは、外挿部406において、フィルタリング技術で一般的に用いられる外挿フィルタを使用してサブバンド・サンプルの外挿が行われる。
本発明によれば、損失あるいは破損したフレームを効果的に隠蔽することができる。
以下、図5〜図7の一連のフローチャートおよび図8〜図10の説明図を参照して、本発明の実施の形態について詳細に説明する。
（実施の形態１）
まず、メインのフレームワークについて説明する。図5は、実施の形態１におけるエラー隠蔽アルゴリズムの詳細なステップを示すフローチャートである。受信フレームは、非エラー・フレーム、音声としてのエラー・フレーム、またはオーディオとしてのエラー・フレームに分類される。
非エラー・フレームの処理は、以下のように行われる。
ST501において、受信したオーディオ・フレームがエラー・フレームであるか、または非エラー・フレームであるかを検出する。非エラー・フレームが受信された場合、ST513においてメモリ内にそのフレームを保存し、将来エラー・フレームが受信された場合に使用できるようにする。このメモリは、先入れ先出し（FIFO）構造を備えており、過去のオーディオ・サンプルのnフレームを保存することができる。メモリの標準的なサイズは2フレームに設定することができ、サンプルの過去のフレームで最新の2つがメモリ内に保存されるようになっている。新しいオーディオ・フレームが到着すると、メモリのnフレーム内で最も古いフレームが廃棄され、新しいフレームがメモリ内に残っているフレームに連結される。次に、ST512において、現行フレームのエラー・フラグが、前のエラー・フラグとして保存される。これは、先行フレームがエラー・フレームまたは非エラー・フレームのいずれであるかを検査するためにST502において使用される。
エラー・フレームが検出された場合のエラー・フレームのタイプ分類は、以下のように行われる。
ST501においてエラー・フレームが検出された場合、現行エラー・フレームが音声タイプ（つまり周期的）フレームまたはオーディオ・タイプ（つまり非周期的）フレームのいずれであるかを判断するために、ST504において分類が行われる。これに先立ち、ST502において、これが非エラー・フレームに続く最初のエラー・フレームであるかどうか、つまり先行フレームがエラー・フレームではないかどうか検査する。
先行フレームが非エラー・フレームである場合、ST504において、メモリに保存されている過去のサンプルを使用して、エラー・フレームが音声タイプ・フレームまたはオーディオ・タイプ・フレームのいずれであるか検出する。これらの過去のサンプルは基本的に、ST513で保存されている先行非エラー・フレームである。一般的な音声コーディングの技術に用いられる音声検出アルゴリズムを、ST503において使用することができる。1つの簡単な方法としては、エラー・フレームに先行する非エラー・フレームに自己相関を適用し、周期性およびピッチの情報を検索する方法がある。これらの情報は、今後の使用に備えて保存される。
音声として分類されたエラー・フレームの処理は、以下のように行われる。
ST504においてエラー・フレームが音声タイプ・フレームとして分類された場合、ST505において音声フラグが1に設定される。音声フラグは、連続する多数のフレームがエラーになるようなバースト・エラーの場合に使用される。そのような場合には、一連のエラー・フレームの最初のエラー・フレームのみがST503の音声検出を通過し、それ以降の連続エラー・フレームは、再度検出を経由する必要なく、ST503で最初の検出中にすでに取得されている結果を引き続き使用する。つまり、ST502において先行フレームもエラー・フレームであることを検出した場合、最初のエラー・フレームで検出がすでに行われているので、ST503の音声検出をスキップする。これは、音声フラグを使用して、それが音声タイプまたはオーディオ・タイプのいずれであるか、フレーム・タイプを判断する。音声タイプの信号については、ST506において音声サンプル生成処理を使用し、現行エラー・フレームを置き換えてエラーを隠蔽または最小化するためにサンプルを生成する。ST506については、後に図6を使用して説明する。
オーディオとして分類されたエラー・フレームの処理は、以下のように行われる。
ST504において、現行フレームがオーディオ・タイプ・フレームとして分類された場合、ST507において音声フラグが0に設定される。この場合、ST508においてオーディオ・サンプル生成処理を使用し、現行エラー・フレームを置き換えてエラーを隠蔽するためにサンプルを生成する。ST508については、後に図7を使用して詳細に説明する。
ポストプロセスと呼ばれる処理は、以下のように行われる。
エラーを隠蔽するためのサンプルが生成された後、ST509において、生成済みのサンプルに対して信号調整が実行される。この信号処理の目的は、フレーム境界において非エラー・フレームとエラー隠蔽フレームの間を通過する際の急激な信号特性の変化に起因する「クリック」ノイズおよび「ポッピング」ノイズなどの耳に聞こえるアーティファクトを低減することにある。たとえば、生成されたエラー隠蔽サンプルが、先行非エラー・フレームに比べて大きく異なる信号レベルまたはパワーを備えていることもある。したがって、生成されたサンプルは、ST509において、エラー・フレームに先行する信号レベルと一致するように調整される。
エラー隠蔽のサンプルが生成されると、エラー隠蔽のフレームの後続のフレームとは良好に連続しなくなる可能性がある。このため、フレーム境界において不連続の問題が生じる。ST510において、境界スムージング処理を実行することにより、この問題に対処する。この問題に対する効果的な方法は、逆方向外挿および信号の混合を使用する、図8に示すフレーム境界スムージング処理である。
ここにはまた、境界スムージング処理を使用しない場合に発生し得る副次作用も示されている。そのような副次作用の1つは、図8の下部に示されるような、信号に急激な変化が起こった場合の不連続の問題である。ポストプロセス後、ST511において、生成されたサンプルを保存する。現行エラー・フラグもまた、ST512において先行エラー・フラグとして保存される。これは、先行フレームがエラー・フレームまたは非エラー・フレームのいずれであるかを検査するために、ST502において使用される。
図6は、エラー・フレームが音声タイプとして分類された場合の音声サンプル生成処理（図5のST506）の詳細な手順を示すフローチャートである。このフローチャートでは、音声サンプルを導き出す方法として簡単な方法を提示している。なお、図6に示す音声サンプル生成処理によって得られる信号は、図9に示されている。
ST503でのフレーム・タイプの分類中に得られたピッチ情報を使用し、ST601において、先行非エラー・フレームからセグメント（フレームの一部）を複製する。このセグメントは、ST503で得られたピッチ周期の倍数の長さを有するが、1フレームの長さよりも小さい。ST602におけるピッチアラインメント、すなわち、複製フレームの置換位置の調整は、複製フレームのピッチ周期が先行フレームのピッチ周期と揃うように行われている。これは、非エラー・フレームから複製フレームまでの周期性に連続性を確保するためである。この複製と位置調整は、エラー・フレームを置き換えることのできる1つの完全な置換フレームがST603において得られるまで繰り返される。なお、上記の複製において、複製区間を調整することにより、すなわち、エラー・フレームを置換することができる置換フレームが得られるまで複製を繰り返すことにより、複製フレームのピッチ周期と先行フレームのピッチ周期とが揃うようにしても良い。
図7は、オーディオ・タイプとして分類されているエラー・フレームが検出された場合のオーディオ・サンプル生成処理（図5のST508）の詳細な手順を示すフローチャートである。
エラー・フレームを隠蔽するために生成されるサンプルは、主としてエラー・フレームに先行する非エラー・サンプルから（ST513から）導き出される。通常、これらの損失のない完璧なサンプルには情報が含まれており、抽出すれば後続の信号がどのようなものになるかについての手がかりを得ることができる。この処理には、2つの経路がある。1つは、このエラー・フレームに先行するフレームが非エラー・フレームである場合に使用される。もう一方の経路は、先行するフレームもエラー・フレームである場合に使用される。
新しいエラー・フレームに対して、以下の処理が行われる。
ST701において、先行フレームのエラー状態が検査される。先行フレームがエラー・フレームではない場合は、現行エラー・フレームが非エラー・フレームに続く最初のエラー・フレームであるということになる。ここで、現行エラー・フレームをフレームEと定義し、エラー・フレームに先行する非エラー・フレームをフレームPと定義する。
ST702において、アタック信号の検出がフレームPに対して実行される。このアタック信号の検出については、図10で説明されている。フレームPにアタック信号がない場合は、後続のST703のフィルタ・バンド分析において、フレーム全体が使用される。フレームPにおいてアタック信号が検出された場合は、アタック信号の開始位置が確認され、フレームPの中でアタック信号より前のサンプルが廃棄される。すなわち、アタック信号の開始位置よりも後のサンプルだけが、以降のフィルタ・バンド分析に使用される。前述のように、生成されるサンプルはフレームPの信号特性から導き出されるものである。生成される信号がフレームPを模して作成されるため、後続の処理においてアタック信号の開始位置より前のサンプル（領域）を除外しないことによって、生成された信号には通常、フレームPからのアタック信号と類似していながらそれよりも小さい縮小版（類似アタック信号）が現れる。このような「二重アタック」は非常に耳障りであるため、これは望ましくない。上記の検出を行う利点は、信号の不要部分、すなわち、アタック信号の開始位置より前の領域を後続の処理において除外することによって、生成される信号の「二重アタック」の問題を最小に抑えることができるという点にある。
フレームPから不要部分を除外し、適切な領域を選択した後、ST703において分析フィルタバンクを使用して、信号を複数の周波数帯域、すなわち、K個のサブバンドに分割する。各サブバンドの帯域幅は同じである必要はない。つまり、サブバンド帯域幅が等しくても、等しくなくてもよい。たとえば、長さLおよびK個のサブバンドのフレームがある場合、1つの考えられるサブバンド構成としては、最初のK/4サブバンドについて、各サブバンドがL/(2K)サンプルの帯域幅を持つものである。次のK/4サブバンドについて、各サブバンドがL/Kサンプルの帯域幅を持ち、最後のK/2サブバンドについて、各サブバンドが2L/Kサンプルの帯域幅を持つことになる。つまり、サブバンドが低くなれば、それに応じてサブバンド帯域幅も小さくなり、その結果より優れた周波数分解能がもたらされる。サブバンドが高くなれば、それに応じて帯域幅も大きくなる。もう1つの考えられる構成は、すべてのサブバンドが同じL/Kサンプルの帯域幅を持つようにすることである。
各サブバンドに対して、サブバンド・サンプルから数個のパラメータが導き出される。最初に、信号全体に対するその寄与の量と、その寄与が重要と見なされるかどうかを判断するために、パラメータが算出される。このパラメータを導き出す1つの可能な方法は、Σ{log[abs(Si+η)]}/Lsbを計算することである。ここでSiはサブバンド・サンプル、ηはアンダーフローを防ぐための小さい値、Lsbはサブバンドの長さ（つまり帯域幅）である。このパラメータは、ST704において閾値と比較される。この閾値を下回る場合は、ST705においてフラグ、スキップ・フラグが「1」に設定されて、このサブバンドが信号生成処理から除外されることを示し、ST706においてそのサブバンドはゼロに置き換えられ、ST716において次のサブバンドに進む。パラメータが閾値を上回る場合は、ST707においてスキップ・フラグが「0」に設定されて、このサブバンドが信号生成処理に含まれることを示し、スキップされない。このスキップ・フラグは、後続のフレームもST718においてエラー・フレームであった場合に、後続のフレームで使用される。
本発明のST713およびST721において、信号外挿がオーディオ・サンプル生成処理に使用されている。この方法では、ST708において、バーグのアルゴリズムを使用してインパルス応答係数asb,iのセットを導き出すために、既知のオーディオ信号のセグメントが使用される。これらの係数には、既知の信号（この場合は先行する非エラー・フレーム）が組み入れられ、以下の(式1)に示すように現行エラー・フレームを置き換えて隠蔽するために使用される線形に予測可能な一連の信号を取得する。この信号外挿法は、エラー・フレームを隠蔽するために使用できる適切な信号のセットを生成する1つの手段に過ぎないが、他の方法も利用可能である。
算出されるもう1つのパラメータは、ST709における予測可能性レベルPrsbである。これは、各サブバンドについて信号がどの程度予測可能であるかを評価するために使用される。このパラメータは、バーグのアルゴリズムから算出された予測誤差残差から導き出される。バーグのアルゴリズムの反復を開始する前に、初期誤差残差E0が算出される。この誤差残差は、係数算出処理の反復ごとに更新され、そこで最後の反復後に最終予測誤差残差E1を返す。予測可能性レベルPrsbおよび誤差残差率E0/E1の間の関係は、E0/E1の比率が小さい場合にそれに応じて予測可能性レベルが低下するもので、またその逆もある。これはつまり、より低いE0/E1率は、あまり予測可能ではない信号に相当するということである。
外挿フィルタFOsbの次数は、外挿係数を算出するために使用された過去のサンプルの長さによって異なる。たとえば、外挿フィルタ係数の算出にLサンプルが使用された場合、フィルタの最大次数はわずかL次である。また予測可能性レベルPrsbに基づいて、外挿フィルタFOsbの次数はST710において、予測可能性レベルが高ければ外挿フィルタの次数が減少するか、またはその逆になるように、しかるべく調整される。これはつまり、外挿フィルタの次数および予測可能性レベルには、反比例の関係FOsb∝(1/Prsb)があるということである。
ST711において、各サブバンドの予測可能性レベルPrsbは、エラーを隠蔽するためのサブバンド・サンプルを生成する外挿処理を使用するか、またはエラー・フレームを置き換えるサブバンド置換法を使用するかを決定するためにも使用される。外挿フラグはこの決定を示すように設定され、このフラグはST720において次のフレームもエラー・フレームである場合に使用され、同じサブバンドが同じタイプの信号生成方式を使用するようになっている。
予測可能性レベルが閾値Prsbを超える場合は、ST712において外挿フラグが「1」に設定され、信号外挿法を使用してサブバンドが生成されることを示す。予測可能性レベルPrsbはまた、予測可能性が閾値に近接するがこれを超える場合に外挿信号の結果が調整されるように、外挿信号の結果に影響を及ぼすためにも使用される。信号外挿法においては、以下に示すものと類似したARモデルを使用して、現行エラー・フレームを置き換えるために先行非エラー・サンプルから現行サンプルを予測して生成する。
y(n) = - a1y(n-1) - a2y(n-2) - … - apy(n-p) …（式1）
ここでy(n)は現行外挿サンプル、y(n-i)は過去の出力サンプル、aiは外挿係数、pは予測子次数である。予測可能性レベルを使用して外挿信号に影響を与える方法の1つは、次のとおりである。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Prsb) …（式2）
ここでαは、外挿信号への影響の量を制御する因数である。
予測可能性レベルPrsbが閾値を下回る場合、ST714において外挿フラグが「0」に設定され、ST715においてサブバンド置換法が使用されることを示す。同様に、予測可能性レベルは、使用する置換法を決めるためにも使用される。予測可能性レベルが閾値をわずかに下回る場合は、サブバンドには先行の非エラー・フレームPからの同じサブバンドが繰り返される。これが閾値よりもはるかに下回る場合は、サブバンドは単にランダム信号に置き換えられる。
すべてのサブバンドが処理されていることを検査するST716の後、ST717においてKサブバンド合成フィルタバンクを使用して集められ、現行エラー・フレームを隠蔽するための生成信号を再構成する。
後続のエラー・フレームに対しては、以下の処理が行われる。
ST701において先行フレームもエラー・フレームであることが示された場合、サンプル生成処理は先行フレームで停止した時点から続行する。フィルタ次数、予測可能性レベルなど、先に算出されたパラメータが再使用される。これらのパラメータは、再度算出されることはない。特定のサブバンドが生成される必要があるかどうかが検査されるが、これはST718におけるスキップ・フラグおよびST720における外挿フラグによって示されている。これらのフラグは、ST704、ST705、ST707、ST711、ST712、およびST714において、非エラー・フレームの後から最初のエラー・フレームの間に判定される。
ST718において、サブバンドを信号生成から除外できるかどうか検査される。スキップ・フラグが示すように除外することが可能な場合には、ST719においてゼロに置き換えられる。信号生成から除外できない場合は、ST720において、サブバンドが外挿によって生成されるか、または置換法を使用するかどうか検査する。
サブバンドを生成する必要がある場合は、ST713と類似したST721のサンプル外挿手順を使用して、そのサブバンド内のサンプルが再生成される。すでにST708、ST709、およびST710において算出されているフィルタ次数、フィルタ係数、予測可能性レベルなどのパラメータは、前述のように外挿手順で使用される。
サブバンドを生成する必要がない場合は、ST722においてサブバンド置換法が使用される。予測可能性レベルにより、前述のようにノイズ置換またはサブバンド反復のいずれの置換法を使用するかが決まる。
ST723で上記のステップがすべてのサブバンドに対して繰り返された後、タイム・サンプルのフレームが、ST717においてサブバンド合成フィルタバンクを使用してエラー・フレームを隠蔽するために再生成されているK個のサブバンドから再構成される。
以上説明したように、本発明によれば、単一または複数の、損失あるいは破損したフレームを効果的に隠蔽することができる。これは、受信側ベースのエラー隠蔽方式であり、再送遅延を生じることがなく伝送オーバーヘッドが少ないため、リアルタイム通信または伝送システムに適している。コーデック依存型ではなく、スタンドアロン・モジュールとして使用することができるので、幅広いオーディオ・アプリケーションに適している。ぎくしゃくした響き、エコー効果、クリックノイズなど、ノイズ・アーティファクトは大幅に減少される。入力信号は、音声とオーディオとに分類されて、信号の分類ごとに適切なエラー隠蔽方法を適用することができるようになっている。また、過渡信号および過渡領域の検出においては、フィルタバンク分析のフレームの適切な領域を選択することで、耳障りなものにもなり得る再生成信号の類似過渡信号が再生成される可能性を低減している。フィルタバンクを使用して信号をより小さい周波数帯域幅に分解することにより、予測可能性レベルおよび各サブバンドの信号全体に対する寄与の重要度など、信号特性に基づいて各バンクに異なる信号再生成方式を適用することができる。外挿処理は、連続的な信号をもたらし、それがノイズ・アーティファクトの主な原因の1つとなっているエラー・フレームの開始時点の境界不連続の問題を解消する。エラー・フレームの終了時点の不連続の問題は、逆方向外挿、信号混合および信号レベル調整を使用して解決される。
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
本発明の第1の態様は、エラー隠蔽の方法であって、入力データをさまざまな特性に分類し、適切な手段を適用してエラー・データを隠蔽するための置換データを生成し、前記方法が、
(1a) 受信したフレームがエラー・フレームまたは非エラー・フレームのいずれであるかを検出するステップと、
(1b) 前記受信フレームが、先行非エラー・フレームと呼ばれる前記非エラー・フレームとして検出される場合、前記非エラー・フレームを将来の処理に備えて保存するステップと、
(1c) 前記受信フレームが前記エラー・フレームとして検出される場合、可能な音声フレームまたはオーディオ・フレームと呼ばれる非音声フレームとして前記エラー・フレームを分類するステップと、
(1d) 前記エラー・フレームが前記音声フレームとして分類される場合、前記エラー・フレームを置き換えるための置換音声フレームを生成するステップと、
(1e) 前記エラー・フレームが前記オーディオ・フレームとして分類される場合、前記エラー・フレームを置き換えるための置換オーディオ・フレームを生成するステップと、
(1f) 前記置換フレームに対して信号処理を実行するステップと、
(1g) 前記置換フレームに対して境界スムージングを実行するステップと、
(1h) 将来の処理に備えて前記置換フレームを保存するステップと、
を含むエラー隠蔽方法である。
本発明の第2の態様は、ステップ(1b)および(1h)に記載の前記将来の処理が、ステップ(1b)から(1g)までの1つまたは複数のステップの繰り返しを含むことを特徴とする方法である。
本発明の第3の態様は、ステップ(1c)に記載の前記分類が、前記エラー・フレームの前の先行非エラー・フレームの自己相関を算出してピッチ周期の存在を検索することによって実行されることを特徴とする方法である。
本発明の第4の態様は、本発明の第3の態様に記載の前記ピッチ周期が、許容可能な前記ピッチ周期が検出できる場合は前記音声フレームとして前記エラー・フレームを分類し、前記ピッチ周期が検出できない場合は前記オーディオ・フレームとして前記エラー・フレームを分類するために使用されることを特徴とする方法である。
本発明の第5の態様は、ステップ(1d)に記載の前記置換音声フレーム生成処理がさらに、
(5a) 前記先行非エラー・フレームを複製するステップと、
(5b) 前記複製フレームのピッチ周期を前記非エラー・フレームの前記ピッチ周期に合わせて境界の非連続性の問題を解消するステップと、
(5c) 前記複製処理および前記位置合わせ処理を前記置換フレームの1つのフレームが形成されるまで繰り返すステップと、
を含むことを特徴とする方法である。
本発明の第6の態様は、ステップ(1e)に記載の前記置換オーディオ・フレームが、前記エラー・フレームの前の前記非エラー・フレームから外挿することによって生成され、前記方法がさらに、
(6a) 前記エラー・フレームの前の前記先行フレームがアタック信号であるかどうかを検出するステップと、
(6b) フィルタバンク分析のために前記先行フレームから適切な領域を選択するステップと、
(6c) フィルタバンク分析を前記先行フレームからの前記選択領域に実行して、K個の先行サブバンドと呼ばれるK個のサブバンドを取得するステップと、
(6d) エラー・サブバンドと呼ばれる、エラー・フレームの各前記エラー・サブバンドの重要度を判定するステップと、
(6e) 外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの次数を判定するステップと、
(6f) 外挿フィルタ係数と呼ばれる、外挿処理に使用される前記先行サブバンドを使用してフィルタ係数を算出するステップと、
(6g) 予測可能性レベルPrと呼ばれる、前記先行サブバンドがどの程度予測可能であるかを判定するステップと、
(6h) 外挿フィルタ次数FOと呼ばれる、前記予測可能性レベルに基づいて外挿フィルタの前記フィルタ次数を調整するステップと、
(6i) 前記エラー・サブバンドの置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
本発明の第7の態様は、ステップ(1f)に記載の前記信号処理が、信号レベルの急激な変化により生じるアーティファクトを低減するために信号レベルを先行フレームに近接させるよう前記置換フレームの信号を調整することによって実行されることを特徴とする方法である。
本発明の第8の態様は、ステップ(1g)に記載の前記境界スムージングが、逆方向外挿を使用して後続フレームからサンプルの短いセグメントを生成し、次いで前記セグメントを前記置換フレームとクロスフェードおよび混合して境界不連続の問題により生じるアーティファクトを軽減することによって達成されることを特徴とする方法である。
本発明の第9の態様は、ステップ(6b)に記載の前記適切な領域が、前記先行フレーム内のアタック信号の開始から前記先行フレームの終了までの領域であるか、または前記アタック信号が検出されない場合に前記適切な領域が前記先行フレーム全体であることを特徴とする方法である。
本発明の第10の態様は、ステップ(6c)に記載の前記サブバンドの帯域幅が、高い周波数の領域またはあらゆる可能な構成に比べて低い周波数領域が小さい前記帯域幅を持つように等しくても等しくなくてもよいことを特徴とする方法である。
本発明の第11の態様は、ステップ(6d)に記載の各前記エラー・サブバンドの前記重要度が、前記先行非エラー・フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決まることを特徴とする方法である。
本発明の第12の態様は、ステップ(6e)に記載の前記フィルタ次数が、本発明の第6の態様のステップ(6b)において選択された前記領域の長さをフィルタバンク分析のサブバンドの数で除算することにより算出されることを特徴とする方法である。
本発明の第13の態様は、ステップ(6f)に記載の前記外挿フィルタ係数が、前記先行サブバンドを入力として使用するバーグのアルゴリズムによって算出されることを特徴とする方法である。なお、前記フィルタ係数は、前記先行サブバンドのサンプルを使用してサンプルを外挿するためにARフィルタによって使用される。
本発明の第14の態様は、ステップ(6g)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
本発明の第15の態様は、ステップ(6h)に記載の前記外挿フィルタ次数FOが予測可能性レベルPrに基づいて調整されることを特徴とし、前記外挿フィルタ次数が、予測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少するかまたはその逆となるような、FO∝(1/Pr)で示されるように、前記予測可能性レベルの値に反比例することを特徴とする方法である。
本発明の第16の態様は、ステップ(6i)に記載の前記置換サブバンドが、前記重要度の条件および前記先行サブバンドの前記予測可能性レベルに応じて生成され、前記方法がさらに、
(16a) 前記エラー・サブバンドが、ステップ(6d)において重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿を使用して前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(16b) 前記エラー・サブバンドが、ステップ(6d)において重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、前記エラー・サブバンドを前記先行非エラー・フレームからの対応する前記先行サブバンドに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(16c) 前記エラー・サブバンドが、ステップ(6d)において重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー・サブバンドをノイズに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(16d) 前記エラー・サブバンドが、ステップ(6d)において重要ではないと分類される場合に、無音置換と呼ばれる、前記エラー・サブバンドをゼロに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
本発明の第17の態様は、ステップ(16a)に記載の前記置換サブバンドが、さらに予測可能性レベルPrによって影響を受けることを特徴とし、外挿値が次のように前記予測可能性レベルPrの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Pr) …（式3）
本発明の第18の態様は、前記エラー・フレームの前の非エラー・フレームから外挿を行うことによりエラー・フレームの置換フレームを生成する方法であって、前記方法が、
(18a) 前記エラー・フレームの前の前記先行フレームがアタック信号であるかどうかを検出するステップと、
(18b) 分析のために前記先行フレームから適切な領域を選択するステップと、
(18c) フィルタバンク分析を前記先行フレームからの前記選択領域に実行して、K個の先行サブバンドと呼ばれるK個のサブバンドを取得するステップと、
(18d) エラー・サブバンドと呼ばれる、エラー・フレームの各前記エラー・サブバンドの重要度を判定するステップと、
(18e) 外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの次数を判定するステップと、
(18f) 外挿フィルタ係数と呼ばれる、外挿処理に使用される前記先行サブバンドを使用してフィルタ係数を算出するステップと、
(18g) 予測可能性レベルと呼ばれる、前記先行サブバンドがどの程度予測可能であるかを判定するステップと、
(18h) 前記予測可能性レベルに基づいて外挿フィルタの前記フィルタ次数を調整するステップと、
(18i) 前記エラー・サブバンドの置換サブバンドを生成するステップと、
を含む方法である。
本発明の第19の態様は、ステップ(18b)に記載の前記適切な領域が、前記先行フレーム内のアタック信号の開始から前記先行フレームの終了までの領域であるか、または前記アタック信号が検出されない場合に前記適切な領域が前記先行フレーム全体であることを特徴とする方法である。
本発明の第20の態様は、ステップ(18c)に記載の前記サブバンドの帯域幅が、高い周波数の領域またはあらゆる可能な構成に比べて低い周波数の領域が小さい前記帯域幅を持つように等しくても等しくなくてもよいことを特徴とする方法である。
本発明の第21の態様は、ステップ(18d)に記載の各前記エラー・サブバンドの前記重要度が、前記先行非エラー・フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決まることを特徴とする方法である。
本発明の第22の態様は、ステップ(18e)に記載の前記フィルタ次数が、ステップ(18b)において選択された前記領域の長さをフィルタバンク分析のサブバンドの数で除算することにより算出されることを特徴とする方法である。
本発明の第23の態様は、ステップ(18f)に記載の前記外挿フィルタ係数が、前記先行サブバンドを入力として使用するバーグのアルゴリズムによって算出されることを特徴とする方法である。なお、前記フィルタ係数は、前記先行サブバンドのサンプルを使用してサンプルを外挿するためにARフィルタによって使用される。
本発明の第24の態様は、ステップ(18g)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
本発明の第25の態様は、ステップ(18h)に記載の前記外挿フィルタ次数FOが予測可能性レベルPrに基づいて調整されることを特徴とし、前記外挿フィルタ次数が、予測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少するかまたはその逆となるような、FO∝(1/Pr)で示されるように、前記予測可能性レベルの値に反比例することを特徴とする方法である。
本発明の第26の態様は、ステップ(18i)に記載の前記置換サブバンドが、前記重要度の条件および前記先行サブバンドの前記予測可能性レベルに応じて生成され、前記方法がさらに、
(26a) 前記エラー・サブバンドが、ステップ(16d)において重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿を使用して前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(26b) 前記エラー・サブバンドが、ステップ(16d)において重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、前記エラー・サブバンドを前記先行非エラー・フレームからの対応する前記先行サブバンドに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(26c) 前記エラー・サブバンドが、ステップ(16d)において重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー・サブバンドをノイズに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(26d) 前記エラー・サブバンドが、ステップ(16d)において重要ではないと分類される場合に、無音置換と呼ばれる、前記エラー・サブバンドをゼロに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
本発明の第27の態様は、ステップ(26a)に記載の前記置換サブバンドが、さらに予測可能性レベルPrによって影響を受けることを特徴とし、外挿値が次のように前記予測可能性レベルPrの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Pr) …（式4）
本発明の第28の態様は、エラー・フレームの置換サブバンドを重要度の条件および先行サブバンドの予測可能性レベルPrに基づいて生成する方法であって、前記方法がさらに、
(28a) 前記エラー・サブバンドが重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿を使用して前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(28b) 前記エラー・サブバンドが重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、前記エラー・サブバンドを前記先行非エラー・フレームからの対応する前記先行サブバンドに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(28c) 前記エラー・サブバンドが重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー・サブバンドをノイズに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
(28d) 前記エラー・サブバンドが重要ではないと分類される場合に、無音置換と呼ばれる、前記エラー・サブバンドをゼロに置き換える操作によって前記エラー・サブバンドの前記置換サブバンドを生成するステップと、
を含む方法である。
本発明の第29の態様は、ステップ(28a)に記載の前記置換サブバンドが、さらに予測可能性レベルPrによって影響を受けることを特徴とし、外挿値が次のように前記予測可能性レベルPrの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a1y(n-1) - a2y(n-2) - … - apy(n-p))×αlog(Pr) …（式5）
本発明の第30の態様は、フィルタバンク分析のために非エラー・フレームから適切な領域を選択する方法であって、前記方法が、
(30a) 前記非エラー・フレーム内のアタック信号の突然の開始を検索するステップと、
(30b) 前記フィルタバンク分析のための領域を選択するステップと、
を含む方法である。
本発明の第31の態様は、アタック信号の前記開始が前記非エラー・フレーム内に存在する場合に、ステップ(30b)において前記領域が前記アタック信号の開始から前記非エラー・フレームの終了まで選択されるか、または前記非エラー・フレームにアタック信号が存在しない場合に、ステップ(30b)において前記非エラー・フレームの領域全体を選択することを特徴とする方法である。
本発明の第32の態様は、外挿フィルタのフィルタ次数を算出する方法であって、前記方法が、
(32a) 非エラー・フレーム内のアタック信号の突然の開始を検索するステップと、
(32b) フィルタ次数を導き出すための長さを算出するステップと、
(32c) 前記長さをフィルタバンク分析のサブバンドの数で除算することにより前記フィルタ次数を算出するステップと、
を含む方法である。
本発明の第33の態様は、アタック信号の前記開始が前記非エラー・フレーム内に存在する場合に、ステップ(32b)において前記長さが前記アタック信号の開始から前記非エラー・フレームの終了まで選択されるか、または前記非エラー・フレームにアタック信号が存在しない場合に、ステップ(32b)において前記非エラー・フレームの領域全体を長さとして選択することを特徴とする方法である。
本発明の第34の態様は、外挿フィルタの次数を調整する方法であって、前記方法が、
(34a) 外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの初期次数を設定するステップと、
(34b) 外挿フィルタ係数と呼ばれる、サブバンドの外挿処理に使用されるフィルタ係数を算出するステップと、
(34c) 予測可能性レベルPrと呼ばれる、前記サブバンドがどの程度予測可能であるかを判定するステップと、
(34d) 外挿フィルタ次数FOと呼ばれる、前記予測可能性レベルに基づいて外挿フィルタの前記フィルタ次数を調整するステップと、
を含む方法である。
本発明の第35の態様は、ステップ(34b)に記載の前記外挿フィルタ係数が、前記サブバンドのサンプルを使用するバーグのアルゴリズムによって算出されることを特徴とする方法である。
本発明の第36の態様は、ステップ(34c)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
本発明の第37の態様は、ステップ(34d)に記載の前記外挿フィルタ次数FOが予測可能性レベルPrに基づいて調整されることを特徴とし、前記外挿フィルタ次数が、予測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少するかまたはその逆となるような、FO∝(1/Pr)で示されるように、前記予測可能性レベルの値に反比例することを特徴とする方法である。
本発明の第38の態様は、置換フレームを生成するためのサブバンド選択方法であって、前記方法が、
(38a) フレームに対する各前記エラー・サブバンドの重要度を判定するステップと、
(38b) 予測可能性レベルPrと呼ばれる、前記先行サブバンドがどの程度予測可能であるかを判定するステップと、
(38c) サブバンド置換方法を選択するステップと、
を含む方法である。
本発明の第39の態様は、ステップ(38a)に記載の各前記サブバンドの前記重要度が、前記フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決まることを特徴とする方法である。
本発明の第40の態様は、ステップ(38b)に記載の前記予測可能性レベルPrが、Pr∝E0/E1で示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余E1に対する前記バーグのアルゴリズムの前に算出される前記予測剰余E0の比率に比例する、前記バーグのアルゴリズムから算出される予測誤差残差から導かれることを特徴とする方法である。
本発明の第41の態様は、ステップ(38c)に記載の前記置換方法が、前記重要度の条件および前記サブバンドの前記予測可能性レベルに基づいて選択され、前記方法がさらに、
(41a) 前記サブバンドが、ステップ(38a)において重要として分類され、前記予測可能性レベルが所定の閾値を超える場合に、信号外挿方法を選択するステップと、
(41b) 前記エラー・サブバンドが、ステップ(38a)において重要として分類され、前記予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復方法を選択するステップと、
(41c) 前記エラー・サブバンドが、ステップ(38a)において重要として分類され、前記予測可能性レベルが他の値である場合に、ノイズ置換方法を選択するステップと、
(41d) 前記エラー・サブバンドが、ステップ(38a)において重要ではないと分類される場合に、無音置換方法を選択するステップと、
を含むことを特徴とする方法である。
なお、上記の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本明細書は、２００４年３月５日出願の特願２００４−０６１７９７に基づく。この内容はすべてここに含めておく。
本発明は、送信、配信、および記憶媒体において、損失または破損したデジタル・オーディオ信号（エラー）の隠蔽技術として有用である。
各種エラー隠蔽処理を組み入れたエラー隠蔽技術の手順を示すフローチャート 本発明に係るエラー隠蔽装置の主要な構成を示す図 本発明に係るエラー隠蔽処理部の内部構成を示すブロック図 本発明に係る外挿処理部の内部構成を示すブロック図 実施の形態１におけるエラー隠蔽アルゴリズムの詳細なステップを示すフローチャート 実施の形態１における音声サンプル生成処理の詳細な手順を示すフローチャート 実施の形態１におけるオーディオ・サンプル生成処理の詳細な手順を示すフローチャート 実施の形態１におけるフレーム境界スムージング処理を示す図 実施の形態１における音声サンプル生成処理によって得られる信号を示す図 実施の形態１におけるアタック信号の検出を説明する図

Claims (9)

  1. エラー・フレームが発生した場合に当該エラー・フレームよりも前の非エラー・フレームを検出する検出手段と、
    検出された非エラー・フレームが音声フレームであるかオーディオ・フレームであるか判断する判断手段と、
    音声フレームと判断された非エラー・フレームから、音声フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換音声フレーム生成手段と、
    オーディオ・フレームと判断された非エラー・フレームから、オーディオ・フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換オーディオ・フレーム生成手段と、
    前記置換音声フレーム生成手段または前記置換オーディオ・フレーム生成手段によって生成された置換フレームを前記エラー・フレームと置換して、前記エラー・フレームを隠蔽する置換手段と、を具備し、
    前記置換オーディオ・フレーム生成手段は、
    前記非エラー・フレームに含まれる過渡信号の開始位置を検出する過渡信号検出手段と、
    前記置換フレームの生成において、前記非エラー・フレームの中から、前記過渡信号検出手段によって検出された過渡信号の開始位置よりも前の部分を除外する除外手段と、を具備する、
    エラー隠蔽装置。
  2. 前記置換オーディオ・フレーム生成手段は、
    前記オーディオ・フレームと判断された非エラー・フレームを複数の周波数帯域の信号に分割する分割手段と、
    前記複数の周波数帯域の信号に対し外挿を行うことによって、前記置換フレームを生成する生成手段と、
    を具備する請求項１記載のエラー隠蔽装置。
  3. 前記置換オーディオ・フレーム生成手段は、
    前記オーディオ・フレームと判断された非エラー・フレームを複数の周波数帯域の信号に分割する分割手段と、
    前記複数の周波数帯域の信号のそれぞれについて、周期性の程度を算出する算出手段と、
    前記算出手段によって算出された周期性の程度に対応した処理を、前記複数の周波数帯域の信号のそれぞれに施すことによって、前記置換フレームを生成する生成手段と、
    を具備する請求項１記載のエラー隠蔽装置。
  4. 前記生成手段は、
    前記算出手段によって算出された周期性の程度が低い場合、当該信号をノイズで置換、または前記分割手段によって得られた他の信号で置換し、
    前記算出手段によって算出された周期性の程度が高い場合、当該信号に対し外挿を行う、
    請求項３記載のエラー隠蔽装置。
  5. 前記置換音声フレーム生成手段は、
    前記非エラー・フレームの一部の複製を生成する複製手段と、
    前記複製のピッチ周期が前記非エラー・フレームのピッチ周期と一致するように、前記複製の前記エラー・フレームに対する置換位置を調整する調整手段と、
    を具備する請求項１記載のエラー隠蔽装置。
  6. 前記置換音声フレーム生成手段は、
    前記非エラー・フレームの一部を複製する複製手段と、
    前記複製手段によって得られた複製のピッチ周期が前記非エラー・フレームのピッチ周期と一致するように、前記複製手段における複製区間を調整する調整手段と、
    前記複製手段によって得られた複製を用いて前記置換フレームを生成する生成手段と、
    を具備する請求項１記載のエラー隠蔽装置。
  7. 前記置換手段は、
    前記置換音声フレーム生成手段または前記置換オーディオ・フレーム生成手段によって生成された置換フレームのフレーム境界のスムージングを行う、
    請求項１記載のエラー隠蔽装置。
  8. 請求項１記載のエラー隠蔽装置を具備する通信端末装置。
  9. エラー・フレームが発生した場合に当該エラー・フレームよりも前の非エラー・フレームを検出する検出ステップと、
    検出された非エラー・フレームが音声フレームであるかオーディオ・フレームであるか判断する判断ステップと、
    音声フレームと判断された非エラー・フレームから、音声フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換音声フレーム生成ステップと、
    オーディオ・フレームと判断された非エラー・フレームから、オーディオ・フレームに適した処理によって前記エラー・フレームの置換フレームを生成する置換オーディオ・フレーム生成ステップと、
    前記置換音声フレーム生成ステップまたは前記置換オーディオ・フレーム生成ステップによって生成された置換フレームを前記エラー・フレームと置換して、前記エラー・フレームを隠蔽する置換ステップと、を具備し、
    前記置換オーディオ・フレーム生成ステップは、
    前記非エラー・フレームに含まれる過渡信号の開始位置を検出する過渡信号検出ステップと、
    前記置換フレームの生成において、前記非エラー・フレームの中から、前記過渡信号検出ステップにおいて検出された過渡信号の開始位置よりも前の部分を除外する除外ステップと、を具備する、
    エラー隠蔽方法。
JP2006510676A 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法 Expired - Fee Related JP4744438B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006510676A JP4744438B2 (ja) 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004061797 2004-03-05
JP2004061797 2004-03-05
PCT/JP2005/003407 WO2005086138A1 (ja) 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法
JP2006510676A JP4744438B2 (ja) 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法

Publications (2)

Publication Number Publication Date
JPWO2005086138A1 JPWO2005086138A1 (ja) 2008-01-24
JP4744438B2 true JP4744438B2 (ja) 2011-08-10

Family

ID=34918086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006510676A Expired - Fee Related JP4744438B2 (ja) 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法

Country Status (6)

Country Link
US (1) US7809556B2 (ja)
EP (1) EP1722359B1 (ja)
JP (1) JP4744438B2 (ja)
CN (1) CN1930607B (ja)
AT (1) ATE523876T1 (ja)
WO (1) WO2005086138A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10297264B2 (en) 2014-05-15 2019-05-21 Telefonaktiebolaget Lm Ericsson (Publ) Audio signal classification and coding

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
CN1983909B (zh) 2006-06-08 2010-07-28 华为技术有限公司 一种丢帧隐藏装置和方法
KR100862662B1 (ko) 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
JP5046661B2 (ja) * 2007-01-23 2012-10-10 アルパイン株式会社 オーディオ装置
US8468024B2 (en) 2007-05-14 2013-06-18 Freescale Semiconductor, Inc. Generating a frame of audio data
CN101308655B (zh) * 2007-05-16 2011-07-06 展讯通信（上海）有限公司 一种音频编解码方法与装置
CN101325537B (zh) 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
KR101403340B1 (ko) * 2007-08-02 2014-06-09 삼성전자주식회사 변환 부호화 방법 및 장치
US20090048828A1 (en) * 2007-08-15 2009-02-19 University Of Washington Gap interpolation in acoustic signals using coherent demodulation
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8126578B2 (en) * 2007-09-26 2012-02-28 University Of Washington Clipped-waveform repair in acoustic signals using generalized linear prediction
DE602007004504D1 (de) * 2007-10-29 2010-03-11 Harman Becker Automotive Sys Partielle Sprachrekonstruktion
CN101207665B (zh) * 2007-11-05 2010-12-08 华为技术有限公司 一种衰减因子的获取方法
CN101488344B (zh) * 2008-01-16 2011-09-21 华为技术有限公司 一种量化噪声泄漏控制方法及装置
EP2296145B1 (en) 2008-03-10 2019-05-22 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Device and method for manipulating an audio signal having a transient event
CN100550133C (zh) * 2008-03-20 2009-10-14 华为技术有限公司 一种语音信号处理方法及装置
JP5142828B2 (ja) * 2008-05-29 2013-02-13 キヤノン株式会社 送信装置、送信方法及びプログラム
US20100185441A1 (en) * 2009-01-21 2010-07-22 Cambridge Silicon Radio Limited Error Concealment
US8676573B2 (en) * 2009-03-30 2014-03-18 Cambridge Silicon Radio Limited Error concealment
US8316267B2 (en) 2009-05-01 2012-11-20 Cambridge Silicon Radio Limited Error concealment
US8908882B2 (en) * 2009-06-29 2014-12-09 Audience, Inc. Reparation of corrupted audio signals
IL200694A (en) * 2009-09-02 2014-04-30 Gil Levy A method and device for transmitting frames in a communication network
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
JP2011237753A (ja) * 2010-04-14 2011-11-24 Sony Corp 信号処理装置および方法、並びにプログラム
CN103229234B (zh) 2010-11-22 2015-07-08 株式会社Ntt都科摩 音频编码装置、方法以及音频解码装置、方法
EP2464145A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a downmixer
BR112013020324B8 (pt) * 2011-02-14 2022-02-08 Fraunhofer Ges Forschung Aparelho e método para supressão de erro em fala unificada de baixo atraso e codificação de áudio
KR101424372B1 (ko) 2011-02-14 2014-08-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 랩핑 변환을 이용한 정보 신호 표현
PT2676270T (pt) 2011-02-14 2017-05-02 Fraunhofer Ges Forschung Codificação de uma parte de um sinal de áudio utilizando uma deteção de transiente e um resultado de qualidade
PT3239978T (pt) 2011-02-14 2019-04-02 Fraunhofer Ges Forschung Codificação e descodificação de posições de pulso de faixas de um sinal de áudio
PL2676268T3 (pl) 2011-02-14 2015-05-29 Fraunhofer Ges Forschung Urządzenie i sposób przetwarzania zdekodowanego sygnału audio w domenie widmowej
AR085794A1 (es) 2011-02-14 2013-10-30 Fraunhofer Ges Forschung Prediccion lineal basada en esquema de codificacion utilizando conformacion de ruido de dominio espectral
CN104011793B (zh) * 2011-10-21 2016-11-23 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
BR112015017222B1 (pt) 2013-02-05 2021-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Método e decodificador configurado para ocultar um quadro de áudio perdido de um sinal de áudio recebido, receptor, e, meio legível por computador
RU2628144C2 (ru) 2013-02-05 2017-08-15 Телефонактиеболагет Л М Эрикссон (Пабл) Способ и устройство для управления маскировкой потери аудиокадров
US9478221B2 (en) 2013-02-05 2016-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced audio frame loss concealment
BR112015032013B1 (pt) 2013-06-21 2021-02-23 Fraunhofer-Gesellschaft zur Förderung der Angewandten ForschungE.V. Método e equipamento para a obtenção de coeficientes do espectropara um quadro de substituição de um sinal de áudio, descodificador de áudio,receptor de áudio e sistema para transmissão de sinais de áudio
CA2916150C (en) 2013-06-21 2019-06-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing improved concepts for tcx ltp
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
KR102132326B1 (ko) * 2013-07-30 2020-07-09 삼성전자 주식회사 통신 시스템에서 오류 은닉 방법 및 장치
EP3367380B1 (en) * 2014-06-13 2020-01-22 Telefonaktiebolaget LM Ericsson (publ) Burst frame error handling
CN107112025A (zh) 2014-09-12 2017-08-29 美商楼氏电子有限公司 用于恢复语音分量的系统和方法
WO2017129270A1 (en) 2016-01-29 2017-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
US20180213294A1 (en) * 2017-01-23 2018-07-26 Ramp Holdings, Inc. Recovering from gaps in video transmission for web browser-based players
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267699A (ja) * 1999-03-19 2000-09-29 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法および装置、そのプログラム記録媒体、および音響信号復号装置
JP2003029799A (ja) * 1996-10-18 2003-01-31 Mitsubishi Electric Corp 音声復号化方法
JP2003218932A (ja) * 2001-11-15 2003-07-31 Matsushita Electric Ind Co Ltd エラー隠蔽装置及び方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5384891A (en) * 1988-09-28 1995-01-24 Hitachi, Ltd. Vector quantizing apparatus and speech analysis-synthesis system using the apparatus
US5077798A (en) * 1988-09-28 1991-12-31 Hitachi, Ltd. Method and system for voice coding based on vector quantization
IT1241358B (it) * 1990-12-20 1994-01-10 Sip Sistema di codifica del segnale vocale con sottocodice annidato
DE69233502T2 (de) * 1991-06-11 2006-02-23 Qualcomm, Inc., San Diego Vocoder mit veränderlicher Bitrate
SE502244C2 (sv) * 1993-06-11 1995-09-25 Ericsson Telefon Ab L M Sätt och anordning för avkodning av ljudsignaler i ett system för mobilradiokommunikation
US5450449A (en) * 1994-03-14 1995-09-12 At&T Ipm Corp. Linear prediction coefficient generation during frame erasure or packet loss
US5615298A (en) * 1994-03-14 1997-03-25 Lucent Technologies Inc. Excitation signal synthesis during frame erasure or packet loss
US5574825A (en) * 1994-03-14 1996-11-12 Lucent Technologies Inc. Linear prediction coefficient generation during frame erasure or packet loss
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
GB9520445D0 (en) * 1995-10-06 1995-12-06 British Telecomm Convolutional codes
US6597961B1 (en) 1999-04-27 2003-07-22 Realnetworks, Inc. System and method for concealing errors in an audio transmission
DE19921122C1 (de) 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
US6850559B1 (en) * 1999-06-28 2005-02-01 At&T Corp. System and methods for transmitting data
JP2001203648A (ja) * 2000-01-20 2001-07-27 Sony Corp 送信方法及び装置、受信方法及び装置、配信方法及びシステム、再生方法及び装置、記録媒体
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US7143032B2 (en) * 2001-08-17 2006-11-28 Broadcom Corporation Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform
US6885988B2 (en) * 2001-08-17 2005-04-26 Broadcom Corporation Bit error concealment methods for speech coding
US20050044471A1 (en) 2001-11-15 2005-02-24 Chia Pei Yen Error concealment apparatus and method
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029799A (ja) * 1996-10-18 2003-01-31 Mitsubishi Electric Corp 音声復号化方法
JP2000267699A (ja) * 1999-03-19 2000-09-29 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法および装置、そのプログラム記録媒体、および音響信号復号装置
JP2003218932A (ja) * 2001-11-15 2003-07-31 Matsushita Electric Ind Co Ltd エラー隠蔽装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10297264B2 (en) 2014-05-15 2019-05-21 Telefonaktiebolaget Lm Ericsson (Publ) Audio signal classification and coding

Also Published As

Publication number Publication date
ATE523876T1 (de) 2011-09-15
EP1722359B1 (en) 2011-09-07
WO2005086138A1 (ja) 2005-09-15
EP1722359A4 (en) 2009-09-02
US20070198254A1 (en) 2007-08-23
US7809556B2 (en) 2010-10-05
EP1722359A1 (en) 2006-11-15
CN1930607A (zh) 2007-03-14
CN1930607B (zh) 2010-11-10
JPWO2005086138A1 (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
JP4744438B2 (ja) エラー隠蔽装置およびエラー隠蔽方法
KR101290425B1 (ko) 소거된 스피치 프레임을 복원하는 시스템 및 방법
KR101301843B1 (ko) 스피치 프레임내의 정보의 분실을 방지하는 시스템 및 방법
CN1327409C (zh) 提供信号重建的宽带音频信号发送机、接收机、系统和方法
EP2277172B1 (fr) Dissimulation d&#39;erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique
KR100956522B1 (ko) 음성 통신에서의 프레임 소거 은닉
JP5289320B2 (ja) ピッチ周期訂正を用いたデジタルオーディオ信号の損失ブロックの合成
US20110196673A1 (en) Concealing lost packets in a sub-band coding decoder
JP2008107415A (ja) 符号化装置
TW201113873A (en) Reparation of corrupted audio signals
KR20210125534A (ko) 전 프레임 손실 은닉 및 부분 프레임 손실 은닉을 포함하는 lc3 은닉을 위한 디코더 및 디코딩 방법
RU2437170C2 (ru) Ослабление чрезмерной тональности, в частности, для генерирования возбуждения в декодере при отсутствии информации
JP2013084002A (ja) 音声コーデックの品質向上装置およびその方法
KR100792209B1 (ko) 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치
KR101452635B1 (ko) Ｌｍｓ 예측기를 이용한 패킷 손실 은닉 방법 및 이를 기록한 기록매체
EP2203915B1 (fr) Dissimulation d&#39;erreur de transmission dans un signal numerique avec repartition de la complexite
Østergaard Low delay robust audio coding by noise shaping, fractional sampling, and source prediction
Gueham et al. An enhanced interleaving frame loss concealment method for voice over IP network services
Singh et al. Evaluating the perceived voice quality on VoIP network using interpolated FIR filter algorithm
Sun et al. A comparative study of packet loss concealment for Bluetooth CVSD codec
KR20150046569A (ko) 패킷 손실 은닉에서의 적응형 뮤팅 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4744438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees